JP2022022133A - 実オブジェクトの３ｄスキャンニングのための方法 - Google Patents

Abstract

【課題】実際のオブジェクト（ｒｅａｌ ｏｂｊｅｃｔ）の３Ｄスキャン方法を提供すること。【解決手段】３Ｄ位置を有するカメラを用いて実オブジェクトを３Ｄ走査するための方法であって、カメラから、実オブジェクトの画像を受信することａと、仮想３Ｄボックス内に囲まれた実オブジェクトの画像を拡張現実ビューで画面に表示することｂと、ＣＡＭでタイルが指されていることを検出することｃと、カメラから仮想３Ｄボックスのフレームを取得し、それによりタイルを検証することｄと、カメラの様々な３Ｄ位置に対して、上記工程を、実オブジェクトをスキャンするために十分な数のタイルが検証されるまで、繰り返すことと、捕捉したすべてのフレームで、３Ｄ再構成アルゴリズムを実施することｅと、を含む。【選択図】図１

Description

本発明は、３Ｄコンテンツ作成の分野に関する。より詳細には、実際のオブジェクト（ｒｅａｌ ｏｂｊｅｃｔ、以下、実オブシェクト）の ３Ｄスキャンニング方法に関する。以下、３Ｄスキャンニングとは、実オブジェクトの形状や外観を取得して、仮想的な３Ｄを作成するプロセスを示す。このプロセスは、３Ｄデジタル化および３Ｄキャプチャと同じように呼ばれる。実際のオブジェクトの３Ｄスキャンニングは、コンピュータ支援設計（ＣＡＤ）や３Ｄ印刷などの分野に適用される。

オブジェクト（日常的なオブジェクトから山波などの地球の表面の一部まで、さまざまなサイズをカバーする）をスキャンするには、写真測量技術を使用することが何十年も前から提案されてきた。写真測量技術は、異なる視点から取得した画像の対応点を自動的に認識して相関させるという原理に基づいている。そのために、ユーザはスキャンするオブジェクトの周りを移動して、できるだけ多くの写真を撮ります。ユーザは、何枚の写真を撮影する必要があるか、写真の取得にどれだけの時間を費やす必要があるか、また、写真をどの位置から撮影する必要があるかを正確には知らない。画像を取得したら、それらを並べ替える。それらのいくつかは有用であると見なされ、十分な詳細、適切な照明、十分なオーバーラップがあり、他のいくつかの写真は無視される。ぼやけている、オーバーラップが多すぎる、または十分でない、または悪い照明条件で撮影されているため、ユーザは、ユーザがそれ以上制御することなく、アルゴリズムに完全に３Ｄモデルを作成させる。したがって、３Ｄスキャンニングのこのタスクは、結果の品質が不確かなため、ユーザにとって退屈でイライラすることがある。

非特許文献１などの３Ｄスキャンニング・アプリケーションは、拡張現実（ＡＲ） テクノロジーを利用して、使いやすい方法でオブジェクトをスキャンする。ＡＲテクノロジーにより、カメラでキャプチャした実際のシーンに仮想オブジェクトを重ねることができる。現実世界でのユーザのポーズがＡＲシステムによって更新され、それに応じて仮想オブジェクトのポーズが更新されるため、仮想オブジェクトは現実世界に固定されているように見えまる。

前述の３Ｄスキャンニング・アプリケーションでは、ユーザは追跡マーカーとして機能するチェッカーボードを紙に印刷し、オブジェクトをチェッカーボードの中央に配置してアプリケーションを開く。トラッキングマーカーを使用すると、アルゴリズムをより迅速に解決できるため、キャプチャ直後に結果を表示できる。ユーザはオブジェクトを追跡マーカーに置き、アプリケーションを起動する。その後、数百のセグメントで構成されたドームに囲まれたオブジェクトが表示される。ユーザは、すべてのセグメントがクリアされるまで、オブジェクトの周りを回転する（または、回転サポート上でオブジェクトを回転させる）。アプリケーションはチェッカーボードを印刷する必要があるため、ユーザはマーカーを持ち歩くか、プリンタを用意する必要があり、非常に不便である。さらに、ドームはトラッキングマーカーの寸法に適合する必要がある（ドームの高さはトラッキングマーカーの長さと同じである）。これは、標準のオフィスプリンタを使用してＡ３フォーマット以外ではほとんど実行できない。

「Ｓｃａｎｄｙ Ｐｒｏ ３ＤＳｃａｎｎｅｒ」または「ｉｔＳｅｅｚ３Ｄ」という名前で市販されている他の３Ｄスキャンニング・アプリケーションを使用すると、３Ｄスキャンニングプロセスが非常に簡単になり、印刷媒体は必要ない。これらのアプリケーションでは、「Ｒｅｄ／Ｇｒｅｅｎ／Ｂｌｕｅ－Ｄｅｐｔｈ」を表すＲＧＢ－Ｄカメラと呼ばれる特定のカメラを使用する必要がある。ＲＧＢ－Ｄカメラは、カラー画像と（顔のパターンなどの既知のパターンに基づく）深度マップを同時に提供し、画像に写っているオブジェクトの距離を特徴付ける。ただし、ＲＧＢ－Ｄカメラはすべてのスマートフォンやタブレットで利用できるわけではなく、最新の一部のスマートフォンやタブレットでのみ利用できる。

ＥｙｅＣｕｅ Ｖｉｓｉｏｎ Ｔｅｃｈの開発による「Ｑｌｏｎｅ ３Ｄ Ｓｃａｎｎｅｒ」（ｈｔｔｐｓ：／／ｗｗｗ．ｑｌｏｎｅ．ｐｒｏ／） 「ディープラーニングとジオメトリを使用した３Ｄバウンディング ボックス推定」、Ａｒｓａｌａｎ Ｍｏｕｓａｖｉａｎ ｅｔ ａｌ、ＣＶＰＲ ２０１７ 「メッシュＲ－ＣＮＮ」、Ｇｅｏｒｇｉａ Ｇｋｉｏｘａｒｉ ら、２０１９ ＩＥＥＥ／ＣＶＦ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ＩＣＣＶ 「空間彫刻による形状理論」（Ｋｉｒｉａｋｏｓ Ｎ． Ｋｕｔｕｌａｋｏｓ ｅｔ ａｌ、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ３８（３），１９９－２１８，２０００） 「明視野顕微鏡における珪藻のオートフォーカス：比較研究」、Ｐｅｃｈ－Ｐａｃｈｅｃｏ ｅｔ ａｌ、Ｐｒｏｃｅｅｄｉｎｇｓ １５ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ。ＩＣＰＲ－２０００）

したがって、ユーザフレンドリーで、標準のカメラと互換性があり、大きなオブジェクトをスキャンすることが可能な、実オブジェクト（ｒｅａｌ ｏｂｊｅｃｔ）の３Ｄスキャンニング方法を提供する必要がある。

本発明の目的は、３Ｄ位置を有するカメラを用いて実オブジェクトを３Ｄ走査するためのコンピュータ実施方法であり、以下のステップを含む：
ａ）カメラから実オブジェクトの画像を受信する。
ｂ）仮想３Ｄボックスに囲まれた実オブジェクトの画像を拡張現実ビューで画面に表示し、平面タイルのセットで構成された仮想構造を、実オブジェクトに重ね、および仮想３Ｄボックスに固定し、各タイルはカメラの所定のポーズに対応する。
ｃ）カメラでタイルが指されていることを検出する。
ｄ）カメラから仮想３Ｄボックスのフレームを取得し、それによってタイルを検証する。このフレームは、画像上の仮想３Ｄボックスの投影である。

カメラのさまざまな３Ｄ位置について、ステップａ）からｄ）が、実オブジェクトをスキャンするために十分な数のタイルが検証されるまで、繰り返される。
ｅ）捕捉されたすべてのフレームで、３Ｄ再構成アルゴリズムを実施する。

本発明の追加の特徴および利点は、添付の図面と併せて以下の説明から明らかになる。

本発明による方法のフローチャートである。 仮想３Ｄボックスで囲まれた実オブジェクトの拡大図である。 仮想構造の例を示す斜視図である。 仮想構造の例を示す上面図である。 仮想構造の例を示す側面図である。 ユーザがフレームを捕捉しているビューとともに、拡張現実ビューのスクリーンショットを示す説明図である。 本発明による方法を実行するのに適したコンピュータシステムのブロック図である。

図１は、本発明の方法の主なステップを示す。

プロセス全体で、ユーザは拡張ビューと互換性のあるハンドヘルドデバイスのカメラを保持する。例えば、ハンドヘルドデバイスは、取得した画像をスクリーン上に表示するためのスクリーンとカメラとを備えた、スマートフォン又はタブレットであってよい。発明された方法のおかげで、ユーザは、以下で説明するように、ウィザードの視覚的指示に従うことによって、カメラＣＡＭの１つのポーズから別のポーズへと導かれる。

実環境には、スキャン対象のオブジェクトＯＢＪが用意されている。図に示す例では、スキャン対象はテーブルの上に置かれたテディベアである。第１のステップａ）では、カメラＣＡＭから実オブジェクトＯＢＪの画像ＩＭを受信する。オブジェクトＯＢＪの姿勢に対するカメラＣＡＭの姿勢は、カメラＣＡＭを較正および登録することによって、すなわち、カメラの内因性パラメータおよび外因性パラメータを決定することによって取得することができる。これらのパラメータを知ることにより、３Ｄシーンの３Ｄポイントの対応する捕捉された画像内のピクセルへの変換（回転／平行移動）を計算できる。

この方法の第２のステップｂ）では、拡張現実ビューにおいて、実オブジェクトＯＢＪの画像ＩＭがリアルタイムで画面に表示される。カメラはキャリブレーションされているため、オブジェクトはオブジェクトＯＢＪを囲む仮想３ＤボックスＶＢＯ（直方体）で囲まれている可能性があり、ユーザがオブジェクトＯＢＪの周りを移動すると、仮想３ＤボックスＶＢＯの向きがそれに応じて変更される。仮想３ＤボックスＶＢＯは、ハンドヘルドデバイスによって可能になる拡張ビュー内で実オブジェクトＯＢＪに重ねられる。仮想３ＤボックスＶＢＯは、拡張現実ビュー内に配置され、スケーリングされて、仮想３ＤボックスＶＢＯの対称性がオブジェクトＯＢＪの潜在的対称性に適合するようにすることができる。ただし、この条件は、この方法を実行するために不可欠なものではない。

仮想３ＤボックスＶＢＯを３Ｄシーンに正確に配置することは、特にタブレットの表面での２Ｄインタラクションで構成される典型的なユーザ入力考慮する場合、又は、拡張現実ヘッドマウント表示スマートグラスなどのデバイスの場合の不正確な空中での手のジェスチャを考慮する場合に、難しくなる。

さらに、ほとんどの場合、スキャンするオブジェクトは平らな面に置かれることに注意する必要がある。したがって、好ましい実施形態では、ステップａ）は、画像ＩＭにおいて、実オブジェクトＯＢＪが位置する水平面ＰＬＡを検出し、仮想３ＤボックスＶＢＯを平面ＰＬＡ上に配置するようにユーザに指示することを含む。検出された平面の制約を使用することにより、ユーザは、３Ｄシーンに仮想３ＤボックスＶＢＯを配置するときに支援される。

飛行機は、ｉＯＳデバイスで実行され、および拡張現実アプリケーション専用のＡＲＫｉｔソフトウェア開発キットを使用することによって、例えば（および非限定的に）検出され、追跡され、および表示される。

ユーザは、スキャンするオブジェクトＯＢＪに近い平面の可視部分上の点を選択するように求められる。次に、ユーザが定義したポイントの近くに仮想３ＤボックスＶＢＯが作成され、スキャンするオブジェクトに合わせて変更できる。

直感的なジェスチャを使用することによって、仮想３ＤボックスＶＢＯを調整できる。スマートフォンを使用している場合は、仮想３ＤボックスＶＢＯをタッチして画面上で指を動かすだけで翻訳できる。操作を容易にするために、移動は、以前に検出された検出された平面によって制限される。したがって、仮想３ＤボックスＶＢＯは、表面上で簡単にドラッグして、およびスキャンするオブジェクトの上にオーバーレイすることができる。

図２に示す仮想グリッドは、ボックスが配置されている平面に配置することができ、ユーザをさらに支援することができる。このような視覚的なフィードバックは、スケールと遠近法を提供することで、仮想オブジェクトを現実世界の上に固定するのに役立つ。また、グリッドと実際の平面の位置合わせをチェックすることで、平面が正確に検出されたかどうかを判断するのにも役立つ。

仮想３ＤボックスＶＢＯは、仮想３ＤボックスＶＢＯの近く、特にその下にある円弧として表すことができる回転ハンドルを使用して回転することもできる。ユーザが回転ハンドルを円弧の一方または他方にドラッグする。これは、スキャンするオブジェクトＯＢＪ の形状がボックスに近い場合に特に役立つ。この場合、実際の形状と仮想ボックスのエッジをできるだけ揃えて、より適切にフィットさせ、潜在的な対称平面に一致させる必要がある。

仮想３ＤボックスＶＢＯのサイズも変更できる。スマートフォンの画面を使用する場合、この機能の１つの可能な実施は、顔をタップして押し続けて変更することである。面の色が変わり、立方体の他の部分から切り離され、法線に沿って移動できるようになる。顔を解放すると、顔の新しい位置を考慮してボックスが再構築され、ユーザのジェスチャに応じてボックスが大きくなったり小さくなったりする。

オブジェクトの周りをわずかに移動することで、ユーザは上記のようにボックスを繰り返し調整できるため、捕捉するオブジェクトができるだけ内側に収まるようにしながら、追跡の不可避の不正確さを考慮に入れる余地を残すことができる。

オブジェクトが平面上に配置されていない場合でも、仮想ボックスを作成して調整できるが、プロセスが長くなる可能性がある。実際、有用な制約を提供する物理的な平面がなければ、ユーザはオブジェクトの周りを移動してすべての面を個別に調整する必要がある。たとえば、天井からぶら下がっているランプシェードの場合、ユーザは仮想ボックスをランプシェードの上に大まかに配置してから、ランプシェードのすべてのパーツがボックス内に収まるように移動する必要がある。すべての面をすべてのｘ、ｙ、ｚ方向に調整する。

拡張ビュー内のオブジェクトを囲む仮想３ＤボックスＶＢＯを手動で提供する代わりに、仮想３ＤボックスＶＢＯを自動的に提供できる。

実際、多くの機械学習オブジェクト検出アルゴリズム（たとえば、分類）は、画像で検出されたすべてのオブジェクトの境界矩形を提供できる。ユーザは、再構築するオブジェクトを（タッチ、音声、視線、または単にカメラを向けることによって）選択することができる。仮想３ＤボックスＶＢＯは、バウンディング長方形の底辺の中央と平面との間の交点に中心を置くことができる。仮想３ＤボックスＶＢＯの３つの次元のうち２つが既知である。ユーザは１次元（深さ）を調整するだけでよく、おそらくボックスを回転して位置合わせを改善できる。回転は、オブジェクトの周りを移動し、機械学習に依存して仮想 ３ＤボックスＶＢＯを繰り返し調整することで置き換えることもできる。

機械学習の最近の進歩は、３Ｄ境界ボックス（非特許文献２の記事で開示されている）を提供することによって、又は、オブジェクトが既知のクラスに属している場合のオブジェクトの形状の近似（記事で開示されているように、非特許文献３）さえも提供することによって、さらに一歩進むことができる。

あるいは、コンピュータビジョンを利用して仮想３ＤボックスＶＢＯを自動的に提供してもよい。一部の拡張現実ライブラリは、実環境の注目すべき特徴に対応する３Ｄポイントを検出できるため、多かれ少なかれ密度の高い３Ｄポイントクラウドになる。十分なポイントがある場合、ユーザが捕捉するオブジェクトをポイントすると、仮想３Ｄボックス ＶＢＯが自動的に計算される。

発明された方法のステップｂ）の間、一組の平面タイルＴＩＬで作成され、仮想３Ｄ ボックスＶＢＯに固定されている仮想構造ＶＳＴも、例えば図６に示すように拡張現実ビューに表示される。タイルは、平面であり、好ましくは長方形である。タイルＴＩＬの配置は、仮想３ＤボックスＶＢＯの周囲に配置され、各タイルＴＩＬは、カメラＣＡＭの所定のポーズに対応する。したがって、カメラの視野内に仮想３ＤボックスＶＢＯ全体を配置しながら、カメラで各タイルをポイントすることによって、ユーザは、良好な３Ｄ再構築品質を備えたオブジェクトの高速再構成を有するようにするために、正確に１つの有効な画像を撮影する。

第３のステップｃ）では、タイルＴＩＬがカメラＣＡＭで指されていることが検出される。ユーザは当然、タイルを正しく指し示すことができない（タイルに対して正確に垂直ではない）傾向があるため、ユーザは、タイルＴＩＬを正確に指す前に、カメラＣＡＭ をわずかに動かしてよい。

タイルＴＩＬが指されている場合、仮想３ＤボックスＶＢＯのフレームが取得され、タイルＴＩＬが有効になる（ステップｄ）。フレームは、イメージＩＭ上の仮想３ＤボックスＶＢＯの投影である。再構成アルゴリズムによっては、画像に表示される３Ｄシーン全体ではなく、仮想３ＤボックスＶＢＯの投影のみが処理されることがある。したがって、スキャンする最大ボリュームは正確に定義され、再構成アルゴリズムは、シーン全体を再構成しようとする代わりに、そのボリューム内の詳細に焦点を合わせることができる。仮想３ＤボックスＶＢＯは、捕捉されるフレームに投影する。これは、バウンディング ボックスの各コーナポイントをカメラのフレームに投影し、結果として投影されるポイントの座標が既知のフレームサイズに収まることをチェックすることによって、確認することができる。これにより、スキャンするモデルは、捕捉されたフレームに完全に表示することができ、ユーザの狙いが悪いために誤って切り取られることがなくなる。

フレームを取得するために、および、カメラがオブジェクトに対して正しく配置され、方向付けられているかどうかを検出するために、カメラから光線が照射される（ｃａｓｔ）。その光線と未検証のタイルが衝突した場合、光線と未検証のタイルの法線方向との角度が計算され、その角度が所定の値より小さければ有効にする。本発明者らは、１５度と２５度との間に含まれる所定の値が適切であることを見出した。特に、０．９５の余弦に対応する約１８度の所定の値は、到達するのにイライラすることなく十分な精度を提供するため、特に適している。光線の方向がタイルの法線方向に近いかどうかも、両方向間のドット積によって測定できる。これは、しきい値よりも高くなければならない。法線方向に近い方向でタイルを指すと、捕捉されたフレームがタイルのポーズによって定義された視点に近い視点を表すことが保証されるため、後者の３Ｄ再構築に理想的である。

好ましい実施形態では、光線は、所定の時間間隔で周期的に照射される。したがって、ユーザは、スキャン処理中にハンドヘルドデバイスのボタンを押したり、画面に触れたりする必要がなく、ユーザは両手でカメラを保持できるため、取得したフレームの安定性が向上する。光線キャスティングの周期性は、プログレスバーなどのタイマーを画面に表示することによって具体化することができる。

図６に示すように、ターゲットなどの視覚的インジケータは、カメラの光軸に対応する画面の中央に表示される場合がある。ビジュアル インジケータがタイル内にある場合、タイマーが表示される。

次に、実オブジェクトＯＢＪをスキャンするために十分な数のタイルが検証されるまで、カメラＣＡＭのさまざまな３Ｄ位置に対してステップａ）からｄ）が繰り返される。次に、ステップｅ）で、３Ｄ再構成アルゴリズムが、捕捉されたすべてのフレームで実施される。好ましい実施形態では、再構成アルゴリズムは、３Ｄカービングアルゴリズムであり、仮想構造ＶＳＴのタイルの位置はそれに応じて決定される。カービングアルゴリズムは、非常に明確なポーズをほとんど必要としない。カービングの原理は、非特許文献４の記事で解説される。各フレームは、３Ｄモデルを「彫る」ために使用される。

好ましい実施形態では、仮想構造ＶＳＴは、図３、図４、および図５に示すように、仮想３ＤボックスＶＢＯの上部を覆う半球（またはドーム）として配置される。タイルが平面であるため、仮想構造ＶＳＴは半球に正確に適合しない。図３は仮想構造の一例を斜視図で示し、図４は仮想構造の上面図を示し、図５は側面図を示す。

仮想構造ＶＳＴ（図４）の上面図を見ると、タイルは、仮想構造ＶＳＴの最上点ＴＭＰと一致する中心を有する十字を形成するタイルＳＴ１の第１のサブセットを含む。十字は仮想３ＤボックスＶＢＯの側面と位置合わせされる。つまり、中央上部のタイルは仮想３ＤボックスＶＢＯの上面に平行であり、十字の方向は仮想３ＤボックスＶＢＯの方向に適合する。タイルの十字状の配置により、ユーザは、コンピュータ支援設計で通常使用される視点に従って、オブジェクトの写真を撮ることができる。つまり、正面、背面、上面、左右の視点である。

タイルＳＴ２の第２のサブセットは、仮想構造ＶＳＴの下部ＢＯＴと最上部ポイントＴＭＰとの間の中間の高さで、仮想構造ＶＳＴの周辺に配置される。タイルＳＴ２の第２のサブセットのタイルは、タイルＳＴ１の第１のサブセットのタイルより大きくてもよい。したがって、フレームの完全なセットを迅速に得るためには、タイルの第２のサブセットＳＴ２の限られた数のタイルが必要である。タイルＳＴ２の第２サブセットの４つのタイルは、仮想３ＤボックスＶＢＯの面と位置合わせされるように、タイルＳＴ１の第１サブセットの十字に位置合わせされる。

最後に、タイルＳＴ３の第３のサブセットが、仮想構造ＶＳＴの周辺の底部ＢＯＴに配置される。タイルＳＴ３の第３のサブセットのタイルは、上述と同じ理由で、タイルＳＴ１の第２のサブセットのタイルより大きくてもよい。タイルＳＴ３の第３サブセットの４つのタイルは、仮想３ＤボックスＶＢＯの面と位置合わせされるように、タイルＳＴ１の第１サブセットの十字に位置合わせされる。

本発明の好ましい実施形態では、タイルの第１、第２、および第３のサブセット（ｚ軸に沿って最高から最低まで）にそれぞれ５（最上部のタイルを含む）、８、および１６のタイルがあり、ドーム内の合計は２９枚のタイルである。したがって、ユーザは再構成の品質を犠牲にすることなく、多くの写真を撮る必要はない。

図３からわかるように、タイルＳＴ１の第１のサブセット、タイルＳＴ２の第２のサブセット、およびタイルＳＴ３の第３のサブセットは、一定の極角θだけ互いに離間することができる。一定の極角θは、ｚ軸に沿って整列したタイルの中心間で測定される。タイルＳＴ３の第３のサブセットは、仮想３ＤボックスＶＢＯの中心ＣＴＲに対して高くされており、ユーザによるフレームの取得を容易にする。

図４でわかるように、同じサブセットのタイルは、一定の方位角で互いに離れている。タイルの第１、第２、および第３のサブセット内の一定の方位角は、それぞれπ／２、π／４、およびπ／８である。

図５からわかるように、ドームの基礎となる円の半径に対応する仮想構造ＶＳＴの半径 ｒは、仮想３ＤボックスＶＢＯの最大寸法に設定される。仮想３ＤボックスＶＢＯの寸法ｄ_x、ｄ_y、ｄ_zを考慮して、ｒ＝ｍａｘ（ｄ_x、ｄ_y、ｄ_z）となる。結果として、仮想３ＤボックスＶＢＯは、オブジェクトのサイズとドームの円の半径に合わせて調整されるため、大きなオブジェクトでもスキャンできる。

図３から図５に開示されている仮想構造ＶＳＴのパターンにより、オブジェクトをあらゆる側面から走査して見ることができ、同時に良好な再構成結果が得られる。下部のタイルはオブジェクトが置かれている平面より上にあり、ユーザが不快なポーズを取らなければならないため、垂直ではなくわずかに傾斜している場合があることに注意する。

（彫刻アルゴリズムの代わりに）純粋な写真測量アルゴリズムが選択された場合、そのような位置合わせの制約がなくても、ドームはより高密度でより規則的に見える。

仮想構造ＶＳＴの前述の半球形状の代替として、仮想構造は、オブジェクトＯＢＪのカテゴリに対応するパターンとして配置されてよい。オブジェクトのカテゴリは、ステップ ａ）：ユーザが、物品（たとえば、車両または人の顔）のカテゴリのセットの中から、又は、パターン認識によって自動検出されるオブジェクトのカテゴリの中から、３Ｄオブジェクトの、オブジェクトのカテゴリに関する情報を提供する、ステップ中に決定される。

したがって、オブジェクトの形状に適合する仮想構造ＶＳＴでは、オブジェクトの複雑さが考慮される。タイルは、オブジェクトの詳細ができるだけ多く捕捉されるように配置される。これらのタイルは、サイズが異なり、粒度も異なり、いくつかのステップ：第１のタイルセットが、オブジェクトの全体的な形状（たとえば車両）を彫刻するのに理想的なオブジェクトの粗い特徴を捕捉するために提示できること、および、より細かいパターンを有する第２のタイルセットが、オブジェクトのサブコンポーネント（たとえば、外部バックミラー）のより細かい表面の詳細を捕捉するために使用できること、のステップで表示できる。

仮想構造ＶＳＴ（オブジェクトのカテゴリに対応するドームまたはパターン）の種類が何であれ、ユーザはオブジェクトＯＢＪを回転させ、図６に示すように、右隅画像は、ユーザがオブジェクトの周りにいて、（タブレットやスマートフォンなどのハンドヘルドデバイスの）カメラＣＡＭを使用してフレームを捕捉していることを示し、および、中央画像は、ユーザがそのハンドヘルドデバイスのスクリーン上で何を見ているかを示す、ように、タイルは１つずつ検証される。

ポイントされているタイル上の一時的な視覚的フィードバックは、対応するフレームが取得されていることを示す。一時的なフィードバックは、事前に定義された色、またはタイルの点滅である場合がある。タイルが取得されると、一時的な視覚的フィードバックは、たとえば別の色の永続的な視覚的フィードバックに変換される。図６では、画面上でテディベアの頭を含むタイルがすでに取得されているが、ユーザは画面上でテディベアの腹部を含むタイルを取得しようとしている。ユーザに視覚的なフィードバックを提供することによって、再構成アルゴリズムに必要な入力の複雑さはユーザに隠され、代わりに「タイル ハント」の面白いゲームとして表示される。

有利なことに、ユーザがぼやけを避けてできるだけ鮮明な写真を撮らせることによって、画像が再構成アルゴリズムによって確実に使用可能になる。

そのために、第１の変形例によると、事前（フレーム取得前）：フレーム取得のステップ中に、カメラＣＡＭの動きの振幅および／またはハンドヘルドデバイスＣＡＭの動きの速度が測定される、ことのチェックが行われる。動きの振幅および／または速度が所定の値を超える場合、フレームの捕捉は禁止される。したがって、フレームは取得されない。安定性は、ジャイロスコープ、加速度計、またはコンパスなどのハンドヘルドデバイスの内部センサを使用して計算できる。安定性は、カメラの方向と照準を合わせているタイルとの交点にある点が、タイルの検証中に所定の位置範囲内にあることを確認することによって計算することもできる。

第２の変形例によると、事後（フレーム取得後）：フレームが取得されると、捕捉されたフレームのシャープネスが測定され、フレームが十分にシャープである場合にのみフレームが検証される、ことのチェックが行われる。フレームのシャープネスの評価には、ラプラシアン偏差アルゴリズムを使用することができる。アルゴリズムは、非特許文献５の記事で説明される。

これらの条件は、フレーム自体の品質と同様に、ローカリゼーションによって、後続の再構成アルゴリズムによる高度な利用を可能にするという意味で、自動的に捕捉されたフレームで高いレベルの有効性を可能にする。すべての捕捉フレームは、自信を持って使用され、破棄されることはない。

場合によっては、オブジェクトＯＢＪのすべての側面が見えないか、ユーザがアクセスすることさえできない。これは、オブジェクトが大きすぎてユーザがそのすべての側面 （特に上面図）を見ることができない場合、またはスキャンするオブジェクトが障害物 （壁など）に置かれて移動できない場合に特に当てはまる。そのような場合、部分的な取得を処理できるはずである。

特に、ステップａ）では、オブジェクトＯＢＪが対称部分を有するかどうかが決定される。そのために、ユーザは、平面、平面、対称軸または回転軸など、スキャンするオブジェクトの形状に関して、システムに指示を与えることができる。このような指示をオブジェクトに追加することは、画面に投影されたイメージだけでは簡単ではないため、ユーザは、捕捉するオブジェクトに合わせるように仮想３ＤボックスＶＢＯを適切に調整した後、オブジェクトＯＢＪが対称部分を持っていることを示すように、仮想３ＤボックスＶＢＯと対話してよい。オブジェクトが一般的な場合（たとえば、椅子、ボトルなど）、ユーザによって提供される他の指示は、スキャンするオブジェクトのクラスである可能性もある。次に、検証されたタイルに基づいておよびオブジェクトの対称性に基づいて、３Ｄ 再構成アルゴリズムが実施される。

したがって、図１に戻って、オブジェクトに対称性がある場合、３Ｄ再構成アルゴリズムを実施して再構成するために、すべてのタイルを検証する必要はない。

本発明の方法は、場合によりコンピュータネットワークを含み、ハードディスク、ソリッドステートディスクまたはＣＤーＲＯＭなどのコンピュータ可読媒体上に不揮発性の形態で適切なプログラムを格納し、そのマイクロプロセッサ（複数可）とメモリを使用して上記のプログラムを実行する、適切にプログラムされた汎用コンピュータまたは仮想現実システムによって実施することができる。

本発明の例示的な実施形態による方法を実行するのに適したコンピュータＣＰＴを、図７を参照して説明する。図７において、ハンドヘルドデバイスＨＨＤは、実行可能プログラム、すなわち、ＲＡＭ Ｍ１またはＲＯＭ Ｍ２などのメモリデバイスに格納された、またはリモートで格納された、コンピュータ可読命令のセットを実行しながら、上記の方法ステップを実行する中央処理装置ＣＰＵを含む。作成された３Ｄコンテンツは、メモリデバイスの１つに格納されるか、リモートで格納される。

特許請求の範囲に記載された発明は、コンピュータ可読命令および／または本発明のプロセスのデータ構造が格納されているコンピュータ可読媒体の形態によって制限されない。例えば、命令とファイルは、ＣＤ、ＤＶＤ、フラッシュメモリ、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ハードディスク、またはサーバやコンピュータなど、コンピュータが通信するその他の情報処理デバイスに保存することができる。プログラムとファイルは、同じメモリデバイスまたは異なるメモリデバイスに保存することができる。

さらに、本発明の方法を実行するのに適したコンピュータプログラムは、中央処理ユニットＣＰＵ、及びＭｉｃｒｏｓｏｆｔ ＶＩＳＴＡ、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ １０、ＵＮＩＸ、Ｓｏｌａｒｉｓ、ＬＩＮＵＸ、Ａｐｐｌｅ ＭＡＣ－ＯＳ、及び当業者に知られているその他のシステムなどのオペレーティングシステムと連携して実行されるユーティリティアプリケーション、バックグラウンドデーモン、またはオペレーティングシステムのコンポーネント、あるいはそれらの組み合わせとして提供されてよい。

中央処理ユニットＣＰＵは、米国のＩｎｔｅｌ社のＸｅｎｏｎプロセッサまたは米国のＡＭＤ社のＯｐｔｅｒｏｎプロセッサ、または米国のＦｒｅｅｓｃａｌｅ ＣｏｒｐｏｒａｔｉｏｎのＦｒｅｅｓｃａｌｅ ＣｏｌｄＦｉｒｅ、ＩＭＸ、ＡＲＭプロセッサなどの他のプロセッサタイプにすることができる。あるいは、ＣＰＵは、米国のＩｎｔｅｌ ＣｏｒｐｏｒａｔｉｏｎのＣｏｒｅ２Ｄｕｏなどのプロセッサにすることも、当業者が認識するように、ＦＰＧＡ、ＡＳＩＣ、ＰＬＤ、またはディスクリート論理回路を使用して実装することもできる。さらに、中央処理ユニットは、上記の本発明の処理のコンピュータ可読命令を実行するために協調して動作する複数のプロセッサとして実装することができる。

図７の仮想現実システムは、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネットなどのネットワークとインターフェイスするための米国のＩｎｔｅｌ ＣｏｒｐｏｒａｔｉｏｎのＩｎｔｅｌＥｔｈｅｒｎｅｔＰＲＯネットワークインターフェイスカードなどのネットワークインターフェイスＮＩも含む。

ハンドヘルドデバイスＨＨＤは、環境の画像を取得するためのカメラＣＡＭ、取得した画像をユーザに表示するためのスクリーンＤＹ、およびハンドヘルドデバイスＨＨＤの３Ｄ方向および３Ｄ位置を計算するためのセンサＳＮＳを含む。

本明細書に記載の任意の方法のステップは、処理における特定の論理機能またはステップを実装するための１つまたは複数の実行可能命令を含むモジュール、セグメント、またはコードの一部を表すものとして理解されるべきであり、代替の実施は、本発明の例示的な実施形態の範囲内に含まれる。

Claims (17)

1. １）３Ｄ位置を有するカメラ（ＣＡＭ）を用いて実オブジェクト（ＯＢＪ）を３Ｄ走査するためのコンピュータ実施方法であって、
   ａ）前記カメラ（ＣＡＭ）から、前記実オブジェクト（ＯＢＪ）の画像（ＩＭ）を受信するステップと、
   ｂ）仮想３Ｄボックス（ＶＢＯ）内に囲まれた前記実オブジェクト（ＯＢＪ）の前記画像（ＩＭ）を拡張現実ビューで画面に表示するステップであって、平面タイル（ＴＩＬ）のセットからなる仮想構造（ＶＳＴ）を、前記実オブジェクト（ＯＢＪ）に重ね、および、前記仮想３Ｄボックス（ＶＢＯ）に固定され、各タイル（ＴＩＬ）は前記カメラ（ＣＡＭ）の所定の姿勢に対応する、該ステップと、
   ｃ）前記カメラ（ＣＡＭ）でタイル（ＴＩＬ）が指されていることを検出するステップと、
   ｄ）前記カメラ（ＣＡＭ）から前記仮想３Ｄボックス（ＶＢＯ）のフレームを取得し、それにより前記タイル（ＴＩＬ）を検証するステップであって、前記フレームは、前記画像（ＩＭ）上の前記仮想３Ｄボックス（ＶＢＯ）の投影である、該ステップと、
   前記カメラ（ＣＡＭ）のさまざまな３Ｄ位置に対して、ステップａ）からｄ）が、前記実オブジェクト（ＯＢＪ）をスキャンするために十分な数のタイルが検証されるまで、繰り返されるステップと、
   ｅ）捕捉されたすべてのフレームで、３Ｄ再構成アルゴリズムを実施するステップと
   を含むことを特徴とするコンピュータ実施方法。
2. ステップａ）は、画像（ＩＭ）において、前記実オブジェクト（ＯＢＪ）が位置する水平面（ＰＬＡ）を検出し、前記水平面（ＰＬＡ）上に前記仮想３Ｄボックス（ＶＢＯ）を配置するようにユーザに指示することを含むことを特徴とする請求項１に記載の方法。
3. 前記仮想構造（ＶＳＴ）が、前記仮想３Ｄボックス（ＶＢＯ）を覆う半球として配置され、前記仮想構造（ＶＳＴ）の半径は、前記仮想３Ｄボックス（ＶＢＯ）の最大寸法に設定され、
   前記仮想構造（ＶＳＴ）の最上部（ＴＭＰ）から前記仮想構造（ＶＳＴ）の最下部（ＢＯＴ）までを含む前記タイルのセット（ＴＩＬ）は、
   － 前記仮想構造（ＶＳＴ）の最上点（ＴＭＰ）と一致する中心を有する十字を形成し、前記十字は前記仮想３Ｄボックス（ＶＢＯ）の側面と位置合わせされている、タイルの第１のサブセット（ＳＴ１）と、
   － 部分的に前記十字に揃えられた、タイルの第２のサブセット（ＳＴ２）と、
   － 部分的に前記十字に揃えられた、タイルの第３のサブセット（ＳＴ３）と
   を含み、
   前記タイルの前記第１（ＳＴ１）、前記第２（ＳＴ２）、および前記第３（ＳＴ３）のサブセットは、一定の極角（θ）だけ互いに離れており、
   前記タイル（ＴＩＬ）は、同じサブセット内で一定の方位角（θ１、θ２、θ３）だけ互いに離れており、
   前記タイルの第３のサブセット（ＳＴ３）は、前記仮想３Ｄボックス（ＶＢＯ）の中心 （ＣＴＲ）に対して高くなっている、
   ことを特徴とする請求項１又は２に記載の方法。
4. － 前記タイルの前記第１（ＳＴ１）、前記第２（ＳＴ２）、および前記第３（ＳＴ３） のサブセットは、それぞれ、５、８、および１６のタイルを含み、
   － 前記一定の極角（θ）は、２π／１５であり、
   － 前記タイルの前記第１（ＳＴ１）、前記第２（ＳＴ２）、および前記第３（ＳＴ３） のサブセット内の前記一定の方位角は、それぞれ、π／２、π／４、およびπ／８であり、
   － 前記タイルの前記第３のサブセット（ＳＴ３）は、前記仮想３Ｄボックス（ＶＢＯ） の中心（ＣＴＲ）に対してπ／１０の角度だけ高くなっている、
   ことを特徴とする請求項３に記載の方法。
5. ステップａ）は、オブジェクトのカテゴリのセットのうち、前記実オブジェクト（ＯＢＪ）の前記オブジェクトのカテゴリに関する情報を検出または受信することを含み、前記仮想構造は、前記オブジェクトのカテゴリに対応するパターンとして配置されていることを特徴とする請求項１又は２に記載の方法。
6. 最初に、前記実オブジェクト（ＯＢＪ）の全体が、前記パターンを使用することによって３Ｄスキャンされ、次に、前記実オブジェクト（ＯＢＪ）のサブコンポーネントが、前記サブコンポーネントに対応する仮想構造として、より細かいパターンを使用することによって３Ｄスキャンされることを特徴とする請求項５に記載の方法。
7. ステップｄ）は、前記対応するフレームが取得されていることを示すために指示された前記タイル上に一時的な視覚的フィードバックを前記画面に表示することを含み、前記フレームが取得されると、一時的な視覚的フィードバックが永続的な視覚的フィードバックに変換されることを特徴とする請求項１ないし６のいずれか１つに記載の方法。
8. ステップｄ）は、
   － 前記カメラの３Ｄ位置から、前記カメラ（ＣＡＭ）の光軸の方向に光線を照射することと、
   － 前記光線と検証されていないタイルとの衝突を検出するとき、前記光線と前記検証されていないタイルの法線方向との間の角度を計算することと、
   － 前記角度が所定の値よりも小さい場合、前記検証されていないタイルを検証することと、
   を含むことを特徴とする請求項１ないし７のいずれか１つに記載の方法。
9. 前記所定の値は、１５度と２５度との間に含まれることを特徴とする請求項８に記載の方法。
10. 前記光線は、所定の時間間隔で周期的に照射されることを特徴とする請求項８または９に記載の方法。
11. ステップｄ）は、
    － 前記カメラ（ＣＡＭ）の動きの振幅および／または前記ハンドヘルドデバイス（ＣＡＭ）の動きの速度を測定することと、
    － 前記動きの振幅および／または速度が所定の値を超える場合、前記フレームの捕捉を禁止することと
    を含むことを特徴とする請求項１ないし１０のいずれか１つに記載の方法。
12. ステップｄ）は、
    － 前記捕捉されたフレームのシャープネスを測定することと、
    － 前記捕捉されたフレームが十分に鮮明である場合、捕捉されたフレームを検証することと
    を含むことを特徴とする請求項１ないし１１のいずれか１つに記載の方法。
13. ステップａ）は、
    前記実オブジェクト（ＯＢＪ）が対称部分を有するかどうかを決定するサブステップを含み、この場合、互いに異なる前記実オブジェクト（ＯＢＪ）の部分に対応するタイルのみを検証し、
    前記３Ｄ再構成アルゴリズムは、前記捕捉されたフレームに基づいておよび前記実オブジェクトの対称性に基づいて実施されることを特徴とする請求項１ないし１２のいずれか１つに記載の方法。
14. 前記３Ｄ再構成アルゴリズムは、スペースカービングアルゴリズムを含むことを特徴とする請求項１ないし１３のいずれか１つに記載の方法。
15. スクリーン（ＤＹ）およびカメラ（ＣＡＭ）にインターフェイスされたコンピュータシステムに、請求項１ないし１４のいずれか１つに記載の方法を実行させるコンピュータ実行可能命令を含むコンピュータプログラム製品。
16. スクリーン（ＤＹ）およびカメラ（ＣＡＭ）にインターフェイスされたコンピュータシステムに、請求項１ないし１４のいずれか１つに記載の方法を実行させるコンピュータ実行可能命令を含む非一時的コンピュータ可読データ記憶媒体（Ｍ１、Ｍ２）。
17. メモリ（Ｍ１、Ｍ２）、スクリーン（ＤＹ）およびカメラ（ＣＡＭ）に結合されたプロセッサ（Ｐ）を備えるコンピュータシステムであって、前記メモリは、コンピュータシステムに、請求項１ないし１４のいずれか１つに記載の方法を実行させるコンピュータ実行可能命令を記憶したことを特徴とするコンピュータシステム。

Images