JP2014514682A - 信頼度スコアに基づいた3次元モデルの併合 - Google Patents

信頼度スコアに基づいた3次元モデルの併合 Download PDF

Info

Publication number
JP2014514682A
JP2014514682A JP2014513809A JP2014513809A JP2014514682A JP 2014514682 A JP2014514682 A JP 2014514682A JP 2014513809 A JP2014513809 A JP 2014513809A JP 2014513809 A JP2014513809 A JP 2014513809A JP 2014514682 A JP2014514682 A JP 2014514682A
Authority
JP
Japan
Prior art keywords
distance
pixel
model
dimensional model
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014513809A
Other languages
English (en)
Other versions
JP5592039B2 (ja
Inventor
ブレット アレン,
アレクシー ゴロビンスキー,
ティルマン ラインハート,
マイケル ホンメイ リン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2014514682A publication Critical patent/JP2014514682A/ja
Application granted granted Critical
Publication of JP5592039B2 publication Critical patent/JP5592039B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

実施形態において、方法は、複数の3次元モデルを併合し、その複数の3次元モデルの各々は、異なるビューポイントを有するカメラのイメージから生成された。複数の3D画素におけるそれぞれの3D画素に対して、複数の距離値が、決定される。各決定された距離値は、3D画素から、カメラモデルの視点方向の複数の3次元モデルからの3次元モデルまでの距離であり、そのカメラモデルは、3次元モデルを生成するために使用される。決定された距離値のうちの少なくとも1つが、3D画素と3次元モデルとの間の距離がしきい値を超過すること、および3D画素が対応する3次元モデルの上方に位置していることを示す場合、信頼度スコアは、決定され、信頼度スコアは、対応する3次元モデルのカメラモデルの視点が、3D画素に正対するように配向されている度合を示す。決定された信頼度スコアに基づいて、併合された3次元モデルになる3D画素は、決定される。

Description

(背景)
(分野)
実施形態は、一般に、3次元モデリングに関連する。
(関連技術)
写真家は、しばしば、高所(例えば、航空機)から地球の画像を撮る。そのような航空機からの写真は、異なる視点(perspective)から撮られ得る。航空機からの写真から、3次元モデルは、例えば、ステレオマッチングを使用して構築され得る。ステレオマッチングを使用して構築されたモデルは、完全に正確ではないことがある。例えば、不正確は、基礎をなす画像における変動、カメラの視点における不正確、およびステレオマッチングアルゴリズムの限界によって、導入され得る。
構築された3次元モデルは、関連した視点を有し得る。例えば、3次元モデルは、関連した視点からの深度マップとして表現され得る。各深度マップは、想像上の「カメラ」とシーンの表面との間のピクセルによる距離を提供し得る。深度マップは、深度マップの関連した視点から明白である表面の3次元的特徴を説明することが可能であり得るが、深度マップは、深度マップの視点から見えなくされた3次元的特徴を説明することが不可能であり得る。この理由で、異なる視点を有する複数の深度マップは、3次元シーンを完全に説明するために必要とされ得る。
(簡単な概要)
実施形態は、異なるビューポイントを使用して生成された複数の深度マップを併合する。実施形態において、方法は、複数の3次元モデルを併合し、その複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成された。方法は、3次元空間における複数の3D画素を決定することを含む。複数の3D画素におけるそれぞれの3D画素に対して、複数の距離値が、決定される。各決定された距離値は、3D画素から、カメラモデルの視点方向の3次元モデルまでの距離であり、そのカメラモデルは、3次元モデルを生成するために使用される。決定された距離値のうちの少なくとも1つが、3D画素と対応する3次元モデルとの間の距離がしきい値の範囲内にあること、または3D画素が対応する3次元モデルの上方に位置していることを示す場合、信頼度スコアは、決定され、信頼度スコアは、対応する3次元モデルのカメラモデルの視点が、3D画素に正対するように配向されている度合を示し、3D画素に対応する点を併合された3次元モデルに含むべきかどうかが、決定された信頼度スコアに少なくとも一部基づいて、決定される。
システムおよびコンピュータープログラム製品の実施形態も、開示される。
本発明の種々の実施形態の構造および動作と同様に、本発明のさらなる実施形態、特徴、および利点は、添付の図面を参照して下記に詳細に説明される。
本明細書中に組み込まれ、本明細書の一部を形成する添付の図面は、本発明を図示し、添付の図面は、説明と共に、本発明の原理を明白にすること、および当業者が本発明を実施することを可能にすることにさらに役立つ。
図1は、異なるビューポイントから構築されたシーンの深度マップを図示している図である。 図2は、実施形態に従った、深度マップを併合する方法を図示しているフローチャートである。 図3は、図1におけるシーンのための3D画素格子を図示している図である。 図4A〜Bは、3D画素格子を使用した距離測定値を図示している図である。 図4A〜Bは、3D画素格子を使用した距離測定値を図示している図である。 図5は、距離測定値の信頼度スコアを決定する方法を図示している図である。 図6は、符号付距離フィールドから併合された3次元モデルを構築することを図示している図である。 図7は、実施形態に従った、深度マップを併合するシステムを図示している図である。
要素が初めて現れる図は、典型的に、対応する参照数字における最も左の桁(単数または複数)によって、示される。図面において、同様の参照数字は、同一または機能的に類似した要素を示し得る。
(実施形態の詳細な説明)
上記で言及したように、異なる視点を有する複数の深度マップは、3次元シーンを完全に説明するために必要とされ得る。全体の3次元シーンの表現を生成するために、複数の深度マップは、1つの3次元的表現に併合される必要があり得る。複数の深度マップをさらに併合するための1つの方法は、共通部分をとることであり得る。共通部分をとるために、任意の測定された深度値より大きい任意の3D画素は、取り除かれ得る。しかし、本技術は、欠点をこうむり得る。特に、深度マップが、3次元的特徴が実際よりも奥行きの深いことを示す場合の任意の誤った測定値は、併合された深度マップ内へ伝播させられ得る。
深度マップにおけるノイズを補償するために、他の技術は、測定値を平均することにより、深度マップを併合する。しかし、上記で言及されたように、深度マップは、深度マップの関連した視点から明白である3次元的特徴のみを説明し得る。見えなくされた3次元的特徴は、深度マップにおいて全く表現されないこともある。同様に、深度マップの視点に正対していない特徴は、深度マップにおいて低い解像度でのみ表現され得る。これらの深度マップの測定値を、3次元的特徴のよりまっすぐな眺めを有する深度マップからの測定値と共に平均することは、併合された深度マップの正確さを低下させ得る。
少なくとも一部分欠点に対処するために、実施形態は、深度マップの測定値に関連した信頼度水準に基づいて、どの深度マップの測定値を併合して最終的な3次元モデルにするかを選択する。
一実施形態において、種々の深度マップは、複数の3D画素を含む符号付距離フィールドを決定するために使用され得る。符号付距離フィールドにける各3D画素は、評価され得、どのような評価であるかに基づいて、3つの操作のうちの1つが、画素に対して行われることにより、併合された3次元モデルを決定することを助け得る。第一に、しきい値距離「t」が与えられると、符号付距離値のうちの少なくとも1つが、−tよりも小さい場合、3D画素は、空に保たれ得る(例えば、3D画素に大きな負の値を割り当てる)。3D画素を空に保つことは、3D画素を併合された3次元モデルから切り取り得る。第二に、符号付距離値のうちの任意のものが、−tとtとの間にある場合、3D画素の符号付距離は、それらの値の平均に設定され得る。2つの値の平均をとることによって、2つの併合深度マップは、その3D画素において併合され得る。第三に、符号付距離のうちの任意のものが、tよりも大きい場合、3D画素は、充填され得る(つまり、3D画素に大きな正の値を割り当てる)。このように、各3D画素は、切り取られ、併合され、または充填されることにより、併合された3次元モデルにおける対応する3D画素を決定し得る。
以下の実施形態の詳細な説明において、「一実施形態」、「実施形態」、「例示の実施形態」等への言及は、説明された実施形態が、特定の特徴、構造、または特性を含み得るが、あらゆる実施形態が、必ずしもその特定の特徴、構造、または特性を含まなくてもよいことを示す。そのうえ、そのような句は、必ずしも同じ実施形態を言及しているわけではない。さらに、特定の特徴、構造、または特性が、実施形態と関連して説明される場合、明示的に説明されていようとなかろうと、他の実施形態に関連したそのような特徴、構造、または特性をもたらすことは、当業者の知識の範囲内であることが思料される。
図は、例証の目的のために2次元断面図を図示しているが、当業者は、断面が、3次元要素を表現し得ることを認識する。
図1は、異なるビューポイントから構築されたシーンの深度マップを図示している図100を示している。図100は、仮想カメラ102から構築された3次元モデル112と、仮想カメラ104から構築された3次元モデル114とを図示する。両方の3次元モデル112および114は、建造物130を表現し得る。
3次元モデル112および114は、航空機または衛星の画像から生成されたステレオ再構築であり得る。画像は、種々の斜めまたは天底の視点における頭上カメラによって撮られ得る。画像において、特徴は検出され、互いに関連づけられる。既知の視点情報を使用して、3次元空間における点は、対応する特徴から三角測量される。これらの点は、2つの画像からステレオメッシュを決定するために使用され得る。このように、3次元モデルの情報は、2次元画像から決定され得る。
しかし、3次元モデルの情報は、関連づけられた視点情報も有し得る。例えば、3次元モデルの情報は、特定の仮想カメラから再構築され得る。実施形態において、少なくとも2つの画像のステレオ再構築を使用して決定されたステレオメッシュは、特定のカメラビューポイントに投影し返され得る。3次元モデルが、深度マップとして表現される場合の実施形態において、投影における各画素は、想像上のカメラ視点からその画素におけるステレオメッシュまでの距離を示す値を有し得る。3次元モデルが、高度フィールドとして表現される場合の実施形態において、投影における各画素は、その画素におけるステレオメッシュの高度を示す値を有し得る。どちらの実施形態においても、各ステレオメッシュ自身に対する3次元モデルは、視点情報を関連づけている。3次元モデルは、他の任意のタイプの表面であり得、その表面のために、符号付距離は、計算(例えば、閉じたメッシュ)または別の符号付距離フィールドであり得る。
図100において、モデル112および114についての視点情報は、仮想カメラ102および104によって例証される。仮想カメラ102および104の各々は、対応する深度マップまたは高度フィールドについての視点またはビューポイントを指定するために必要とされるすべての情報を含み得る。例えば、各仮想カメラモデルは、対応する位置、配向、および視野を有し得る。そのうえ、各仮想カメラモデルは、直交投影または平行投影であり得る。
1つの統合された3次元モデルを生成するために、実施形態は、3次元モデル112および3次元モデル114を併合する。上記で言及されたように、モデル112および114を併合するための1つの方法は、2つのモデルの共通部分をとることであり得る。しかし、本技術が適用される場合、建造物130が、実際よりも低いことを示しているモデル112および114における任意の誤差は、最終的な併合されたモデルまで伝播する。例えば、図100において、モデル114は、建造物130が、領域124において実際よりも低いと示している。モデルが、交わる場合、その誤差は、最終的な併合されたモデルまで伝播する。少なくとも一部分この誤差を避けるために、実施形態は、深度マップの測定値に関連した信頼度水準に基づいて、どの深度マップの測定値を併合して最終的な3次元モデルにするかを選択する。どの深度マップの測定値を併合して最終的な3次元モデルにするかを決定する方法は、図2に図示される。
図2は、実施形態に従った、深度マップを併合する方法200を図示しているフローチャートである。方法200は、図3〜6に図示されている例に関連して説明される。
方法200は、3D画素格子の構築に関するステップ202において始まる。3D画素格子は、符号付距離フィールドであり得る。3D画素格子は、入力3次元モデルデータの解像度、または併合された3次元モデルの所望の解像度に従って、構築され得る。入力または所望の出力3次元モデルの解像度が増加する場合、3D画素格子は、より細かくあり得る。例示の3D画素格子は、図3に関連して例証される。
図3は、図1におけるシーンのための3D画素格子を図示している図300を示す。3D画素格子における各3D画素は、3次元空間における関連した位置を有し得る。3D画素は、3次元環境の全域で規則的に間隔をあけられ得る。3D画素格子における各3D画素は、各3D画素が、併合された3次元モデルの一部であるかどうかについて、独立して評価され得る。
図300の3D画素格子における3D画素は、連続的な解像度を有する規則的な空間であると示されている。しかし、当業者は、他の実施形態は、適応性のある解像度を含み得ることを認識する。規則的に間隔をあけられた3D画素におけるサンプリングの代わりに、適応性のある解像度を用いる場合、サンプリング点は、表面の近くではより密集し得るが、表面から遠くではむしろ密集しなくてもよい。本実施形態は、より少ないメモリー使用について、より多くの詳細を提供し得る。図2を再び参照すると、各3D画素またはサンプリング点の評価は、方法200におけるステップ204において始まる。
ステップ204において、距離値は、各入力された3次元モデルに対して決定される。特に、距離値は、3D画素格子における3D画素と3次元モデルとの間の距離を表現し得る。各入力された3次元モデルに対して、距離は、3次元モデルに関連した視点方向に測定される。より具体的には、距離は、3D画素からまっすぐに仮想カメラに向かう光線または3D画素からまっすぐに仮想カメラから離れる光線に沿って測定され得る。3次元モデルが、高度フィールドまたは深度マップとして表現される場合、距離決定は、速い実行に役立つ単純なルックアップを含み得る。
距離は、符号付距離値であり得、符号付距離値の大きさ(絶対値)は、2点間の距離であり得ることを意味しているが、符号付距離値は、正または負にもなり得る。例えば、決定された距離値は、正であることにより、3D画素が、仮想カメラの視点からの3次元モデルの下方(または内側)に位置していることを示し、負の決定された距離値は、3D画素が、仮想カメラの視点からの3次元モデルの上方(または外側)に位置していることを示し得る。
ひとたび距離値が、各深度マップに対して決定されると、3D画素がモデルのはるか下方にあることを示している任意の距離値は、ステップ206において放棄される。実施形態において、3D画素が、モデルのはるか下方にあるかどうかを決定するために、距離値は、距離値がしきい値を超過するかどうかを調べるために評価され得る。しきい値を超過する距離値は、3D画素が3次元モデルの視点の所与の眺めから見えなくされていることを示し得るので、しきい値を超過する距離値は、放棄される。対象が、3次元モデルの1つの視点からの眺めから見えなくされている一方、他のモデルは、3D画素のより良い眺めを有する角度から構築され得る。この理由で、3D画素がモデルの内側深くに位置していることを示している大きな距離値は、有用な情報を提供しなくてもよい。本ステップは、例えば、図4Aに関連して例証される。
図4Aは、3D画素に対する種々の距離測定値を図示している図400を示す。図100および図1と同様に、図400は、対応する仮想カメラ102および104を有する3次元モデル112および114を示す。そのうえ、図400は、仮想カメラ406の視点から構築された3次元モデル416を示す。図400は、3D画素402に対して生成された3次元モデルの各々についての距離値を図示する。
特に、図400は、モデル112についての距離432と、モデル114についての距離434と、モデル416についての距離436とを示す。例えば、仮定のしきい値距離が、5mであったと仮定する。図400に図示されているように、距離434は、+7mと測定され、3D画素402が、表面114の7m下方にあることを意味している。その例において、距離434は、方法200のステップ206において無視される。距離436および432は、より詳細に下記に説明される。
図2を再び参照すると、ステップ206において、モデルの内側深くにある距離測定値を取り除いた後、残りの距離は、評価されることにより、決定ボックス208において、距離が、3D画素がモデルのはるか上方にあることを示すかどうかを決定する。距離が、3D画素がモデルのはるか上方にあることを示すかどうかを決定するために、距離値は、負のしきい値と比較され得る。距離が、負のしきい値の下方にある(大きさが、しきい値の大きさを超過する)場合、距離は、3D画素が対応するモデルのはるか上方にあることを示す。そうでなければ、距離は、3D画素が対応するモデルのはるか上方にあることを示さない。距離測定値が、3D画素が対応するモデルのはるか上方にあることを示さない場合、方法は、ステップ214へ進み、表面のはるか下方(例えば、しきい値のはるか下方)にあると決定された任意の測定値は、放棄され得る。測定値は、単にその測定値に対する信頼度をゼロに設定することによって、放棄され得る。そうでなければ、方法は、ステップ210へ進む。決定された距離が、3D画素がモデルのはるか上方にあることを示す例は、図4Bに図示されている。
図4Bは、3D画素に対する種々の距離測定値を図示している図450を示す。図100および図1、ならびに図4Bの図400と同様に、図450は、対応する仮想カメラ102および104を有する3次元モデル112および114を示す。そのうえ、図450は、仮想カメラ458の視点から構築された3次元モデル468を示す。図450は、3D画素452のために生成された3次元モデルの各々についての距離値を図示する。
特に、図450は、モデル112についての距離486と、モデル114についての距離434と、モデル416についての距離438とを示す。例えば、仮定のしきい値距離が、−4mであったと仮定する。図400に図示されているように、距離486は、−7mと測定され、3D画素402が、表面114の7m下方にあることを意味している。その例において、距離486は、方法200のステップ208において、3D画素が、3次元モデルのはるか上方にあることを示す。結果として、方法200は、ステップ210へ進む。距離436および432は、より詳細に下記に説明される。
ステップ210において、信頼度スコアは、その距離に対して決定される。信頼度スコアは、深度マップにおいて読み込む距離の質を推定し得る。一般に、特徴のよりまっすぐな通常の眺めは、特徴のより接線に沿った眺めよりも高い解像度、およびことによると良い質を有する。その理由で、信頼度スコアは、対応する3次元モデルのカメラモデルの視点が、3D画素領域に正対するように配向されている度合を示し得る。信頼度スコアを決定する方法の例は、図5に図示されている。
図5は、距離測定値の信頼度スコアを決定する方法を図示している図500を示す。図500は、3D画素452と仮想カメラ458から構築された3次元モデル468とについて測定された距離486における信頼度を決定する方法を図示する。光線570は、仮想カメラ458から3D画素452を通って延びることにより、点560において3次元モデル468と交わる。3次元モデル468が、深度マップまたは高度フィールドとして表現される場合の実施形態において、位置560を決定することは、単純なルックアップを含み得る。光線270と3次元モデル468の間に、角度552が、決定され得る。決定された角度552は、信頼度スコアを決定するために使用され得る。角度552が、より鈍角になるにつれて、併合された3次元モデルに3D画素452を含む可能性は、増加し得る。同様に、角度552が、より鋭角になるにつれて、併合された3次元モデルに3D画素452を含む可能性は、減少し得る。このように、3次元モデルと仮想カメラの視点との間の角度は、併合された3次元モデルを決定することを助けるために使用され得る。
角度に加えて、近くのサンプリング点の頻度も、併合された3次元モデルを決定するために使用され得る。図500において、3次元モデル468は、点560においてサンプリングされた。点560に隣接したサンプリング点が、決定され得る。サンプリング点間の距離が、決定され得、信頼度スコアが、その距離に基づいて決定され得る。図500において、点560は、サンプリング点562に隣接し得る。点560と点562との間で、距離554が、測定され得る。距離値486における信頼度の水準を示している信頼度スコアは、測定された距離554に基づいて決定され得る。距離554が、より長くなるにつれて、併合された3次元モデルに3D画素452を含む可能性は、増加し得る。同様に、距離554が、より短くなるにつれて、併合された3次元モデルに3D画素452を含む可能性は、減少し得る。このように、距離554と角度552との両方が、測定された距離486における信頼度の水準を決定するために使用され得る。
他の実施形態において、ステレオマッチングの質は、信頼度スコアを決定するために使用され得る。そのうえ、信頼度スコアは、上記で説明された方法のうちの任意のものの組み合わせを使用して決定され得る。
さらなる例において、重みつき平均は、複数の信頼度値がある場合に使用され得る。例えば、図4を再び参照すると、距離482が、信頼度値0.2を有し、距離484が、0.5の信頼度値を有し、距離46が、信頼度値0.1を有する場合、、3D画素452の3D画素格子に記憶され得る総計の符号付距離値は、(2*0.2+3*0.5−7*0.1)/(0.2+0.5+0.1)=1.5である。
図2を再び参照すると、ひとたび信頼度スコアが、ステップ210において決定されると、信頼度スコアは、ステップ212において、併合された3次元モデルに3D画素を含むべきかどうかを決定するために使用される。実施形態において、ステップ212は、近距離と遠距離との両方に対して決定された信頼度スコアを使用し得る。図5に関連して論じられた技術を使用して、値Cは、近距離に対して決定され得、値Cは、遠距離に対して決定され得る。3D画素は、ステップ212において、以下の式が満足される場合に含まれ得る:C<αC、ここで、αは、事前定義されたバイアス値、または他の事前決定された度合である。このように、方法200は、ステップ212において、3D画素が、併合された3次元モデルに含まれるべきかどうかを決定する。
3D画素が含まれない場合、大きな負の距離が、3D画素格子に記憶され得る。その値は、3D画素の後のアルゴリズムが、併合された3次元モデルに含まれるべきではないことを示し得る。3D画素が、含まれる場合(決定ブロック216)、符号付距離は、ステップ214において3D画素に対して決定される。符号付距離に加えて、当業者は、重みが使用され得ることを認識する。
ステップ214において、符号付距離は、3D画素に対して決定される。符号付距離は、例えば、ステップ206および208において論じられた2つのしきい値間で測定された距離測定値に基づいて、決定され得る。これら2つのしきい値間の距離値は、対応する3次元モデルが、3D画素に近いことを示す。符号付距離は、例えば、3D画素に十分に近い残りの距離値を平均すること、または重みつき平均をとることによって、決定され得る。ステップ214の例は、図4Aにおける距離432および436、ならびに図4Bにおける距離482および484に関連して例証される。
図4Aにおいて、距離432および436は、3D画素に十分に近い。特に、それらの距離は、ステップ206および208に関連して前に説明されたしきい値の範囲内にあり得る。3D画素402に対する符号付距離を決定するために、距離値は、平均され得る。図400に図示されているように、距離436は、3D画素402が、モデル416の2メートル下方にあることを示し、+2mの距離値を生み出す。同様に、距離432は、3D画素402が、モデル416の3メートル上方にあることを示し、−3mの距離値を生み出す。それから、それぞれの符号付距離値は、平均され、−0.5の3D画素402に対する重みをもたらし得る。この符号付距離402は、3D画素格子または符号付距離フィールドに記憶され得る。
同様に、図4Bにおいて、距離482および484は、3D画素に十分に近い。特に、それらの距離は、ステップ206および208に関連して前に説明されたしきい値の範囲内にあり得る。3D画素452に対する符号付距離を決定するために、距離値は、平均され得る。図450に図示されているように、距離482は、3D画素452が、モデル416の2メートル下方にあることを示し、+2mの距離値を生み出す。同様に、距離484は、3D画素452が、モデル416の3m下方にあることを示し、+3mの距離値を生み出す。それから、それぞれの符号付距離値は、平均され、+2.5の3D画素452に対する符号付距離をもたらし得る。この符号付距離402はまた、3D画素格子に記憶され得る。
決定ブロック218において、ステップ204〜216は、ステップ202において構築された3D画素空間における各3D画素に対して反復される。この反復の結果として、3D画素格子は、各3D画素に対する符号付距離値を含み得る。符号付距離のこの3次元行列は、ステップ220において、併合された3次元モデルを構築するために使用され得る。併合された3次元モデルは、3D画素格子における値に基づいて、併合された3次元モデルの縁を画定することによって構築され得る。一例において、縁は、正の値を有する3D画素と負の値を有する3D画素との間に画定され得る。正の3D画素と負の3D画素との間の位置の間で、縁の位置は、正および負の値の相対的な大きさに基づいて画定され得る。
3D画素格子から、メッシュ表面を導き出すいくつかの方法があり得る。一例は、マーチングキューブアルゴリズムの使用である。ステップ220の別の例は、図6に図示されている。
図6は、実施形態に従って、符号付の符号付距離の行列から併合された3次元モデル602を構築することを図示している図600を示す。特に図600は、隣接した3D画素612および614を有する3D画素格子を図示する。3D画素612が、関連づけられた正の符号付距離(+3)を有し、3D画素614が、関連づけられた負の符号付距離(−1)を有するので、3次元モデル602は、3D画素612と3D画素614との間のあたりに構築される。さらに、3D画素614の符号付距離の大きさ(1)が、3D画素612の符号付距離の大きさ(3)よりも小さいので、3次元モデル602は、3D画素612よりも3D画素614の近くを通過するように構築され得る。3D画素614と3D画素612との間の3次元モデル602の位置は、それぞれの符号付距離に線形に比例し得る。このように、併合された3次元モデル602は、3D画素格子を使用して決定され得る。
図7は、実施形態に従った、深度マップを併合するシステム700を図示している図である。実施形態において、システム700は、図2における方法に従って動作し得る。システム700は、複数の入力深度マップ702を入力として受信する処理パイプラインサーバー710を含む。入力3次元モデル702が、深度マップと呼ばれているが、当業者は、3次元モデルデータを表現する他の方法があることを認識する。例えば、3次元モデル702は、高度フィールドとしても表現され得る。3次元モデル702の各々は、特定の視点からのステレオ再構築であり得る。入力3次元モデル702から、処理パイプラインサーバー710は、併合されたモデル730を生成する。
処理パイプラインサーバー710は、3D画素空間モジュール712と、距離テストモジュール714と、信頼度スコアモジュール716と、点セレクターモジュール718と、モデル構築モジュール720とを含む。これらのモジュールの各々は、下記に説明される。
3D画素空間モジュール712は、3次元空間における複数の3D画素を決定するように構成されている。3D画素は、3次元環境の全域で規則的に間隔をあけられ得る。3D画素格子における各3D画素は、各3D画素が、併合された3次元モデルの一部であるかどうかについて、独立して評価され得る。3D画素空間モジュール712によって生成されうる例示の3D画素空間は、図3に図示されている。
距離テストモジュール714は、複数の3D画素においてそれぞれの3D画素に対する複数の距離値を決定するように構成されている。各距離値は、3D画素から、カメラモデルの視点方向の複数の深度マップ702からの3次元モデルまでの距離であり得、そのカメラモデルは、3次元モデルを生成するために使用される。種々の測定された距離の例は、図4A〜Bに図示されている。
信頼度スコアモジュール716は、距離テストモジュール714によって決定されたそれぞれの距離に対する信頼度スコアを決定するように構成されている。信頼度スコアは、対応する3次元モデルのカメラモデルの視点が、3D画素に正対するように配向されている度合を示し得る。信頼度スコアモジュール716は、3次元モデルと、入力3次元モデルの視点から3D画素を通って延びている光線との間の角度に基づいて、信頼度スコアを決定するように構成され得る。同様に、信頼度スコアモジュール716は、3D画素を基準として決定された近接領域における対応する3次元モデルのサンプリング間の距離に基づいて、信頼度スコアを決定することを決定するように構成され得る。近接領域は、仮想カメラ情報に従ってレンダリングされる場合の3D画素を示す画素に隣接した画素を含み得る。信頼度スコアモジュール716は、図5に関連して説明されたような信頼度値を決定し得る。
点セレクターモジュール718は、決定された信頼度スコアに少なくとも一部基づいて、3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定するように構成されている。
モデル構築モジュール720は、第一および第二の距離値の両方に従って、3D画素に対する符号付距離を決定するように構成されている。さらに、モデル構築モジュール720は、2つの隣接した3D画素に対して決定された符号付距離に基づいて、2つの隣接した3D画素の間で、併合された3次元モデルの縁をどこに構築すべきかを決定するように構成されている。モデル構築モジュールの動作は、例えば、図6に関連して説明される。
処理パイプラインサーバー710は、任意のコンピューティングデバイスに実装され得る。そのようなコンピューティングデバイスは、パーソナルコンピューター、携帯電話のようなモバイルデバイス、ワークステーション、埋め込みシステム、ゲームコンソール、テレビジョン、セットトップボックス、または他の任意のコンピューティングデバイスを含み得るが、それらに制限されない。さらに、コンピューティングデバイスは、命令の実行および記憶のためのプロセッサーおよびメモリーを有するデバイスを含み得るが、そのデバイスに制限されない。ソフトウェアは、1つ以上のアプリケーションと、オペレーティングシステムとを含み得る。ハードウェアは、プロセッサー、メモリー、およびグラフィカルユーザーインターフェースディスプレイを含み得るが、それらに制限されない。コンピューティングデバイスはまた、複数のプロセッサーと、複数の共有または分離メモリー構成要素とを有し得る。例えば、コンピューティングデバイスは、クラスタコンピューティング環境またはサーバーファームであり得る。
3D画素空間モジュール712、距離テストモジュール714、信頼度スコアモジュール716、点セレクターモジュール718、およびモデル構築モジュール720の各々は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせに実装され得る。
概要および要約のセクションは、発明者(単数または複数)によって想定されるような本発明の1つ以上であるがすべてではない例示的実施形態を述べ得、したがって、概要および要約のセクションは、本発明および添付の特許請求の範囲を制限することは決して意図されない。
本発明は、指定された機能およびその関係の実装を例証している機能的な基本構成要素の助けを借りて上記で説明されてきた。これらの機能的な基本成要素の境界は、説明の便利のために、本明細書中に独断的に定義されてきた。指定された機能およびその関係が、適切に実施される限り、代替の境界は、定義され得る。
特定の実施形態の前述の説明は、本発明の一般的な性質を完全に明らかにするので、人々は、技術分野の範囲内の知識を適用することによって、過度な実験なしに、本発明の一般的な概念から逸脱することなしに、そのような特定の実施形態を種々の用途に容易に改変し、かつ/または適合させ得る。したがって、そのような適合および改変は、本明細書中に提示された教示および指導に基づいて、開示された実施形態の均等物の趣意および範囲の範囲内にあることが意図される。本明細書の用語または語法は、教示および指導の見地から当業者によって解釈されるように、本明細書中の語法または用語は、説明の目的のためのものであり、制限の目的のためのものではないことが理解される。
本発明の広さおよび範囲は、上記で説明された例示的実施形態のうちのいずれによっても制限されるべきではないが、本発明の広さおよび範囲は、下記の特許請求の範囲およびその均等物に従ってのみ定義されるべきである。
本発明の種々の実施形態の構造および動作と同様に、本発明のさらなる実施形態、特徴、および利点は、添付の図面を参照して下記に詳細に説明される。
本発明はさらに、たとえば、以下を提供する。
(項目1)
複数の3次元モデルを併合する方法であって、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該方法は、
(a)3次元空間における複数の3D画素を決定することと、
該複数の3D画素におけるそれぞれの3D画素に対して、
(b)複数の距離値を決定することであって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの対応する3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用されている、ことと、
(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
(c)該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定することと、
(d)該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定することと、
(e)該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定することであって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、ことと
を含む方法。
(項目2)
前記決定すること(c)は、前記3次元モデルと前記カメラモデルの前記視点から前記3D画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、項目1に記載の方法。
(項目3)
前記決定すること(c)は、前記3D画素を基準として決定される近接域における前記対応する3次元モデルのサンプリング間の距離に基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、項目1に記載の方法。
(項目4)
(f)(i)前記点が、(e)において、前記併合された3次元モデルに含まれるように決定され、かつ、(ii)前記複数の決定された距離値からの第三および第四の距離値の両方が、前記3D画素とそれぞれの3次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該3D画素に対する重みを決定することと、
(g)2つの隣接した3D画素に対して決定された重みに基づいて、該2つの隣接した3D画素の間で、該併合された3次元モデルの縁をどこに構築すべきかを決定することと
をさらに含む、項目1に記載の方法。
(項目5)
前記複数の3次元モデルにおける各3次元モデルは、深度マップとして表現されている、項目1に記載の方法。
(項目6)
前記複数の3次元モデルにおける各3次元モデルは、高度フィールドとして表現されている、項目1に記載の方法。
(項目7)
前記複数の3次元モデルにおける各3次元モデルは、ステレオ再構築である、項目1に記載の方法。
(項目8)
複数の3次元モデルを併合するシステムであって、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該システムは、
1つ以上のプロセッサーと、
該1つ以上のプロセッサーに連結されているメモリーと、
3次元空間における複数の3D画素を決定するように構成されている3D画素決定モジュールと、
該複数の3D画素におけるそれぞれの3D画素に対して、複数の距離値を決定するように構成されている距離テストモジュールであって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用され、該距離テストモジュールは、該1つ以上のプロセッサーに実装されている、距離テストモジュールと、
信頼度スコアモジュールであって、該信頼度スコアモジュールは、(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内あることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定し、
該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定する
ように構成されている、信頼度スコアモジュールと、
点セレクターモジュールであって、該点セレクターモジュールは、該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定するように構成され、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、点セレクターモジュールと
を含む、システム。
(項目9)
前記信頼度スコアモジュールは、前記3次元モデルと前記カメラモデルの前記視点から前記3D画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定するように構成されている、項目8に記載のシステム。
(項目10)
前記信頼度スコアモジュールは、前記3D画素を基準として決定された近接域における前記対応する3次元モデルのサンプリング間の距離に基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定するように構成されている、項目8に記載のシステム。
(項目11)
モデル構築モジュールをさらに含み、該モデル構築モジュールは、(i)前記点が、前記併合された3次元モデルに含まれるように前記点セレクターモジュールによって決定され、かつ、前記複数の決定された距離値からの第三および第四の距離値の両方が、前記3D画素とそれぞれの3次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該3D画素に対する重みを決定し、(ii)2つの隣接した3D画素に対して決定された重みに基づいて、該2つの隣接した3D画素の間で、該併合された3次元モデルの縁をどこに構築すべきかを決定するように構成されている、項目8に記載のシステム。
(項目12)
前記複数の3次元モデルにおける各3次元モデルは、深度マップとして表現されている、項目8に記載のシステム。
(項目13)
前記複数の3次元モデルにおける各3次元モデルは、高度フィールドとして表現されている、項目8に記載のシステム。
(項目14)
前記複数の3次元モデルにおける各3次元モデルは、ステレオ再構築である、項目8に記載のシステム。
(項目15)
非一時的なコンピューター読み込み可能な媒体を含むコンピュータープログラム製品であって、該媒体は、命令を記憶し、該命令は、コンピューティングデバイスによって実行されると、該コンピューティングデバイスに、複数の3次元モデルを併合する動作を実施させ、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該動作は、
(a)3次元空間における複数の3D画素を決定することと
該複数の3D画素におけるそれぞれの3D画素に対して、
(b)複数の距離値を決定することであって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの対応する3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用されている、ことと、
(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
(c)該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定することと、
(d)該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定することと、
(e)該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定することであって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、ことと
を含む、コンピュータープログラム製品。
(項目16)
前記決定すること(c)は、前記3次元モデルと前記カメラモデルの前記視点から前記3D画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、項目15に記載のコンピュータープログラム製品。
(項目17)
前記決定すること(c)は、前記3D画素を基準として決定された近接域における前記対応する3次元モデルのサンプリング間の距離にも基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することをさらに含む、項目16に記載のコンピュータープログラム製品。
(項目18)
前記動作は、
(f)(i)前記点が、(d)において、前記併合された3次元モデルに含まれるように決定され、かつ、(ii)前記複数の決定された距離値からの第三および第四の距離値の両方が、前記3D画素とそれぞれの3次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該3D画素に対する重みを決定することと、
(g)2つの隣接した3D画素に対して決定された重みに基づいて、該2つの隣接した3D画素の間で、該併合された3次元モデルの縁をどこに構築すべきかを決定することと
をさらに含む、項目17に記載のコンピュータープログラム製品。
(項目19)
前記複数の3次元モデルにおける各3次元モデルは、深度マップとして表現されている、項目15に記載のコンピュータープログラム製品。
(項目20)
前記複数の3次元モデルにおける各3次元モデルは、高度フィールドとして表現されている、項目15に記載のコンピュータープログラム製品。
(項目21)
前記複数の3次元モデルにおける各3次元モデルは、ステレオ再構築である、項目15に記載のコンピュータープログラム製品。
(項目22)
複数の3次元モデルを併合するシステムであって、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該システムは、
1つ以上のプロセッサーと、
該1つ以上のプロセッサーに連結されているメモリーと、
3次元空間における複数の3D画素を決定する手段と、
該複数の3D画素におけるそれぞれの3D画素に対して、複数の距離値を決定する手段であって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用され、該距離テストモジュールは、該1つ以上のプロセッサーに実装されている、手段と、
(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定し、
該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定する
手段と、
該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定する手段であって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、手段と
を含む、システム。

Claims (22)

  1. 複数の3次元モデルを併合する方法であって、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該方法は、
    (a)3次元空間における複数の3D画素を決定することと、
    該複数の3D画素におけるそれぞれの3D画素に対して、
    (b)複数の距離値を決定することであって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの対応する3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用されている、ことと、
    (i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
    (c)該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定することと、
    (d)該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定することと、
    (e)該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定することであって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、ことと
    を含む方法。
  2. 前記決定すること(c)は、前記3次元モデルと前記カメラモデルの前記視点から前記3D画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、請求項1に記載の方法。
  3. 前記決定すること(c)は、前記3D画素を基準として決定される近接域における前記対応する3次元モデルのサンプリング間の距離に基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、請求項1に記載の方法。
  4. (f)(i)前記点が、(e)において、前記併合された3次元モデルに含まれるように決定され、かつ、(ii)前記複数の決定された距離値からの第三および第四の距離値の両方が、前記3D画素とそれぞれの3次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該3D画素に対する重みを決定することと、
    (g)2つの隣接した3D画素に対して決定された重みに基づいて、該2つの隣接した3D画素の間で、該併合された3次元モデルの縁をどこに構築すべきかを決定することと
    をさらに含む、請求項1に記載の方法。
  5. 前記複数の3次元モデルにおける各3次元モデルは、深度マップとして表現されている、請求項1に記載の方法。
  6. 前記複数の3次元モデルにおける各3次元モデルは、高度フィールドとして表現されている、請求項1に記載の方法。
  7. 前記複数の3次元モデルにおける各3次元モデルは、ステレオ再構築である、請求項1に記載の方法。
  8. 複数の3次元モデルを併合するシステムであって、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該システムは、
    1つ以上のプロセッサーと、
    該1つ以上のプロセッサーに連結されているメモリーと、
    3次元空間における複数の3D画素を決定するように構成されている3D画素決定モジュールと、
    該複数の3D画素におけるそれぞれの3D画素に対して、複数の距離値を決定するように構成されている距離テストモジュールであって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用され、該距離テストモジュールは、該1つ以上のプロセッサーに実装されている、距離テストモジュールと、
    信頼度スコアモジュールであって、該信頼度スコアモジュールは、(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内あることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
    該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定し、
    該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定する
    ように構成されている、信頼度スコアモジュールと、
    点セレクターモジュールであって、該点セレクターモジュールは、該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定するように構成され、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、点セレクターモジュールと
    を含む、システム。
  9. 前記信頼度スコアモジュールは、前記3次元モデルと前記カメラモデルの前記視点から前記3D画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定するように構成されている、請求項8に記載のシステム。
  10. 前記信頼度スコアモジュールは、前記3D画素を基準として決定された近接域における前記対応する3次元モデルのサンプリング間の距離に基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定するように構成されている、請求項8に記載のシステム。
  11. モデル構築モジュールをさらに含み、該モデル構築モジュールは、(i)前記点が、前記併合された3次元モデルに含まれるように前記点セレクターモジュールによって決定され、かつ、前記複数の決定された距離値からの第三および第四の距離値の両方が、前記3D画素とそれぞれの3次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該3D画素に対する重みを決定し、(ii)2つの隣接した3D画素に対して決定された重みに基づいて、該2つの隣接した3D画素の間で、該併合された3次元モデルの縁をどこに構築すべきかを決定するように構成されている、請求項8に記載のシステム。
  12. 前記複数の3次元モデルにおける各3次元モデルは、深度マップとして表現されている、請求項8に記載のシステム。
  13. 前記複数の3次元モデルにおける各3次元モデルは、高度フィールドとして表現されている、請求項8に記載のシステム。
  14. 前記複数の3次元モデルにおける各3次元モデルは、ステレオ再構築である、請求項8に記載のシステム。
  15. 非一時的なコンピューター読み込み可能な媒体を含むコンピュータープログラム製品であって、該媒体は、命令を記憶し、該命令は、コンピューティングデバイスによって実行されると、該コンピューティングデバイスに、複数の3次元モデルを併合する動作を実施させ、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該動作は、
    (a)3次元空間における複数の3D画素を決定することと
    該複数の3D画素におけるそれぞれの3D画素に対して、
    (b)複数の距離値を決定することであって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの対応する3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用されている、ことと、
    (i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
    (c)該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定することと、
    (d)該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定することと、
    (e)該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定することであって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、ことと
    を含む、コンピュータープログラム製品。
  16. 前記決定すること(c)は、前記3次元モデルと前記カメラモデルの前記視点から前記3D画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、請求項15に記載のコンピュータープログラム製品。
  17. 前記決定すること(c)は、前記3D画素を基準として決定された近接域における前記対応する3次元モデルのサンプリング間の距離にも基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することをさらに含む、請求項16に記載のコンピュータープログラム製品。
  18. 前記動作は、
    (f)(i)前記点が、(d)において、前記併合された3次元モデルに含まれるように決定され、かつ、(ii)前記複数の決定された距離値からの第三および第四の距離値の両方が、前記3D画素とそれぞれの3次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該3D画素に対する重みを決定することと、
    (g)2つの隣接した3D画素に対して決定された重みに基づいて、該2つの隣接した3D画素の間で、該併合された3次元モデルの縁をどこに構築すべきかを決定することと
    をさらに含む、請求項17に記載のコンピュータープログラム製品。
  19. 前記複数の3次元モデルにおける各3次元モデルは、深度マップとして表現されている、請求項15に記載のコンピュータープログラム製品。
  20. 前記複数の3次元モデルにおける各3次元モデルは、高度フィールドとして表現されている、請求項15に記載のコンピュータープログラム製品。
  21. 前記複数の3次元モデルにおける各3次元モデルは、ステレオ再構築である、請求項15に記載のコンピュータープログラム製品。
  22. 複数の3次元モデルを併合するシステムであって、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該システムは、
    1つ以上のプロセッサーと、
    該1つ以上のプロセッサーに連結されているメモリーと、
    3次元空間における複数の3D画素を決定する手段と、
    該複数の3D画素におけるそれぞれの3D画素に対して、複数の距離値を決定する手段であって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用され、該距離テストモジュールは、該1つ以上のプロセッサーに実装されている、手段と、
    (i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
    該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定し、
    該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定する
    手段と、
    該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定する手段であって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、手段と
    を含む、システム。
JP2014513809A 2012-05-01 2013-04-30 信頼度スコアに基づいた3次元モデルの併合 Active JP5592039B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/461,403 2012-05-01
US13/461,403 US8462155B1 (en) 2012-05-01 2012-05-01 Merging three-dimensional models based on confidence scores
PCT/US2013/038881 WO2013166023A1 (en) 2012-05-01 2013-04-30 Merging three-dimensional models based on confidence scores

Publications (2)

Publication Number Publication Date
JP2014514682A true JP2014514682A (ja) 2014-06-19
JP5592039B2 JP5592039B2 (ja) 2014-09-17

Family

ID=48538396

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014513809A Active JP5592039B2 (ja) 2012-05-01 2013-04-30 信頼度スコアに基づいた3次元モデルの併合

Country Status (7)

Country Link
US (1) US8462155B1 (ja)
EP (1) EP2705500B1 (ja)
JP (1) JP5592039B2 (ja)
KR (1) KR101399236B1 (ja)
CN (1) CN103503033B (ja)
DE (1) DE202013012443U1 (ja)
WO (1) WO2013166023A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI441042B (zh) * 2011-07-01 2014-06-11 Pixart Imaging Inc 互動影像系統、互動控制裝置及其運作方法
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
US9083960B2 (en) * 2013-01-30 2015-07-14 Qualcomm Incorporated Real-time 3D reconstruction with power efficient depth sensor usage
US9767378B2 (en) * 2015-08-31 2017-09-19 Sony Corporation Method and system to adaptively track objects
US11830140B2 (en) * 2021-09-29 2023-11-28 Verizon Patent And Licensing Inc. Methods and systems for 3D modeling of an object by merging voxelized representations of the object
CN116310149B (zh) * 2023-05-18 2023-07-21 深圳优立全息科技有限公司 一种体素合并方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143057A (ja) * 1999-11-18 2001-05-25 Asia Air Survey Co Ltd 都市の3次元モデルを作成する方法
JP2002074323A (ja) * 2000-09-01 2002-03-15 Kokusai Kogyo Co Ltd 三次元市街地空間モデル作成方法およびシステム
JP2003317081A (ja) * 2002-04-25 2003-11-07 Sony Corp 3次元モデル生成システム及び方法、並びにコンピュータ・プログラム
JP2004133094A (ja) * 2002-10-09 2004-04-30 Zenrin Co Ltd 3次元電子地図データの生成方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6912293B1 (en) 1998-06-26 2005-06-28 Carl P. Korobkin Photogrammetry engine for model construction
US7193633B1 (en) 2000-04-27 2007-03-20 Adobe Systems Incorporated Method and apparatus for image assisted modeling of three-dimensional scenes
US6868191B2 (en) 2000-06-28 2005-03-15 Telefonaktiebolaget Lm Ericsson (Publ) System and method for median fusion of depth maps
JP2002157576A (ja) 2000-11-22 2002-05-31 Nec Corp ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体
US20050128212A1 (en) 2003-03-06 2005-06-16 Edecker Ada M. System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment
US20050212794A1 (en) 2004-03-29 2005-09-29 Communications Research Laboratory, Independent Administrative Institution Method and apparatus for removing of shadows and shadings from texture images
KR100748719B1 (ko) * 2005-07-14 2007-08-13 연세대학교 산학협력단 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법
US7856125B2 (en) * 2006-01-31 2010-12-21 University Of Southern California 3D face reconstruction from 2D images
KR100891549B1 (ko) * 2007-05-22 2009-04-03 광주과학기술원 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체
US20100182406A1 (en) * 2007-07-12 2010-07-22 Benitez Ana B System and method for three-dimensional object reconstruction from two-dimensional images
US8531472B2 (en) 2007-12-03 2013-09-10 Pictometry International Corp. Systems and methods for rapid three-dimensional modeling with real façade texture
US8275194B2 (en) * 2008-02-15 2012-09-25 Microsoft Corporation Site modeling using image data fusion
US8350850B2 (en) 2008-03-31 2013-01-08 Microsoft Corporation Using photo collections for three dimensional modeling
JP5243612B2 (ja) * 2008-10-02 2013-07-24 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ 中間画像合成およびマルチビューデータ信号抽出
US9330494B2 (en) 2009-10-26 2016-05-03 Pictometry International Corp. Method for the automatic material classification and texture simulation for 3D models
US8619122B2 (en) 2010-02-02 2013-12-31 Microsoft Corporation Depth camera compatibility
US8773424B2 (en) 2010-02-04 2014-07-08 Microsoft Corporation User interfaces for interacting with top-down maps of reconstructed 3-D scences
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001143057A (ja) * 1999-11-18 2001-05-25 Asia Air Survey Co Ltd 都市の3次元モデルを作成する方法
JP2002074323A (ja) * 2000-09-01 2002-03-15 Kokusai Kogyo Co Ltd 三次元市街地空間モデル作成方法およびシステム
JP2003317081A (ja) * 2002-04-25 2003-11-07 Sony Corp 3次元モデル生成システム及び方法、並びにコンピュータ・プログラム
JP2004133094A (ja) * 2002-10-09 2004-04-30 Zenrin Co Ltd 3次元電子地図データの生成方法

Also Published As

Publication number Publication date
CN103503033B (zh) 2015-07-08
KR101399236B1 (ko) 2014-05-27
EP2705500A4 (en) 2015-09-23
EP2705500B1 (en) 2017-06-07
DE202013012443U1 (de) 2016-11-08
JP5592039B2 (ja) 2014-09-17
WO2013166023A1 (en) 2013-11-07
KR20130131444A (ko) 2013-12-03
US8462155B1 (en) 2013-06-11
EP2705500A1 (en) 2014-03-12
CN103503033A (zh) 2014-01-08

Similar Documents

Publication Publication Date Title
US11688138B2 (en) Methods and systems for detecting and combining structural features in 3D reconstruction
JP5592039B2 (ja) 信頼度スコアに基づいた3次元モデルの併合
Merrell et al. Real-time visibility-based fusion of depth maps
US10249052B2 (en) Stereo correspondence model fitting
US8463024B1 (en) Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling
WO2020039166A1 (en) Method and system for reconstructing colour and depth information of a scene
KR20170068462A (ko) 에지를 이용한 3차원 모델 생성
US9380286B2 (en) Stereoscopic target region filling
US20210241435A1 (en) Point cloud fusion method, electronic device, and computer storage medium
US10354444B2 (en) Resolution adaptive mesh that is generated using an intermediate implicit representation of a point cloud
US9224368B2 (en) Merging three-dimensional models of varying resolution
US9691175B2 (en) 3-D models as a navigable container for 2-D raster images
GB2553363B (en) Method and system for recording spatial information
US9171393B2 (en) Three-dimensional texture reprojection
EP3304500B1 (en) Smoothing 3d models of objects to mitigate artifacts
CN117635875B (zh) 一种三维重建方法、装置及终端
EP2660781A1 (en) Three-dimensional model generation
AU2013219167B1 (en) Merging three-dimensional models based on confidence scores
TW201528774A (zh) 用於形成三維景象之裝置及方法
US20180025479A1 (en) Systems and methods for aligning measurement data to reference data
Zhu et al. Design of volume calculation algorithm for irregular objects based on reference plane for large scenes
JP2020017109A (ja) ブレイクライン抽出プログラム、ブレイクライン抽出システム
Chia et al. Novel view image synthesis based on photo-consistent 3D model deformation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130909

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130909

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20130909

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140730

R150 Certificate of patent or registration of utility model

Ref document number: 5592039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250