JP2014514682A - 信頼度スコアに基づいた3次元モデルの併合 - Google Patents
信頼度スコアに基づいた3次元モデルの併合 Download PDFInfo
- Publication number
- JP2014514682A JP2014514682A JP2014513809A JP2014513809A JP2014514682A JP 2014514682 A JP2014514682 A JP 2014514682A JP 2014513809 A JP2014513809 A JP 2014513809A JP 2014513809 A JP2014513809 A JP 2014513809A JP 2014514682 A JP2014514682 A JP 2014514682A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- pixel
- model
- dimensional model
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000005070 sampling Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 12
- 230000001154 acute effect Effects 0.000 claims description 9
- 238000010586 diagram Methods 0.000 description 22
- 238000005259 measurement Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
(分野)
実施形態は、一般に、3次元モデリングに関連する。
写真家は、しばしば、高所(例えば、航空機)から地球の画像を撮る。そのような航空機からの写真は、異なる視点(perspective)から撮られ得る。航空機からの写真から、3次元モデルは、例えば、ステレオマッチングを使用して構築され得る。ステレオマッチングを使用して構築されたモデルは、完全に正確ではないことがある。例えば、不正確は、基礎をなす画像における変動、カメラの視点における不正確、およびステレオマッチングアルゴリズムの限界によって、導入され得る。
実施形態は、異なるビューポイントを使用して生成された複数の深度マップを併合する。実施形態において、方法は、複数の3次元モデルを併合し、その複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成された。方法は、3次元空間における複数の3D画素を決定することを含む。複数の3D画素におけるそれぞれの3D画素に対して、複数の距離値が、決定される。各決定された距離値は、3D画素から、カメラモデルの視点方向の3次元モデルまでの距離であり、そのカメラモデルは、3次元モデルを生成するために使用される。決定された距離値のうちの少なくとも1つが、3D画素と対応する3次元モデルとの間の距離がしきい値の範囲内にあること、または3D画素が対応する3次元モデルの上方に位置していることを示す場合、信頼度スコアは、決定され、信頼度スコアは、対応する3次元モデルのカメラモデルの視点が、3D画素に正対するように配向されている度合を示し、3D画素に対応する点を併合された3次元モデルに含むべきかどうかが、決定された信頼度スコアに少なくとも一部基づいて、決定される。
上記で言及したように、異なる視点を有する複数の深度マップは、3次元シーンを完全に説明するために必要とされ得る。全体の3次元シーンの表現を生成するために、複数の深度マップは、1つの3次元的表現に併合される必要があり得る。複数の深度マップをさらに併合するための1つの方法は、共通部分をとることであり得る。共通部分をとるために、任意の測定された深度値より大きい任意の3D画素は、取り除かれ得る。しかし、本技術は、欠点をこうむり得る。特に、深度マップが、3次元的特徴が実際よりも奥行きの深いことを示す場合の任意の誤った測定値は、併合された深度マップ内へ伝播させられ得る。
本発明はさらに、たとえば、以下を提供する。
(項目1)
複数の3次元モデルを併合する方法であって、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該方法は、
(a)3次元空間における複数の3D画素を決定することと、
該複数の3D画素におけるそれぞれの3D画素に対して、
(b)複数の距離値を決定することであって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの対応する3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用されている、ことと、
(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
(c)該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定することと、
(d)該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定することと、
(e)該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定することであって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、ことと
を含む方法。
(項目2)
前記決定すること(c)は、前記3次元モデルと前記カメラモデルの前記視点から前記3D画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、項目1に記載の方法。
(項目3)
前記決定すること(c)は、前記3D画素を基準として決定される近接域における前記対応する3次元モデルのサンプリング間の距離に基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、項目1に記載の方法。
(項目4)
(f)(i)前記点が、(e)において、前記併合された3次元モデルに含まれるように決定され、かつ、(ii)前記複数の決定された距離値からの第三および第四の距離値の両方が、前記3D画素とそれぞれの3次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該3D画素に対する重みを決定することと、
(g)2つの隣接した3D画素に対して決定された重みに基づいて、該2つの隣接した3D画素の間で、該併合された3次元モデルの縁をどこに構築すべきかを決定することと
をさらに含む、項目1に記載の方法。
(項目5)
前記複数の3次元モデルにおける各3次元モデルは、深度マップとして表現されている、項目1に記載の方法。
(項目6)
前記複数の3次元モデルにおける各3次元モデルは、高度フィールドとして表現されている、項目1に記載の方法。
(項目7)
前記複数の3次元モデルにおける各3次元モデルは、ステレオ再構築である、項目1に記載の方法。
(項目8)
複数の3次元モデルを併合するシステムであって、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該システムは、
1つ以上のプロセッサーと、
該1つ以上のプロセッサーに連結されているメモリーと、
3次元空間における複数の3D画素を決定するように構成されている3D画素決定モジュールと、
該複数の3D画素におけるそれぞれの3D画素に対して、複数の距離値を決定するように構成されている距離テストモジュールであって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用され、該距離テストモジュールは、該1つ以上のプロセッサーに実装されている、距離テストモジュールと、
信頼度スコアモジュールであって、該信頼度スコアモジュールは、(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内あることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定し、
該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定する
ように構成されている、信頼度スコアモジュールと、
点セレクターモジュールであって、該点セレクターモジュールは、該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定するように構成され、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、点セレクターモジュールと
を含む、システム。
(項目9)
前記信頼度スコアモジュールは、前記3次元モデルと前記カメラモデルの前記視点から前記3D画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定するように構成されている、項目8に記載のシステム。
(項目10)
前記信頼度スコアモジュールは、前記3D画素を基準として決定された近接域における前記対応する3次元モデルのサンプリング間の距離に基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定するように構成されている、項目8に記載のシステム。
(項目11)
モデル構築モジュールをさらに含み、該モデル構築モジュールは、(i)前記点が、前記併合された3次元モデルに含まれるように前記点セレクターモジュールによって決定され、かつ、前記複数の決定された距離値からの第三および第四の距離値の両方が、前記3D画素とそれぞれの3次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該3D画素に対する重みを決定し、(ii)2つの隣接した3D画素に対して決定された重みに基づいて、該2つの隣接した3D画素の間で、該併合された3次元モデルの縁をどこに構築すべきかを決定するように構成されている、項目8に記載のシステム。
(項目12)
前記複数の3次元モデルにおける各3次元モデルは、深度マップとして表現されている、項目8に記載のシステム。
(項目13)
前記複数の3次元モデルにおける各3次元モデルは、高度フィールドとして表現されている、項目8に記載のシステム。
(項目14)
前記複数の3次元モデルにおける各3次元モデルは、ステレオ再構築である、項目8に記載のシステム。
(項目15)
非一時的なコンピューター読み込み可能な媒体を含むコンピュータープログラム製品であって、該媒体は、命令を記憶し、該命令は、コンピューティングデバイスによって実行されると、該コンピューティングデバイスに、複数の3次元モデルを併合する動作を実施させ、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該動作は、
(a)3次元空間における複数の3D画素を決定することと
該複数の3D画素におけるそれぞれの3D画素に対して、
(b)複数の距離値を決定することであって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの対応する3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用されている、ことと、
(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
(c)該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定することと、
(d)該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定することと、
(e)該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定することであって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、ことと
を含む、コンピュータープログラム製品。
(項目16)
前記決定すること(c)は、前記3次元モデルと前記カメラモデルの前記視点から前記3D画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、項目15に記載のコンピュータープログラム製品。
(項目17)
前記決定すること(c)は、前記3D画素を基準として決定された近接域における前記対応する3次元モデルのサンプリング間の距離にも基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することをさらに含む、項目16に記載のコンピュータープログラム製品。
(項目18)
前記動作は、
(f)(i)前記点が、(d)において、前記併合された3次元モデルに含まれるように決定され、かつ、(ii)前記複数の決定された距離値からの第三および第四の距離値の両方が、前記3D画素とそれぞれの3次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該3D画素に対する重みを決定することと、
(g)2つの隣接した3D画素に対して決定された重みに基づいて、該2つの隣接した3D画素の間で、該併合された3次元モデルの縁をどこに構築すべきかを決定することと
をさらに含む、項目17に記載のコンピュータープログラム製品。
(項目19)
前記複数の3次元モデルにおける各3次元モデルは、深度マップとして表現されている、項目15に記載のコンピュータープログラム製品。
(項目20)
前記複数の3次元モデルにおける各3次元モデルは、高度フィールドとして表現されている、項目15に記載のコンピュータープログラム製品。
(項目21)
前記複数の3次元モデルにおける各3次元モデルは、ステレオ再構築である、項目15に記載のコンピュータープログラム製品。
(項目22)
複数の3次元モデルを併合するシステムであって、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該システムは、
1つ以上のプロセッサーと、
該1つ以上のプロセッサーに連結されているメモリーと、
3次元空間における複数の3D画素を決定する手段と、
該複数の3D画素におけるそれぞれの3D画素に対して、複数の距離値を決定する手段であって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用され、該距離テストモジュールは、該1つ以上のプロセッサーに実装されている、手段と、
(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定し、
該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定する
手段と、
該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定する手段であって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、手段と
を含む、システム。
Claims (22)
- 複数の3次元モデルを併合する方法であって、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該方法は、
(a)3次元空間における複数の3D画素を決定することと、
該複数の3D画素におけるそれぞれの3D画素に対して、
(b)複数の距離値を決定することであって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの対応する3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用されている、ことと、
(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
(c)該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定することと、
(d)該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定することと、
(e)該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定することであって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、ことと
を含む方法。 - 前記決定すること(c)は、前記3次元モデルと前記カメラモデルの前記視点から前記3D画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、請求項1に記載の方法。
- 前記決定すること(c)は、前記3D画素を基準として決定される近接域における前記対応する3次元モデルのサンプリング間の距離に基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、請求項1に記載の方法。
- (f)(i)前記点が、(e)において、前記併合された3次元モデルに含まれるように決定され、かつ、(ii)前記複数の決定された距離値からの第三および第四の距離値の両方が、前記3D画素とそれぞれの3次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該3D画素に対する重みを決定することと、
(g)2つの隣接した3D画素に対して決定された重みに基づいて、該2つの隣接した3D画素の間で、該併合された3次元モデルの縁をどこに構築すべきかを決定することと
をさらに含む、請求項1に記載の方法。 - 前記複数の3次元モデルにおける各3次元モデルは、深度マップとして表現されている、請求項1に記載の方法。
- 前記複数の3次元モデルにおける各3次元モデルは、高度フィールドとして表現されている、請求項1に記載の方法。
- 前記複数の3次元モデルにおける各3次元モデルは、ステレオ再構築である、請求項1に記載の方法。
- 複数の3次元モデルを併合するシステムであって、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該システムは、
1つ以上のプロセッサーと、
該1つ以上のプロセッサーに連結されているメモリーと、
3次元空間における複数の3D画素を決定するように構成されている3D画素決定モジュールと、
該複数の3D画素におけるそれぞれの3D画素に対して、複数の距離値を決定するように構成されている距離テストモジュールであって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用され、該距離テストモジュールは、該1つ以上のプロセッサーに実装されている、距離テストモジュールと、
信頼度スコアモジュールであって、該信頼度スコアモジュールは、(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内あることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定し、
該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定する
ように構成されている、信頼度スコアモジュールと、
点セレクターモジュールであって、該点セレクターモジュールは、該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定するように構成され、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、点セレクターモジュールと
を含む、システム。 - 前記信頼度スコアモジュールは、前記3次元モデルと前記カメラモデルの前記視点から前記3D画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定するように構成されている、請求項8に記載のシステム。
- 前記信頼度スコアモジュールは、前記3D画素を基準として決定された近接域における前記対応する3次元モデルのサンプリング間の距離に基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定するように構成されている、請求項8に記載のシステム。
- モデル構築モジュールをさらに含み、該モデル構築モジュールは、(i)前記点が、前記併合された3次元モデルに含まれるように前記点セレクターモジュールによって決定され、かつ、前記複数の決定された距離値からの第三および第四の距離値の両方が、前記3D画素とそれぞれの3次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該3D画素に対する重みを決定し、(ii)2つの隣接した3D画素に対して決定された重みに基づいて、該2つの隣接した3D画素の間で、該併合された3次元モデルの縁をどこに構築すべきかを決定するように構成されている、請求項8に記載のシステム。
- 前記複数の3次元モデルにおける各3次元モデルは、深度マップとして表現されている、請求項8に記載のシステム。
- 前記複数の3次元モデルにおける各3次元モデルは、高度フィールドとして表現されている、請求項8に記載のシステム。
- 前記複数の3次元モデルにおける各3次元モデルは、ステレオ再構築である、請求項8に記載のシステム。
- 非一時的なコンピューター読み込み可能な媒体を含むコンピュータープログラム製品であって、該媒体は、命令を記憶し、該命令は、コンピューティングデバイスによって実行されると、該コンピューティングデバイスに、複数の3次元モデルを併合する動作を実施させ、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該動作は、
(a)3次元空間における複数の3D画素を決定することと
該複数の3D画素におけるそれぞれの3D画素に対して、
(b)複数の距離値を決定することであって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの対応する3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用されている、ことと、
(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
(c)該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定することと、
(d)該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定することと、
(e)該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定することであって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、ことと
を含む、コンピュータープログラム製品。 - 前記決定すること(c)は、前記3次元モデルと前記カメラモデルの前記視点から前記3D画素に向かって延びている光線との間の角度に基づいて、該角度がより鋭角になるにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することを含む、請求項15に記載のコンピュータープログラム製品。
- 前記決定すること(c)は、前記3D画素を基準として決定された近接域における前記対応する3次元モデルのサンプリング間の距離にも基づいて、該サンプリング間の距離が増加するにつれて、前記点が前記併合された3次元モデルに含まれる可能性が減少するように、前記信頼度スコアを決定することをさらに含む、請求項16に記載のコンピュータープログラム製品。
- 前記動作は、
(f)(i)前記点が、(d)において、前記併合された3次元モデルに含まれるように決定され、かつ、(ii)前記複数の決定された距離値からの第三および第四の距離値の両方が、前記3D画素とそれぞれの3次元モデルとの間の距離が前記しきい値を超過しないことを示す場合に、該第三および第四の距離値の両方に従って、該3D画素に対する重みを決定することと、
(g)2つの隣接した3D画素に対して決定された重みに基づいて、該2つの隣接した3D画素の間で、該併合された3次元モデルの縁をどこに構築すべきかを決定することと
をさらに含む、請求項17に記載のコンピュータープログラム製品。 - 前記複数の3次元モデルにおける各3次元モデルは、深度マップとして表現されている、請求項15に記載のコンピュータープログラム製品。
- 前記複数の3次元モデルにおける各3次元モデルは、高度フィールドとして表現されている、請求項15に記載のコンピュータープログラム製品。
- 前記複数の3次元モデルにおける各3次元モデルは、ステレオ再構築である、請求項15に記載のコンピュータープログラム製品。
- 複数の3次元モデルを併合するシステムであって、該複数の3次元モデルの各々は、異なるビューポイントを有するカメラの画像から生成され、該システムは、
1つ以上のプロセッサーと、
該1つ以上のプロセッサーに連結されているメモリーと、
3次元空間における複数の3D画素を決定する手段と、
該複数の3D画素におけるそれぞれの3D画素に対して、複数の距離値を決定する手段であって、各距離値は、該3D画素から、カメラモデルの視点方向の該複数の3次元モデルからの3次元モデルまでの距離であり、該カメラモデルは、該3次元モデルを生成するために使用され、該距離テストモジュールは、該1つ以上のプロセッサーに実装されている、手段と、
(i)該複数の距離値からの第一の距離値が、該3D画素と該第一の距離値に対応する該3次元モデルとの間の距離がしきい値の範囲内にあることを示し、かつ、(ii)該複数の距離値からの第二の距離値が、該3D画素が該しきい値の外側かつ該第二の距離値に対応する該3次元モデルの上方にあることを示す場合に、
該第一の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第一の信頼度スコアを決定し、
該第二の距離値に対応する該3次元モデルの該カメラモデルの該視点が、該3D画素に正対するように配向されている度合を示す第二の信頼度スコアを決定する
手段と、
該決定された第一および第二の信頼度スコアに少なくとも一部基づいて、該3D画素に対応する点を併合された3次元モデルに含むべきかどうかを決定する手段であって、該第二の信頼度スコアが、該第一の信頼度スコアよりも事前決定された度合だけ大きい場合に、該3D画素は、該併合された3次元モデルに含まれない、手段と
を含む、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/461,403 | 2012-05-01 | ||
US13/461,403 US8462155B1 (en) | 2012-05-01 | 2012-05-01 | Merging three-dimensional models based on confidence scores |
PCT/US2013/038881 WO2013166023A1 (en) | 2012-05-01 | 2013-04-30 | Merging three-dimensional models based on confidence scores |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014514682A true JP2014514682A (ja) | 2014-06-19 |
JP5592039B2 JP5592039B2 (ja) | 2014-09-17 |
Family
ID=48538396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014513809A Active JP5592039B2 (ja) | 2012-05-01 | 2013-04-30 | 信頼度スコアに基づいた3次元モデルの併合 |
Country Status (7)
Country | Link |
---|---|
US (1) | US8462155B1 (ja) |
EP (1) | EP2705500B1 (ja) |
JP (1) | JP5592039B2 (ja) |
KR (1) | KR101399236B1 (ja) |
CN (1) | CN103503033B (ja) |
DE (1) | DE202013012443U1 (ja) |
WO (1) | WO2013166023A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI441042B (zh) * | 2011-07-01 | 2014-06-11 | Pixart Imaging Inc | 互動影像系統、互動控制裝置及其運作方法 |
US20130141433A1 (en) * | 2011-12-02 | 2013-06-06 | Per Astrand | Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images |
US9083960B2 (en) * | 2013-01-30 | 2015-07-14 | Qualcomm Incorporated | Real-time 3D reconstruction with power efficient depth sensor usage |
US9767378B2 (en) * | 2015-08-31 | 2017-09-19 | Sony Corporation | Method and system to adaptively track objects |
US11830140B2 (en) * | 2021-09-29 | 2023-11-28 | Verizon Patent And Licensing Inc. | Methods and systems for 3D modeling of an object by merging voxelized representations of the object |
CN116310149B (zh) * | 2023-05-18 | 2023-07-21 | 深圳优立全息科技有限公司 | 一种体素合并方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001143057A (ja) * | 1999-11-18 | 2001-05-25 | Asia Air Survey Co Ltd | 都市の3次元モデルを作成する方法 |
JP2002074323A (ja) * | 2000-09-01 | 2002-03-15 | Kokusai Kogyo Co Ltd | 三次元市街地空間モデル作成方法およびシステム |
JP2003317081A (ja) * | 2002-04-25 | 2003-11-07 | Sony Corp | 3次元モデル生成システム及び方法、並びにコンピュータ・プログラム |
JP2004133094A (ja) * | 2002-10-09 | 2004-04-30 | Zenrin Co Ltd | 3次元電子地図データの生成方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6912293B1 (en) | 1998-06-26 | 2005-06-28 | Carl P. Korobkin | Photogrammetry engine for model construction |
US7193633B1 (en) | 2000-04-27 | 2007-03-20 | Adobe Systems Incorporated | Method and apparatus for image assisted modeling of three-dimensional scenes |
US6868191B2 (en) | 2000-06-28 | 2005-03-15 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for median fusion of depth maps |
JP2002157576A (ja) | 2000-11-22 | 2002-05-31 | Nec Corp | ステレオ画像処理装置及びステレオ画像処理方法並びにステレオ画像処理用プログラムを記録した記録媒体 |
US20050128212A1 (en) | 2003-03-06 | 2005-06-16 | Edecker Ada M. | System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment |
US20050212794A1 (en) | 2004-03-29 | 2005-09-29 | Communications Research Laboratory, Independent Administrative Institution | Method and apparatus for removing of shadows and shadings from texture images |
KR100748719B1 (ko) * | 2005-07-14 | 2007-08-13 | 연세대학교 산학협력단 | 다중 스테레오 카메라를 이용한 3차원 모델링 장치 및 그방법 |
US7856125B2 (en) * | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
KR100891549B1 (ko) * | 2007-05-22 | 2009-04-03 | 광주과학기술원 | 깊이 카메라를 이용하여 보완한 깊이 정보 생성 방법 및장치, 그리고 그 방법을 수행하는 프로그램이 기록된 기록매체 |
US20100182406A1 (en) * | 2007-07-12 | 2010-07-22 | Benitez Ana B | System and method for three-dimensional object reconstruction from two-dimensional images |
US8531472B2 (en) | 2007-12-03 | 2013-09-10 | Pictometry International Corp. | Systems and methods for rapid three-dimensional modeling with real façade texture |
US8275194B2 (en) * | 2008-02-15 | 2012-09-25 | Microsoft Corporation | Site modeling using image data fusion |
US8350850B2 (en) | 2008-03-31 | 2013-01-08 | Microsoft Corporation | Using photo collections for three dimensional modeling |
JP5243612B2 (ja) * | 2008-10-02 | 2013-07-24 | フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ | 中間画像合成およびマルチビューデータ信号抽出 |
US9330494B2 (en) | 2009-10-26 | 2016-05-03 | Pictometry International Corp. | Method for the automatic material classification and texture simulation for 3D models |
US8619122B2 (en) | 2010-02-02 | 2013-12-31 | Microsoft Corporation | Depth camera compatibility |
US8773424B2 (en) | 2010-02-04 | 2014-07-08 | Microsoft Corporation | User interfaces for interacting with top-down maps of reconstructed 3-D scences |
US8885890B2 (en) * | 2010-05-07 | 2014-11-11 | Microsoft Corporation | Depth map confidence filtering |
US20120056982A1 (en) * | 2010-09-08 | 2012-03-08 | Microsoft Corporation | Depth camera based on structured light and stereo vision |
-
2012
- 2012-05-01 US US13/461,403 patent/US8462155B1/en not_active Expired - Fee Related
-
2013
- 2013-04-30 KR KR1020137024779A patent/KR101399236B1/ko active IP Right Grant
- 2013-04-30 DE DE202013012443.1U patent/DE202013012443U1/de not_active Expired - Lifetime
- 2013-04-30 EP EP13747946.5A patent/EP2705500B1/en active Active
- 2013-04-30 JP JP2014513809A patent/JP5592039B2/ja active Active
- 2013-04-30 CN CN201380001180.9A patent/CN103503033B/zh active Active
- 2013-04-30 WO PCT/US2013/038881 patent/WO2013166023A1/en active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001143057A (ja) * | 1999-11-18 | 2001-05-25 | Asia Air Survey Co Ltd | 都市の3次元モデルを作成する方法 |
JP2002074323A (ja) * | 2000-09-01 | 2002-03-15 | Kokusai Kogyo Co Ltd | 三次元市街地空間モデル作成方法およびシステム |
JP2003317081A (ja) * | 2002-04-25 | 2003-11-07 | Sony Corp | 3次元モデル生成システム及び方法、並びにコンピュータ・プログラム |
JP2004133094A (ja) * | 2002-10-09 | 2004-04-30 | Zenrin Co Ltd | 3次元電子地図データの生成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103503033B (zh) | 2015-07-08 |
KR101399236B1 (ko) | 2014-05-27 |
EP2705500A4 (en) | 2015-09-23 |
EP2705500B1 (en) | 2017-06-07 |
DE202013012443U1 (de) | 2016-11-08 |
JP5592039B2 (ja) | 2014-09-17 |
WO2013166023A1 (en) | 2013-11-07 |
KR20130131444A (ko) | 2013-12-03 |
US8462155B1 (en) | 2013-06-11 |
EP2705500A1 (en) | 2014-03-12 |
CN103503033A (zh) | 2014-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11688138B2 (en) | Methods and systems for detecting and combining structural features in 3D reconstruction | |
JP5592039B2 (ja) | 信頼度スコアに基づいた3次元モデルの併合 | |
Merrell et al. | Real-time visibility-based fusion of depth maps | |
US10249052B2 (en) | Stereo correspondence model fitting | |
US8463024B1 (en) | Combining narrow-baseline and wide-baseline stereo for three-dimensional modeling | |
WO2020039166A1 (en) | Method and system for reconstructing colour and depth information of a scene | |
KR20170068462A (ko) | 에지를 이용한 3차원 모델 생성 | |
US9380286B2 (en) | Stereoscopic target region filling | |
US20210241435A1 (en) | Point cloud fusion method, electronic device, and computer storage medium | |
US10354444B2 (en) | Resolution adaptive mesh that is generated using an intermediate implicit representation of a point cloud | |
US9224368B2 (en) | Merging three-dimensional models of varying resolution | |
US9691175B2 (en) | 3-D models as a navigable container for 2-D raster images | |
GB2553363B (en) | Method and system for recording spatial information | |
US9171393B2 (en) | Three-dimensional texture reprojection | |
EP3304500B1 (en) | Smoothing 3d models of objects to mitigate artifacts | |
CN117635875B (zh) | 一种三维重建方法、装置及终端 | |
EP2660781A1 (en) | Three-dimensional model generation | |
AU2013219167B1 (en) | Merging three-dimensional models based on confidence scores | |
TW201528774A (zh) | 用於形成三維景象之裝置及方法 | |
US20180025479A1 (en) | Systems and methods for aligning measurement data to reference data | |
Zhu et al. | Design of volume calculation algorithm for irregular objects based on reference plane for large scenes | |
JP2020017109A (ja) | ブレイクライン抽出プログラム、ブレイクライン抽出システム | |
Chia et al. | Novel view image synthesis based on photo-consistent 3D model deformation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130909 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130909 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130909 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140508 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140730 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5592039 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |