JP2005141655A - ３次元モデリング装置及び３次元モデリング方法 - Google Patents
３次元モデリング装置及び３次元モデリング方法 Download PDFInfo
- Publication number
- JP2005141655A JP2005141655A JP2003379961A JP2003379961A JP2005141655A JP 2005141655 A JP2005141655 A JP 2005141655A JP 2003379961 A JP2003379961 A JP 2003379961A JP 2003379961 A JP2003379961 A JP 2003379961A JP 2005141655 A JP2005141655 A JP 2005141655A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- input device
- feature
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】対象オブジェクトを撮影した映像を元に対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い全周のレンダリングを行うこと。
【解決手段】カメラ位置・姿勢情報演算部１４にて、画像入力装置４の移動により対象オブジェクトを動画像または時系列的に連続的な画像列として撮影した画像内の複数の位置の情報の時系列的な変化により画像入力装置４の位置・姿勢情報を算出し、画像と対応する位置・姿勢情報関連付け部１５にて上記位置・姿勢情報と各画像とを関連付け、モデルの位置・姿勢に基づいたレンダリング情報演算部１６にてデータベース１１に登録された各位置・姿勢情報に対応する３次元形状モデルをレンダリングし、テクスチャ投影情報演算部１７にて３次元形状モデル上にその関連付けに基づいて各位置・姿勢情報に対応する画像列内の画像を投影して表示する。
【選択図】 図１
【解決手段】カメラ位置・姿勢情報演算部１４にて、画像入力装置４の移動により対象オブジェクトを動画像または時系列的に連続的な画像列として撮影した画像内の複数の位置の情報の時系列的な変化により画像入力装置４の位置・姿勢情報を算出し、画像と対応する位置・姿勢情報関連付け部１５にて上記位置・姿勢情報と各画像とを関連付け、モデルの位置・姿勢に基づいたレンダリング情報演算部１６にてデータベース１１に登録された各位置・姿勢情報に対応する３次元形状モデルをレンダリングし、テクスチャ投影情報演算部１７にて３次元形状モデル上にその関連付けに基づいて各位置・姿勢情報に対応する画像列内の画像を投影して表示する。
【選択図】 図１
Description
本発明は、対象オブジェクトの３次元形状モデルに対して、対象オブジェクトを撮影した動画像または連続する画像列に基づいて得られるカメラの位置・姿勢情報に基づいて、テクスチャを最適にマッピングすることにより、高画質な任意視点３次元モデルを生成する３次元モデリング装置及び３次元モデリング方法に関する。
近年、バーチャルリアリティの分野、インターネット上、さらには地図情報分野等、様々な場面で３次元モデルデータが有効に利用されるようになってきている。３次元モデルデータを作成するためには、３次元形状を計測するために、３次元レーザスキャナのような専用の計測装置が必要であるが、このような装置では、３次元オブジェクトの高精細なテクスチャ情報を簡易に生成することができない。そのため、形状計測手段とは別な手段によりテクスチャを撮影し、３次元形状モデルの各ポリゴンに対して、対応するテクスチャ領域を手作業により領域分割を行い、更に、撮影時の視点方向によるテクスチャの歪みを補正した上で各ポリゴンに対してテクスチャマッピングを行うという方法がとられていた。
また、上記手法を簡略化する方法として、特許文献１には、表示対象物体の概略形状モデルと、表示対象物体を撮影方向の情報を有する異なる方向から撮影した複数の画像とを利用して、レンダリングを行おうとする視点方向と撮影方向とが最も近い撮影画像を複数の撮影画像の中から選択し、その撮影画像を、撮影位置を視点として投影を行い、投影された概略形状を、レンダリングを行おうとする視点方向からスクリーン上に透視投影して表示する方法が開示されている。
あるいは、特許文献２では、複数の異なる視点からの撮影画像からパッチ面毎に最も解像度の高い画像を選択してそれぞれを各パッチ面に適用するテクスチャ画像としてテクスチャマッピングを行う手法を用いている。さらに、各テクスチャ画像の光源条件の不一致による画像間、すなわちパッチ面の間の濃淡値の差の補正処理を実行する処理も行っている。この補正処理として、各フレーム間の画像濃淡値補正処理、各パッチ間のテクスチャ画像のずれ補正処理、各パッチ間の境界部分の濃淡スムージング補正処理を適用することにより、高画質なテクスチャマッピングを可能として品質の高い３次元画像の生成を可能としている。
また、非特許文献１に示されるように、形状モデルを有する３次元オブジェクトに対して対象オブジェクトを動画像として撮影し、そのカメラ位置・姿勢情報より３次元オブジェクトのレンダリング、及び対応するテクスチャの投影を行うことにより、テクスチャ付き３次元オブジェクトのレンダリングを行う手法も提案されている。
特開２００１−２４３４９７号公報
特開２００２−２４８５０号公報
IEEE Virtual Reality 2003 (March 22-26, 2003 LosAngeles California), P.61 "Augmented Virtual Environment (AVE): Dynamic Fusion of Imagery and 3D Models"
しかしながら、上記特許文献１の手法では、撮影の方向を予め何らかの手段で取得する必要があり、そのための装置を他に有している必要があり、撮影時の煩雑さをさけることはできない。また、各撮影方向は、一定の間隔を持っているため、マッピングを行うのに適切な方向が複数選択されてしまうことがあり、そのような場合にはどちらがより適切であるかを判断する手段を有していない。さらに、最適テクスチャを選択する判断基準が方向のみであるため、対象オブジェクトとの距離に関する考慮がなされておらず、撮影位置が離れていてテクスチャが不鮮明な画像を選択してしまう可能性を持つという課題もある。
このことは、上記特許文献２の手法に関しても同様に言える課題となる。
さらに、上記非特許文献１の例においては、画像入力装置の位置・姿勢情報を算出するために利用している画像上の情報として、線分のみを用いているため、位置・姿勢の算出に必要な情報が得られる線分が抽出されない場合には精度の良いモデリングを行うことができないという課題を有する。
本発明は、上記の点に鑑みてなされたもので、カメラ位置・姿勢情報を、映像以外の別な計測装置を用いた手段を用いる必要のない簡易な手段で取得し、さらに、３次元モデルを構成する各ポリゴンに対して最適なテクスチャをマッピングし、さらに対象とする全周のレンダリングを行うことが可能な３次元モデリング装置及び３次元モデリング方法を提供することを目的とする。
上記の目的を達成するために、本発明の３次元モデリング装置の一態様は、
対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング装置において、
上記対象オブジェクトの形状情報を入力する形状情報入力手段と、
上記対象オブジェクトを画像入力装置の移動により動画像または時系列的に連続的な画像列として撮影を行う撮影手段と、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出する位置・姿勢情報算出手段と、
上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行う関連付け手段と、
上記形状情報入力手段によって入力された上記対象オブジェクトの形状情報から、上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングするレンダリング手段と、
上記レンダリング手段によってレンダリングされた３次元形状モデル上に、上記関連付け手段による関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する表示手段と、
を具備することを特徴とする。
対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング装置において、
上記対象オブジェクトの形状情報を入力する形状情報入力手段と、
上記対象オブジェクトを画像入力装置の移動により動画像または時系列的に連続的な画像列として撮影を行う撮影手段と、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出する位置・姿勢情報算出手段と、
上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行う関連付け手段と、
上記形状情報入力手段によって入力された上記対象オブジェクトの形状情報から、上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングするレンダリング手段と、
上記レンダリング手段によってレンダリングされた３次元形状モデル上に、上記関連付け手段による関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する表示手段と、
を具備することを特徴とする。
また、上記の目的を達成するために、本発明の３次元モデリング方法の一態様は、
対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング方法において、
上記対象オブジェクトの形状情報を入力し、
上記対象オブジェクトを画像入力装置の移動により動画像または時系列的に連続的な画像列として撮影を行い、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出し、
上記算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行い、
上記入力された上記対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングし、
上記レンダリングされた３次元形状モデル上に、上記関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する、
ことを特徴とする。
対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング方法において、
上記対象オブジェクトの形状情報を入力し、
上記対象オブジェクトを画像入力装置の移動により動画像または時系列的に連続的な画像列として撮影を行い、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出し、
上記算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行い、
上記入力された上記対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングし、
上記レンダリングされた３次元形状モデル上に、上記関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する、
ことを特徴とする。
本発明によれば、カメラ位置・姿勢情報を、映像以外の別な計測装置を用いた手段を用いる必要のない簡易な手段で取得し、さらに、３次元モデルを構成する各ポリゴンに対して最適なテクスチャをマッピングし、さらに対象とする全周のレンダリングを行うことが可能な３次元モデリング装置及び３次元モデリング方法を提供することができる。
以下、本発明を実施するための最良の形態を図面を参照して説明する。
［第１実施形態］
図１は、本発明の第１実施形態に係る３次元モデリング装置の全体的な概略構成を示す図である。
図１は、本発明の第１実施形態に係る３次元モデリング装置の全体的な概略構成を示す図である。
即ち、この３次元モデリング装置は、コンピュータ等の演算装置１と、ＣＲＴや液晶モニタ等の表示装置２と、マウス等の指示装置３と、カメラ等の画像入力装置４と、ＧＰＳやジャイロ等の補助位置・姿勢計測装置５とから構成される。そして、上記演算装置１は、データベース１１、データ入力部１２、特徴点・線・領域抽出処理演算部１３、カメラ位置・姿勢情報演算部１４、画像と対応する位置・姿勢情報関連付け部１５、モデルの位置・姿勢に基づいたレンダリング情報演算部１６、テクスチャ投影情報演算部１７、複数視点画像統合演算部１８、及びポリゴンと最適テクスチャ関連付け部１９を基本構成として持つ。
ここで、上記データベース１１は、予め不図示の３次元形状計測装置により対象オブジェクトを計測して得たモデリングの対象となる３次元形状モデルが登録されており、さらに、データ入力部１２乃至ポリゴンと最適テクスチャ関連付け部１９より処理されたデータを新規に登録するためのものである。なお、このデータベース１１は、演算装置１が持つものとしているが、ネットワークを介して接続された他のコンピュータが備えるものであっても構わない。
また、上記データ入力部１２は、上記画像入力装置４によって動画像または時間的に連続する画像列として撮影した画像や、上記補助位置・姿勢計測装置５で計測された上記画像入力装置４の位置・姿勢情報を受けるものである。
上記特徴点・線・領域抽出処理演算部１３は、上記データ入力部１２によって入力された動画像または連続する画像列の各画像等のデータより後の処理において必要となる特徴となる点、線分、領域を認識・抽出する。
上記カメラ位置・姿勢情報演算部１４は、上記特徴点・線・領域抽出処理演算部１３で抽出された特徴点・線分・領域より各画像に対する画像入力装置４の位置・姿勢情報を算出する。
上記画像と対応する位置・姿勢情報関連付け部１５は、上記カメラ位置・姿勢情報演算部１４によって求められた位置・姿勢情報とそれに対応する上記データ入力部１２によって入力された各画像とを対応付けるものである。
上記モデルの位置・姿勢に基づいたレンダリング情報演算部１６は、上記データベース１１に記憶されている３次元形状モデルを上記位置・姿勢情報に基づいてレンダリングを行う。
上記テクスチャ投影情報演算部１７は、上記モデルの位置・姿勢に基づいたレンダリング情報演算部１６によってレンダリングされた３次元形状モデルに対して、テクスチャをマッピングまたは投影を行うものである。
上記複数視点画像統合演算部１８は、３次元モデルを構成する各ポリゴンに対して、テクスチャ投影情報演算部１７での複数の視点より撮影・入力された画像より、最適なテクスチャを選択または合成して全周画像の作成を行うものである。
そして、上記ポリゴンと最適テクスチャ関連付け部１９は、その複数視点画像統合演算部１８で選択または合成した最適なテクスチャとポリゴンとを関連付けして、上記データベース１１に登録するものである。
このような構成の３次元モデリング装置においては、図２（Ａ）に示すような３次元形状モデルが、上述したように予め３次元形状計測装置により計測を行って、データベース１１に登録してある。この３次元形状モデルは、頂点情報、頂点接続情報からなるものとなる。但し、その他、任意の３次元形状表現形式を利用することも可能である。また、計測は、レーザスキャナ、ステレオ計測、光切断法等の一般的な３次元形状計測器で行うことが可能であり、３次元ソリッドモデルを生成する。
そして、３次元モデリング装置においては、図３（Ａ）のフローチャートに示すような動作を実施する。
即ち、まず、画像入力装置４により対象オブジェクトの連続視点移動画像の撮影を行って、データ入力部１２によりそれを入力する（ステップＳ１１）。図２（Ｂ）は、その撮影の場面を表した図である。対象とするオブジェクトに対して視点を移動しながら動画像または連続する画像列として撮影する。なお、ここでは、この撮影した画像をリアルタイムでデータ入力部１２によって取り込むものとして説明するが、撮影した画像を一旦記録媒体に記録しておき、後ほどデータ入力部１２で取り込んで以降の処理を実施しても良いことは勿論である。
次に、特徴点・線・領域抽出処理演算部１３により、そのような動画像または時間的に連続する画像列として撮影した又は取り込んだ各画像内において、特徴となる点や線分、領域を対象特徴物として抽出する（ステップＳ１２）。この対象特徴物の抽出は、画像内の濃度変化、エッジ等の特徴的な領域を各種フィルタをかけて、抽出することとする。
次に、カメラ位置・姿勢情報演算部１４にて、上記抽出された対象特徴物における特徴的な点、線分、及び形状を特徴対象物として、画像内での時間的変化を追跡することにより、三角測量の原理により、各特徴対象物までの距離を算出し（ステップＳ１３）、さらに、これらの情報に基づいて画像入力装置４（カメラ）の位置・姿勢を算出すると共に、画像と対応する位置・姿勢情報関連付け部１５によって、その算出した位置・姿勢情報とそれに対応する各画像とを関連付ける（ステップＳ１４）。なお、この特徴点、特徴線分、特徴領域の画像列間における追跡処理は、カルマンフィルタによる方法や、画像間の差分を取ること等、任意の手段での追尾処理を利用することが可能である。
その後、モデルの位置・姿勢に基づいたレンダリング情報演算部１６により、上記データベース１１に登録されている対象物の３次元形状モデルを読み出し、上記算出された画像入力装置４の位置・姿勢情報に基づいた３次元モデルをレンダリングして表示装置２上に表示する（ステップＳ１５）。
そして、テクスチャ投影情報演算部１７により、その表示された３次元モデル上に、図２（Ｃ）に示すように、撮影されたテクスチャ画像をマッピングまたは投影する（ステップＳ１６）。
以上の手法により、３次元モデルへのテクスチャマッピングまたは投影を行うことができる。
その後、特にフローチャートには示していないが、上記モデルの位置・姿勢に基づいたレンダリング情報演算部１６により、視点の移動と共にレンダリング領域が変化する処理を行い、複数視点画像統合演算部１８によって、その視点移動の前後で重複する領域を検出し、その重複する領域での最適テクスチャを選択または合成する処理を行うこととなる。通常は、レンダリングを行う視点でのテクスチャを利用してマッピングまたは投影を行うことになるが、３次元形状を表現するポリゴンの方向等の条件によっては、その視点位置におけるテクスチャより、前後の視点位置におけるテクスチャを利用した方が高画質化を図れる場合がある。即ち、例えば、ポリゴンに垂直な方向に対して視点方向がより近い方のテクスチャの方が歪みが小さく、画質が良くなる可能性が高い。条件としては、視点方向の角度のみでなく、距離等、任意の条件を対応させることが可能である。さらに、重複する領域に対してマッピングまたは投影されるテクスチャ領域に対し、双方のテクスチャの各画素において平均を求めることにより新たにテクスチャを合成することで高画質化を図ることも可能である。
こうして各ポリゴンに対して最適に選択または合成されたテクスチャは、テクスチャ投影情報演算部１７により、３次元モデル上にマッピングまたは投影される。
このようにすることで、図２（Ｄ）に示すように、全周画像のテクスチャマッピングを行うことが可能となる。
また、そのような各ポリゴンに対して最適に選択または合成されたテクスチャは、ポリゴンと最適テクスチャ関連付け部１９により、ポリゴンと共にデータベース１１に登録しておき、生成された３次元オブジェクトの表示を行う際に、そのデータベース１１を参照することにより、予め処理されたものとして各ポリゴンに対してマッピングまたは投影されるテクスチャを用いることが可能となり、リアルタイムでの視点移動を行うことが可能となる。
さらに、上記手法により算出された情報はすべてデータベース１１にデータベース化して登録しておき、処理後、任意にデータベースからデータを読み出すことにより、途中の処理を改めて行うことなく３次元モデルとテクスチャとの対応付けを行うことが可能となり、簡易に３次元モデリングを行うことが可能となる。
本実施形態を表示装置２に表示する際には例えば、図４に示すような画面構成を設定することができ、表示画面上にアクティブウィンドウとして表示される前表示領域２１内部に、テクスチャマッピングまたは投影の行われた３次元画像レンダリングウィンドウ２１Ａが表示され、このウィンドウ２１Ａ内では３次元オブジェクトの任意視点での表示を行うことができる。また、サブウィンドウ２１Ｂ−１〜２１Ｂ−ｎを設け、各視点におけるテクスチャマッピングまたは投影された画像と撮影時の生画像とが表示できるようにしておく。さらに、コントロールパネル２１Ｃも設け、３次元画像の視点移動制御、各サブウィンドウ２１Ｂ−１〜２１Ｂ−ｎ内での表示画像の切り替え等の制御を行うことができる。但し、視点変更は、３次元画像レンダリングウィンドウ２１Ａ内で指示装置３の操作によっても行えるようにしておくことが可能である。
［第２実施形態］
次に、図３（Ｂ）のフローチャートを参照して、本発明の第２実施形態を説明する。
次に、図３（Ｂ）のフローチャートを参照して、本発明の第２実施形態を説明する。
即ち、本実施形態に係る３次元モデリング装置においても、上記第１実施形態で説明したステップＳ１１乃至ステップＳ１３と同様の処理を行う。
ここで、ステップＳ１３の処理では、各特徴のトラッキングにおいて画像入力装置４（カメラ）の位置・姿勢情報を推定することができる。そこで、カメラ位置・姿勢情報演算部１４にて、その検出された特徴の数だけの位置・姿勢が推定されることになる（ステップＳ１４’）。この場合、各特徴点、特徴線分、特徴領域ごとに独立に画像列間における特徴追尾を行うことになる。
そして、カメラ位置・姿勢情報演算部１４はさらに、これらの複数の推定された情報を最適化する、例えば平均値を用いることで、精度の良い位置・姿勢情報を得ることが可能となる（ステップＳ２０）。この複数の推定された位置・姿勢情報を最適化する手法としては、様々な手法が考えられるが、例としては、特徴となる点と線分と領域とをそれぞれ最適化した後で、点、線分、領域で得られた３通りの位置・姿勢情報をさらに最適化する手法や、点、線分、領域を特に分類することなくすべて同等に扱い最適化する手法も考えられる。
こうして最適化された位置・姿勢情報が推定された後、モデルの位置・姿勢に基づいたレンダリング情報演算部１６では、その最適化された位置・姿勢情報に基づいて、精度の良い３次元形状モデリングを行うことが可能となる（ステップＳ１５’）。以降の処理は、上記第１実施形態と同様である。
［第３実施形態］
次に、図５（Ａ）のフローチャートを参照して、本発明の第３実施形態を説明する。
次に、図５（Ａ）のフローチャートを参照して、本発明の第３実施形態を説明する。
即ち、本実施形態に係る３次元モデリング装置においては、まず、上記第２実施形態で説明したステップＳ１１乃至ステップＳ１４’と同様の処理を行う。その後、各特徴点、特徴線分、特徴領域への重み付け設定を実行する（ステップＳ３０）。そして、上記第２実施形態で説明したステップＳ２０乃至ステップＳ１６と同様の処理を行う。
本実施形態では、各特徴の最適化の手法を具体的に述べる。各特徴の画像列間の追尾の精度と利用している特徴の有効性に関連性があると考えられる。即ち、長い画像列間に亘り追尾が連続して行われる特徴ほど、位置・姿勢の推定に利用する特徴としては精度の良いものと考えることができる。そこで、本実施形態では、追尾の可能な画像列の長さ（例えばフレーム数）をその特徴に対する重みとして設定し、この重み情報を、位置・姿勢推定の最適化条件として利用する。
この重み情報の利用法としては、各特徴で推定された位置・姿勢に対して重みを乗じた上で加重平均をとり、位置・姿勢とする方法を採る。
さらに、特徴としては、点、線分、領域といった複数のタイプ・形状の特徴を利用するため、これらの各タイプの特徴ごとに、先ず加重平均法による位置・姿勢推定を行った後で、各タイプの加重平均に対してさらに、各特徴タイプに対する重み設定を行った上で、再度加重平均をとったものを最終的な位置・姿勢情報として利用する方法もある。この方法を採用するメリットとしては、入力する画像の種類により、点を用いるのが適切な画像タイプである場合や、線分を利用することが適切な画像タイプである場合、領域を利用することが適切な画像タイプである場合などの画像タイプによる特徴形状の適・不適があるため、重み設定を行う精度を高めることができるというものである。
［第４実施形態］
次に、図５（Ｂ）のフローチャートを参照して、本発明の第４実施形態を説明する。
次に、図５（Ｂ）のフローチャートを参照して、本発明の第４実施形態を説明する。
即ち、本実施形態に係る３次元モデリング装置においては、まず、上記第３実施形態で説明したステップＳ１１乃至ステップＳ１４’と同様の処理を行う。その後、ＧＰＳ、ジャイロ等の補助位置・姿勢計測装置５から得られた情報との融合処理を実行する（ステップＳ４０）。そして、上記第３実施形態で説明したステップＳ３０乃至ステップＳ１６と同様の処理を行う。
つまり、画像から得られる情報のみでなく、画像入力装置４に付随した補助位置・姿勢計測装置５を利用する構成を取ることも可能であり、画像のみからでは位置・姿勢の推定が困難である場合には、この補助位置・姿勢計測装置５、例えば、ＧＰＳやジャイロのような装置により得られた位置・姿勢情報を、画像から得られる位置・姿勢情報と合わせて用いることにより、位置・姿勢情報の推定の連続性を高めることを可能とする。
このように、画像と、画像以外の手段とを統合して利用する際にも、双方に重み係数を設定し、上記第３実施形態と同様、最適化処理を行うことにより、時間的にも長い期間精度の良い位置・姿勢情報を推定し続けることが可能となる。
［第５実施形態］
次に、本発明の第５実施形態を説明する。
次に、本発明の第５実施形態を説明する。
３次元形状モデリングを行う際には、画像入力装置４の位置・姿勢推定を行う際の特徴点、特徴線分、特徴領域と３次元形状モデルとの対応付けを行う必要がある。本実施形態は、この特徴と３次元形状モデルとの対応付けを手動で行う方法に関するものである。
そのような対応付けを行う際には、図６に示すように、表示装置２の表示画面上にアクティブウィンドウとして表示されるウィンドウ２２内部に、連続テクスチャ画像表示ウィンドウ２２Ａ、連続テクスチャ画像表示ウィンドウコントロールパネル２２Ｂ、３次元画像レンダリングウィンドウ２２Ｃ、及び３次元画像レンダリングウィンドウコントロールパネル２２Ｄが表示される。
ここで、上記連続テクスチャ画像表示ウィンドウ２２Ａ内では、動画像の時系列としての画像列が連続的または任意のシーンを抽出して、テクスチャ画像として表示することが可能である。上記連続テクスチャ画像表示ウィンドウコントロールパネル２２Ｂは、この連続テクスチャ画像表示ウィンドウ２２Ａにテクスチャ画像を動画像として連続的に表示することや、任意のシーンを選択して表示するためのコントロールを行うための操作が行えるようになっている。
また、上記３次元画像レンダリングウィンドウ２２Ｃは、３次元形状表示を行うためのレンダリングウィンドウとなっており、上記３次元画像レンダリングウィンドウコントロールパネル２２Ｄは、この３次元画像レンダリングウィンドウ２２Ｃでの３次元レンダリング表示において任意視点表示を行う等の操作を行えるようになっている。
そして、テクスチャ上の特徴と３次元形状モデルとの対応付けを行う際には、テクスチャに対し特徴抽出のフィルタリング処理を行うことにより、連続テクスチャ画像表示ウィンドウ２２Ａにおいてテクスチャ上に抽出された特徴点、特徴線分、特徴領域を重畳表示しておき、マウス等の指示装置３により指定できるようにしておく。
次に、３次元画像レンダリングウィンドウ２２Ｃに表示される３次元形状モデル（３次元レンダリング画像）に対し、３次元画像レンダリングウィンドウコントロールパネル２２Ｄまたはマウス等の指示装置３による任意視点表示操作により、上記連続テクスチャ画像表示ウィンドウ２２Ａに表示されたテクスチャ画像と同一視点表示になるように操作する。
ここで、３次元画像レンダリングウィンドウ２２Ｃ上でも、マウス等の指示装置３により、指示した位置の点、線分、ポリゴン等を指示、特定できるような処理が行えるようになっている。その上で、連続テクスチャ画像表示ウィンドウ２２Ａに表示されたテクスチャ上に重畳された特徴と、３次元画像レンダリングウィンドウ２２Ｃに表示された３次元レンダリング画像上で対応する位置との対応付けを行う。そして、必要な数の特徴の対応付けが行われた時点で、特徴追尾操作を行うようにし、特徴追尾による画像入力装置２の位置・姿勢情報を算出する。
なお、連続的な特徴追尾が途中でとぎれた場合には、そのシーンにおいて再び特徴対応付け操作を行うことにより、即ち、同様な操作を繰り返すことにより、各連続画像に対応する位置・姿勢情報を推定する。この際、複数の特徴により追尾を行うことになるが、前述の第２乃至第４実施形態で説明したような最適位置・姿勢推定方法を用いた位置・姿勢情報の算出を行えば良い。
［第６実施形態］
次に、本発明の第６実施形態を説明する。本実施形態は、テクスチャ画像から得られる特徴点、特徴線分、特徴領域と、３次元形状モデルの対応する位置とを自動的に設定する例である。
次に、本発明の第６実施形態を説明する。本実施形態は、テクスチャ画像から得られる特徴点、特徴線分、特徴領域と、３次元形状モデルの対応する位置とを自動的に設定する例である。
即ち、テクスチャ上の特徴点、特徴線分、特徴領域と、３次元形状モデル内での対応する位置との対応付けを行うためには、３次元形状モデル上で、対応する位置を特定する認識処理が必要になるが、ここでは、３次元形状モデルを複数の適切な間隔の角度でレンダリングされた画像を複数生成し、生成された複数のレンダリング画像とテクスチャ画像との類似度を算出し、最も類似度の高いレンダリング画像を参照画像として採用し、テクスチャ上の特徴との対応付けを行う手法を用いる。最も類似度の高いレンダリング画像が選択された後では、テクスチャ画像と３次元形状モデルのレンダリング画像とが、ウィンドウ上で位置が合うように設定した上で、テクスチャから得られる特徴位置と対応する特徴位置における３次元形状モデルの点、線分、ポリゴンを対応付けし、動画像として連続的に配列されているテクスチャ画像間での特徴追尾による位置・姿勢の変化と共に３次元レンダリング画像も合わせて視点移動を行い、テクスチャ画像の視点が変わっても常に３次元画像レンダリングウィンドウ上での３次元形状モデルのレンダリングもテクスチャの変化する視点に伴ったレンダリングが行われるように設定しておく。
このように設定した上で、テクスチャにおける連続画像列での特徴追尾による位置・姿勢推定処理と共に、３次元形状モデルでは、テクスチャに対応する視点を探索した上でのレンダリングを行い、テクスチャの連続する各画像ごとに位置・姿勢の推定を行うと共に、それに伴う３次元形状モデルとの自動的な対応付けを行い、３次元形状モデルの生成が自動的な処理として行われることになる。
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
例えば、前述した各実施形態における位置・姿勢情報は、撮影されたそれぞれの画像を基にその撮影された画像入力装置４の位置及び姿勢を算出されたものでも良いし、ジャイロ、ＧＰＳまたは光学的位置測定装置などの補助位置・姿勢計測装置５を用いて対象オブジェクトに対する絶対的または相対的位置を特定するものであっても良い。したがって、このような補助位置・姿勢計測装置５を備えた３次元モデリング装置においては、撮影された各画像とそのときの画像入力装置４の姿勢（カメラ視線方向）のみを推定・追尾することによって、対象オブジェクトのモデリング処理を実行することが可能となる。
即ち、上記のような補助位置・姿勢計測装置５を備える３次元モデリング装置においては、当該位置情報を画像処理により推定する処理を必要とせずに、対象オブジェクトのモデリングが実現できる。
（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。
（１） 対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング装置において、
上記対象オブジェクトの形状情報を入力する形状情報入力手段と、
上記対象オブジェクトを画像入力装置の移動（即ち、視点の移動）により動画像または時系列的に連続的な画像列として撮影を行う撮影手段と、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出する位置・姿勢情報算出手段と、
上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行う関連付け手段と、
上記形状情報入力手段によって入力された上記対象オブジェクトの形状情報から、上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングするレンダリング手段と、
上記レンダリング手段によってレンダリングされた３次元形状モデル上に、上記関連付け手段による関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する表示手段と、
を具備することを特徴とする３次元モデリング装置。
上記対象オブジェクトの形状情報を入力する形状情報入力手段と、
上記対象オブジェクトを画像入力装置の移動（即ち、視点の移動）により動画像または時系列的に連続的な画像列として撮影を行う撮影手段と、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出する位置・姿勢情報算出手段と、
上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行う関連付け手段と、
上記形状情報入力手段によって入力された上記対象オブジェクトの形状情報から、上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングするレンダリング手段と、
上記レンダリング手段によってレンダリングされた３次元形状モデル上に、上記関連付け手段による関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する表示手段と、
を具備することを特徴とする３次元モデリング装置。
（対応する実施形態）
この（１）に記載の３次元モデリング装置に関する実施形態は、第１乃至第６実施形態が対応する。
この（１）に記載の３次元モデリング装置に関する実施形態は、第１乃至第６実施形態が対応する。
（作用効果）
この（１）に記載の３次元モデリング装置によれば、画像入力装置による視点を移動しながらの動画像または連続画像取得による画像入力装置の位置・姿勢情報の算出ができるため、他の画像入力装置の位置・姿勢計測手段を利用せずにすむので、簡易なシステムを構成することが可能である。
この（１）に記載の３次元モデリング装置によれば、画像入力装置による視点を移動しながらの動画像または連続画像取得による画像入力装置の位置・姿勢情報の算出ができるため、他の画像入力装置の位置・姿勢計測手段を利用せずにすむので、簡易なシステムを構成することが可能である。
（２） 上記位置・姿勢情報算出手段は、
上記画像入力装置から得られる画像内の特徴点、特徴的な線分、及び特徴的な形状領域を対象特徴物として抽出し、
各対象特徴物における特徴的な点、線分、及び形状を特徴対象物として、時間変化と共にそれぞれ追跡し、
上記特徴対象物それぞれに対し、三角測量の原理に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記対象特徴物それぞれを利用して上記画像入力装置の位置・姿勢情報を算出し、
それら算出された複数の位置・姿勢情報を融合利用して、上記画像入力装置の位置・姿勢を算出する、
ことを特徴とする（１）に記載の３次元モデリング装置。
上記画像入力装置から得られる画像内の特徴点、特徴的な線分、及び特徴的な形状領域を対象特徴物として抽出し、
各対象特徴物における特徴的な点、線分、及び形状を特徴対象物として、時間変化と共にそれぞれ追跡し、
上記特徴対象物それぞれに対し、三角測量の原理に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記対象特徴物それぞれを利用して上記画像入力装置の位置・姿勢情報を算出し、
それら算出された複数の位置・姿勢情報を融合利用して、上記画像入力装置の位置・姿勢を算出する、
ことを特徴とする（１）に記載の３次元モデリング装置。
（対応する実施形態）
この（２）に記載の３次元モデリング装置に関する実施形態は、第２乃至第６実施形態が対応する。
この（２）に記載の３次元モデリング装置に関する実施形態は、第２乃至第６実施形態が対応する。
（作用効果）
この（２）に記載の３次元モデリング装置によれば、画像入力装置により入力される画像中には複数の特徴点、特徴線分、特徴領域が存在し、各々の特徴を画像列における追尾操作により位置・姿勢を算出することが可能であり、各々から算出された位置・姿勢情報を統合・最適化することにより、誤差の小さな位置・姿勢情報を算出することが可能となり、より精度の高い３次元モデル生成を行うことが可能となる。
この（２）に記載の３次元モデリング装置によれば、画像入力装置により入力される画像中には複数の特徴点、特徴線分、特徴領域が存在し、各々の特徴を画像列における追尾操作により位置・姿勢を算出することが可能であり、各々から算出された位置・姿勢情報を統合・最適化することにより、誤差の小さな位置・姿勢情報を算出することが可能となり、より精度の高い３次元モデル生成を行うことが可能となる。
（３） 上記画像入力装置の位置・姿勢情報は、上記特徴点、特徴的な線分、及び特徴的な形状領域より算出された位置・姿勢情報の平均値を用いることを特徴とする（２）に記載の３次元モデリング装置。
（対応する実施形態）
この（３）に記載の３次元モデリング装置に関する実施形態は、第２実施形態が対応する。
この（３）に記載の３次元モデリング装置に関する実施形態は、第２実施形態が対応する。
（作用効果）
この（３）に記載の３次元モデリング装置によれば、各特徴から算出された位置・姿勢情報の最適化を行うために、各位置・姿勢情報の平均値をとるということは、簡易且つ精度の良い情報が出力できる可能性を持つ。
この（３）に記載の３次元モデリング装置によれば、各特徴から算出された位置・姿勢情報の最適化を行うために、各位置・姿勢情報の平均値をとるということは、簡易且つ精度の良い情報が出力できる可能性を持つ。
（４） 上記位置・姿勢情報算出手段は、上記特徴対象物の追跡連続性に基づいて、各特徴対象物に対する重み付けを行い、その重み付けに対応した算出法により得られた情報を位置・姿勢情報として利用することを特徴とする（２）に記載の３次元モデリング装置。
（対応する実施形態）
この（４）に記載の３次元モデリング装置に関する実施形態は、第３実施形態が対応する。
この（４）に記載の３次元モデリング装置に関する実施形態は、第３実施形態が対応する。
（作用効果）
この（４）に記載の３次元モデリング装置によれば、位置・姿勢推定のために複数の特徴を利用するが、各特徴の連続画像間での追尾可能な長さにより位置・姿勢推定の精度が関連しているため、各特徴に対して、追尾長さに基づいた重み係数を設定し、重みに基づいた最適位置・姿勢情報を算出することにより精度の良い３次元モデリングを行うことが可能となる。また、特徴として利用している形状には、点、線分、領域があるが、これらのタイプの異なる特徴形状に対し、入力する画像のタイプにより、各特徴に対し、適する形状と適さない形状が生じる可能性があるため、特徴として利用する形状に対する重みを設定することにより、画像の種類に応じた重み付けを設定することも考慮することが可能であり、上記手法を複合的に利用することにより、より精度の良い位置・姿勢の推定を行うことができ、即ち精度の良い３次元形状モデリングを行うことができるようになる。
この（４）に記載の３次元モデリング装置によれば、位置・姿勢推定のために複数の特徴を利用するが、各特徴の連続画像間での追尾可能な長さにより位置・姿勢推定の精度が関連しているため、各特徴に対して、追尾長さに基づいた重み係数を設定し、重みに基づいた最適位置・姿勢情報を算出することにより精度の良い３次元モデリングを行うことが可能となる。また、特徴として利用している形状には、点、線分、領域があるが、これらのタイプの異なる特徴形状に対し、入力する画像のタイプにより、各特徴に対し、適する形状と適さない形状が生じる可能性があるため、特徴として利用する形状に対する重みを設定することにより、画像の種類に応じた重み付けを設定することも考慮することが可能であり、上記手法を複合的に利用することにより、より精度の良い位置・姿勢の推定を行うことができ、即ち精度の良い３次元形状モデリングを行うことができるようになる。
（５） 上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、手動で行う手段を更に具備することを特徴とする（２）に記載の３次元モデリング装置。
（対応する実施形態）
この（５）に記載の３次元モデリング装置に関する実施形態は、第５実施形態が対応する。
この（５）に記載の３次元モデリング装置に関する実施形態は、第５実施形態が対応する。
（作用効果）
この（５）に記載の３次元モデリング装置によれば、表示ウィンドウ上で、テクスチャ画像と３次元形状モデルとを同時表示を行い、テクスチャ画像上でフィルタリング処理を行うことにより抽出された特徴点、特徴線分、特徴領域と、３次元形状モデルの対応する部分との対応付けを、手動により行うことにより、正確な対応付けが行われ、３次元形状モデリングが正確なものとなる。
この（５）に記載の３次元モデリング装置によれば、表示ウィンドウ上で、テクスチャ画像と３次元形状モデルとを同時表示を行い、テクスチャ画像上でフィルタリング処理を行うことにより抽出された特徴点、特徴線分、特徴領域と、３次元形状モデルの対応する部分との対応付けを、手動により行うことにより、正確な対応付けが行われ、３次元形状モデリングが正確なものとなる。
（６） 上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、テクスチャ画像上の特徴と、モデルの特徴とを自動的に算出する自動対応付け手段を更に具備することを特徴とする（２）に記載の３次元モデリング装置。
（対応する実施形態）
この（６）に記載の３次元モデリング装置に関する実施形態は、第６実施形態が対応する。
この（６）に記載の３次元モデリング装置に関する実施形態は、第６実施形態が対応する。
（作用効果）
この（６）に記載の３次元モデリング装置によれば、テクスチャ画像から得られる特徴点、特徴線分、特徴領域と、３次元形状モデル内の対応する位置との対応付けを自動的な処理により行うことにより、手作業による煩わしさを解消できると共に、作業ごとの再現性の課題を解決でき、精度の良い３次元モデリングを行うことができる。
この（６）に記載の３次元モデリング装置によれば、テクスチャ画像から得られる特徴点、特徴線分、特徴領域と、３次元形状モデル内の対応する位置との対応付けを自動的な処理により行うことにより、手作業による煩わしさを解消できると共に、作業ごとの再現性の課題を解決でき、精度の良い３次元モデリングを行うことができる。
（７） 上記自動対応付け手段は、３次元形状モデルを適切な角度で視点変更した際に、テクスチャ画像と最も類似する視点を探索し、その視点における３次元形状モデルをレンダリングした画像を生成することにより対応付けを行うことを特徴とする（６）に記載の３次元モデリング装置。
（対応する実施形態）
この（７）に記載の３次元モデリング装置に関する実施形態は、第６実施形態が対応する。
この（７）に記載の３次元モデリング装置に関する実施形態は、第６実施形態が対応する。
（作用効果）
この（７）に記載の３次元モデリング装置によれば、テクスチャ画像から抽出される特徴点、特徴線分、特徴領域と、３次元形状モデル内の対応付けを自動的に行う際に、３次元形状モデルとの対応付けを行う際にはテクスチャ画像と同一の視点で３次元形状モデルをレンダリングしたときに最も対応付けがし易くなるため、３次元形状モデルを適切な角度間隔でのレンダリングを連続して行い、テクスチャとの類似度を算出し、類似度が最も小さいときをテクスチャとの視点が同一であると見なす手法を用いることにより、対応付けの精度が向上するため、３次元形状モデリングの精度が良くなる。
この（７）に記載の３次元モデリング装置によれば、テクスチャ画像から抽出される特徴点、特徴線分、特徴領域と、３次元形状モデル内の対応付けを自動的に行う際に、３次元形状モデルとの対応付けを行う際にはテクスチャ画像と同一の視点で３次元形状モデルをレンダリングしたときに最も対応付けがし易くなるため、３次元形状モデルを適切な角度間隔でのレンダリングを連続して行い、テクスチャとの類似度を算出し、類似度が最も小さいときをテクスチャとの視点が同一であると見なす手法を用いることにより、対応付けの精度が向上するため、３次元形状モデリングの精度が良くなる。
（８） 上記画像入力装置の位置・姿勢情報を計測する補助位置・姿勢計測装置を更に具備し、
上記位置・姿勢情報算出手段は、
上記画像から対象特徴物もしくは特徴対象物が抽出できないときには、上記補助位置・姿勢計測装置によって計測された位置・姿勢情報を、上記画像入力装置の位置・姿勢とし、
上記画像からも位置・姿勢情報が得られる場合には、その位置・姿勢情報と上記補助位置・姿勢計測装置によって計測された位置・姿勢情報との平均、または、各位置・姿勢情報に関する重み情報を設定した上で、該設定情報に応じた算出方法により算出された位置・姿勢情報を、上記画像入力装置の位置・姿勢とする、
ことを特徴とする（２）に記載の３次元モデリング装置。
上記位置・姿勢情報算出手段は、
上記画像から対象特徴物もしくは特徴対象物が抽出できないときには、上記補助位置・姿勢計測装置によって計測された位置・姿勢情報を、上記画像入力装置の位置・姿勢とし、
上記画像からも位置・姿勢情報が得られる場合には、その位置・姿勢情報と上記補助位置・姿勢計測装置によって計測された位置・姿勢情報との平均、または、各位置・姿勢情報に関する重み情報を設定した上で、該設定情報に応じた算出方法により算出された位置・姿勢情報を、上記画像入力装置の位置・姿勢とする、
ことを特徴とする（２）に記載の３次元モデリング装置。
（対応する実施形態）
この（８）に記載の３次元モデリング装置に関する実施形態は、第４実施形態が対応する。
この（８）に記載の３次元モデリング装置に関する実施形態は、第４実施形態が対応する。
（作用効果）
この（８）に記載の３次元モデリング装置によれば、画像から得られる特徴を追尾する場合、精度良く連続して追尾できる特徴が得られない場合もあるが、このような場合、画像入力装置と合わせて配置された画像以外の位置・姿勢検出手段、例えばＧＰＳやジャイロ等の補助位置・姿勢計測装置を合わせて利用し、画像から得られる位置・姿勢情報と複合的に利用することにより、時間的に長い期間にわたり精度の良い位置・姿勢を推定し続けることが可能となり、結果として精度の良い３次元形状モデリングを行うことが可能となる。
この（８）に記載の３次元モデリング装置によれば、画像から得られる特徴を追尾する場合、精度良く連続して追尾できる特徴が得られない場合もあるが、このような場合、画像入力装置と合わせて配置された画像以外の位置・姿勢検出手段、例えばＧＰＳやジャイロ等の補助位置・姿勢計測装置を合わせて利用し、画像から得られる位置・姿勢情報と複合的に利用することにより、時間的に長い期間にわたり精度の良い位置・姿勢を推定し続けることが可能となり、結果として精度の良い３次元形状モデリングを行うことが可能となる。
（９） 対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング方法において、
上記対象オブジェクトの形状情報を入力し、
上記対象オブジェクトを画像入力装置の移動（即ち、視点の移動）により動画像または時系列的に連続的な画像列として撮影を行い、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出し、
上記算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行い、
上記入力された上記対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングし、
上記レンダリングされた３次元形状モデル上に、上記関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する、
ことを特徴とする３次元モデリング方法。
上記対象オブジェクトの形状情報を入力し、
上記対象オブジェクトを画像入力装置の移動（即ち、視点の移動）により動画像または時系列的に連続的な画像列として撮影を行い、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出し、
上記算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行い、
上記入力された上記対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングし、
上記レンダリングされた３次元形状モデル上に、上記関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する、
ことを特徴とする３次元モデリング方法。
（対応する実施形態）
この（９）に記載の３次元モデリング方法に関する実施形態は、第１乃至第６実施形態が対応する。
この（９）に記載の３次元モデリング方法に関する実施形態は、第１乃至第６実施形態が対応する。
（作用効果）
この（９）に記載の３次元モデリング方法によれば、画像入力装置による視点を移動しながらの動画像または連続画像取得による画像入力装置の位置・姿勢情報の算出ができるため、他の画像入力装置の位置・姿勢計測手段を利用せずにすむので、簡易なシステムを構成することが可能である。
この（９）に記載の３次元モデリング方法によれば、画像入力装置による視点を移動しながらの動画像または連続画像取得による画像入力装置の位置・姿勢情報の算出ができるため、他の画像入力装置の位置・姿勢計測手段を利用せずにすむので、簡易なシステムを構成することが可能である。
（１０） 上記位置・姿勢情報の算出は、
上記画像入力装置から得られる画像内の特徴点、特徴的な線分、及び特徴的な形状領域を対象特徴物として抽出し、
各対象特徴物における特徴的な点、線分、及び形状を特徴対象物として、時間変化と共にそれぞれ追跡し、
上記特徴対象物それぞれに対し、三角測量の原理に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記対象特徴物それぞれを利用して上記画像入力装置の位置・姿勢情報を算出し、
それら算出された複数の位置・姿勢情報を融合利用して、上記画像入力装置の位置・姿勢を算出する、
ことを特徴とする（９）に記載の３次元モデリング方法。
上記画像入力装置から得られる画像内の特徴点、特徴的な線分、及び特徴的な形状領域を対象特徴物として抽出し、
各対象特徴物における特徴的な点、線分、及び形状を特徴対象物として、時間変化と共にそれぞれ追跡し、
上記特徴対象物それぞれに対し、三角測量の原理に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記対象特徴物それぞれを利用して上記画像入力装置の位置・姿勢情報を算出し、
それら算出された複数の位置・姿勢情報を融合利用して、上記画像入力装置の位置・姿勢を算出する、
ことを特徴とする（９）に記載の３次元モデリング方法。
（対応する実施形態）
この（１０）に記載の３次元モデリング方法に関する実施形態は、第２乃至第６実施形態が対応する。
この（１０）に記載の３次元モデリング方法に関する実施形態は、第２乃至第６実施形態が対応する。
（作用効果）
この（１０）に記載の３次元モデリング方法によれば、画像入力装置により入力される画像中には複数の特徴点、特徴線分、特徴領域が存在し、各々の特徴を画像列における追尾操作により位置・姿勢を算出することが可能であり、各々から算出された位置・姿勢情報を統合・最適化することにより、誤差の小さな位置・姿勢情報を算出することが可能となり、より精度の高い３次元モデル生成を行うことが可能となる。
この（１０）に記載の３次元モデリング方法によれば、画像入力装置により入力される画像中には複数の特徴点、特徴線分、特徴領域が存在し、各々の特徴を画像列における追尾操作により位置・姿勢を算出することが可能であり、各々から算出された位置・姿勢情報を統合・最適化することにより、誤差の小さな位置・姿勢情報を算出することが可能となり、より精度の高い３次元モデル生成を行うことが可能となる。
（１１）上記画像入力装置の位置・姿勢情報は、上記特徴点、特徴的な線分、及び特徴的な形状領域より算出された位置・姿勢情報の平均値を用いることを特徴とする（１０）に記載の３次元モデリング方法。
（対応する実施形態）
この（１１）に記載の３次元モデリング方法に関する実施形態は、第２実施形態が対応する。
この（１１）に記載の３次元モデリング方法に関する実施形態は、第２実施形態が対応する。
（作用効果）
この（１１）に記載の３次元モデリング方法によれば、各特徴から算出された位置・姿勢情報の最適化を行うために、各位置・姿勢情報の平均値をとるということは、簡易且つ精度の良い情報が出力できる可能性を持つ。
この（１１）に記載の３次元モデリング方法によれば、各特徴から算出された位置・姿勢情報の最適化を行うために、各位置・姿勢情報の平均値をとるということは、簡易且つ精度の良い情報が出力できる可能性を持つ。
（１２） 上記位置・姿勢の算出は、上記特徴対象物の追跡連続性に基づいて、各特徴対象物に対する重み付けを行い、その重み付けに対応した算出法により得られた情報を位置・姿勢情報として利用することを特徴とする（１０）に記載の３次元モデリング方法。
（対応する実施形態）
この（１２）に記載の３次元モデリング方法に関する実施形態は、第３実施形態が対応する。
この（１２）に記載の３次元モデリング方法に関する実施形態は、第３実施形態が対応する。
（作用効果）
この（１２）に記載の３次元モデリング方法によれば、位置・姿勢推定のために複数の特徴を利用するが、各特徴の連続画像間での追尾可能な長さにより位置・姿勢推定の精度が関連しているため、各特徴に対して、追尾長さに基づいた重み係数を設定し、重みに基づいた最適位置・姿勢情報を算出することにより精度の良い３次元モデリングを行うことが可能となる。また、特徴として利用している形状には、点、線分、領域があるが、これらのタイプの異なる特徴形状に対し、入力する画像のタイプにより、各特徴に対し、適する形状と適さない形状が生じる可能性があるため、特徴として利用する形状に対する重みを設定することにより、画像の種類に応じた重み付けを設定することも考慮することが可能であり、上記手法を複合的に利用することにより、より精度の良い位置・姿勢の推定を行うことができ、即ち精度の良い３次元形状モデリングを行うことができるようになる。
この（１２）に記載の３次元モデリング方法によれば、位置・姿勢推定のために複数の特徴を利用するが、各特徴の連続画像間での追尾可能な長さにより位置・姿勢推定の精度が関連しているため、各特徴に対して、追尾長さに基づいた重み係数を設定し、重みに基づいた最適位置・姿勢情報を算出することにより精度の良い３次元モデリングを行うことが可能となる。また、特徴として利用している形状には、点、線分、領域があるが、これらのタイプの異なる特徴形状に対し、入力する画像のタイプにより、各特徴に対し、適する形状と適さない形状が生じる可能性があるため、特徴として利用する形状に対する重みを設定することにより、画像の種類に応じた重み付けを設定することも考慮することが可能であり、上記手法を複合的に利用することにより、より精度の良い位置・姿勢の推定を行うことができ、即ち精度の良い３次元形状モデリングを行うことができるようになる。
（１３） さらに、上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、手動で行うことを特徴とする（１０）に記載の３次元モデリング方法。
（対応する実施形態）
この（１３）に記載の３次元モデリング方法に関する実施形態は、第５実施形態が対応する。
この（１３）に記載の３次元モデリング方法に関する実施形態は、第５実施形態が対応する。
（作用効果）
この（１３）に記載の３次元モデリング方法によれば、表示ウィンドウ上で、テクスチャ画像と３次元形状モデルとを同時表示を行い、テクスチャ画像上でフィルタリング処理を行うことにより抽出された特徴点、特徴線分、特徴領域と、３次元形状モデルの対応する部分との対応付けを、手動により行うことにより、正確な対応付けが行われ、３次元形状モデリングが正確なものとなる。
この（１３）に記載の３次元モデリング方法によれば、表示ウィンドウ上で、テクスチャ画像と３次元形状モデルとを同時表示を行い、テクスチャ画像上でフィルタリング処理を行うことにより抽出された特徴点、特徴線分、特徴領域と、３次元形状モデルの対応する部分との対応付けを、手動により行うことにより、正確な対応付けが行われ、３次元形状モデリングが正確なものとなる。
（１４） さらに、上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、テクスチャ画像上の特徴と、モデルの特徴とを自動的に算出することを特徴とする（１０）に記載の３次元モデリング方法。
（対応する実施形態）
この（１４）に記載の３次元モデリング方法に関する実施形態は、第６実施形態が対応する。
この（１４）に記載の３次元モデリング方法に関する実施形態は、第６実施形態が対応する。
（作用効果）
この（１４）に記載の３次元モデリング方法によれば、テクスチャ画像から得られる特徴点、特徴線分、特徴領域と、３次元形状モデル内の対応する位置との対応付けを自動的な処理により行うことにより、手作業による煩わしさを解消できると共に、作業ごとの再現性の課題を解決でき、精度の良い３次元モデリングを行うことができる。
この（１４）に記載の３次元モデリング方法によれば、テクスチャ画像から得られる特徴点、特徴線分、特徴領域と、３次元形状モデル内の対応する位置との対応付けを自動的な処理により行うことにより、手作業による煩わしさを解消できると共に、作業ごとの再現性の課題を解決でき、精度の良い３次元モデリングを行うことができる。
（１５） 上記対応付けの自動的な算出は、３次元形状モデルを適切な角度で視点変更した際に、テクスチャ画像と最も類似する視点を探索し、その視点における３次元形状モデルをレンダリングした画像を生成することにより対応付けを行うことを特徴とする（１４）に記載の３次元モデリング方法。
（対応する実施形態）
この（１５）に記載の３次元モデリング方法に関する実施形態は、第６実施形態が対応する。
この（１５）に記載の３次元モデリング方法に関する実施形態は、第６実施形態が対応する。
（作用効果）
この（１５）に記載の３次元モデリング方法によれば、テクスチャ画像から抽出される特徴点、特徴線分、特徴領域と、３次元形状モデル内の対応付けを自動的に行う際に、３次元形状モデルとの対応付けを行う際にはテクスチャ画像と同一の視点で３次元形状モデルをレンダリングしたときに最も対応付けがし易くなるため、３次元形状モデルを適切な角度間隔でのレンダリングを連続して行い、テクスチャとの類似度を算出し、類似度が最も小さいときをテクスチャとの視点が同一であると見なす手法を用いることにより、対応付けの精度が向上するため、３次元形状モデリングの精度が良くなる。
この（１５）に記載の３次元モデリング方法によれば、テクスチャ画像から抽出される特徴点、特徴線分、特徴領域と、３次元形状モデル内の対応付けを自動的に行う際に、３次元形状モデルとの対応付けを行う際にはテクスチャ画像と同一の視点で３次元形状モデルをレンダリングしたときに最も対応付けがし易くなるため、３次元形状モデルを適切な角度間隔でのレンダリングを連続して行い、テクスチャとの類似度を算出し、類似度が最も小さいときをテクスチャとの視点が同一であると見なす手法を用いることにより、対応付けの精度が向上するため、３次元形状モデリングの精度が良くなる。
（１６） 上記画像入力装置の位置・姿勢情報を計測し、
上記位置・姿勢の算出は、
上記画像から対象特徴物もしくは特徴対象物が抽出できないときには、上記計測された位置・姿勢情報を、上記画像入力装置の位置・姿勢とし、
上記画像からも位置・姿勢情報が得られる場合には、その位置・姿勢情報と上記計測された位置・姿勢情報との平均、または、各位置・姿勢情報に関する重み情報を設定した上で、該設定情報に応じた算出方法により算出された位置・姿勢情報を、上記画像入力装置の位置・姿勢とする、
ことを特徴とする（１０）に記載の３次元モデリング方法。
上記位置・姿勢の算出は、
上記画像から対象特徴物もしくは特徴対象物が抽出できないときには、上記計測された位置・姿勢情報を、上記画像入力装置の位置・姿勢とし、
上記画像からも位置・姿勢情報が得られる場合には、その位置・姿勢情報と上記計測された位置・姿勢情報との平均、または、各位置・姿勢情報に関する重み情報を設定した上で、該設定情報に応じた算出方法により算出された位置・姿勢情報を、上記画像入力装置の位置・姿勢とする、
ことを特徴とする（１０）に記載の３次元モデリング方法。
（対応する実施形態）
この（１６）に記載の３次元モデリング方法に関する実施形態は、第４実施形態が対応する。
この（１６）に記載の３次元モデリング方法に関する実施形態は、第４実施形態が対応する。
（作用効果）
この（１６）に記載の３次元モデリング方法によれば、画像から得られる特徴を追尾する場合、精度良く連続して追尾できる特徴が得られない場合もあるが、このような場合、画像入力装置と合わせて配置された画像以外の位置・姿勢検出手段、例えばＧＰＳやジャイロ等の補助位置・姿勢計測装置を合わせて利用し、画像から得られる位置・姿勢情報と複合的に利用することにより、時間的に長い期間にわたり精度の良い位置・姿勢を推定し続けることが可能となり、結果として精度の良い３次元形状モデリングを行うことが可能となる。
この（１６）に記載の３次元モデリング方法によれば、画像から得られる特徴を追尾する場合、精度良く連続して追尾できる特徴が得られない場合もあるが、このような場合、画像入力装置と合わせて配置された画像以外の位置・姿勢検出手段、例えばＧＰＳやジャイロ等の補助位置・姿勢計測装置を合わせて利用し、画像から得られる位置・姿勢情報と複合的に利用することにより、時間的に長い期間にわたり精度の良い位置・姿勢を推定し続けることが可能となり、結果として精度の良い３次元形状モデリングを行うことが可能となる。
１…演算装置、 ２…表示装置、 ３…指示装置、 ４…画像入力装置、 ５…補助位置・姿勢計測装置、 １１…データベース、 １２…データ入力部、 １３…特徴点・線・領域抽出処理演算部、 １４…カメラ位置・姿勢情報演算部、 １５…画像と対応する位置・姿勢情報関連付け部、 １６…モデルの位置・姿勢に基づいたレンダリング情報演算部、 １７…テクスチャ投影情報演算部、 １８…複数視点画像統合演算部、 １９…ポリゴンと最適テクスチャ関連付け部、 ２１…前表示領域、 ２１Ａ…３次元画像レンダリングウィンドウ、 ２１Ｂ−１〜２１Ｂ−ｎ…サブウィンドウ、 ２１Ｃ…コントロールパネル、 ２２…ウィンドウ、 ２２Ａ…連続テクスチャ画像表示ウィンドウ、 ２２Ｂ…連続テクスチャ画像表示ウィンドウコントロールパネル、 ２２Ｃ…３次元画像レンダリングウィンドウ、 ２２Ｄ…３次元画像レンダリングウィンドウコントロールパネル。
Claims (16)
- 対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング装置において、
上記対象オブジェクトの形状情報を入力する形状情報入力手段と、
上記対象オブジェクトを画像入力装置の移動により動画像または時系列的に連続的な画像列として撮影を行う撮影手段と、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出する位置・姿勢情報算出手段と、
上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行う関連付け手段と、
上記形状情報入力手段によって入力された上記対象オブジェクトの形状情報から、上記位置・姿勢情報算出手段によって算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングするレンダリング手段と、
上記レンダリング手段によってレンダリングされた３次元形状モデル上に、上記関連付け手段による関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する表示手段と、
を具備することを特徴とする３次元モデリング装置。 - 上記位置・姿勢情報算出手段は、
上記画像入力装置から得られる画像内の特徴点、特徴的な線分、及び特徴的な形状領域を対象特徴物として抽出し、
各対象特徴物における特徴的な点、線分、及び形状を特徴対象物として、時間変化と共にそれぞれ追跡し、
上記特徴対象物それぞれに対し、三角測量の原理に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記対象特徴物それぞれを利用して上記画像入力装置の位置・姿勢情報を算出し、
それら算出された複数の位置・姿勢情報を融合利用して、上記画像入力装置の位置・姿勢を算出する、
ことを特徴とする請求項１に記載の３次元モデリング装置。 - 上記画像入力装置の位置・姿勢情報は、上記特徴点、特徴的な線分、及び特徴的な形状領域より算出された位置・姿勢情報の平均値を用いることを特徴とする請求項２に記載の３次元モデリング装置。
- 上記位置・姿勢情報算出手段は、上記特徴対象物の追跡連続性に基づいて、各特徴対象物に対する重み付けを行い、その重み付けに対応した算出法により得られた情報を位置・姿勢情報として利用することを特徴とする請求項２に記載の３次元モデリング装置。
- 上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、手動で行う手段を更に具備することを特徴とする請求項２に記載の３次元モデリング装置。
- 上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、テクスチャ画像上の特徴と、モデルの特徴とを自動的に算出する自動対応付け手段を更に具備することを特徴とする請求項２に記載の３次元モデリング装置。
- 上記自動対応付け手段は、３次元形状モデルを適切な角度で視点変更した際に、テクスチャ画像と最も類似する視点を探索し、その視点における３次元形状モデルをレンダリングした画像を生成することにより対応付けを行うことを特徴とする請求項６に記載の３次元モデリング装置。
- 上記画像入力装置の位置・姿勢情報を計測する補助位置・姿勢計測装置を更に具備し、
上記位置・姿勢情報算出手段は、
上記画像から対象特徴物もしくは特徴対象物が抽出できないときには、上記補助位置・姿勢計測装置によって計測された位置・姿勢情報を、上記画像入力装置の位置・姿勢とし、
上記画像からも位置・姿勢情報が得られる場合には、その位置・姿勢情報と上記補助位置・姿勢計測装置によって計測された位置・姿勢情報との平均、または、各位置・姿勢情報に関する重み情報を設定した上で、該設定情報に応じた算出方法により算出された位置・姿勢情報を、上記画像入力装置の位置・姿勢とする、
ことを特徴とする請求項２に記載の３次元モデリング装置。 - 対象オブジェクトの３次元形状モデルに対してテクスチャマッピングを行い、任意視点でのレンダリングが行えるように３次元モデリングを行う３次元モデリング方法において、
上記対象オブジェクトの形状情報を入力し、
上記対象オブジェクトを画像入力装置の移動により動画像または時系列的に連続的な画像列として撮影を行い、
上記画像入力装置から得られる画像内の複数の位置の情報の時系列的な変化により上記画像入力装置の位置・姿勢情報を算出し、
上記算出された上記画像入力装置の位置・姿勢情報を上記動画像または時系列的に連続的な画像列内の各画像に対して関連付けを行い、
上記入力された上記対象オブジェクトの形状情報から、上記算出された上記画像入力装置の位置・姿勢情報により、各位置・姿勢情報に対応する３次元形状モデルをレンダリングし、
上記レンダリングされた３次元形状モデル上に、上記関連付けに基づいて、上記画像入力装置の各位置・姿勢情報に対応する上記動画像または時系列的に連続的な画像列内の画像を投影して表示する、
ことを特徴とする３次元モデリング方法。 - 上記位置・姿勢情報の算出は、
上記画像入力装置から得られる画像内の特徴点、特徴的な線分、及び特徴的な形状領域を対象特徴物として抽出し、
各対象特徴物における特徴的な点、線分、及び形状を特徴対象物として、時間変化と共にそれぞれ追跡し、
上記特徴対象物それぞれに対し、三角測量の原理に基づいて上記画像入力装置の位置・姿勢情報を算出し、
上記対象特徴物それぞれを利用して上記画像入力装置の位置・姿勢情報を算出し、
それら算出された複数の位置・姿勢情報を融合利用して、上記画像入力装置の位置・姿勢を算出する、
ことを特徴とする請求項９に記載の３次元モデリング方法。 - 上記画像入力装置の位置・姿勢情報は、上記特徴点、特徴的な線分、及び特徴的な形状領域より算出された位置・姿勢情報の平均値を用いることを特徴とする請求項１０に記載の３次元モデリング方法。
- 上記位置・姿勢の算出は、上記特徴対象物の追跡連続性に基づいて、各特徴対象物に対する重み付けを行い、その重み付けに対応した算出法により得られた情報を位置・姿勢情報として利用することを特徴とする請求項１０に記載の３次元モデリング方法。
- さらに、上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、手動で行うことを特徴とする請求項１０に記載の３次元モデリング方法。
- さらに、上記動画像または時系列的に連続的な画像列において特徴となる点、線分、領域と、対応する３次元形状モデル上の位置との対応付けを、テクスチャ画像上の特徴と、モデルの特徴とを自動的に算出することを特徴とする請求項１０に記載の３次元モデリング方法。
- 上記対応付けの自動的な算出は、３次元形状モデルを適切な角度で視点変更した際に、テクスチャ画像と最も類似する視点を探索し、その視点における３次元形状モデルをレンダリングした画像を生成することにより対応付けを行うことを特徴とする請求項１４に記載の３次元モデリング方法。
- 上記画像入力装置の位置・姿勢情報を計測し、
上記位置・姿勢の算出は、
上記画像から対象特徴物もしくは特徴対象物が抽出できないときには、上記計測された位置・姿勢情報を、上記画像入力装置の位置・姿勢とし、
上記画像からも位置・姿勢情報が得られる場合には、その位置・姿勢情報と上記計測された位置・姿勢情報との平均、または、各位置・姿勢情報に関する重み情報を設定した上で、該設定情報に応じた算出方法により算出された位置・姿勢情報を、上記画像入力装置の位置・姿勢とする、
ことを特徴とする請求項１０に記載の３次元モデリング方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003379961A JP2005141655A (ja) | 2003-11-10 | 2003-11-10 | ３次元モデリング装置及び３次元モデリング方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003379961A JP2005141655A (ja) | 2003-11-10 | 2003-11-10 | ３次元モデリング装置及び３次元モデリング方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005141655A true JP2005141655A (ja) | 2005-06-02 |
Family
ID=34689845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003379961A Pending JP2005141655A (ja) | 2003-11-10 | 2003-11-10 | ３次元モデリング装置及び３次元モデリング方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005141655A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010152529A (ja) * | 2008-12-24 | 2010-07-08 | Nippon Hoso Kyokai <Nhk> | 頂点テクスチャマッピング装置及びプログラム |
| JP2010199898A (ja) * | 2009-02-24 | 2010-09-09 | Casio Computer Co Ltd | 画像処理装置、撮像装置、画像生成方法、および、プログラム |
| JP2010267231A (ja) * | 2009-05-18 | 2010-11-25 | Canon Inc | 位置姿勢推定装置及び方法 |
| KR101033965B1 (ko) | 2010-11-12 | 2011-05-11 | 삼성탈레스 주식회사 | 적외선 영상의 표적 모델링 방법 |
| JP2013508795A (ja) * | 2009-10-19 | 2013-03-07 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | カメラ姿勢決定方法、及び実環境物体認識方法 |
| CN105976064A (zh) * | 2016-05-18 | 2016-09-28 | 北京航空航天大学 | 一种基于凸模型时变可靠性的在役结构最优维护设计方法 |
| JP2017130049A (ja) * | 2016-01-20 | 2017-07-27 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2019155719A1 (ja) * | 2018-02-09 | 2019-08-15 | ソニー株式会社 | キャリブレーション装置とキャリブレーション方法およびプログラム |
| US10739142B2 (en) | 2016-09-02 | 2020-08-11 | Apple Inc. | System for determining position both indoor and outdoor |
| CN115527000A (zh) * | 2022-09-27 | 2022-12-27 | 深圳市领缔科技有限公司 | 一种用于无人机倾斜摄影模型批量单体化的方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07264458A (ja) * | 1994-03-25 | 1995-10-13 | Olympus Optical Co Ltd | 移動物体追跡装置 |
| JP2000097637A (ja) * | 1998-09-24 | 2000-04-07 | Olympus Optical Co Ltd | 姿勢位置検出装置 |
| JP2001243497A (ja) * | 2000-02-28 | 2001-09-07 | Nippon Telegr & Teleph Corp <Ntt> | ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 |
| JP2002024850A (ja) * | 2000-07-03 | 2002-01-25 | Sony Corp | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
| JP2002032741A (ja) * | 2000-07-13 | 2002-01-31 | Sony Corp | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体 |
| JP2003015816A (ja) * | 2001-06-29 | 2003-01-17 | Honda Motor Co Ltd | ステレオカメラを使用した顔・視線認識装置 |
| JP2003178308A (ja) * | 2001-12-11 | 2003-06-27 | Sony Corp | 演算方法及び装置、プログラム、並びに記録媒体 |
| JP2003256804A (ja) * | 2002-02-28 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | 視野映像生成装置、視野映像生成方法、視野映像生成プログラムおよびそのプログラムを記録した記録媒体 |
-
2003
- 2003-11-10 JP JP2003379961A patent/JP2005141655A/ja active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07264458A (ja) * | 1994-03-25 | 1995-10-13 | Olympus Optical Co Ltd | 移動物体追跡装置 |
| JP2000097637A (ja) * | 1998-09-24 | 2000-04-07 | Olympus Optical Co Ltd | 姿勢位置検出装置 |
| JP2001243497A (ja) * | 2000-02-28 | 2001-09-07 | Nippon Telegr & Teleph Corp <Ntt> | ３次元画像処理方法，３次元モデリング方法および３次元画像処理プログラムを記録した記録媒体 |
| JP2002024850A (ja) * | 2000-07-03 | 2002-01-25 | Sony Corp | 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体 |
| JP2002032741A (ja) * | 2000-07-13 | 2002-01-31 | Sony Corp | ３次元画像生成システムおよび３次元画像生成方法、並びにプログラム提供媒体 |
| JP2003015816A (ja) * | 2001-06-29 | 2003-01-17 | Honda Motor Co Ltd | ステレオカメラを使用した顔・視線認識装置 |
| JP2003178308A (ja) * | 2001-12-11 | 2003-06-27 | Sony Corp | 演算方法及び装置、プログラム、並びに記録媒体 |
| JP2003256804A (ja) * | 2002-02-28 | 2003-09-12 | Nippon Telegr & Teleph Corp <Ntt> | 視野映像生成装置、視野映像生成方法、視野映像生成プログラムおよびそのプログラムを記録した記録媒体 |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010152529A (ja) * | 2008-12-24 | 2010-07-08 | Nippon Hoso Kyokai <Nhk> | 頂点テクスチャマッピング装置及びプログラム |
| JP2010199898A (ja) * | 2009-02-24 | 2010-09-09 | Casio Computer Co Ltd | 画像処理装置、撮像装置、画像生成方法、および、プログラム |
| JP2010267231A (ja) * | 2009-05-18 | 2010-11-25 | Canon Inc | 位置姿勢推定装置及び方法 |
| US10229511B2 (en) | 2009-10-19 | 2019-03-12 | Apple Inc. | Method for determining the pose of a camera and for recognizing an object of a real environment |
| JP2015084229A (ja) * | 2009-10-19 | 2015-04-30 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングｍｅｔａｉｏ ＧｍｂＨ | カメラ姿勢決定方法、及び実環境物体認識方法 |
| US10580162B2 (en) | 2009-10-19 | 2020-03-03 | Apple Inc. | Method for determining the pose of a camera and for recognizing an object of a real environment |
| JP2013508795A (ja) * | 2009-10-19 | 2013-03-07 | メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング | カメラ姿勢決定方法、及び実環境物体認識方法 |
| KR101033965B1 (ko) | 2010-11-12 | 2011-05-11 | 삼성탈레스 주식회사 | 적외선 영상의 표적 모델링 방법 |
| JP2017130049A (ja) * | 2016-01-20 | 2017-07-27 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN105976064A (zh) * | 2016-05-18 | 2016-09-28 | 北京航空航天大学 | 一种基于凸模型时变可靠性的在役结构最优维护设计方法 |
| US10739142B2 (en) | 2016-09-02 | 2020-08-11 | Apple Inc. | System for determining position both indoor and outdoor |
| US11859982B2 (en) | 2016-09-02 | 2024-01-02 | Apple Inc. | System for determining position both indoor and outdoor |
| WO2019155719A1 (ja) * | 2018-02-09 | 2019-08-15 | ソニー株式会社 | キャリブレーション装置とキャリブレーション方法およびプログラム |
| CN111670572A (zh) * | 2018-02-09 | 2020-09-15 | 索尼公司 | 校准装置、校准方法和程序 |
| JPWO2019155719A1 (ja) * | 2018-02-09 | 2021-02-18 | ソニー株式会社 | キャリブレーション装置とキャリブレーション方法およびプログラム |
| CN111670572B (zh) * | 2018-02-09 | 2022-01-28 | 索尼公司 | 校准装置、校准方法和计算机可读存储介质 |
| JP7294148B2 (ja) | 2018-02-09 | 2023-06-20 | ソニーグループ株式会社 | キャリブレーション装置とキャリブレーション方法およびプログラム |
| CN115527000A (zh) * | 2022-09-27 | 2022-12-27 | 深圳市领缔科技有限公司 | 一种用于无人机倾斜摄影模型批量单体化的方法及装置 |
| CN115527000B (zh) * | 2022-09-27 | 2023-09-19 | 深圳市领缔科技有限公司 | 一种用于无人机倾斜摄影模型批量单体化的方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10237532B2 (en) | Scan colorization with an uncalibrated camera | |
| US10789765B2 (en) | Three-dimensional reconstruction method | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| JP5872923B2 (ja) | Ａｒ画像処理装置及び方法 | |
| JP6418449B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
| US9171379B2 (en) | Hybrid precision tracking | |
| JP2003222509A (ja) | 位置姿勢決定方法および装置並びに記憶媒体 | |
| CN111105347B (zh) | 一种生成带深度信息的全景图的方法、装置及存储介质 | |
| CN110941996A (zh) | 一种基于生成对抗网络的目标及轨迹增强现实方法和系统 | |
| JP3637226B2 (ja) | 動き検出方法、動き検出装置及び記録媒体 | |
| US10154241B2 (en) | Depth map based perspective correction in digital photos | |
| KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
| JP2005141655A (ja) | ３次元モデリング装置及び３次元モデリング方法 | |
| EP2826243B1 (en) | Method and system for identifying depth data associated with an object | |
| JP7318814B2 (ja) | データ生成方法、データ生成プログラムおよび情報処理装置 | |
| JP2017220885A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| JP6228239B2 (ja) | プリミティブの組を用いてデータをレジストレーションする方法 | |
| JP2005063041A (ja) | ３次元モデリング装置、方法、及びプログラム | |
| JP7427467B2 (ja) | 画像処理装置、画像処理方法、学習済みモデルの生成方法、およびプログラム | |
| JP5530391B2 (ja) | カメラポーズ推定装置、カメラポーズ推定方法及びカメラポーズ推定プログラム | |
| JP2021015559A (ja) | 三次元形状モデル生成装置、三次元形状モデル生成方法、及びプログラム | |
| KR102225321B1 (ko) | 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법 | |
| CN114494582A (zh) | 一种基于视觉感知的三维模型动态更新方法 | |
| Kuhl et al. | Monocular 3D scene reconstruction at absolute scales by combination of geometric and real-aperture methods | |
| JP5499363B2 (ja) | 画像入力装置、画像入力方法及び画像入力プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080812 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080819 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081216 |