JP3703178B2 - Method and apparatus for reconstructing shape and surface pattern of 3D scene - Google Patents
Method and apparatus for reconstructing shape and surface pattern of 3D scene Download PDFInfo
- Publication number
- JP3703178B2 JP3703178B2 JP22518295A JP22518295A JP3703178B2 JP 3703178 B2 JP3703178 B2 JP 3703178B2 JP 22518295 A JP22518295 A JP 22518295A JP 22518295 A JP22518295 A JP 22518295A JP 3703178 B2 JP3703178 B2 JP 3703178B2
- Authority
- JP
- Japan
- Prior art keywords
- images
- shape
- dimensional
- surface pattern
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は三次元シーンの形状と表面模様の再構成方法およびその装置に関するものである。
【０００２】
【従来の技術】
室内などの三次元シーンの形状や表面模様を三次元的に再構成する場合には、▲１▼ＣＡＤを用いて幾何形状をモデリングした幾何形状モデルを用いたり、▲２▼室内の設計図の数値データをもとに幾何形状を入力し幾何形状モデルを作成したり、▲３▼実際の室内で壁の高さや幅を巻き尺などにより計測して数値を求め幾何形状モデルを作成する、等の種々の方法により幾何形状モデルを作成し、一方で、その形状モデルの表面の模様として別途模様画像を用意しておき、テクスチャーマッピングの技術により三次元空間を構築する手法がある。ここで、別途用意する模様画像には、実写の画像やコンピュータグラフィックス技術によって作成した画像等を用いることができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来は、設計図などの数値データがない場合やＣＡＤで作成した形状モデルデータがない場合には、実際の建物の壁の高さや幅を巻き尺等で計測しなければならず、このような手間のかかる作業を行うことなく建物の写真などから簡便に幾何形状モデルが作成できないという問題があった。
【０００４】
本発明は、前記従来の欠点を除去し、実際の建物の壁の高さや幅を巻き尺等で計測せずに、建物の写真などから簡便に幾何形状モデルを作成する三次元シーンの形状と表面模様の再構成方法およびその装置を提供する。
【０００５】
【課題を解決するための手段】
この課題を解決するために、本発明の三次元シーンの形状と表面模様の再構成方法は、三次元シーンの形状と表面模様とを三次元的に再構成する再構成方法であって、三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、該表面模様が、前記三次元形状のどの領域のどの位置に対応するかを指定する工程と、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程とを備え、前記三次元形状を再構成する工程は、各画像から、三次元構造における稜線を抽出または指定する工程と、各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、前工程で指定した接続関係と接続角度情報とに基づいて、三次元形状情報を復元する工程と、複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする。
又、三次元シーンの形状と表面模様とを三次元的に再構成する再構成方法であって、三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、該表面模様が、前記三次元形状のどの領域のどの位置に対応するかを指定する工程と、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程とを備え、前記三次元形状を再構成する工程は、複数視点から撮影された画像群のうちから、近い視点方向から撮影された２つの画像を選ぶ工程と、各画像から、三次元構造における稜線を抽出または指定する工程と、各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、前記２つの画像間において同一稜線を指定し、三角測量の原理により３次元位置を算出して三次元形状情報を復元する工程と、複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする。
【０００６】
ここで、前記表面模様を生成する工程は、一様な平面または平面に近い領域全域が獲得されている画像から、該領域を切り出す工程と、前記切り出された領域内の表面模様に歪み補正や色及び濃淡補正を行う工程とを有する。また、前記歪み補正や色及び濃淡補正を行う工程は、前記切り出された領域に、撮像面と撮影領域とが平行でないことから生じる幾何歪みが存在する場合に、幾何歪みを補正する工程と、光源の位置や光量などの影響で、均一な陰影及び明暗が得られていない場合に、不均一な陰影及び明暗を補正する工程と、障害物等によって隠された部分がある場合に、その部分を内挿外挿により補正する工程の全部または一部を含む。また、前記領域を切り出す工程は、平面または平面に近い一様な領域が、複数の画像にわたって獲得されている場合に、該複数画像を融合してひとつの大きな画像を生成する工程と、前記生成された大きな画像から、前記模様領域を切り出す工程とを有する。
【０００７】
又、本発明の三次元シーンの形状と表面模様の再構成装置は、三次元シーンの形状と表面模様とを、三次元的に再構成する再構成装置において、三次元空間を複数視点から撮影して獲得される複数の単眼二次元画像から成る複数画像の集まりを入力する入力手段と、前記複数画像の集まりから、三次元形状を再構成する再構成手段と、前記複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する生成手段と、前記表面模様が、該三次元形状のどの領域どの位置に対応するかを指定する指定手段と、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する記憶手段とを備え、前記再構成手段は、各単眼画像において、三次元構造における稜線と、既知の構造情報から得られる稜線の接続関係及び接続角度情報とを指定する第１の指定手段と、前記第１の指定手段で指定した接続関係及び接続角度情報をもとに、各単眼画像の三次元形状情報を復元する第１の復元手段と、複数の画像間において、既知の構造情報から稜線の接続関係を指定する第２の指定手段と、前記第２の指定手段で指定された接続関係をもとに、前記第１の復元手段による復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する第２の復元手段とを備えることを特徴とする。
又、三次元シーンの形状と表面模様とを、三次元的に再構成する再構成装置において、三次元空間を複数視点から撮影して獲得される複数の単眼二次元画像から成る複数画像の集まりを入力する入力手段と、前記複数画像の集まりから、三次元形状を再構成する再構成手段と、前記複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する生成手段と、前記表面模様が、該三次元形状のどの領域どの位置に対応するかを指定する指定手段と、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する記憶手段とを備え、前記再構成手段は、複数視点から撮影された単眼画像群のうち、近い視点方向から撮影された２つの画像を選ぶ選択手段と、各単眼画像において、三次元構造における稜線と、既知の構造情報から得られる稜線の接続関係及び接続角度情報とを指定する第１の指定手段と、前記２つの画像間において同一稜線を指定して、三角測量の原理により３次元的位置を算出することにより三次元形状情報を復元する第３の復元手段と、複数の画像間において、既知の構造情報から稜線の接続関係を指定する第２の指定手段と、前記第２の指定手段で指定された接続関係をもとに、前記第３の復元手段による復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する第４の復元手段とを備える。
【０００８】
ここで、前記生成手段は、一様な平面または平面に近い領域全域が獲得されているような画像から、該領域を切り出す切出手段と、前記切り出された領域の歪み補正や色及び濃淡補正を行う補正手段とを備える。また、前記補正手段は、切り出された領域の撮像場面と撮影領域とが平行でないことから幾何歪みが生じる場合には、幾何歪みを補正し、光源の位置や光量などの影響で均一な陰影及び明暗が得られていない場合には、不均一な陰影及び明暗を補正し、障害物等によって隠された部分がある場合には、その部分を内挿外挿により補正する。また、前記切出手段は、平面または平面に近い一様な領域が複数の画像にわたって獲得されている場合に、前記複数画像を融合して１つの大きな画像を生成する手段と、前記大きな画像から前記模様領域を切り出す手段とを有する。
【０００９】
又、本発明の三次元シーンの形状と表面模様の再構成方法は、三次元シーンの形状と表面模様とを三次元的に再構成する再構成方法であって、三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、該表面模様が、前記三次元形状のどの領域のどの位置に対応するかの指定に基づいて、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程と、所望の視点が指示された場合に、再構成された前記三次元形状と表面模様とに基づいて、前記所望の視点からの三次元形状と表面模様とを生成する工程とを備え、前記三次元形状を再構成する工程は、各画像から、三次元構造における稜線を抽出または指定する工程と、各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、前工程で指定した接続関係と接続角度情報とに基づいて、三次元形状情報を復元する工程と、複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする。
又、三次元シーンの形状と表面模様とを三次元的に再構成する再構成方法であって、三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、該表面模様が、前記三次元形状のどの領域のどの位置に対応するかの指定に基づいて、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程と、所望の視点が指示された場合に、再構成された前記三次元形状と表面模様とに基づいて、前記所望の視点からの三次元形状と表面模様とを生成する工程とを備え、前記三次元形状を再構成する工程は、複数視点から撮影された画像群のうちから、近い視点方向から撮影された２つの画像を選ぶ工程と、各画像から、三次元構造における稜線を抽出または指定する工程と、各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、前記２つの画像間において同一稜線を指定し、三角測量の原理により３次元位置を算出して三次元形状情報を復元する工程と、複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付図面に従って、本発明の実施例を説明する。
＜本実施例の装置の構成例＞
図１は本実施例を実現する装置の構成を示すブロック図である。
１は、本装置を制御する演算・制御用のＣＰＵ、２は、後述の制御プログラム及び演算・制御に必要なデータを記憶するデータ記憶部を有する、ＲＯＭあるはＲＡＭから成る記憶装置、３は、オペレータから指令を入力するためのマウス等のポインティングデバイス、４は、データ及び指令を入力するためにキーボード、５は、画像表示装置から成り本実施例ではウインドウシステムにより制御されている。６は、スキャナ等の画像呼び取り装置、あるいは媒体や通信を介して画像データを入力する画像入力インタフェース、７は、上記各構成要素を接続するバスである。
【００１１】
＜本実施例の装置の処理例＞
図２に本実施例の流れ図を示し、図２を用いて動作手順を詳細に説明する。
ステップＳ２０１にて、室内シーンなどの単眼二次元画像を読み込む。この画像は、一般的なフィルム式のスチルカメラにより室内などの三次元空間のシーンを様々な方向から様々な場所の撮影を数回行い、フィルムスキャナにより画像データ化したり、あるいは、ビデオカメラなどにより動画を撮影して、静止画としてテジタイズする、あるいは、電子スチルカメラを用いて直接的に電子的に画像データをするなどの方法を用いる。
【００１２】
これらの画像の集まりから、ステップＳ２０２により、三次元空間のシーンの形状を再構成する。また、ステップＳ２０３により、三次元シーンを例えば壁一枚といった平面または平面に近い領域の集まりと考え、それらの表面の模様をテクスチャー画像として獲得する。そして、ステップＳ２０３で得られた各テクスチャー画像が、ステップＳ２０２にて得られた三次元形状のどの場所のどの位置にあたるかを、ステップＳ２０４にて指定する。三次元形状とその表面の模様は形状に付随した形で得られるので、ステップＳ２０５にて、表面模様付き幾何形状データとして、再構成された三次元幾何形状とそれと対応のとれたテクスチャー画像とを保存する。以後、このデータを一般的な三次元幾何形状のテクスチャーマッピングの技術を用いることによって、模様付きの三次元空間として再構成できる。
【００１３】
これらのステップＳ２０２、ステップＳ２０３、ステップＳ２０４の各ステップを、以下に更に詳細に説明する。
（再構成手順Ｉ；Ｓ２０２）
ステップＳ２０２の、三次元空間のシーンの形状を再構成する処理手順について、図３を用いて詳しく述べる。
【００１４】
まず、ステップＳ３０１にて、ある１つの画像を選択する。その画像において、例えば壁と壁の境界のような、シーンの三次元形状の稜線に相当する画像中でのエッジをマウスで指定する（ステップＳ３０２）。このとき、（ａ）得られるエッジが画像中に両端点を持つ場合は、線分として、（ｂ）一方の端点は画像中にあり、他方が画像の外への解放端となっている場合は、半直線として、（ｃ）両端点が共に画像中にない場合は、直線として表現する。図４にその例を模式図で示す。
【００１５】
次に、ステップＳ３０３にて、ステップＳ３０２で得られた線分／半直線／直線の接続関係と接続角度情報とを入力する。例えば、図４の撮影画像例１の場合、（１）線分Ａと半直線Ｂとは端点で接続しており直交する、（２）線分Ａと線分Ｃとは端点で接続しており直交する、（３）半直線Ｂと線分Ｃとは端点で接続しており直交する、などといった情報を入力する。このステップＳ３０３を指定が可能な情報の入力が終了するまで繰り返す（ステップＳ３０４）。
【００１６】
次に、ステップＳ３０５にて、その画像から消失点が２点計算できるかを調べる。ここで、２点の消失点は、ステップＳ３０３にて指定した線分／半直線／直線のうちに実空間で平行する２線があり、各々の平行な線が作る面同士が直交する場合で、かつ、平行する２線が画像面上で平行でない場合に計算できる。このステップＳ３０５が真の場合、ステップＳ３０６に進む。ステップＳ３０６にて消失点の算出を行う。これは、画面上の２直線の交点として求める。
【００１７】
次に、ステップＳ３０７にて画像中の線分／半直線／直線の方向ベクトルを求める。このステップＳ３０７の手法を以下に詳しく述べる。
まず、画像を撮影したカメラの焦点距離を求める。図５のように三次元空間中の４直線Ｌ1 ，Ｌ2 ，Ｌ3 ，Ｌ4 が、
Ｌ1 ‖Ｌ2 ，Ｌ3 ‖Ｌ4
Ｌ1 ⊥Ｌ2 ，Ｌ3 ⊥Ｌ4
（‖は平行、⊥は垂直を表す）であるとき、Ｌ1 とＬ2 との交点（消失点）をｖ1 、Ｌ3 とＬ4 の交点（消失点）をｖ2 とすると（ｖ1 ＝（ｖ11，ｖ12），ｖ2 ＝（ｖ21，ｖ22）とする）、撮像面と焦点位置との距離、すなわち焦点距離（画面距離）ｃは、
ｃ＝（ｖ1 ・ｖ2 ）1/2 …式（１）
として求まる。
【００１８】
さらに、Ｌ1 ，Ｌ2 ，Ｌ3 ，Ｌ4 の方向ベクトルをＤ1 ，Ｄ2 ，Ｄ3 ，Ｄ4 とすると、
【００１９】
【数１】
これらの方向ベクトルをもとに、線分／半直線／直線の関係を利用して、他の線分／半直線／直線の方向ベクトルも計算する。
【００２０】
ステップＳ３０５が偽の場合には、ステップＳ３０６とＳ３０７は飛ばされ、次のステップＳ３０８に進む。これらステップＳ３０１〜Ｓ３０７の処理を各画像で行い、すべての画像にて処理が行われるまで繰り返す（ステップＳ３０８）。
以上ステップＳ３０１〜Ｓ３０８により、各画像１枚のみから求められる形状がそれぞれ復元される。さらに、ステップＳ３０９にて、撮影時のカメラの位置向きが近く、隣接した関係にある画像を選ぶ。そして、ステップＳ３１０で、画像間における線分／半直線／直線の接続関係、同一性を指定する。
【００２１】
この処理を全ての指定が終わるまで繰り返す（ステップＳ３１１）。さらにすべての隣接画像間での指定が終わるまで繰り返す（ステップＳ３１２）。そして、ステップＳ３１３により、ステップＳ３０１〜Ｓ３０８で求められた形状を基に、ステップＳ３０９からＳ３１２の処理によって新たに付加された形状情報からシーン全体の形状を求める。
【００２２】
（模様の獲得手順；Ｓ２０３）
次に、ステップＳ２０３の三次元シーンの表面の模様を模様画像として獲得する工程に関して図６に流れ図を示し、これを用いて更に詳しく説明する。
まず、ステップＳ６０１にて、壁一枚などの獲得したいテクスチャーを選定する。ステップＳ６０２で、そのテクスチャーを含む画像を全画像の中から選ぶ。次に、ステップＳ６０３にて、獲得したいテクスチャーが１枚の画像に収まっているか否かをチェックする。ステップＳ６０３が真ならばステップＳ６０５へ、偽ならばステップＳ６０４に進む。
【００２３】
ステップＳ６０３が偽の場合、獲得したいテクスチャーは複数画像にまたがって存在している。そのため、ステップＳ６０４により、該テクスチャーを含む複数の画像をつなぎ合せて、ひとつの大きな画像に融合する。
（複数画像の合成手順；Ｓ６０４）
このステップＳ６０４の処理を図７を用いて詳しく説明する。
【００２４】
まず、該テクスチャーが含まれる画像群を視点の移動順に並べて通し番号を付け、全枚数をＮ枚とし１〜Ｎ番までの画像とする（ステップＳ７０１）。さらに、各画像をＩmi（i=1,2,…N ）と表す。次に、それらの画像の中のある１つの画像ＩmKをステップＳ７０２にて基準画像として指定する。このステップＳ７０２の指定方法は、先頭の画像、最後の画像、真ん中の画像、任意の画像を操作者が指定する、など、どのような方法でもよい。
【００２５】
該画像群は、視点の移動順に並んでいるため、画像群のうち隣接した画像間ＩmiとＩmi+1（i ＝1,2,…N-1 ）の相関は高い。そこで、ステップＳ７０３にて、すべての隣接画像間にて、この画像間で同一点が移されている点を対応点としてマウスなどの位置指定装置により指定する。この模式図を図８に示す。次に、ステップＳ７０３にて指定された対応点を用いて、隣接画像間で対応点が一致するように一方の画像が他方の画像に座標変換されるアフィン変換の変換行列をステップＳ７０４にて求める。ここで、アフィン変換とは、（ｘ，ｙ）を（ｘ’，ｙ’）へと次式
ｘ’＝ｂ1 ｘ＋ｂ2 ｙ＋ｂ3 ， ｙ’＝ｂ4 ｘ＋ｂ5 ｙ＋ｂ6
のように変換する座標変換である。そして、
【００２６】
【数２】
このとき、基準画像ＩmKよりも画像列で前にある画像Ｉmiの場合、すなわち、ｉ＜Ｋのときは、ＩmiからＩmi+1に変換するアフィン変換行列Ｍi を求める。また、基準画像ＩmKよりも画像列で後ろにある画像Ｉmiの場合、すなわち、ｉ＞Ｋの時は、ＩmiからＩmi-1に変換するアフィン変換行列Ｍi を求める。次に、ステップＳ７０５に示すように、各画像Ｉmiから基準画像ＩmKへのアフィン変換行列Ｍi を用いて、ｉ＜ＫのときＴi ＝ＭK-1 ・…・Ｍi+1 ・Ｍi を、ｉ＞ＫのときＴi ＝ＭK+1 ・…Ｍi-1 ・Ｍi を求める。以上により、静止画像列の各画像から基準画像へのアフィン変換行列が求まったことになる。
【００２７】
次に、２次元空間Ｒ2 であるＡをステップＳ７０６にて用意しておく。ステップＳ７０７にて静止画像列Ｉmi（i=1,2,…N ）の画像中心点を求めＣi とする。Ｃi をアフィン変換Ｔi により変換し、Ｃ'i＝Ｔi ・Ｃi として、Ｃ'iを求める。このＣ'iをＡ中に置く（ステップＳ７０８）。すなわち、データ記憶部の２次元位置情報収納領域に点位置情報を格納していく。
【００２８】
次に、ステップＳ７０９にて、図９に示すように Ｃ'iを母点として空間ＡをVoroni分割する。この処理は、該２次元位置情報収納領域中にVoronoi 分割の領域の境界線を線分式として格納し、各Voronoi 領域を線分の集合として記憶しておく。そして、このＣ'iを母点とする各Voronoi 領域をＶi とする（ステップＳ７１０）。そして、ステップＳ７１１により各画像Ｉmiをアフィン変換し、Ｉm'i ＝Ｔi ・ＩmiとしてＩm'i を求める。すなわち、Ｉmiを保存してある記憶装置２の記憶領域上で、各画素に対しアフィン変換した画素位置の座標値を記憶領域に保存しておくことにより、座標変換後のデータを保持しておく。これにより、必要によりＶi ∩Ｉm'i となる２次元空間にＩm'i の値をはめ込むことが可能となる。
【００２９】
さらに、ステップＳ７１２にて、空間Ａの一部に対応した必要とする適当な大きさの画像Ｇを用意する（記憶装置２に記憶領域を用意する）。Ｇは初期状態では、画素に値を持たない状態である。そして、ステップＳ７１３にてＧ上のＶi ∩Ｉm'i となる画像領域にＩm'i の値を代入することにより、Ｇを生成する。ステップＳ７１１，Ｓ７１２の模式図を図１０に示す。
【００３０】
以上により該テクスチャーを含む画像群から、該テクスチャーを内部に包含するひとつの大きな画像を生成することができる。
次に、ステップＳ６０５により、該テクスチャーを内部に包含する該大きな画像からテクスチャー領域を切り出す。これは、マウスなどのポインティングデバイスを用いて操作者の指示により行う。次に、ステップＳ６０５にて得られた該テクスチャーの面は、３次元的空間中で一般に撮像面に対して平行でないため、画像中では幾何歪みが生じている。これを補正するため、ステップＳ６０６にて該テクスチャーの幾何変換を施す。図１１にその例の概念図を示す。
【００３１】
尚、上記実施例では幾何歪みの補正のついてのみ示したが、光源の位置や光量などの影響で均一な陰影及び明暗が得られていない場合には、不均一な陰影及び明暗を補正し、障害物等によって隠された部分がある場合には、その部分を内挿外挿により補正するようにしても良い。
＜他の実施例＞
実施例１と同様に、全体の流れは図２に従い、ステップＳ２０１〜Ｓ２０５という流れである。このうち、ステップＳ２０２の処理を以下のように行う。このステップＳ２０２の処理を図１２を用いて詳細に説明する。
【００３２】
（再構成手順II；Ｓ２０２）
まず、ステップＳ１２０１にて、視点の隣接する２枚の画像を選択する。この２枚の画像において、例えば壁と壁の境界のような、シーンの三次元形状の稜線に相当する画像中でのエッジのうち、その両画像に共通に表れるエッジとその端点をマウスで指定する（ステップＳ１２０２）。このとき、（ａ）得られるエッジが画像中に両端点を持つ場合、線分として、（ｂ）一方の端点は画像中にあり、他方が画像の外への解放端となっている場合、半直線として、（ｃ）両端点が共に画像中にない場合、直線として表現する。図４にその例を模式図で示す。また、指定した端点は両画像の対応点となる。次に、ステップＳ１２０３にて、ステップＳ１２０２で得られた線分／半直線／直線の接続関係、接続角度情報を入力する。たとえば、図４の撮影画像例１の場合、（１）線分Ａと半直線Ｂは端点で接続しており直交する、（２）線分Ａと線分Ｃは端点で接続しており直交する、（３）半直線Ｂと線分Ｃは端点で接続しており直交する、などといった情報を入力する。このステップＳ１２０３を指定が可能な情報の入力が終了するまで繰り返す（ステップＳ１２０４）。
【００３３】
次に、ステップＳ１２０５にて、両画像の対応点の三次元位置を三角測量の原理で求める。これらステップＳ１２０１〜Ｓ１２０５の処理を、すべての隣接画像に対して行い、すべての画像にて処理が行われるまで繰り返す（ステップＳ１２０６）。
さらに、ステップＳ１２０７にて、視点の隣接した関係にある画像を選ぶ。そして、ステップＳ１２０８にて、画像間にて直線・半直線・直線の接続関係、同一性を指定する。この処理をすべての指定が終わるまで繰り返す（ステップＳ１２０９）。さらに、すべての隣接画像間で終わるまで繰り返す（ステップＳ１２１０）。そして、ステップＳ１２１１により、ステップＳ１２０５で求められたエッジの端点の位置をもとに、ステップＳ１２０３とステップＳ１２０８の処理によって得られる形状情報からシーン全体の形状を求める。
【００３４】
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。この場合、本発明に係るプログラムを格納した記憶媒体が本発明を構成することになる。そして、該記憶媒体からそのプログラムをシステム或は装置に読み出すことによって、そのシステム或は装置が、予め定められた仕方で動作する。
【００３５】
【発明の効果】
本発明により、実際の建物の壁の高さや幅を巻き尺等で計測せずに、建物の写真などから簡便に幾何形状モデルを作成する三次元シーンの形状と表面模様の再構成方法およびその装置を提供できる。すなわち、設計図などの数値データがない場合や、ＣＡＤで作成した形状モデルデータがない場合に、実際の建物の壁の高さや幅を巻き尺等で長さを計測するなどの手間のかかる作業を行うことなく、建物の写真などから簡便に幾何形状モデルを作成する手法がないという問題を解決することが可能となる。
【図面の簡単な説明】
【図１】本実施例の画像処理装置の構成を示すブロック図である。
【図２】本実施例の全体の処理の流れを示すフローチャートである。
【図３】実施例１のステップＳ２０２の処理の流れを示すフローチャートである。
【図４】撮影画像の中に現れる直線／半直線／線分の模式図である。
【図５】消失点の算出式の説明のための補助図である。
【図６】図２のステップＳ２０３の処理の流れを示すフローチャートである。
【図７】図６のステップＳ６０４の処理の流れを示すフローチャートである。
【図８】画像間の対応点指定の模式図である。
【図９】空間ＡをVoronoi 分割する模式図である。
【図１０】画像Ｇの生成の模式図である。
【図１１】テクスチャーの幾何変換の例の模式図である。
【図１２】実施例２のステップＳ２０２の処理の流れを示すフローチャートである。
【符号の説明】
１ ＣＰＵ
２ 処理プログラムや画像データを保存するための記憶装置
３ マウス
４ キーボード
５ ウインドウシステム
６ 画像入力のためのインターフェース
７ バス[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method and apparatus for reconstructing the shape and surface pattern of a three-dimensional scene.
[0002]
[Prior art]
When reconstructing the shape and surface pattern of a 3D scene, such as a room, three-dimensionally, use (1) a geometric model modeled using CAD, or (2) design a room plan. Create a geometric model by inputting a geometric shape based on numerical data, or create a geometric model by finding the numerical value by measuring the height and width of the wall with a tape measure in an actual room, etc. There is a technique in which a geometric model is created by various methods, and on the other hand, a separate pattern image is prepared as a pattern on the surface of the shape model, and a three-dimensional space is constructed by a texture mapping technique. Here, as the separately prepared pattern image, a live-action image, an image created by a computer graphics technique, or the like can be used.
[0003]
[Problems to be solved by the invention]
However, conventionally, when there is no numerical data such as design drawings or when there is no shape model data created by CAD, the actual height and width of the wall of the building must be measured with a tape measure or the like. There is a problem that a geometric model cannot be easily created from a photograph of a building without performing a laborious work.
[0004]
The present invention eliminates the above-mentioned conventional drawbacks and makes it possible to easily create a geometric model from a photograph of a building without measuring the height and width of an actual building wall with a tape measure or the like. A pattern reconstruction method and apparatus are provided.
[0005]
[Means for Solving the Problems]
In order to solve this problem, the 3D scene shape and surface pattern reconstruction method of the present invention is a reconstruction method for three-dimensionally reconstructing the shape and surface pattern of a 3D scene. A step of reconstructing a three-dimensional shape from a collection of a plurality of images obtained by photographing the original space from a plurality of viewpoints, and a uniform plane or plane from one or a plurality of images in the collection of the plurality of images Generating a surface pattern of a shape region close to the shape, a step of designating which position of which region of the three-dimensional shape the surface pattern corresponds to, a surface pattern of the specified three-dimensional shape And storing corresponding to the area and positionThe step of reconstructing the three-dimensional shape includes a step of extracting or specifying a ridge line in a three-dimensional structure from each image, and a connection of ridge lines obtained from known structure information for each of the ridge lines in each image. The step of specifying the relationship and the connection angle information, the step of restoring the three-dimensional shape information based on the connection relationship and the connection angle information specified in the previous step, and between the plurality of images, from the known structure information Based on the connection relationship specified in the ridge line and the connection relationship specified in the previous step, the restoration result is fused between multiple images, and the shape of the portion that could not be restored is restored from the connection relationship between multiple images. And the process ofIt is characterized by that.
In addition, it is a reconstruction method for three-dimensionally reconstructing the shape and surface pattern of a three-dimensional scene, and reconstructing the three-dimensional shape from a collection of multiple images obtained by photographing a three-dimensional space from a plurality of viewpoints. A step of generating a surface pattern of a uniform plane or a shape region close to a plane from one or a plurality of images in the group of the plurality of images, and the surface pattern of the three-dimensional shape A step of designating which position in which region corresponds to, and a step of storing the surface pattern corresponding to the region and position of the designated three-dimensional shape, and reconstructing the three-dimensional shape In each image, a step of selecting two images photographed from a near viewpoint direction from a group of images photographed from a plurality of viewpoints, a step of extracting or specifying a ridge line in a three-dimensional structure from each image, Regarding each of the ridges , Specifying the ridge line connection relation and connection angle information obtained from the known structure information, specifying the same ridge line between the two images, calculating the three-dimensional position according to the principle of triangulation, and three-dimensional The restoration result is merged between a plurality of images based on the step of restoring the shape information, the step of specifying the connection relation of the ridge line from the known structure information among a plurality of images, and the connection relation designated in the previous step. And a step of restoring from a connection relationship between a plurality of images with respect to the shape of the portion that could not be restored.
[0006]
Here, the step of generating the surface pattern includes a step of cutting out the region from an image in which the entire area of the uniform plane or a plane close to the plane has been acquired, and distortion correction or surface pattern in the cut out region. And a step of performing color and shading correction. Further, the step of performing the distortion correction and the color and shade correction, the step of correcting the geometric distortion when there is a geometric distortion caused by the imaging surface and the imaging region being not parallel in the cut out region, If uniform shading and light and darkness are not obtained due to the position of the light source and the amount of light, etc., and if there are parts hidden by obstacles, etc. Including all or a part of the process of correcting by interpolation and extrapolation. Further, the step of cutting out the region includes a step of generating a single large image by fusing the plurality of images when a plane or a uniform region close to a plane is acquired over a plurality of images, and the generation And cutting out the pattern area from the large image.
[0007]
The 3D scene shape and surface pattern reconstruction device of the present invention is a reconstruction device that three-dimensionally reconstructs the shape and surface pattern of a 3D scene, and captures a 3D space from a plurality of viewpoints. An input means for inputting a collection of a plurality of images composed of a plurality of monocular two-dimensional images obtained in this way, a reconstruction means for reconstructing a three-dimensional shape from the collection of the plurality of images, and a collection of the plurality of images. Generating means for generating a surface pattern of a uniform plane or a shape area close to a plane from one or a plurality of images, and designating which area of the three-dimensional shape the surface pattern corresponds to Specifying means; and storage means for storing the surface pattern corresponding to the specified three-dimensional shape region and position.The reconstruction means includes, in each monocular image, first designation means for designating a ridge line in a three-dimensional structure, and a connection relationship and connection angle information of a ridge line obtained from known structure information, and the first designation Based on the connection relation and connection angle information specified by the means, the first restoration means for restoring the three-dimensional shape information of each monocular image and the connection relation of the ridge lines are designated from the known structure information between the plurality of images. Based on the connection relationship designated by the second designation means and the second designation means, the restoration results obtained by the first restoration means are fused between a plurality of images and A second restoring means for restoring from a connection relationship between a plurality of images with respect to the shapeIt is characterized by that.
Also, in a reconstruction device that three-dimensionally reconstructs the shape and surface pattern of a three-dimensional scene, a collection of a plurality of images composed of a plurality of monocular two-dimensional images acquired by photographing a three-dimensional space from a plurality of viewpoints. A uniform plane or near a plane from one or a plurality of images in the collection of the plurality of images, an input means for inputting the image, a reconstruction means for reconstructing a three-dimensional shape from the collection of the plurality of images Generation means for generating a surface pattern of a shape area; designation means for designating which position of the three-dimensional shape the surface pattern corresponds to; a region of the designated three-dimensional shape; And a storage means for storing corresponding to the position, wherein the reconstruction means selects a single eye image group taken from a plurality of viewpoints, a selection means for selecting two images taken from close viewpoint directions, and each monocular In the image, First specifying means for specifying a ridge line in a dimensional structure, and a connection relation and connection angle information of a ridge line obtained from known structure information, and by specifying the same ridge line between the two images, the principle of triangulation A third restoring means for restoring three-dimensional shape information by calculating a three-dimensional position; a second specifying means for specifying a connection relation of ridge lines from a plurality of known structure information between a plurality of images; Based on the connection relation designated by the designation means 2, the restoration result by the third restoration means is fused between the plurality of images, and the shape of the part that could not be restored is restored from the connection relation between the plurality of images. And a fourth restoring means.
[0008]
Here, the generation means includes a cutting means for cutting out the area from an image in which a uniform plane or an entire area close to the plane has been acquired, and distortion correction and color and shading correction of the cut out area. Correction means for performing the above. In addition, the correction means corrects the geometric distortion when the imaging scene of the clipped area and the imaging area are not parallel, and corrects the geometric distortion, and the uniform shadow and the influence of the position of the light source and the amount of light. When the brightness is not obtained, the uneven shadow and brightness are corrected, and when there is a portion hidden by an obstacle or the like, the portion is corrected by interpolation / extrapolation. Further, the clipping means includes means for fusing the plurality of images to generate one large image when a plane or a uniform region close to the plane is acquired over the plurality of images, and from the large image Means for cutting out the pattern region.
[0009]
The 3D scene shape and surface pattern reconstruction method of the present invention is a reconstruction method for three-dimensionally reconstructing the 3D scene shape and surface pattern from a plurality of viewpoints. A step of reconstructing a three-dimensional shape from a collection of a plurality of images obtained by photographing, and a surface of a uniform plane or a shape region close to a plane from one or a plurality of images in the collection of the plurality of images Generating the pattern, and specifying the surface pattern corresponding to the region and position of the specified three-dimensional shape based on the designation of which region of the three-dimensional shape the surface pattern corresponds to. And a step of generating a three-dimensional shape and a surface pattern from the desired viewpoint based on the reconstructed three-dimensional shape and the surface pattern when a desired viewpoint is instructed. WithThe step of reconstructing the three-dimensional shape includes a step of extracting or specifying a ridge line in a three-dimensional structure from each image, and a connection of ridge lines obtained from known structure information for each of the ridge lines in each image. The step of specifying the relationship and the connection angle information, the step of restoring the three-dimensional shape information based on the connection relationship and the connection angle information specified in the previous step, and between the plurality of images, from the known structure information Based on the connection relationship specified in the ridge line and the connection relationship specified in the previous step, the restoration result is fused between multiple images, and the shape of the portion that could not be restored is restored from the connection relationship between multiple images. And the process ofIt is characterized by that.
In addition, it is a reconstruction method for three-dimensionally reconstructing the shape and surface pattern of a three-dimensional scene, and reconstructing the three-dimensional shape from a collection of multiple images obtained by photographing a three-dimensional space from a plurality of viewpoints. A step of generating a surface pattern of a uniform plane or a shape region close to a plane from one or a plurality of images in the group of the plurality of images, and the surface pattern of the three-dimensional shape Based on the designation of which area and which position, the surface pattern is stored in correspondence with the designated three-dimensional shape area and position, and when a desired viewpoint is designated, Generating the three-dimensional shape and the surface pattern from the desired viewpoint based on the configured three-dimensional shape and the surface pattern, and reconfiguring the three-dimensional shape from a plurality of viewpoints. Close viewpoint from the group of images taken Selecting two images taken from the image, extracting or specifying a ridge line in a three-dimensional structure from each image, and connecting each ridge line obtained from known structural information for each ridge line in each image Specifying the relationship and connection angle information, specifying the same ridge line between the two images, calculating the three-dimensional position by the principle of triangulation, and restoring the three-dimensional shape information, between the plurality of images In the step of designating the connection relation of the ridge line from the known structural information, and based on the connection relation designated in the previous process, the restoration result is fused between a plurality of images, and the shape of the portion that cannot be restored And a step of restoring from a connection relationship between a plurality of images.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the accompanying drawings.
<Configuration example of the apparatus of this embodiment>
FIG. 1 is a block diagram showing the configuration of an apparatus for realizing the present embodiment.
[0011]
<Processing example of the apparatus of this embodiment>
FIG. 2 shows a flowchart of the present embodiment, and the operation procedure will be described in detail with reference to FIG.
In step S201, a monocular two-dimensional image such as an indoor scene is read. This image is shot several times from various directions in a three-dimensional space such as a room with a general film-type still camera, and converted into image data with a film scanner, or with a video camera, etc. A method of shooting a moving image and digitizing it as a still image or directly electronically using a digital still camera is used.
[0012]
From the collection of these images, the shape of the scene in the three-dimensional space is reconstructed in step S202. In step S203, the three-dimensional scene is considered as a plane or a collection of areas close to a plane, such as a single wall, and the patterns on the surface are acquired as texture images. Then, in step S204, it is designated in step S204 which position of each of the three-dimensional shapes obtained in step S202 corresponds to each texture image obtained in step S203. Since the three-dimensional shape and the pattern on the surface are obtained in a form associated with the shape, in step S205, the reconstructed three-dimensional geometric shape and the texture image corresponding to it are obtained as the geometric data with the surface pattern. save. Thereafter, this data can be reconstructed as a patterned three-dimensional space by using a general three-dimensional geometric texture mapping technique.
[0013]
Each of these steps S202, S203, and S204 will be described in more detail below.
(Reconfiguration procedure I; S202)
The processing procedure for reconstructing the shape of the scene in the three-dimensional space in step S202 will be described in detail with reference to FIG.
[0014]
First, in step S301, one certain image is selected. In the image, for example, an edge in the image corresponding to the edge of the three-dimensional shape of the scene, such as a wall-to-wall boundary, is designated with the mouse (step S302). At this time, (a) When the obtained edge has both end points in the image, as a line segment, (b) When one end point is in the image and the other is an open end to the outside of the image Is represented as a straight line (c) when both end points are not present in the image. FIG. 4 schematically shows an example thereof.
[0015]
Next, in step S303, the line segment / half line / straight line connection relation obtained in step S302 and connection angle information are input. For example, in the case of the captured image example 1 in FIG. 4, (1) the line segment A and the half line B are connected at the end points and are orthogonal to each other, and (2) the line segment A and the line segment C are connected at the end points. Information such as (3) the half line B and the line segment C are connected at the end points and are orthogonal is input. This step S303 is repeated until the input of information that can be specified is completed (step S304).
[0016]
In step S305, it is checked whether two vanishing points can be calculated from the image. Here, the vanishing point of two points is when there are two parallel lines in the real space among the line segment / half line / straight line specified in step S303, and the planes formed by the parallel lines are orthogonal to each other. , And when the two parallel lines are not parallel on the image plane. If step S305 is true, the process proceeds to step S306. In step S306, vanishing points are calculated. This is obtained as the intersection of two straight lines on the screen.
[0017]
Next, in step S307, a line / half line / straight direction vector in the image is obtained. The method of step S307 will be described in detail below.
First, the focal length of the camera that captured the image is obtained. 4 straight lines L in a three-dimensional space as shown in FIG.1 , L2 , LThree , LFour But,
L1 ‖L2 , LThree ‖LFour
L1 ⊥L2 , LThree ⊥LFour
(‖ Represents parallel, ⊥ represents vertical), L1 And L2 The intersection (vanishing point) with1 , LThree And LFour The intersection (vanishing point) of2 (V1 = (V11, V12), V2 = (Vtwenty one, Vtwenty two)), The distance between the imaging surface and the focal position, that is, the focal distance (screen distance) c is
c = (v1 ・ V2 )1/2 ... Formula (1)
It is obtained as
[0018]
Furthermore, L1 , L2 , LThree , LFour The direction vector of D1 , D2 , DThree , DFour Then,
[0019]
[Expression 1]
Based on these direction vectors, the line / half line / straight line relationship is used to calculate other line / half line / line direction vectors.
[0020]
If step S305 is false, steps S306 and S307 are skipped, and the process proceeds to the next step S308. The processes in steps S301 to S307 are performed for each image, and are repeated until the process is performed for all images (step S308).
Through steps S301 to S308, the shape obtained from only one image is restored. Further, in step S309, images that are close to each other and have an adjacent relationship are selected. In step S310, the line segment / half line / line connection relation and identity between images are designated.
[0021]
This process is repeated until all the designations are completed (step S311). The process is repeated until the designation between all adjacent images is completed (step S312). In step S313, based on the shapes obtained in steps S301 to S308, the shape of the entire scene is obtained from the shape information newly added by the processing in steps S309 to S312.
[0022]
(Pattern acquisition procedure; S203)
Next, FIG. 6 is a flowchart showing the process of acquiring the pattern on the surface of the three-dimensional scene in step S203 as a pattern image.
First, in step S601, a texture to be acquired such as a single wall is selected. In step S602, an image including the texture is selected from all images. Next, in step S603, it is checked whether the texture to be acquired is contained in one image. If step S603 is true, the process proceeds to step S605, and if false, the process proceeds to step S604.
[0023]
When step S603 is false, the texture to be acquired exists over a plurality of images. Therefore, in step S604, a plurality of images including the texture are connected and merged into one large image.
(Procedure for combining multiple images; S604)
The processing in step S604 will be described in detail with reference to FIG.
[0024]
First, an image group including the texture is arranged in the order of movement of the viewpoint and assigned a serial number, and the total number is set to N, and
[0025]
Since the image groups are arranged in the order of movement of the viewpoint, Im between adjacent images in the image group.iAnd Imi + 1The correlation of (i = 1, 2, ... N-1) is high. Therefore, in step S703, a point where the same point is moved between all adjacent images is designated as a corresponding point by a position designation device such as a mouse. This schematic diagram is shown in FIG. Next, using the corresponding points specified in step S703, a transformation matrix of affine transformation in which one image is coordinate-transformed into the other image so that the corresponding points match between adjacent images is obtained in step S704. . Here, affine transformation means that (x, y) is changed to (x ', y')
x ′ = b1 x + b2 y + bThree , Y ′ = bFour x + bFive y + b6
It is a coordinate transformation that transforms as follows. And
[0026]
[Expression 2]
At this time, the reference image ImKImage Im in front of the image sequence thaniIn other words, if i <K, ImiTo Imi + 1Affine transformation matrix M to convert toi Ask for. Reference image ImKImage Im behind in the image sequence thaniIn other words, when i> K, ImiTo Imi-1Affine transformation matrix M to convert toi Ask for. Next, as shown in step S705, each image ImiTo reference image ImKAffine transformation matrix Mi And T when i <Ki = MK-1 ・ ・ ・ Mi + 1 ・ Mi T if i> Ki = MK + 1 ・ Mi-1 ・ Mi Ask for. Thus, the affine transformation matrix from each image of the still image sequence to the reference image is obtained.
[0027]
Next, the two-dimensional space R2 Is prepared in step S706. In step S707, the still image sequence ImiFind the image center point (i = 1,2, ... N) Ci And Ci Affine transformation Ti To convert C ′i= Ti ・ Ci As C 'iAsk for. This C 'iIs placed in A (step S708). That is, the point position information is stored in the two-dimensional position information storage area of the data storage unit.
[0028]
Next, in step S709, as shown in FIG.iThe space A is divided into Voroni using as a generating point. In this process, the boundary line of the Voronoi division area is stored as a line segment in the two-dimensional position information storage area, and each Voronoi area is stored as a set of line segments. And this C 'iEach Voronoi region with Vi (Step S710). In step S711, each image ImiTo the affine transformation, Im 'i = Ti ・ ImiAs Im 'i Ask for. That is, ImiIs stored in the storage area of the
[0029]
Further, in step S712, an image G having an appropriate size corresponding to a part of the space A is prepared (a storage area is prepared in the storage device 2). G is a state in which the pixel has no value in the initial state. In step S713, V on Gi ∩Im 'i Im 'in the image areai G is generated by substituting the value of. A schematic diagram of steps S711 and S712 is shown in FIG.
[0030]
As described above, one large image including the texture can be generated from the image group including the texture.
Next, in step S605, a texture region is cut out from the large image including the texture. This is performed by an operator's instruction using a pointing device such as a mouse. Next, since the surface of the texture obtained in step S605 is generally not parallel to the imaging surface in a three-dimensional space, geometric distortion occurs in the image. In order to correct this, geometric transformation of the texture is performed in step S606. FIG. 11 shows a conceptual diagram of the example.
[0031]
In the above embodiment, only correction of geometric distortion is shown, but when uniform shadows and light and darkness are not obtained due to the influence of the position of the light source and the amount of light, the uneven shadow and light and dark are corrected, If there is a part hidden by an obstacle or the like, the part may be corrected by interpolation / extrapolation.
<Other embodiments>
Similar to the first embodiment, the entire flow is steps S201 to S205 according to FIG. Among these, the process of step S202 is performed as follows. The processing in step S202 will be described in detail with reference to FIG.
[0032]
(Reconfiguration procedure II; S202)
First, in step S1201, two images adjacent to the viewpoint are selected. In these two images, for example, among the edges in the image corresponding to the ridgeline of the three-dimensional shape of the scene, such as the boundary between walls, the edge that appears in both images and its end point are specified with the mouse. (Step S1202). At this time, (a) when the obtained edge has both end points in the image, as a line segment, (b) when one end point is in the image and the other is an open end to the outside of the image, As a half line, (c) when both end points are not in the image, it is expressed as a straight line. FIG. 4 schematically shows an example thereof. The designated end point is a corresponding point of both images. Next, in step S1203, the line segment / half straight line / straight line connection relation obtained in step S1202 and connection angle information are input. For example, in the case of the photographed image example 1 in FIG. 4, (1) the line segment A and the half line B are connected at the end points and are orthogonal, and (2) the line segment A and the line segment C are connected at the end points and are orthogonal. (3) Information such as that the half line B and the line segment C are connected at the end points and are orthogonal is input. This step S1203 is repeated until the input of information that can be specified is completed (step S1204).
[0033]
Next, in step S1205, the three-dimensional positions of the corresponding points of both images are obtained by the principle of triangulation. The processes in steps S1201 to S1205 are performed on all adjacent images, and are repeated until the process is performed on all the images (step S1206).
Further, in step S1207, images that have adjacent viewpoints are selected. In step S1208, a straight line / half line / straight line connection relationship and identity are designated between images. This process is repeated until all the designations are completed (step S1209). Furthermore, it repeats until it completes between all the adjacent images (step S1210). In step S1211, the shape of the entire scene is obtained from the shape information obtained by the processing in steps S1203 and S1208 based on the position of the end point of the edge obtained in step S1205.
[0034]
The present invention may be applied to a system composed of a plurality of devices or an apparatus composed of a single device. Needless to say, the present invention can also be applied to a case where the present invention is achieved by supplying a program to a system or apparatus. In this case, the storage medium storing the program according to the present invention constitutes the present invention. Then, by reading the program from the storage medium to the system or apparatus, the system or apparatus operates in a predetermined manner.
[0035]
【The invention's effect】
According to the present invention, a method and apparatus for reconstructing the shape and surface pattern of a three-dimensional scene that can easily create a geometric model from a photograph of a building without measuring the height and width of an actual building wall with a tape measure or the like Can provide. In other words, when there is no numerical data such as design drawings or when there is no shape model data created by CAD, time-consuming work such as measuring the actual height and width of the building wall with a tape measure, etc. Without doing so, it is possible to solve the problem that there is no method for simply creating a geometric model from a photograph of a building.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image processing apparatus according to an embodiment.
FIG. 2 is a flowchart showing the overall processing flow of this embodiment.
FIG. 3 is a flowchart illustrating a process flow of step S202 according to the first exemplary embodiment.
FIG. 4 is a schematic diagram of a straight line / half line / line segment appearing in a photographed image.
FIG. 5 is an auxiliary diagram for explaining a vanishing point calculation formula;
FIG. 6 is a flowchart showing a process flow of step S203 in FIG.
FIG. 7 is a flowchart showing a process flow of step S604 in FIG. 6;
FIG. 8 is a schematic diagram of designation of corresponding points between images.
FIG. 9 is a schematic diagram in which a space A is divided into Voronoi.
10 is a schematic diagram of generation of an image G. FIG.
FIG. 11 is a schematic diagram illustrating an example of geometric transformation of a texture.
FIG. 12 is a flowchart illustrating a process flow of step S202 according to the second embodiment.
[Explanation of symbols]
1 CPU
2. Storage device for storing processing programs and image data
3 Mouse
4 Keyboard
5 Window system
6 Interface for image input
7 Bus
Claims (12)
三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、
該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、
該表面模様が、前記三次元形状のどの領域のどの位置に対応するかを指定する工程と、
前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程とを備え、
前記三次元形状を再構成する工程は、
各画像から、三次元構造における稜線を抽出または指定する工程と、
各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、
前工程で指定した接続関係と接続角度情報とに基づいて、三次元形状情報を復元する工程と、
複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、
前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする三次元シーンの形状と表面模様の再構成方法。 A reconstruction method for three-dimensionally reconstructing the shape and surface pattern of a three-dimensional scene,
Reconstructing a three-dimensional shape from a collection of images obtained by photographing a three-dimensional space from a plurality of viewpoints;
Generating a surface pattern of a uniform plane or a shape region close to a plane from one or more images in the collection of the plurality of images;
Designating which position of which region of the three-dimensional shape the surface pattern corresponds to;
Storing the surface pattern corresponding to the region and position of the designated three-dimensional shape,
The step of reconstructing the three-dimensional shape includes:
Extracting or specifying a ridgeline in the three-dimensional structure from each image;
In each image, for each of the ridge lines, a step of designating connection relations and connection angle information of ridge lines obtained from known structure information;
Based on the connection relationship and connection angle information specified in the previous step, restoring the three-dimensional shape information;
Specifying the connection relationship of the ridge lines from the known structure information between a plurality of images;
A step of fusing the restoration result between a plurality of images based on the connection relationship designated in the previous step, and a step of restoring from the connection relationship between the plurality of images with respect to the shape of the portion that could not be restored. 3D scene shape and surface pattern reconstruction method.
三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、
該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、
該表面模様が、前記三次元形状のどの領域のどの位置に対応するかを指定する工程と、
前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程とを備え、
前記三次元形状を再構成する工程は、
複数視点から撮影された画像群のうちから、近い視点方向から撮影された２つの画像を選ぶ工程と、
各画像から、三次元構造における稜線を抽出または指定する工程と、
各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、
前記２つの画像間において同一稜線を指定し、三角測量の原理により３次元位置を算出して三次元形状情報を復元する工程と、
複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、
前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする三次元シーンの形状と表面模様の再構成方法。 A reconstruction method for three-dimensionally reconstructing the shape and surface pattern of a three-dimensional scene,
Reconstructing a three-dimensional shape from a collection of images obtained by photographing a three-dimensional space from a plurality of viewpoints;
Generating a surface pattern of a uniform plane or a shape region close to a plane from one or more images in the collection of the plurality of images;
Designating which position of which region of the three-dimensional shape the surface pattern corresponds to;
Storing the surface pattern corresponding to the region and position of the designated three-dimensional shape,
The step of reconstructing the three-dimensional shape includes:
Selecting two images taken from close viewpoints from a group of images taken from multiple viewpoints;
Extracting or specifying a ridgeline in the three-dimensional structure from each image;
In each image, for each of the ridge lines, a step of designating connection relations and connection angle information of ridge lines obtained from known structure information;
Designating the same ridge line between the two images, calculating a three-dimensional position according to the principle of triangulation, and restoring three-dimensional shape information;
Specifying the connection relationship of the ridge lines from the known structure information between a plurality of images;
A step of fusing the restoration result between a plurality of images based on the connection relationship designated in the previous step, and a step of restoring from the connection relationship between the plurality of images with respect to the shape of the portion that could not be restored. 3D scene shape and surface pattern reconstruction method.
一様な平面または平面に近い領域全域が獲得されている画像から、該領域を切り出す工程と、
前記切り出された領域内の表面模様に歪み補正や色及び濃淡補正を行う工程とを有することを特徴とする請求項１又は２記載の三次元シーンの形状と表面模様の再構成方法。The step of generating the surface pattern includes:
Cutting out the area from an image in which the entire area of the uniform plane or near the plane is acquired;
The method for reconstructing the shape and surface pattern of a three-dimensional scene according to claim 1 or 2, further comprising a step of performing distortion correction, color and shading correction on the surface pattern in the cut out region.
前記切り出された領域に、撮像面と撮影領域とが平行でないことから生じる幾何歪みが存在する場合に、幾何歪みを補正する工程と、
光源の位置や光量などの影響で、均一な陰影及び明暗が得られていない場合に、不均一な陰影及び明暗を補正する工程と、
障害物等によって隠された部分がある場合に、その部分を内挿外挿により補正する工程の全部または一部を含むことを特徴とする請求項３記載の三次元シーンの形状と表面模様の再構成方法。The step of performing the distortion correction and color and shade correction,
A step of correcting the geometric distortion in the case where the geometric distortion resulting from the imaging surface and the imaging area being not parallel exists in the cut-out area;
A step of correcting the non-uniform shadow and light / darkness when uniform shadow and light / darkness are not obtained due to the influence of the position of the light source and the amount of light; and
The shape and surface pattern of a three-dimensional scene according to claim 3, comprising a part or all of a step of correcting the part by interpolation and extrapolation when there is a part hidden by an obstacle or the like. Reconfiguration method.
平面または平面に近い一様な領域が、複数の画像にわたって獲得されている場合に、該複数画像を融合してひとつの大きな画像を生成する工程と、
前記生成された大きな画像から、前記模様領域を切り出す工程とを有することを特徴とする請求項３記載の三次元シーンの形状と表面模様の再構成方法。The step of cutting out the region includes
Fusing a plurality of images to generate a single large image when a plane or a uniform region close to a plane is acquired over a plurality of images;
4. The method of reconstructing a shape of a three-dimensional scene and a surface pattern according to claim 3 , further comprising a step of cutting out the pattern area from the generated large image.
三次元空間を複数視点から撮影して獲得される複数の単眼二次元画像から成る複数画像の集まりを入力する入力手段と、
前記複数画像の集まりから、三次元形状を再構成する再構成手段と、
前記複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する生成手段と、
前記表面模様が、該三次元形状のどの領域どの位置に対応するかを指定する指定手段と、
前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する記憶手段とを備え、
前記再構成手段は、
各単眼画像において、三次元構造における稜線と、既知の構造情報から得られる稜線の接続関係及び接続角度情報とを指定する第１の指定手段と、
前記第１の指定手段で指定した接続関係及び接続角度情報をもとに、各単眼画像の三次元形状情報を復元する第１の復元手段と、
複数の画像間において、既知の構造情報から稜線の接続関係を指定する第２の指定手段と、
前記第２の指定手段で指定された接続関係をもとに、前記第１の復元手段による復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する第２の復元手段とを備えることを特徴とする三次元シーンの形状と表面模様の再構成装置。 In a reconstruction device that three-dimensionally reconstructs the shape and surface pattern of a three-dimensional scene,
An input means for inputting a collection of a plurality of images composed of a plurality of monocular two-dimensional images acquired by photographing a three-dimensional space from a plurality of viewpoints;
Reconstructing means for reconstructing a three-dimensional shape from the collection of the plurality of images;
Generating means for generating a surface pattern of a uniform plane or a shape region close to a plane from one or a plurality of images in the group of the plurality of images;
Designation means for designating which position of which region of the three-dimensional shape the surface pattern corresponds to;
Storage means for storing the surface pattern corresponding to the designated region and position of the three-dimensional shape,
The reconstruction means includes
In each monocular image, first designation means for designating the ridge line in the three-dimensional structure and the connection relation and connection angle information of the ridge line obtained from known structure information;
First restoration means for restoring the three-dimensional shape information of each monocular image based on the connection relation and connection angle information designated by the first designation means;
A second designating unit for designating connection relations between ridge lines from known structural information between a plurality of images;
Based on the connection relation designated by the second designation means, the restoration result by the first restoration means is fused between the plurality of images, and the connection relation between the plurality of images with respect to the shape of the portion that could not be restored A reconstructing device for shape and surface pattern of a three-dimensional scene, comprising: a second restoring means for restoring from
三次元空間を複数視点から撮影して獲得される複数の単眼二次元画像から成る複数画像の集まりを入力する入力手段と、
前記複数画像の集まりから、三次元形状を再構成する再構成手段と、
前記複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する生成手段と、
前記表面模様が、該三次元形状のどの領域どの位置に対応するかを指定する指定手段と、
前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する記憶手段とを備え、
前記再構成手段は、
複数視点から撮影された単眼画像群のうち、近い視点方向から撮影された２つの画像を選ぶ選択手段と、
各単眼画像において、三次元構造における稜線と、既知の構造情報から得られる稜線の接続関係及び接続角度情報とを指定する第１の指定手段と、
前記２つの画像間において同一稜線を指定して、三角測量の原理により３次元的位置を算出することにより三次元形状情報を復元する第３の復元手段と、
複数の画像間において、既知の構造情報から稜線の接続関係を指定する第２の指定手段と、
前記第２の指定手段で指定された接続関係をもとに、前記第３の復元手段による復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する第４の復元手段とを備えることを特徴とする三次元シーンの形状と表面模様の再構成装置。 In a reconstruction device that three-dimensionally reconstructs the shape and surface pattern of a three-dimensional scene,
An input means for inputting a collection of a plurality of images composed of a plurality of monocular two-dimensional images acquired by photographing a three-dimensional space from a plurality of viewpoints;
Reconstructing means for reconstructing a three-dimensional shape from the collection of the plurality of images;
Generating means for generating a surface pattern of a uniform plane or a shape region close to a plane from one or a plurality of images in the group of the plurality of images;
Designation means for designating which position of which region of the three-dimensional shape the surface pattern corresponds to;
Storage means for storing the surface pattern corresponding to the designated region and position of the three-dimensional shape,
The reconstruction means includes
A selecting means for selecting two images taken from a near viewpoint direction from a group of monocular images taken from a plurality of viewpoints;
In each monocular image, first designation means for designating the ridge line in the three-dimensional structure and the connection relation and connection angle information of the ridge line obtained from known structure information;
A third restoring means for restoring the three-dimensional shape information by designating the same ridge line between the two images and calculating a three-dimensional position according to the principle of triangulation;
A second designating unit for designating connection relations between ridge lines from known structural information between a plurality of images;
Based on the connection relation designated by the second designation means, the restoration result by the third restoration means is fused between the plurality of images, and the connection relation between the plurality of images with respect to the shape of the portion that could not be restored A reconstruction device for reconstructing the shape and surface pattern of a three-dimensional scene, comprising:
一様な平面または平面に近い領域全域が獲得されているような画像から、該領域を切り出す切出手段と、
前記切り出された領域の歪み補正や色及び濃淡補正を行う補正手段とを備えることを特徴とする請求項６又は７記載の三次元シーンの形状と表面模様の再構成装置。The generating means includes
A cutting means for cutting out the area from an image in which the entire area of the uniform plane or a plane close to the plane is acquired;
8. The three-dimensional scene shape and surface pattern reconstruction apparatus according to claim 6, further comprising correction means for performing distortion correction, color correction, and shading correction of the clipped area.
平面または平面に近い一様な領域が複数の画像にわたって獲得されている場合に、前記複数画像を融合して１つの大きな画像を生成する手段と、
前記大きな画像から前記模様領域を切り出す手段とを有することを特徴とする請求項８記載の三次元シーンの形状と表面模様の再構成装置。The cutting means is
Means for fusing the plurality of images to produce one large image when a plane or a uniform region close to the plane is acquired over the plurality of images;
9. The apparatus for reconstructing a shape of a three-dimensional scene and a surface pattern according to claim 8, further comprising means for cutting out the pattern area from the large image.
三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、
該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、
該表面模様が、前記三次元形状のどの領域のどの位置に対応するかの指定に基づいて、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程と、
所望の視点が指示された場合に、再構成された前記三次元形状と表面模様とに基づいて、前記所望の視点からの三次元形状と表面模様とを生成する工程とを備え、
前記三次元形状を再構成する工程は、
各画像から、三次元構造における稜線を抽出または指定する工程と、
各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、
前工程で指定した接続関係と接続角度情報とに基づいて、三次元形状情報を復元する工程と、
複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、
前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする三次元シーンの形状と表面模様の再構成方法。A reconstruction method for three-dimensionally reconstructing the shape and surface pattern of a three-dimensional scene,
Reconstructing a three-dimensional shape from a collection of images obtained by photographing a three-dimensional space from a plurality of viewpoints;
Generating a surface pattern of a uniform plane or a shape region close to a plane from one or more images in the collection of the plurality of images;
Storing the surface pattern corresponding to the region and position of the specified three-dimensional shape based on the designation of which region of the three-dimensional shape the surface pattern corresponds to;
Generating a three-dimensional shape and a surface pattern from the desired viewpoint based on the reconstructed three-dimensional shape and the surface pattern when a desired viewpoint is instructed ,
The step of reconstructing the three-dimensional shape includes:
Extracting or specifying a ridgeline in the three-dimensional structure from each image;
In each image, for each of the ridge lines, a step of designating connection relations and connection angle information of ridge lines obtained from known structure information;
Based on the connection relationship and connection angle information specified in the previous step, restoring the three-dimensional shape information;
Specifying the connection relationship of the ridge lines from the known structure information between a plurality of images;
Based on the connection relationship specified in the previous step, the fusing said recovered result among multiple images, and wherein Rukoto and a step of restoring the connection relationship between a plurality of images with respect to the shape of an unrecoverable portion 3D scene shape and surface pattern reconstruction method.
三次元空間を複数視点から撮影して得られた複数画像の集まりから、三次元形状を再構成する工程と、 Reconstructing a three-dimensional shape from a collection of images obtained by photographing a three-dimensional space from a plurality of viewpoints;
該複数画像の集まりの中の１枚または複数の画像から、一様な平面または平面に近い形状領域の表面模様を生成する工程と、 Generating a surface pattern of a uniform plane or a shape region close to a plane from one or more images in the collection of the plurality of images;
該表面模様が、前記三次元形状のどの領域のどの位置に対応するかの指定に基づいて、前記表面模様を前記指定された三次元形状の領域及び位置に対応して記憶する工程と、 Storing the surface pattern corresponding to the region and position of the specified three-dimensional shape based on the designation of which region of the three-dimensional shape the surface pattern corresponds to;
所望の視点が指示された場合に、再構成された前記三次元形状と表面模様とに基づいて、前記所望の視点からの三次元形状と表面模様とを生成する工程とを備え、 Generating a three-dimensional shape and a surface pattern from the desired viewpoint based on the reconstructed three-dimensional shape and a surface pattern when a desired viewpoint is instructed,
前記三次元形状を再構成する工程は、 The step of reconstructing the three-dimensional shape includes:
複数視点から撮影された画像群のうちから、近い視点方向から撮影された２つの画像を選ぶ工程と、 Selecting two images taken from close viewpoint directions from a group of images taken from a plurality of viewpoints;
各画像から、三次元構造における稜線を抽出または指定する工程と、 Extracting or specifying a ridgeline in the three-dimensional structure from each image;
各画像において、該稜線のそれぞれに関して、既知の構造情報から得られた稜線の接続関係と接続角度情報とを指定する工程と、 In each image, for each of the ridge lines, a step of designating connection relations and connection angle information of the ridge lines obtained from known structure information;
前記２つの画像間において同一稜線を指定し、三角測量の原理により３次元位置を算出して三次元形状情報を復元する工程と、 Designating the same ridge line between the two images, calculating a three-dimensional position according to the principle of triangulation, and restoring three-dimensional shape information;
複数の画像間において、既知の構造情報から前記稜線の接続関係を指定する工程と、 Specifying the connection relationship of the ridge line from the known structure information between a plurality of images;
前工程で指定した接続関係に基づいて、前記復元結果を複数画像間で融合すると共に、復元不能であった部分の形状に関して複数画像間の接続関係から復元する工程とを備えることを特徴とする三次元シーンの形状と表面模様の再構成方法。 A step of fusing the restoration results between a plurality of images based on the connection relationship designated in the previous step, and a step of restoring from the connection relationship between the plurality of images with respect to the shape of the portion that could not be restored. 3D scene shape and surface pattern reconstruction method.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22518295A JP3703178B2 (en) | 1995-09-01 | 1995-09-01 | Method and apparatus for reconstructing shape and surface pattern of 3D scene |
| EP96300782A EP0726543B1 (en) | 1995-02-07 | 1996-02-06 | Image processing method and apparatus therefor |
| DE69629860T DE69629860T2 (en) | 1995-02-07 | 1996-02-06 | Process and device for image processing |
| US08/597,699 US5727093A (en) | 1995-02-07 | 1996-02-06 | Image processing method and apparatus therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22518295A JP3703178B2 (en) | 1995-09-01 | 1995-09-01 | Method and apparatus for reconstructing shape and surface pattern of 3D scene |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0969170A JPH0969170A (en) | 1997-03-11 |
| JP3703178B2 true JP3703178B2 (en) | 2005-10-05 |
Family
ID=16825253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22518295A Expired - Fee Related JP3703178B2 (en) | 1995-02-07 | 1995-09-01 | Method and apparatus for reconstructing shape and surface pattern of 3D scene |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3703178B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3954211B2 (en) | 1998-08-20 | 2007-08-08 | 富士通株式会社 | Method and apparatus for restoring shape and pattern in 3D scene |
| CN110176053B (en) * | 2019-05-24 | 2022-12-06 | 武汉大势智慧科技有限公司 | Large-scale live-action three-dimensional integral color homogenizing method |
-
1995
- 1995-09-01 JP JP22518295A patent/JP3703178B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0969170A (en) | 1997-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0726543B1 (en) | Image processing method and apparatus therefor | |
| JP3148045B2 (en) | 3D object CG creation device | |
| JP5093053B2 (en) | Electronic camera | |
| KR101613721B1 (en) | Methodology for 3d scene reconstruction from 2d image sequences | |
| US9001120B2 (en) | Using photo collections for three dimensional modeling | |
| JP3954211B2 (en) | Method and apparatus for restoring shape and pattern in 3D scene | |
| JP6220486B1 (en) | 3D model generation system, 3D model generation method, and program | |
| JP3486461B2 (en) | Image processing apparatus and method | |
| KR101560508B1 (en) | Method and arrangement for 3-dimensional image model adaptation | |
| JP6196416B1 (en) | 3D model generation system, 3D model generation method, and program | |
| WO2019035155A1 (en) | Image processing system, image processing method, and program | |
| JP2000307949A (en) | Image interpolating method, image processing method, image displaying method, image processor, image display device and computer program storage medium | |
| JP4395689B2 (en) | Image data processing method and modeling apparatus | |
| JP4761670B2 (en) | Moving stereo model generation apparatus and method | |
| JP2004246729A (en) | Figure motion picture creating system | |
| KR101875047B1 (en) | System and method for 3d modelling using photogrammetry | |
| JPH09319896A (en) | Three-dimensional image generating device | |
| KR102571744B1 (en) | Method and apparatus for generating three dimension contents | |
| KR100837776B1 (en) | Apparatus and Method for Converting 2D Images to 3D Object | |
| JP3703178B2 (en) | Method and apparatus for reconstructing shape and surface pattern of 3D scene | |
| JPH0814860A (en) | Model creating device | |
| US7064767B2 (en) | Image solution processing method, processing apparatus, and program | |
| JP2005063041A (en) | Three-dimensional modeling apparatus, method, and program | |
| CN113920270B (en) | Layout reconstruction method and system based on multi-view panorama | |
| JP3642923B2 (en) | Video generation processing apparatus and structured data creation apparatus for creating structured data used in the apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050509 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050614 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050705 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050719 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080729 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100729 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100729 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110729 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130729 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |