JP2000242781A - 構造情報復元方法及び記録媒体ならびに構造情報復元装置 - Google Patents

Abstract

(57)【要約】 【課題】 時系列画像データから物体の構造（形状）を
復元する処理において、従来の因子分解法による３次元
構造獲得手法を用いても、対象物の構造（形状）の高精
度な情報を獲得して復元する。 【解決手段】 画像入力手段からの時系列画像データか
ら、物体の構造（形状）を構成する２次元座標値（特徴
点）を時系列に追跡して特徴点データを生成し、特徴点
データを、同一の特徴点を共有するように重複させなが
ら、複数のサブ特徴点データの組に分割し、サブ特徴点
データ中の特徴点の接続及び連結関係情報、各々の前記
サブ特徴点データ間で共有される特徴点（共有点）の順
番、ならびに共有点であることの指標を記憶し、サブ特
徴点データから、因子分解法により、それぞれの物体の
３次元的な構造（形状）に関する構造データを獲得し、
共有点の情報に基づいて前記構造データを相対的に幾何
学的変換し、幾何学的変換をした構造データを、基準と
なる構造データに合成して表示する構造情報復元方法で
ある。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】本発明は、画像入力装置等に
より取得した時系列画像データから、画像に映っている
物体の３次元構造データを復元する構造情報復元方法及
び記録媒体ならびに構造情報復元装置に関し、特に、各
々異なる時間で得られた複数の２次元画像データのみを
用いて物体の３次元構造データを高精度で復元する構造
情報復元技術に適用して有効な技術に関する。

【０００２】

【従来の技術】従来、時系列画像データから測定した特
徴点の２次元画像座標データから、因子分解法なる３次
元構造獲得手法を用いて、特徴点から形成される対象物
の構造もしくは形状情報を獲得して対象物の構造もしく
は形状を復元していた。図１１に、その構造もしくは形
状情報の獲得手法の概要を示す。この手法では、まず、
カメラ等の画像入力装置（２０１）で撮影した画像を画
像蓄積装置（２０２）から取得した時系列画像データの
各画像データでの特徴点の画像面上における２次元座標
値を測定し（２０３、２０４、２０５）、この測定した
特徴点データを入力として、因子分解法（２０６）を用
いて、物体の構造情報（２０７）及びカメラ運動情報
（２０８）を同時に獲得する。獲得した物体の構造情報
に基づき物体の構造を復元し（２０９）、この復元され
た物体の構造に基づいてコンピュータグラフィックス等
の処理を行ってディスプレイ等の表示装置に表示する
（２１０）。

【０００３】この因子分解法を用いた物体の構造もしく
は形状情報を獲得して復元する技術に関しては、例え
ば、電子情報通信学会論文誌Ｄ-１１、ＶＯｌ.Ｊ-１
１、Ｎｏ８、ｐｐ.１４９７〜１５０５、金出武雄、Ｃ
ｏｎｒａｄ J．Ｐｏｅｌｍａｎ、森田俊彦著、表題「因
子分解法による物体形状とカメラ運動の復元」、特開平
１０−１１１９３４号公報、及び特願平１０−２３２９
７９号明細書に記載されている。

【０００４】

【発明が解決しようとする課題】前記従来の技術では、
平行透視変換型の因子分解法に関しては、理想的なピン
ホールカメラモデルに対して、線形近似した平行透視
（Paraperspective）型カメラモデルを想定しているた
め、いくつかの特徴点から求められる物体の重心付近の
局所的な構造復元には適している。しかし、特徴点が空
間的に広範囲な領域に分布するかあるいは特徴点が画像
面全体に分布するような物体（対象物）の構造を獲得、
復元する場合、撮像面（光軸と垂直をなす平面）、もし
くは光軸方向に関して、物体重心から遠ざかるほど、物
体の３次元構造もしくは形状データに構造歪みが発生す
るという問題があった。

【０００５】前記物体の３次元構造もしくは形状データ
の構造歪みのうち重心からの距離に応じた空間歪みの一
例を図１２（ａ）及び図１２（ｂ）に示す。図１２
（ａ）は、Ｘ軸方向（ＸＹ平面が撮像面と平行で、Ｚ軸
が光軸と平行）方向から見た物体の形状を示し、図１２
（ｂ）は、Ｙ軸方向から見た物体の形状を示す。図１２
（ａ）及び図１２（ｂ）において、１００Ａは本来の形
状、１００Ｂは本来の形状に歪みが生じた形状、Ｏは重
心、Ｄ₁、Ｄ₂、Ｗ₁、Ｗ₂、Ｈ₁、Ｈ₂は、物体の形状の長
さ（奥行き、幅、高さの寸法）である。

【０００６】図１２（ａ）及び図１２（ｂ）に示すよう
に、光軸方向に沿って、重心より手前の物体は、やや大
きく、重心より後ろに位置する物体は、やや小さめに復
元、また、光軸と垂直をなす面の方向について、重心か
ら遠ざかるに従って、やや大きめに復元される。すなわ
ち、本来の形状１００Ａであれば、物体の形状の長さ
（寸法）Ｄ₁とＤ₂、Ｗ₁とＷ₂、Ｈ₁とＨ₂はそれぞれ等し
い（Ｄ₁＝Ｄ₂、Ｗ₁＝Ｗ₂、Ｈ₁＝Ｈ₂）はずであるが、平
行透視変換型カメラモデルでは、実際のカメラモデルは
完全に近似できないために、いくつかの特徴点から得ら
れる物体の重心Ｏを中心にして近似モデルからのずれが
発生して、物体の形状の長さ（寸法）がＤ₁＞Ｄ₂、Ｗ₁
＞Ｗ₂、Ｈ₁＞Ｈ₂となってしまう。

【０００７】本発明の目的は、時系列画像データから物
体の構造情報を獲得して復元する場合において、従来の
因子分解法による３次元構造情報獲得手法を用いた場合
においても、対象物の構造もしくは形状の高精度な情報
を獲得して復元することが可能な技術を提供することに
ある。

【０００８】本発明の他の目的は、時系列画像データか
ら物体の構造情報を獲得して復元する場合において、各
々異なる時間で得られた複数の２次元画像データのみを
用いて物体の３次元構造データから高精度な情報を獲得
することが可能な技術を提供することにある。本発明の
前記ならびにその他の目的と新規な特徴は、本明細書の
記述及び添付図面によって明らかになるであろう。

【０００９】

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
以下のとおりである。 （１）画像入力手段により物体（対象物）を時系列に撮
影し、該撮影した時系列画像データから、物体の構造も
しくは形状を構成する２次元座標値（以下、特徴点と称
する）を時系列に追跡して特徴点データを生成し、前記
特徴点データを、同一の特徴点が共有するように重複さ
せながら、複数のサブ特徴点データの組に分割し、前記
サブ特徴点データ中の特徴点の接続及び連結関係情報、
各々の前記サブ特徴点データ間で共有される特徴点（以
下、共有点と称する）の順番、ならびに共有点であるこ
との指標を記憶し、前記サブ特徴点データから、因子分
解法により、それぞれの物体の３次元的な構造もしくは
形状に関する構造データを獲得し、前記共有点の情報に
基づいて前記構造データを相対的に幾何学的変換し、該
幾何学的変換した構造データを基準となる構造データに
合成し、該合成された構造データを表示する構造情報復
元方法である。

【００１０】（２）画像入力手段により物体（対象物）
を時系列に撮影し、該撮影した時系列画像データから、
物体の構造もしくは形状を構成する２次元画像座標値
（以下、特徴点と称する）を時系列に追跡して特徴点デ
ータを生成し、前記特徴点データを、同一の特徴点が共
有するように重複させながら、複数のサブ特徴点データ
の組に分割し、前記サブ特徴点データから、因子分解法
により、それぞれの物体の３次元的な構造もしくは形状
に関する構造データを獲得し、前記分割したサブ特徴点
データ中の特徴点の接続及び連結関係情報、前記サブ特
徴点データ間で共有される特徴点（以下、共有点と称す
る）の順番、共有点であることの指標、ならびに前記構
造データを記憶し、前記物体の構造の歪みを補正するた
めのデータを記憶し、前記構造データから、前記構造情
報記憶手段に記憶された特徴点間の関連情報に基づい
て、物体の構造に関連する幾何学的データを取得し、獲
得した物体の構造の歪みを補正し、前記共有点の情報に
基づいて前記補正された構造データを相対的に幾何学的
変換し、該幾何学的変換した構造データを基準となる構
造データに合成し、該合成された構造データを表示する
構造情報復元方法である。

【００１１】（３）前記（１）の構造情報復元方法の処
理手順をコンピュータに実行させるためのプログラムを
記録したコンピュータ読みとり可能な記録媒体である。 （４）前記（２）の構造情報復元方法の処理手順をコン
ピュータに実行させるためのプログラムを記録したコン
ピュータ読みとり可能な記録媒体である。

【００１２】（５）複数の時系列画像データを取得する
画像入力手段と、前記時系列画像データから、物体の構
造もしくは形状を構成する２次元画像座標値（以下、特
徴点と称する）を測定し、該特徴点を時系列に追跡して
特徴点データを生成する特徴点追跡手段と、前記特徴点
データを、同一の特徴点が共有するように重複させなが
ら、複数のサブ特徴点データの組に分割する特徴点分割
手段と、前記サブ特徴点データ中の特徴点の接続及び連
結関係情報、各々の前記サブ特徴点データ間で共有され
る特徴点（以下、共有点と称する）の順番、共有点であ
ることの指標ならびに前記構造データを記憶する構造情
報記憶手段と、前記サブ特徴点データから、因子分解法
により、それぞれの物体の３次元的な構造もしくは形状
に関する構造データを獲得する構造獲得処理手段と、前
記共有点の情報に基づいて前記構造データを相対的に幾
何学的変換する構造情報変換手段と、該幾何学的変換し
た構造データを基準となる構造データに合成する空間構
造合成手段と、該合成された構造データを表示する構造
情報出力手段（表示手段）とを具備する構造情報復元装
置である。

【００１３】（６）複数の時系列画像データを取得する
画像入力手段と、各々の前記時系列画像データから、物
体の構造もしくは形状を構成する２次元画像座標値（以
下、特徴点と称する）を設定し、該特徴点を時系列に追
跡して特徴点データを生成する特徴点追跡手段と、前記
特徴点データを、同一の特徴点が共有するように重複さ
せながら、複数のサブ特徴点データの組に分割する特徴
点分割手段と、前記サブ特徴点データから、因子分解法
により、それぞれの物体の３次元的な構造もしくは形状
に関する構造データを獲得する構造獲得処理手段と、前
記分割したサブ特徴点データ中の特徴点の接続及び連結
関係情報、前記サブ特徴点データ間で共有される特徴点
（以下、共有点と称する）の順番、共有点であることの
指標、ならびに前記構造データを記憶する構造情報記憶
手段と、前記物体の構造の歪みを補正するためのデータ
を記憶した構造補正データ記憶手段と、前記構造データ
から、前記構造情報記憶手段に記憶された特徴点間の関
連情報に基づいて物体の構造に関連する幾何学的データ
を取得し、獲得した物体の構造の歪みを補正する構造補
正処理手段と、前記共有点の情報に基づいて前記補正さ
れた構造データを相対的に幾何学的変換する構造情報変
換手段と、該幾何学的変換した構造データを基準となる
構造データに合成する空間構造合成手段と、該合成され
た構造データを出力し、表示させる構造情報出力手段と
を具備する構造情報復元装置である。

【００１４】以下、本発明について、図面を参照して実
施の形態（実施例）とともに詳細に説明する。なお、実
施例を説明するための全図において、同一機能を有する
ものは同一符号を付け、その繰り返しの説明は省略す
る。

【００１５】

【発明の実施の形態】（実施例１）図１は、本実施例１
の構造情報復元装置の概略構成を示すブロック構成図で
ある。本実施例１の構造情報復元装置は、図１に示すよ
うに、物体（対象物）の時系列画像データを取得する画
像入力手段１、各々の時系列画像データから物体を構成
する特徴点を測定し、時系列に追跡する特徴点追跡手段
２、前記測定した特徴点データを、各々の特徴点データ
間において重複するように共有点を設定しながら、サブ
特徴点データに分割する特徴点分割手段３、この分割し
た個々のサブ特徴点データの中の特徴点間の接続及び連
結関係情報と、サブ特徴点データ間に跨る共有点の順
番、共有点であることの指標を記憶する構造情報記憶手
段４、前記サブ特徴点データから、それぞれの特徴点で
形成される物体の３次元的な構造データを獲得する構造
獲得処理手段５、この獲得した構造データを共有点に着
目して、相対的な幾何学変換を行う構造情報変換手段
６、この変換した構造データを基準の構造データに合成
する空間構造合成手段７、この合成した構造データ情報
を出力（表示）する構造情報出力手段８で構成されてい
る。

【００１６】図２は、本実施例１の構造情報復元装置の
処理動作の手順を示すフロー図である。以下、本実施例
１の構造情報復元装置の処理動作を図２に沿って説明す
る。

【００１７】まず、ビデオカメラ等の画像入力手段１を
並進、回転等の物理的な運動をさせ、対象とする物体を
時系列的に撮影する。この画像入力手段１は、前記撮影
された時系列画像データを格納した記録装置（メモリ）
から読み出すことも含む。前記撮影された時系列画像デ
ータを特徴点追跡手段２に入力する（ステップ１０
１）。撮影した時系列画像データについて、複数のデジ
タル画像を記憶し、その中の１枚の画像データにおけ
る、物体の構造もしくは形状を構成する特徴点をマーク
し、このマークした特徴点の２次元画像面での座標値を
測定する（ステップ１０２）。この時の特徴点のマーク
は、初期の画像データをディスプレイ等の画像出力装置
に表示させておき、マウスポインタ等の操作により物体
の構造もしくは形状を構成する物体の角、エッジ等の特
徴となる画像上の点を、画像面上に設定した座標系にお
ける特徴点の座標値として、画面上の特徴点すべてを順
番に測定する。

【００１８】図３は、前記取得した時系列画像データに
特徴点をマークした時の図である。例えば、図３に示す
ように、ディスプレイＤに表示されたそれぞれの直方体
の頂点を順番に、物体Ｐの特徴点ｐ１からｐ８、物体Ｑ
の特徴点ｑ１からｑ８、物体Ｒの特徴点ｒ１からｒ８ま
でをマークし、このマークした特徴点について、順次残
りの画像データの特徴点を追跡する。

【００１９】前記追跡して得たすべての特徴点の座標値
を、計測行列の様式に従って配列していく。特徴点追跡
手段２で時系列画像データ中の各物体の特徴点データを
測定した後、特徴点分割手段３で、各々の画像データ中
の特徴点データを複数のサブ特徴点データの組に分割す
る（ステップ１０３）。

【００２０】図４は、画像データ中の特徴点をサブ特徴
点データの組に分割する例を示した図である。サブ特徴
点データへの分割は、図４に示すように、特徴点ｐ１、
ｐ２、ｐ４〜ｐ８で構成される実物体Ｐ、特徴点ｑ１、
ｑ２、ｑ４〜ｑ８で構成される実物体Ｑ、特徴点ｒ１、
ｒ２、ｒ４〜ｒ８で構成される実物体Ｒをグループ化し
て行う。

【００２１】また、前記個々の実物体Ｐ、Ｑ、Ｒを構成
する特徴点としてのグループ化と同時に、図４で示すよ
うに、特徴点ｐ２、ｑ１、ｐ４、ｐ６、ｑ５、ｑ７、ｐ
８で構成される仮想物体Ｕ、特徴点ｐ４、ｒ２、ｒ１、
ｐ７、ｐ８、ｒ６、ｒ５で構成される仮想物体Ｖについ
てもグループ化する。グループ化した実物体Ｐ、Ｑ、Ｒ
及び仮想物体Ｕ、Ｖのそれぞれをサブ特徴点データとす
る。

【００２２】また、サブ特徴点データに分割した後、前
記計測行列の様式に従って配列された特徴点の座標値
を、サブ特徴点データの組毎に識別できるようにし、因
子分解法に用いる入力データを作成する（ステップ１０
４）。

【００２３】この時、実物体Ｐと仮想物体Ｕとが共有し
ている特徴点（共有点）ｐ２、ｐ４、ｐ８、ｐ６、仮想
物体Ｕと実物体Ｑの共有点ｑ１、ｑ５、ｑ７、実物体Ｐ
と仮想物体Ｖとの共有点ｐ４、ｐ７、ｐ８、仮想物体Ｖ
と実物体Ｒとの共有点ｒ１、ｒ２、ｒ５、ｒ６に関して
の接続、連結情報が構造分割情報として構造情報記憶手
段（メモリ）４に記憶される（ステップ１０５）。

【００２４】次に、前記１０４で作成した計測行列を入
力データとして、構造獲得処理手段５において、因子分
解法により各物体の３次元的な構造データを獲得する
（１０６）。この時、因子分解法により獲得した構造デ
ータに基づいて、画像に映っていない部分（底面）の特
徴点の座標値を補間する。例えば、３次元座標値ｐ７、
ｑ７、ｒ７は、それぞれ｛ｐ１、ｐ２、ｐ４｝、｛ｑ
１、ｑ２、ｑ４｝｛ｒ１、ｒ２、ｒ４｝で張る平面に射
影して求める。

【００２５】ここで行う因子分解法による構造データの
獲得処理は、例えば、特開平１０−１１１９３４号公
報、及び特願平１０−２３２９７９号明細書に記載され
ている因子分解法を用いて行う。ここでは、前記引用文
献を参照してもらうことにして、その詳細な説明は省略
する。

【００２６】図５は、底面の座標点の補間方法を説明す
るための図である。底面の座標点の補間は、図５に示す
ように、例えば、実物体Ｐの底面を構成する特徴点ｐ
１、ｐ２、ｐ４を用いて、２方向のベクトルｎ１、ｎ２
を求め、ベクトルｎ１、ｎ２から第３のベクトルｎ３を
求め、特徴点ｐ１、ｐ２、ｐ４を通る平面Ｓの方程式を
求め、実物体Ｐの上面の特徴点ｐ７を求めた平面Ｓ上に
射影したときの点を求めて行う。

【００２７】補間した特徴点ｐ３の座標値も含めて、各
物体の３次元構造データとする。また、獲得した３次元
構造データは、各々の構造データ中の最大の座標値によ
り正規化された相対的な座標値として出力される（ステ
ップ１０７）。

【００２８】次に、各々の正規化された構造データが形
成する物体が、実物体であるのか仮想物体であるのかに
ついての判定１を行う（ステップ１０８）。ここでの判
定１は、前記構造情報記憶手段（メモリ）４で記憶され
ている構造分割情報に基づいて実物体であるのか仮想物
体であるのかを判定する。

【００２９】図６は、相対的に座標が獲得されることを
示し、共有点の座標値の不一致を示す模式図である。例
えば、実物体Ｐと仮想物体Ｕの構造データは因子分解法
によりそれぞれ別々に求められ、図６に示すように、実
物体Ｐの特徴点ｐ１〜ｐ８と、仮想物体Ｕの特徴点ｕ１
〜ｕ８が得られる。しかし、前記特徴点分割手段３で分
割した際、ｐ２とｕ１、ｐ４とｕ３、ｐ６とｕ５、ｐ８
とｕ７はそれぞれ共有点であったため一致していなけれ
ばならない。

【００３０】そこで、構造情報変換手段６において、各
々の物体を形成する構造データを基準となる構造データ
に対して相対的に幾何学変換して、共有点の座標値が一
致するようにする。本実施例１では、実物体Ｐを形成す
る構造データを基準の構造データとして、残りの物体を
形成する構造データを幾何学変換していく場合を考え
る。

【００３１】前記構造情報記憶手段（メモリ）４で記憶
された構造分割情報の共有点の情報を基に、ステップ１
０８で判定した実物体及び仮想物体の構造データについ
て、共有点に該当する特徴点を探索する（ステップ１１
１）。例えば、実物体Ｐと仮想物体Ｕとの共有点は、ｐ
２、ｐ４、ｐ６、ｐ８の４点であり、構造データ獲得後
のそれぞれの物体において、この４点に該当する特徴点
の３次元座標値を探索し、その特徴点間の距離（共有線
分）を計算する（ステップ１１２）。例えば、実物体Ｐ
と仮想物体Ｕとの共有点ｐ２、ｐ４、ｐ６、ｐ８に該当
する実物体Ｐの構造データ内の特徴点ｐ２、ｐ４、ｐ
６、ｐ８の座標値を探索し、実物体Ｐにおける共有線分
Ｌｉを求める。

【００３２】同様にして、共有点ｐ２、ｐ４、ｐ６、ｐ
８に該当する仮想物体Ｕの構造データ内の特徴点ｕ１、
ｕ３、ｕ５、ｕ７を探索し、仮想物体Ｕにおける共有線
分Ｌｉ’を求める。

【００３３】前記ステップ１１２で求めた実物体Ｐにお
ける共有線分Ｌｉと仮想物体Ｕにおける共有線分Ｌｉ’
との間に差があるか否かの判定２を行う（ステップ１１
３）。実物体Ｐにおける共有線分Ｌｉと仮想物体Ｕにお
ける共有線分Ｌｉ’との間に差がある（異なる）場合
は、スケール変換をしてどちらかの物体の共有線分の長
さに合わせる（ステップ１１４）。

【００３４】前記スケール変換方法は、前記実物体Ｐに
おける共有線分Ｌｉの絶対値の平均及び仮想物体Ｕにお
ける共有線分Ｌｉ’の絶対値の平均を求め、その差から
スケール係数ｓを求め、このスケール係数ｓを用いて、
仮想物体Ｕのすべての特徴点の３次元座標値をスケール
変換して、新しい座標値を求める。

【００３５】すなわち、実物体Ｐの特徴点データから、
ｄ１＝｜ｐ２−ｐ４｜、ｄ２＝｜ｐ４−ｐ８｜、ｄ３＝
｜ｐ６−ｐ８｜、ｄ４＝｜ｐ２−ｐ６｜を求める。ま
た、仮想物体Ｕの特徴点データから、ｄ１’＝｜ｕ２−
ｕ４｜、ｄ２’＝｜ｕ４−ｕ８｜、ｄ３’＝｜ｕ６−ｕ
８｜、ｄ４＝｜ｕ２−ｕ６｜を求める。そして、スケー
ル係数ｓは、ｓ＝（ｄ１’/ｄ１＋ｄ２’/ｄ２＋ｄ３’
/ｄ３＋ｄ４’）/４で求める。連結する側の座標値をス
ケール変換して（ｑｉ＝ｐｉ/ｓ）新しい座標値を求め
る。

【００３６】スケール変換の後、今度は、各物体間の共
有点の内、基準となる点の座標値を比較して一致してい
るか否かの判定３を行う（ステップ１１５）。座標値が
一致していなければ、並進移動させて一致させる（ステ
ップ１１６）。例えば、実物体Ｐと仮想物体Ｕとの共有
点の１つｐ２について、実物体Ｐの特徴点ｐ２の３次元
座標値と、仮想物体Ｕの特徴点ｕ１の３次元座標値を比
較して、異なる値であれば、仮想物体Ｕを並進移動させ
てｐ２とｕ１を一致させる。

【００３７】特徴点ｐ２と特徴点ｕ１が異なる場合、特
徴点ｕ１から特徴点ｐ２へのベクトルを並進行列Ｔとし
て求め（Ｔ＝ｐ２−ｕ１）、その並進行列Ｔを用いて、
仮想物体Ｕのすべての特徴点を並進移動させ（ｕｉ’＝
ｕｉ−Ｔ）、新しい座標値を求める。

【００３８】次に、各物体間の共有点の内、前記並進移
動で一致させた点を除く共有点の座標値を比較して一致
しているか否かの判定４を行う（ステップ１１７）。一
致していない点があれば、回転変換を行い一致させる
（ステップ１１８）。例えば、実物体Ｐと仮想物体Ｕで
は、共有点ｐ２については、すでに座標値を一致させた
ので、残りのｐ４、ｐ６、ｐ８に該当する各物体の特徴
点の３次元座標値を比較して、異なる値であれば、仮想
物体Ｕを回転変換させて一致させる。

【００３９】前記回転変換では、回転行列を数１の式の
ように仮定すると、数２、数３及び数４の式により、回
転行列［Ｍ］を求めて座標が一致するように作用させ
る。

【００４０】

【数１】

【００４１】

【数２】

【００４２】

【数３】

【００４３】

【数４】

【００４４】幾何学変換が終了したら、空間構造合成手
段６において、基準の構造データである実物体Ｐに幾何
学変換した仮想物体Ｕの構造データを合成する（ステッ
プ１１９、１２０）。この空間構造合成手段６では、入
力された構造データが形成する物体に関して、前記構造
情報記憶手段（メモリ）４で記憶されている構造分割情
報を読み込み、入力された構造データを合成する。この
時、合成される仮想物体Ｕは、実際は画像に映っていな
い物体なので、実物体同士を連結する役目として機能す
るだけである。

【００４５】入力した構造データの合成が終わると、他
に合成する構造データがあるかの判定５を行う（ステッ
プ１２１）。他に合成する構造データがない場合は、構
造情報出力手段８において、合成された構造データ中の
座標点同士を線で結んだり、面として埋めたりする等の
処理を行い、コンピュータグラフィックスデータとして
可視的に出力され、ディスプレイ等に表示され（１２
２）、処理は終了する。

【００４６】他に合成するデータがある場合は、前記ス
テップ１１１に戻り（Ａ）、まだ、合成していない３次
元構造データを基準の構造データに合わせるように幾何
学変換を行い、順次合成していく。本実施例１では、残
りの実物体Ｑ、Ｒおよび仮想物体Ｖを合成していくこと
になる。

【００４７】例えば、構造情報変換手段６で仮想物体Ｕ
と実物体Ｑの共有点に関して、幾何学変換を行い合成す
る場合は、仮想物体Ｕはすでに幾何学変換され、実物体
Ｐと合成されているので、今度は、仮想物体Ｕの座標値
を基準として、実物体Ｑの座標値を幾何学変換して合成
する。この時、実物体Ｑは、仮想物体Ｕとの共有点の情
報を基に合成されるが、仮想物体Ｕが実物体Ｐと実物体
Ｑを連結する役割を果たすことになる。

【００４８】以上説明したように、本実施例１によれ
ば、仮想物体Ｕによる接続及び連結関係情報を用いて高
精度な構造情報を獲得するので、対象物体の３次元構造
もしくは形状を高精度に復元（再現）することができ
る。

【００４９】また、特徴点データを各物体毎のサブ特徴
点データに分割することにより、各物体の特徴点が物体
重心から遠くはなれることが減少し、因子分解法により
３次元構造データを獲得しても、現実のカメラモデルと
厳密に一致しないことによる構造歪みの影響を受けにく
く対象物の構造もしくは形状に関する高精度な情報を獲
得するので、対象物体の３次元構造もしくは形状を高精
度に復元（再現）することができる。

【００５０】（実施例２）図７は、本発明による実施例
２の構造情報復元装置の概略構成を示すブロック図であ
る。本実施例２の構造情報復元装置は、図７に示すよう
に、前記実施例１の構造情報復元装置に、構造補正処理
手段９及び構造歪み補正データが格納されている補正デ
ータ記憶手段１０が加えられたものである。前記補正デ
ータ記憶手段１０にはＺ軸方向補正量Ｄｉ＝ｆｄ（ｄ
ｉ）、Ｙ軸方向の補正量Ｗｉ＝ｆｗ（ｗｉ）、及びＸ方
向補正量Ｈｉ＝ｆｈ（ｈｉ）、ｉ＝１，２，３，・・・
８が記憶されている。

【００５１】前記構造補正処理手段９及び補正データ記
憶手段１０以外の構成については、前記実施例１と同様
であるのでその繰り返しの説明は省略する。

【００５２】図８は、前記構造補正処理手段９での処理
手順を示すフロー図である。前記構造補正処理手段９で
の処理を図９に沿って簡単に説明する。まず、因子分解
法により獲得した３次元構造データｐｉ（ｉ＝１，２，
３，・・・８）を入力し（ステップ９０１）、３次元構
造データｐｉ（ｉ＝１，２，３，・・・８）から各物体
の重心を計算する（ステップ９０２）。次に、物体重心
を中心とした各特徴点の幾何情報を計算する。すなわ
ち、重心座標ｗを中心としたＸ，Ｙ，Ｚ方向の幾何情報
を計算する。すなわち、（ｐｉ−ｗ）のＸ方向情報ｈ
ｉ、（ｐｉ−ｗ）のＹ方向情報ｗｉ、（ｐｉ−ｗ）のＺ
方向情報ｄｉをそれぞれ計算する（ステップ９０３）。

【００５３】次に、補正データ記憶手段１０に格納され
ている構造補正データ（データベース）参照による各特
徴点の補正量Ｄｉ，Ｗｉ，Ｈｉを得取し（ステップ９０
４）、この得取した各特徴点の補正量Ｄｉ，Ｗｉ，Ｈｉ
による構造物データの補正を行う（ステップ９０４）。

【００５４】獲得した３次元構造データの撮影面方向の
構造歪み補正の概要を図９に示す。図９の（ａ）は獲得
した３次元構造データの幅、高さ方向の構造歪み特性を
示す図、（ｂ）は重心Ｏ１からの幅、高さの算出を示す
図、（ｃ）は逆特性からの歪み補正を示す図である。

【００５５】獲得した３次元構造データの光軸方向の構
造歪み補正の概要を図１０に示す。図１０の（ａ）は獲
得した３次元構造データの奥行き、高さ方向の構造歪み
特性を示す図、（ｂ）は重心Ｏ２からの奥行き、高さの
算出を示す図、（ｃ）は逆特性からの歪み補正を示す図
である。

【００５６】図９及び図１０において、ｗｉｄｔｈは幅
方向の構造歪み特性、ｈｅｉｇｈｔは高さ方向の構造歪
み特性、ｄｅｐｔｈは奥行き方向の構造歪み特性、ｐ１
〜ｐ６は獲得した３次元構造データの特徴点、Ｏ１、Ｏ
２は重心、ｐ１’、ｐ２’は歪み補正された特徴点であ
る。

【００５７】以上説明したように、本実施例２によれ
ば、因子分解法により３次元構造データを獲得しても、
現実のカメラモデルと厳密に一致しないことによる構造
歪みを補正することにより、対象物の構造もしくは形状
に関する高精度な情報を獲得するので、対象物体の３次
元構造もしくは形状を高精度に復元（再現）することが
できる。

【００５８】なお、前記本実施例１，２では、直方体の
物体が３つの場合を例に挙げて説明したが、実物体が３
つでない場合や、形状が直方体でない場合についても、
同様の手法により、同様の効果を得ることができる。

【００５９】以上、本発明を、前記実施例に基づき具体
的に説明したが、本発明は、前記実施例に限定されるも
のではなく、その要旨を逸脱しない範囲において種々変
更可能であることは勿論である。

【００６０】

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、以
下のとおりである。 （１）仮想物体による接続及び連結関係情報を用いて高
精度な構造情報を獲得するので、対象物体の３次元構造
もしくは形状を高精度に復元（再現）することができ
る。 （２）特徴点データを各物体毎のサブ特徴点データに分
割することにより、各物体の特徴点が物体重心から遠く
はなれることが減少し、因子分解法により３次元構造デ
ータを獲得しても、現実のカメラモデルと厳密に一致し
ないことによる構造歪みの影響を受けにくく対象物の構
造もしくは形状に関する高精度な情報を獲得するので、
対象物体の３次元構造もしくは形状を高精度に復元（再
現）することができる。 （３）因子分解法により３次元構造データを獲得して
も、現実のカメラモデルと厳密に一致しないことによる
構造歪みを補正することにより、対象物の構造もしくは
形状に関する高精度な情報を獲得するので、対象物体の
３次元構造もしくは形状を高精度に復元（再現）するこ
とができる。

【図面の簡単な説明】

【図１】本実施例１の構造情報復元装置の概略構成を示
すブロック図である。

【図２】本実施例１の構造情報復元装置の処理手順を示
すフロー図である。

【図３】本実施例１の取得した時系列画像データに特徴
点をマークした時の図である。

【図４】本実施例１の画像データ中の特徴点をサブ特徴
点データの組に分割する例を示した図である。

【図５】本実施例１の底面の座標点の補間方法を説明す
るための図である。

【図６】本実施例１の相対的に座標が獲得されることを
示し、共有点の座標値の不一致を示す模式図である。

【図７】本発明による実施例２の構造情報復元装置の概
略構成を示すブロック図である。

【図８】本実施例２の構造補正処理手段９での処理手順
を示すフロー図である。

【図９】本実施例２に係る獲得した３次元構造データの
撮影面方向の構造歪み補正の概要を示す図である。

【図１０】本実施例２に係る獲得した３次元構造データ
の光軸方向の構造歪み補正の概要を示す図である。

【図１１】従来の因子分解法による構造情報復元を説明
するための図である。

【図１２】従来の因子分解法による構造復元において、
物体の３次元構造もしくは形状データの構造歪みのうち
重心からの距離に応じた空間歪みの一例を示す図であ
る。

【符号の説明】

１…画像入力手段、２…特徴点追跡手段、３…特徴点分
割手段、４…構造情報記憶手段、５…構造獲得処理手
段、６…構造情報変換手段、７…空間構造合成手段、８
…構造情報出力手段、９…構造補正処理手段、１０…補
正データ記憶手段。

フロントページの続き (72)発明者 掘口 賞一 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 植本 尚子 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 杉村 利明 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 5B057 CA08 CA12 CA16 CB08 CB13 CB16 CE08 DB02 DB09 DC01

Claims (6)

【特許請求の範囲】
1. 【請求項１】 画像入力手段により物体を時系列に撮影
   し、該撮影した時系列画像データから、物体の構造もし
   くは形状を構成する２次元座標値（以下、特徴点と称す
   る）を時系列に追跡して特徴点データを生成し、 前記特徴点データを、同一の特徴点が共有するように重
   複させながら、複数のサブ特徴点データの組に分割し、 前記サブ特徴点データ中の特徴点の接続及び連結関係情
   報、各々の前記サブ特徴点データ間で共有される特徴点
   （以下、共有点と称する）の順番、ならびに共有点であ
   ることの指標を記憶し、 前記サブ特徴点データから、因子分解法により、それぞ
   れの物体の３次元的な構造もしくは形状に関する構造デ
   ータを獲得し、 前記共有点の情報に基づいて前記構造データを相対的に
   幾何学的変換し、 該幾何学的変換をした構造データを基準となる構造デー
   タに合成し、該合成された構造データを表示することを
   特徴とする構造情報復元方法。
2. 【請求項２】 画像入力手段により物体を時系列に撮影
   し、該撮影した時系列画像データから、物体の構造もし
   くは形状を構成する２次元画像座標値（以下、特徴点と
   称する）を時系列に追跡して特徴点データを生成し、 前記特徴点データを、同一の特徴点が共有するように重
   複させながら、複数のサブ特徴点データの組に分割し、 前記サブ特徴点データから、因子分解法により、それぞ
   れの物体の３次元的な構造もしくは形状に関する構造デ
   ータを獲得し、 前記分割したサブ特徴点データ中の特徴点の接続及び連
   結関係情報、前記サブ特徴点データ間で共有される特徴
   点（以下、共有点と称する）の順番、共有点であること
   の指標、ならびに前記構造データを記憶し、 前記物体の構造の歪みを補正するためのデータを記憶
   し、 前記構造データから、前記構造情報記憶手段に記憶され
   た特徴点間の関連情報に基づいて物体の構造に関連する
   幾何学的データを獲得し、獲得した物体の構造の歪みを
   補正し、 前記共有点の情報に基づいて前記補正された構造データ
   を相対的に幾何学的変換し、 該幾何学的変換をした構造データを基準となる構造デー
   タに合成し、該合成された構造データを表示することを
   特徴とする構造情報復元方法。
3. 【請求項３】 画像入力手段により物体を時系列に撮影
   し、該撮影した時系列画像データから、物体の構造もし
   くは形状を構成する２次元座標値（以下、特徴点と称す
   る）を時系列に追跡して特徴点データを生成する手順
   と、前記特徴点データを、同一の特徴点が共有するよう
   に重複させながら、複数のサブ特徴点データの組に分割
   する手順と、 前記サブ特徴点データ中の特徴点の接続及び連結関係情
   報、各々の前記サブ特徴点データ間で共有される特徴点
   （以下、共有点と称する）の順番、ならびに共有点であ
   ることの指標を記憶する手順と、 前記サブ特徴点データから、因子分解法により、それぞ
   れの物体の３次元的な構造もしくは形状に関する構造デ
   ータを獲得する手順と、 前記共有点の情報に基づいて前記構造データを相対的に
   幾何学的変換する手順と、該幾何学的変換をした構造デ
   ータを基準となる構造データに合成する手順と、該合成
   された構造データを出力して表示する手順とを有する構
   造情報復元方法の前記処理手順をコンピュータに実行さ
   せるためのプログラムを記録したコンピュータ読みとり
   可能な記録媒体。
4. 【請求項４】 画像入力手段により物体を時系列に撮影
   し、該撮影した時系列画像データから、物体の構造もし
   くは形状を構成する２次元画像座標値（以下、特徴点と
   称する）を時系列に追跡して特徴点データを生成する手
   順と、 前記特徴点データを、同一の特徴点が共有するように重
   複させながら、複数のサブ特徴点データの組に分割する
   手順と、 前記サブ特徴点データから、因子分解法により、それぞ
   れの物体の３次元的な構造もしくは形状に関する構造デ
   ータを獲得する手順と、 前記分割したサブ特徴点データ中の特徴点の接続及び連
   結関係情報、前記サブ特徴点データ間で共有される特徴
   点（以下、共有点と称する）の順番、共有点であること
   の指標、ならびに前記構造データを記憶する手順と、 前記物体の構造の歪みを補正するためのデータを記憶す
   る手順と、 前記構造データから、前記構造情報記憶手段に記憶され
   た特徴点間の関連情報に基づいて物体の構造に関連する
   幾何学的データを獲得する手順と、 該獲得した物体の構造の歪みを補正する手順と、 前記共有点の情報に基づいて前記補正された構造データ
   を相対的に幾何学的変換する手順と、 該幾何学的変換をした構造データを、基準となる構造デ
   ータに合成する手順と、該合成された構造データを表示
   する手順とを有する構造情報復元方法の前記処理手順を
   コンピュータに実行させるためのプログラムを記録した
   コンピュータ読みとり可能な記録媒体。
5. 【請求項５】 複数の時系列画像データを取得する画像
   入力手段と、 前記時系列画像データから、物体の構造もしくは形状を
   構成する２次元画像座標値（以下、特徴点と称する）を
   測定し、該特徴点を時系列に追跡して特徴点データを生
   成する特徴点追跡手段と、 前記特徴点データを、同一の特徴点が共有するように重
   複させながら、複数のサブ特徴点データの組に分割する
   特徴点分割手段と、 前記サブ特徴点データ中の特徴点の接続及び連結関係情
   報、各々の前記サブ特徴点データ間で共有される特徴点
   （以下、共有点と称する）の順番、共有点であることの
   指標、ならびに前記構造データを記憶する構造情報記憶
   手段と、前記サブ特徴点データから、因子分解法によ
   り、それぞれの物体の３次元的な構造もしくは形状に関
   する構造データを獲得する構造獲得処理手段と、 前記共有点の情報に基づいて前記構造データを相対的に
   幾何学的変換する構造情報変換手段と、 該幾何学的変換した構造データを基準となる構造データ
   に合成する空間構造合成手段と、 該合成された構造データを表示する構造情報出力手段と
   を具備することを特徴とする構造情報復元装置。
6. 【請求項６】 複数の時系列画像データを取得する画像
   入力手段と、 各々の前記時系列画像データから、物体の構造もしくは
   形状を構成する２次元画像座標値（以下、特徴点と称す
   る）を設定し、該特徴点を時系列に追跡して特徴点デー
   タを生成する特徴点追跡手段と、 前記特徴点データを、同一の特徴点が共有するように重
   複させながら、複数のサブ特徴点データの組に分割する
   特徴点分割手段と、 前記サブ特徴点データから、因子分解法により、それぞ
   れの物体の３次元的な構造もしくは形状に関する構造デ
   ータを獲得する構造獲得処理手段と、 前記分割したサブ特徴点データ中の特徴点の接続及び連
   結関係、前記サブ特徴点データ間で共有される特徴点
   （以下、共有点と称する）の順番、共有点であることの
   指標、ならびに前記構造データを記憶する構造情報記憶
   手段と、 前記物体の構造の歪みを補正するためのデータを記憶し
   た構造補正データ記憶手段と、 前記構造データから、前記構造情報記憶手段に記憶され
   た特徴点間の関連情報に基づいて物体の構造に関連する
   幾何学的データを取得し、獲得した物体の構造の歪みを
   補正する構造補正処理手段と、 前記共有点の情報に基づいて前記補正された構造データ
   を相対的に幾何学的変換する構造情報変換手段と、 該幾何学的変換をした構造データを、基準となる構造デ
   ータに合成する空間構造合成手段と、 該合成された構造データを出力し、表示させる構造情報
   出力手段とを具備することを特徴とする構造情報復元装
   置。