JP2000194863A - ３次元構造獲得・復元方法、装置、および３次元構造獲得・復元プログラムを記録した記録媒体 - Google Patents
３次元構造獲得・復元方法、装置、および３次元構造獲得・復元プログラムを記録した記録媒体Info
- Publication number
- JP2000194863A JP2000194863A JP10374062A JP37406298A JP2000194863A JP 2000194863 A JP2000194863 A JP 2000194863A JP 10374062 A JP10374062 A JP 10374062A JP 37406298 A JP37406298 A JP 37406298A JP 2000194863 A JP2000194863 A JP 2000194863A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- data
- time
- series image
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000000547 structure data Methods 0.000 claims abstract description 28
- 230000009466 transformation Effects 0.000 claims abstract description 4
- 230000001131 transforming effect Effects 0.000 claims abstract 5
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000005259 measurement Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000946889 Homo sapiens Monocyte differentiation antigen CD14 Proteins 0.000 description 1
- 102100035877 Monocyte differentiation antigen CD14 Human genes 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 対象物の構造を獲得・復元するための処理時
間を大幅に削減する。 【解決手段】 全時系列画像データをサブ時系列画像デ
ータ｛ｎ1 ｝と｛ｎ2 ｝に配分する（ステップ２２）。
対象物の特徴となる２次元画像座標点を追跡するととも
に、これらサブ時系列画像データ間に共通的に映ってい
る対象物の特徴点を抽出し、これらを対応付けて特徴点
リンク情報を取得する（ステップ２４，２５）。特徴点
の２次元画像座標データに対して、因子分解法を用いて
時系列画像データ上の特徴点の３次元構造データを獲得
し（ステップ２６1 ，２６2 ）、サブ時系列画像データ
間において共通的に映っている特徴点の３次元座標デー
タが一致するように、３次元座標を変換する幾何学的変
換数を求め、該変換係数により全特徴点の３次元座標を
変換し（ステップ２７）、全時系列画像データの特徴点
から構成される対象物の構造を復元する。
間を大幅に削減する。 【解決手段】 全時系列画像データをサブ時系列画像デ
ータ｛ｎ1 ｝と｛ｎ2 ｝に配分する（ステップ２２）。
対象物の特徴となる２次元画像座標点を追跡するととも
に、これらサブ時系列画像データ間に共通的に映ってい
る対象物の特徴点を抽出し、これらを対応付けて特徴点
リンク情報を取得する（ステップ２４，２５）。特徴点
の２次元画像座標データに対して、因子分解法を用いて
時系列画像データ上の特徴点の３次元構造データを獲得
し（ステップ２６1 ，２６2 ）、サブ時系列画像データ
間において共通的に映っている特徴点の３次元座標デー
タが一致するように、３次元座標を変換する幾何学的変
換数を求め、該変換係数により全特徴点の３次元座標を
変換し（ステップ２７）、全時系列画像データの特徴点
から構成される対象物の構造を復元する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像入力装置等に
より得られた時系列画像データから、画像に映っている
物体の３次元構造データを獲得、復元する３次元構造獲
得・復元方法および装置に関する。
より得られた時系列画像データから、画像に映っている
物体の３次元構造データを獲得、復元する３次元構造獲
得・復元方法および装置に関する。
【０００２】
【従来の技術】従来、時系列画像データを１セットとし
て、該データ上から測定した特徴点の２次元画像座標デ
ータから因子分解法なる３次元構造獲得手法を用いて、
特徴点から構成される対象物の構造を獲得・復元してい
た。
て、該データ上から測定した特徴点の２次元画像座標デ
ータから因子分解法なる３次元構造獲得手法を用いて、
特徴点から構成される対象物の構造を獲得・復元してい
た。
【０００３】図８は従来の３次元構造獲得・復元方法の
説明図である。画像入力装置６１より得られた画像は画
像蓄積部６２に時系列画像データとして蓄えられる。全
時系列画像データからフレーム単位で特徴点を追跡し
（ステップ６３）、物体の２次元座標を測定する（ステ
ップ６４）。特徴点の２次元座標データから因子分解法
６５により、構造情報を獲得し（ステップ６７）、カメ
ラ運動情報を取得する（ステップ６６）。構造情報から
対象物の構造の復元処理を行う（ステップ６８）。
説明図である。画像入力装置６１より得られた画像は画
像蓄積部６２に時系列画像データとして蓄えられる。全
時系列画像データからフレーム単位で特徴点を追跡し
（ステップ６３）、物体の２次元座標を測定する（ステ
ップ６４）。特徴点の２次元座標データから因子分解法
６５により、構造情報を獲得し（ステップ６７）、カメ
ラ運動情報を取得する（ステップ６６）。構造情報から
対象物の構造の復元処理を行う（ステップ６８）。
【０００４】
【発明が解決しようとする課題】この方法では、全時系
列画像データが与えられない限り、因子分解法により３
次元構造データが獲得、復元できない。また、因子分解
法において用いる特異値分解では、測定した特徴点の２
次元画像座標データの数が多くなれば、処理負担が大き
くなり、処理速度が大幅に低下する。さらに時系列フレ
ーム数が増加するに伴い、巨大な計測行列を蓄積してお
かなければならない等の問題があった。
列画像データが与えられない限り、因子分解法により３
次元構造データが獲得、復元できない。また、因子分解
法において用いる特異値分解では、測定した特徴点の２
次元画像座標データの数が多くなれば、処理負担が大き
くなり、処理速度が大幅に低下する。さらに時系列フレ
ーム数が増加するに伴い、巨大な計測行列を蓄積してお
かなければならない等の問題があった。
【０００５】本発明の目的は、従来の因子分解法なる３
次元構造獲得手法を用いる場合、計算処理時間を大幅に
削減し、同時に、特異値分解なる処理負担を低減させ、
時系列画像データのセットが複数存在する場合において
も、対象物の構造を獲得、復元する３次元構造獲得・復
元方法および装置を提供することにある。
次元構造獲得手法を用いる場合、計算処理時間を大幅に
削減し、同時に、特異値分解なる処理負担を低減させ、
時系列画像データのセットが複数存在する場合において
も、対象物の構造を獲得、復元する３次元構造獲得・復
元方法および装置を提供することにある。
【０００６】
【課題を解決するための手段】本発明は、膨大な時系列
画像データをいくつかのサブ時系列画像データのセット
に配分し、それぞれのサブ時系列画像データに対する特
徴点追跡の際、サブ時系列画像データ間に映っている共
通的な特徴点を記憶しながら、特徴点の２次元画像座標
データから、因子分解法なる３次元構造獲得手法を用い
て、高速、かつ効率的に対象物の３次元構造を獲得し、
さらに、サブ時系列画像データ間に共通的に映っている
特徴点をサブ時系列画像データ間を連結する糸口とし、
それぞれのサブ時系列画像データから獲得した３次元構
造データを大域的に連結することにより、全時系列画像
データ上の特徴点の３次元構造を復元するものである。
画像データをいくつかのサブ時系列画像データのセット
に配分し、それぞれのサブ時系列画像データに対する特
徴点追跡の際、サブ時系列画像データ間に映っている共
通的な特徴点を記憶しながら、特徴点の２次元画像座標
データから、因子分解法なる３次元構造獲得手法を用い
て、高速、かつ効率的に対象物の３次元構造を獲得し、
さらに、サブ時系列画像データ間に共通的に映っている
特徴点をサブ時系列画像データ間を連結する糸口とし、
それぞれのサブ時系列画像データから獲得した３次元構
造データを大域的に連結することにより、全時系列画像
データ上の特徴点の３次元構造を復元するものである。
【０００７】図７は本発明の３次元構造獲得・復元方法
の処理の流れを示すフローチャートである。
の処理の流れを示すフローチャートである。
【０００８】本発明の３次元構造獲得・復元方法は、時
系列画像データを取得する画像入力ステップ５１と、全
時系列画像データをサブ時系列画像データである複数
（Ｎ個）のセットに配分する配分ステップ５２と、配分
されたサブ時系列画像データから、画像データ上に映っ
ている対象物の特徴となる２次元画像座標点を各フレー
ム毎に追跡し、特徴点の座標値から構成される計測行列
を得る特徴点追跡ステップ５３と、前記サブ時系列画像
データ間に共通的に映っている対象物の特徴点である共
通的特徴点を抽出する共通的特徴点抽出ステップ５４
と、抽出された共通的特徴点を一対一に対応づけ、特徴
点リンク情報として記憶する特徴点リンク情報取得ステ
ップ５５と、前記計測行列を入力し、因子分解して３次
元構造データを得る構造獲得ステップ５６と、前記共通
的特徴点の３次元座標データが一致するように、前記３
次元座標データを変換する幾何学的変換係数を求め、該
変換係数により全特徴点の３次元座標値を変換する構造
調整ステップ５７と、前記変換された、特徴点の３次元
座標値をもとに、画像出力装置で対象物の構造物を再現
する再現ステップ５８を有する。
系列画像データを取得する画像入力ステップ５１と、全
時系列画像データをサブ時系列画像データである複数
（Ｎ個）のセットに配分する配分ステップ５２と、配分
されたサブ時系列画像データから、画像データ上に映っ
ている対象物の特徴となる２次元画像座標点を各フレー
ム毎に追跡し、特徴点の座標値から構成される計測行列
を得る特徴点追跡ステップ５３と、前記サブ時系列画像
データ間に共通的に映っている対象物の特徴点である共
通的特徴点を抽出する共通的特徴点抽出ステップ５４
と、抽出された共通的特徴点を一対一に対応づけ、特徴
点リンク情報として記憶する特徴点リンク情報取得ステ
ップ５５と、前記計測行列を入力し、因子分解して３次
元構造データを得る構造獲得ステップ５６と、前記共通
的特徴点の３次元座標データが一致するように、前記３
次元座標データを変換する幾何学的変換係数を求め、該
変換係数により全特徴点の３次元座標値を変換する構造
調整ステップ５７と、前記変換された、特徴点の３次元
座標値をもとに、画像出力装置で対象物の構造物を再現
する再現ステップ５８を有する。
【０００９】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
て図面を参照して説明する。
【００１０】以下では、全時系列画像データを２分割に
配分し、オクルージョン等の問題を考慮せず、３次元構
造獲得方法に因子分解法を用いて、対象物の構造を獲得
し、対象物の全体的な構造を復元する場合について説明
する。
配分し、オクルージョン等の問題を考慮せず、３次元構
造獲得方法に因子分解法を用いて、対象物の構造を獲得
し、対象物の全体的な構造を復元する場合について説明
する。
【００１１】図１を参照すると、本発明の一実施形態の
３次元画像獲得・復元装置は画像入力部１１と時系列画
像配分部１２と特徴点追跡部１３と共通的特徴点抽出部
１４と特徴点リンク情報取得部１５と３次元構造獲得部
１６と３次元構造調整部１７と画像出力部１８で構成さ
れている。
３次元画像獲得・復元装置は画像入力部１１と時系列画
像配分部１２と特徴点追跡部１３と共通的特徴点抽出部
１４と特徴点リンク情報取得部１５と３次元構造獲得部
１６と３次元構造調整部１７と画像出力部１８で構成さ
れている。
【００１２】画像入力部１１はカメラ等で、時系列画像
データを得る。時系列画像配分部１２は時系列画像デー
タをサブ時系列画像データ｛ｎ1 ｝（フレーム数：ｎ
1 ）とサブ時系列画像データ｛ｎ2 ｝（フレーム数：ｎ
2 ）に配分する。特徴点追跡部１３は各時系列画像デー
タ｛ｎ1 ｝，｛ｎ2 ｝において特徴点追跡を行い、すな
わち特徴点の測定する順番にしたがい、２次元座標面に
おける（ｘ，ｙ）座標値を各フレーム毎に追跡し、特徴
点の座標値（ｘ，ｙ）から構成される計測行列［Ａ
1 ］，［Ａ2 ］を得る。共通的特徴点抽出部１４はサブ
時系列画像データ｛ｎ 1 ｝とサブ時系列画像データ｛ｎ
2 ｝の双方に共通的に映っている特徴点を抽出し、特徴
点リンク情報取得部１５はそれぞれの時系列画像データ
における特徴点を一対一に対応させ、計測順番（特徴点
ラベル）を特徴点リンク情報として特徴点リンク情報テ
ーブルに記憶する。構造獲得部１６は計測行列［Ａ1 ］
と［Ａ2］を入力し、因子分解法により特徴点の３次元
構造データＴ1 ，Ｔ2 を得る。３次元構造調整部１７は
サブ時系列画像データ｛ｎ1 ｝中の特徴点とサブ時系列
画像データ｛ｎ2 ｝の特徴点が一致するように、構造デ
ータＴ2 に対して幾何学的変換処理を行う。画像出力部
１８は同一の空間内に配置された構造データＴ1 とＴ2
の３次元座標値をもとにしてディスプレイ装置上に特徴
点の構造を復元する。
データを得る。時系列画像配分部１２は時系列画像デー
タをサブ時系列画像データ｛ｎ1 ｝（フレーム数：ｎ
1 ）とサブ時系列画像データ｛ｎ2 ｝（フレーム数：ｎ
2 ）に配分する。特徴点追跡部１３は各時系列画像デー
タ｛ｎ1 ｝，｛ｎ2 ｝において特徴点追跡を行い、すな
わち特徴点の測定する順番にしたがい、２次元座標面に
おける（ｘ，ｙ）座標値を各フレーム毎に追跡し、特徴
点の座標値（ｘ，ｙ）から構成される計測行列［Ａ
1 ］，［Ａ2 ］を得る。共通的特徴点抽出部１４はサブ
時系列画像データ｛ｎ 1 ｝とサブ時系列画像データ｛ｎ
2 ｝の双方に共通的に映っている特徴点を抽出し、特徴
点リンク情報取得部１５はそれぞれの時系列画像データ
における特徴点を一対一に対応させ、計測順番（特徴点
ラベル）を特徴点リンク情報として特徴点リンク情報テ
ーブルに記憶する。構造獲得部１６は計測行列［Ａ1 ］
と［Ａ2］を入力し、因子分解法により特徴点の３次元
構造データＴ1 ，Ｔ2 を得る。３次元構造調整部１７は
サブ時系列画像データ｛ｎ1 ｝中の特徴点とサブ時系列
画像データ｛ｎ2 ｝の特徴点が一致するように、構造デ
ータＴ2 に対して幾何学的変換処理を行う。画像出力部
１８は同一の空間内に配置された構造データＴ1 とＴ2
の３次元座標値をもとにしてディスプレイ装置上に特徴
点の構造を復元する。
【００１３】図２は本実施形態の動作を示すフローチャ
ートである。
ートである。
【００１４】まず、画像入力部１１により時系列画像デ
ータを得る（ステップ２１）。次に時系列画像配分部１
２により全時系列画像データをサブ時系列画像データ
｛ｎ1｝（フレーム数：ｎ1 ）とサブ時系列画像データ
｛ｎ2 ｝（フレーム数：ｎ2 ）に配分する（ステップ２
２）。次に、特徴点追跡部１３により、時系列画像デー
タ｛ｎ1 ｝において特徴点追跡を行い、図３に示すよう
に、特徴点Ｐ１〜Ｐ７の測定する順番にしたがい、２次
元画像座標面における（ｘ，ｙ）座標値を各フレームご
とに追跡し、特徴点の座標値から構成される計測行列
［Ａ1 ］を得る（ステップ２３1 ）。一方、時系列画像
データ｛ｎ2 ｝においても、同様の特徴点追跡を行い、
特徴点の測定した順番にしたがい、２次元画像座標面に
おける（ｘ，ｙ）座標値を各フレームごとに追跡し、特
徴点の座標値から構成される計測行列［Ａ2 ］を得る
（ステップ２３2 ）。このとき、共通特徴点抽出部１４
により、図４に示すように、サブ時系列画像データ｛ｎ
1 ｝とサブ時系列画像データ｛ｎ 2 ｝の双方に映ってい
る特徴点について、それぞれの時系列画像データ上にお
ける特徴点を一対一に対応付けるように、特徴点の計測
順番を特徴点リンク情報として特徴点リンク情報テーブ
ルに記憶しておく（ステップ２５）。図４の例では、サ
ブ系列画像データ｛ｎ1 ｝中の特徴点Ｐ２とＰ７がサブ
時系列画像データ｛ｎ2 ｝中の特徴点Ｐ８とＰ９にそれ
ぞれ対応している。
ータを得る（ステップ２１）。次に時系列画像配分部１
２により全時系列画像データをサブ時系列画像データ
｛ｎ1｝（フレーム数：ｎ1 ）とサブ時系列画像データ
｛ｎ2 ｝（フレーム数：ｎ2 ）に配分する（ステップ２
２）。次に、特徴点追跡部１３により、時系列画像デー
タ｛ｎ1 ｝において特徴点追跡を行い、図３に示すよう
に、特徴点Ｐ１〜Ｐ７の測定する順番にしたがい、２次
元画像座標面における（ｘ，ｙ）座標値を各フレームご
とに追跡し、特徴点の座標値から構成される計測行列
［Ａ1 ］を得る（ステップ２３1 ）。一方、時系列画像
データ｛ｎ2 ｝においても、同様の特徴点追跡を行い、
特徴点の測定した順番にしたがい、２次元画像座標面に
おける（ｘ，ｙ）座標値を各フレームごとに追跡し、特
徴点の座標値から構成される計測行列［Ａ2 ］を得る
（ステップ２３2 ）。このとき、共通特徴点抽出部１４
により、図４に示すように、サブ時系列画像データ｛ｎ
1 ｝とサブ時系列画像データ｛ｎ 2 ｝の双方に映ってい
る特徴点について、それぞれの時系列画像データ上にお
ける特徴点を一対一に対応付けるように、特徴点の計測
順番を特徴点リンク情報として特徴点リンク情報テーブ
ルに記憶しておく（ステップ２５）。図４の例では、サ
ブ系列画像データ｛ｎ1 ｝中の特徴点Ｐ２とＰ７がサブ
時系列画像データ｛ｎ2 ｝中の特徴点Ｐ８とＰ９にそれ
ぞれ対応している。
【００１５】さらに、計測行列［Ａ1 ］ならびに［Ａ
2 ］を入力データとして、３次元構造獲得部１６によ
り、因子分解法により特徴点の３次元構造データを得る
（ステップ２６1 ，２６2 ）。このとき計測行列［Ａ
1 ］を因子分解して得た３次元構造データを構造データ
Ｔ1 と呼び、各特徴点をサフィックスｉで表現したＸＹ
Ｚ座標値（Ｓ1iX ，Ｓ1iy ，Ｓ1iz ）と記述する。同様
に、計測行列［Ａ2 ］を因子分解して得た３次元構造デ
ータを構造データＴ2 と呼び、各特徴点をサフィックス
ｉで表現したＸＹＺ座標値（Ｓ2ix ，Ｓ2iy ，Ｓ2iz ）
と記述する。
2 ］を入力データとして、３次元構造獲得部１６によ
り、因子分解法により特徴点の３次元構造データを得る
（ステップ２６1 ，２６2 ）。このとき計測行列［Ａ
1 ］を因子分解して得た３次元構造データを構造データ
Ｔ1 と呼び、各特徴点をサフィックスｉで表現したＸＹ
Ｚ座標値（Ｓ1iX ，Ｓ1iy ，Ｓ1iz ）と記述する。同様
に、計測行列［Ａ2 ］を因子分解して得た３次元構造デ
ータを構造データＴ2 と呼び、各特徴点をサフィックス
ｉで表現したＸＹＺ座標値（Ｓ2ix ，Ｓ2iy ，Ｓ2iz ）
と記述する。
【００１６】この３次元構造獲得部１６において出力さ
れた特徴点の３次元座標値中のサブ時系列画像データ
｛ｎ1 ｝とサブ時系列画像データ｛ｎ2 ｝に共通的に映
っている特徴点の座標値（図４ではサブ時系列画像｛ｎ
1 ｝中の特徴点Ｐ２と特徴点Ｐ７と、サブ時系列画像
｛ｎ2 ｝中の特徴点Ｐ８と特徴点Ｐ９）が双方において
異なるため、構造調整部１７において、この座標値が一
致するように、構造データＴ2 に対して幾何学的変換処
理を行う（ステップ２７）。
れた特徴点の３次元座標値中のサブ時系列画像データ
｛ｎ1 ｝とサブ時系列画像データ｛ｎ2 ｝に共通的に映
っている特徴点の座標値（図４ではサブ時系列画像｛ｎ
1 ｝中の特徴点Ｐ２と特徴点Ｐ７と、サブ時系列画像
｛ｎ2 ｝中の特徴点Ｐ８と特徴点Ｐ９）が双方において
異なるため、構造調整部１７において、この座標値が一
致するように、構造データＴ2 に対して幾何学的変換処
理を行う（ステップ２７）。
【００１７】図５は、構造調整部１７の処理フローを示
したものである。サブ時系列画像データ｛ｎ1 ｝から獲
得した構造上の特徴点Ｐ２およびＰ７が、サブ時系列画
像データ｛ｎ2 ｝から獲得した構造上の特徴点Ｐ８およ
びＰ９にそれぞれ同一の特徴点であることを特徴点リン
ク情報テーブルに記憶しており、時系列画像データ｛ｎ
2 ｝から獲得した構造上の特徴点Ｐ２およびＰ７の座標
値が、時系列画像データ｛ｎ1 ｝から獲得した構造上の
特徴点Ｐ８およびＰ９にそれぞれ一致するように、スケ
ール変換、回転変換、および並進変換を行う。
したものである。サブ時系列画像データ｛ｎ1 ｝から獲
得した構造上の特徴点Ｐ２およびＰ７が、サブ時系列画
像データ｛ｎ2 ｝から獲得した構造上の特徴点Ｐ８およ
びＰ９にそれぞれ同一の特徴点であることを特徴点リン
ク情報テーブルに記憶しており、時系列画像データ｛ｎ
2 ｝から獲得した構造上の特徴点Ｐ２およびＰ７の座標
値が、時系列画像データ｛ｎ1 ｝から獲得した構造上の
特徴点Ｐ８およびＰ９にそれぞれ一致するように、スケ
ール変換、回転変換、および並進変換を行う。
【００１８】まず、特徴点リンク情報テーブルを読み込
み（ステップ３１）、サブ時系列画像データ｛ｎ1 ｝か
ら獲得した構造上の特徴点Ｐ２とＰ７の距離Ｄ1 と、サ
ブ時系列画像データ｛ｎ2 ｝から獲得した構造上の特徴
点Ｐ８とＰ９の距離Ｄ2 を計算し（ステップ３２1 ，３
２2 ）、その値を比較し（ステップ３３）、値が異なる
場合は、サブ時系列画像データ｛ｎ2 ｝から獲得した構
造上の全特徴点の座標値（Ｓ2ix ，Ｓ2iy ，Ｓ2iz ）
（ｉ＝１，２，・・・）を次式によりＤ1 ／Ｄ2倍する
スケール変換を行う（ステップ３４）。
み（ステップ３１）、サブ時系列画像データ｛ｎ1 ｝か
ら獲得した構造上の特徴点Ｐ２とＰ７の距離Ｄ1 と、サ
ブ時系列画像データ｛ｎ2 ｝から獲得した構造上の特徴
点Ｐ８とＰ９の距離Ｄ2 を計算し（ステップ３２1 ，３
２2 ）、その値を比較し（ステップ３３）、値が異なる
場合は、サブ時系列画像データ｛ｎ2 ｝から獲得した構
造上の全特徴点の座標値（Ｓ2ix ，Ｓ2iy ，Ｓ2iz ）
（ｉ＝１，２，・・・）を次式によりＤ1 ／Ｄ2倍する
スケール変換を行う（ステップ３４）。
【００１９】
【数１】 次に、スケール変換された、またはされなかった時系列
画像データ｛ｎ2 ｝から獲得した構造上の特徴点Ｐ８お
よびＰ９の座標値が、時系列画像データ｛ｎ1｝から獲
得した構造上の特徴点Ｐ２およびＰ７にぞれぞれ一致す
るように、回転成分Ｒ12と並進成分Ｔ12を次式（２），
（３）により計算する（ステップ３５，３６）。
画像データ｛ｎ2 ｝から獲得した構造上の特徴点Ｐ８お
よびＰ９の座標値が、時系列画像データ｛ｎ1｝から獲
得した構造上の特徴点Ｐ２およびＰ７にぞれぞれ一致す
るように、回転成分Ｒ12と並進成分Ｔ12を次式（２），
（３）により計算する（ステップ３５，３６）。
【００２０】
【数２】 この例では、２点間を一致させる場合について記述して
いる。さらに、この変換により求められた回転行列Ｒ12
と並進行列Ｔ12を用いて、構造データＴ2 の全特徴点の
３次元座標値を変換する（ステップ３７）。
いる。さらに、この変換により求められた回転行列Ｒ12
と並進行列Ｔ12を用いて、構造データＴ2 の全特徴点の
３次元座標値を変換する（ステップ３７）。
【００２１】
【数３】 これにより、構造データＴ1 の３次元座標値と構造デー
タＴ2 の３次元座標値が同一の空間上に配置される。
タＴ2 の３次元座標値が同一の空間上に配置される。
【００２２】このようにして、配分したサブ時系列画像
データから獲得した特徴点の３次元座標値は、共通的特
徴点を糸口として基準となる空間上へ座標変換が行わ
れ、全時系列画像データから獲得した特徴点の３次元座
標値を復元できる。
データから獲得した特徴点の３次元座標値は、共通的特
徴点を糸口として基準となる空間上へ座標変換が行わ
れ、全時系列画像データから獲得した特徴点の３次元座
標値を復元できる。
【００２３】配分したサブ時系列画像データの処理が終
了次第、蓄積しておいた特徴点の３次元座標値をもとに
ディスプレイ装置等の画像出力装置で特徴点の構造を復
元、再現する。
了次第、蓄積しておいた特徴点の３次元座標値をもとに
ディスプレイ装置等の画像出力装置で特徴点の構造を復
元、再現する。
【００２４】本実施形態では、全画像データを２分割に
して並列に特徴点追跡し、対象物の構造を獲得し、時系
列画像配分により分割された対象物間における座標値を
調整、変換処理を行っているが、全画像データをＮ分割
にしたときも同様に実現できる。
して並列に特徴点追跡し、対象物の構造を獲得し、時系
列画像配分により分割された対象物間における座標値を
調整、変換処理を行っているが、全画像データをＮ分割
にしたときも同様に実現できる。
【００２５】図６は本発明の他の実施形態の３次元構造
獲得・復元装置の構成図である。本実施形態はパーソナ
ルコンピュータを用いるもので、入力装置４１と記憶装
置４２，４３と出力装置４４と記録媒体４５とデータ処
理装置４６で構成されている。入力装置４１はカメラ等
で、画像データを入力する。記憶装置４２は入力された
画像データを時系列画像データとして蓄積する。記憶装
置４３はハードディスクである。出力装置４４は３次元
構造を復元するためのディスプレイである。記録媒体４
５は、図２および図５の処理を３次元構造獲得・復元プ
ログラムとして記録した、ＦＤ（フロッピィ・ディス
ク）、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）等の記録
媒体である。データ処理装置４１は記録媒体４５から３
次元構造・復元プログラムを記憶装置４３に読み込ん
で、これを実行するＣＰＵである。
獲得・復元装置の構成図である。本実施形態はパーソナ
ルコンピュータを用いるもので、入力装置４１と記憶装
置４２，４３と出力装置４４と記録媒体４５とデータ処
理装置４６で構成されている。入力装置４１はカメラ等
で、画像データを入力する。記憶装置４２は入力された
画像データを時系列画像データとして蓄積する。記憶装
置４３はハードディスクである。出力装置４４は３次元
構造を復元するためのディスプレイである。記録媒体４
５は、図２および図５の処理を３次元構造獲得・復元プ
ログラムとして記録した、ＦＤ（フロッピィ・ディス
ク）、ＣＤ−ＲＯＭ、ＭＯ（光磁気ディスク）等の記録
媒体である。データ処理装置４１は記録媒体４５から３
次元構造・復元プログラムを記憶装置４３に読み込ん
で、これを実行するＣＰＵである。
【００２６】
【発明の効果】以上説明したように、本発明によれば、
対象物の構造、形状を獲得・復元する処理時間の大幅な
削減、全時系列画像データからの大域的な対象物の構造
の獲得、復元が可能となる。
対象物の構造、形状を獲得・復元する処理時間の大幅な
削減、全時系列画像データからの大域的な対象物の構造
の獲得、復元が可能となる。
【図１】本発明の一実施形態の３次元構造獲得・復元装
置の構成図である。
置の構成図である。
【図２】図１の３次元構造獲得・復元装置の動作を示す
フローチャートである。
フローチャートである。
【図３】特徴点追跡での画像座標値データを示す図であ
る。
る。
【図４】特徴点追跡におけるラベル付けと共通的特徴点
を示す図である。
を示す図である。
【図５】構造調整処理の処理２７のフローチャートであ
る。
る。
【図６】本発明の他の実施形態の３次元構造獲得・復元
装置の構成図である。
装置の構成図である。
【図７】本発明の３次元構造獲得・復元方法を示すフロ
ーチャートである。
ーチャートである。
【図８】従来の３次元構造獲得・復元方法の説明図であ
る。
る。
１１ 画像入力部 １２ 時系列画像配分部 １３ 特徴点追跡部 １４ 共通的特徴点抽出部 １５ 特徴点リンク情報取得部 １６ ３次元構造獲得部 １７ ３次元構造調整部 １８ 画像出力部 ２１〜２８，３１〜３７ ステップ ４１ 入力装置 ４２，４３ 記憶装置 ４４ 出力装置 ４５ 記録媒体 ４６ データ処理装置 ５１〜５９ ステップ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 掘口 賞一 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 植本 尚子 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 (72)発明者 杉村 利明 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内 Ｆターム(参考） 2F065 AA04 DD06 FF04 FF26 QQ00 QQ24 QQ28 UU05 5B050 BA09 EA05 EA12 EA18 5B057 AA20 CA12 CA16 CA20 CD02 CD03 CD05 CD14 DA07 DC05
Claims (7)
- 【請求項１】 画像入力装置により撮影した時系列画像
データから、該時系列画像データに映っている対象物の
構造を獲得、復元する３次元構造獲得・復元方法であっ
て、 全時系列画像データをいくつかのサブ時系列画像データ
に配分し、配分されたサブ時系列画像データから、画像
データ上に映っている対象物の特徴となる２次元画像座
標点を追跡する処理を行うとともに、配分処理において
分割されたサブ時系列画像データ間に共通的に映ってい
る対象物の特徴点を記憶し、それぞれのサブ時系列画像
データから追跡して得た特徴点の２次元画像座標データ
に対して、因子分解法なる３次元構造獲得手法を用い
て、時系列画像データ上の特徴点の３次元的構造データ
を獲得し、それぞれのサブ時系列画像データ上の特徴点
の３次元構造データを獲得した３次元構造形状データに
対し、サブ時系列画像データ間において共通的に映って
いる特徴点の３次元座標データが一致するように、３次
元座標データを変換する幾何学的変換係数を求め、該変
換係数により全特徴点の３次元座標を変換し、全時系列
画像データの特徴点から構成される対象物の構造を復元
する３次元構造獲得・復元方法。 - 【請求項２】 時系列画像データを得、該時系列画像デ
ータから、該時系列画像データに映っている対象物の構
造を獲得し、復元する３次元構造獲得・復元方法であっ
て、 時系列画像データを取得する画像入力ステップと、 全時系列画像データをサブ時系列画像データである複数
のセットに配分する配分ステップと、 配分されたサブ時系列画像データから、時系列画像デー
タに映っている対象物の特徴となる２次元画像座標点を
各フレーム毎に追跡し、特徴点の座標値から構成される
計測行列を得る特徴点追跡ステップと、 前記サブ時系列画像データ間に共通的に映っている対象
物の特徴点である共通的特徴点を抽出する共通的特徴点
抽出ステップと、 抽出された共通的特徴点を一対一に対応づけ、特徴点リ
ンク情報として特徴点リンク情報テーブルに記憶する特
徴点リンク情報取得ステップと、 前記計測行列を入力し、因子分解して３次元構造データ
を得る構造獲得ステップと、 前記共通的特徴点の３次元座標データが一致するよう
に、前記３次元座標データを変換する幾何学的変換係数
を求め、該変換係数により全特徴点の３次元座標値を変
換する構造調整ステップと、 前記変換された、特徴点の３次元座標値をもとに、画像
出力装置で対象物の構造物を再現する再現ステップを有
する３次元構造獲得・復元方法。 - 【請求項３】 前記構造調整ステップが、 第ｉ番目のサブ時系列画像データと第（ｉ＋１）番目の
サブ時系列画像データ（ｉ＝１，２，・・・，ｎ−１，
ｎは配分数）について、 前記特徴点リンク情報テーブルを読み込むステップと、 第ｉ番目のサブ時系列画像データから獲得した構造上の
特徴点間の距離Ｄ1 と第（ｉ＋１）番目のサブ時系列画
像データから獲得した構造上の特徴点間の距離Ｄ2 を計
算するステップと、 距離Ｄ1 とＤ2 を比較するステップと、 距離データＤ1 とＤ2 が異なる場合、第（ｉ＋１）番目
のサブ時系列画像データの３次元構造データＴ2 の全特
徴点についてスケール変換を行うステップと、 ３次元構造データＴ2 の共通的特徴点から第ｉ番目のサ
ブ時系列画像データの３次元構造データＴ1 の共通的特
徴点へ変換する回転行列を計算するステップと、 ３次元構造データＴ2 の共通的特徴点から第ｉ番目のサ
ブ時系列画像データの３次元構造データＴ1 の共通的特
徴点へ変換する並進行列を演算するステップと、 構造データＴ2 の全特徴点座標を前記回転行列、前記並
進行列により変換するステップを含む、請求項２記載の
方法。 - 【請求項４】 時系列画像データを得、該時系列画像デ
ータから、該時系列画像データに映っている対象物の構
造を獲得し、復元する３次元構造獲得・復元装置であっ
て、 時系列画像データを取得する画像入力手段と、 全時系列画像データをサブ時系列画像データである複数
のセットに配分する配分手段と、 配分されたサブ時系列画像データから、画像データ上に
映っている対象物の特徴となる２次元画像座標点を各フ
レーム毎に追跡し、特徴点の座標値から構成される計測
行列を得る特徴点追跡手段と、 前記サブ時系列画像データ間に共通的に映っている対象
物の特徴点である共通的特徴点を抽出する共通的特徴点
抽出手段と、 抽出された共通的特徴点を一対一に対応づけ、特徴点リ
ンク情報として特徴点リンク情報テーブルに記録する特
徴点リンク情報取得手段と、 前記計測行列を入力し、因子分解して３次元構造データ
を得る構造獲得手段と、 前記共通的特徴点の３次元座標データが一致するよう
に、前記３次元座標データを変換する幾何学的変換係数
を求め、該変換係数により全特徴点の３次元座標値を変
換する構造調整手段と、 前記変換された、特徴点の３次元座標値をもとに、画像
出力装置で対象物の構造物を再現する再現手段を有する
３次元構造獲得・復元装置。 - 【請求項５】 前記構造調整手段が、 第ｉ番目のサブ時系列画像データと第（ｉ＋１）番目の
サブ時系列画像データ（ｉ＝１，２，・・・，ｎ−１，
ｎは配分数）について、 特徴点リンク情報テーブルを読み込む手段と、 第ｉ番目のサブ時系列画像データから獲得した構造上の
特徴点間の距離Ｄ1 と第（ｉ＋１）番目のサブ時系列画
像データから獲得した構造上の特徴点間の距離Ｄ2 を計
算する手段と、 距離Ｄ1 とＤ2 を比較する手段と、 距離データＤ1 とＤ2 が異なる場合、第（ｉ＋１）番目
のサブ時系列画像データの３次元構造データＴ2 の全特
徴点についてスケット変換を行う手段と、 構造データＴ2 の共通的特徴点から第ｉ番目のサブ時系
列画像データの３次元構造データＴ1 の共通的特徴点へ
変換する回転行列を計算する手段と、 構造データＴ2 の共通的特徴点から構造データＴ1 の共
通的特徴点へ変換する並進行列を演算する手段と、 構造データＴ2 の全特徴点座標を前記回転行列、前記並
進行列により変換する手段を含む、請求項４記載の装
置。 - 【請求項６】 時系列画像データを得、該時系列画像デ
ータから、該時系列画像データに映っている対象物の構
造を獲得し、復元する３次元構造獲得・復元プログラム
を記録した記録媒体であって、 時系列画像データを取得する画像入力手順と、 全時系列画像データをサブ時系列画像データである複数
のセットに配分する配分手順と、 配分されたサブ時系列画像データから、画像データに映
っている対象物の特徴となる２次元画像座標点を各フレ
ーム毎に追跡し、特徴点の座標値から構成される計測行
列を得る特徴点追跡手順と、 前記サブ時系列画像データ間に共通的に映っている対象
物の特徴点である共通的特徴点を抽出する共通的特徴点
抽出手順と、 抽出された共通的特徴点を一対一に対応づけ、特徴点リ
ンク情報として特徴点リンク情報テーブルに記憶する特
徴点リンク情報取得手順と、 前記計測行列を入力し、因子分解して３次元構造データ
を得る構造獲得手順と、 前記共通的特徴点の３次元座標データが一致するよう
に、前記３次元座標データを変換する幾何学的変換係数
を求め、該変換係数により全特徴点の３次元座標値を変
換する構造調整手順と、 前記変換された、特徴点の３次元座標値をもとに、画像
出力装置で対象物の構造物を再現する再現手順をコンピ
ュータに実行させるための３次元構造獲得・復元プログ
ラムを記録した記録媒体。 - 【請求項７】 前記構造調整手順が、 第ｉ番目のサブ時系列画像データと第（ｉ＋１）番目の
サブ時系列画像データ（ｉ＝１，２，・・・，ｎ−１，
ｎは配分数）について、 特徴点リンク情報テーブルを読み込む手順と、 第ｉ番目のサブ時系列画像データから獲得した構造上の
特徴点間の距離Ｄ1 と第（ｉ＋１）番目のサブ時系列画
像データから獲得した構造上の特徴点間の距離Ｄ2 を計
算する手順と、 距離Ｄ1 とＤ2 を比較する手順と、 距離データＤ1 とＤ2 が異なる場合、第（ｉ＋１）番目
のサブ時系列画像データの３次元構造データＴ2 の全特
徴点についてスケール変換を行う手順と、 構造データＴ2 の共通的特徴点から第ｉ番目のサブ時系
列画像データの３次元構造データＴ1 の共通的特徴点へ
変換する回転行列を計算する手順と、 構造データＴ2 の共通的特徴点から構造データＴ1 の共
通的特徴点へ変換する並進行列を演算する手順段と、 構造データＴ2 の全特徴点座標を前記回転行列、前記並
進行列により変換する手段を含む、請求項６記載の記録
媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10374062A JP2000194863A (ja) | 1998-12-28 | 1998-12-28 | ３次元構造獲得・復元方法、装置、および３次元構造獲得・復元プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10374062A JP2000194863A (ja) | 1998-12-28 | 1998-12-28 | ３次元構造獲得・復元方法、装置、および３次元構造獲得・復元プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000194863A true JP2000194863A (ja) | 2000-07-14 |
Family
ID=18503198
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10374062A Pending JP2000194863A (ja) | 1998-12-28 | 1998-12-28 | ３次元構造獲得・復元方法、装置、および３次元構造獲得・復元プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000194863A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008186456A (ja) * | 2007-01-26 | 2008-08-14 | Conversion Works Inc | ２ｄイメージシーケンスからの３ｄシーン再構成方法 |
| JP2009301353A (ja) * | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | 三次元形状推定装置及びコンピュータプログラム |
| EP2144036A2 (de) | 2008-07-07 | 2010-01-13 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts |
| JP2010079452A (ja) * | 2008-09-24 | 2010-04-08 | Canon Inc | 位置姿勢計測装置及び方法 |
| CN101799938A (zh) * | 2010-04-28 | 2010-08-11 | 福州大学 | 一种实物模拟电脑图像的制造方法 |
| JP2011086164A (ja) * | 2009-10-16 | 2011-04-28 | Elijah & Co | 三次元モデリング装置及び方法並びにプログラム |
| CN103236083A (zh) * | 2013-05-06 | 2013-08-07 | 北京建筑工程学院 | 基于立体影像库的实时三维测量方法 |
| US8791941B2 (en) | 2007-03-12 | 2014-07-29 | Intellectual Discovery Co., Ltd. | Systems and methods for 2-D to 3-D image conversion using mask to model, or model to mask, conversion |
| US8860712B2 (en) | 2004-09-23 | 2014-10-14 | Intellectual Discovery Co., Ltd. | System and method for processing video images |
| CN105574878A (zh) * | 2006-03-21 | 2016-05-11 | 韦伯斯特生物官能公司 | 使用局部加权拟合的图像配准 |
-
1998
- 1998-12-28 JP JP10374062A patent/JP2000194863A/ja active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8860712B2 (en) | 2004-09-23 | 2014-10-14 | Intellectual Discovery Co., Ltd. | System and method for processing video images |
| CN105574878A (zh) * | 2006-03-21 | 2016-05-11 | 韦伯斯特生物官能公司 | 使用局部加权拟合的图像配准 |
| JP2008186456A (ja) * | 2007-01-26 | 2008-08-14 | Conversion Works Inc | ２ｄイメージシーケンスからの３ｄシーン再構成方法 |
| KR101613721B1 (ko) | 2007-01-26 | 2016-04-19 | 인텔렉추얼디스커버리 주식회사 | ２ｄ 이미지 시퀀스들로부터 ３ｄ 장면을 재구성하기 위한방법 |
| US8655052B2 (en) | 2007-01-26 | 2014-02-18 | Intellectual Discovery Co., Ltd. | Methodology for 3D scene reconstruction from 2D image sequences |
| US9082224B2 (en) | 2007-03-12 | 2015-07-14 | Intellectual Discovery Co., Ltd. | Systems and methods 2-D to 3-D conversion using depth access segiments to define an object |
| US8878835B2 (en) | 2007-03-12 | 2014-11-04 | Intellectual Discovery Co., Ltd. | System and method for using feature tracking techniques for the generation of masks in the conversion of two-dimensional images to three-dimensional images |
| US8791941B2 (en) | 2007-03-12 | 2014-07-29 | Intellectual Discovery Co., Ltd. | Systems and methods for 2-D to 3-D image conversion using mask to model, or model to mask, conversion |
| US8330803B2 (en) | 2008-06-07 | 2012-12-11 | Steinbichler Optotechnik Gmbh | Method and apparatus for 3D digitization of an object |
| JP2009301353A (ja) * | 2008-06-13 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | 三次元形状推定装置及びコンピュータプログラム |
| EP2144036A2 (de) | 2008-07-07 | 2010-01-13 | Steinbichler Optotechnik Gmbh | Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts |
| EP2144036A3 (de) * | 2008-07-07 | 2011-04-06 | Steinbichler Optotechnik GmbH | Verfahren und Vorrichtung zur 3D-Digitalisierung eines Objekts |
| US8520931B2 (en) | 2008-09-24 | 2013-08-27 | Canon Kabushiki Kaisha | Position and orientation measurement apparatus and method thereof |
| JP2010079452A (ja) * | 2008-09-24 | 2010-04-08 | Canon Inc | 位置姿勢計測装置及び方法 |
| JP2011086164A (ja) * | 2009-10-16 | 2011-04-28 | Elijah & Co | 三次元モデリング装置及び方法並びにプログラム |
| CN101799938A (zh) * | 2010-04-28 | 2010-08-11 | 福州大学 | 一种实物模拟电脑图像的制造方法 |
| CN103236083A (zh) * | 2013-05-06 | 2013-08-07 | 北京建筑工程学院 | 基于立体影像库的实时三维测量方法 |
| CN103236083B (zh) * | 2013-05-06 | 2016-06-22 | 北京建筑工程学院 | 基于立体影像库的实时三维测量方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230386174A1 (en) | Method for generating customized/personalized head related transfer function | |
| US6633294B1 (en) | Method and apparatus for using captured high density motion for animation | |
| Patwardhan et al. | Video inpainting under constrained camera motion | |
| US7352386B1 (en) | Method and apparatus for recovering a three-dimensional scene from two-dimensional images | |
| JP2002269559A (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
| JP4419320B2 (ja) | ３次元形状データの生成装置 | |
| WO2020207177A1 (zh) | 图像增广与神经网络训练方法、装置、设备及存储介质 | |
| CN111428575A (zh) | 一种基于孪生网络的针对模糊目标的跟踪方法 | |
| JPH1131224A (ja) | パターンマッチングによる画像処理方法およびシステム | |
| JP2000194863A (ja) | ３次元構造獲得・復元方法、装置、および３次元構造獲得・復元プログラムを記録した記録媒体 | |
| JP2001320579A (ja) | 広域精細画像生成方法及びシステム並びにコンピュータ可読記録媒体 | |
| US20180225882A1 (en) | Method and device for editing a facial image | |
| JP2007004578A (ja) | 三次元形状取得方法、三次元形状取得装置、及びプログラムの記録媒体 | |
| JP2021524960A (ja) | 映像ジッターを除去するための方法及び装置 | |
| JP2000099760A (ja) | ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2019074991A (ja) | 画像処理プログラム、画像処理装置および画像処理方法 | |
| KR20080102256A (ko) | 이미지 처리 장치, 이미지 처리 시스템, 이미지 처리 방법 및 이미지 처리용 프로그램 | |
| JP2002042158A (ja) | 画像合成装置および画像合成方法およびプログラムを記録した媒体 | |
| US6750900B1 (en) | Method and apparatus for computing motion tracking parameters | |
| JPS5822982A (ja) | 合成開口レ−ダの画像処理システム | |
| CN115082295B (zh) | 一种基于自注意力机制的图像编辑方法及装置 | |
| JP3451925B2 (ja) | 物体認識方法及び物体認識装置 | |
| JPH1125266A (ja) | 画像変換方法および装置 | |
| JP2001074430A (ja) | 被写体の面の向きの抽出方法、それを用いた３次元データ生成方法及び装置 | |
| JP2000242781A (ja) | 構造情報復元方法及び記録媒体ならびに構造情報復元装置 |