JP2001183133A - ３次元形状計測装置および方法、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 任意の距離に位置する被写体の３次元形状を
計測する。 【解決手段】 撮像部３１，３３は、被写体を撮像し、
画像信号をそれぞれ画像取り込み部３２，３４に出力す
る。画像取り込み部３２，３４は、制御部３８からの制
御に基づくタイミングで画像信号を取り込む。ステレオ
視３次元形状計測部３６は、ステレオ視計測モードにお
いて、基準画像と参照画像にステレオ視を適用して各画
素の被写体の３次元形状を計測する。RSM３次元形状計
測部３７は、RSMモードにおいて、画像取り込み部３４
から順次入力される複数の画像に対してRSM技術を適用
して被写体の３次元形状を計測する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元形状計測装
置および方法、並びに記録媒体に関し、特に、任意の距
離に位置する被写体の３次元形状を計測する場合に用い
て好適な３次元形状計測装置および方法、並びに記録媒
体に関する。

【０００２】

【従来の技術】人間が物体の形状やその物体までの距離
を感知する原理と同様に、対象となる物体までの距離を
測定する方法として、一般的に「ステレオ視」または
「ステレオ３次元画像計測」と呼ばれる方法が知られて
いる。ステレオ視によれば、視点の異なる複数台のカメ
ラで観測された画像を用いて、三角測量の原理により、
対象となる物体の形状またはその物体までの距離を計測
することができる。

【０００３】図１は、ステレオ視の原理を説明する図で
ある。基準カメラ１と参照カメラ２の２台のカメラは、
互いに異なる視点に配置されており、それぞれのカメラ
から測定しようとする対象点Ｑの３次元空間における位
置が求められる。すなわち、対象点Ｑが基準カメラ１の
画像面１Ａにより観察される観察点ｎ_bと、参照カメラ
２の画像面２Ａにより観察される観察点ｎ_rとが求めら
れる。そして、これらの観察点ｎ_b，ｎ_rから対象点Ｑの
３次元空間内の位置を求めることができる。

【０００４】観察点ｎ_bに対応する観察点ｎ_rを検出する
手法としては、エピポーラライン(Epipolar Line)上で
対応点を探索する方法が提案されている。例えば、基準
カメラ１で観察された画像面１Ａ（以下、そこにおける
画像を、図２に示すように、基準画像１ａと記述する）
上にある観察点ｎ_bに対して、その対応点である参照カ
メラ２の観察点ｎ_rは、両カメラの光学中心（光軸）と
基準カメラ１の観察点ｎ_bにより決まる平面（画像面）
と、参照カメラ２で観察された画像面２Ａ（以下、そこ
における画像を、図２に示すように、参照画像２ａと記
述する）が交わる直線ＬＰ上に存在する。この直線ＬＰ
は、エピポーララインと称される。そして、基準カメラ
１と参照カメラ２の位置関係が既知であれば、異なる投
影位置にある同一の対象を見つけることができるので、
基準カメラ１の各観察点毎に参照画像２ａ上のエピポー
ラライン（直線ＬＰ）上で対応点を検索することによ
り、所望の対応点を検出することができる。

【０００５】対応点を検索する手法として、「Pixel−B
asedマッチング法」、「Feature−Basedマッチング
法」、「Area−Basedマッチング法」などが知られてお
り、次のような特徴がある。

【０００６】Pixel−Basedマッチング法は、各々の画素
間の濃淡値を用いて対応点を探索するため、演算速度は
速いが、対応付け精度が低い。

【０００７】Feature−Basedマッチング法は、画像から
濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用
いて対応点を探索するため、得られた距離画像の情報は
疎である。

【０００８】Area−Basedマッチング法は、一種の相関
演算を行なうため、演算コストがかかるが、対象の対応
点を高精度に探索し、全ての画素の距離値を算出するこ
とができるので一般的によく使われる。

【０００９】図２は、Area−Basedマッチング法の原理
を表わしている。基準カメラ１で観察された画像（基準
画像１ａ）のうち、任意に設定された注目点（注目画
素）１１の周りに局所的なウィンドウ（領域）Ｗを設定
し、それをテンプレート１２とする。図２(A)では、例
えば、テンプレート１２は、縦５個×横５個の画素で構
成されている。

【００１０】そして、図２(B)に示すように、参照カメ
ラ２で観察された画像（参照画像２ａ）のエピポーララ
イン１３上に、テンプレート１２がテンプレート１２Ａ
として配置され、設定された探索範囲内でマッチングが
行なわれ、次式（１）に従って、一致度Ｒ（ｘ，ｙ）が
演算される。 Ｒ（ｘ，ｙ）＝Σ（Im１（ｘ，ｙ）−Im２（ｘ＋Δｘ，ｙ＋Δｙ））² ・・・（１）

【００１１】ここで、Im１（ｘ，ｙ）は、基準画像１ａ
の画素を表わし、Im２（ｘ＋Δｘ，ｙ＋Δｙ）は、参照
画像２ａの画素を表わしている。また、Δｘ，Δｙは、
テンプレート１２のエピポーラライン１３上での移動量
を表わしている。

【００１２】次に、テンプレート１２がエピポーラライ
ン１３に沿って移動されてテンプレート１２Ｂとして配
置され、テンプレート１２Ａと同様に、式（１）に従っ
て、一致度Ｒ（ｘ，ｙ）が演算される。さらに、テンプ
レート１２がエピポーラライン１３に沿って移動されて
テンプレート１２Ｃとして配置され、テンプレート１２
Ａ，１２Ｂと同様に、式（１）に従って、一致度Ｒ
（ｘ，ｙ）が演算される。

【００１３】式（１）を用いて演算された３個の一致度
Ｒ（ｘ，ｙ）のうち、その値が最小となるとき、基準画
像１ａと参照画像２ａの間の一致度（類似度）が最も高
くなる。従って、一致度Ｒ（ｘ，ｙ）が最小になったと
きのテンプレート１２の移動量Δｘ，Δｙを、その注目
点１１の視差とし、三角測量の原理により、その注目点
１１の３次元空間における形状または奥行きを算出する
ことができる。

【００１４】このように、Area-Basedマッチング法で
は、各画素ごとにマッチング（対応付け）処理を繰り返
すことにより、全ての画素に対応する３次元形状データ
を得ることができる。なお、図２に示した例において
は、３つのテンプレート（テンプレート１２Ａ乃至１２
Ｃ）に対する一致度Ｒ（ｘ，ｙ）が演算されたが、実際
には、テンプレート１２が、エピポーラライン１３上
を、設定された探索範囲内で所定の値ずつ移動されて、
式（１）に従って、各位置の一致度Ｒ（ｘ，ｙ）が演算
される。

【００１５】

【発明が解決しようとする課題】ところで、上述したス
テレオ３次元画像計測方法は、被写体が遠方に位置して
いる場合や、画面を占める被写体の大きさが大きい場
合、基準画像の画素と参照画像の画素との正確な視差を
得ることが困難である課題があった。

【００１６】本発明はこのような状況に鑑みてなされた
ものであり、３次元形状を計測する対象である被写体ま
での距離に対応して、ステレオ視またはRSM(Recovering
Shape and Motion)技術（後述）を切り替えて用いるこ
とにより、被写体までの距離に拘わらず、被写体の３次
元形状を計測できるようにすることを目的とする。

【００１７】

【課題を解決するための手段】本発明の３次元形状計測
装置は、被写体までの距離を概算する概算手段と、概算
手段が概算した被写体までの距離に対応して、第１のモ
ードと第２のモードを切り替える切り替え手段と、第１
のモード時に処理を行う手段として、非周期的な投光パ
ターンが照射された状態の被写体を撮影して、基準画像
を生成する第１の撮影手段と、第１の撮影手段の位置と
は異なる位置から第１の撮影手段と同期して、投光パタ
ーンが照射された状態の被写体を撮影し、参照画像を生
成する第２の撮影手段と、基準画像上の画素と、参照画
像上の画素との対応を識別して、対応する画素間の視差
を算出する識別手段と、視差に基づいて距離画像を生成
する距離画像生成手段とを含み、第２のモード時に処理
を行う手段として、被写体を断続的に撮影して、複数の
時系列画像を生成する第３の撮影手段と、時系列画像上
の特徴点を抽出する抽出手段と、抽出手段が抽出した特
徴点を複数の時系列画像に亘って追跡する追跡手段と、
追跡手段の追跡結果に基づいて特徴点の３次元座標を演
算し、距離画像を生成する演算手段とを含むことを特徴
とする。

【００１８】前記第１の撮影手段または前記第２の撮影
手段は、前記第３の撮影手段を兼ねるようにすることが
できる。

【００１９】前記概算手段は、ステレオ視を用いて、被
写体までの距離を概算するようにすることができる。

【００２０】本発明の３次元形状計測装置は、距離画像
にテクスチャを貼付して３次元形状画像を生成する貼付
手段をさらに含むことができる。

【００２１】本発明の３次元形状計測装置は、第１の撮
影手段が生成した基準画像、第２の撮影手段が生成した
参照画像、第３の撮影手段が生成した時系列画像、また
は、貼付手段が生成した３次元形状画像のうちの少なく
とも１つを記憶する記憶手段をさらに含むことができ
る。

【００２２】本発明の３次元形状計測方法は、被写体ま
での距離を概算する概算ステップと、概算ステップの処
理で概算された被写体までの距離に対応して、第１のモ
ードと第２のモードを切り替える切り替えステップと、
第１のモード時に処理を行うステップとして、非周期的
な投光パターンが照射された状態の被写体を撮影して、
基準画像を生成する第１の撮影ステップと、第１の撮影
ステップの処理で撮影した位置とは異なる位置から第１
の撮影ステップの処理に同期して、投光パターンが照射
された状態の被写体を撮影し、参照画像を生成する第２
の撮影ステップと、基準画像上の画素と、参照画像上の
画素との対応を識別して、対応する画素間の視差を算出
する識別ステップと、視差に基づいて距離画像を生成す
る距離画像生成ステップとを含み、第２のモード時に処
理を行うステップとして、被写体を断続的に撮影して、
複数の時系列画像を生成する第３の撮影ステップと、時
系列画像上の特徴点を抽出する抽出ステップと、抽出ス
テップの処理で抽出された特徴点を複数の時系列画像に
亘って追跡する追跡ステップと、追跡ステップの処理の
追跡結果に基づいて、特徴点の３次元座標を演算し、距
離画像を生成する演算ステップとを含むことを特徴とす
る。

【００２３】本発明の記録媒体のプログラムは、被写体
までの距離を概算する概算ステップと、概算ステップの
処理で概算された被写体までの距離に対応して、第１の
モードと第２のモードを切り替える切り替えステップ
と、第１のモード時に処理を行うステップとして、非周
期的な投光パターンが照射された状態の被写体を撮影し
て得られる画像から、基準画像を生成する第１の生成ス
テップと、第１の生成ステップの処理で基準画像を生成
するのに用いられた画像の撮影と同期して、異なる位置
から投光パターンが照射された状態の被写体を撮影して
得られる画像から、参照画像を生成する第２の生成ステ
ップと、基準画像上の画素と、参照画像上の画素との対
応を識別して、対応する画素間の視差を算出する識別ス
テップと、視差に基づいて距離画像を生成する距離画像
生成ステップとを含み、第２のモード時に処理を行うス
テップとして、被写体を断続的に撮影して得られる複数
の時系列画像上の特徴点を抽出する抽出ステップと、抽
出ステップの処理で抽出された特徴点を複数の時系列画
像に亘って追跡する追跡ステップと、追跡ステップの処
理の追跡結果に基づいて、特徴点の３次元座標を演算
し、距離画像を生成する演算ステップとを含むことを特
徴とする。

【００２４】本発明の３次元形状計測装置、３次元形状
計測方法、および記録媒体のプログラムにおいては、被
写体までの距離が概算され、概算された被写体までの距
離に対応して、第１のモードと第２のモードが切り替え
られる。第１のモード時の処理として、非周期的な投光
パターンが照射された状態の被写体が撮影されて得られ
る画像から基準画像が生成され、それと同期して異なる
位置から投光パターンが照射された状態の被写体が撮影
されて得られる画像から参照画像が生成される。さら
に、基準画像上の画素と、参照画像上の画素との対応が
識別されて対応する画素間の視差が算出され、視差に基
づいて距離画像が生成される。また、第２のモード時の
処理として、被写体が断続的に撮影されて複数の時系列
画像が生成され、時系列画像上の特徴点が抽出されて、
抽出された特徴点が複数の時系列画像に亘って追跡さ
れ、追跡結果に基づいて特徴点の３次元座標が演算さ
れ、距離画像が生成される。

【００２５】

【発明の実施の形態】本発明を適用した３次元形状計測
装置の構成例について、図３を参照して説明する。この
３次元形状計測装置は、３次元形状を計測する対象とし
ての被写体までの距離が近い場合、ステレオ視を用いて
被写体の３次元形状を計測し、被写体までの距離が遠い
場合、RSM技術を用いて被写体の３次元形状を計測する
ものである。

【００２６】撮像部３１は、レンズおよびCCD(Charge C
oupled Device)素子などから構成されており、被写体の
画像信号（以下、単に画像と記述する）を画像取り込み
部３２に出力する。画像取り込み部３２は、撮像部３１
から常時入力される被写体の画像を、制御部３８からの
制御に基づくタイミングで取り込み（記憶し）、取り込
んだ画像をステレオ視３次元形状計測部３６に出力す
る。

【００２７】撮像部３１と所定の距離だけ離れて配置さ
れた撮像部３３は、撮像部３１と同様に構成されてお
り、被写体の画像を画像取り込み部３４に出力する。画
像取り込み部３４は、撮像部３３から常時入力される被
写体の画像を制御部３８からの制御に基づくタイミング
で取り込み、取り込んだ画像をステレオ視３次元形状計
測部３６、またはRSM３次元形状計測部３７に出力す
る。

【００２８】投光パターン照射部３５は、制御部３８か
らの制御に基づき、ステレオ視計測モードにおいて、一
様乱数や正規乱数を発生して、図４(A)，(B)に示すよう
な、ドットのサイズ、線の長さや太さ、位置、濃度等を
非周期的に設定した投光パターンを生成し、制御部３８
からの制御に基づくタイミングで、投光パターンを被写
体に照射する。

【００２９】ステレオ視３次元形状計測部３６は、初期
動作において、画像取り込み部３２から入力される画像
と画像取り込み部３４から入力される画像を用いて、被
写体までの大まかな距離を計測して制御部３８に出力す
る。ステレオ視３次元形状計測部３６はまた、ステレオ
視計測モードにおいて、基準画像と参照画像にステレオ
視を適用して各画素の被写体の３次元形状を計測し、対
応する３次元形状画像を生成する。

【００３０】RSM３次元形状計測部３７は、RSMモードに
おいて、画像取り込み部３４から順次入力される複数の
画像に対し、RSM技術を適用して被写体の３次元形状を
計測し、対応する３次元形状画像を生成する。

【００３１】RSM技術とは、同一の被写体を移動しなが
ら異なる視点で撮影し、得られる複数の時系列画像（数
フレームの画像）のうち、１フレーム目の画像から画像
上の特徴点を抽出して、抽出した特徴点を各フレームの
画像上で追跡し、当該画像を擬似的な中心射影モデルと
仮定して、特異値分解法によって被写体の３次元形状と
撮影時の移動軌跡を復元する技術であり、その詳細につ
いては、「金出、ポールマン、森田：因子分解法による
物体形状とカメラ運動の復元、電子情報通信学会論文誌
Ｄ−II、Vol.Ｊ７６Ｄ−II、No.８、ｐｐ．１４９７−
１５０５、（１９９３）」などに記載されている。

【００３２】制御部３８は、ドライブ３９を駆動させ
て、磁気ディスク４０、光ディスク４１、光磁気ディス
ク４２、または半導体メモリ４３に記憶されている制御
用プログラムを読み出し、読み出した制御用プログラム
やユーザの操作に基づいて、当該３次元形状計測装置の
各部を制御する。

【００３３】具体的には、初期動作において、制御部３
８は、ステレオ視３次元形状計測部３６から入力される
被写体までの大まかな距離、またはユーザからの操作に
基づいて、当該３次元形状計測装置をステレオ視計測モ
ード、またはRSMモードのいずれかに設定する。ステレ
オ視計測モードにおいて、制御部３８は、投光パターン
照射部３５に投光パターンを被写体に照射させ、画像取
り込み部３２，３４に、パターンが照射された状態の被
写体の画像を同時に取り込ませてステレオ視３次元形状
計測部３６に供給させる。RSMモードにおいて、制御部
３４は、画像取り込み部３４に対し、所定のタイミング
（例えば、ユーザのシャッタ操作に同期したタイミン
グ）で複数回連続して画像を取り込ませて、RSM３次元
形状計測部３７に供給させる。

【００３４】図５は、ステレオ視３次元形状計測部３６
の詳細な構成例を示している。画像間対応付け回路５１
は、画像取り込み部３２から入力される画像と画像取り
込み部３４から入力される画像のうち、一方の画像を基
準画像とし、他方の画像を参照画像として、Area−Base
dマッチング法により各画素の対応付けを行い、基準画
像の各画素に対応する参照画像の画素の視差を距離画像
生成部５２に出力する。

【００３５】Area−Basedマッチングに際しては、変形
テンプレートを用いたテンプレートマッチングが行われ
る。また、参照画像には、カメラキャリブレーションに
基づく射影変換が施される。なお、変形テンプレートを
用いたテンプレートマッチングについては、例えば、特
願平１１−２２１９１８号として本出願人が提案してお
り、カメラキャリブレーションに基づく射影変換につい
ては、例えば、特開平１１−５３５４８号公報等に開示
されている。

【００３６】距離画像生成部５２は、画像間対応付け部
５１から入力される基準画像と参照画像の各画素の視差
を基に、被写体までのおおよその距離を算出して制御部
３８に出力する。距離画像生成部５２はまた、画像間対
応付け部５１から入力される基準画像と参照画像の各画
素の視差を基に、距離画像（画素値が被写体までの距離
に対応している画像）を生成してテクスチャ貼付部５３
に出力する。テクスチャ貼付部５３は、距離画像生成部
５２から入力される距離画像に、テクスチャ（面の色、
模様など）を貼付して３次元形状画像を生成する。

【００３７】図６は、RSM３次元形状計測部３７の詳細
な構成例を示している。特徴点抽出部６１は、画像取り
込み部３４から順次入力される時系列画像（数フレーム
分の画像）の第１フレームの画像上から、例えば被写体
のエッジなどの特徴点を抽出する。特徴点追跡部６２
は、特徴点を各フレームの画像上で追跡し、各フレーム
画像上における特徴点の座標からなる特徴点行列Ｗを生
成して、３次元形状および動き復元部６３に出力する。
なお、特徴点を追跡する手法については、特願平１１−
２３６３３１号として既に提案済みである。

【００３８】３次元形状および動き復元部６３は、特異
値分解法によって特徴点行列Ｗから、被写体の３次元形
状成分（行列Ｓ）と撮影時の相対的な移動軌跡を示す動
き成分（行列Ｍ）を復元する。

【００３９】テクスチャ貼付部６４は、３次元形状およ
び動き復元部６３が復元した被写体の特徴点の３次元座
標値を基に距離画像を生成し、さらに各フレーム画像か
ら取得するテクスチャ（面の色、模様など）を貼付して
被写体の３次元形状画像を生成する。

【００４０】なお、ステレオ視３次元形状計測部３６の
テクスチャ貼付部５３、またはRSM３次元形状計測部３
７のテクスチャ貼付部６４で生成される３次元形状画像
は後段の表紙装置または記録装置（いずれも不図示）に
出力され、表示されたり、記録媒体に記録される。

【００４１】次に、３次元形状計測装置の動作につい
て、図７のフローチャートを参照して説明する。

【００４２】ステップＳ１において、３次元形状を計測
する対象である被写体までの大まかな距離が計測され
る。具体的には、撮像部３１，３３で撮像された画像が
画像取り込み部３２，３４により同時に取り込まれて
（記憶されて）、ステレオ視３次元形状計測部３６の画
像間対応付け部５１に供給される。なお、このとき、投
光パターン照射部３５によって、被写体に投光パターン
を照射するようにしてもよい。

【００４３】また、撮像部３１，３３で撮像された画像
を用いずに、被写体までの大まかな距離を計測するため
の専用の装置を設けるようにしてもよい。

【００４４】画像間対応付け部５１では、一方が基準画
像、他方が参照画像とされて、基準画像の所定の画素
（例えば、中心の画素）に対応する参照画像上の画素が
検出されて、その視差が距離画像生成部５２に出力され
る。距離画像生成部５２では、入力された視差に基づ
き、被写体までの大まかな距離が算出されて制御部３８
に供給される。

【００４５】ステップＳ２において、制御部３８は、距
離画像生成部５２から供給された被写体までの大まかな
距離を、所定の閾値（例えば、数メートル）と比較する
ことにより、被写体がステレオ視による計測の範囲内に
位置しているか否かを判定する。被写体までの大まかな
距離が所定の閾値よりも小さい、すなわち、被写体がス
テレオ視による計測の範囲内に位置していると判定され
た場合、ステップＳ３に進む。ステップＳ３において、
制御部３８は、当該３次元形状計測装置をステレオ視計
測モードに設定する。

【００４６】ステップＳ４において、投光パターン照射
部３５は、被写体に投光パターンを照射する。撮像部３
１，３３は、投光パターンが照射された状態の被写体を
撮像する。画像取り込み部３２，３４は、同時に撮像部
３１，３３からの画像を取り込み、ステレオ視３次元形
状計測部３６の画像間対応付け部５１に供給する。被写
体が、例えば人の顔であるときの、画像取り込み部３
２，３４によって同時に取り込まれる画像の例を図８
(A)，(B)に示す。

【００４７】ステップＳ５において、ステレオ視３次元
形状計測部３６は、画像取り込み部３２，３４からの画
像にステレオ視を適用して、被写体の３次元形状画像を
生成する。ステップＳ５の処理の詳細について、図９の
フローチャートを参照して説明する。

【００４８】ステップＳ２１において、ステレオ視３次
元形状計測部３６の画像間対応付け回路５１は、画像取
り込み部３２から入力された画像（例えば、図８(A)に
示した画像）と画像取り込み部３４から入力される画像
（例えば、図８(B)に示した画像）のうち、一方の画像
を基準画像とし、他方の画像を参照画像として、変形テ
ンプレートを用いたテンプレートマッチング（Area−Ba
sedマッチング法）により各画素の対応付けを行い、ス
テップＳ２２において、基準画像の各画素に対応する参
照画像の画素の視差を距離画像生成部５２に出力する。

【００４９】ステップＳ２３において、距離画像生成部
５２は、画像間対応付け部５１から入力された基準画像
と参照画像の各画素の視差を基に、例えば、図１０に示
すような距離画像（画素値が被写体までの距離に対応し
ている画像）を生成してテクスチャ貼付部５３に出力す
る。ステップＳ２４において、テクスチャ貼付部５３
は、距離画像生成部５２から入力される距離画像にテク
スチャ（面の色、模様など）を貼付して、図１１および
図１２に示すような３次元形状画像を生成する。

【００５０】以上のような処理によって、近距離（ステ
レオ視による計測範囲内）に位置する被写体の３次元形
状画像を生成した後、図７のステップＳ６に戻る。

【００５１】ステップＳ６において、生成された３次元
形状画像は、後段の表示装置または記録装置（いずれも
不図示）に出力される。

【００５２】一方、ステップＳ２において、被写体まで
の大まかな距離が所定の閾値よりも大きい、すなわち、
被写体がステレオ視による計測の範囲内に位置していな
いと判定された場合、ステップＳ７に進む。ステップＳ
７において、制御部３８は、当該３次元形状計測装置を
RSMモードに設定する。

【００５３】ステップＳ８において、ユーザは撮像部３
３を遠距離（ステレオ視による計測範囲外）に位置する
被写体に向けた状態で、３次元形状計測装置を移動させ
ながら数回シャッタ操作を行う。このシャッタ操作に対
応した制御部３８に制御に基づき、画像取り込み部３４
は、撮像部３３からの時系列的に連続する複数の画像を
取り込み、RSM３次元形状計測部３７に供給する。被写
体が、例えば建物であるときの、画像取り込み部３４に
よって順次取り込まれる複数の画像の例を図１３に示
す。

【００５４】ステップＳ９において、RSM３次元形状計
測部３７により、画像取り込み部３４からの複数の画像
にRSM技術が適用されて被写体の３次元形状画像が生成
される。ステップＳ９の処理の詳細について、図１４の
フローチャートを参照して説明する。

【００５５】ステップＳ３１において、RSM３次元形状
計測部３７の特徴点抽出部６１は、図１５に示すよう
に、画像取り込み部３４から順次入力される時系列画像
（数フレーム分の画像）の第１フレームの画像上から、
例えば被写体のエッジなどの特徴点を抽出する。ステッ
プＳ３２において、特徴点追跡部６２は、図１６に示す
ように、特徴点を各フレームの画像上で追跡し、ステッ
プＳ３３において、各フレーム画像上における特徴点の
座標からなる特徴点行列Ｗを生成して、３次元形状およ
び動き復元部６３に出力する。なお、特徴点がＰ個抽出
され、Ｆ枚のフレーム画像に亘って追跡された場合、特
徴点行列Ｗは、２Ｆ×Ｐの行列となる。

【００５６】ステップＳ３４において、３次元形状およ
び動き復元部６３は、特異値分解法によって特徴点行列
Ｗを、Ｗ＝ＵΣＶ’に分解し、ステップＳ３５におい
て、被写体の３次元形状成分（行列Ｓ）と撮影時の相対
的な移動軌跡を示す動き成分（行列Ｍ）を復元する。こ
こで、行列ＵはＦ×３の直交行列であり、行列Ｖ’は３
×Ｐの直交行列であり、行列Σは３×３の対角行列であ
り、行列Ｓは３×Ｐであり、行列ＭはＦ×３である。ま
た、行列Ｕ，Σ，Ｖ’，Ｍ，Ｓについては、次式に示す
関係がある。 Ｍ＝Ｕ＊Ａ Ｓ＝Ａ^-1＊Σ＊Ｖ’ ここで、Ａは３×３の行列である。

【００５７】ステップＳ３６において、３次元形状およ
び動き復元部６３は、撮像部３３の姿勢を表す単位ベク
トル（ｍ_f，ｎ_f）に関する次式の関係を拘束条件とし
て、行列Ａを一意に決定する。 ｍ_f ^T・ｍ_f ^T＝ｎ_f ^T・ｎ_f ^T＝１ ｍ_f ^T・ｎ_f ^T＝０

【００５８】ステップＳ３７において、３次元形状およ
び動き復元部６３は、決定した行列Ａを基に、各特徴点
の３次元座標値および撮影時の移動軌跡を取得する。ス
テップＳ３８において、テクスチャ貼付部６４は、３次
元形状および動き復元部６３が復元した被写体の特徴点
の３次元座標値を基に距離画像を生成し、さらに各フレ
ーム画像から取得するテクスチャ（面の色、模様など）
を貼付して、図１７に示すような被写体の３次元形状画
像を生成する。

【００５９】以上のような処理によって、遠距離（ステ
レオ視による計測範囲外）に位置する被写体の３次元形
状画像を生成した後、図７のステップＳ６に戻る。

【００６０】なお、ステップＳ１，Ｓ２の処理を省略
し、ユーザが被写体までの距離を目測して、ステレオ視
計測モードまたはRSMモードを選択するようにしてもよ
い。

【００６１】ところで、上述した一連の処理は、ハード
ウェアにより実行させることもできるが、ソフトウェア
により実行させることもできる。一連の処理をソフトウ
ェアにより実行させる場合には、そのソフトウェアを構
成するプログラムが、専用のハードウェアに組み込まれ
ているコンピュータ、または、各種のプログラムをイン
ストールすることで、各種の機能を実行することが可能
な、例えば汎用のパーソナルコンピュータなどに、記録
媒体からインストールされる。

【００６２】この記録媒体は、図３に示すように、コン
ピュータとは別に、ユーザにプログラムを提供するため
に配布される、プログラムが記録されている磁気ディス
ク４０（フロッピディスクを含む）、光ディスク４１
（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digit
al Versatile Disc)を含む）、光磁気ディスク４２（Ｍ
Ｄ(Mini Disc)を含む）、もしくは半導体メモリ４３な
どよりなるパッケージメディアにより構成されるだけで
なく、コンピュータに予め組み込まれた状態でユーザに
提供される、プログラムが記録されているROMやハード
ディスクなどで構成される。

【００６３】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【００６４】

【発明の効果】以上のように、本発明の３次元形状計測
装置、３次元形状計測方法、および記録媒体のプログラ
ムによれば、被写体までの距離を概算し、概算した被写
体までの距離に対応して、第１のモードと第２のモード
を切り替えるようにしたので、被写体までの距離に拘わ
らず、被写体の３次元形状を計測することが可能とな
る。

【図面の簡単な説明】

【図１】エピポーララインを説明するための図である。

【図２】Area−Basedマッチング法を説明するための図
である。

【図３】本発明を適用した３次元形状計測装置の構成例
を示すブロック図である。

【図４】投光パターンの例を示す図である。

【図５】図３のステレオ視３次元形状計測部３６の詳細
な構成例を示すブロック図である。

【図６】図３のRSM３次元形状計測部３７の詳細な構成
例を示すブロック図である。

【図７】３次元形状計測装置の動作を説明するフローチ
ャートである。

【図８】ステレオ視計測モードにおいて撮影された基準
画像と参照画像の一例を示す図である。

【図９】図７のステップＳ５の処理の詳細を説明するフ
ローチャートである。

【図１０】距離画像生成部５２によって生成された距離
画像の一例を示す図である。

【図１１】テクスチャ貼付部５３によって生成された被
写体の３次元形状画像の一例を示す図である。

【図１２】テクスチャ貼付部５３によって生成された被
写体の３次元形状画像の一例を示す図である。

【図１３】RSMモードにおいて撮影された時系列画像の
一例を示す図である。

【図１４】図７のステップＳ９の処理の詳細を説明する
フローチャートである。

【図１５】特徴点抽出部６１によって抽出される特徴点
の一例を示す図である。

【図１６】特徴点追跡部６２によって追跡された特徴点
の軌跡を示す図である。

【図１７】テクスチャ貼付部６４によって生成された被
写体の３次元形状画像の一例を示す図である。

【符号の説明】

３１ 撮像部， ３２ 画像取り込み部， ３３ 撮像
部， ３４ 画像取り込み部， ３５ 投光パターン照
射部， ３６ ステレオ視３次元形状計測部，３７ RS
M３次元形状計測部， ３８ 制御部， ３９ ドライ
ブ， ４０磁気ディスク， ４１ 光ディスク， ４２
光磁気ディスク， ４３ 半導体メモリ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 後 輝行 東京都品川区東五反田１丁目14番10号 株 式会社ソニー木原研究所内 (72)発明者 横山 敦 東京都品川区東五反田１丁目14番10号 株 式会社ソニー木原研究所内 Ｆターム(参考） 2F065 AA04 AA53 BB28 CC16 DD03 FF05 GG01 HH00 JJ03 JJ05 JJ26 QQ00 QQ24 QQ28 QQ38

Claims (8)

【特許請求の範囲】
1. 【請求項１】 被写体を異なる視点から撮影した画像を
   用いて、前記被写体の３次元形状を計測する３次元形状
   計測装置において、 前記被写体までの距離を概算する概算手段と、 前記概算手段が概算した前記被写体までの距離に対応し
   て、第１のモードと第２のモードを切り替える切り替え
   手段と、 前記第１のモード時に処理を行う手段として、 非周期的な投光パターンが照射された状態の前記被写体
   を撮影して、基準画像を生成する第１の撮影手段と、 前記第１の撮影手段の位置とは異なる位置から前記第１
   の撮影手段と同期して、前記投光パターンが照射された
   状態の前記被写体を撮影し、参照画像を生成する第２の
   撮影手段と、 前記基準画像上の画素と、前記参照画像上の画素との対
   応を識別して、対応する画素間の視差を算出する識別手
   段と、 前記視差に基づいて距離画像を生成する距離画像生成手
   段とを含み、 前記第２のモード時に処理を行う手段として、 前記被写体を断続的に撮影して、複数の時系列画像を生
   成する第３の撮影手段と、 前記時系列画像上の特徴点を抽出する抽出手段と、 前記抽出手段が抽出した前記特徴点を前記複数の時系列
   画像に亘って追跡する追跡手段と、 前記追跡手段の追跡結果に基づいて前記特徴点の３次元
   座標を演算し、距離画像を生成する演算手段とを含むこ
   とを特徴とする３次元形状計測装置。
2. 【請求項２】 前記第１の撮影手段または前記第２の撮
   影手段は、前記第３の撮影手段を兼ねることを特徴とす
   る請求項１に記載の３次元形状計測装置。
3. 【請求項３】 前記第１のモードは、ステレオ視計測モ
   ードであり、前記第２のモードは、RSMモードであるこ
   とを特徴とする請求項１に記載の３次元形状計測装置。
4. 【請求項４】 前記概算手段は、ステレオ視を用いて、
   前記被写体までの距離を概算することを特徴とする請求
   項１に記載の３次元形状計測装置。
5. 【請求項５】 前記距離画像にテクスチャを貼付して３
   次元形状画像を生成する貼付手段をさらに含むことを特
   徴とする請求項１に記載の３次元形状計測装置。
6. 【請求項６】 前記第１の撮影手段が生成した前記基準
   画像、前記第２の撮影手段が生成した前記参照画像、前
   記第３の撮影手段が生成した前記時系列画像、または、
   前記貼付手段が生成した前記３次元形状画像のうちの少
   なくとも１つを記憶する記憶手段をさらに含むことを特
   徴とする請求項５に記載の３次元形状計測装置。
7. 【請求項７】 被写体を異なる視点から撮影した画像を
   用いて、前記被写体の３次元形状を計測する３次元形状
   計測装置の３次元形状計測方法において、 前記被写体までの距離を概算する概算ステップと、 前記概算ステップの処理で概算された前記被写体までの
   距離に対応して、第１のモードと第２のモードを切り替
   える切り替えステップと、 前記第１のモード時に処理を行うステップとして、 非周期的な投光パターンが照射された状態の前記被写体
   を撮影して、基準画像を生成する第１の撮影ステップ
   と、 前記第１の撮影ステップの処理で撮影した位置とは異な
   る位置から前記第１の撮影ステップの処理に同期して、
   前記投光パターンが照射された状態の前記被写体を撮影
   し、参照画像を生成する第２の撮影ステップと、 前記基準画像上の画素と、前記参照画像上の画素との対
   応を識別して、対応する画素間の視差を算出する識別ス
   テップと、 前記視差に基づいて距離画像を生成する距離画像生成ス
   テップとを含み、 前記第２のモード時に処理を行うステップとして、 前記被写体を断続的に撮影して、複数の時系列画像を生
   成する第３の撮影ステップと、 前記時系列画像上の特徴点を抽出する抽出ステップと、 前記抽出ステップの処理で抽出された前記特徴点を前記
   複数の時系列画像に亘って追跡する追跡ステップと、 前記追跡ステップの処理の追跡結果に基づいて、前記特
   徴点の３次元座標を演算し、距離画像を生成する演算ス
   テップとを含むことを特徴とする３次元形状計測方法。
8. 【請求項８】 被写体を異なる視点から撮影した画像を
   用いて、前記被写体の３次元形状を計測する３次元形状
   計測用のプログラムであって、 前記被写体までの距離を概算する概算ステップと、 前記概算ステップの処理で概算された前記被写体までの
   距離に対応して、第１のモードと第２のモードを切り替
   える切り替えステップと、 前記第１のモード時に処理を行うステップとして、 非周期的な投光パターンが照射された状態の前記被写体
   を撮影して得られる画像から、基準画像を生成する第１
   の生成ステップと、 前記第１の生成ステップの処理で前記基準画像を生成す
   るのに用いられた画像の撮影と同期して、異なる位置か
   ら前記投光パターンが照射された状態の前記被写体を撮
   影して得られる画像から、参照画像を生成する第２の生
   成ステップと、 前記基準画像上の画素と、前記参照画像上の画素との対
   応を識別して、対応する画素間の視差を算出する識別ス
   テップと、 前記視差に基づいて距離画像を生成する距離画像生成ス
   テップとを含み、 前記第２のモード時に処理を行うステップとして、 前記被写体を断続的に撮影して得られる複数の時系列画
   像上の特徴点を抽出する抽出ステップと、 前記抽出ステップの処理で抽出された前記特徴点を前記
   複数の時系列画像に亘って追跡する追跡ステップと、 前記追跡ステップの処理の追跡結果に基づいて、前記特
   徴点の３次元座標を演算し、距離画像を生成する演算ス
   テップとを含むことを特徴とするコンピュータが読み取
   り可能なプログラムが記録されている記録媒体。