JP2003006618A - ３次元モデルの生成方法および装置並びにコンピュータプログラム - Google Patents
３次元モデルの生成方法および装置並びにコンピュータプログラムInfo
- Publication number
- JP2003006618A JP2003006618A JP2001193874A JP2001193874A JP2003006618A JP 2003006618 A JP2003006618 A JP 2003006618A JP 2001193874 A JP2001193874 A JP 2001193874A JP 2001193874 A JP2001193874 A JP 2001193874A JP 2003006618 A JP2003006618 A JP 2003006618A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- camera
- shape data
- points
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
(57)【要約】
【課題】対象物を異なる視点位置から撮影して得られた
複数の３次元形状データを精度よく統合して高精度の３
次元モデルを生成すること。 【解決手段】対象物の異なる視点位置に対応する３次元
形状データおよび２次元画像を取得し、視点位置の異な
る２つの２次元画像を特徴点により互いに対応付け、対
応付けされた特徴点の座標を用いてカメラの回転と平行
移動の方向とをパラメータとして２つの２次元画像のず
れの度合いを表した評価関数が最小となるようにカメラ
の回転と平行移動の方向とを求め、２つの２次元画像の
特徴点を用いて２つの３次元形状データ上の点を互いに
対応付け、対応付けされた２つの３次元形状データ上の
点の３次元座標を用いてカメラの平行移動の大きさを求
め、求められたカメラの回転と平行移動の方向および大
きさとに基づいて２つの３次元形状データの位置合わせ
を行って統合する。
複数の３次元形状データを精度よく統合して高精度の３
次元モデルを生成すること。 【解決手段】対象物の異なる視点位置に対応する３次元
形状データおよび２次元画像を取得し、視点位置の異な
る２つの２次元画像を特徴点により互いに対応付け、対
応付けされた特徴点の座標を用いてカメラの回転と平行
移動の方向とをパラメータとして２つの２次元画像のず
れの度合いを表した評価関数が最小となるようにカメラ
の回転と平行移動の方向とを求め、２つの２次元画像の
特徴点を用いて２つの３次元形状データ上の点を互いに
対応付け、対応付けされた２つの３次元形状データ上の
点の３次元座標を用いてカメラの平行移動の大きさを求
め、求められたカメラの回転と平行移動の方向および大
きさとに基づいて２つの３次元形状データの位置合わせ
を行って統合する。
Description
【０００１】
【発明の属する技術分野】本発明は、カメラを用いて対
象物を異なる視点位置から撮影（計測を含む）し、これ
によって得られた複数の３次元形状データを統合して３
次元モデルを生成する方法および装置、キャリブレーシ
ョン装置、並びにコンピュータプログラムに関する。
象物を異なる視点位置から撮影（計測を含む）し、これ
によって得られた複数の３次元形状データを統合して３
次元モデルを生成する方法および装置、キャリブレーシ
ョン装置、並びにコンピュータプログラムに関する。
【０００２】
【従来の技術】従来より、対象物についての視差のある
複数の画像（２次元画像）から３次元形状データを生成
する技術が知られている。視差のある複数の画像を取得
するために、複数のカメラが一体になった多眼カメラが
しばしば用いられる。
複数の画像（２次元画像）から３次元形状データを生成
する技術が知られている。視差のある複数の画像を取得
するために、複数のカメラが一体になった多眼カメラが
しばしば用いられる。
【０００３】多眼カメラでは、各カメラの外部パラメー
タ（カメラの位置姿勢）および内部パラメータ（焦点距
離、画素ピッチなど）が予め校正されている。多眼カメ
ラによって、対象物を撮影し、得られた複数の画像から
対応点を検出し、三角測量の原理で３次元再構成を行っ
て３次元形状データを得る。対応点の組をより多く検出
するために、対象物にパターン光を投影して撮影する。
タ（カメラの位置姿勢）および内部パラメータ（焦点距
離、画素ピッチなど）が予め校正されている。多眼カメ
ラによって、対象物を撮影し、得られた複数の画像から
対応点を検出し、三角測量の原理で３次元再構成を行っ
て３次元形状データを得る。対応点の組をより多く検出
するために、対象物にパターン光を投影して撮影する。
【０００４】生成された３次元形状データに、対象物の
２次元画像をマッピングすることにより、対象物につい
ての忠実な３次元モデルが生成される。マッピングのた
めの画像の撮影には、パターン光は邪魔になるので、３
次元形状データを得るための撮影とは別に行う。
２次元画像をマッピングすることにより、対象物につい
ての忠実な３次元モデルが生成される。マッピングのた
めの画像の撮影には、パターン光は邪魔になるので、３
次元形状データを得るための撮影とは別に行う。
【０００５】さて、対象物についての３次元モデルを生
成するには、対象物について、その周囲から視点位置を
変えて複数回の撮影を行う必要がある。複数回の撮影に
よって、視点位置の異なる複数の３次元形状データが得
られ、これらを統合することによって対象物についての
全体の３次元モデルが生成される。
成するには、対象物について、その周囲から視点位置を
変えて複数回の撮影を行う必要がある。複数回の撮影に
よって、視点位置の異なる複数の３次元形状データが得
られ、これらを統合することによって対象物についての
全体の３次元モデルが生成される。
【０００６】
【発明が解決しようとする課題】しかし、３次元形状デ
ータを統合する際に、各３次元形状データのキャリブレ
ーション、つまり各視点位置についてカメラのキャリブ
レーションを行う必要がある。
ータを統合する際に、各３次元形状データのキャリブレ
ーション、つまり各視点位置についてカメラのキャリブ
レーションを行う必要がある。
【０００７】複数の３次元形状データ間のキャリブレー
ションを行うために、予め形状が分かっている標準物体
を撮影し、得られた画像と標準物体上の点の座標とから
カメラの投影行列を求めることが一般的に行われてい
る。しかし、この方法では、標準物体を撮影してから目
的の対象物を撮影するまでの間に、カメラを動かしては
いけない。したがって、カメラが固定されていない場合
には適用できない。つまり、例えばカメラを手持ちで撮
影することはできない。
ションを行うために、予め形状が分かっている標準物体
を撮影し、得られた画像と標準物体上の点の座標とから
カメラの投影行列を求めることが一般的に行われてい
る。しかし、この方法では、標準物体を撮影してから目
的の対象物を撮影するまでの間に、カメラを動かしては
いけない。したがって、カメラが固定されていない場合
には適用できない。つまり、例えばカメラを手持ちで撮
影することはできない。
【０００８】カメラが固定されていない場合に、次の方
法を用いる。すなわち、複数の視点位置から対象物を撮
影し、複数の画像上の特徴点を対応付ける。対応付けに
よって複数の特徴点（対応点）の組を得る。対応点の組
を用いて、第１の視点位置に対する第２の視点位置の相
対的な位置および視線方向を求める。
法を用いる。すなわち、複数の視点位置から対象物を撮
影し、複数の画像上の特徴点を対応付ける。対応付けに
よって複数の特徴点（対応点）の組を得る。対応点の組
を用いて、第１の視点位置に対する第２の視点位置の相
対的な位置および視線方向を求める。
【０００９】しかし、この方法では、多くの対応点の組
が必要である。但し、理論上は８個以上の組があればよ
いが、この方法が誤差に弱い点を考慮すると、かなり多
くの対応点をとる必要がある。多くの対応点を得るため
には、上に述べたようにパターン光を投影する。しか
し、カメラを移動すると、カメラに付属したパターン投
影装置も移動するので、対象物上のパターンの位置が移
動してしまう。その結果、対応点が正しく求められな
い。
が必要である。但し、理論上は８個以上の組があればよ
いが、この方法が誤差に弱い点を考慮すると、かなり多
くの対応点をとる必要がある。多くの対応点を得るため
には、上に述べたようにパターン光を投影する。しか
し、カメラを移動すると、カメラに付属したパターン投
影装置も移動するので、対象物上のパターンの位置が移
動してしまう。その結果、対応点が正しく求められな
い。
【００１０】また、この方法には、第１の視点位置に対
する第２の視点位置の回転および平行移動を求める際
に、平行移動を表すベクトルには定数倍の自由度が残っ
てしまうという問題もある。
する第２の視点位置の回転および平行移動を求める際
に、平行移動を表すベクトルには定数倍の自由度が残っ
てしまうという問題もある。
【００１１】また、複数の３次元形状データ間のキャリ
ブレーションを行うために、それら各３次元形状データ
上の点の対応を用いる方法もある。しかし、その場合
に、３次元形状データには輝度情報などがないため、対
応付けを行うための特徴点の抽出が困難である。
ブレーションを行うために、それら各３次元形状データ
上の点の対応を用いる方法もある。しかし、その場合
に、３次元形状データには輝度情報などがないため、対
応付けを行うための特徴点の抽出が困難である。
【００１２】このように、従来において、対象物を異な
る視点位置から撮影して得られた複数の３次元形状デー
タを統合する際に、キャリブレーションを行うことが容
易でない。その結果、３次元形状データを精度よく統合
して高精度の３次元モデルを生成することが容易でなか
った。
る視点位置から撮影して得られた複数の３次元形状デー
タを統合する際に、キャリブレーションを行うことが容
易でない。その結果、３次元形状データを精度よく統合
して高精度の３次元モデルを生成することが容易でなか
った。
【００１３】本発明は、上述の問題に鑑みてなされたも
ので、対象物を異なる視点位置から撮影して得られた複
数の３次元形状データを精度よく統合して高精度の３次
元モデルを生成することを目的とする。
ので、対象物を異なる視点位置から撮影して得られた複
数の３次元形状データを精度よく統合して高精度の３次
元モデルを生成することを目的とする。
【００１４】
【課題を解決するための手段】本発明に係る方法は、対
象物の３次元形状データを得るために対象物を非接触で
計測し且つ対象物の２次元画像を取得することの可能な
カメラを用い、対象物についての３次元モデルを生成す
る方法であって、前記カメラによって対象物を異なる視
点位置から複数回計測し、それぞれの視点位置に対応す
る３次元形状データおよび２次元画像を取得するステッ
プと、視点位置の異なる２つの前記２次元画像につい
て、複数の特徴点を抽出して互いに対応付けるステップ
と、対応付けされた前記特徴点の２次元座標を用いて、
前記カメラの回転と平行移動の方向とをパラメータとし
て２つの前記２次元画像のずれの度合いを表した評価関
数が最小となるように、２つの視点位置の間におけるカ
メラの回転と平行移動の方向とを求めるステップと、２
つの前記２次元画像についての対応付けされた前記特徴
点を用いて、各２次元画像と同じ視点位置で取得された
２つの３次元形状データ上の点を互いに対応付けるステ
ップと、対応付けされた２つの３次元形状データ上の点
の３次元座標を用いて、２つの視点位置の間におけるカ
メラの平行移動の大きさを求めるステップと、求められ
たカメラの回転と平行移動の方向および大きさとに基づ
いて、２つの３次元形状データの位置合わせを行って統
合するステップとを有してなる。
象物の３次元形状データを得るために対象物を非接触で
計測し且つ対象物の２次元画像を取得することの可能な
カメラを用い、対象物についての３次元モデルを生成す
る方法であって、前記カメラによって対象物を異なる視
点位置から複数回計測し、それぞれの視点位置に対応す
る３次元形状データおよび２次元画像を取得するステッ
プと、視点位置の異なる２つの前記２次元画像につい
て、複数の特徴点を抽出して互いに対応付けるステップ
と、対応付けされた前記特徴点の２次元座標を用いて、
前記カメラの回転と平行移動の方向とをパラメータとし
て２つの前記２次元画像のずれの度合いを表した評価関
数が最小となるように、２つの視点位置の間におけるカ
メラの回転と平行移動の方向とを求めるステップと、２
つの前記２次元画像についての対応付けされた前記特徴
点を用いて、各２次元画像と同じ視点位置で取得された
２つの３次元形状データ上の点を互いに対応付けるステ
ップと、対応付けされた２つの３次元形状データ上の点
の３次元座標を用いて、２つの視点位置の間におけるカ
メラの平行移動の大きさを求めるステップと、求められ
たカメラの回転と平行移動の方向および大きさとに基づ
いて、２つの３次元形状データの位置合わせを行って統
合するステップとを有してなる。
【００１５】本発明に係る１つの実施形態による装置
は、視点位置の異なる２つの２次元画像について、複数
の特徴点を抽出して互いに対応付ける手段と、対応付け
された前記特徴点の２次元座標を用いて、前記カメラの
回転と平行移動の方向とをパラメータとして２つの前記
２次元画像のずれの度合いを表した評価関数が最小とな
るように、２つの視点位置の間におけるカメラの回転と
平行移動の方向とを求める手段と、２つの前記２次元画
像についての対応付けされた前記特徴点を用いて、各２
次元画像と同じ視点位置で取得された２つの３次元形状
データ上の点を互いに対応付ける手段と、対応付けされ
た２つの３次元形状データ上の点の３次元座標を用い
て、２つの視点位置の間におけるカメラの平行移動の大
きさを求める手段と、求められたカメラの回転と平行移
動の方向および大きさとに基づいて、２つの３次元形状
データの位置合わせを行って統合する手段とを有してな
る。
は、視点位置の異なる２つの２次元画像について、複数
の特徴点を抽出して互いに対応付ける手段と、対応付け
された前記特徴点の２次元座標を用いて、前記カメラの
回転と平行移動の方向とをパラメータとして２つの前記
２次元画像のずれの度合いを表した評価関数が最小とな
るように、２つの視点位置の間におけるカメラの回転と
平行移動の方向とを求める手段と、２つの前記２次元画
像についての対応付けされた前記特徴点を用いて、各２
次元画像と同じ視点位置で取得された２つの３次元形状
データ上の点を互いに対応付ける手段と、対応付けされ
た２つの３次元形状データ上の点の３次元座標を用い
て、２つの視点位置の間におけるカメラの平行移動の大
きさを求める手段と、求められたカメラの回転と平行移
動の方向および大きさとに基づいて、２つの３次元形状
データの位置合わせを行って統合する手段とを有してな
る。
【００１６】
【発明の実施の形態】図１は本発明に係る生成装置１を
示す図、図２は処理装置５の構成例を示すブロック図で
ある。
示す図、図２は処理装置５の構成例を示すブロック図で
ある。
【００１７】図１において、生成装置１は、対象物Ｑを
撮影するための多眼カメラ３、および処理装置５からな
る。多眼カメラ３は、デジタル式の２つのカメラ３ｋ，
３ｌが互いに連結されて一体となった２眼カメラであ
る。以降において、一方のカメラ３ｋに関する部材およ
び要素の符号に「ｋ」を付し、他方のカメラ３ｌに関す
る部材および要素の符号に「ｌ（エル）」を付すことが
ある。
撮影するための多眼カメラ３、および処理装置５からな
る。多眼カメラ３は、デジタル式の２つのカメラ３ｋ，
３ｌが互いに連結されて一体となった２眼カメラであ
る。以降において、一方のカメラ３ｋに関する部材およ
び要素の符号に「ｋ」を付し、他方のカメラ３ｌに関す
る部材および要素の符号に「ｌ（エル）」を付すことが
ある。
【００１８】多眼カメラ３は、各カメラの内部パラメー
タおよび外部パラメータが予め校正され、投影行列が求
められている。対象物Ｑを１回撮影することによって、
対象物Ｑについての視差のある２枚の画像ＦＤを得る。
タおよび外部パラメータが予め校正され、投影行列が求
められている。対象物Ｑを１回撮影することによって、
対象物Ｑについての視差のある２枚の画像ＦＤを得る。
【００１９】多眼カメラ３には、対象物Ｑにパターン光
を投影するパターン光投影装置３ｐ、パターン光ありの
撮影とパターン光なしの撮影とを連続的に実行させる連
写制御部３ｒが設けられる。そして、多数の画像ＦＤを
記憶するメモリ、カメラパラメータを記憶するメモリ、
画像ＦＤを表示する液晶ディスプレイ、レリーズボタン
などの種々の操作ボタン、フラッシュ、入出力インタフ
ェース、制御部、および電源部などが設けられる。
を投影するパターン光投影装置３ｐ、パターン光ありの
撮影とパターン光なしの撮影とを連続的に実行させる連
写制御部３ｒが設けられる。そして、多数の画像ＦＤを
記憶するメモリ、カメラパラメータを記憶するメモリ、
画像ＦＤを表示する液晶ディスプレイ、レリーズボタン
などの種々の操作ボタン、フラッシュ、入出力インタフ
ェース、制御部、および電源部などが設けられる。
【００２０】撮影された画像ＦＤ、または画像ＦＤに編
集を加えた画像は、入出力インタフェースを介して、処
理装置５、その他の外部機器に転送可能である。また、
画像ＦＤを記憶したメモリを取り外すことによって外部
機器に入力することも可能である。多眼カメラ３の機能
の詳細については後述する。
集を加えた画像は、入出力インタフェースを介して、処
理装置５、その他の外部機器に転送可能である。また、
画像ＦＤを記憶したメモリを取り外すことによって外部
機器に入力することも可能である。多眼カメラ３の機能
の詳細については後述する。
【００２１】処理装置５は、多眼カメラ３で得られた画
像ＦＤに対し、後述する種々の処理を行い、キャリブレ
ーションを行い、３次元モデルＭＬを生成する。なお、
処理装置５の機能を多眼カメラ３に内蔵し、多眼カメラ
３において３次元モデルＭＬを生成するようにしてもよ
い。
像ＦＤに対し、後述する種々の処理を行い、キャリブレ
ーションを行い、３次元モデルＭＬを生成する。なお、
処理装置５の機能を多眼カメラ３に内蔵し、多眼カメラ
３において３次元モデルＭＬを生成するようにしてもよ
い。
【００２２】図２に示すように、処理装置５は、装置本
体１０、磁気ディスク装置１１、媒体ドライブ装置１
２、ディスプレイ装置１３、キーボード１４、およびマ
ウス１５などからなる。
体１０、磁気ディスク装置１１、媒体ドライブ装置１
２、ディスプレイ装置１３、キーボード１４、およびマ
ウス１５などからなる。
【００２３】装置本体１０は、ＣＰＵ、ＲＡＭ、ＲＯ
Ｍ、ビデオＲＡＭ、入出力ポート、および各種コントロ
ーラなどからなる。ＲＡＭおよびＲＯＭなどに記憶され
たプログラムをＣＰＵが実行することにより、以下に説
明する種々の機能が実現される。
Ｍ、ビデオＲＡＭ、入出力ポート、および各種コントロ
ーラなどからなる。ＲＡＭおよびＲＯＭなどに記憶され
たプログラムをＣＰＵが実行することにより、以下に説
明する種々の機能が実現される。
【００２４】磁気ディスク装置１１には、ＯＳ（Operat
ing System) 、３次元モデルＭＬを生成するためのモデ
リングプログラムＰＲ、その他のプログラム、入力され
た画像（２次元画像データ）ＦＤ、生成された３次元モ
デルＭＬ、その他のデータなどが格納されている。これ
らのプログラムおよびデータは、適時、装置本体１０の
ＲＡＭにローディングされる。
ing System) 、３次元モデルＭＬを生成するためのモデ
リングプログラムＰＲ、その他のプログラム、入力され
た画像（２次元画像データ）ＦＤ、生成された３次元モ
デルＭＬ、その他のデータなどが格納されている。これ
らのプログラムおよびデータは、適時、装置本体１０の
ＲＡＭにローディングされる。
【００２５】なお、モデリングプログラムＰＲには、３
次元再構成処理、画像ＦＤを対応付ける画像対応付け処
理、３次元形状データＤＬを対応付ける３次元対応付け
処理、移動量算出処理、統合処理、およびその他の処理
のためのプログラムが含まれる。
次元再構成処理、画像ＦＤを対応付ける画像対応付け処
理、３次元形状データＤＬを対応付ける３次元対応付け
処理、移動量算出処理、統合処理、およびその他の処理
のためのプログラムが含まれる。
【００２６】媒体ドライブ装置１２は、ＣＤ−ＲＯＭ
（ＣＤ）、フロッピィディスクＦＤ、光磁気ディスク、
コンパクトフラッシュ（登録商標）などの半導体メモリ
ＨＭ、その他の記録媒体にアクセスし、データまたはプ
ログラムの読み書きを行う。記録媒体の種類に応じて適
切なドライブ装置が用いられる。上に述べたモデリング
プログラムＰＲは、これら記録媒体からインストールす
ることも可能である。画像ＦＤなども記録媒体を介して
入力することが可能である。
（ＣＤ）、フロッピィディスクＦＤ、光磁気ディスク、
コンパクトフラッシュ（登録商標）などの半導体メモリ
ＨＭ、その他の記録媒体にアクセスし、データまたはプ
ログラムの読み書きを行う。記録媒体の種類に応じて適
切なドライブ装置が用いられる。上に述べたモデリング
プログラムＰＲは、これら記録媒体からインストールす
ることも可能である。画像ＦＤなども記録媒体を介して
入力することが可能である。
【００２７】ディスプレイ装置１３の表示面ＨＧには、
上に述べた種々のデータ、画像ＦＤ、モデリングプログ
ラムＰＲによる処理過程の画像、生成された３次元モデ
ルＭＬ、その他のデータまたは画像が表示される。
上に述べた種々のデータ、画像ＦＤ、モデリングプログ
ラムＰＲによる処理過程の画像、生成された３次元モデ
ルＭＬ、その他のデータまたは画像が表示される。
【００２８】キーボード１４およびマウス１５は、ディ
スプレイ装置１３に表示された画像ＦＤに対して、ユー
ザが対応点を指定するために用いられる。その他、装置
本体１０に種々のデータを入力しまたは指令を与えるた
めに用いられる。
スプレイ装置１３に表示された画像ＦＤに対して、ユー
ザが対応点を指定するために用いられる。その他、装置
本体１０に種々のデータを入力しまたは指令を与えるた
めに用いられる。
【００２９】処理装置５は、パーソナルコンピュータま
たはワークステーションなどを用いて構成することが可
能である。上に述べたプログラムおよびデータは、ネッ
トワークＮＷを介して受信することにより取得すること
も可能である。
たはワークステーションなどを用いて構成することが可
能である。上に述べたプログラムおよびデータは、ネッ
トワークＮＷを介して受信することにより取得すること
も可能である。
【００３０】図３は多眼カメラ３で対象物Ｑを撮影する
様子を示す図、図４は対象物Ｑを１回撮影する際のタイ
ミング図、図５は３次元モデルＭＬの生成の流れを示す
図、図６は３次元モデルＭＬの生成方法を説明する図で
ある。
様子を示す図、図４は対象物Ｑを１回撮影する際のタイ
ミング図、図５は３次元モデルＭＬの生成の流れを示す
図、図６は３次元モデルＭＬの生成方法を説明する図で
ある。
【００３１】図３に示すように、多眼カメラ３によっ
て、対象物Ｑを異なる視点位置から複数回撮影する。図
の例では、第１の視点位置および第２の視点位置の２つ
の視点位置でそれぞれ撮影が行われる。それぞれの視点
位置での撮影において、連写による２回の撮影が行われ
る。
て、対象物Ｑを異なる視点位置から複数回撮影する。図
の例では、第１の視点位置および第２の視点位置の２つ
の視点位置でそれぞれ撮影が行われる。それぞれの視点
位置での撮影において、連写による２回の撮影が行われ
る。
【００３２】図４において、多眼カメラ３のレリーズボ
タンを押すと、連写制御部３ｒの制御によって連写がス
タートする。１回目の撮影ではパターン光が投影され
る。１回目の撮影から時間Ｔ１後に、２回目の撮影が、
パターン光なしで行われる。これにより、それぞれの撮
影において、２つのカメラ３ｋ，３ｌによって対象物Ｑ
についての視差のある２枚の画像ＦＤが得られる。な
お、２回目の撮影では２枚の画像ＦＤが得られるが、そ
のうち、基準となる一方のカメラで撮影された１枚の画
像ＦＤのみが用いられる。
タンを押すと、連写制御部３ｒの制御によって連写がス
タートする。１回目の撮影ではパターン光が投影され
る。１回目の撮影から時間Ｔ１後に、２回目の撮影が、
パターン光なしで行われる。これにより、それぞれの撮
影において、２つのカメラ３ｋ，３ｌによって対象物Ｑ
についての視差のある２枚の画像ＦＤが得られる。な
お、２回目の撮影では２枚の画像ＦＤが得られるが、そ
のうち、基準となる一方のカメラで撮影された１枚の画
像ＦＤのみが用いられる。
【００３３】図５に示すように、第１の視点位置におけ
る撮影によって、パターン光ありの視差のある２枚の画
像ＦＤ１ｋ，ｌ、およびパターン光なし画像ＦＤ１ｈが
得られる。
る撮影によって、パターン光ありの視差のある２枚の画
像ＦＤ１ｋ，ｌ、およびパターン光なし画像ＦＤ１ｈが
得られる。
【００３４】第２の視点位置における撮影によって、パ
ターン光ありの視差のある２枚の画像ＦＤ２ｋ，ｌ、お
よびパターン光なし画像ＦＤ２ｈが得られる。なお、第
１の視点位置を「視点１」、第２の視点位置を「視点
２」、第１の視点位置における撮影を「第１撮影」、第
２の視点位置における撮影を「第２撮影」、とそれぞれ
記載することがある。
ターン光ありの視差のある２枚の画像ＦＤ２ｋ，ｌ、お
よびパターン光なし画像ＦＤ２ｈが得られる。なお、第
１の視点位置を「視点１」、第２の視点位置を「視点
２」、第１の視点位置における撮影を「第１撮影」、第
２の視点位置における撮影を「第２撮影」、とそれぞれ
記載することがある。
【００３５】第１撮影および第２撮影によってそれぞれ
得られた各２枚の画像ＦＤ１ｋ，ＦＤ１ｌおよびＦＤ２
ｋ，ＦＤ２ｌに基づいて、３次元再構成部３１で３次元
形状データＤＬ１，ＤＬ２が生成される。
得られた各２枚の画像ＦＤ１ｋ，ＦＤ１ｌおよびＦＤ２
ｋ，ＦＤ２ｌに基づいて、３次元再構成部３１で３次元
形状データＤＬ１，ＤＬ２が生成される。
【００３６】第１撮影および第２撮影によって得られた
視点位置の異なる２つの画像ＦＤ１ｈ，ＦＤ２ｈについ
て、対応付け部３２により、複数の特徴点が抽出され互
いの対応付けが行われる。なお、特徴点の抽出処理それ
自体は、公知の方法により自動でまたは手動で行われ
る。
視点位置の異なる２つの画像ＦＤ１ｈ，ＦＤ２ｈについ
て、対応付け部３２により、複数の特徴点が抽出され互
いの対応付けが行われる。なお、特徴点の抽出処理それ
自体は、公知の方法により自動でまたは手動で行われ
る。
【００３７】２つの画像ＦＤ１ｈ，ＦＤ２ｈについての
対応付けされた特徴点（画像対応点）ＰＤを用いて、対
応付け部３３により、３次元形状データＤＬ１，ＤＬ２
上の点が対応付けられる。画像対応点ＰＤについて、２
次元座標が取得される。
対応付けされた特徴点（画像対応点）ＰＤを用いて、対
応付け部３３により、３次元形状データＤＬ１，ＤＬ２
上の点が対応付けられる。画像対応点ＰＤについて、２
次元座標が取得される。
【００３８】つまり、対応付け部３３により、画像ＦＤ
１ｈ，ＦＤ２ｈについての対応点ＰＤと、２つの３次元
形状データＤＬ１，ＤＬ２上の点（３次元対応点）とが
対応付けられる。３次元対応点ＰＴについて、３次元座
標が取得される。
１ｈ，ＦＤ２ｈについての対応点ＰＤと、２つの３次元
形状データＤＬ１，ＤＬ２上の点（３次元対応点）とが
対応付けられる。３次元対応点ＰＴについて、３次元座
標が取得される。
【００３９】画像対応点ＰＤの２次元座標および３次元
対応点ＰＴの３次元座標を用いて、カメラ移動量算出部
３４により、２つの視点位置の間における多眼カメラ３
の移動量Ｍ、つまり回転と平行移動の方向および大きさ
とが求められる。移動量Ｍを求めることが、視点位置間
のキャリブレーションを行うこととなる。
対応点ＰＴの３次元座標を用いて、カメラ移動量算出部
３４により、２つの視点位置の間における多眼カメラ３
の移動量Ｍ、つまり回転と平行移動の方向および大きさ
とが求められる。移動量Ｍを求めることが、視点位置間
のキャリブレーションを行うこととなる。
【００４０】カメラ移動量算出部３４における移動量Ｍ
の算出方法には次の（１）（２）に示す２つの方法があ
る。 （１）３次元対応点ＰＴの３次元座標のみを用いて、そ
れらの３次元座標を用いて表される連立方程式を最小２
乗法などで解くことにより、移動量Ｍを求める。 （２）まず、画像対応点ＰＤの２次元座標を用いて、第
１の評価関数が最小となるように、２つの視点位置の間
における多眼カメラ３の回転と平行移動の方向（これら
を「Ｅ」で表す）とを求める。ここでの第１の評価関数
は、多眼カメラ３の回転と平行移動の方向とをパラメー
タとし、２つの画像ＦＤ１ｈ，ＦＤ２ｈのずれの度合い
を表すものを用いる。次に、３次元対応点ＰＴの３次元
座標を用いて、２つの視点位置の間における多眼カメラ
３の平行移動の大きさを求める。
の算出方法には次の（１）（２）に示す２つの方法があ
る。 （１）３次元対応点ＰＴの３次元座標のみを用いて、そ
れらの３次元座標を用いて表される連立方程式を最小２
乗法などで解くことにより、移動量Ｍを求める。 （２）まず、画像対応点ＰＤの２次元座標を用いて、第
１の評価関数が最小となるように、２つの視点位置の間
における多眼カメラ３の回転と平行移動の方向（これら
を「Ｅ」で表す）とを求める。ここでの第１の評価関数
は、多眼カメラ３の回転と平行移動の方向とをパラメー
タとし、２つの画像ＦＤ１ｈ，ＦＤ２ｈのずれの度合い
を表すものを用いる。次に、３次元対応点ＰＴの３次元
座標を用いて、２つの視点位置の間における多眼カメラ
３の平行移動の大きさを求める。
【００４１】上に述べた（２）の方法は、例えば、画像
ＦＤ１ｈ，ＦＤ２ｈの一部についての画像対応点ＰＤ
が、何らかの理由で３次元形状データＤＬ１，ＤＬ２上
の点と対応付けできない場合に有効である。そのような
例として、多眼カメラ３が３つ以上のカメラからなる場
合で、異なるカメラの組から得られた複数の３次元形状
データＤＬの間で３次元座標が大きく異なり、データの
信頼性が低いと判定された場合が挙げられる。これにつ
いては、後で説明を加える。
ＦＤ１ｈ，ＦＤ２ｈの一部についての画像対応点ＰＤ
が、何らかの理由で３次元形状データＤＬ１，ＤＬ２上
の点と対応付けできない場合に有効である。そのような
例として、多眼カメラ３が３つ以上のカメラからなる場
合で、異なるカメラの組から得られた複数の３次元形状
データＤＬの間で３次元座標が大きく異なり、データの
信頼性が低いと判定された場合が挙げられる。これにつ
いては、後で説明を加える。
【００４２】求められた移動量Ｍに基づいて、統合部３
５において、２つの３次元形状データＤＬ１，ＤＬ２の
位置合わせを行って統合する。これによって３次元モデ
ルＭＬが生成される。必要に応じて、画像ＦＤを３次元
モデルＭＬにはりつける。その際に、求めた移動量Ｍに
よって、画像ＦＤをはりつける位置を補正することによ
り、正確な位置にはりつけることができる。
５において、２つの３次元形状データＤＬ１，ＤＬ２の
位置合わせを行って統合する。これによって３次元モデ
ルＭＬが生成される。必要に応じて、画像ＦＤを３次元
モデルＭＬにはりつける。その際に、求めた移動量Ｍに
よって、画像ＦＤをはりつける位置を補正することによ
り、正確な位置にはりつけることができる。
【００４３】上に述べた例では、２つの異なる視点位置
から撮影して得た画像ＦＤに基づいて処理を行った。し
かし、対象物Ｑを、その上下方向をも含めて多数の視点
位置から撮影し、得られた多数の画像ＦＤに基づいて、
上と同様の処理を繰り返すことにより、対象物Ｑの全体
の３次元モデルＭＬを生成することが可能である。
から撮影して得た画像ＦＤに基づいて処理を行った。し
かし、対象物Ｑを、その上下方向をも含めて多数の視点
位置から撮影し、得られた多数の画像ＦＤに基づいて、
上と同様の処理を繰り返すことにより、対象物Ｑの全体
の３次元モデルＭＬを生成することが可能である。
【００４４】次に、生成装置１における移動量Ｍの算出
および３次元モデルＭＬの生成について、フローチャー
トを参照して説明する。図７は生成装置１における
（１）の方法による３次元モデルの生成処理の流れを示
すフローチャートである。
および３次元モデルＭＬの生成について、フローチャー
トを参照して説明する。図７は生成装置１における
（１）の方法による３次元モデルの生成処理の流れを示
すフローチャートである。
【００４５】図７において、それぞれの視点位置におい
て、多眼カメラ３により、対象物Ｑをパターン光ありと
なしで２回撮影する（＃１１）。視点位置ごとに、パタ
ーン光ありで撮影した画像ＦＤを用いて３次元再構成を
行い、３次元形状データＤＬを得る（＃１２）。
て、多眼カメラ３により、対象物Ｑをパターン光ありと
なしで２回撮影する（＃１１）。視点位置ごとに、パタ
ーン光ありで撮影した画像ＦＤを用いて３次元再構成を
行い、３次元形状データＤＬを得る（＃１２）。
【００４６】２つの視点位置で得たパターン光なしの画
像ＦＤを用いて、画像対応点ＰＤを求める（＃１３）。
視点位置ごとに、画像対応点ＰＤに対応する３次元形状
データＤＬ上の３次元対応点ＰＴを求める（＃１４）。
３次元対応点ＰＴを用いて、視点位置間の移動量Ｍを求
める（＃１５）。
像ＦＤを用いて、画像対応点ＰＤを求める（＃１３）。
視点位置ごとに、画像対応点ＰＤに対応する３次元形状
データＤＬ上の３次元対応点ＰＴを求める（＃１４）。
３次元対応点ＰＴを用いて、視点位置間の移動量Ｍを求
める（＃１５）。
【００４７】以下、各ステップについてさらに詳しく説
明する。以下において、多眼カメラ３のうちの特定の１
つのカメラを「基準カメラ」、他のカメラを「参照カメ
ラ」と呼称することがある。
明する。以下において、多眼カメラ３のうちの特定の１
つのカメラを「基準カメラ」、他のカメラを「参照カメ
ラ」と呼称することがある。
【００４８】ステップ＃１２において、パターン光あり
の画像を用いて対応点検索を行い、その対応に基づい
て、三角測距の原理で各点の３次元座標を求める。対応
点検索の手法は、ブロック相関法、または勾配方程式を
解く手法など、公知の手法を用いることができる。
の画像を用いて対応点検索を行い、その対応に基づい
て、三角測距の原理で各点の３次元座標を求める。対応
点検索の手法は、ブロック相関法、または勾配方程式を
解く手法など、公知の手法を用いることができる。
【００４９】ステップ＃１３において、異なる視点位置
から得た基準カメラの画像ＦＤを比較し、エッジ上の点
などの特徴量が大きい特徴点（画像対応点ＰＤ）につい
て、２つの視点位置の間の対応を求める。
から得た基準カメラの画像ＦＤを比較し、エッジ上の点
などの特徴量が大きい特徴点（画像対応点ＰＤ）につい
て、２つの視点位置の間の対応を求める。
【００５０】ステップ＃１５において、ステップ＃１４
で求めた視点位置ごとの３次元対応点ＰＴを用いて、多
眼カメラ３の移動量（回転・平行移動）Ｍを表す行列
を、次の（１）式に示す連立方程式および拘束条件から
求める。その際に、適当な評価関数を得ることにより、
最小２乗法などを用いて求める。
で求めた視点位置ごとの３次元対応点ＰＴを用いて、多
眼カメラ３の移動量（回転・平行移動）Ｍを表す行列
を、次の（１）式に示す連立方程式および拘束条件から
求める。その際に、適当な評価関数を得ることにより、
最小２乗法などを用いて求める。
【００５１】
【数３】
【００５２】なお、上の説明で「特徴点」とは３次元対
応点ＰＴのことであり、「３次元モデル」とは３次元形
状データＤＬのことである。この方法では、理論上は３
つ以上の３次元対応点ＰＴから、行列Ｍを求めることが
できる。いずれかの視点位置における基準カメラの投影
行列が分かっていれば、次の（２）式を用いてそれ以外
の視点における投影行列を求めることができる。
応点ＰＴのことであり、「３次元モデル」とは３次元形
状データＤＬのことである。この方法では、理論上は３
つ以上の３次元対応点ＰＴから、行列Ｍを求めることが
できる。いずれかの視点位置における基準カメラの投影
行列が分かっていれば、次の（２）式を用いてそれ以外
の視点における投影行列を求めることができる。
【００５３】Ｐ’＝ＰＭ ……（２）
但し、Ｐ’は、第２の視点位置における基準カメラの投
影行列（未知） Ｐ は、第２の視点位置における基準カメラの投影行列
（既知） Ｍ は、（１）式で求めた回転・平行移動を表す行列
（既知） なお、カメラの内部パラメータが既知とすれば、いずれ
かの視点におけるカメラ座標系をすべての視点における
座標系とみなすことにより、この視点における投影行列
は既知であるとみなせる。
影行列（未知） Ｐ は、第２の視点位置における基準カメラの投影行列
（既知） Ｍ は、（１）式で求めた回転・平行移動を表す行列
（既知） なお、カメラの内部パラメータが既知とすれば、いずれ
かの視点におけるカメラ座標系をすべての視点における
座標系とみなすことにより、この視点における投影行列
は既知であるとみなせる。
【００５４】なお、投影行列については、徐剛著「３次
元ビジョン」共立出版、１９９８年４月３０日発行、第
２章、第６章などを参照することができる。図８は生成
装置１における（２）の方法による３次元モデルの生成
処理の流れを示すフローチャートである。
元ビジョン」共立出版、１９９８年４月３０日発行、第
２章、第６章などを参照することができる。図８は生成
装置１における（２）の方法による３次元モデルの生成
処理の流れを示すフローチャートである。
【００５５】図８において、ステップ＃２１〜２３、２
５、２７は、上に述べたステップ＃１１〜１３、１４、
１６と同じである。ステップ＃２４では、画像対応点Ｐ
Ｄに基づいて、多眼カメラ３の回転と平行移動の方向と
を求める。
５、２７は、上に述べたステップ＃１１〜１３、１４、
１６と同じである。ステップ＃２４では、画像対応点Ｐ
Ｄに基づいて、多眼カメラ３の回転と平行移動の方向と
を求める。
【００５６】すなわち、第１撮影の画像ＦＤ１ｈについ
て、ｉ番目の対応点（画像対応点）ＰＤの座標を
て、ｉ番目の対応点（画像対応点）ＰＤの座標を
【００５７】
【数４】
【００５８】とし、第２撮影の画像ＦＤ２ｈについて、
ｉ番目の対応点（画像対応点）ＰＤの座標を
ｉ番目の対応点（画像対応点）ＰＤの座標を
【００５９】
【数５】
【００６０】とする。各画像ＦＤ１ｈ，ＦＤ２ｈの画像
対応点ＰＤの座標の集合は、
対応点ＰＤの座標の集合は、
【００６１】
【数６】
【００６２】で示される。カメラの内部パラメータから
定まる３×３行列（既知）をＡ、カメラの回転と平行移
動を表す３×３行列を（未知）をＥ、画像対応点ＰＤの
個数をＮとすると、評価関数は次（３）式で示される。
定まる３×３行列（既知）をＡ、カメラの回転と平行移
動を表す３×３行列を（未知）をＥ、画像対応点ＰＤの
個数をＮとすると、評価関数は次（３）式で示される。
【００６３】
【数７】
【００６４】そこで、（３）式を満たすＥを求める。つ
まり、Ｅ＝〔ｔ〕x Ｒとなる〔ｔ〕x およびＲを求め
る。
まり、Ｅ＝〔ｔ〕x Ｒとなる〔ｔ〕x およびＲを求め
る。
【００６５】得られたＲは回転を表し、ｔは平行移動を
表す。ここでは、ｔは方向のみが重要である。但し、Ｒ
は直交行列である。また、〔ｔ〕x は、
表す。ここでは、ｔは方向のみが重要である。但し、Ｒ
は直交行列である。また、〔ｔ〕x は、
【００６６】
【数８】
【００６７】で表される行列である。つまり、対角成分
が０であり、対角線に対して対称である。この方程式の
形により、ｔには定数倍の自由度がある。このようにし
て、多眼カメラ３の回転と平行移動の方向とを求める。
が０であり、対角線に対して対称である。この方程式の
形により、ｔには定数倍の自由度がある。このようにし
て、多眼カメラ３の回転と平行移動の方向とを求める。
【００６８】ステップ＃２６において、３次元対応点Ｐ
Ｔを用いて、視点位置間の移動量Ｍを求める。その際
に、回転を表すＲはステップ＃２４で求められ、平行移
動を表すｔについても定数倍の自由度を除いてステップ
＃２４で求められるので、ステップ＃２６では定数倍の
部分を３次元対応点ＰＴから求めることとなる。
Ｔを用いて、視点位置間の移動量Ｍを求める。その際
に、回転を表すＲはステップ＃２４で求められ、平行移
動を表すｔについても定数倍の自由度を除いてステップ
＃２４で求められるので、ステップ＃２６では定数倍の
部分を３次元対応点ＰＴから求めることとなる。
【００６９】このように、ステップ＃２４において、２
つの画像ＦＤ１ｈ，ＦＤ２ｈの画像対応点ＰＤの座標に
基づいてカメラの回転と平行移動の方向とを求め、３次
元対応点ＰＴからは平行移動の大きさのみを求める。こ
のようにすることによって、３次元対応点ＰＴから直接
に移動量Ｒを求める場合と比較して、対象物Ｑ上のより
広い領域について正確な移動量Ｍを求めることができ
る。
つの画像ＦＤ１ｈ，ＦＤ２ｈの画像対応点ＰＤの座標に
基づいてカメラの回転と平行移動の方向とを求め、３次
元対応点ＰＴからは平行移動の大きさのみを求める。こ
のようにすることによって、３次元対応点ＰＴから直接
に移動量Ｒを求める場合と比較して、対象物Ｑ上のより
広い領域について正確な移動量Ｍを求めることができ
る。
【００７０】その理由について以下に説明する。すなわ
ち、図９（Ａ）に示すように、対象物Ｑ１を、カメラで
第１の視点位置および第２の視点位置から撮影したとす
る。
ち、図９（Ａ）に示すように、対象物Ｑ１を、カメラで
第１の視点位置および第２の視点位置から撮影したとす
る。
【００７１】第１の視点位置から撮影できる範囲は、図
９（Ｂ）のＡ−Ｂ−Ｃの範囲であり、第２の視点位置か
ら撮影できる範囲は、Ｂ−Ｃ−Ｄの範囲である。したが
って、これらに共通の範囲は、Ｂ−Ｃの範囲である。つ
まり、画像ＦＤについてはＢ−Ｃの範囲が共通であり、
この範囲の領域において画像対応点ＰＤを抽出すること
ができる。
９（Ｂ）のＡ−Ｂ−Ｃの範囲であり、第２の視点位置か
ら撮影できる範囲は、Ｂ−Ｃ−Ｄの範囲である。したが
って、これらに共通の範囲は、Ｂ−Ｃの範囲である。つ
まり、画像ＦＤについてはＢ−Ｃの範囲が共通であり、
この範囲の領域において画像対応点ＰＤを抽出すること
ができる。
【００７２】これに対して、カメラの視線方向と対象物
Ｑ１の法線方向のなす角が大きい部分については、精度
よく３次元再構成を行うことが困難である。そのため、
信頼性のある３次元形状データＤＬが得られる範囲は、
図９（Ｃ）に示すように、第１の視点位置からはａ−ｂ
−ｃの範囲、第２の視点位置からはｂ−ｃ−ｄの範囲で
ある。したがって、これらの共通の範囲は、ｂ−ｃの範
囲である。つまり、３次元形状データＤＬについてはｂ
−ｃの範囲が共通であり、これら画像ＦＤの場合のＢ−
Ｃの範囲よりも狭い。この狭い範囲の領域においてのみ
３次元対応点ＰＴを抽出することができる。
Ｑ１の法線方向のなす角が大きい部分については、精度
よく３次元再構成を行うことが困難である。そのため、
信頼性のある３次元形状データＤＬが得られる範囲は、
図９（Ｃ）に示すように、第１の視点位置からはａ−ｂ
−ｃの範囲、第２の視点位置からはｂ−ｃ−ｄの範囲で
ある。したがって、これらの共通の範囲は、ｂ−ｃの範
囲である。つまり、３次元形状データＤＬについてはｂ
−ｃの範囲が共通であり、これら画像ＦＤの場合のＢ−
Ｃの範囲よりも狭い。この狭い範囲の領域においてのみ
３次元対応点ＰＴを抽出することができる。
【００７３】そのため、３次元対応点ＰＴについては、
充分な個数を得ることができない。これに対して、画像
対応点ＰＤは充分な個数を得ることができる。そこで、
まず、画像ＦＤ１ｈ，ＦＤ２ｈの画像対応点ＰＤの座標
に基づいてカメラの回転と平行移動の方向とを求めてお
けば、あとは３次元対応点ＰＴに基づいて平行移動の大
きさを求めればよい。平行移動の大きさくらいであれ
ば、３次元対応点ＰＴが充分な個数でなくても、誤差が
余り大きくなることなく求めることが可能である。した
がって、全体として、移動量ＤＲを精度よく求めること
ができる。
充分な個数を得ることができない。これに対して、画像
対応点ＰＤは充分な個数を得ることができる。そこで、
まず、画像ＦＤ１ｈ，ＦＤ２ｈの画像対応点ＰＤの座標
に基づいてカメラの回転と平行移動の方向とを求めてお
けば、あとは３次元対応点ＰＴに基づいて平行移動の大
きさを求めればよい。平行移動の大きさくらいであれ
ば、３次元対応点ＰＴが充分な個数でなくても、誤差が
余り大きくなることなく求めることが可能である。した
がって、全体として、移動量ＤＲを精度よく求めること
ができる。
【００７４】なお、各視点位置での３次元形状データＤ
Ｌを得る方法として、３次元形状データＤＬと画像ＦＤ
との間で対応付けが可能であれば、上に述べたステレオ
画像法以外の種々の方法、例えば光切断法などによる３
次元計測装置を用いて対象物から直接的に３次元形状デ
ータＤＬを得るようにしてもよい。
Ｌを得る方法として、３次元形状データＤＬと画像ＦＤ
との間で対応付けが可能であれば、上に述べたステレオ
画像法以外の種々の方法、例えば光切断法などによる３
次元計測装置を用いて対象物から直接的に３次元形状デ
ータＤＬを得るようにしてもよい。
【００７５】上に述べた実施形態の生成装置１による
と、異なる視点位置の間の多眼カメラ３の移動量Ｍを精
度よく求めることができる。したがって、複数の３次元
形状データＤＬ１，ＤＬ２を精度よく統合し、高精度の
３次元モデルＭＬを生成することができる。
と、異なる視点位置の間の多眼カメラ３の移動量Ｍを精
度よく求めることができる。したがって、複数の３次元
形状データＤＬ１，ＤＬ２を精度よく統合し、高精度の
３次元モデルＭＬを生成することができる。
【００７６】上に述べた実施形態においては、１回目の
撮影でパターン光を投影したが、１回目の撮影ではパタ
ーン光を投影せず、２回目の撮影でパターン光を投影し
てもよい。また、対象物Ｑの形状または模様などから特
徴点を抽出することができる場合には、パターン光を投
影しなくてもよい。
撮影でパターン光を投影したが、１回目の撮影ではパタ
ーン光を投影せず、２回目の撮影でパターン光を投影し
てもよい。また、対象物Ｑの形状または模様などから特
徴点を抽出することができる場合には、パターン光を投
影しなくてもよい。
【００７７】上の実施形態において、多眼カメラ３、処
理装置５、または生成装置１の全体または各部の構成、
形状、個数、処理の内容または順序などは、本発明の趣
旨に沿って適宜変更することができる。
理装置５、または生成装置１の全体または各部の構成、
形状、個数、処理の内容または順序などは、本発明の趣
旨に沿って適宜変更することができる。
【００７８】
【発明の効果】本発明によると、複数の３次元形状デー
タを精度よく統合し、高精度の３次元モデルを生成する
ことができる。
タを精度よく統合し、高精度の３次元モデルを生成する
ことができる。
【図１】本発明に係る生成装置を示す図である。
【図２】処理装置の構成例を示すブロック図である。
【図３】多眼カメラで対象物を撮影する様子を示す図で
ある。
ある。
【図４】対象物を１回撮影する際のタイミング図であ
る。
る。
【図５】３次元モデルの生成の流れを示す図である。
【図６】３次元モデルの生成方法を説明する図である。
【図７】生成装置における３次元モデルの生成処理の流
れを示すフローチャートである。
れを示すフローチャートである。
【図８】生成装置における３次元モデルの他の生成処理
の流れを示すフローチャートである。
の流れを示すフローチャートである。
【図９】対応点の得られる範囲を２次元画像と３次元形
状データとで比較して示す図である。
状データとで比較して示す図である。
１ 生成装置
３ 多眼カメラ（カメラ）
３ｋ，３ｌ カメラ
５ 処理装置
１１ 磁気ディスク装置
３１ ３次元再構成部
３２ 対応付け部（２次元画像を対応付ける手段）
３３ 対応付け部（３次元形状データを対応付ける手
段） ３４ カメラ移動量算出部（カメラの回転と平行移動の
方向とを求める手段、カメラの平行移動の大きさを求め
る手段） ３５ 統合部（統合する手段） ＦＤ，ＦＤ１，ＦＤ２ 画像（２次元画像） ＤＬ ３次元形状データ ＭＬ ３次元モデル Ｑ 対象物
段） ３４ カメラ移動量算出部（カメラの回転と平行移動の
方向とを求める手段、カメラの平行移動の大きさを求め
る手段） ３５ 統合部（統合する手段） ＦＤ，ＦＤ１，ＦＤ２ 画像（２次元画像） ＤＬ ３次元形状データ ＭＬ ３次元モデル Ｑ 対象物
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｔ 17/40 Ｇ０６Ｔ 17/40 Ａ
Ｆターム(参考） 2F065 AA04 BB05 FF05 GG18 QQ31
5B050 BA04 BA06 DA07 EA05 EA12
EA28
5B057 BA02 BA13 CA12 CA13 CA16
CB13 CB16 CD02 CD03 DA07
DC05
5B080 BA01 BA02 BA07 DA06
5L096 AA09 CA04 CA05 EA14 EA15
EA16 FA25 FA39 FA69
Claims (8)
- 【請求項１】対象物の３次元形状データを得るために対
象物を非接触で計測し且つ対象物の２次元画像を取得す
ることの可能なカメラを用い、対象物についての３次元
モデルを生成する方法であって、 前記カメラによって対象物を異なる視点位置から複数回
計測し、それぞれの視点位置に対応する３次元形状デー
タおよび２次元画像を取得するステップと、 視点位置の異なる２つの前記２次元画像について、複数
の特徴点を抽出して互いに対応付けるステップと、 対応付けされた前記特徴点の２次元座標を用いて、前記
カメラの回転と平行移動の方向とをパラメータとして２
つの前記２次元画像のずれの度合いを表した評価関数が
最小となるように、２つの視点位置の間におけるカメラ
の回転と平行移動の方向とを求めるステップと、 ２つの前記２次元画像についての対応付けされた前記特
徴点を用いて、各２次元画像と同じ視点位置で取得され
た２つの３次元形状データ上の点を互いに対応付けるス
テップと、 対応付けされた２つの３次元形状データ上の点の３次元
座標を用いて、２つの視点位置の間におけるカメラの平
行移動の大きさを求めるステップと、 求められたカメラの回転と平行移動の方向および大きさ
とに基づいて、２つの３次元形状データの位置合わせを
行って統合するステップと、 を有してなることを特徴とする３次元モデルの生成方
法。 - 【請求項２】カメラを用いて異なる視点位置から対象物
を撮影することにより取得された３次元形状データおよ
び２次元画像から対象物についての３次元モデルを生成
する装置であって、 視点位置の異なる２つの２次元画像について、複数の特
徴点を抽出して互いに対応付ける手段と、 対応付けされた前記特徴点の２次元座標を用いて、前記
カメラの回転と平行移動の方向とをパラメータとして２
つの前記２次元画像のずれの度合いを表した評価関数が
最小となるように、２つの視点位置の間におけるカメラ
の回転と平行移動の方向とを求める手段と、 ２つの前記２次元画像についての対応付けされた前記特
徴点を用いて、各２次元画像と同じ視点位置で取得され
た２つの３次元形状データ上の点を互いに対応付ける手
段と、 対応付けされた２つの３次元形状データ上の点の３次元
座標を用いて、２つの視点位置の間におけるカメラの平
行移動の大きさを求める手段と、 求められたカメラの回転と平行移動の方向および大きさ
とに基づいて、２つの３次元形状データの位置合わせを
行って統合する手段と、 を有してなることを特徴とする３次元モデルの生成装
置。 - 【請求項３】請求項２記載の３次元モデルの生成装置に
おいて、 前記評価関数は、次の式 【数１】 で示される。但し、 【数２】 であり、（ｕｉ，ｖｉ）は、第１の視点位置での２次元
画像のｉ番目の対応点の座標、（ｕｉ’，ｖｉ’）は、
第２の視点位置での２次元画像のｉ番目の対応点の座
標、Ａはカメラの内部パラメータから定まる３×３行
列、Ｅはカメラの回転と平行移動を表す３×３行列、Ｎ
は２次元画像の対応点の個数である。 - 【請求項４】前記カメラは、２次元画像を撮影すること
が可能な複数のカメラが所定の位置関係で固定されて構
成された多眼カメラであり、 前記３次元形状データは、視差を有する複数の２次元画
像に基づいて３次元再構成を行うことによって取得す
る、 請求項２記載の３次元モデルの生成装置。 - 【請求項５】対象物の３次元形状データを得るために対
象物を非接触で計測し且つ対象物の２次元画像を取得す
ることの可能なカメラと、 視点位置の異なる２つの２次元画像について、複数の特
徴点を抽出して互いに対応付ける手段と、 対応付けされた前記特徴点の２次元座標を用いて、前記
カメラの回転と平行移動の方向とをパラメータとして２
つの前記２次元画像のずれの度合いを表した評価関数が
最小となるように、２つの視点位置の間におけるカメラ
の回転と平行移動の方向とを求める手段と、 ２つの前記２次元画像についての対応付けされた前記特
徴点を用いて、各２次元画像と同じ視点位置で取得され
た２つの３次元形状データ上の点を互いに対応付ける手
段と、 対応付けされた２つの３次元形状データ上の点の３次元
座標を用いて、２つの視点位置の間におけるカメラの平
行移動の大きさを求める手段と、 求められたカメラの回転と平行移動の方向および大きさ
とに基づいて、２つの３次元形状データの位置合わせを
行って統合する手段と、 を有してなることを特徴とする３次元モデルの生成装
置。 - 【請求項６】カメラを用いて異なる視点位置から対象物
を撮影することにより取得された３次元形状データおよ
び２次元画像に基づいて異なる視点位置間のキャリブレ
ーションを行う装置であって、 視点位置の異なる２つの２次元画像について、複数の特
徴点を抽出して互いに対応付ける手段と、 ２つの前記２次元画像についての対応付けされた前記特
徴点を用いて、各２次元画像と同じ視点位置で取得され
た２つの３次元形状データ上の点を互いに対応付ける手
段と、 対応付けされた前記特徴点の２次元座標および３次元形
状データ上の点の３次元座標を用いて、２つの視点位置
の間におけるカメラの回転と平行移動とを求める手段
と、 を有してなることを特徴とするキャリブレーション装
置。 - 【請求項７】１つのカメラを用いて異なる視点位置から
対象物を撮影することにより取得された３次元形状デー
タおよび２次元画像から対象物についての３次元モデル
を生成するためのコンピュータプログラムであって、 視点位置の異なる２つの２次元画像について、複数の特
徴点を抽出して互いに対応付ける手段と、 対応付けされた前記特徴点の２次元座標を用いて、前記
カメラの回転と平行移動の方向とをパラメータとして２
つの前記２次元画像のずれの度合いを表した評価関数が
最小となるように、２つの視点位置の間におけるカメラ
の回転と平行移動の方向とを求める手段と、 ２つの前記２次元画像についての対応付けされた前記特
徴点を用いて、各２次元画像と同じ視点位置で取得され
た２つの３次元形状データ上の点を互いに対応付ける手
段と、 対応付けされた２つの３次元形状データ上の点の３次元
座標を用いて、２つの視点位置の間におけるカメラの平
行移動の大きさを求める手段と、 求められたカメラの回転と平行移動の方向および大きさ
とに基づいて、２つの３次元形状データの位置合わせを
行って統合する手段と、 を機能的に実現するための処理をコンピュータに実行さ
せるためのコンピュータプログラム。 - 【請求項８】請求項７記載のコンピュータプログラムが
記録されたコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001193874A JP2003006618A (ja) | 2001-06-27 | 2001-06-27 | ３次元モデルの生成方法および装置並びにコンピュータプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001193874A JP2003006618A (ja) | 2001-06-27 | 2001-06-27 | ３次元モデルの生成方法および装置並びにコンピュータプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2003006618A true JP2003006618A (ja) | 2003-01-10 |
Family
ID=19032078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001193874A Pending JP2003006618A (ja) | 2001-06-27 | 2001-06-27 | ３次元モデルの生成方法および装置並びにコンピュータプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2003006618A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005017262A (ja) * | 2003-06-27 | 2005-01-20 | Pasuko:Kk | ３次元測量装置及びこれを用いた３次元空間物体復元方法 |
| JP2005031044A (ja) * | 2003-07-11 | 2005-02-03 | Olympus Corp | 三次元誤差測定装置 |
| KR100926271B1 (ko) | 2007-11-22 | 2009-11-12 | 삼성중공업 주식회사 | 3차원 계측기를 이용한 3차원 밀폐 공간의 3차원 모델링 방법 |
| JP2010014718A (ja) * | 2008-07-07 | 2010-01-21 | Steinbichler Optotechnik Gmbh | 対象物を３ｄデジタル化するための方法及び装置 |
| US7944444B2 (en) | 2005-09-03 | 2011-05-17 | Samsung Electronics Co., Ltd. | 3D image processing apparatus and method |
| JP2011108231A (ja) * | 2009-11-17 | 2011-06-02 | Seiko Epson Corp | コンピュータープログラム製品および場面の新規視点を生成するシステム |
| JPWO2016158856A1 (ja) * | 2015-04-02 | 2018-02-01 | 株式会社ニコン | 撮像システム、撮像装置、撮像方法、及び撮像プログラム |
| WO2018034171A1 (ja) * | 2016-08-19 | 2018-02-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| WO2020111139A1 (ja) * | 2018-11-29 | 2020-06-04 | Ｎｅｃソリューションイノベータ株式会社 | 座標算出装置、座標算出方法、及びコンピュータ読み取り可能な記録媒体 |
| WO2022157993A1 (ja) * | 2021-01-20 | 2022-07-28 | オムロン株式会社 | 計測システム、検査システム、計測装置、計測方法、検査方法、及びプログラム |
-
2001
- 2001-06-27 JP JP2001193874A patent/JP2003006618A/ja active Pending
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005017262A (ja) * | 2003-06-27 | 2005-01-20 | Pasuko:Kk | ３次元測量装置及びこれを用いた３次元空間物体復元方法 |
| JP2005031044A (ja) * | 2003-07-11 | 2005-02-03 | Olympus Corp | 三次元誤差測定装置 |
| US7944444B2 (en) | 2005-09-03 | 2011-05-17 | Samsung Electronics Co., Ltd. | 3D image processing apparatus and method |
| KR100926271B1 (ko) | 2007-11-22 | 2009-11-12 | 삼성중공업 주식회사 | 3차원 계측기를 이용한 3차원 밀폐 공간의 3차원 모델링 방법 |
| JP2010014718A (ja) * | 2008-07-07 | 2010-01-21 | Steinbichler Optotechnik Gmbh | 対象物を３ｄデジタル化するための方法及び装置 |
| JP2011108231A (ja) * | 2009-11-17 | 2011-06-02 | Seiko Epson Corp | コンピュータープログラム製品および場面の新規視点を生成するシステム |
| US8817071B2 (en) | 2009-11-17 | 2014-08-26 | Seiko Epson Corporation | Context constrained novel view interpolation |
| US9330491B2 (en) | 2009-11-17 | 2016-05-03 | Seiko Epson Corporation | Context constrained novel view interpolation |
| JPWO2016158856A1 (ja) * | 2015-04-02 | 2018-02-01 | 株式会社ニコン | 撮像システム、撮像装置、撮像方法、及び撮像プログラム |
| US10638113B2 (en) | 2015-04-02 | 2020-04-28 | Nikon Corporation | Imaging system, imaging device, method of imaging, and storage medium |
| CN109643468A (zh) * | 2016-08-19 | 2019-04-16 | 索尼公司 | 图像处理装置和图像处理方法 |
| JPWO2018034171A1 (ja) * | 2016-08-19 | 2019-07-11 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| WO2018034171A1 (ja) * | 2016-08-19 | 2018-02-22 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| US10898804B2 (en) | 2016-08-19 | 2021-01-26 | Sony Corporation | Image processing device and image processing method |
| CN109643468B (zh) * | 2016-08-19 | 2023-10-20 | 索尼公司 | 图像处理装置和图像处理方法 |
| WO2020111139A1 (ja) * | 2018-11-29 | 2020-06-04 | Ｎｅｃソリューションイノベータ株式会社 | 座標算出装置、座標算出方法、及びコンピュータ読み取り可能な記録媒体 |
| CN113167568A (zh) * | 2018-11-29 | 2021-07-23 | 日本电气方案创新株式会社 | 坐标计算装置、坐标计算方法和计算机可读记录介质 |
| JPWO2020111139A1 (ja) * | 2018-11-29 | 2021-10-07 | Ｎｅｃソリューションイノベータ株式会社 | 座標算出装置、座標算出方法、及びプログラム |
| JP7188798B2 (ja) | 2018-11-29 | 2022-12-13 | Ｎｅｃソリューションイノベータ株式会社 | 座標算出装置、座標算出方法、及びプログラム |
| US11922659B2 (en) | 2018-11-29 | 2024-03-05 | Nec Solution Innovators, Ltd. | Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium |
| WO2022157993A1 (ja) * | 2021-01-20 | 2022-07-28 | オムロン株式会社 | 計測システム、検査システム、計測装置、計測方法、検査方法、及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10825198B2 (en) | 3 dimensional coordinates calculating apparatus, 3 dimensional coordinates calculating method, 3 dimensional distance measuring apparatus and 3 dimensional distance measuring method using images | |
| US10916033B2 (en) | System and method for determining a camera pose | |
| JP5745178B2 (ja) | ３次元測定方法、装置及びシステム、並びに画像処理装置 | |
| JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
| US8208029B2 (en) | Method and system for calibrating camera with rectification homography of imaged parallelogram | |
| US10157474B2 (en) | 3D recording device, method for producing a 3D image, and method for setting up a 3D recording device | |
| JP5715735B2 (ja) | ３次元測定方法、装置、及びシステム、並びに画像処理装置 | |
| WO2017022033A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| KR19990028281A (ko) | 패럴랙스에 기반을 둔 기술을 사용한 이미지 조합 방법 및 시스템 | |
| JP2009071844A (ja) | キャリブレーション処理装置、およびキャリブレーション処理方法、並びにコンピュータ・プログラム | |
| JP2009017480A (ja) | カメラキャリブレーション装置およびそのプログラム | |
| JP2005326247A (ja) | 校正装置及び校正方法並びに校正プログラム | |
| WO2019169941A1 (zh) | 一种测距方法及装置 | |
| KR102129206B1 (ko) | 사진 이미지를 이용한 3차원 좌표 계산 방법 및 3차원 좌표 계산 장치 | |
| JP2003006618A (ja) | ３次元モデルの生成方法および装置並びにコンピュータプログラム | |
| KR20190130407A (ko) | 전방위 카메라의 캘리브레이션을 위한 장치 및 방법 | |
| JP2006113832A (ja) | ステレオ画像処理装置およびプログラム | |
| JP7283535B2 (ja) | 校正装置、校正方法、及びプログラム | |
| JP4006296B2 (ja) | 写真測量による変位計測方法及び変位計測装置 | |
| JP3221384B2 (ja) | 三次元座標計測装置 | |
| CN114155233A (zh) | 获得表示图像的锐度级别的配准误差图的装置和方法 | |
| JP4550081B2 (ja) | 画像測定方法 | |
| CN110363806A (zh) | 一种利用不可见光投射特征进行三维空间建模的方法 | |
| WO2018134866A1 (ja) | カメラ校正装置 | |
| CN113140031B (zh) | 三维影像建模系统、方法及应用其的口腔扫描设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050613 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050704 |