JP2003216932A

JP2003216932A - データ処理装置、記録媒体およびプログラム

Info

Publication number: JP2003216932A
Application number: JP2002018533A
Authority: JP
Inventors: Shigeaki Imai; 重晃今井; Koji Fujiwara; 浩次藤原
Original assignee: Minolta Co Ltd
Current assignee: Minolta Co Ltd
Priority date: 2002-01-28
Filing date: 2002-01-28
Publication date: 2003-07-31

Abstract

(57)【要約】【課題】複数の部分形状計測データに基づき生成され
た三次元形状モデルと、別に計測された部分形状との位
置合わせを適切に行えるデータ処理技術を提供する。【解決手段】視点Ｐ１〜Ｐ３から撮影された被写体の
シルエット画像に基づき生成された三次元形状モデルＭ
Ｂの各頂点に、シルエット画像との適合度を表す寄与ポ
イントを付加する。すなわち、各視点Ｐ１〜Ｐ３から撮
影され取得されたシルエット画像の輪郭に表れる点Ｍ
２、Ｍ４、Ｍ６、Ｍ８およびＭ10には、寄与ポイントを
与え、その他の点には、寄与ポイントを与えないように
する。そして、シルエット画像を新たに撮影した場合に
は、寄与ポイントが付与されない点を除外して、新規シ
ルエット画像と三次元形状モデルＭＢとの位置合わせを
行う。これにより、三次元形状モデルに対する別の部分
形状データの適切な位置合わせが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、計測対象物の部分
形状に対応する複数の部分形状計測データを基礎とした
三次元形状データに対してデータ処理が可能なデータ処
理技術に関する。

【０００２】

【従来の技術】対象物の部分的な形状を計測する計測装
置を用い、異なる視点から計測された複数の三次元形状
データや二次元形状データに基づき、形状合成処理を行
って三次元形状モデルを生成するデータ処理技術があ
る。例えば、複数視点の二次元画像から生成したシルエ
ット群から三角ベジェパッチによって三次元形状モデル
を生成するデータ処理技術が知られている。

【０００３】このデータ処理技術では、三次元形状モデ
ルの基礎となった部分形状データが、対象物の形状を再
現するのに十分な情報でない場合には、新たに対象物の
部分形状データを取得し、この部分形状データに基づき
三次元形状モデルを修正する必要がある。

【０００４】新規な部分形状データを取得する際には、
対象物を動かしたり、計測装置の位置・姿勢検出手段が
リセットされたりした場合には、計測装置の位置・姿勢
を推定して三次元形状モデルに対する新規な部分形状の
位置合わせを行わなければならない。

【０００５】この位置合わせの方法としては、新規に取
得した二次元画像に三次元形状モデルを投影し、この三
次元形状モデルの投影画像と新規の二次元画像とが一致
するように計測方向を調整して位置合わせを行うものが
ある。

【０００６】

【発明が解決しようとする課題】しかしながら、上記の
位置合わせの方法では、三次元形状モデルの形状が実際
の対象物の形状を忠実に再現していない場合、三次元形
状モデルの投影画像と対象物の二次元画像とを一致させ
る位置合わせが困難となる。

【０００７】すなわち、一般に追加される部分形状デー
タは、対象物を十分に再現していない三次元形状モデル
の部分を補うものであるため、新規の部分形状と三次元
形状モデルとは、不一致の形状箇所が存在する可能性が
高い。そのため、新規の部分形状と三次元形状モデルと
を一致させる位置合わせは適切でない。

【０００８】本発明は、上記課題に鑑みてなされたもの
であり、複数の部分形状計測データに基づき生成された
三次元形状モデルと、別に計測された部分形状との位置
合わせを適切に行えるデータ処理技術を提供することを
目的とする。

【０００９】

【課題を解決するための手段】上記の課題を解決するた
め、請求項１の発明は、計測対象物の部分形状に対応す
る複数の部分形状計測データを基礎として形状合成処理
により生成された三次元形状データに対してデータ処理
が可能なデータ処理装置であって、(a)前記複数の部分
形状計測データそれぞれで表現される各部分形状と、前
記三次元形状データで表現される三次元形状モデルとの
適合度合いを、前記三次元形状データを構成する各要素
について演算する演算手段と、(b)前記適合度合いで前
記各要素が重み付けられた前記三次元形状データに基づ
き、前記三次元形状モデルと、前記複数の部分形状計測
データとは別に前記計測対象物を計測して得られた他の
部分形状とに関する位置合わせ情報を取得する取得手段
とを備える。

【００１０】また、請求項２の発明は、請求項１の発明
に係るデータ処理装置において、前記取得手段は、(b-
1)前記適合度合いが所定の閾値に達していない要素を除
外した前記三次元形状データに基づき、前記位置合わせ
情報を取得する手段を有する。

【００１１】また、請求項３の発明は、請求項１または
請求項２の発明に係るデータ処理装置において、(c)前
記三次元形状モデルを変形する変形手段、をさらに備え
るとともに、前記演算手段は、(a-1)前記三次元形状モ
デルの変形度合いに応じて、変形箇所に対応する要素に
ついて演算された前記適合度合いを変更する変更手段を
有する。

【００１２】また、請求項４の発明は、コンピュータ読
取り可能な記録媒体データであって、処理装置に内蔵さ
れたコンピュータにインストールされることにより、当
該データ処理装置を請求項１ないし請求項３のいずれか
の発明に係るデータ処理装置として機能させるためのプ
ログラムを記録している。

【００１３】また、請求項５の発明は、プログラムであ
って、データ処理装置に内蔵されたコンピュータにおい
て実行されることにより、当該データ処理装置を請求項
１ないし請求項３のいずれかの発明に係るデータ処理装
置として機能させる。

【００１４】

【発明の実施の形態】＜三次元データ処理システムの構
成＞図１は、本発明の実施形態に係るデータ処理装置３
を利用する三次元データ処理システム１の要部構成を示
す図である。

【００１５】三次元データ処理システム１は、計測対象
物である被写体ＳＢを撮影する撮影装置２と、撮影装置
２で取得した画像データを処理するデータ処理装置３と
を備えている。

【００１６】撮影装置２は、例えばデジタルカメラを利
用した装置で、三次元物体である被写体ＳＢの２次元カ
ラー画像を取得可能な装置である。この撮影装置２は、
被写体撮影用カメラ２ａと、被写体撮影用カメラ２ａの
上部に設けられる可動式カメラ２ｂとを備えている。

【００１７】被写体ＳＢが配置される空間内において、
被写体ＳＢの近傍には、撮影装置２の校正用の立体チャ
ートＴＣが配置されている。立体チャートＴＣは、略角
錐状の本体の各側面にチャートパターンＣＰが施された
立体物であり、チャート支持具から吊り下げられてい
る。好ましくは、立体チャートＴＣは被写体ＳＢの上方
に吊り下げられる。

【００１８】データ処理装置３は、例えばパーソナルコ
ンピュータとして構成されており、箱状の形状を有する
処理部３０と、操作部３１と、表示部３２とを有してい
る。

【００１９】処理部３０の前面には、光ディスク９を挿
入するドライブ３０１が設けられている。

【００２０】操作部３１は、マウス３１１とキーボード
３１２とを有しており、ユーザからのデータ処理装置３
に対する入力操作を受付ける。

【００２１】表示部３２は、例えばＣＲＴで構成され、
画像表示が可能な表示手段として機能する。

【００２２】図２は、三次元データ処理システム１の機
能ブロックを示す図である。

【００２３】撮影装置２は、光学ユニット２１を介して
被写体ＳＢを撮像する撮像部２２と、撮像部２３を有す
る可動式カメラ２ｂに連結する駆動部２４と、これら各
部と電気的に接続する制御部２５とを備えている。ま
た、撮像装置２は、データ処理装置３と通信するための
通信Ｉ／Ｆ２６を備えている。

【００２４】光学ユニット２１は、レンズ群とこれらの
レンズ群の配置を変更する駆動部とを有し、フォーカス
やズームを行って被写体ＳＢの光学像を撮像部２２に結
像させる。

【００２５】撮像部２２、２３は、例えばＣＣＤなどの
撮像素子を有して構成されている。そして、撮影素子で
被写体ＳＢのアナログ画像信号を取得した後、Ａ／Ｄ変
換を行ってデジタル信号の画像データを生成する。

【００２６】駆動部２４は、例えばモータなどのアクチ
ュエータを有しており、可動式カメラ２ｂの撮影方向を
変更できる。この駆動部２４による可動式カメラ２ｂの
姿勢制御によって、立体チャートＴＣの追尾が可能とな
る。これにより、可動式カメラ２ｂは、立体チャートＴ
Ｃ上のパターンに含まれる複数の単位図形を撮影するこ
とで、立体チャートＴＣと可動式カメラ２ｂとの相対的
な位置・姿勢関係を特定する。すなわち立体チャートＴ
Ｃに対して相対的に固定された絶対座標系における、被
写体撮影用カメラ２ａの位置および姿勢を検出する位置
・姿勢センサとして機能することとなる。

【００２７】制御部２５は、ＣＰＵ２５１およびメモリ
２５２を有しており、撮像装置２の動作を統括制御する
部位である。この制御部２５では、被写体撮影カメラ２
ａの撮像部２２で撮像した画像と、立体チャートＴＣを
追尾する可動式カメラ２ｂの撮像部２３で撮像した画像
との解析処理が行われ、被写体撮影用カメラ２ａの撮影
位置データおよび撮影姿勢データが算出される。そし
て、算出された撮影位置データおよび撮影姿勢データ
が、被写体ＳＢのカラー画像データと一組になってメモ
リ２５２に記録される。また、メモリ２５２には、光学
ユニット２１の光学ユニット制御データなどの撮影装置
２の内部パラメータも記録される。この内部パラメータ
には、被写体撮影用カメラ１０ａに関する焦点距離や光
軸中心の情報、またフォーカス、ズームなどの制御情報
が含まれる。

【００２８】通信Ｉ／Ｆ２６は、例えばＩｒＤＡ(Infra
red Data Association)規格による赤外線通信などを利
用して、データ処理装置３とデータ伝送するためのイン
ターフェースである。この通信Ｉ／Ｆ２６により、撮像
部２２で撮像された被写体ＳＢの画像データと、制御部
２５で解析された撮影位置データおよび撮影姿勢データ
と、撮影装置２の内部パラメータとがデータ処理装置３
に伝送できることとなる。なお、以下では、撮影装置２
の内部パラメータ、撮影位置データおよび撮影姿勢デー
タを総称して環境データと呼ぶことにする。

【００２９】データ処理装置３の処理部３０は、上記の
操作部３１および表示部３２に接続する入出力Ｉ／Ｆ３
３と、入出力Ｉ／Ｆ３３に電気的に接続する制御部３４
とを備えている。また、処理部３０は、制御部３４に電
気的に接続する記憶部３５と、入出力Ｉ／Ｆ３６と、通
信Ｉ／Ｆ３７とを備えている。

【００３０】入出力Ｉ／Ｆ３３は、操作部３１および表
示部３２と制御部３４との間でデータの送受をコントロ
ールするためのインターフェースである。

【００３１】記憶部３５は、例えばハードディスクとし
て構成されており、データ処理プログラムＤＰを格納す
る。

【００３２】入出力Ｉ／Ｆ３６は、ドライブ３０１を介
して、記録媒体である光ディスク９に対するデータの入
出力を行うためのインターフェースである。

【００３３】通信Ｉ／Ｆ３７は、撮影装置２の通信Ｉ／
Ｆ２６に対応する部位で、撮影装置２とデータ伝送する
ためのインターフェースである。

【００３４】制御部３４は、ＣＰＵ３４１およびメモリ
３４２を有しており、データ処理装置３の動作を統括制
御する部位である。この制御部３４でデータ処理プログ
ラムＤＰが実行されることにより、後述のように新たに
入力されたシルエット画像と三次元形状モデルとの位置
合わせを行うことができる。

【００３５】制御部３４のメモリ３４２には、光ディス
ク９に記録されているデータ処理プログラムＤＰなどの
プログラムデータを入出力Ｉ／Ｆ３６を介して格納する
ことができる。これにより、この格納したプログラムを
データ処理装置３の動作に反映できる。

【００３６】＜データ処理装置３の動作＞以下では、上
述の構成を有するデータ処理装置３の動作を説明する
が、まず、データ処理装置３で三次元形状モデルを生成
するための基礎データとなる二次元画像データの取得方
法を説明する。

【００３７】図３は、撮影装置２によって画像データの
取得する様子を説明するための図である。本図は、被写
体ＳＢを上方から見た場合の概念図である。

【００３８】被写体のカラー画像データについては、例
えば３つの視点Ｐ１〜Ｐ３に撮影装置２を移動させ、被
写体ＳＢを様々な角度から撮影することで取得する。こ
の撮影では、撮影装置２で撮影可能な画像範囲Ｇｔに被
写体ＳＢのシルエット領域Ｇｓが入るように撮影する。
なお、図３の例では、説明の便宜上、３つの視点を挙げ
ているが、実際にはもっと多数の視点から被写体ＳＢを
撮影することとなる。

【００３９】そして、取得した被写体の二次元画像デー
タは、上述した環境データとともに、撮影装置２内のメ
モリ２５２に格納される。

【００４０】以上のように画像データが取得されると、
次にデータ処理装置３の記憶部３５に格納されるデータ
処理プログラムＤＰを起動し、以下で説明するデータ処
理装置３の動作を行う。

【００４１】図４は、データ処理装置３の基本的な動作
を説明するフローチャートである。本動作は、データ処
理装置の制御部３４で実行される。

【００４２】ステップＳ１では、被写体ＳＢを多視点か
ら撮影した画像データを、撮影装置２から受信する。こ
こでは、撮影装置２のメモリ２５２内に格納される二次
元画像データと環境データとが、通信Ｉ／Ｆ２６を介し
てデータ処理装置３に転送されることとなる。

【００４３】ステップＳ２では、ステップＳ１で受信し
た画像データから、被写体ＳＢの領域を抽出したシルエ
ット画像を生成する。このシルエット画像は、物体表面
と背景との色差に基づき被写体ＳＢの輪郭を抽出した
後、例えば輪郭の内部を「１」に、輪郭の外部を「０」
にする二値化された画像データとして作成される。すな
わち、シルエット画像は、ある視点(撮影位置)から見た
被写体ＳＢのシルエット、つまり視点を中心とした被写
体ＳＢの二次元空間への投影画像となり、被写体ＳＢの
部分形状に相当する輪郭を表す部分形状計測データとな
る。このシルエット画像を生成する際には、画像取得時
の撮影装置２の撮影位置データと撮影姿勢データとに基
づき透視変換行列Ｐを演算して、シルエット画像ととも
にメモリ３４２に記録する。

【００４４】ステップＳ３では、例えばShape From Shi
lhouette(ＳＦＳ)法、特にVolume Intersection法を利
用して、被写体ＳＢに関する多数のシルエット画像に基
づき、形状合成処理によって三次元形状モデルＭＢを生
成する。

【００４５】このVolume Intersection法では、仮想３
次元空間中に多数のボクセルと呼ばれる立方体形状を配
置する。そして、各視点（撮影点）と、当該視点からの
撮影により取得されたシルエット画像の輪郭（外周部）
を結ぶ錐体状の領域外のボクセルを削除する。そして、
各錐体状の領域内の共通部分に存在するボクセルを連結
することにより被写体ＳＢの形状データが生成される。
つまり、Volume Intersection法により求められる被写
体ＳＢの形状データは、多数の立方格子の集合体として
仮想空間上に配置される。

【００４６】なお、このVolume Intersection法では、
シルエット画像に基づき、ボクセルを削除することによ
り三次元形状を形成するが、シルエット画像に表れない
箇所では削り残りが生じて実際の被写体ＳＢより形状が
膨らむ場合があり、形成された三次元形状と被写体ＳＢ
とが適合しない部分が生じる可能性がある。

【００４７】Volume Intersection法により多数のボク
セルで表現される対象物の三次元形状が形成されると、
次に、その形状データからポリゴンメッシュ形式の曲面
データで構成される三次元形状モデルを生成する。この
三次元形状モデル生成の際には、データの補間やスムー
ジング処理などの各種の処理を行うため、ステップＳ２
で生成されたシルエット画像と、三次元形状モデルとの
整合が図れない部分、つまり完全に適合しない部分が発
生する場合がある。

【００４８】なお、生成された三次元形状モデルは、例
えば表示部３２で表示されるなどして、ユーザによる被
写体ＳＢの形状再現性などのチェックに供される。

【００４９】ステップＳ４では、三次元形状モデルの各
頂点に寄与ポイントが付与される(後で詳述)。

【００５０】ステップＳ５では、撮影装置２から新規な
画像データを受信したかを判定する。この受信の際に
は、被写体ＳＢの位置を動かすなど、新規な画像データ
と三次元形状モデルＭＢとの対応関係が不明となってい
るものとする。ここで、新規な画像データを受信した場
合には、ステップＳ６に進み、受信しない場合には、デ
ータ処理プログラムを終了する。

【００５１】ステップＳ６では、ステップＳ２と同様
に、受信した新規画像データに基づき、シルエット画像
を生成する。

【００５２】ステップＳ７では、寄与ポイントに基づ
き、ステップＳ６で生成されたシルエット画像と三次元
形状モデルとの位置合わせを行う。

【００５３】図５は、上記のステップＳ４に対応する寄
与ポイントの付与の動作を説明するフローチャートであ
る。本動作は、上述したように三次元形状モデルとシル
エット画像とが正確に適合していないため、この適合度
合いを数値化して三次元形状モデルに反映するための動
作となる。なお、上記のステップＳ２ではＮｓ枚のシル
エット画像ＳＧｋ(ｋ＝１〜Ｎs)が生成されているもの
とする。

【００５４】ステップＳ１１では、変数ｋに初期値１を
代入する。

【００５５】ステップＳ１２では、シルエット画像ＳＧ
ｋ上に三次元形状モデルＭＢを投影する。具体的には、
図６に示すように、ステップＳ３で生成された三次元形
状モデルＭＢのポリゴンメッシュに関する各頂点を、シ
ルエット画像ＳＧに投影する。ここでは、シルエット画
像ＳＧとともにメモリ３４２に記憶される透視変換行列
Ｐを用いて、例えば視点Ｐ１(図３参照)から視線方向Ｆ
１に撮影されたシルエット画像ＳＧ上に、三次元形状モ
デルＭＢの投影画像ＭＢｓが作成されることとなる。

【００５６】一般的には、三次元形状モデルＭＢを構成
する各頂点の座標を、同次座標表現でＭi(ｘi,ｙi,ｚi,
１)：i＝１,２,・・・,Ｎと表現する場合、注目するシ
ルエット画像に関する透視変換行列をＰ、投影されたシ
ルエット画像上の点Ｍｉの座標を同次座標表現でｍi(ｕ
i,ｖi,ｗi,)と表現すると、次の式(１)が成立する。

【００５７】

【数１】

【００５８】ここで、ｍiは、同次座標表現であるた
め、二次元(シルエット)画像上の座標としては、ｍri
(ｕri,ｖri)＝(ｕi/ｗi,ｖi/ｗi)と表せることとなる。

【００５９】ステップＳ１３では、三次元形状モデルＭ
Ｂに、シルエット画像との適合度合いを表す寄与ポイン
ト(数値情報)を付与する。以下では、この具体的な付与
方法を説明する。

【００６０】シルエット画像ＳＧにおける被写体ＳＢの
対象領域ＳＢｆ(図６の平行斜線部)の輪郭(境界線)を形
成する各画素をｂj(ｒj,ｓj)：j＝１,２,・・・,Ｎbと
表し、各画素ｂjに関して上記の各点ｍriのうち最も距
離の近いものとの距離ｄを、次の式(２)で求める。

【００６１】

【数２】

【００６２】ここで、輪郭の画素ｂjから最も近い点ｍr
iまでの距離ｄが、予め定められた閾値αより小さい場
合には、この点ｍriに対応する三次元形状モデルＭＢの
頂点Ｍi、つまり三次元形状モデルＭＢを構成する要素
に、寄与ポイント１を与える。この処理をシルエット画
像ＳＧｋの対象領域ＳＢｆの輪郭を形成する全画素につ
いて行う。

【００６３】この処理により、撮影される三次元形状モ
デルＭＢの各頂点のうち、投影画像ＭＢｓの内部につい
ては、寄与ポイントが与えられず、輪郭に近い部分に寄
与ポイントが付与されることとなる。

【００６４】ステップＳ１４では、変数ｋがＮｓである
か、すなわち全てのシルエット画像に基づいて三次元形
状モデルに寄与ポイントが付与されたかを判定する。こ
こで、ｋ＝Ｎｓである場合には、ステップＳ５に進み、
ｋ＝Ｎｓでない場合には、ステップＳ１５に進む。

【００６５】ステップＳ１５では、変数ｋにｋ＋１を代
入する。

【００６６】以上で説明した寄与ポイントの付与動作に
よって、図７に示すように、三次元形状モデルＭＢの各
頂点Ｍiに寄与ポイントが付与される。なお、図７は、
図３に対応するもので、寄与ポイントの付与を説明する
ための概念図である。

【００６７】三次元形状モデルＭＢを形成する各点Ｍ１
〜Ｍ10については、例えば付与される寄与ポイントが３
段階に分類される。すなわち、視点Ｐ１、Ｐ２またはＰ
３で取得されたシルエット画像に表れる点Ｍ２、Ｍ４、
Ｍ８およびＭ10には、寄与ポイント１が付与され、視点
Ｐ１および視点Ｐ３で取得されたシルエット画像に表れ
る点Ｍ６点Ｍ６には、シルエット画像ごとに付与される
寄与ポイント１が積算された寄与ポイント２が与えられ
る。その他の点については、寄与ポイント０が与えられ
ることとなる。

【００６８】このように寄与ポイントで三次元形状モデ
ルＭＢの各頂点を重み付けすることにより、寄与ポイン
トの高い点Ｍiおよびその周辺は、シルエット画像の影
響を強く受けている部分と考えられ、寄与ポイントの低
い点Ｍiおよびその周辺は、シルエット画像の影響を受
けず、形状が実際の被写体ＳＢと異なる可能性が高いと
考えられる。

【００６９】図８は、上記のステップＳ７に対応する位
置合わせの動作を説明するフローチャートである。

【００７０】ステップＳ２１では、位置・姿勢データ
(パラメータ)の初期値を設定する。新規画像データの取
得時の撮影装置２の焦点距離などの内部パラメータが既
知(取得済)であるとすると、撮影装置２の視点位置・姿
勢は６つのパラメータＬ(ｘ,ｙ,ｚ,θ,φ,ψ)で表され
る。なお、この６つのパラメータは、図６に示す視点Ｐ
１の三次元座標の位置と、視線Ｆ１の三次元的な方向と
に対応している。ここで、これらのパラメータがとりう
る範囲内で１つのパラメータの候補である初期パラメー
タＬｏ(ｘo,ｙo,ｚo,θo,φo,ψo)を設定する。

【００７１】ステップＳ２２では、撮影装置２の内部パ
ラメータと位置・姿勢パラメータＬとに基づき、透視変
換行列Ｐを算出する。

【００７２】ステップＳ２３では、ステップＳ２２で算
出された透視変換行列Ｐに基づき、式(１)の演算を行っ
て、仮想的な視点を中心とした平面に三次元形状モデル
ＭＢを投影し、点ｍriで形成される投影画像を生成す
る。

【００７３】ステップＳ２４では、評価関数である適応
度Ｅの演算を行う。この適応度Ｅの演算について、以下
で説明する。

【００７４】新規な画像データに関するシルエット画像
の対象領域で輪郭を形成する各画素の座標列をｈi、三
次元形状モデルＭＢの投影画像において輪郭を形成する
各点の座標をｍrjとする。ここで、これら２つの画像の
適合度を評価する適応度Ｅを、次の式(３)のように設定
する。ただし、Ｎは、座標列ｈiを構成する画素の総数
である。

【００７５】

【数３】

【００７６】上式(３)のように、新規画像データの関す
るシルエット画像の輪郭を形成する各画素ｈiから最短
距離にある三次元形状モデルＭＢの投影画像の輪郭まで
の距離を寄与ポイントｃjで重み付け平均をとったもの
として両者の適合度合いが表せることとなる。

【００７７】これにより、寄与ポイント０が付与された
三次元形状モデルＭＢの部分は、後述の位置合わせから
除外されることとなる。

【００７８】ステップＳ２５では、ステップＳ２４で算
出された適応度Ｅが最小となるかを判定する。ここで、
最小となる場合には、ステップＳ２６に進み、最小でな
い場合には、ステップＳ２７に進む。

【００７９】ステップＳ２７では、適応度Ｅが最小でな
いため、位置・姿勢パラメータＬを所定量変更する。こ
のようにパラメータＬを変更することで、適応度Ｅが最
小となる位置・姿勢パラメータＬを探索できることとな
る。

【００８０】ステップＳ２８では、適応度Ｅが最小とな
る位置・姿勢パラメータＬに基づき、ステップＳ６で生
成した新規シルエット画像(他の部分形状)と三次元形状
モデルＭＢとの位置合わせ情報を取得して両者の位置合
わせを行う。これにより、新規シルエット画像の部分形
状データを三次元形状モデルＭＢに反映できるため、被
写体ＳＢの再現精度が向上することとなる。

【００８１】以上のデータ処理装置３の動作により、寄
与ポイントで重み付けした三次元形状モデルを利用する
ため、三次元形状モデルに対して別の部分形状データで
あるシルエット画像を適切に位置合わせができる。

【００８２】また、上記の実施形態において、被写体Ｓ
Ｂに対して再現性の悪い箇所を修正するなど三次元形状
モデルＭＢの変形を行う場合には、三次元形状モデルＭ
Ｂの各頂点の移動量ｄ、つまり変形度合いに応じて、寄
与ポイントを変更する。この場合には、例えば、次の式
(４)のように、寄与ポイントＣnewに変更されることと
なる。

【００８３】

【数４】

【００８４】ただし、上式(４)において、ｋは頂点の移
動量に対する寄与ポイントの減衰率を表す係数であり、
Ｃiは変更前の寄与ポイントである。

【００８５】このような寄与ポイントの変更によって、
三次元形状モデルＭＢで大きく変形された形状部分につ
いては、寄与ポイントが指数関数的に減少する。その結
果、実際の被写体ＳＢと形状が異なる可能性の高い変更
部分については、新規シルエット画像の位置合わせに対
する影響が減少し、適切な位置合わせが行えることとな
る。

【００８６】＜変形例＞ ◎上記の実施形態の寄与ポイントについては、シルエッ
ト画像の輪郭を形成する各画素ごとに三次元形状モデル
の１つの頂点に付与するのは必須でない。すなわち、シ
ルエット画像の輪郭を形成する各画素は、三次元形状モ
デルに対してある一定の範囲に影響を与えているとも考
えられるため、この範囲に伝播させるように寄与ポイン
トを付与しても良い。例えば、三次元形状モデルＭＢ上
の１の頂点ｐi(ｘi,ｙi,ｚi)に関して、三次元形状モデ
ルＭＢ上の各頂点ｐjとの距離を考慮し、次の式(５)、
(６)のように寄与ポイントｃiを演算する。

【００８７】

【数５】

【００８８】ただし、式(５)において、ｋdは影響範囲
を制御するための係数であり、ｋは影響の強度を示す。

【００８９】このような寄与ポイントの付与によって、
より適切に三次元形状モデルに寄与ポイントを付与でき
ることとなる。

【００９０】また、単に式(２)で算出される距離ｄの逆
数１/ｄを寄与ポイントとして各頂点に付与するように
しても良い。この場合も、適切に三次元形状モデルに適
合度合いを反映した重み付けを行えることとなる。

【００９１】◎上記の実施形態における適応度Ｅについ
ては、式(３)のように演算するのは必須でなく、次の式
(７)のように演算しても良い。

【００９２】

【数６】

【００９３】このように算出された適応度Ｅによって、
寄与ポイントがthresholdに達していない三次元形状モ
デルの頂点を除外できるため、より再現性の高い三次元
形状モデルの部分を利用した位置合わせが可能となる。

【００９４】◎上記の実施形態については、可動式カメ
ラ２ｂに代えて、撮影装置２に加速度センサ付ジャイロ
センサを搭載することにより、位置・姿勢データの検出
を行うようにしてもよいし、可動式カメラ２ｂとジャイ
ロセンサとを併用してもよい。

【００９５】◎上記の実施形態については、無線により
撮影装置２とデータ処理装置３との間のデータ伝送を行
っているが、これに限らず有線によりデータ伝送を行う
ようにしても良い。

【００９６】◎上記の実施形態については、三次元形状
モデルの投影画像とシルエット画像との差分情報に基づ
き寄与ポイントを付与しているが、三次元形状モデルの
各頂点に関して異なる視点から撮影された画像における
画素値のばらつきに基づき、寄与ポイントを付与しても
良い。すなわち、画像間で画素値の相違量が大きいほ
ど、被写体の形状が正確に再現されていないため、０ま
たは低い寄与ポイントを付与するようにする。

【００９７】◎本発明については、複数の三次元の部分
形状計測データを基礎に生成された三次元形状モデルの
場合には、次のように寄与ポイントの付与を行う。

【００９８】二次元の部分形状計測データである複数の
シルエット画像を基礎に生成された三次元形状モデルに
寄与ポイントを付与する場合には、上述のように三次元
形状モデルを二次元平面に投影しシルエット画像との差
分値に応じて寄与ポイントを付与している。

【００９９】これに対して、複数の三次元の部分形状デ
ータを基礎に生成された三次元形状モデルに寄与ポイン
トを付与する場合には、三次元形状モデルと三次元の部
分形状との差分値に応じて、三次元形状モデルの各頂点
に寄与ポイントを付与することとなる。そして、新規に
計測された三次元の部分形状データと三次元形状モデル
との位置合わせでは、二次元の場合と同様に、寄与ポイ
ントの高い三次元形状モデルの頂点を利用する。これに
より、シルエット画像と同様に、適切な位置合わせが可
能となる。

【０１００】◎本発明における「三次元形状データを構
成する各要素」とは、三次元形状モデルの各頂点のみで
なく、三次元形状モデルを構成する微小な線分や面をも
含む概念である。

【０１０１】

【発明の効果】以上説明したように、請求項１ないし請
求項５の発明によれば、複数の部分形状計測データそれ
ぞれで表現される各部分形状と三次元形状モデルとの適
合度合いを三次元形状データを構成する各要素について
演算し、適合度合いで各要素が重み付けられた三次元形
状データに基づき、三次元形状モデルと他の部分形状と
に関する位置合わせ情報を取得する。その結果、三次元
形状モデルと、別に計測された他の部分形状との位置合
わせを適切に行える。

【０１０２】特に、請求項２の発明においては、適合度
合いが所定の閾値に達していない要素を除外した三次元
形状データに基づき位置合わせの処理を行うため、三次
元形状モデルと他の部分形状との位置合わせをより適切
に行える。

【０１０３】また、請求項３の発明においては、三次元
形状モデルの変形度合いに応じて変形箇所に対応する要
素について演算された適合度合いを変更するため、三次
元形状を変形する場合にも適切な位置合わせを行える。

【図面の簡単な説明】

【図１】本発明の実施形態に係るデータ処理装置３を利
用する三次元データ処理システム１の要部構成を示す図
である。

【図２】三次元データ処理システム１の機能ブロックを
示す図である。

【図３】撮影装置２によって画像データの取得する様子
を説明するための図である。

【図４】データ処理装置３の基本的な動作を説明するフ
ローチャートである。

【図５】寄与ポイントの付与の動作を説明するフローチ
ャートである。

【図６】三次元形状モデルＭＢのシルエット画像への投
影を説明するための観念図である。

【図７】三次元形状モデルＭＢ上に付与される寄与ポイ
ントを説明するための概念図である。

【図８】位置合わせの動作を説明するフローチャートで
ある。

【符号の説明】

１三次元データ処理システム２撮影装置３データ処理装置２５、３４制御部Ｐ１〜Ｐ３視点Ｆ１視線方向ＭＢ三次元形状モデルＭＢｓ三次元形状モデルの投影画像ＳＢ被写体ＳＧシルエット画像ＴＣ立体チャート

フロントページの続きＦターム(参考） 2F065 AA04 AA06 AA53 BB05 FF04 FF25 FF28 FF61 JJ03 JJ05 JJ26 LL06 QQ03 QQ32 QQ38 SS02 SS13 5B047 AA07 AB02 BA03 BB04 BC16 BC23 CA12 CB09 CB23 5B057 AA20 BA02 CA02 CA08 CA13 CA16 CB02 CB08 CB13 CB16 CC01 CD20 DA07 DB03 DB05 DB09 DC16 DC19 5C054 AA05 CE02 CE16 CF06 DA07 EA01 FA01 FD01 GA02 HA05

Claims

【特許請求の範囲】

【請求項１】計測対象物の部分形状に対応する複数の
部分形状計測データを基礎として形状合成処理により生
成された三次元形状データに対してデータ処理が可能な
データ処理装置であって、 (a)前記複数の部分形状計測データそれぞれで表現され
る各部分形状と、前記三次元形状データで表現される三
次元形状モデルとの適合度合いを、前記三次元形状デー
タを構成する各要素について演算する演算手段と、 (b)前記適合度合いで前記各要素が重み付けられた前記
三次元形状データに基づき、前記三次元形状モデルと、
前記複数の部分形状計測データとは別に前記計測対象物
を計測して得られた他の部分形状とに関する位置合わせ
情報を取得する取得手段と、を備えることを特徴とする
データ処理装置。
【請求項２】請求項１に記載のデータ処理装置におい
て、前記取得手段は、 (b-1)前記適合度合いが所定の閾値に達していない要素
を除外した前記三次元形状データに基づき、前記位置合
わせ情報を取得する手段を、有することを特徴とするデ
ータ処理装置。
【請求項３】請求項１または請求項２に記載のデータ
処理装置において、 (c)前記三次元形状モデルを変形する変形手段、をさら
に備えるとともに、前記演算手段は、 (a-1)前記三次元形状モデルの変形度合いに応じて、変
形箇所に対応する要素について演算された前記適合度合
いを変更する変更手段、を有することを特徴とするデー
タ処理装置。
【請求項４】データ処理装置に内蔵されたコンピュー
タにインストールされることにより、当該データ処理装
置を請求項１ないし請求項３のいずれかに記載のデータ
処理装置として機能させるためのプログラムを記録して
いることを特徴とする、コンピュータ読取り可能な記録
媒体。
【請求項５】データ処理装置に内蔵されたコンピュー
タにおいて実行されることにより、当該データ処理装置
を請求項１ないし請求項３のいずれかに記載のデータ処
理装置として機能させることを特徴とするプログラム。