JP2000287223A - ３次元データ入力方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】被写体の３次元データの入力を簡単に迅速に且
つ正確に行うことができ、被写体の全周又は所定範囲に
おける欠落のない合成画像を容易に取得できるようにす
ること。 【解決手段】被写体Ｑの入力部分を確認するためのモニ
タ画面２１を有し、被写体Ｑを撮影することによって入
力部分の３次元データの入力を行うように構成された３
次元データ入力装置における３次元データ入力方法であ
って、被写体Ｑの形状と略同一の形状を有する３次元形
状モデルの画像をフレーミングの案内画像ＧＰとしてモ
ニタ画面に表示し、案内画像ＧＰに基づいてフレーミン
グを行い、フレーミングがなされた状態で被写体Ｑの撮
影を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、被写体の３次元デ
ータを入力するための３次元データ入力方法及び装置に
関する。

【０００２】

【従来の技術】光学式の３次元データ入力装置（３次元
カメラ）は、接触型に比べて高速の計測が可能であるこ
とから、ＣＧシステムやＣＡＤシステムへのデータ入
力、身体計測、ロボットの視覚認識などに利用されてい
る。このような３次元データ入力装置に好適な計測方法
としてスリット光投影法（光切断法ともいう）が知られ
ている。

【０００３】図１０はスリット光投影法を適用した３次
元カメラ８０の入力原理を示す図である。図１０におい
て、３次元カメラ８０は、投光部８１と受光部８２とを
有する。投光部８１は、断面が直線状のスリット光Ｓを
照射する。受光部８２は、撮像面８３及び図示しない結
像レンズを有する。投光部８１と受光部８２とは、通
常、互いに所定の寸法だけ離れた状態で、１つのハウジ
ングに一体的に組み込まれている。

【０００４】被写体Ｑ１は、投光部８１からのスリット
光Ｓによって照射され、その反射光が撮像面８３上でス
リット像として捕らえられる。このスリット像における
１つの点ｐ' に対応する被写体Ｑ１上の点ｐの空間座標
は、スリット光Ｓによって形成される平面と、点ｐ' 及
び結像レンズの中心点Ｏを結ぶ直線Ｌとの交点の座標と
して求められる。したがって、スリット光Ｓで得られた
１枚のスリット像から、このスリット像上の各点に対応
した被写体Ｑ１の表面の点群の空間座標が求められる。
スリット光Ｓを水平方向に移動させることで被写体Ｑ１
を走査し、各走査位置でのスリット像を入力することで
被写体Ｑ１の表側部分、つまりスリット光Ｓの照射を受
けた部分の３次元データ（３次元形状データ）が入力さ
れる。

【０００５】被写体Ｑ１の全周における３次元データを
得たい場合には、被写体Ｑ１について複数方向から入力
することが必要となる。そのための方法として２つの方
法が知られている。第１の方法では、３次元カメラ８０
を、その撮影方向が被写体Ｑ１に向いた状態で被写体Ｑ
１を中心とした所定の軌道上を移動させ、被写体Ｑ１に
対して複数方向から撮影を行う。第２の方法では、回転
ステージに被写体Ｑ１を載せて回転させ、所定位置に設
置した３次元カメラ８０により、被写体Ｑ１に対して複
数方向から撮影を行う。

【０００６】複数方向から入力された被写体Ｑ１の３次
元データは、３次元カメラ８０の移動する軌道上におけ
る位置、又は回転ステージの位置に基づいて算出された
変換パラメータにより、それぞれ位置合わせの処理が行
われる。これにより、被写体Ｑ１の全周における３次元
デ−タが得られる。

【０００７】しかし、上述した方法では、位置合わせの
精度を向上するために、３次元カメラ８０の位置又は回
転ステージの角度位置を高精度に検出する必要があり、
コスト高となる。

【０００８】しかも、３次元カメラ８０を移動装置など
にセットすることとなるため、３次元カメラ８０を手に
持って撮影することができない。そのため、入力を行う
ことのできる被写体が制限される。つまり、例えば、既
設の石像又は銅像などのように移動できない被写体は、
この方法によっては３次元デ−タの入力ができない。

【０００９】このような問題を解決するために、特開平
９−５０５１号公報に記載の装置が提案されている。こ
の従来の装置によると、被写体Ｑ１を任意の複数方向か
ら撮影し、３次元デ−タの入力を行う。入力を行った
後、複数方向から入力された３次元形状、及び、それら
と同時に同一の視野から入力され且つ３次元データとの
対応付けがなされているカラー画像を表示する。ユーザ
は、表示されたカラー画像を見ながら、それらの３次元
形状における互いの対応点を色の変化などに基づいて手
動で指定する。ユーザにより指定された対応点に基づい
て、入力された３次元データの相互間の位置合わせが行
われる。

【００１０】

【発明が解決しようとする課題】しかし、上に述べた従
来の装置によると、複数の３次元データの相互間の位置
合わせのために、ユーザが対応点を指定する作業を行う
必要があり、その作業が極めて面倒である。

【００１１】また、３次元デ−タの入力を行う際には、
被写体Ｑ１の全周について旨く撮影が行われたか否かを
確認する方法がない。そのため、複数の３次元データが
適切な重なりを持って連続していなかったり、データが
不足する場合には、３次元データの相互間の対応点を旨
くとることができない。そのような場合には、３次元デ
ータの相互間の位置合わせの精度が低下したり、酷い場
合には撮影をやり直す必要がある。

【００１２】本発明は、上述の問題に鑑みてなされたも
ので、被写体の３次元データの入力を簡単に迅速に且つ
正確に行うことができ、被写体の全周又は所定範囲にお
ける欠落のない合成画像を容易に取得することを可能と
する３次元データ入力方法及び装置を提供することを目
的とする。

【００１３】

【課題を解決するための手段】請求項１に係る３次元デ
ータ入力方法は、図５及び図６に示すように、被写体Ｑ
の入力部分を確認するためのモニタ画面２１を有し、前
記被写体Ｑを撮影することによって前記入力部分の３次
元データの入力を行うように構成された３次元データ入
力装置２における３次元データ入力方法であって、前記
被写体Ｑの形状と略同一の形状を有する３次元形状モデ
ルの画像をフレーミングの案内画像ＧＰとして前記モニ
タ画面に表示し、前記案内画像ＧＰに基づいてフレーミ
ングを行い、前記フレーミングがなされた状態で前記被
写体Ｑの撮影を行う。

【００１４】請求項２に係る３次元データ入力方法は、
図５及び図６に示すように、被写体Ｑの入力部分を確認
するためのモニタ画面２１を有し、前記被写体Ｑを撮影
することによって前記入力部分の３次元データの入力を
行うように構成された３次元データ入力装置２における
３次元データ入力方法であって、前記被写体Ｑの形状と
略同一の形状を有する３次元形状モデルのデータ及び前
記３次元形状モデルを観察する位置に関する情報である
属性情報ＡＪをメモリ７５に記憶しておき、前記属性情
報ＡＪにしたがって前記３次元形状モデルの画像をフレ
ーミングの案内画像ＧＰとして前記モニタ画面２１に表
示し、前記入力部分の画像ＱＰが前記案内画像ＧＰに重
なり合うようにフレーミングを行い、前記フレーミング
がなされた状態で前記被写体Ｑの撮影を行う。

【００１５】請求項３に係る３次元データ入力方法は、
図８に示すように、前記入力部分の画像ＱＰと前記案内
画像ＧＰとの対応付けを行い、対応付けによって前記案
内画像ＧＰのスケールを前記被写体Ｑのスケールに一致
させる。

【００１６】請求項４に係る３次元データ入力方法は、
図４に示すように、前記撮影を前記被写体Ｑについて互
いに異なる位置毎に行う。請求項５に係る３次元データ
入力装置２は、図２乃至図６に示すように、被写体Ｑの
入力部分を確認するためのモニタ画面２１を有し、前記
被写体Ｑを撮影することによって前記入力部分の３次元
データの入力を行うように構成された３次元データ入力
装置２であって、前記被写体Ｑの形状と略同一の形状を
有する３次元形状モデルのデータ及び前記３次元形状モ
デルを観察する位置に関する情報である属性情報を記憶
する記憶手段７５、前記属性情報ＡＪにしたがって前記
３次元形状モデルの画像をフレーミングの案内画像ＧＰ
として前記モニタ画面２１に表示させる表示指示手段７
６と、フレーミングがなされた前記被写体Ｑを撮影する
ことによって入力される３次元データを記憶する記憶手
段６３と、を有する。

【００１７】請求項６に係る３次元データ入力装置２
は、図５及び図８に示すように、前記入力部分の画像Ｑ
Ｐと前記案内画像ＧＰとの対応付けを行う対応付け手段
と、前記対応付けに基づいて前記案内画像ＧＰのスケー
ルを前記被写体Ｑのスケールに一致させるスケール一致
手段と、を有してなる。

【００１８】

【発明の実施の形態】図１は本発明に係る３次元カメラ
２を用いた計測システム１の構成図、図２は３次元カメ
ラ２の外観を示す図である。

【００１９】図１に示すように、計測システム１は、３
次元カメラ２及びホスト３から構成される。３次元カメ
ラ２は、スリット光投影法によって立体計測を行う可搬
型の３次元データ入力装置であり、入力対象となる被写
体Ｑを撮影することにより、３次元データ（距離デー
タ）を入力し、この３次元データに基づいて被写体Ｑの
３次元形状を求めるための基となるデータを算出し出力
する。

【００２０】ホスト３は、ＣＰＵ３ａ、ディスプレイ３
ｂ、キーボード３ｃ、及びマウス３ｄなどから構成され
たコンピュータシステムである。３次元カメラ２とホス
ト３との間では、オンライン及び可搬型の記録メディア
４によるオフラインの両方の形態のデータ受渡しが可能
である。記録メディア４としては、光磁気ディスク（Ｍ
Ｏ）、ミニディスク（ＭＤ）、メモリカードなどがあ
る。

【００２１】ホスト３は、３次元カメラ２から送られた
３次元データに基づいて、三角測量法を用いてサンプリ
ング点の座標を求める演算処理や貼り合わせ処理（合成
処理）などを行う。そのためのソフトウエアはＣＰＵ３
ａに組み込まれている。

【００２２】図２（ａ）に示すように、３次元カメラ２
は、そのハウジング２０の前面に投光窓２０ａ及び受光
窓２０ｂを有する。投光窓２０ａは受光窓２０ｂに対し
て上側に位置する。内部の光学ユニットＯＵが射出する
スリット光（所定幅ｗの帯状のレーザビーム）Ｕは、投
光窓２０ａを通って被写体Ｑに向かう。スリット光Ｕの
長さ方向Ｍ１の放射角度φは固定である。被写体Ｑの表
面で反射したスリット光Ｕの一部が受光窓２０ｂを通っ
て光学ユニットＯＵに入射する。なお、光学ユニットＯ
Ｕは、投光軸と受光軸との相対関係を適正化するための
２軸調整機構を備えている。

【００２３】ハウジング２０の上面には、ズーミングボ
タン２５ａ，２５ｂ、手動フォーカシングボタン２６
ａ，２６ｂ、及びシャッターボタン２７が設けられてい
る。また、図２（ｂ）に示すように、ハウジング２０の
背面には、ファインダー２１、カーソルボタン２２、セ
レクトボタン２３、キャンセルボタン２４、アナログ出
力端子３２、ディジタル出力端子３３、及び記録メディ
ア４の着脱口３０ａが設けられている。

【００２４】ファインダー２１は、液晶ディスプレイな
どのモニタ画面を有した画像表示装置である。ファイン
ダー２１上には、モニタ画像ＱＰ及び本発明の特徴であ
る案内画像ＧＰが表示される。モニタ画像ＱＰ及び案内
画像ＧＰの詳細については後述する。また、各操作段階
においてユーザが次に行うべき操作を文字や記号によっ
て指示する操作手順情報、及び撮影した部分の３次元デ
ータが濃淡によって表現された距離画像（濃淡画像）が
表示される。

【００２５】背面の各ボタン２２〜２４は、撮影モード
等の設定を行うためのものである。アナログ出力端子３
２からは、被写体Ｑの２次元画像信号が例えばＮＴＳＣ
形式で出力される。ディジタル出力端子３３は例えばＳ
ＣＳＩ端子である。

【００２６】次に、３次元カメラ２の機能について説明
する。図３は３次元カメラ２の機能構成を示すブロック
図である。図３における実線矢印は電気信号の流れを示
し、破線矢印は光の流れを示している。

【００２７】図３に示すように、３次元カメラ２は、上
述の光学ユニットＯＵを構成する投光側及び受光側の２
つの光学系４０，５０を有している。光学系４０におい
て、半導体レーザ（ＬＤ）４１が射出する波長６８５ｎ
ｍのレーザビームは、投光レンズ系４２を通過すること
によってスリット光Ｕとなり、ガルバノミラー（走査手
段）４３によって偏向される。半導体レーザ４１のドラ
イバ４４、投光レンズ系４２の駆動系４５、及びガルバ
ノミラー４３の駆動系４６は、システムコントローラ６
１によって制御される。

【００２８】光学系５０において、ズームユニット５１
によって集光された光はビームスプリッタ５２によって
分光される。半導体レーザ４１の発振波長帯域の光は、
計測用センサ５３に入射する。可視帯域の光は、モニタ
用カラーセンサ５４に入射する。計測用センサ５３及び
モニタ用カラーセンサ５４は、どちらもＣＣＤエリアセ
ンサである。計測用センサ５３及びモニタ用カラーセン
サ５４は、それぞれ、被写体Ｑの撮影情報又は撮像情報
を電気信号として出力する。

【００２９】ズームユニット５１は内焦型であり、図示
しないズームレンズが設けられている。このズームレン
ズを長焦点側と短焦点側との間で撮影方向に沿って移動
することにより、３次元データを様々な解像度で入力す
ることができる。また、入射光の一部がオートフォーカ
シング（ＡＦ）に利用される。ＡＦ機能は、ＡＦセンサ
５７、レンズコントローラ５８、及びフォーカシング駆
動系５９によって実現される。ズーミング駆動系６０は
電動ズーミングのために設けられている。

【００３０】次に、３次元カメラ２における電気信号の
主な流れについて説明する。まず、計測用センサ５３に
よる撮影情報は、ドライバ５５からのクロックに同期し
て出力処理回路６２へ転送される。出力処理回路６２
は、計測用センサ５３の出力する各画素の光電変換信号
を増幅する増幅器、及び光電変換信号を８ビットの受光
データに変換するＡＤ変換部を有している。出力処理回
路６２で得られた受光データはメモリ６３によって一時
的に記憶された後、重心演算回路７３へ送られる。その
際のアドレス指定はメモリ制御回路６３Ａが行う。重心
演算回路７３は、入力された受光データに基づいて３次
元形状を算出するための基となるデータを算出し、それ
を出力用メモリ６４に出力する。また、重心演算回路７
３は、被写体Ｑの形状に対応した距離画像を生成し、そ
れを表示用メモリ７４に出力する。出力用メモリ６４に
格納されたデータは、ＳＣＳＩコントローラ６６を介し
てディジタル出力端子３３から出力され、又は記録メデ
ィア４に出力される。表示用メモリ７４に格納された距
離画像は、表示制御部７６を介してファインダー２１上
に表示される。

【００３１】一方、モニタ用カラーセンサ５４による撮
像情報は、ドライバ５６からのクロックに同期してカラ
ー処理回路６７へ転送される。カラー処理を受けた撮像
情報は、ＮＴＳＣ変換回路７０及びアナログ出力端子３
２を経てオンライン出力され、又はディジタル画像生成
部６８で量子化されてカラー画像メモリ６９に格納され
る。カラー画像メモリ６９に格納された撮像情報は、Ｓ
ＣＳＩコントローラ６６を介した後、ディジタル出力端
子３３からオンライン出力され又は記録メディア４に書
き込まれる。撮像情報は、また、表示制御部７６を介し
てファインダー２１上にモニタ画像ＱＰとして表示され
る。

【００３２】システムコントローラ６１は、表示制御部
７６に対して、ファインダー２１上に操作手順情報を表
示するための指示を与える。なお、モデルデータメモリ
７５、カラー画像メモリ６９、表示制御部７６、システ
ムコントローラ６１、及びファインダー２１は、重合わ
せ画像発生部７を構成する。

【００３３】以上のような構成及び機能を有する３次元
カメラ２によって、被写体Ｑの全周又は所定範囲の３次
元データが入力される。図４は３次元カメラ２によって
被写体Ｑの全周又は所定範囲の３次元データを入力する
具体的な方法を示す図である。

【００３４】図４（ａ）に示す方法は、ユーザが３次元
カメラ２を被写体Ｑの周囲で移動させ、適応的に撮影条
件を変更して入力を行う。図４（ｂ）に示す方法は、被
写体Ｑそれ自体を移動させながら、適応的に撮影条件を
変更して入力を行う。また、３次元カメラ２を所定のア
ームに取り付け、このアームを移動させることで被写体
Ｑを撮影する位置を変えるようにしてもよい。

【００３５】次に、モニタ画像ＱＰ及び案内画像ＧＰに
ついて説明する。図５は重合わせ画像発生部７によるモ
ニタ画像ＱＰ及び案内画像ＧＰの生成の過程を説明する
ための図、図６はファインダー２１上に表示された被写
体Ｑのモニタ画像ＱＰ及び案内画像ＧＰを示す図であ
る。

【００３６】図５及び図６において、モニタ画像ＱＰ
は、被写体Ｑのうちユーザが３次元カメラ２の視線を向
けて３次元データを入力しようとしている部分をモニタ
するためのカラー画像であり、カラー画像メモリ６９に
格納された撮像情報から生成される。

【００３７】案内画像ＧＰは、被写体Ｑの全周又は所定
範囲の３次元データを入力する際に、被写体Ｑを、どの
位置からどのようにして撮影すべきかという情報をユー
ザに与える画像である。このような情報は、図５によく
示されるように、モデルデータＭＤ及び属性情報ＡＪか
ら生成される。

【００３８】ここで、モデルデータＭＤは、入力対象で
ある被写体と略同一の形状を有する３次元形状モデルの
データである。モデルデータＭＤは、立体形状が既知で
あって標準化が可能なもの、例えば人間の頭部（顔面を
含む）、人体、動物、自動車、仏像、土器、銅鐸など、
複数の種類のものについて、それぞれの標準的な形状モ
デルである。モデルデータＭＤは、各種類毎にモデルデ
ータメモリ７５に格納されている。

【００３９】ユーザは、入力対象とする被写体Ｑの種類
に応じたモデルデータＭＤを所定の操作によって選択で
きる。本実施形態においては、人間の頭部が例として示
されている。モデルデータＭＤとして、３次元カメラ２
によって予め入力された３次元データから作成されたも
の、又はコンピュータ上でＣＧによって作成されたもの
などが用いられる。

【００４０】モデルデータＭＤには、ワイヤーフレー
ム、シェ一ディング、テクスチャマッピング、又は色付
けなどの処理が施される。色付けは、ワイヤーフレー
ム、シェ一ディング、又はテクスチャマッピング画像に
対して、モニタ画像ＱＰとの識別を行い易くするために
なされる。色付けにより、例えば、青、緑、赤などの色
となる。また、モニタ画像ＱＰと案内画像ＧＰの混合比
を変えることにより、つまりオーバーラップしているこ
れら２つの画像の濃度の割合を任意に変えることによ
り、ユーザにとって最も見やすい状態とすることも可能
である。これらの処理が施されることにより、案内画像
ＧＰとモニタ画像ＱＰとの重ね合わせが容易となる。ユ
ーザの希望に応じて、いずれの処理を施すかを選択する
ことが可能である。本実施形態においては、ワイヤーフ
レームを用いた例が示されている。

【００４１】属性情報ＡＪは、モデルデータＭＤに付随
したヘッダデータである。属性情報ＡＪは、被写体Ｑの
全周又は所定範囲の３次元データを入力する際に、被写
体Ｑをどの位置からどのようにして撮影すべきかを示す
情報である。属性情報ＡＪとして、撮影方向、撮影画
角、撮影枚数などの情報が含まれる。属性情報ＡＪに基
づいて、モデルデータＭＤから案内画像ＧＰが作成され
る。

【００４２】また、属性情報ＡＪによって、被写体Ｑが
人間の頭部である場合に、目や鼻など特に精細なデータ
が必要な部分にはズーム機能を利用して高解像で入力す
るような指示を与えたり、頬や頭などのようにあまり形
状の変化が激しくない部分は低い解像度で、つまりデー
タ点数が少なくて済むように入力するような指示を与え
たりすることもできる。

【００４３】属性情報ＡＪにしたがって、ワイヤーフレ
ームなどの処理が施されたモデルデータＭＤが所定の案
内画像ＧＰとしてファインダー２１上に表示される。以
降、案内画像ＧＰをその表示形状によって他と区別する
必要がある場合には、「ＧＰ１」「ＧＰ２」などのよう
に末尾に数字を付して示す。 〔第１の入力形態〕これらのモニタ画像ＱＰ及び案内画
像ＧＰ１を用いて３次元データの入力を行う方法につい
て、図５及び図６を参照して説明する。

【００４４】ユーザは、まず、入力対象である被写体Ｑ
の種類に応じたモデルデータＭＤを選択する。選択され
たモデルデータＭＤは、システムコントローラ６１から
の指示にしたがって、モデルデータメモリ７５から読み
出され、ファインダー２１上に案内画像ＧＰ１として表
示される。

【００４５】図６（ａ）において、案内画像ＧＰ１は、
被写体Ｑを正面から撮影するように、ユーザに対して指
示している。ユーザは、モニタ画像ＱＰが案内画像ＧＰ
にぴったりと重なるように、被写体Ｑのフレーミングを
行う。フレーミングに際しては、図４に示したように、
３次元カメラ２を動かしてもよいし、被写体Ｑを動かし
てもよい。ズーミングを行うことによって、又は３次元
カメラ２を移動させることによって、様々な解像度で入
力できる。例えば、目や鼻などの精細なデータが必要な
部分は高い解像度で入力し、これとは逆に頬や頭などの
あまり形状の変化が激しくない部分は低い解像度で入力
することができる。これによって、不必要なデータの増
大を防止できる。重ね合わせを行った後、シャッターボ
タン２７を押して第１の３次元データの入力を行う。

【００４６】第１の３次元データの入力が終わると、案
内画像ＧＰ１は案内画像ＧＰ２に変更される。案内画像
ＧＰ２は、被写体Ｑを次にどの位置から撮影すべきかに
ついて指示する。この指示にしたがって次の入力を行う
ことにより、精度の良い位置合わせが可能となる。

【００４７】図６（ｂ）においては、案内画像ＧＰ２
は、次に被写体Ｑを斜め左方向から撮影すべきように指
示している。ユーザは、モニタ画像ＱＰが案内画像ＧＰ
２と重なるように被写体Ｑのフレーミングを行う。すな
わち、モニタ画像ＱＰが案内画像ＧＰ２と一致するよう
に、被写体Ｑと３次元カメラ２との相対位置を変化させ
る。モニタ画像ＱＰが案内画像ＧＰ２と一致したとき
に、シャッターボタン２７を押して第２の３次元データ
の入力を行う。以降同様に、案内画像ＧＰによって、撮
影すべき位置がユーザに順次指示される。ユーザは、各
案内画像ＧＰの指示にしたがって入力を順次行う。

【００４８】図６においては、案内画像ＧＰによって頭
部をどの方向から撮影すべきかという指示のみが示され
ているが、例えば、目や鼻などを拡大した案内画像ＧＰ
を表示することにより、それらの精細なデータを高解像
度で入力するように指示を与えることもできる。

【００４９】このように、順次になされる案内画像ＧＰ
による指示は、プログラムによって自動的に行われるよ
うにしておくことができる。また、自動的にではなく、
手動によって属性情報ＡＪの内容を選択し、選択した順
に逐次案内画像ＧＰを表示させるようにすることもでき
る。

【００５０】案内画像ＧＰによる指示によって入力を行
うことにより、被写体の３次元データの入力を簡単に迅
速に且つ正確に行うことができる。また、撮影された複
数の３次元データは、位置合わせが容易であり、精度良
く位置合わせを行うことが可能であるから、被写体の全
周又は所定範囲における合成画像を容易に取得すること
ができる。また、被写体の必要な部分が漏れなく撮影さ
れるように属性情報ＡＪを旨く設定しておくことによっ
て、欠落のない合成画像を容易に得ることができる。

【００５１】なお、もし合成画像に欠落点などがあった
場合に、補間処理によってデータを補うことが可能であ
る。その場合に、最初に作成されたモデルデータＭＤ、
修正したモデルデータＭＤ、又は以前に撮影することに
よって得られた３次元データなどを用いることができ
る。

【００５２】また、入力された３次元データのうち、デ
ータとして信頼性の低い周辺部分については、そのデー
タを用いないように、且つ表示しないようにすることも
可能である。

【００５３】図７は第１の入力形態における３次元デー
タの入力動作及び処理を示すフローチャートである。フ
ァインダー２１上には、現在捕らえている被写体Ｑがモ
ニタ画像ＱＰとして表示されている（＃１）。被写体Ｑ
に対応した案内画像ＧＰ１がファインダー２１上に表示
される（＃２）。モニタ画像ＱＰが案内画像ＧＰ１と重
なるようにフレーミングを行う（＃３）。ファインダー
２１に表示された案内画像ＧＰ１での座標系で、ファイ
ンダー表示用視点位置が決定される（＃４）。このとき
の視点を「第１の視点」とする。第１の視点から、第１
の３次元データが入力される（＃５）。

【００５４】次の案内画像ＧＰ２が表示される（＃
６）。表示された案内画像ＧＰ２と重なるようにフレー
ミングを行い（＃７）、第２の３次元データを入力する
（＃８）。第２の３次元データの座標系を、第１の３次
元データの座標系に変換するためのパラメータを求める
（＃９）。つまり、ファインダー２１上で重ね合わせて
入力した３次元データは、それぞれの座標系のデータと
なっており、これらの座標系の間で変換が必要となる。
３次元データの位置合わせを行うということは、一方の
座標系への変換を行うということである。位置合わせの
方法は後述する。求められたパラメータにより、第２の
３次元データに対する座標変換が行われ（＃１０）、初
期位置合わせが完了する（＃１１）。さらに高精度に位
置合わせを行うために、ＩＣＰにより微調整を行う（＃
１２）。

【００５５】なお、ＩＣＰとは、最も近い点を対応点と
して対応点間のトータル距離を最小にする方法である。
ＩＣＰについては、「Ａ ｍｅｔｈｏｄ ｏｆ ｒｅｇ
ｉｓｔｒａｔｉｏｎ ｏｆ ３−Ｄ ｓｈａｐｅｓ．」
（Ｐ．Ｂｅｓｌ ａｎｄ Ｎ．ＭｃＫａｙ．著、ＩＥＥ
Ｅ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ
Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔ
ｅｌｌｉｇｅｎｃｅ，１２（２）：２３９〜２５６，１
９９２．）を参照することができる。

【００５６】次に、ステップ＃９で述べた位置合わせを
行う方法について説明する。説明には次に示す各パラメ
ータを用いる。 Ｐｔ：案内画像ＧＰ作成時の視点位置 Ｖｔ：案内画像ＧＰ作成時の視線方向 Ｕｔ：案内画像ＧＰ作成時の上方向ベクトル Ｆｔ：案内画像ＧＰ作成時の焦点距離 Ｓｔ：案内画像ＧＰ作成時の注視点までの距離 Ｆａ：撮影した時の焦点距離 Ｓａ：撮影距離 Ｐａ：撮影した時の視点位置 Ｖａ：撮影した時の視線方向 Ｕａ：撮影した時の上方向ベクトル Ｐａ’：座標変換後の視点位置 Ｖａ’：座標変換後の視線方向 Ｕａ’：座標変換後の上方向ベクトル ここに説明する方法では、撮影したときの視点位置Ｐａ
を求めて位置合わせを行う。ファインダー２１上に表示
された案内画像ＧＰを作成するときに視点位置Ｐｔと視
線方向Ｖｔとが設定される。

【００５７】ファインダー２１上で案内画像ＧＰにモニ
タ画像ＱＰを重ね合わせて被写体Ｑを撮影するときの視
線方向Ｖａ及び視点位置Ｐａは次のようになる。すなわ
ち、視線方向Ｖａは視線方向Ｖｔと同じ方向であり〔下
記の（３）式〕、視点位置Ｐａは視線方向Ｖｔと同じ方
向の前後に移動した位置となる。

【００５８】ここで、撮影したときのレンズ情報（焦点
距離）が得られるため、像倍率が案内画像ＧＰと同じに
なるように撮影距離Ｓａを求めることにより、視線方向
Ｖａ（＝Ｖｔ）の前後の移動距離（Ｓｔ一Ｓａ）が計算
でき、下記の（４）式のように視点位置Ｐａが求められ
る。すなわち、 Ｆｔ／Ｓｔ＝Ｆａ／Ｓａ …（１） であるから、撮影距離Ｓａは次の（２）式のようにな
る。

【００５９】 Ｓａ＝（Ｆａ×Ｓｔ）／Ｆｔ …（２） また、 Ｖａ＝Ｖｔ，Ｕａ＝Ｕｔ …（３） であるから、撮影したときの視点位置Ｐａは次の（４）
式のようになる。

【００６０】 Ｐａ＝Ｐｔ＋（Ｓｔ一Ｓａ）×Ｖｔ …（４） 各方向から得られた３次元データを視点位置Ｐａに基づ
いて平行移動させ、視線方向Ｖａに基づいて回転移動さ
せることで、案内画像ＧＰを作成したもとの３次元デー
タの座標系へ変換することが可能となる。もとの３次元
データの座標系へ変換する座標変換のための平行移動量
Ｔは次の（５）式のようになる。

【００６１】 Ｔ＝Ｐａ’−Ｐａ …（５） 座標変換後の視線方向Ｖａ’及び座標変換後の上方向ベ
クトルＵａ’は、回転マトリックスをＲとすると、Ｖ
ａ，Ｕａを用いて、それぞれ次の（６）（７）式のよう
に表される。

【００６２】 Ｖａ’＝Ｒ×Ｖａ …（６） Ｕａ’＝Ｒ×Ｕａ …（７） 平行移動量Ｔ及び回転マトリックスＲによって各方向か
ら得られた３次元データをもとの３次元データの座標系
でのデータに変換することで位置合わせが行われる。

【００６３】案内画像ＧＰの各指示毎の移動量は予め属
性情報ＰＤで決められている。重ね合わせを行うことで
３次元カメラ２と被写体Ｑとの相対的な移動量が求めら
れる。複数位置から入力した３次元データを、この移動
量に基づいて、初めに撮影したときの座標系におけるデ
ータに変換する。これにより、位置合わせが行える。

【００６４】上述したように、複数位置から入力された
３次元データは、モニタ画像ＱＰと案内画像ＧＰとの重
ね合わせにより、精度良く位置合わせが行われた状態で
入力されている。したがって、事後的に位置合わせを行
う必要がなく楽である。

【００６５】このように精度良く位置合わせが行われた
複数位置からの３次元データに基づいて、ホスト３で貼
り合わせ処理が行われる。したがって、ホスト３での貼
り合わせ処理が高速に且つ高精度で行える。 〔第２の入力形態〕ところで、入力対象である被写体Ｑ
は、同じ種類であっても、形状が個別に多少異なること
がある。例えば人間の頭部は、個人毎に、それぞれ、丸
い、長い、又は後頭部が出ているなどというように、様
々な特徴をもつ。また、大人と子供とでは大きさが異な
る。このため、予め用意された案内画像ＧＰが被写体Ｑ
の形状とかなりずれていたり、大きさがかなり異なった
りすることがあり、重ね合わせがうまくできないことが
ある。

【００６６】第２の入力形態では、案内画像ＧＰとモニ
タ画像ＱＰとの間で対応付けを行うことでモデルデータ
ＭＤを修正し、モニタ画像ＱＰと案内画像ＧＰとのスケ
ールが合うようにスケール合わせを行う。

【００６７】図８は第２の入力形態におけるモニタ画像
ＱＰ及び案内画像ＧＰを示す図である。図８において、
ファインダー２１上には、モニタ画像ＱＰに対して縦方
向に大きい案内画像ＧＰ３が表示されている。ユーザ
は、まず、モニタ画像ＱＰが案内画像ＧＰ３におおよそ
重なるように被写体Ｑのフレーミングを行う。次に、案
内画像ＧＰ３とモニタ画像ＱＰとの間で対応付けを行
う。頭頂部Ｐ１、顎の先端Ｐ２、及び両耳の付け根Ｐ３
などの各点をモデルデータＭＤに属性情報ＡＪとして与
えておき、各点に対応する点をモニタ画像ＱＰ上で指定
する。なお、任意の対応点を指定する方法でもよい。

【００６８】その後、対応付けが行われた各点間の縦方
向及び横方向の各移動量の比率が平均され、モデルデー
タＭＤ、つまり、案内画像ＧＰの全体に対してスケール
変更が行われる。これによって、縦横比のスケール合わ
せがなされた案内画像ＧＰ４（図示せず）が生成され
る。

【００６９】そして、案内画像ＧＰ４にモニタ画像ＱＰ
が重なるように被写体Ｑのフレーミングを行い、第１の
３次元データの入力を行う。第１の３次元データの入力
が終わると、第１の入力形態の場合と同様に、次の案内
画像ＧＰが表示される。以下、第１の３次元データの入
力の場合と同様に、案内画像ＧＰの指示にしたがって、
おおよその重ね合わせ、対応付けによるスケール合わ
せ、及び３次元データの入力を繰り返す。

【００７０】このように、各３次元データは、それぞれ
被写体Ｑの形状にスケールが合わされた案内画像ＧＰの
指示にしたがって入力されるので、精度良く位置合わせ
が行われた状態で入力されることになる。したがって、
形状が個別に多少異なる被写体Ｑの場合であっても、精
度の高い合成画像が得られる。

【００７１】なお、第１の入力形態の場合と同様に、合
成画像に欠落点などがあった場合に、補間処理によって
データを補うことが可能である。また、入力された３次
元データのうち、データとして信頼性の低い周辺部分に
ついて、そのデータを用いないように、且つ表示しない
ようにすることも可能である。

【００７２】図９は第２の入力形態における３次元デー
タの入力動作及び処理を示すフローチャートである。フ
ァインダー２１上には、現在捕らえている被写体Ｑがモ
ニタ画像ＱＰとして表示されている（＃２１）。被写体
Ｑに対応した案内画像ＧＰ３が表示される（＃２２）。
モニタ画像ＱＰに案内画像ＧＰ３がおおよそ重なるよう
にフレーミングを行う（＃２３）。案内画像ＧＰ３とモ
ニタ画像ＱＰとの間で対応付けを行う。対応点の指定に
より、モデルデータＭＤと被写体Ｑの縦横比のスケール
合わせを行う（＃２４）。この位置での座標系で、ファ
インダー表示用視点位置が決定される（＃２５）。この
ときの視点を「第１の視点」とする。第１の視点から第
１の３次元データが入力される（＃２６）。被写体Ｑの
実寸とモデルデータＭＤのスケール合わせを行うため、
キャリブレーションを行う（＃２７）。

【００７３】次の案内画像ＧＰ４が表示される（＃２
８）。モニタ画像ＱＰに案内画像ＧＰ４がおおよそ重な
るようにフレーミングを行い（＃２９）、対応点の指定
により、モデルデータＭＤと被写体Ｑの縦横比のスケー
ル合わせを行う（＃３０）。スケール合わせがなされた
案内画像ＧＰ５（図示せず）にモニタ画像ＱＰをぴった
りと重ね合わせて、第２の３次元データを入力する（＃
３１）。第２の３次元データの座標系を、第１の３次元
データの座標系に変換するためのパラメータを求め（＃
３２）、求められたパラメータにより、第２の３次元デ
ータに対する座標変換が行われ（＃３３）、第１の入力
形態の場合と同様に、初期位置合わせが完了し（＃３
４）、さらに高精度に位置合わせを行うために、ＩＣＰ
により微調整を行う（＃３５）。

【００７４】上述のステップ２４及びステップ３０が本
発明の対応付け手段及びスケール一致手段に相当する。
上述の実施形態において、案内画像ＧＰ及びモニタ画像
ＱＰを３次元カメラ２と一体となったファインダー２１
上に表示させたが、３次元カメラ２と別体化したファイ
ンダーやホスト３におけるディスプレイ３ｂに表示させ
ることも可能である。

【００７５】上述の実施の形態において、ファインダー
２１として、ハーフミラーなどを用いたシースルー方式
の表示装置を用いてもよい。これにより、３次元カメラ
２の消費電力が節約できる。

【００７６】上述の実施形態において、計測システム
１、３次元カメラ２の各部又は全体の構成、形状、配
置、回路、処理形態などは、本発明の主旨に沿って適宜
変更することができる。

【００７７】

【発明の効果】本発明によると、被写体の３次元データ
の入力を簡単に迅速に且つ正確に行うことができ、被写
体の全周又は所定範囲における欠落のない合成画像を容
易に取得することが可能となる。

【００７８】請求項３又は請求項６の発明によると、形
状が個別に多少異なる被写体の場合であっても、精度の
高い合成画像が得られる。

【図面の簡単な説明】

【図１】本発明に係る３次元カメラを用いた計測システ
ムの構成図である。

【図２】３次元カメラの外観を示す図である。

【図３】３次元カメラの機能構成を示すブロック図であ
る。

【図４】３次元カメラによって被写体の全周又は所定範
囲の３次元データを入力する具体的な方法を示す図であ
る。

【図５】重合わせ画像発生部によるモニタ画像及び案内
画像の生成の過程を説明するための図である。

【図６】ファインダー上に表示された被写体のモニタ画
像及び案内画像を示す図である。

【図７】第１の入力形態における３次元データの入力動
作及び処理を示すフローチャートである。

【図８】第２の入力形態におけるモニタ画像及び案内画
像を示す図である。

【図９】第２の入力形態における３次元データの入力動
作及び処理を示すフローチャートである。

【図１０】スリット光投影法を適用した３次元カメラの
入力原理を示す図である。

【符号の説明】

２ ３次元カメラ（３次元データ入力装置） ２１ ファインダー（モニタ画面） ６３ メモリ（記憶手段） ７５ モデルデータメモリ（記憶手段） ７６ 表示制御部（表示指示手段） Ｑ 被写体 ＭＤ モデルデータ（３次元形状モデルのデータ） ＡＪ 属性情報 ＧＰ 案内画像 ＱＰ モニタ画像（入力部分の画像） ＃２４ ステップ（対応付け手段、スケール一致手段） ＃３０ ステップ（対応付け手段、スケール一致手段）

フロントページの続き Ｆターム(参考） 2F065 AA04 AA17 AA53 FF01 FF02 FF04 FF09 FF61 GG06 HH05 JJ03 JJ05 JJ26 LL06 LL13 LL46 LL62 MM04 MM09 QQ03 QQ23 QQ24 RR00 SS13 2H059 AC01 5B057 BA17 CH11 DA07 DB03 5C061 AA29 AB04 AB08 AB11 AB12 AB16 AB21

Claims (6)

【特許請求の範囲】
1. 【請求項１】被写体の入力部分を確認するためのモニタ
   画面を有し、前記被写体を撮影することによって前記入
   力部分の３次元データの入力を行うように構成された３
   次元データ入力装置における３次元データ入力方法であ
   って、 前記被写体の形状と略同一の形状を有する３次元形状モ
   デルの画像をフレーミングの案内画像として前記モニタ
   画面に表示し、 前記案内画像に基づいてフレーミングを行い、 前記フレーミングがなされた状態で前記被写体の撮影を
   行う、 ことを特徴とする３次元データ入力方法。
2. 【請求項２】被写体の入力部分を確認するためのモニタ
   画面を有し、前記被写体を撮影することによって前記入
   力部分の３次元データの入力を行うように構成された３
   次元データ入力装置における３次元データ入力方法であ
   って、 前記被写体の形状と略同一の形状を有する３次元形状モ
   デルのデータ及び前記３次元形状モデルを観察する位置
   に関する情報である属性情報をメモリに記憶しておき、 前記属性情報にしたがって前記３次元形状モデルの画像
   をフレーミングの案内画像として前記モニタ画面に表示
   し、 前記入力部分の画像が前記案内画像に重なり合うように
   フレーミングを行い、 前記フレーミングがなされた状態で前記被写体の撮影を
   行う、 ことを特徴とする３次元データ入力方法。
3. 【請求項３】前記入力部分の画像と前記案内画像との対
   応付けを行い、対応付けによって前記案内画像のスケー
   ルを前記被写体のスケールに一致させる、 請求項１又は請求項２記載の３次元データ入力方法。
4. 【請求項４】前記撮影を前記被写体について互いに異な
   る位置毎に行う、 請求項１乃至請求項３記載の３次元データ入力方法。
5. 【請求項５】被写体の入力部分を確認するためのモニタ
   画面を有し、前記被写体を撮影することによって前記入
   力部分の３次元データの入力を行うように構成された３
   次元データ入力装置であって、 前記被写体の形状と略同一の形状を有する３次元形状モ
   デルのデータ及び前記３次元形状モデルを観察する位置
   に関する情報である属性情報を記憶する記憶手段と、 前記属性情報にしたがって前記３次元形状モデルの画像
   をフレーミングの案内画像として前記モニタ画面に表示
   させる表示指示手段と、 フレーミングがなされた前記被写体を撮影することによ
   って入力される３次元データを記憶する記憶手段と、 を有することを特徴とする３次元データ入力装置。
6. 【請求項６】前記入力部分の画像と前記案内画像との対
   応付けを行う対応付け手段と、 前記対応付けに基づいて前記案内画像のスケールを前記
   被写体のスケールに一致させるスケール一致手段と、 を有してなる請求項５記載の３次元データ入力装置。