JP2000131035A - ３次元入力装置 - Google Patents

Abstract

(57)【要約】 【課題】計測対象が計測可能距離範囲内のどの位置にあ
っても距離画像とカラー画像との対応を正しくとること
のできる３次元入力装置を提供すること。 【解決手段】計測対象ＨＭに参照光を照射する手段及び
前記参照光の計測対象ＨＭによる反射光を受光する受光
センサ５３を有し計測対象ＨＭの距離画像を得るための
距離計測光学系ＤＰと、計測対象ＨＭの２次元画像を撮
像する撮像センサ５４を有し前記距離計測光学系ＤＰに
よる距離計測領域ＤＡＭをモニタするためのモニタ光学
系ＣＰとを有し、前記距離計測光学系ＤＰの受光軸ＤＸ
と前記モニタ光学系ＣＰの受光軸ＣＸとが互いに独立し
て設けられた３次元入力装置であって、前記受光センサ
５３上の距離画像と前記撮像センサ５４上の２次元画像
との位置関係のずれを、計測対象ＨＭまでの距離ｄに応
じて補正する補正手段を有してなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、計測対象を撮影し
てその３次元データを入力するための３次元入力装置に
関する。

【０００２】

【従来の技術】従来より、非接触型の３次元計測装置
（３次元入力装置）が知られている。非接触型は、接触
型に比べて高速の計測が可能であることから、ＣＧシス
テムやＣＡＤシステムへのデータ入力、身体計測、ロボ
ットの視覚認識などに利用されている。

【０００３】非接触の３次元計測の方法として、スリッ
ト光投影法（光切断法ともいう）又はパターン投影法が
知られている。これらの方法は、特定の参照光（検出光
ともいう）を計測対象に照射し、三角測定の原理で距離
画像（３次元画像、３次元データ、又は３次元形状デー
タともいう）を得る能動的計測方法の一種である。スリ
ット光投影法では、スリット光を照射し且つ偏向するこ
とによって計測対象を走査する。パターン投影法では、
複数の２次元パターン光を順次照射する。得られた距離
画像は、計測対象上の複数の部位の３次元位置を示す画
素の集合である。

【０００４】このような３次元計測装置には、計測対象
の距離画像を得るための距離計測光学系と、距離計測光
学系による距離計測領域をモニタするためのカラー光学
系（モニタ光学系ともいう）とが設けられる。距離計測
光学系には、計測対象に参照光を照射する投光部、参照
光の計測対象による反射光を受光する受光センサなどが
含まれる。受光センサからの出力などに基づいて、３次
元形状データが演算により求められる。

【０００５】カラー光学系には、同じ計測対象のカラー
画像（モニタ画像、２次元画像、２次元データ、又は２
次元画像データともいう）を撮像する撮像センサなどが
含まれる。カラー光学系により得られるカラー画像は、
距離計測光学系による計測を開始するに当たり、距離計
測により得られる距離画像の範囲を予め確認するために
用いられる他、得られた距離画像を修正するに当たり、
その修正箇所の特定のために用いられる。

【０００６】

【発明が解決しようとする課題】さて、距離計測光学系
の受光軸とカラー光学系の受光軸とが互いに独立して設
けられた３次元計測装置、つまり２眼タイプの３次元計
測装置では、互いの受光軸の視差のために距離画像とカ
ラー画像との間に位置ずれが生じる。

【０００７】すなわち、図１６に示すように、距離計測
光学系ＤＰｊの受光軸ＤＸｊとカラー光学系ＣＰｊの受
光軸ＣＸｊとは、所定の間隔をあけて互いに平行に設け
られる。受光センサＤＳ及び撮像センサＣＳは、それぞ
れのレンズの後方において、それぞれの中心位置が受光
軸ＤＸｊ，ＣＸｊ上の点と一致するように配置される。

【０００８】図１７（Ａ）にも示されるように、距離計
測光学系ＤＰｊにおいて、受光センサＤＳによって受光
される領域が距離計測領域ＤＡＭｊである。レンズから
遠い位置にある計測対象ＡＭ１を計測する場合には、計
測対象ＡＭ１における領域は比較的広くなり、レンズか
ら近い位置にある計測対象ＡＭ２を計測する場合には、
計測対象ＡＭ１における領域は比較的狭くなる。最遠の
計測対象ＡＭ１と最近の計測対象ＡＭ２との間が、計測
可能距離範囲ｄ’である。

【０００９】図１７（ｂ）によく示されるように、カラ
ー光学系ＣＰｊにおいて、計測対象ＡＭ１，ＡＭ２に対
応するカラー画像ＣＤＭＡは、撮像センサＣＳの撮像範
囲（カラー領域）ＣＡＭｊと一致せず、図の左方にずれ
ている。そのずれの量は、計測対象ＡＭが近くなればな
るほど大きくなる。

【００１０】したがって、実際に計測可能な領域、つま
り有効計測領域は、距離計測領域ＤＡＭｊとカラー領域
ＣＡＭｊとの重なった領域となる。有効計測領域におい
ても、距離計測領域ＤＡＭｊとカラー領域ＣＡＭｊとの
位置関係が計測対象の距離に応じて変化するので、距離
画像とカラー画像との対応点は、距離に応じて変化する
ことになる。

【００１１】本発明は、上述の問題に鑑みてなされたも
ので、計測対象が計測可能距離範囲内のどの位置にあっ
ても距離画像とカラー画像との対応を正しくとることの
できる３次元入力装置を提供することを目的とする。

【００１２】

【課題を解決するための手段】請求項１の発明に係る装
置は、計測対象ＨＭに参照光を照射する手段及び前記参
照光の計測対象ＨＭによる反射光を受光する受光センサ
５３を有し計測対象ＨＭの距離画像を得るための距離計
測光学系ＤＰと、計測対象ＨＭの２次元画像を撮像する
撮像センサ５４を有し前記距離計測光学系ＤＰによる距
離計測領域ＤＡＭをモニタするためのモニタ光学系ＣＰ
とを有し、前記距離計測光学系ＤＰの受光軸ＤＸと前記
モニタ光学系ＣＰの受光軸ＣＸとが互いに独立して設け
られた３次元入力装置であって、前記受光センサ５３上
の距離画像と前記撮像センサ５４上の２次元画像との位
置関係のずれを、計測対象ＨＭまでの距離ｄに応じて補
正する補正手段を有してなる。

【００１３】請求項２の発明に係る装置では、前記距離
画像と前記２次元画像との相対的な位置関係を計測対象
ＨＭまでの距離ｄに対応して記録した補正テーブルＴＢ
１が設けられて、前記補正手段は前記補正テーブルＴＢ
１を参照して補正するように構成される。

【００１４】例えば図９に示すように、カラー光学系Ｃ
Ｐのカラーセンサ（撮像センサ）５４は、その中心位置
５４Ｃが受光軸ＣＸ上の点と一致するようには配置され
ておらず、図９の左方へずれて配置されている。ここ
で、レンズの主点と撮影中心点ＰＴＣを通る線を撮影中
心線ＬＴＣとする。カラーセンサ５４は、例えばその中
心位置５４Ｃが撮影中心線ＬＴＣ上の点と一致するよう
に配置される。計測対象が受光軸ＤＸ上の距離ｄの位置
にある場合に、その計測対象がカラーセンサ５４上に結
像する位置は、距離ｄが撮影中心点ＰＴＣよりも遠いか
近いかに応じて、中心位置５４Ｃの左右にずれる。その
ずれ量は、撮影中心点ＰＴＣからのずれ量に応じて変化
する。

【００１５】受光センサ５３上の距離画像と前記カラー
センサ５４上のカラー画像（２次元画像）との位置関係
のずれは、補正手段によって計測対象ＨＭまでの距離ｄ
に応じて補正される。

【００１６】補正のために、例えば図１２に示す補正テ
ーブルＴＢ１が用いられる。補正テーブルＴＢ１による
と、距離ｄが５５０ｍｍの場合に、カラーセンサ５４の
中心位置５４Ｃが距離計測領域ＤＡＭの中心位置ＤＡＣ
と一致するので、この状態を基準状態として距離画像と
カラー画像との対応点を決めておく。なお、カラーセン
サ５４の中心位置５４Ｃを基準位置とする。基準状態で
は、補正値は０である。距離ｄが５５０ｍｍよりも大き
くなると補正値は負の方向に大きくなり、距離ｄが５５
０ｍｍよりも小さくなると補正値は正の方向に大きくな
る。

【００１７】補正テーブルＴＢ１は、距離ｄに対するデ
ータとして持つことができる。また、補正テーブルＴＢ
１を持つことなく、演算式として持っておき、演算によ
り補正値を求めるようにしてもよい。

【００１８】なお、本明細書において、「距離画像」
は、３次元画像、３次元データ、又は３次元形状データ
とほぼ同意に用いられる。また、「カラー画像」は、モ
ニタ画像、２次元画像、２次元データ、又は２次元画像
データとほぼ同意に用いられる。

【００１９】

【発明の実施の形態】本実施形態では、３次元入力装置
を人物模型製造システムに組み込んだ例を説明する。

【００２０】図１は本発明に係る人物模型製造システム
１の外観を示す図、図２は人物模型製造装置３の構成を
示すブロック図、図３は操作部１３を示す正面図、図４
は背景幕４の位置を示す図である。

【００２１】人物模型製造システム１は、その利用客で
あり計測対象でもある操作者ＨＭがコインを投入して必
要な操作を行うことにより、操作者ＨＭの頭部の形状を
３次元計測し、その計測結果に基づいてその場で加工用
材料（被加工物）を自動的に加工し、操作者ＨＭの顔を
かたどった立体模型（人物模型）ＭＳを製造して販売す
る装置である。

【００２２】図１及び図２において、人物模型製造シス
テム１は、人物模型製造装置３及び背景幕４からなる。
背景幕４は、青色であり、操作者ＨＭの背後に背景とし
て配置されている。

【００２３】人物模型製造装置３は、計測部１１、制御
部１２、操作部１３、モニタ部１４、スピーカ１５、コ
イン投入部１６、加工部１７、排出部１８、材料装着口
３０、及びのぞき窓３１からなる。これらは、本体ケー
ス１０に内蔵され、又はその一部が本体ケース１０の表
面に露出するように取り付けられる。

【００２４】図２に示すように、計測部１１は、３次元
計測部１１１、２次元撮影部１１２、及び計測系コント
ローラ１１３からなる。３次元計測部１１１は、操作者
ＨＭの頭部、特にそのうちの顔を撮影して距離画像（３
次元データ）を得るためのものである。２次元撮影部１
１２は、操作者ＨＭの頭部の全体及び胴体部の一部を撮
影し、そのカラー画像（モニタ画像、２次元データ）を
得るためのものである。

【００２５】３次元計測部１１１は、参照光を照射する
ための投光窓２０ａ及びその反射光を受光するための受
光窓２０ｂを有する。投光窓２０ａ及び受光窓２０ｂ
は、図１に示すように、本体ケース１０の前面であって
且つモニタ部１４の表示面１４ａの上辺に沿って、水平
方向の左右に基線長の分だけ互いに間隔をあけて配置さ
れる。なお、２次元撮影部１１２には、操作者ＨＭを撮
影するための受光窓２０ｃが設けられている。受光窓２
０ｃは、受光窓２０ｂの鉛直下方において、視差分の距
離ＬＰだけ離れて配置されている。

【００２６】３次元計測部１１１は、投光窓２０ａ及び
受光窓２０ｂから一定の距離の範囲内にある計測対象に
対して３次元計測が可能である。上述したように、この
計測可能な距離の範囲を計測可能距離範囲という。つま
り、計測可能距離範囲の内側の対象物については正常な
距離画像を得ることが可能であり、計測可能距離範囲の
外側の計測対象は計測不可能であって距離画像を得るこ
とができない。計測可能距離範囲は図４において
「ｄ’」で示される。計測可能距離範囲ｄ’は、センサ
５３の画素数及び参照光の届く範囲などに依存する。

【００２７】人物模型製造システム１において、操作者
ＨＭが操作部１３を操作可能な通常の位置にいる限り
は、この計測可能距離範囲の内側に入るようになってお
り、計測を正常に行って距離画像を得ることができる。
しかし、もし操作者ＨＭが計測可能距離範囲に入ってい
ない場合、例えば遠すぎる場合には、近づくように警告
が発せられる。なお、後述するように、背景幕４は計測
可能距離範囲の外側に配置されている。

【００２８】計測部１１の光学ユニットが射出するスリ
ット光（所定幅ｗの帯状のレーザビーム）Ｕは、投光窓
２０ａを通って操作者ＨＭに向かう。スリット光の長さ
方向の放射角度φは固定である。操作者ＨＭの表面で反
射したスリット光の一部が受光窓２０ｂを通って光学ユ
ニットに入射する。

【００２９】計測系コントローラ１１３は、３次元計測
部１１１及び２次元撮影部１１２を制御するとともに、
それらから得られたデータを処理して距離画像（３次元
データ）及びカラー画像（２次元データ）を算出する。

【００３０】制御部１２には、データ処理部１２１、加
工データ生成部１２２、特性データ記憶部１２３が設け
られる。制御部１２は、計測部１１によって得られた距
離画像及びカラー画像に基づいて、加工部１７を制御
し、加工部１７において供給される加工用材料に加工を
行って操作者ＨＭの立体模型を製造する。また、撮像さ
れた操作者ＨＭのカラー画像を確認のためにモニタ部１
４に表示し、また、操作者ＨＭの位置や顔の向きが悪い
場合にモニタ部１４への表示やスピーカ１５による音声
によってその旨を警告するように制御する。さらに、操
作部１３からの指令に対応して動作モードを切り換える
など、人物模型製造装置３の全体を制御する。なお、制
御部１２は、種々の電子デバイスを用いたハードウエア
回路、プログラムを実行するコンピュータ又はマイクロ
プロセッサの機能、又はそれらの組み合わせなどにより
実現することができる。

【００３１】操作部１３には、図３に示すように、確認
ボタン（ＯＫボタンともいう）１３２、キャンセルボタ
ン（ＮＧボタンともいう）１３３、及びジョイスティッ
ク１３４が備えられる。確認ボタン１３２は、例えばモ
ニタ部１４に表示される確認画面や選択画面でＯＫを出
すときに押され、キャンセルボタン１３３はモニタ部１
４に表示される操作者ＨＭの画像が想像と異なる場合に
再度別のポーズをとるために押される。ジョイスティッ
ク１３４は、表示面１４ａに表示される複数のボタン又
はＧＵＩなどのいずれかを選択するために用いられる
他、表示面１４ａに表示される画像を３次元の様々な方
向に回転させるために用いられる。なお、ジョイスティ
ック１３４で選択した後は、例えば確認ボタン１３２を
押すことにより、その選択内容に対する入力指示が行わ
れる。

【００３２】モニタ部１４は、表示面１４ａが、操作者
ＨＭの正面に見えるように本体ケース１０の前面ほぼ中
央に臨むように設置された表示システムである。モニタ
部１４は、ＣＲＴ、ＬＣＤ、又はＰＤＰなどの表示デバ
イスを備えた表示装置、又はこれに光学的機構を加えて
構成される。表示デバイスの表示部分が表示面１４ａに
一致する場合には、モニタ部１４の構造は最も簡単であ
る。表示デバイスを表示面１４ａよりも奥側に配置し、
表示面１４ａに透明のガラス板を嵌め込むように構成す
ると、それらの間にミラー又はハーフミラーを配置する
ことができる。特に、表示デバイスの表示面の前方にハ
ーフミラーを配置する場合には、表示デバイスを表示面
１４ａの奥に配置する必要がある。この場合には、表示
面１４ａは単なる表示窓と同意である。

【００３３】表示面１４ａには、操作者ＨＭが構図を決
めるためのカラー画像、操作者ＨＭの３次元計測を行っ
た結果である距離画像（３次元画像）、操作のためのボ
タン又はＧＵＩ、及び操作方法の説明や警告などが表示
される。

【００３４】スピーカ１５からは、人物模型製造装置３
の操作方法の説明、使用上の注意、操作者ＨＭの撮影位
置及び状態などに対する警告などが、音声で発せられ
る。適宜、効果音や音楽が流される。スピーカ１５は、
本体ケース１０の前面に配置されているが、本体ケース
１０の側面、上面、又は底面などに配置してもよい。

【００３５】コイン投入部１６は、人物模型製造システ
ム１を使用するために必要な料金を操作者ＨＭが投入す
るためのものである。コインの返却のために返却ボタン
が設けられている。正規のコインが投入されると、その
旨の信号が制御部１２に出力され、立体模型ＭＳの製造
に向けて動作が開始される。

【００３６】加工部１７には、加工系コントローラ１７
１、加工機構１７２、材料固定機構１７３、材料排出機
構１７４、Ｙ軸駆動装置１７５、及び切削屑回収装置１
７６などが備えられる。

【００３７】材料排出機構１７４は、複数種類の加工用
材料の中から操作者ＨＭが予め選択したものを、排出部
１８に排出する。操作者ＨＭは、排出部１８に加工用材
料が排出されると、そのカバーを開けて加工用材料を取
り出す。そして、取り出した加工用材料を、材料装着口
３０から材料固定機構１７３にセットする。材料固定機
構１７３は、加工用材料が正しくセットされた場合に、
その加工用材料を固定して位置決めする。材料固定機構
１７３が着脱位置から加工位置に移動した後、加工機構
１７２が、計測部１１で計測された３次元データに基づ
き、加工系コントローラ１７１の制御によって、固定さ
れた加工用材料に操作者ＨＭの顔の部分を加工する。こ
れによって、操作者ＨＭの立体模型ＭＳが製作される。

【００３８】加工用材料ＡＭの加工が完了し、立体模型
ＭＳが完成すると、材料固定機構１７３は加工位置から
着脱位置に移動し、そこで加工用材料ＡＭ（立体模型Ｍ
Ｓ）の固定を解除する。操作者ＨＭは、材料装着口３０
から完成した立体模型ＭＳを取り出して利用する。

【００３９】なお、材料装着口３０は、その開口部に透
明のカバー３０ａが設けられており、そのカバー３０ａ
が自動的に開閉するようになっている。カバー３０ａが
透明であるので、加工用材料ＡＭの装着状況を容易に確
認することができる。また、カバー３０ａが開いている
場合に操作者ＨＭの手が中に入いっている状態か否かを
検出するためのセンサが設けられている。もし操作者Ｈ
Ｍの手が材料装着口３０の中に入っている場合には、カ
バー３０ａが閉じたり材料固定機構１７３が作動したり
しないように、安全のための制御が行われている。ま
た、制御部１２と加工系コントローラ１７１の制御範囲
の受持ちについては、種々の形態を取ることができる。

【００４０】背景幕４は、先に述べたように青色であ
り、操作者ＨＭの背後に背景として配置されているが、
その位置は、人物模型製造装置３から見て操作者ＨＭの
後方であって３次元計測部１１１の計測可能距離範囲の
外側に配置される。また、背景幕４の大きさに関して
は、３次元計測部１１１及び２次元撮影部１１２の両方
についての撮影範囲、つまり後述する計測用センサ５３
及びカラーセンサ５４の視野範囲のほぼ全域をカバーす
るように設けられる。なお、２次元撮影部１１２は、操
作者ＨＭのみならず、背景幕４も正常に撮像してそれら
のカラー画像を得ることができる。

【００４１】したがって、計測部１１によって撮影が行
われると、操作者ＨＭの距離画像と、操作者ＨＭ及び背
景幕４のカラー画像とが得られる。つまり、背景幕４は
計測可能距離範囲の外側に配置されているので、３次元
計測部１１１による計測を行った場合に、操作者ＨＭに
ついてのみ距離画像が得られ、背景幕４の部分について
は距離画像を得ることができずエラー情報となる。

【００４２】また、背景幕４が青色であるので、３次元
計測部１１１の照射する参照光の波長域に対して、背景
幕４による反射率は極めて低く、３次元計測に必要な受
光量が得られない。したがって、背景幕４が青色である
ことのみによっても、背景幕４の部分については距離画
像を得ることはほとんどできず、操作者ＨＭの距離画像
のみが得られる。したがって、背景幕４を仮に計測可能
距離範囲の内側に配置した場合であっても、３次元計測
部１１１によって操作者ＨＭのみの距離画像が得られ
る。

【００４３】次に、計測部１１の構成及び動作について
説明する。図５は計測部１１の機能構成を示すブロック
図、図６は３次元計測光学系ＤＰ及び２次元撮影光学系
ＣＰの各構成を模式的に示す図である。図５中の実線矢
印は電気信号の流れを示し、破線矢印は光の流れを示し
ている。

【００４４】図５において、計測部１１は、光学ユニッ
トを構成する投光側及び受光側の２つの光学系４０，５
０を有している。光学系４０において、半導体レーザ
（ＬＤ）４１が射出する波長６８５ｎｍのレーザビーム
は、投光レンズ系４２を通過することによってスリット
光Ｕとなり、ガルバノミラー（走査手段）４３によって
偏向される。半導体レーザ４１のドライバ４４、投光レ
ンズ系４２の駆動系４５、及びガルバノミラー４３の駆
動系４６は、システムコントローラ６１によって制御さ
れる。

【００４５】光学系５０は、ズームユニット５１ａなど
からなる３次元計測光学系ＤＰ及びズームユニット５１
ｂなどからなる２次元撮影光学系ＣＰにより構成され
る。半導体レーザ４１の発振波長帯域の光は、ズームユ
ニット５１ａを通過して計測用のセンサ５３に入射す
る。可視帯域の光は、ズームユニット５１ｂを通過して
モニタ用のカラーセンサ５４に入射する。センサ５３及
びカラーセンサ５４は、どちらもＣＣＤエリアセンサで
ある。ズームユニット５１ｂは内焦型であり、入射光の
一部がオートフォーカシング（ＡＦ）に利用される。Ａ
Ｆ機能は、ＡＦセンサ５７とレンズコントローラ５８と
フォーカシング駆動系５９によって実現される。ズーム
ユニット５１ａのフォーカシングは、ＡＦセンサ５７か
らの情報に基づいて行われる。ズーミング駆動系６０
ａ，６０ｂは電動ズーミングのために設けられている。

【００４６】センサ５３による撮像情報は、ドライバ５
５からのクロックに同期してメモリ６３に格納される。
カラーセンサ５４による撮像情報は、ドライバ５６から
のクロックに同期してカラー処理回路６７へ転送され
る。カラー処理を受けた撮像情報は、ＮＴＳＣ変換回路
７０及びアナログ出力端子３２を経てオンライン出力さ
れ、又はディジタル画像生成部６８で量子化されてカラ
ー画像メモリ６９に格納される。その後、カラー画像が
カラー画像メモリ６９からＳＣＳＩコントローラ６６へ
転送され、ディジタル出力端子３３からオンライン出力
される。カラー画像は、操作者ＨＭの状態を検出するた
め、距離画像の範囲を予め確認するため、３次元形状モ
デルの不要の頂点を間引いたり修正箇所の特定のためな
どに、後段の制御部１２において用いられる。

【００４７】出力処理回路６２は、センサ５３の出力す
る各画素ｇの光電変換信号を増幅する増幅器、及び光電
変換信号を８ビットの受光データに変換するＡＤ変換部
を有している。メモリ６３は、２００×３２×３３Ｂｙ
ｔｅの記憶容量を持つ読み書き可能なメモリであり、出
力処理回路６２から出力される受光データを記憶する。
メモリ制御回路６３Ａは、メモリ６３への書込み及び読
出しのアドレス指定を行う。

【００４８】重心演算回路７３は、メモリ６３に記憶さ
れた受光データに基づいて、距離画像（３次元データ）
を算出するための基となるデータを算出し出力用メモリ
６４に出力する。

【００４９】図６（Ａ）に示すように、３次元計測光学
系ＤＰは、ズームユニット５１ａ、ローパスフィルタ５
１１、及びバンドパスフィルタ５１２から構成されてい
る。バンドパスフィルタ５１２は、半導体レーザ４１の
発振波長帯域の光のみを透過する。図６（Ｂ）に示すよ
うに、２次元撮影光学系ＣＰは、ズームユニット５１
ｂ、赤外線カットフィルタ５１５、及びローパスフィル
タ５１６から構成されている。

【００５０】ズームユニット５１ａから入射したスリッ
ト光Ｕ０は、ローパスフィルタ５１１及びバンドパスフ
ィルタ５１２を通ってセンサ５３で受光される。また、
ズームユニット５１ｂから入射した光Ｃ０のうち、赤外
線カットフィルタ５１５及びローパスフィルタ５１６を
透過した光が、カラーセンサ５４によって受光される。

【００５１】このように、本実施形態においては、スリ
ット光Ｕは受光窓２０ｂから入射し、通常の可視光は受
光窓２０ｃに入射し、それぞれセンサ５３又はカラーセ
ンサ５４で受光することによって３次元計測又は２次元
撮影が行われる。

【００５２】次に、計測部１１による３次元計測の原理
について簡単に説明する。図７は計測部１１による３次
元計測の原理を説明するための図である。図７におい
て、投光の起点Ａと受光系のレンズの主点Ｏとを結ぶ基
線ＡＯが受光軸と垂直になるように、投光系と受光系と
が配置されている。受光軸は撮像面Ｓ２に対して垂直で
ある。図７（ｃ）のように受光系にズームレンズ群を設
けた場合には、主点Ｏは後側主点Ｈ’となる。

【００５３】スリット光投影法に基づく３次元計測にお
いて、計測対象である物体上の点Ｐの３次元位置は、３
次元計測部１１１からの参照光の照射方向つまり投光角
θａと３次元計測部１１１への入射方向つまり受光角θ
ｐとの関係に基づいて求められる。

【００５４】投光角θａは、スリット光Ｕの偏向角に基
づいて求められる。偏向角の変化量は、角速度と経過時
間とに基づいて求められる。したがって、スリット光Ｕ
の任意の時点における偏向角は、偏向を開始した時点に
おける偏向角（原点位置）、角速度、及び偏向を開始し
てからの経過時間（計測のタイミング）に基づいて求め
られる。これらの物理量は、走査手段の駆動信号若しく
は位置信号、制御のためのクロック信号、計測のための
サンプリング信号、又は内部時計などから得ることがで
きる。

【００５５】受光角θｐは、撮像面上の受光位置（ｙ
ｐ）に基づいて求められる。ＣＣＤセンサのように撮像
面が有限個の画素からなる撮像手段を用いた場合に、撮
像面上の受光位置は、原始的にはいずれかの画素の位置
となり、画素ピッチによって精度が決まってしまう。

【００５６】そこで、精度を上げるために補間を行う。
補間のために重心演算を行う。補間の方法として、つま
り重心演算の方法として、時間重心演算の方法又は空間
重心演算の方法が用いられるが、ここでの説明は省略す
る。

【００５７】さて次に、３次元計測光学系ＤＰのセンサ
５３により計測される距離計測領域ＤＡＭと２次元撮影
光学系ＣＰのカラーセンサ５４により撮影されるカラー
領域（モニタ領域）ＣＡＭとの関係について説明する。

【００５８】本実施形態では、カラー領域ＣＡＭを距離
計測領域ＤＡＭよりも大きく設定する。また、カラーセ
ンサ５４の中心位置が、３次元計測光学系ＤＰによって
特定の距離の計測対象を計測するときのその中心位置に
対応するカラー画像の位置と一致するように、カラーセ
ンサ５４の中心位置を受光軸ＣＸに対してずらせて配置
する。これによって、計測対象に対する有効計測領域を
できるだけ多く確保し、３次元計測の可能な範囲を広く
する。

【００５９】図８は３次元計測光学系ＤＰの受光軸ＤＸ
とカラー光学系ＣＰの受光軸ＣＸとの関係を示す図、図
９は計測対象までの距離ｄとカラーセンサ５４の中心位
置５４Ｃからの結像位置のずれ量との関係を説明するた
めの図、図１０はカラー領域ＣＡＭに対する距離計測領
域ＤＡＭの位置関係を計測対象までの距離ｄをパラメー
タとして示した図、図１１はカラーセンサ５４の中心位
置５４Ｃが受光軸ＣＸ上の点と一致するように配置した
場合の図１０と同様の関係を示す図である。

【００６０】まず、図１０に示すように、カラー光学系
ＣＰによるカラー領域ＣＡＭは、距離計測光学系ＤＰに
よる距離計測領域ＤＡＭよりも大きく設定されている。
カラーセンサ５４によるカラー領域ＣＡＭは、５１２×
４８０（横×縦）画素であり、センサ５３による距離計
測領域ＤＡＭは、カラー換算で４００×４００画素であ
る。

【００６１】３次元計測に用いるセンサ５３では、周辺
の光量低下などによる計測精度の低下を回避するため
に、周辺部分の使用をある程度制限した方がよい。カラ
ー領域ＣＡＭは、原理的にはセンサ５３による距離計測
領域ＤＡＭと同じ大きさにすればよい。しかし、２眼タ
イプの３次元計測装置では、互いの受光軸ＤＸ，ＣＸの
視差のために距離画像とカラー画像との間に位置ずれが
生じる。

【００６２】したがって、カラー領域ＣＡＭを距離計測
領域ＤＡＭよりも大きく設定しておくことによって、視
差による距離画像とカラー画像との位置ずれが生じて
も、カラー領域ＣＡＭが距離計測領域ＤＡＭをカバーす
ることができ、有効計測領域を確保することができる。
視差による位置ずれが小さい場合には、これだけで充分
に有効計測領域を確保できるが、視差による位置ずれが
大きい場合には、次に説明するようにカラーセンサ５４
の中心位置の設定をも行う必要がある。

【００６３】次に、カラーセンサ５４の中心位置の設定
について説明する。図８において、距離計測光学系ＤＰ
のセンサ５３は、その中心位置が受光軸ＤＸ上の点と一
致するように配置されている。したがって、受光軸ＤＸ
を対称軸とする左右対称の距離計測領域ＤＡＭを計測す
ることができる。距離計測光学系ＤＰにおける奥行き方
向の計測可能距離範囲ｄ’は、レンズの主点からの距離
で４００ｍｍ乃至７００ｍｍの範囲である。ここで、受
光軸ＤＸ上にあって計測可能距離範囲ｄ’の中央位置の
５５０ｍｍの地点を、撮影中心点ＰＴＣとする。

【００６４】他方、カラー光学系ＣＰの受光軸ＣＸは、
距離計測光学系ＤＰの受光軸ＤＸと視差分の距離ＬＰだ
け離れて平行に設けられている。しかし、カラーセンサ
５４は、その中心位置が受光軸ＣＸ上の点と一致するよ
うには配置されておらず、図８の左方へずれて配置され
ている。ここで、レンズの主点と撮影中心点ＰＴＣを通
る線を撮影中心線ＬＴＣとする。カラーセンサ５４は、
その中心位置５４Ｃが撮影中心線ＬＴＣ上の点と一致す
るように配置されている。

【００６５】すなわち、図９によく示されるように、カ
ラーセンサ５４の中心位置５４Ｃは、撮影中心線ＬＴＣ
の延長上に設けられている。計測対象が受光軸ＤＸ上の
距離ｄの位置にある場合に、その計測対象がカラーセン
サ５４上に結像する位置は、距離ｄが５５０ｍｍよりも
大きいか小さいかに応じて、中心位置５４Ｃの左右にず
れる。そのずれ量は、撮影中心点ＰＴＣからのずれ量に
ほぼ比例する。

【００６６】図１０（Ｂ）に示されるように、計測対象
の距離ｄが５５０ｍｍである場合には、その距離計測領
域ＤＡＭの中心位置ＤＡＣは、カラーセンサ５４の中心
位置５４Ｃ、つまりカラー領域ＣＡＭの中心位置と一致
する。距離計測領域ＤＡＭの右方に残されたカラー領域
ＣＡＭの余裕は、（５１２−４００）÷２＝５６画素分
である。

【００６７】図１０（Ａ）に示されるように、計測対象
の距離ｄが７００ｍｍである場合には、その距離計測領
域ＤＡＭの中心位置ＤＡＣは、カラーセンサ５４の中心
位置５４Ｃから左方へ１１画素分ずれる。この場合に
は、距離計測領域ＤＡＭの右方に残されたカラー領域Ｃ
ＡＭの余裕は、６７画素分となる。

【００６８】図１０（Ｃ）に示されるように、計測対象
の距離ｄが４００ｍｍである場合には、その距離計測領
域ＤＡＭの中心位置は、カラーセンサ５４の中心位置５
４Ｃから右方へ２０画素分ずれる。この場合には、距離
計測領域ＤＡＭの右方に残されたカラー領域ＣＡＭの余
裕は、３６画素分となる。

【００６９】いずれの場合においても、距離計測領域Ｄ
ＡＭはカラー領域ＣＡＭによってカバーされており、し
たがって有効計測領域を最大限に確保することができ
る。因みに、カラーセンサ５４の中心位置５４Ｃを、受
光軸ＣＸと一致するように配置した場合には、図１１
（Ａ）（Ｂ）（Ｃ）に示されるように、計測対象の距離
ｄが７００ｍｍ、５５０ｍｍ、４００ｍｍである場合
に、その距離計測領域ＤＡＭの中心位置ＤＡＣは、カラ
ー領域ＣＡＭの中心位置から、４２画素分、５３画素
分、７４画素分ずれる。図１１（Ｃ）に示されるよう
に、計測対象の距離ｄが４００ｍｍの場合には、距離計
測領域ＤＡＭがカラー領域ＣＡＭからはみ出してしま
う。距離計測領域ＤＡＭのはみ出した部分は、カラー画
像によるデータ修正などを行うことができないので無効
領域となる。つまり、有効計測領域が減少することとな
ってしまう。

【００７０】なお、本実施形態において、距離ｄが５５
０ｍｍの地点を撮影中心点ＰＴＣとし、カラーセンサ５
４の中心位置５４Ｃを撮影中心線ＬＴＣ上の点と一致さ
せたが、撮影中心点ＰＴＣの位置は、計測可能距離範囲
ｄ’の実際の値などに応じて他の位置としてよい。

【００７１】ところで、上に説明したように、距離計測
領域ＤＡＭとカラー領域ＣＡＭとの位置関係が距離ｄに
応じて変化するので、センサ５３で得られる距離画像と
カラーセンサ５４で得られるカラー画像との対応点が、
距離ｄに応じて変化する。そのため、距離ｄに応じて、
距離画像とカラー画像との対応点を補正する必要があ
る。

【００７２】図１２は計測対象の距離ｄに応じた補正値
を画素数で示す補正テーブルＴＢ１の図である。すなわ
ち、距離ｄが５５０ｍｍの場合に、カラーセンサ５４の
中心位置５４Ｃが距離計測領域ＤＡＭの中心位置ＤＡＣ
と一致するので、この状態を基準状態として距離画像と
カラー画像との対応点を決めておく。なお、カラーセン
サ５４の中心位置５４Ｃを基準位置とする。

【００７３】図１２に示す補正テーブルＴＢ１による
と、基準状態では、補正値は０である。距離ｄが５５０
ｍｍよりも大きくなると補正値は負の方向に大きくな
り、距離ｄが５５０ｍｍよりも小さくなると補正値は正
の方向に大きくなる。

【００７４】３次元計測時において、補正テーブルＴＢ
１を参照し、距離ｄに基づいて補正値を取得し、これに
よりカラーセンサ５４から得られるカラー画像の中心座
標を補正する。また、カラー画像の補正後の中心座標
を、入力条件などとともにヘッダファイルに書き込む。
ヘッダファイルは、３次元計測時において作成されるフ
ァイルであり、距離画像及びカラー画像とともに、ＳＣ
ＳＩコントローラ６６を介して制御部１２に出力され
る。補正テーブルＴＢ１は例えばシステムコントローラ
６１に設けられており、このような補正処理はシステム
コントローラ６１によって行われる。

【００７５】なお、補正テーブルＴＢ１は、距離ｄに対
するデータとして持つことができる。また、この例のよ
うに補正テーブルＴＢ１を持つことなく、演算式として
持っておき、演算により補正値を求めるようにしてもよ
い。

【００７６】制御部１２では、計測部１１から出力され
る距離画像、カラー画像、及びヘッダファイルに基づい
て処理が行われる。距離画像のサイズは２００×２００
画素（カラー換算では４００×４００画素）、カラー画
像のサイズは５１２×４８０画素である。ヘッダファイ
ルに基づいて、カラー画像から距離画像に対応した領域
の切り出しが行われる。カラー画像から切り出された部
分について、距離画像との間で画素毎の対応点が決定さ
れる。

【００７７】対応点が明確になったカラー画像を用い
て、種々の処理が行われる。例えば、距離画像のエラー
領域について、それに対応するカラー画像の部分を色を
変えて表示面１４ａに表示する。つまり、距離画像のエ
ラーの箇所を表示するために、そのエラーの部分をカラ
ー画像によって表示するのである。また、形状としての
特徴が少ないために３次元計測による計測では実態を表
現しきれない領域、例えば、人の黒目、眉、髪、唇など
を、カラー画像によって抽出し、抽出した領域につい
て、それぞれの領域に適したデータ処理を行う。例え
ば、人の黒目については、白目との区別できるようにデ
ータ修正を行う。人の髪については、適当な髪型のライ
ン模様を施す。

【００７８】さて次に、３次元計測により得られる距離
画像とモニタ部１４の表示面１４ａに表示される操作者
ＨＭのカラー画像との関係について説明する。本実施形
態では、操作者ＨＭの３次元計測を行う前に、表示面１
４ａに操作者ＨＭのカラー画像を表示する。操作者ＨＭ
は、表示されたカラー画像を見て、自分の頭及び顔の位
置と方向を調整する。つまり、そこに表示されたカラー
画像は３次元計測が可能な領域であると、操作者ＨＭは
考えることとなる。

【００７９】しかし、カラー領域ＣＡＭの全部を、又は
カラー領域ＣＡＭのうちの距離計測領域ＤＡＭに対応す
る領域を、固定的に表示面１４ａに表示した場合には、
表示されたカラー画像のうち３次元計測が行われない領
域が生じてしまうこととなる。そうすると、表示面１４
ａを見て操作者ＨＭがポーズをとったにも係わらず、３
次元データが得られず、立体模型に現れない部分が生じ
てしまう。

【００８０】本実施形態においては、距離計測を行う前
にカラー画像を表示するに当たって、カラー光学系ＣＰ
によるカラー領域ＣＡＭのうちの距離計測光学系ＤＰに
よる距離計測の可能な範囲のみが表示される。

【００８１】図１３は表示面１４ａに表示されるカラー
画像の範囲を説明するための図、図１４は表示面１４ａ
に表示されるカラー画像と距離計測領域ＤＡＭとの関係
を示す図である。

【００８２】モニタ部１４の表示面１４ａには、図１３
に示す表示領域ＣＬＭのみが表示される。表示領域ＣＬ
Ｍは、計測可能距離範囲ｄ’におけるいかなる距離計測
領域ＤＡＭからもはみ出していない。したがって、計測
対象の距離ｄの如何に係わらず、表示領域ＣＬＭについ
ては、距離計測光学系ＤＰによる距離計測が可能であ
る。

【００８３】図１４によく示されるように、具体的に
は、表示領域ＣＬＭは、その中心位置が図１０（Ｂ）に
示すカラー領域ＣＡＭの中心位置５４Ｃと一致し、例え
ば距離計測領域ＤＡＭの８０％程度の大きさの領域に設
定される。これによって、計測対象の距離ｄが種々異な
っても、表示面１４ａに表示されたカラー画像について
は、３次元計測によってエラーでない限りは必ず距離画
像が得られる。

【００８４】因みに、例えば、表示領域ＣＬＭを、距離
ｄが５５０ｍｍにおける距離計測領域ＤＡＭと一致する
ように固定しておいた場合には、距離ｄが７００ｍｍに
おいて部分Ｋ１で水平方向にケラレを生じ、距離ｄが４
００ｍｍにおいて部分Ｋ２で水平方向にケラレを生じて
いる。これらケラレを生じた部分は、カラー画像には表
示されるが３次元計測ができない。したがって、このよ
うなケラレを生じる部分を除外してカラー画像を表示す
るのである。

【００８５】カラー画像から表示領域ＣＬＭを切り出す
処理は、制御部１２において行われる。制御部１２は、
計測部１１からＮＴＳＣ信号を受け取った後、ビデオキ
ャプチャーによってカラー画像データに変換する。その
カラー画像データに対して、表示領域ＣＬＭ以外の領域
にマスク処理を施し、それをモニタ部１４に出力する。

【００８６】次に、計測部１１及び制御部１２の動作
を、フローチャートを参照して説明する。図１５は制御
部１２の処理動作を示すフローチャートである。

【００８７】図１５において、電源が投入されると、制
御部１２、計測部１１、及び加工部１７の初期化が行わ
れる（＃１１）。モニタ部１４には、ユーザの興味を引
きつけるための画像がデモ表示され、スピーカ１５から
音楽が流される（＃１２）。人物模型製造装置３の機能
の説明及び注意を行う画面も表示される。この状態で、
コイン投入部１６にコインの投入されるのを待つ（＃１
３）。

【００８８】コインが投入されると、２次元撮影部１１
２によって操作者ＨＭを撮影し、撮影したカラー画像を
表示する（＃１４）。操作者ＨＭは、表示されたカラー
画像を見ながら、自分の頭及び顔の位置と方向を調整す
る。操作者ＨＭは、表示されたカラー画像がよいとき
に、確認ボタン１３２を押す。

【００８９】確認ボタン１３２が押されると（＃１５で
イエス）、３次元計測とカラー画像の撮影とを同時に行
う（＃１６）。撮影によって得られたカラー画像から、
距離画像に対応した領域が切り出され、互いの画素が対
応付けられる（＃１７）。このとき、画素の対応付けの
ために、補正テーブルＴＢ１を参照して、カラー画像の
中心座標を補正する。

【００９０】そして、２次元画像を表示する（＃１
８）。このとき、距離画像のエラーの領域に対応する部
分を、異なるカラーで表示する。操作者ＨＭは、表示さ
れた２次元画像を見て、それでよいかどうかを決め、よ
ければ確認ボタン１３２を押し、悪ければキャンセルボ
タン１３３を押す（＃１９）。

【００９１】確認ボタン１３２が押された場合には、材
料を選択する画面が表示され、操作者ＨＭはその画面上
で、材料の色、材質などを選定して入力する（＃２
０）。選択した材料が排出されるので、操作者ＨＭはそ
の材料を加工のためにセットし、確認ボタン１３２を押
す（＃２１）。その後、材料を加工するためのデータ処
理が行われる（＃２２）。このとき、距離画像のエラー
の部分、及び距離画像では表現し切れない領域について
のデータ修正などが行われる。

【００９２】データ修正などの行われた３次元データに
基づいて、材料の加工が行われる（＃２３）。加工が終
了すると、材料装着口３０から完成した立体模型ＭＳを
取り出し、確認ボタン１３２を押す（＃２４）。

【００９３】上述の実施形態では、自動販売機としての
使用を想定した人物模型製造システム１を例示したが、
製造した立体模型ＭＳを無償で配付するものであっても
よい。立体模型ＭＳのサイズは、縮小サイズに限らず、
実物大でも拡大サイズでもよい。計測対象は人物以外の
生物でも無生物でもよい。本発明は、人物模型製造シス
テム以外の種々のシステム又は装置に適用できる。その
他、人物模型製造システム１、人物模型製造装置３、計
測部１１、又は制御部１２の全体又は各部の構成、構
造、形状、寸法、材質、動作内容、動作順序、タイミン
グなどは、本発明の趣旨に沿って適宜変更することがで
きる。

【００９４】

【発明の効果】本発明によると、３次元入力装置におい
て、計測対象が計測可能距離範囲内のどの位置にあって
も距離画像とカラー画像との対応を正しくとることがで
きる。

【図面の簡単な説明】

【図１】本発明に係る人物模型製造システムの外観を示
す図である。

【図２】人物模型製造装置の構成を示すブロック図であ
る。

【図３】操作部を示す正面図である。

【図４】背景幕の位置を示す図である。

【図５】計測部の機能構成を示すブロック図である。

【図６】３次元計測光学系及び２次元撮影光学系の各構
成を模式的に示す図である。

【図７】計測部による３次元計測の原理を説明するため
の図である。

【図８】３次元計測光学系の受光軸とカラー光学系の受
光軸との関係を示す図である。

【図９】計測対象までの距離とカラーセンサの中心位置
からの結像位置のずれ量との関係を説明するための図で
ある。

【図１０】カラー領域に対する距離計測領域の位置関係
を計測対象までの距離をパラメータとして示した図であ
る。

【図１１】カラーセンサの中心位置を受光軸上の点と一
致するように配置した場合の図１０と同様の関係を示す
図である。

【図１２】計測対象の距離に応じた補正値を画素数で示
す補正テーブルの図である。

【図１３】表示面に表示されるカラー画像の範囲を説明
するための図である。

【図１４】表示面に表示されるカラー画像と距離計測領
域との関係を示す図である。

【図１５】制御部の処理動作を示すフローチャートであ
る。

【図１６】２眼タイプの３次元入力装置における問題点
を説明するための図である。

【図１７】２眼タイプの３次元入力装置における問題点
を説明するための図である。

【符号の説明】

３ 人物模型製造装置（３次元入力装置） １１ 計測部 １２ 制御部 ５３ センサ（受光センサ） ５４ カラーセンサ（撮像センサ） ５４Ｃ 中心位置 ６１ システムコントローラ（補正手段） ＤＰ 距離計測光学系 ＤＡＭ 距離計測領域 ＤＸ 受光軸 ＣＰ カラー光学系（モニタ光学系） ＣＡＭ カラー領域（モニタ領域） ＣＸ 受光軸 ＴＢ１ 補正テーブル

───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 友則 大阪府大阪市中央区安土町二丁目３番13号 大阪国際ビル ミノルタ株式会社内 Ｆターム(参考） 2F065 AA04 AA53 BB05 EE05 FF01 FF04 FF09 GG06 HH05 JJ03 JJ05 JJ26 LL04 LL13 LL22 MM16 QQ24 SS02 SS13 TT02

Claims (2)

【特許請求の範囲】
1. 【請求項１】計測対象に参照光を照射する手段及び前記
   参照光の計測対象による反射光を受光する受光センサを
   有し計測対象の距離画像を得るための距離計測光学系
   と、計測対象の２次元画像を撮像する撮像センサを有し
   前記距離計測光学系による距離計測領域をモニタするた
   めのモニタ光学系とを有し、前記距離計測光学系の受光
   軸と前記モニタ光学系の受光軸とが互いに独立して設け
   られた３次元入力装置であって、 前記受光センサ上の距離画像と前記撮像センサ上の２次
   元画像との位置関係のずれを、計測対象までの距離に応
   じて補正する補正手段を有してなる、 ことを特徴とする３次元入力装置。
2. 【請求項２】前記距離画像と前記２次元画像との相対的
   な位置関係を計測対象までの距離に対応して記録した補
   正テーブルが設けられ、 前記補正手段は前記補正テーブルを参照して補正するよ
   うに構成されてなる、 請求項１記載の３次元入力装置。