JP2000131035A - 3次元入力装置 - Google Patents

3次元入力装置

Info

Publication number
JP2000131035A
JP2000131035A JP10301961A JP30196198A JP2000131035A JP 2000131035 A JP2000131035 A JP 2000131035A JP 10301961 A JP10301961 A JP 10301961A JP 30196198 A JP30196198 A JP 30196198A JP 2000131035 A JP2000131035 A JP 2000131035A
Authority
JP
Japan
Prior art keywords
distance
image
dimensional
measurement
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10301961A
Other languages
English (en)
Other versions
JP3635942B2 (ja
Inventor
Makoto Miyazaki
誠 宮崎
Akira Yahashi
暁 矢橋
Tomonori Sato
友則 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP30196198A priority Critical patent/JP3635942B2/ja
Publication of JP2000131035A publication Critical patent/JP2000131035A/ja
Application granted granted Critical
Publication of JP3635942B2 publication Critical patent/JP3635942B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】 【課題】計測対象が計測可能距離範囲内のどの位置にあ
っても距離画像とカラー画像との対応を正しくとること
のできる3次元入力装置を提供すること。 【解決手段】計測対象HMに参照光を照射する手段及び
前記参照光の計測対象HMによる反射光を受光する受光
センサ53を有し計測対象HMの距離画像を得るための
距離計測光学系DPと、計測対象HMの2次元画像を撮
像する撮像センサ54を有し前記距離計測光学系DPに
よる距離計測領域DAMをモニタするためのモニタ光学
系CPとを有し、前記距離計測光学系DPの受光軸DX
と前記モニタ光学系CPの受光軸CXとが互いに独立し
て設けられた3次元入力装置であって、前記受光センサ
53上の距離画像と前記撮像センサ54上の2次元画像
との位置関係のずれを、計測対象HMまでの距離dに応
じて補正する補正手段を有してなる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、計測対象を撮影し
てその3次元データを入力するための3次元入力装置に
関する。
【0002】
【従来の技術】従来より、非接触型の3次元計測装置
(3次元入力装置)が知られている。非接触型は、接触
型に比べて高速の計測が可能であることから、CGシス
テムやCADシステムへのデータ入力、身体計測、ロボ
ットの視覚認識などに利用されている。
【0003】非接触の3次元計測の方法として、スリッ
ト光投影法(光切断法ともいう)又はパターン投影法が
知られている。これらの方法は、特定の参照光(検出光
ともいう)を計測対象に照射し、三角測定の原理で距離
画像(3次元画像、3次元データ、又は3次元形状デー
タともいう)を得る能動的計測方法の一種である。スリ
ット光投影法では、スリット光を照射し且つ偏向するこ
とによって計測対象を走査する。パターン投影法では、
複数の2次元パターン光を順次照射する。得られた距離
画像は、計測対象上の複数の部位の3次元位置を示す画
素の集合である。
【0004】このような3次元計測装置には、計測対象
の距離画像を得るための距離計測光学系と、距離計測光
学系による距離計測領域をモニタするためのカラー光学
系(モニタ光学系ともいう)とが設けられる。距離計測
光学系には、計測対象に参照光を照射する投光部、参照
光の計測対象による反射光を受光する受光センサなどが
含まれる。受光センサからの出力などに基づいて、3次
元形状データが演算により求められる。
【0005】カラー光学系には、同じ計測対象のカラー
画像(モニタ画像、2次元画像、2次元データ、又は2
次元画像データともいう)を撮像する撮像センサなどが
含まれる。カラー光学系により得られるカラー画像は、
距離計測光学系による計測を開始するに当たり、距離計
測により得られる距離画像の範囲を予め確認するために
用いられる他、得られた距離画像を修正するに当たり、
その修正箇所の特定のために用いられる。
【0006】
【発明が解決しようとする課題】さて、距離計測光学系
の受光軸とカラー光学系の受光軸とが互いに独立して設
けられた3次元計測装置、つまり2眼タイプの3次元計
測装置では、互いの受光軸の視差のために距離画像とカ
ラー画像との間に位置ずれが生じる。
【0007】すなわち、図16に示すように、距離計測
光学系DPjの受光軸DXjとカラー光学系CPjの受
光軸CXjとは、所定の間隔をあけて互いに平行に設け
られる。受光センサDS及び撮像センサCSは、それぞ
れのレンズの後方において、それぞれの中心位置が受光
軸DXj,CXj上の点と一致するように配置される。
【0008】図17(A)にも示されるように、距離計
測光学系DPjにおいて、受光センサDSによって受光
される領域が距離計測領域DAMjである。レンズから
遠い位置にある計測対象AM1を計測する場合には、計
測対象AM1における領域は比較的広くなり、レンズか
ら近い位置にある計測対象AM2を計測する場合には、
計測対象AM1における領域は比較的狭くなる。最遠の
計測対象AM1と最近の計測対象AM2との間が、計測
可能距離範囲d’である。
【0009】図17(b)によく示されるように、カラ
ー光学系CPjにおいて、計測対象AM1,AM2に対
応するカラー画像CDMAは、撮像センサCSの撮像範
囲(カラー領域)CAMjと一致せず、図の左方にずれ
ている。そのずれの量は、計測対象AMが近くなればな
るほど大きくなる。
【0010】したがって、実際に計測可能な領域、つま
り有効計測領域は、距離計測領域DAMjとカラー領域
CAMjとの重なった領域となる。有効計測領域におい
ても、距離計測領域DAMjとカラー領域CAMjとの
位置関係が計測対象の距離に応じて変化するので、距離
画像とカラー画像との対応点は、距離に応じて変化する
ことになる。
【0011】本発明は、上述の問題に鑑みてなされたも
ので、計測対象が計測可能距離範囲内のどの位置にあっ
ても距離画像とカラー画像との対応を正しくとることの
できる3次元入力装置を提供することを目的とする。
【0012】
【課題を解決するための手段】請求項1の発明に係る装
置は、計測対象HMに参照光を照射する手段及び前記参
照光の計測対象HMによる反射光を受光する受光センサ
53を有し計測対象HMの距離画像を得るための距離計
測光学系DPと、計測対象HMの2次元画像を撮像する
撮像センサ54を有し前記距離計測光学系DPによる距
離計測領域DAMをモニタするためのモニタ光学系CP
とを有し、前記距離計測光学系DPの受光軸DXと前記
モニタ光学系CPの受光軸CXとが互いに独立して設け
られた3次元入力装置であって、前記受光センサ53上
の距離画像と前記撮像センサ54上の2次元画像との位
置関係のずれを、計測対象HMまでの距離dに応じて補
正する補正手段を有してなる。
【0013】請求項2の発明に係る装置では、前記距離
画像と前記2次元画像との相対的な位置関係を計測対象
HMまでの距離dに対応して記録した補正テーブルTB
1が設けられて、前記補正手段は前記補正テーブルTB
1を参照して補正するように構成される。
【0014】例えば図9に示すように、カラー光学系C
Pのカラーセンサ(撮像センサ)54は、その中心位置
54Cが受光軸CX上の点と一致するようには配置され
ておらず、図9の左方へずれて配置されている。ここ
で、レンズの主点と撮影中心点PTCを通る線を撮影中
心線LTCとする。カラーセンサ54は、例えばその中
心位置54Cが撮影中心線LTC上の点と一致するよう
に配置される。計測対象が受光軸DX上の距離dの位置
にある場合に、その計測対象がカラーセンサ54上に結
像する位置は、距離dが撮影中心点PTCよりも遠いか
近いかに応じて、中心位置54Cの左右にずれる。その
ずれ量は、撮影中心点PTCからのずれ量に応じて変化
する。
【0015】受光センサ53上の距離画像と前記カラー
センサ54上のカラー画像(2次元画像)との位置関係
のずれは、補正手段によって計測対象HMまでの距離d
に応じて補正される。
【0016】補正のために、例えば図12に示す補正テ
ーブルTB1が用いられる。補正テーブルTB1による
と、距離dが550mmの場合に、カラーセンサ54の
中心位置54Cが距離計測領域DAMの中心位置DAC
と一致するので、この状態を基準状態として距離画像と
カラー画像との対応点を決めておく。なお、カラーセン
サ54の中心位置54Cを基準位置とする。基準状態で
は、補正値は0である。距離dが550mmよりも大き
くなると補正値は負の方向に大きくなり、距離dが55
0mmよりも小さくなると補正値は正の方向に大きくな
る。
【0017】補正テーブルTB1は、距離dに対するデ
ータとして持つことができる。また、補正テーブルTB
1を持つことなく、演算式として持っておき、演算によ
り補正値を求めるようにしてもよい。
【0018】なお、本明細書において、「距離画像」
は、3次元画像、3次元データ、又は3次元形状データ
とほぼ同意に用いられる。また、「カラー画像」は、モ
ニタ画像、2次元画像、2次元データ、又は2次元画像
データとほぼ同意に用いられる。
【0019】
【発明の実施の形態】本実施形態では、3次元入力装置
を人物模型製造システムに組み込んだ例を説明する。
【0020】図1は本発明に係る人物模型製造システム
1の外観を示す図、図2は人物模型製造装置3の構成を
示すブロック図、図3は操作部13を示す正面図、図4
は背景幕4の位置を示す図である。
【0021】人物模型製造システム1は、その利用客で
あり計測対象でもある操作者HMがコインを投入して必
要な操作を行うことにより、操作者HMの頭部の形状を
3次元計測し、その計測結果に基づいてその場で加工用
材料(被加工物)を自動的に加工し、操作者HMの顔を
かたどった立体模型(人物模型)MSを製造して販売す
る装置である。
【0022】図1及び図2において、人物模型製造シス
テム1は、人物模型製造装置3及び背景幕4からなる。
背景幕4は、青色であり、操作者HMの背後に背景とし
て配置されている。
【0023】人物模型製造装置3は、計測部11、制御
部12、操作部13、モニタ部14、スピーカ15、コ
イン投入部16、加工部17、排出部18、材料装着口
30、及びのぞき窓31からなる。これらは、本体ケー
ス10に内蔵され、又はその一部が本体ケース10の表
面に露出するように取り付けられる。
【0024】図2に示すように、計測部11は、3次元
計測部111、2次元撮影部112、及び計測系コント
ローラ113からなる。3次元計測部111は、操作者
HMの頭部、特にそのうちの顔を撮影して距離画像(3
次元データ)を得るためのものである。2次元撮影部1
12は、操作者HMの頭部の全体及び胴体部の一部を撮
影し、そのカラー画像(モニタ画像、2次元データ)を
得るためのものである。
【0025】3次元計測部111は、参照光を照射する
ための投光窓20a及びその反射光を受光するための受
光窓20bを有する。投光窓20a及び受光窓20b
は、図1に示すように、本体ケース10の前面であって
且つモニタ部14の表示面14aの上辺に沿って、水平
方向の左右に基線長の分だけ互いに間隔をあけて配置さ
れる。なお、2次元撮影部112には、操作者HMを撮
影するための受光窓20cが設けられている。受光窓2
0cは、受光窓20bの鉛直下方において、視差分の距
離LPだけ離れて配置されている。
【0026】3次元計測部111は、投光窓20a及び
受光窓20bから一定の距離の範囲内にある計測対象に
対して3次元計測が可能である。上述したように、この
計測可能な距離の範囲を計測可能距離範囲という。つま
り、計測可能距離範囲の内側の対象物については正常な
距離画像を得ることが可能であり、計測可能距離範囲の
外側の計測対象は計測不可能であって距離画像を得るこ
とができない。計測可能距離範囲は図4において
「d’」で示される。計測可能距離範囲d’は、センサ
53の画素数及び参照光の届く範囲などに依存する。
【0027】人物模型製造システム1において、操作者
HMが操作部13を操作可能な通常の位置にいる限り
は、この計測可能距離範囲の内側に入るようになってお
り、計測を正常に行って距離画像を得ることができる。
しかし、もし操作者HMが計測可能距離範囲に入ってい
ない場合、例えば遠すぎる場合には、近づくように警告
が発せられる。なお、後述するように、背景幕4は計測
可能距離範囲の外側に配置されている。
【0028】計測部11の光学ユニットが射出するスリ
ット光(所定幅wの帯状のレーザビーム)Uは、投光窓
20aを通って操作者HMに向かう。スリット光の長さ
方向の放射角度φは固定である。操作者HMの表面で反
射したスリット光の一部が受光窓20bを通って光学ユ
ニットに入射する。
【0029】計測系コントローラ113は、3次元計測
部111及び2次元撮影部112を制御するとともに、
それらから得られたデータを処理して距離画像(3次元
データ)及びカラー画像(2次元データ)を算出する。
【0030】制御部12には、データ処理部121、加
工データ生成部122、特性データ記憶部123が設け
られる。制御部12は、計測部11によって得られた距
離画像及びカラー画像に基づいて、加工部17を制御
し、加工部17において供給される加工用材料に加工を
行って操作者HMの立体模型を製造する。また、撮像さ
れた操作者HMのカラー画像を確認のためにモニタ部1
4に表示し、また、操作者HMの位置や顔の向きが悪い
場合にモニタ部14への表示やスピーカ15による音声
によってその旨を警告するように制御する。さらに、操
作部13からの指令に対応して動作モードを切り換える
など、人物模型製造装置3の全体を制御する。なお、制
御部12は、種々の電子デバイスを用いたハードウエア
回路、プログラムを実行するコンピュータ又はマイクロ
プロセッサの機能、又はそれらの組み合わせなどにより
実現することができる。
【0031】操作部13には、図3に示すように、確認
ボタン(OKボタンともいう)132、キャンセルボタ
ン(NGボタンともいう)133、及びジョイスティッ
ク134が備えられる。確認ボタン132は、例えばモ
ニタ部14に表示される確認画面や選択画面でOKを出
すときに押され、キャンセルボタン133はモニタ部1
4に表示される操作者HMの画像が想像と異なる場合に
再度別のポーズをとるために押される。ジョイスティッ
ク134は、表示面14aに表示される複数のボタン又
はGUIなどのいずれかを選択するために用いられる
他、表示面14aに表示される画像を3次元の様々な方
向に回転させるために用いられる。なお、ジョイスティ
ック134で選択した後は、例えば確認ボタン132を
押すことにより、その選択内容に対する入力指示が行わ
れる。
【0032】モニタ部14は、表示面14aが、操作者
HMの正面に見えるように本体ケース10の前面ほぼ中
央に臨むように設置された表示システムである。モニタ
部14は、CRT、LCD、又はPDPなどの表示デバ
イスを備えた表示装置、又はこれに光学的機構を加えて
構成される。表示デバイスの表示部分が表示面14aに
一致する場合には、モニタ部14の構造は最も簡単であ
る。表示デバイスを表示面14aよりも奥側に配置し、
表示面14aに透明のガラス板を嵌め込むように構成す
ると、それらの間にミラー又はハーフミラーを配置する
ことができる。特に、表示デバイスの表示面の前方にハ
ーフミラーを配置する場合には、表示デバイスを表示面
14aの奥に配置する必要がある。この場合には、表示
面14aは単なる表示窓と同意である。
【0033】表示面14aには、操作者HMが構図を決
めるためのカラー画像、操作者HMの3次元計測を行っ
た結果である距離画像(3次元画像)、操作のためのボ
タン又はGUI、及び操作方法の説明や警告などが表示
される。
【0034】スピーカ15からは、人物模型製造装置3
の操作方法の説明、使用上の注意、操作者HMの撮影位
置及び状態などに対する警告などが、音声で発せられ
る。適宜、効果音や音楽が流される。スピーカ15は、
本体ケース10の前面に配置されているが、本体ケース
10の側面、上面、又は底面などに配置してもよい。
【0035】コイン投入部16は、人物模型製造システ
ム1を使用するために必要な料金を操作者HMが投入す
るためのものである。コインの返却のために返却ボタン
が設けられている。正規のコインが投入されると、その
旨の信号が制御部12に出力され、立体模型MSの製造
に向けて動作が開始される。
【0036】加工部17には、加工系コントローラ17
1、加工機構172、材料固定機構173、材料排出機
構174、Y軸駆動装置175、及び切削屑回収装置1
76などが備えられる。
【0037】材料排出機構174は、複数種類の加工用
材料の中から操作者HMが予め選択したものを、排出部
18に排出する。操作者HMは、排出部18に加工用材
料が排出されると、そのカバーを開けて加工用材料を取
り出す。そして、取り出した加工用材料を、材料装着口
30から材料固定機構173にセットする。材料固定機
構173は、加工用材料が正しくセットされた場合に、
その加工用材料を固定して位置決めする。材料固定機構
173が着脱位置から加工位置に移動した後、加工機構
172が、計測部11で計測された3次元データに基づ
き、加工系コントローラ171の制御によって、固定さ
れた加工用材料に操作者HMの顔の部分を加工する。こ
れによって、操作者HMの立体模型MSが製作される。
【0038】加工用材料AMの加工が完了し、立体模型
MSが完成すると、材料固定機構173は加工位置から
着脱位置に移動し、そこで加工用材料AM(立体模型M
S)の固定を解除する。操作者HMは、材料装着口30
から完成した立体模型MSを取り出して利用する。
【0039】なお、材料装着口30は、その開口部に透
明のカバー30aが設けられており、そのカバー30a
が自動的に開閉するようになっている。カバー30aが
透明であるので、加工用材料AMの装着状況を容易に確
認することができる。また、カバー30aが開いている
場合に操作者HMの手が中に入いっている状態か否かを
検出するためのセンサが設けられている。もし操作者H
Mの手が材料装着口30の中に入っている場合には、カ
バー30aが閉じたり材料固定機構173が作動したり
しないように、安全のための制御が行われている。ま
た、制御部12と加工系コントローラ171の制御範囲
の受持ちについては、種々の形態を取ることができる。
【0040】背景幕4は、先に述べたように青色であ
り、操作者HMの背後に背景として配置されているが、
その位置は、人物模型製造装置3から見て操作者HMの
後方であって3次元計測部111の計測可能距離範囲の
外側に配置される。また、背景幕4の大きさに関して
は、3次元計測部111及び2次元撮影部112の両方
についての撮影範囲、つまり後述する計測用センサ53
及びカラーセンサ54の視野範囲のほぼ全域をカバーす
るように設けられる。なお、2次元撮影部112は、操
作者HMのみならず、背景幕4も正常に撮像してそれら
のカラー画像を得ることができる。
【0041】したがって、計測部11によって撮影が行
われると、操作者HMの距離画像と、操作者HM及び背
景幕4のカラー画像とが得られる。つまり、背景幕4は
計測可能距離範囲の外側に配置されているので、3次元
計測部111による計測を行った場合に、操作者HMに
ついてのみ距離画像が得られ、背景幕4の部分について
は距離画像を得ることができずエラー情報となる。
【0042】また、背景幕4が青色であるので、3次元
計測部111の照射する参照光の波長域に対して、背景
幕4による反射率は極めて低く、3次元計測に必要な受
光量が得られない。したがって、背景幕4が青色である
ことのみによっても、背景幕4の部分については距離画
像を得ることはほとんどできず、操作者HMの距離画像
のみが得られる。したがって、背景幕4を仮に計測可能
距離範囲の内側に配置した場合であっても、3次元計測
部111によって操作者HMのみの距離画像が得られ
る。
【0043】次に、計測部11の構成及び動作について
説明する。図5は計測部11の機能構成を示すブロック
図、図6は3次元計測光学系DP及び2次元撮影光学系
CPの各構成を模式的に示す図である。図5中の実線矢
印は電気信号の流れを示し、破線矢印は光の流れを示し
ている。
【0044】図5において、計測部11は、光学ユニッ
トを構成する投光側及び受光側の2つの光学系40,5
0を有している。光学系40において、半導体レーザ
(LD)41が射出する波長685nmのレーザビーム
は、投光レンズ系42を通過することによってスリット
光Uとなり、ガルバノミラー(走査手段)43によって
偏向される。半導体レーザ41のドライバ44、投光レ
ンズ系42の駆動系45、及びガルバノミラー43の駆
動系46は、システムコントローラ61によって制御さ
れる。
【0045】光学系50は、ズームユニット51aなど
からなる3次元計測光学系DP及びズームユニット51
bなどからなる2次元撮影光学系CPにより構成され
る。半導体レーザ41の発振波長帯域の光は、ズームユ
ニット51aを通過して計測用のセンサ53に入射す
る。可視帯域の光は、ズームユニット51bを通過して
モニタ用のカラーセンサ54に入射する。センサ53及
びカラーセンサ54は、どちらもCCDエリアセンサで
ある。ズームユニット51bは内焦型であり、入射光の
一部がオートフォーカシング(AF)に利用される。A
F機能は、AFセンサ57とレンズコントローラ58と
フォーカシング駆動系59によって実現される。ズーム
ユニット51aのフォーカシングは、AFセンサ57か
らの情報に基づいて行われる。ズーミング駆動系60
a,60bは電動ズーミングのために設けられている。
【0046】センサ53による撮像情報は、ドライバ5
5からのクロックに同期してメモリ63に格納される。
カラーセンサ54による撮像情報は、ドライバ56から
のクロックに同期してカラー処理回路67へ転送され
る。カラー処理を受けた撮像情報は、NTSC変換回路
70及びアナログ出力端子32を経てオンライン出力さ
れ、又はディジタル画像生成部68で量子化されてカラ
ー画像メモリ69に格納される。その後、カラー画像が
カラー画像メモリ69からSCSIコントローラ66へ
転送され、ディジタル出力端子33からオンライン出力
される。カラー画像は、操作者HMの状態を検出するた
め、距離画像の範囲を予め確認するため、3次元形状モ
デルの不要の頂点を間引いたり修正箇所の特定のためな
どに、後段の制御部12において用いられる。
【0047】出力処理回路62は、センサ53の出力す
る各画素gの光電変換信号を増幅する増幅器、及び光電
変換信号を8ビットの受光データに変換するAD変換部
を有している。メモリ63は、200×32×33By
teの記憶容量を持つ読み書き可能なメモリであり、出
力処理回路62から出力される受光データを記憶する。
メモリ制御回路63Aは、メモリ63への書込み及び読
出しのアドレス指定を行う。
【0048】重心演算回路73は、メモリ63に記憶さ
れた受光データに基づいて、距離画像(3次元データ)
を算出するための基となるデータを算出し出力用メモリ
64に出力する。
【0049】図6(A)に示すように、3次元計測光学
系DPは、ズームユニット51a、ローパスフィルタ5
11、及びバンドパスフィルタ512から構成されてい
る。バンドパスフィルタ512は、半導体レーザ41の
発振波長帯域の光のみを透過する。図6(B)に示すよ
うに、2次元撮影光学系CPは、ズームユニット51
b、赤外線カットフィルタ515、及びローパスフィル
タ516から構成されている。
【0050】ズームユニット51aから入射したスリッ
ト光U0は、ローパスフィルタ511及びバンドパスフ
ィルタ512を通ってセンサ53で受光される。また、
ズームユニット51bから入射した光C0のうち、赤外
線カットフィルタ515及びローパスフィルタ516を
透過した光が、カラーセンサ54によって受光される。
【0051】このように、本実施形態においては、スリ
ット光Uは受光窓20bから入射し、通常の可視光は受
光窓20cに入射し、それぞれセンサ53又はカラーセ
ンサ54で受光することによって3次元計測又は2次元
撮影が行われる。
【0052】次に、計測部11による3次元計測の原理
について簡単に説明する。図7は計測部11による3次
元計測の原理を説明するための図である。図7におい
て、投光の起点Aと受光系のレンズの主点Oとを結ぶ基
線AOが受光軸と垂直になるように、投光系と受光系と
が配置されている。受光軸は撮像面S2に対して垂直で
ある。図7(c)のように受光系にズームレンズ群を設
けた場合には、主点Oは後側主点H’となる。
【0053】スリット光投影法に基づく3次元計測にお
いて、計測対象である物体上の点Pの3次元位置は、3
次元計測部111からの参照光の照射方向つまり投光角
θaと3次元計測部111への入射方向つまり受光角θ
pとの関係に基づいて求められる。
【0054】投光角θaは、スリット光Uの偏向角に基
づいて求められる。偏向角の変化量は、角速度と経過時
間とに基づいて求められる。したがって、スリット光U
の任意の時点における偏向角は、偏向を開始した時点に
おける偏向角(原点位置)、角速度、及び偏向を開始し
てからの経過時間(計測のタイミング)に基づいて求め
られる。これらの物理量は、走査手段の駆動信号若しく
は位置信号、制御のためのクロック信号、計測のための
サンプリング信号、又は内部時計などから得ることがで
きる。
【0055】受光角θpは、撮像面上の受光位置(y
p)に基づいて求められる。CCDセンサのように撮像
面が有限個の画素からなる撮像手段を用いた場合に、撮
像面上の受光位置は、原始的にはいずれかの画素の位置
となり、画素ピッチによって精度が決まってしまう。
【0056】そこで、精度を上げるために補間を行う。
補間のために重心演算を行う。補間の方法として、つま
り重心演算の方法として、時間重心演算の方法又は空間
重心演算の方法が用いられるが、ここでの説明は省略す
る。
【0057】さて次に、3次元計測光学系DPのセンサ
53により計測される距離計測領域DAMと2次元撮影
光学系CPのカラーセンサ54により撮影されるカラー
領域(モニタ領域)CAMとの関係について説明する。
【0058】本実施形態では、カラー領域CAMを距離
計測領域DAMよりも大きく設定する。また、カラーセ
ンサ54の中心位置が、3次元計測光学系DPによって
特定の距離の計測対象を計測するときのその中心位置に
対応するカラー画像の位置と一致するように、カラーセ
ンサ54の中心位置を受光軸CXに対してずらせて配置
する。これによって、計測対象に対する有効計測領域を
できるだけ多く確保し、3次元計測の可能な範囲を広く
する。
【0059】図8は3次元計測光学系DPの受光軸DX
とカラー光学系CPの受光軸CXとの関係を示す図、図
9は計測対象までの距離dとカラーセンサ54の中心位
置54Cからの結像位置のずれ量との関係を説明するた
めの図、図10はカラー領域CAMに対する距離計測領
域DAMの位置関係を計測対象までの距離dをパラメー
タとして示した図、図11はカラーセンサ54の中心位
置54Cが受光軸CX上の点と一致するように配置した
場合の図10と同様の関係を示す図である。
【0060】まず、図10に示すように、カラー光学系
CPによるカラー領域CAMは、距離計測光学系DPに
よる距離計測領域DAMよりも大きく設定されている。
カラーセンサ54によるカラー領域CAMは、512×
480(横×縦)画素であり、センサ53による距離計
測領域DAMは、カラー換算で400×400画素であ
る。
【0061】3次元計測に用いるセンサ53では、周辺
の光量低下などによる計測精度の低下を回避するため
に、周辺部分の使用をある程度制限した方がよい。カラ
ー領域CAMは、原理的にはセンサ53による距離計測
領域DAMと同じ大きさにすればよい。しかし、2眼タ
イプの3次元計測装置では、互いの受光軸DX,CXの
視差のために距離画像とカラー画像との間に位置ずれが
生じる。
【0062】したがって、カラー領域CAMを距離計測
領域DAMよりも大きく設定しておくことによって、視
差による距離画像とカラー画像との位置ずれが生じて
も、カラー領域CAMが距離計測領域DAMをカバーす
ることができ、有効計測領域を確保することができる。
視差による位置ずれが小さい場合には、これだけで充分
に有効計測領域を確保できるが、視差による位置ずれが
大きい場合には、次に説明するようにカラーセンサ54
の中心位置の設定をも行う必要がある。
【0063】次に、カラーセンサ54の中心位置の設定
について説明する。図8において、距離計測光学系DP
のセンサ53は、その中心位置が受光軸DX上の点と一
致するように配置されている。したがって、受光軸DX
を対称軸とする左右対称の距離計測領域DAMを計測す
ることができる。距離計測光学系DPにおける奥行き方
向の計測可能距離範囲d’は、レンズの主点からの距離
で400mm乃至700mmの範囲である。ここで、受
光軸DX上にあって計測可能距離範囲d’の中央位置の
550mmの地点を、撮影中心点PTCとする。
【0064】他方、カラー光学系CPの受光軸CXは、
距離計測光学系DPの受光軸DXと視差分の距離LPだ
け離れて平行に設けられている。しかし、カラーセンサ
54は、その中心位置が受光軸CX上の点と一致するよ
うには配置されておらず、図8の左方へずれて配置され
ている。ここで、レンズの主点と撮影中心点PTCを通
る線を撮影中心線LTCとする。カラーセンサ54は、
その中心位置54Cが撮影中心線LTC上の点と一致す
るように配置されている。
【0065】すなわち、図9によく示されるように、カ
ラーセンサ54の中心位置54Cは、撮影中心線LTC
の延長上に設けられている。計測対象が受光軸DX上の
距離dの位置にある場合に、その計測対象がカラーセン
サ54上に結像する位置は、距離dが550mmよりも
大きいか小さいかに応じて、中心位置54Cの左右にず
れる。そのずれ量は、撮影中心点PTCからのずれ量に
ほぼ比例する。
【0066】図10(B)に示されるように、計測対象
の距離dが550mmである場合には、その距離計測領
域DAMの中心位置DACは、カラーセンサ54の中心
位置54C、つまりカラー領域CAMの中心位置と一致
する。距離計測領域DAMの右方に残されたカラー領域
CAMの余裕は、(512−400)÷2=56画素分
である。
【0067】図10(A)に示されるように、計測対象
の距離dが700mmである場合には、その距離計測領
域DAMの中心位置DACは、カラーセンサ54の中心
位置54Cから左方へ11画素分ずれる。この場合に
は、距離計測領域DAMの右方に残されたカラー領域C
AMの余裕は、67画素分となる。
【0068】図10(C)に示されるように、計測対象
の距離dが400mmである場合には、その距離計測領
域DAMの中心位置は、カラーセンサ54の中心位置5
4Cから右方へ20画素分ずれる。この場合には、距離
計測領域DAMの右方に残されたカラー領域CAMの余
裕は、36画素分となる。
【0069】いずれの場合においても、距離計測領域D
AMはカラー領域CAMによってカバーされており、し
たがって有効計測領域を最大限に確保することができ
る。因みに、カラーセンサ54の中心位置54Cを、受
光軸CXと一致するように配置した場合には、図11
(A)(B)(C)に示されるように、計測対象の距離
dが700mm、550mm、400mmである場合
に、その距離計測領域DAMの中心位置DACは、カラ
ー領域CAMの中心位置から、42画素分、53画素
分、74画素分ずれる。図11(C)に示されるよう
に、計測対象の距離dが400mmの場合には、距離計
測領域DAMがカラー領域CAMからはみ出してしま
う。距離計測領域DAMのはみ出した部分は、カラー画
像によるデータ修正などを行うことができないので無効
領域となる。つまり、有効計測領域が減少することとな
ってしまう。
【0070】なお、本実施形態において、距離dが55
0mmの地点を撮影中心点PTCとし、カラーセンサ5
4の中心位置54Cを撮影中心線LTC上の点と一致さ
せたが、撮影中心点PTCの位置は、計測可能距離範囲
d’の実際の値などに応じて他の位置としてよい。
【0071】ところで、上に説明したように、距離計測
領域DAMとカラー領域CAMとの位置関係が距離dに
応じて変化するので、センサ53で得られる距離画像と
カラーセンサ54で得られるカラー画像との対応点が、
距離dに応じて変化する。そのため、距離dに応じて、
距離画像とカラー画像との対応点を補正する必要があ
る。
【0072】図12は計測対象の距離dに応じた補正値
を画素数で示す補正テーブルTB1の図である。すなわ
ち、距離dが550mmの場合に、カラーセンサ54の
中心位置54Cが距離計測領域DAMの中心位置DAC
と一致するので、この状態を基準状態として距離画像と
カラー画像との対応点を決めておく。なお、カラーセン
サ54の中心位置54Cを基準位置とする。
【0073】図12に示す補正テーブルTB1による
と、基準状態では、補正値は0である。距離dが550
mmよりも大きくなると補正値は負の方向に大きくな
り、距離dが550mmよりも小さくなると補正値は正
の方向に大きくなる。
【0074】3次元計測時において、補正テーブルTB
1を参照し、距離dに基づいて補正値を取得し、これに
よりカラーセンサ54から得られるカラー画像の中心座
標を補正する。また、カラー画像の補正後の中心座標
を、入力条件などとともにヘッダファイルに書き込む。
ヘッダファイルは、3次元計測時において作成されるフ
ァイルであり、距離画像及びカラー画像とともに、SC
SIコントローラ66を介して制御部12に出力され
る。補正テーブルTB1は例えばシステムコントローラ
61に設けられており、このような補正処理はシステム
コントローラ61によって行われる。
【0075】なお、補正テーブルTB1は、距離dに対
するデータとして持つことができる。また、この例のよ
うに補正テーブルTB1を持つことなく、演算式として
持っておき、演算により補正値を求めるようにしてもよ
い。
【0076】制御部12では、計測部11から出力され
る距離画像、カラー画像、及びヘッダファイルに基づい
て処理が行われる。距離画像のサイズは200×200
画素(カラー換算では400×400画素)、カラー画
像のサイズは512×480画素である。ヘッダファイ
ルに基づいて、カラー画像から距離画像に対応した領域
の切り出しが行われる。カラー画像から切り出された部
分について、距離画像との間で画素毎の対応点が決定さ
れる。
【0077】対応点が明確になったカラー画像を用い
て、種々の処理が行われる。例えば、距離画像のエラー
領域について、それに対応するカラー画像の部分を色を
変えて表示面14aに表示する。つまり、距離画像のエ
ラーの箇所を表示するために、そのエラーの部分をカラ
ー画像によって表示するのである。また、形状としての
特徴が少ないために3次元計測による計測では実態を表
現しきれない領域、例えば、人の黒目、眉、髪、唇など
を、カラー画像によって抽出し、抽出した領域につい
て、それぞれの領域に適したデータ処理を行う。例え
ば、人の黒目については、白目との区別できるようにデ
ータ修正を行う。人の髪については、適当な髪型のライ
ン模様を施す。
【0078】さて次に、3次元計測により得られる距離
画像とモニタ部14の表示面14aに表示される操作者
HMのカラー画像との関係について説明する。本実施形
態では、操作者HMの3次元計測を行う前に、表示面1
4aに操作者HMのカラー画像を表示する。操作者HM
は、表示されたカラー画像を見て、自分の頭及び顔の位
置と方向を調整する。つまり、そこに表示されたカラー
画像は3次元計測が可能な領域であると、操作者HMは
考えることとなる。
【0079】しかし、カラー領域CAMの全部を、又は
カラー領域CAMのうちの距離計測領域DAMに対応す
る領域を、固定的に表示面14aに表示した場合には、
表示されたカラー画像のうち3次元計測が行われない領
域が生じてしまうこととなる。そうすると、表示面14
aを見て操作者HMがポーズをとったにも係わらず、3
次元データが得られず、立体模型に現れない部分が生じ
てしまう。
【0080】本実施形態においては、距離計測を行う前
にカラー画像を表示するに当たって、カラー光学系CP
によるカラー領域CAMのうちの距離計測光学系DPに
よる距離計測の可能な範囲のみが表示される。
【0081】図13は表示面14aに表示されるカラー
画像の範囲を説明するための図、図14は表示面14a
に表示されるカラー画像と距離計測領域DAMとの関係
を示す図である。
【0082】モニタ部14の表示面14aには、図13
に示す表示領域CLMのみが表示される。表示領域CL
Mは、計測可能距離範囲d’におけるいかなる距離計測
領域DAMからもはみ出していない。したがって、計測
対象の距離dの如何に係わらず、表示領域CLMについ
ては、距離計測光学系DPによる距離計測が可能であ
る。
【0083】図14によく示されるように、具体的に
は、表示領域CLMは、その中心位置が図10(B)に
示すカラー領域CAMの中心位置54Cと一致し、例え
ば距離計測領域DAMの80%程度の大きさの領域に設
定される。これによって、計測対象の距離dが種々異な
っても、表示面14aに表示されたカラー画像について
は、3次元計測によってエラーでない限りは必ず距離画
像が得られる。
【0084】因みに、例えば、表示領域CLMを、距離
dが550mmにおける距離計測領域DAMと一致する
ように固定しておいた場合には、距離dが700mmに
おいて部分K1で水平方向にケラレを生じ、距離dが4
00mmにおいて部分K2で水平方向にケラレを生じて
いる。これらケラレを生じた部分は、カラー画像には表
示されるが3次元計測ができない。したがって、このよ
うなケラレを生じる部分を除外してカラー画像を表示す
るのである。
【0085】カラー画像から表示領域CLMを切り出す
処理は、制御部12において行われる。制御部12は、
計測部11からNTSC信号を受け取った後、ビデオキ
ャプチャーによってカラー画像データに変換する。その
カラー画像データに対して、表示領域CLM以外の領域
にマスク処理を施し、それをモニタ部14に出力する。
【0086】次に、計測部11及び制御部12の動作
を、フローチャートを参照して説明する。図15は制御
部12の処理動作を示すフローチャートである。
【0087】図15において、電源が投入されると、制
御部12、計測部11、及び加工部17の初期化が行わ
れる(#11)。モニタ部14には、ユーザの興味を引
きつけるための画像がデモ表示され、スピーカ15から
音楽が流される(#12)。人物模型製造装置3の機能
の説明及び注意を行う画面も表示される。この状態で、
コイン投入部16にコインの投入されるのを待つ(#1
3)。
【0088】コインが投入されると、2次元撮影部11
2によって操作者HMを撮影し、撮影したカラー画像を
表示する(#14)。操作者HMは、表示されたカラー
画像を見ながら、自分の頭及び顔の位置と方向を調整す
る。操作者HMは、表示されたカラー画像がよいとき
に、確認ボタン132を押す。
【0089】確認ボタン132が押されると(#15で
イエス)、3次元計測とカラー画像の撮影とを同時に行
う(#16)。撮影によって得られたカラー画像から、
距離画像に対応した領域が切り出され、互いの画素が対
応付けられる(#17)。このとき、画素の対応付けの
ために、補正テーブルTB1を参照して、カラー画像の
中心座標を補正する。
【0090】そして、2次元画像を表示する(#1
8)。このとき、距離画像のエラーの領域に対応する部
分を、異なるカラーで表示する。操作者HMは、表示さ
れた2次元画像を見て、それでよいかどうかを決め、よ
ければ確認ボタン132を押し、悪ければキャンセルボ
タン133を押す(#19)。
【0091】確認ボタン132が押された場合には、材
料を選択する画面が表示され、操作者HMはその画面上
で、材料の色、材質などを選定して入力する(#2
0)。選択した材料が排出されるので、操作者HMはそ
の材料を加工のためにセットし、確認ボタン132を押
す(#21)。その後、材料を加工するためのデータ処
理が行われる(#22)。このとき、距離画像のエラー
の部分、及び距離画像では表現し切れない領域について
のデータ修正などが行われる。
【0092】データ修正などの行われた3次元データに
基づいて、材料の加工が行われる(#23)。加工が終
了すると、材料装着口30から完成した立体模型MSを
取り出し、確認ボタン132を押す(#24)。
【0093】上述の実施形態では、自動販売機としての
使用を想定した人物模型製造システム1を例示したが、
製造した立体模型MSを無償で配付するものであっても
よい。立体模型MSのサイズは、縮小サイズに限らず、
実物大でも拡大サイズでもよい。計測対象は人物以外の
生物でも無生物でもよい。本発明は、人物模型製造シス
テム以外の種々のシステム又は装置に適用できる。その
他、人物模型製造システム1、人物模型製造装置3、計
測部11、又は制御部12の全体又は各部の構成、構
造、形状、寸法、材質、動作内容、動作順序、タイミン
グなどは、本発明の趣旨に沿って適宜変更することがで
きる。
【0094】
【発明の効果】本発明によると、3次元入力装置におい
て、計測対象が計測可能距離範囲内のどの位置にあって
も距離画像とカラー画像との対応を正しくとることがで
きる。
【図面の簡単な説明】
【図1】本発明に係る人物模型製造システムの外観を示
す図である。
【図2】人物模型製造装置の構成を示すブロック図であ
る。
【図3】操作部を示す正面図である。
【図4】背景幕の位置を示す図である。
【図5】計測部の機能構成を示すブロック図である。
【図6】3次元計測光学系及び2次元撮影光学系の各構
成を模式的に示す図である。
【図7】計測部による3次元計測の原理を説明するため
の図である。
【図8】3次元計測光学系の受光軸とカラー光学系の受
光軸との関係を示す図である。
【図9】計測対象までの距離とカラーセンサの中心位置
からの結像位置のずれ量との関係を説明するための図で
ある。
【図10】カラー領域に対する距離計測領域の位置関係
を計測対象までの距離をパラメータとして示した図であ
る。
【図11】カラーセンサの中心位置を受光軸上の点と一
致するように配置した場合の図10と同様の関係を示す
図である。
【図12】計測対象の距離に応じた補正値を画素数で示
す補正テーブルの図である。
【図13】表示面に表示されるカラー画像の範囲を説明
するための図である。
【図14】表示面に表示されるカラー画像と距離計測領
域との関係を示す図である。
【図15】制御部の処理動作を示すフローチャートであ
る。
【図16】2眼タイプの3次元入力装置における問題点
を説明するための図である。
【図17】2眼タイプの3次元入力装置における問題点
を説明するための図である。
【符号の説明】
3 人物模型製造装置(3次元入力装置) 11 計測部 12 制御部 53 センサ(受光センサ) 54 カラーセンサ(撮像センサ) 54C 中心位置 61 システムコントローラ(補正手段) DP 距離計測光学系 DAM 距離計測領域 DX 受光軸 CP カラー光学系(モニタ光学系) CAM カラー領域(モニタ領域) CX 受光軸 TB1 補正テーブル
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐藤 友則 大阪府大阪市中央区安土町二丁目3番13号 大阪国際ビル ミノルタ株式会社内 Fターム(参考) 2F065 AA04 AA53 BB05 EE05 FF01 FF04 FF09 GG06 HH05 JJ03 JJ05 JJ26 LL04 LL13 LL22 MM16 QQ24 SS02 SS13 TT02

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】計測対象に参照光を照射する手段及び前記
    参照光の計測対象による反射光を受光する受光センサを
    有し計測対象の距離画像を得るための距離計測光学系
    と、計測対象の2次元画像を撮像する撮像センサを有し
    前記距離計測光学系による距離計測領域をモニタするた
    めのモニタ光学系とを有し、前記距離計測光学系の受光
    軸と前記モニタ光学系の受光軸とが互いに独立して設け
    られた3次元入力装置であって、 前記受光センサ上の距離画像と前記撮像センサ上の2次
    元画像との位置関係のずれを、計測対象までの距離に応
    じて補正する補正手段を有してなる、 ことを特徴とする3次元入力装置。
  2. 【請求項2】前記距離画像と前記2次元画像との相対的
    な位置関係を計測対象までの距離に対応して記録した補
    正テーブルが設けられ、 前記補正手段は前記補正テーブルを参照して補正するよ
    うに構成されてなる、 請求項1記載の3次元入力装置。
JP30196198A 1998-10-23 1998-10-23 3次元入力装置 Expired - Fee Related JP3635942B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30196198A JP3635942B2 (ja) 1998-10-23 1998-10-23 3次元入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30196198A JP3635942B2 (ja) 1998-10-23 1998-10-23 3次元入力装置

Publications (2)

Publication Number Publication Date
JP2000131035A true JP2000131035A (ja) 2000-05-12
JP3635942B2 JP3635942B2 (ja) 2005-04-06

Family

ID=17903214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30196198A Expired - Fee Related JP3635942B2 (ja) 1998-10-23 1998-10-23 3次元入力装置

Country Status (1)

Country Link
JP (1) JP3635942B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014213348A (ja) * 2013-04-25 2014-11-17 株式会社アマダ 画像処理システム及びその方法
JP2014229303A (ja) * 2013-05-20 2014-12-08 三菱電機株式会社 シーン内の物体を検出する方法
CN110608669A (zh) * 2018-06-15 2019-12-24 上海弼智仿生高科技有限公司 三维扫描方法、装置和系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014213348A (ja) * 2013-04-25 2014-11-17 株式会社アマダ 画像処理システム及びその方法
JP2014229303A (ja) * 2013-05-20 2014-12-08 三菱電機株式会社 シーン内の物体を検出する方法
CN110608669A (zh) * 2018-06-15 2019-12-24 上海弼智仿生高科技有限公司 三维扫描方法、装置和系统

Also Published As

Publication number Publication date
JP3635942B2 (ja) 2005-04-06

Similar Documents

Publication Publication Date Title
JP3678022B2 (ja) 3次元入力装置
US6445814B2 (en) Three-dimensional information processing apparatus and method
US7046838B1 (en) Three-dimensional data input method and apparatus
JP2000002518A (ja) 3次元入力装置
US20030043277A1 (en) Imaging system, photographing device and three-dimensional measurement auxiliary unit used for the system
JP2002071309A (ja) 3次元画像検出装置
JP2000076460A (ja) モニタ表示装置
JP2003284096A (ja) ステレオ撮影装置、ファインダ、目印提示部材、及び、ステレオ撮影装置の撮影方法
JP3893169B2 (ja) 3次元計測装置
JP3635942B2 (ja) 3次元入力装置
JP2013017125A (ja) 撮像装置及び撮像装置のモニタリング画像の表示方法
JP3635943B2 (ja) 3次元入力装置
TWI505708B (zh) 多鏡頭影像擷取裝置及其立體影像顯示方法
JP4221808B2 (ja) 3次元データ入力方法及び装置
JP2020188432A (ja) 撮影方向設定装置、撮影方向設定プログラム、撮影方向設定方法、侵入検出装置、侵入検出プログラム、侵入検出方法
JPH1066106A (ja) 複眼カメラシステム
JP6494059B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2001148865A (ja) 画像入力装置
JP4123617B2 (ja) 3次元入力装置
JP3905696B2 (ja) 3次元画像入力装置
JP5603732B2 (ja) 撮像装置
JP2001004370A (ja) 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法
JP4235291B2 (ja) 立体映像システム
JPH11168755A (ja) 立体映像撮像装置
JP2002027502A (ja) 3次元画像入力装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100114

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110114

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110114

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120114

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130114

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees