JP2000105111A - 3次元入力装置 - Google Patents
3次元入力装置Info
- Publication number
- JP2000105111A JP2000105111A JP10274639A JP27463998A JP2000105111A JP 2000105111 A JP2000105111 A JP 2000105111A JP 10274639 A JP10274639 A JP 10274639A JP 27463998 A JP27463998 A JP 27463998A JP 2000105111 A JP2000105111 A JP 2000105111A
- Authority
- JP
- Japan
- Prior art keywords
- light
- photoelectric conversion
- data
- dimensional
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
可能なイメージセンサから出力される受光データのSN
比を向上させて精度のよい3次元画像を求めることので
きる3次元入力装置を提供すること。 【解決手段】物体に検出光を照射する投光手段と、検出
光の照射方向を偏向させて物体を光学的に走査するため
の走査手段と、2次元の撮像面を有し物体で反射した検
出光を受光して光電変換する撮像デバイスと、撮像デバ
イスを、各画素について電荷の蓄積時間が互いに異なる
複数の光電変換信号を出力するように制御する制御手段
と、複数の光電変換信号のうち、飽和していない光電変
換信号を選択する選択手段75と、を有する。
Description
又はスポット光を照射して物体形状を非接触で計測する
3次元入力装置に関する。
の3次元計測システムは、接触型に比べて高速の計測が
可能であることから、CGシステムやCADシステムへ
のデータ入力、身体計測、ロボットの視覚認識などに利
用されている。
スリット光投影法(光切断法ともいう)が知られてい
る。この方法は、物体を光学的に走査して3次元画像
(距離画像)を得る方法であり、特定の検出光を照射し
て物体を撮影する能動的計測方法の一種である。3次元
画像は、物体上の複数の部位の3次元位置を示す画素の
集合である。スリット光投影法では、検出光として断面
が直線状のスリット光が用いられる。物体で反射したス
リット光は受光センサ(撮像デバイス、イメージセン
サ)の撮像面に結像する。
インダでは、受光センサに受光されるスリット光の光量
は、物体の反射率によって変化する。したがって、受光
センサの電荷蓄積時間を所定の時間に固定していると、
反射率が高い場合には受光センサの出力が飽和してしま
う。これとは逆に、反射率が低い場合には、受光センサ
の出力が低過ぎてSN比が悪くなるという問題がある。
めるには、スリット光の受光位置又は受光タイミングを
正確に検出する必要がある。本出願人は、位置的又は時
間的に前後にわたって出力されるセンサ出力に基づいて
重心演算を行うことにより、受光位置又は受光タイミン
グを正確に検出する構成を提案した(特開平7−174
536号、特開平9−145319号)。重心演算を行
う場合には、受光センサの出力が正確である必要がある
が、上記のようにSN比が悪い場合、又は受光センサの
出力が飽和している場合には、正確な重心演算が行えな
い。
を投影してそのときの受光センサの出力を得て、その出
力に基づいて、適切な蓄積時間を設定するようにしてい
た。しかし、このようにして設定された蓄積時間は、受
光センサの全ての画素について共通の蓄積時間であるた
め、物体の反射率が局部的に低いか又は高い場合には、
依然として上記の問題が生じていた。
ので、撮像デバイスからの飽和していない出力を得るこ
とを目的とする。さらに、請求項3及び請求項4の発明
では、撮像デバイスからSN比の良好な出力を得ること
を目的とする。
置は、物体に検出光を照射する投光手段と、前記検出光
の照射方向を偏向させて前記物体を光学的に走査するた
めの走査手段と、2次元の撮像面を有し前記物体で反射
した前記検出光を受光して光電変換する撮像デバイス
と、前記撮像デバイスを、各画素について電荷の蓄積時
間が互いに異なる複数の光電変換信号を出力するように
制御する制御手段と、前記複数の光電変換信号のうち、
飽和していない光電変換信号を選択する選択手段と、を
有する。
手段は、第1の蓄積時間が経過すると、前記撮像デバイ
スに対して非破壊読み出しを行うとともに、さらに電荷
蓄積を第2の蓄積時間まで継続するように制御する。
手段は、飽和していない光電変換信号のうち、最も蓄積
時間の長い光電変換信号を選択する。請求項4の発明に
係る装置は、物体に検出光を照射する投光手段と、前記
検出光の照射方向を偏向させて前記物体を光学的に走査
するための走査手段と、2次元の撮像面を有し前記物体
で反射した前記検出光を受光して光電変換する撮像デバ
イスと、前記撮像デバイスを、各画素について、電荷の
蓄積時間が所定の時間T/nである第1光電変換信号
と、電荷の蓄積時間が前記第1光電変換信号のn倍の時
間Tである第2光電変換信号とを出力するように制御す
る制御手段と、前記第2光電変換信号が飽和していない
場合には前記第2光電変換信号を用い、前記第2光電変
換信号が飽和している場合には前記第1光電変換信号の
n倍の大きさの信号を用いて演算を行う演算手段と、を
有する。
し」とは、撮像デバイスから受光データを読み出した際
に、リセット信号を別途与えない限りその受光データ
(電荷)が撮像デバイスにそのまま残るような読み出し
方法をいう。
1の構成図である。計測システム1は、スリット光投影
法によって立体計測を行う3次元カメラ(レンジファイ
ンダ)2と、3次元カメラ2の出力データを処理するホ
スト3とから構成されている。
プリング点の3次元位置を特定する計測データととも
に、物体Qのカラー情報を示す2次元画像及びキャリブ
レーションに必要なデータを出力する。三角測量法を用
いてサンプリング点の座標を求める演算処理はホスト3
が担う。
b、キーボード3c、及びマウス3dなどから構成され
たコンピュータシステムである。CPU3aには計測デ
ータ処理のためのソフトウエアが組み込まれている。ホ
スト3と3次元カメラ2との間では、オンライン及び可
搬型の記録メディア4によるオフラインの両方の形態の
データ受渡しが可能である。記録メディア4としては、
光磁気ディスク(MO)、ミニディスク(MD)、メモ
リカードなどがある。
る。ハウジング20の前面に投光窓20a及び受光窓2
0bが設けられている。投光窓20aは受光窓20bに
対して上側に位置する。内部の光学ユニットOUが射出
するスリット光(所定幅wの帯状のレーザビーム)U
は、投光窓20aを通って計測対象の物体(被写体)に
向かう。スリット光Uの長さ方向M1の放射角度φは固
定である。物体の表面で反射したスリット光Uの一部が
受光窓20bを通って光学ユニットOUに入射する。な
お、光学ユニットOUは、投光軸と受光軸との相対関係
を適正化するための2軸調整機構を備えている。
タン25a,25b、手動フォーカシングボタン26
a,26b、及びシャッタボタン27が設けられてい
る。図2(b)のように、ハウジング20の背面には、
液晶ディスプレイ21、カーソルボタン22、セレクト
ボタン23、キャンセルボタン24、アナログ出力端子
32、ディタル出力端子33、及び記録メディア4の着
脱口30aが設けられている。
画面の表示手段及び電子ファインダとして用いられる。
撮影者は背面の各ボタン21〜24によって撮影モード
の設定を行うことができる。アナログ出力端子32から
は、2次元画像信号が例えばNTSC形式で出力され
る。ディジタル出力端子33は例えばSCSI端子であ
る。
ロック図である。図中の実線矢印は電気信号の流れを示
し、破線矢印は光の流れを示している。3次元カメラ2
は、上述の光学ユニットOUを構成する投光側及び受光
側の2つの光学系40,50を有している。光学系40
において、半導体レーザ(LD)41が射出する波長6
85nmのレーザビームは、投光レンズ系42を通過す
ることによってスリット光Uとなり、ガルバノミラー
(走査手段)43によって偏向される。半導体レーザ4
1のドライバ44、投光レンズ系42の駆動系45、及
びガルバノミラー43の駆動系46は、システムコント
ローラ61によって制御される。
によって集光された光はビームスプリッタ52によって
分光される。半導体レーザ41の発振波長帯域の光は、
計測用のイメージセンサ53に入射する。可視帯域の光
は、モニタ用のカラーセンサ54に入射する。イメージ
センサ53はMOS型センサであり、カラーセンサ54
はCCDエリアセンサである。ズームユニット51は内
焦型であり、入射光の一部がオートフォーカシング(A
F)に利用される。AF機能は、AFセンサ57とレン
ズコントローラ58とフォーカシング駆動系59によっ
て実現される。ズーミング駆動系60は電動ズーミング
のために設けられている。
ライバ55からのクロックに同期して選択回路75を介
してメモリ63に格納される。また、イメージセンサ5
3は、ドライバ55からの制御信号により、受光データ
の非破壊読出しが行われるように制御され、その結果、
電荷の蓄積時間がT/4である受光データS(T/4)
と、その4倍の時間Tである受光データS(T)とが出
力される。
イバ56からのクロックに同期してカラー処理回路67
へ転送される。カラー処理を受けた撮像情報は、NTS
C変換回路70及びアナログ出力端子32を経てオンラ
イン出力され、又はディジタル画像生成部68で量子化
されてカラー画像メモリ69に格納される。その後、カ
ラー画像データがカラー画像メモリ69からSCSIコ
ントローラ66へ転送され、ディジタル出力端子33か
らオンライン出力され、又は計測データと対応づけて記
録メディア4に格納される。なお、カラー画像は、イメ
ージセンサ53による距離画像と同一の画角の像であ
り、ホスト3側におけるアプリケーション処理に際して
参考情報として利用される。カラー情報を利用する処理
としては、例えばカメラ視点の異なる複数組の計測デー
タを組み合わせて3次元形状モデルを生成する処理、3
次元形状モデルの不要の頂点を間引く処理などがある。
システムコントローラ61は、図示しないキャラクタジ
ェネレータに対して、LCD21の画面上に適切な文字
や記号を表示するための指示を与える。
の出力する各画素gの光電変換信号を増幅する増幅器、
及び光電変換信号を8ビット又は10ビットの受光デー
タに変換するAD変換部を有している。出力処理回路6
2からは、受光データS(T/4)及び受光データS
(T)がディジタル値として出力される。
及び受光データS(T)に対して次の処理を行う。すな
わち、受光データS(T)が飽和していない場合にはそ
の受光データS(T)を出力し、受光データS(T)が
飽和している場合には、受光データS(T/4)の4倍
の大きさのデータを出力する。選択回路75は本発明に
おける選択手段に相当する。選択回路75の構成及び動
作の詳細については後述する。
eの記憶容量を持つ読み書き可能なメモリであり、出力
処理回路62から出力される受光データを記憶する。メ
モリ制御回路63Aは、メモリ63への書込み及び読出
しのアドレス指定を行う。
れた受光データに基づいて、計測対象の物体の形状に対
応した濃淡画像を生成して表示用メモリ74に出力し、
また、3次元位置を算出するための基となるデータを算
出し出力用メモリ64に出力する。LCD21の画面に
は、表示用メモリ74に記憶された濃淡画像、カラー画
像メモリ69に記憶されたカラー画像などを表示する。
図である。図4(a)は正面図であり、図4(b)は側
面図である。投光レンズ系42は、コリメータレンズ4
21、バリエータレンズ422、及びエキスパンダレン
ズ423の3つのレンズから構成されている。半導体レ
ーザ41が射出したレーザビームに対して、次の順序で
適切なスリット光Uを得るための光学的処理が行われ
る。まず、コリメータレンズ421によってビームが平
行化される。次にバリエータレンズ422によってレー
ザビームのビーム径が調整される。最後にエキスパンダ
レンズ423によってビームがスリット長さ方向M1に
拡げられる。
撮影の画角に係わらず、イメージセンサ53に3以上の
複数画素分の幅のスリット光Uを入射させるために設け
られている。駆動系45は、システムコントローラ61
の指示に従って、イメージセンサ53上でのスリット光
Uの幅wを一定に保つようにバリエータレンズ422を
移動させる。バリエータレンズ422と受光側のズーム
ユニット51とは連動する。
リット長を拡げることにより、偏向の後で行う場合に比
べてスリット光Uの歪みを低減することができる。エキ
スパンダレンズ423を投光レンズ系42の最終段に配
置することにより、すなわちガルバノミラー43に近づ
けることにより、ガルバノミラー43を小型化すること
ができる。
の算出の原理図である。同図では理解を容易にするた
め、受光量のサンプリングについて5回分のみが示され
ている。
画素分となる比較的に幅の広いスリット光Uを物体Qに
照射する。具体的にはスリット光Uの幅を5画素分とす
る。スリット光Uは、サンプリング周期毎に撮像面S2
上で1画素ピッチpvだけ移動するように、図5の上か
ら下に向かって偏向され、それによって物体Qが走査さ
れる。イメージセンサ53からは、サンプリング周期毎
に、受光データS(T/4)と受光データS(T)とが
出力される。これらの出力は、1つの有効受光領域Ae
について、1フレーム分の受光データS(T/4)から
なる第1フレームF(T/4)と、1フレーム分の受光
データS(T)からなる第2フレームF(T)とが出力
される。つまり、合計2フレーム分の受光データが出力
されることになる。なお、このときの偏向は実際には等
角速度で行われる。
本実施形態においては、走査中に行う32回のサンプリ
ングによって32回分の受光データが得られる。これら
32回分の受光データに対する重心演算によって、注目
画素gがにらむ範囲の物体表面agをスリット光Uの光
軸が通過するタイミング(時間重心Npeak又は重心
ip)を求める。
によるノイズがない場合には、注目画素gの受光量は、
図5(b)に示すように、スリット光Uが通過するタイ
ミングにおいて多くなり、通常、正規分布に近くなる。
同図のようにn回目とその1つ前の(n−1)回目の間
のタイミングで受光量が最大であった場合には、そのタ
イミングが時間重心Npeakとほぼ一致する。
ト光の照射方向と、注目画素に対するスリット光の入射
方向との関係に基づいて、物体Qの位置(座標)を算出
する。これにより、撮像面の画素ピッチpvで規定され
る分解能より高い分解能の計測が可能となる。
率に依存する。しかし、サンプリングの各受光量の相対
比は受光の絶対量に係わらず一定である。つまり、物体
色の濃淡は計測精度に影響しない。
示す図である。図6に示すように、イメージセンサ53
における1フレームの読出しは、撮像面S2の全体では
なく、高速化を図るために撮像面S2の一部である有効
受光領域(帯状画像)Aeのみを対象に行われる。有効
受光領域Aeは、スリット光Uのある照射タイミングに
おける物体Qの計測可能距離範囲d’(図14参照)に
対応する撮像面S2上の領域であり、スリット光Uの偏
向に伴ってサンプリング周期毎に1画素分ずつシフトす
る。本実施形態では、有効受光領域Aeのシフト方向の
画素数は32に固定されている。
してMOS型センサが用いられており、ランダムアクセ
スが可能である。したがって、撮像データの必要な画素
のみを部分的に選択することができ、不必要な部分を読
み出すことなく高速に読出しが行える。
である。イメージセンサ53は、撮像面S2の各画素g
を順に指定して受光情報を読み出すいわゆるX−Yアド
レス走査型の撮像デバイスであって、各画素gに対応し
たスイッチの制御によって任意の範囲の読出しが可能で
ある。一般的には、垂直走査回路531と水平走査回路
532とを構成するディジタルシフトレジスタに所定の
タイミングでシフト信号を入力することにより、ライン
順次の読出しが行われる。ラインは水平方向の画素列で
ある。本実施形態において、水平方向は物体Qの走査に
おける主走査方向に相当する方向であり、垂直方向は副
走査方向(スリット光の偏向方向)に相当する方向であ
る。ただし、イメージセンサ53の配置の向きは光学系
の構成に応じて変更可能であるので、ここでの垂直方向
が必ずしも実空間での鉛直方向と一致するとは限らな
い。
回路531に対して走査開始ラインを示すレジスタ初期
値を与える走査開始セットレジスタ533が設けられ、
これによって上述の有効受光領域Ae(帯状画像)の読
出しが実現される。
始位置を表すデータ信号sgn1、及び走査終了位置を
表すデータ信号sgn2を入力することで、どの位置の
有効受光領域Aeの撮影像(帯状画像)を読み出すかを
指示する。また、読み出し開始信号gsttとリセット
信号grstとを別々に入力することにより、非破壊読
出しが行われる。すなわち、読み出し開始信号gstt
のみを入力することにより非破壊読出しが行われ、その
後にリセット信号grstが入力されるまで電荷蓄積が
継続される。
ータ信号sgn1のビット数が増えるので、入力端子の
低減の上でデータ信号sgn1のデコーダ534を設け
るのが望ましい。読出し開始時には、走査開始セットレ
ジスタ533の内容を垂直走査回路531に並列転送す
ることで走査開始位置及び走査終了位置がセットされた
ことになる。
のではなく垂直走査を繰り返すことにより行う。まず、
イメージセンサ53は、水平方向に沿って配列された列
の1列目に対して垂直走査を開始位置から終了位置まで
行うことで垂直方向に並ぶ33(=32+1)個の画素
からなる画素列から光電変換信号を出力する。ただし、
メモリ63への格納の対象になるのは32画素分の光電
変換信号である。続いて、読出しを行う列を水平方向に
1画素分シフトさせ、2列目に対して垂直走査を行って
33画素分の光電変換信号を出力する。このような動作
を繰り返すことで指定された位置の帯状画像を出力す
る。
像面S2の全領域の画像を読み出す場合よりはるかに短
い時間(読み出す行の数/全領域の行数)で1フレーム
の読出しが完了する。
を行う理由は次のとおりである。イメージセンサ53
は、蓄積時間がTとなったときに受光データS(T)が
読み出されると、その後にリセットされて次の電荷蓄積
を開始するのに対し、そのときに読み出されなかった領
域は電荷の蓄積が継続して行われる。次回の読み出しの
対象が同じ領域であれば問題はないが、異なる領域を読
み出す場合には、n回目と(n+1)回目の読出しで蓄
積時間の異なる画像情報が混在することになる。すなわ
ち、光投影法による3次元測定においては、スリット光
Uの偏向とともに読み出しの必要な有効受光領域Aeが
副走査方向(撮像面の垂直方向)にシフトする。したが
って、n回目と(n+1)回目とで重複して読み出され
る領域の画像は前回(n回目)の読出しから今回(n+
1)回目の読み出しまでの蓄積時間の画像が読み出され
るのに対し、有効受光領域Aeのシフトによって今回に
新たに読み出される領域の画像は1回目の撮影から継続
して光電変換をした画像となってしまう。そこで、本実
施形態においては、読み出し対象領域を今回に必要な領
域と次回に必要な領域の双方を包含する領域に設定す
る。こうすることで、次回に読出しが必要な領域につい
ては必ず前回に電荷蓄積がクリアされることになり、蓄
積時間の異なる画素からなる画像を取り込んでしまうと
いう問題を回避することができる。
おけるラインとフレームとの関係を示す図、図9〜11
はメモリ63における各フレームの受光データの記憶状
態を示す図である。
レームであるフレーム1には、ライン1からライン32
までの32(ライン)×200画素分の受光データが含
まれる。フレーム2はライン2からライン33まで、フ
レーム3はライン3からライン34までというように、
フレーム毎に1ライン分だけシフトされる。フレーム3
2はライン32からライン63までである。なお、上述
したように1ラインを200画素としている。
タは、図9に示す状態でメモリ63に記憶される。つま
り、メモリ63には、フレーム1、2、3…の順に受光
データが記憶される。
は、フレーム1については32ライン目、フレーム2に
ついては31ライン目というように、フレーム毎に1ラ
インづつ上方にシフトされている。フレーム1からフレ
ーム32までの受光データがメモリ63に記憶される
と、ライン32の各画素について、時間重心Npeak
の算出が行われる。
間に、フレーム33の受光データがメモリ63に転送さ
れて記憶される。図10に示すように、フレーム33の
受光データは、メモリ63のフレーム32の次の領域に
記憶される。フレーム33のデータがメモリ63に記憶
されると、これらフレーム2からフレーム33までに含
まれるライン33の各画素について、時間重心Npea
kの算出が行われる。
間に、フレーム34の受光データがメモリ63に転送さ
れて記憶される。図11に示すように、フレーム34の
受光データは、フレーム1の記憶されていた領域に上書
きされる。この時点ではフレーム1のデータは処理済で
あるため、上書きにより消去しても差し支えないからで
ある。フレーム34のデータがメモリ63に記憶される
と、ライン34の各画素について、時間重心Npeak
の算出が行われる。フレーム34の受光データについて
の処理が終わると、フレーム35の受光データがフレー
ム2の記憶されていた領域に上書きされる。
ン231まで、合計200ライン分についての時間重心
Npeakの算出が行われる。上述のように、メモリ6
3に記憶された受光データのうち、順次不要になったデ
ータの記憶された領域に新規の受光データを上書きして
記憶するので、メモリ63の容量が低減される。
は、LCD21の画面に表示される。重心ipは、計測
対象の物体Qの表面の位置に関連し、物体Qの表面の位
置が3次元カメラ2に近い場合に重心ipの値が大きく
なり、遠い場合に重心ipの値が小さくなる。したがっ
て、重心ipを濃度データとして濃淡画像を表示させる
ことにより距離分布を表現することができる。
を計測の手順と合わせて説明する。上述したように、計
測のサンプリング点数を200×262とする。すなわ
ち、撮像面S2におけるスリットUの幅方向の画素数は
262であり、実質的なフレーム数Nは231である。
するカラーモニタ像を見ながら、カメラ位置と向きとを
決め、画角を設定する。その際、必要に応じてズーミン
グ操作を行う。3次元カメラ2ではカラーセンサ54に
対する絞り調整は行われず、電子シャッタ機能により露
出制御されたカラーモニタ像が表示される。これは、絞
りを開放状態とすることによってイメージセンサ53の
入射光量をできるだけ多くするためである。
流れを示す図、図13はホスト3における3次元位置演
算の処理手順を示すフローチャート、図14は光学系の
各点と物体Qとの関係を示す図である。
グ)に応じて、ズームユニット51のバリエータ部51
4の移動が行われる。また、フォーカシング部512の
移動による手動又は自動のフォーカシングが行われる。
フォーカシングの過程でおおよその対物間距離d0 が測
定される。
て、投光側のバリエータレンズ422の移動量が図示し
ない演算回路によって算出され、算出結果に基づいてバ
リエータレンズ422の移動制御が行われる。
トローラ58を介して、フォーカシングエンコーダ59
Aの出力(繰り出し量Ed)及びズーミングエンコーダ
60Aの出力(ズーム刻み値fp)を読み込む。システ
ムコントローラ61の内部において、歪曲収差テーブル
T1、主点位置テーブルT2、及び像距離テーブルT3
が参照され、繰り出し量Ed及びズーム刻み値fpに対
応した撮影条件データがホスト2へ出力される。ここで
の撮影条件データは、歪曲収差パラメータ(レンズ歪み
補正係数d1,d2)、前側主点位置FH、及び像距離
bである。前側主点位置FHは、ズームユニット51の
前側端点Fと前側主点Hとの距離で表される。前側端点
Fは固定であるので、前側主点位置FHにより前側主点
Hを特定することができる。
ザ41の出力(レーザ強度)及びスリット光Uの偏向条
件(走査開始角、走査終了角、偏向角速度)を算定す
る。この算定方法を詳しく説明する。まず、おおよその
対物間距離d0 に平面物体が存在するものとして、イメ
ージセンサ53の中央で反射光を受光するように投射角
設定を行う。以下で説明するレーザ強度の算定のための
パルス点灯は、この設定された投射角で行う。
算定に際しては、人体を計測する場合があるので、安全
性に対する配慮が不可欠である。まず、最小強度LDm
inでパルス点灯し、イメージセンサ53の出力を取り
込む。取り込んだ信号〔Son(LDmin)〕と適正
レベルStypとの比を算出し、仮のレーザ強度LD1
を設定する。
〔Son(LDmin)〕 続いてレーザ強度LD1で再びパルス点灯し、イメージ
センサ53の出力を取り込む。取り込んだ信号〔Son
(LD1)〕が適正レベルStyp又はそれに近い値で
あれば、LD1をレーザ強度LDsと決める。他の場合
には、レーザ強度LD1とMAX〔Son(LD1)〕
とを用いて仮のレーザ強度LD1を設定し、イメージセ
ンサ53の出力と適正レベルStypとを比較する。イ
メージセンサ53の出力が許容範囲内の値となるまで、
レーザ強度の仮設定と適否の確認とを繰り返す。なお、
イメージセンサ53の出力の取り込みは、撮像面S2の
全面を対象に行う。これは、AFによる受動的な距離算
出では、スリット光Uの受光位置を高精度に推定するこ
とが難しいためである。イメージセンサ53におけるC
CDの積分時間は1フィールド時間(例えば1/60
秒)であり、実際の計測時における積分時間より長い。
このため、パルス点灯を行うことにより、計測時と等価
なセンサ出力を得る。
きのスリット光Uの受光位置から、三角測量により対物
間距離dを決定する。最後に、決定された対物間距離d
に基づいて、偏向条件を算出する。偏向条件の算定に際
しては、対物間距離dの測距基準点である受光系の前側
主点Hと投光の起点AとのZ方向のオフセットdoff
を考慮する。また、走査方向の端部においても中央部と
同様の計測可能距離範囲d’を確保するため、所定量
(例えば8画素分)のオーバースキャンを行うようにす
る。走査開始角th1、走査終了角th2、偏向角速度
ωは、次式で表される。
8)+L)/(d+doff)〕×180/π th2=tan-1〔−β×pv(np/2+8)+L)
/(d+doff)〕×180/π ω=(th1−th2)/np β:撮像倍率(=d/実効焦点距離freal) pv:画素ピッチ np:撮像面S2のY方向の有効画素数 L:基線長 このようにして算出された条件で次に本発光に移り、物
体Qの走査(スリット投影)が行われ、上述の出力処理
回路62、メモリ63、及び重心演算回路73を経て出
力用メモリ64に記憶されたデータD62がホスト2へ
送られる。同時に、偏向条件(偏向制御データ)及びイ
メージセンサ53の仕様などを示す装置情報D10も、
ホスト3へ送られる。表1は3次元カメラ2がホスト3
へ送る主なデータをまとめたものである。
次元位置演算処理が実行され、これによって200×2
00個のサンプリング点(画素)の3次元位置(座標
X,Y,Z)が算定される。サンプリング点はカメラ視
線(サンプリング点と前側主点Hとを結ぶ直線)とスリ
ット面(サンプリング点を照射するスリット光Uの光軸
面)との交点である。
送られてきたxiの総和Σxiが所定値を上回っている
かどうかを判定する(#11)。xiが小さい場合、つ
まりスリット光成分の総和Σxiが所定の基準に満たな
い場合には誤差を多く含んでいるので、その画素につい
ては3次元位置の算出を実行しない。そして、その画素
については「エラー」を示すデータを設定して記憶する
(#17)。Σxiが所定値を上回っている場合には十
分な精度が得られるので、3次元位置の算出を実行す
る。
Uの通過タイミングnopを算出する(#12)。通過
タイミングnopは、i=1〜32について(Σi・x
i)/(Σxi)を計算して重心ip(時間重心Npe
ak)を求め、これにライン番号を加算することによっ
て算出される。
素の出力が得られている32フレーム内のタイミングで
あるので、ライン番号を加えることによって走査開始か
らの通過タイミングnopに変換する。具体的には、ラ
イン番号は、最初に算出されるライン32の画素につい
ては「32」、次のライン33については「33」とな
る。注目画素gのラインが1つ進む毎にライン番号は1
つ増大する。しかし、これらの値は他の適当な値とする
ことが可能である。その理由は、3次元位置を算出する
際に、係数である後述の(6)式におけるX軸周りの回
転角(the1)及びX軸周りの角速度(the4)な
どをキャリブレーションにより適切に設定することがで
きるからである。
算出された3次元位置は、その画素に対応するメモリ領
域に記憶し(#14)、次の画素について同様の処理を
行う(#16)。総ての画素についての処理が終わると
終了する(#15でイエス)。
する。カメラ視線方程式は次の(1)式及び(2)式で
ある。 (u−u0)=(xp)=(b/pu)×〔X/(Z−FH)〕 …(1) (v−v0)=(yp)=(b/pv)×〔Y/(Z−FH)〕 …(2) b:像距離 FH:前側主点位置 pu:撮像面における水平方向の画素ピッチ pv:撮像面における垂直方向の画素ピッチ u:撮像面における水平方向の画素位置 u0:撮像面における水平方向の中心画素位置 v:撮像面における垂直方向の画素位置 v0:撮像面における垂直方向の中心画素位置 スリット面方程式は(3)式である。
画素を中心として対称に生じる。したがって、歪み量は
中心画素からの距離の関数で表される。ここでは、距離
の3次関数で近似する。2次の補正係数をd1、3次の
補正係数をd2とする。補正後の画素位置u’,v’は
(4)式及び(5)式で与えられる。
を代入し、vに代えてv’を代入することにより、歪曲
収差を考慮した3次元位置を求めることができる。な
お、キャリブレーションについては、電子情報通信学会
研究会資料PRU91-113[カメラの位置決めのいらない
画像の幾何学的補正]小野寺・金谷、電子情報通信学会
論文誌D-II vol. J74-D-II No.9 pp.1227-1235,'91/9
[光学系の3次元モデルに基づくレンジファインダの高
精度キャリブレーション法]植芝・吉見・大島、などに
詳しい開示がある。
について説明する。図15は選択回路75の構成を示す
ブロック図である。図15に示すように、選択回路75
は、スイッチ回路751,756、メモリ752、積算
回路753、判定値回路754、及び比較回路755か
ら構成される。
から転送される第1フレームF(T/4)の受光データ
S(T/4)を受光データS11としてメモリ752
に、第2フレームF(T)の受光データS(T)を受光
データS21としてスイッチ回路756及び比較回路7
55に送る。
記憶容量を持つ読み書き可能なメモリであり、受光デー
タS11の全てを記憶する。積算回路753は、受光デ
ータS11に対し4倍の値の受光データS12を算出
し、スイッチ回路756に送る。
飽和判定の基準となる判定値S23を比較回路755に
設定する。判定値S23の値の具体例は「255」であ
る。
定値S23とを比較し、その比較結果に基づいた制御信
号CP1を生成し、スイッチ回路756に送る。制御信
号CP1は、スイッチ回路756を次のように制御す
る。
ない場合には、受光データS21をスイッチ回路756
を介してメモリ63へそのまま転送する〔図17(D)
における実線部分参照〕。これと異なり、受光データS
21が飽和している場合には、受光データS12、つま
り第1フレームF(T/4)の受光データS(T/4)
を4倍した値をスイッチ回路756を介してメモリ63
へ転送する〔図17(D)における破線部分参照〕。
全ての画素についての受光データS(T)は、判定値
「255」に達しているか否かによって飽和しているか
否かが判定される。受光データS(T)が飽和していな
い場合には、その受光データS(T)を用い、受光デー
タS(T)が飽和している場合には、受光データS(T
/4)の4倍の大きさの信号が、8ビット又は10ビッ
トの受光データS30としてメモリ63に送られること
になる。
受光データをノイズの影響を受けにくい大きな値として
読み出すことができる。このため、受光データS30に
対して重心演算を行い3次元画像を求めた場合に、精度
のよい3次元画像を求めることができる。
をTとT/4との2段階に設定したが、さらに多くの段
階の蓄積時間を設定してもよい。例えば、T,T/2,
T/4,T/8、又はT,T/3,T/9など、3段階
以上の蓄積時間を設定することが可能である。このよう
に設定された蓄積時間によって得られた信号のうち、最
も蓄積時間の長い信号、換言すれば出力レベルの高い信
号を選択するようにすればよい。
ータS(T),S(T/4)に具体的な数値を用いて、
選択回路75から受光データS30が出力され、受光デ
ータS30に対して時間重心演算及び空間重心演算を行
う場合の処理について説明する。
ついて説明する。図16は有効受光領域Aeにおける互
いに異なる注目画素g1,g2を示す図、図17は注目
画素g1,g2に対し電荷の蓄積時間がT/4,Tであ
るときの各フレームにおける受光データの分布の一例を
示す図である。
蓄積時間がT/4であるときの各フレームにおける受光
データの分布の一例を示す図、図17(B)は注目画素
g1に対し電荷の蓄積時間がTであるときの各フレーム
における受光データの分布の一例を示す図、図17
(C)は注目画素g2に対し電荷の蓄積時間がT/4で
あるときの各フレームにおける受光データの分布の一例
を示す図、図17(D)は注目画素g2に対し電荷の蓄
積時間がTであるときの各フレームにおける受光データ
の分布の一例を示す図である。
に対し蓄積時間がT/4後に読出しを行った受光データ
のピーク値が30の場合、つまり、ピーク値が受光デー
タの飽和値「255」に対してかなり小さい場合に、注
目画素g1について時間重心演算を行うと、得られる演
算結果は精度が悪いものとなる。注目画素g1のSN比
が悪いからである。
たっては、各画素毎に、所定期間内におけるイメージセ
ンサ53からの出力(x)を一定の周期でサンプリング
し、サンプリング値である出力(x)とサンプリングの
タイミング(i)との積(x・i)の総計Σ(x・
i)、及び出力(x)の総計Σ(x)を算出する。これ
らから、時間重心Npeak=Σ(x・i)/Σ(x)
を算出する。
素g1の前回の読出し(電荷の蓄積時間T/4)に対し
て、4倍の蓄積時間であるT後に読出しを行った受光デ
ータは、ピーク値が128になる。なお、この「12
8」は30の約4倍である。
った受光データS21は、蓄積時間がT/4後に読出し
を行った受光データS11よりもSN比が大きくなる。
また、図17(C)に示すように、注目画素g2に対し
蓄積時間がT/4後に読出しを行った受光データのピー
ク値が110の場合には、注目画素g1について行った
のと同じ方法、つまり注目画素g2の前回の読出し(電
荷の蓄積時間T/4)に対して4倍の蓄積時間のT後に
読出しを行った受光データS21を用いて時間重心演算
を行う方法をそのまま適用することはできない。そのま
ま適用した場合には、図17(D)の実線に示すよう
に、区間SRでは複数のフレームに対して受光データS
21が飽和してしまうからである。
タS21の値として受光データS11に4を乗じた値S
12を用いる。こうすることで、注目画素g2について
もSN比が大きい受光データを得ることができる。
いて上述した処理を行うことにより、得られる時間重心
演算の結果は、ノイズ信号の影響が小さいものとなり、
精度のよい3次元画像を求めることができる。
いて説明する。図18は有効受光領域Aeにおける互い
に異なる注目画素列L1,L2を示す図、図19は注目
画素列L1,L2に対し電荷の蓄積時間がそれぞれT/
4,Tであるときの各フレームにおける受光データの分
布の一例を示す図である。
の蓄積時間がT/4であるときの各フレームにおける受
光データの分布の一例を示す図、図19(B)は注目画
素列L1に対し電荷の蓄積時間がTであるときの各フレ
ームにおける受光データの分布の一例を示す図、図19
(C)は注目画素列L2に対し電荷の蓄積時間がT/4
であるときの各フレームにおける受光データの分布の一
例を示す図、図19(D)は注目画素列L2に対し電荷
の蓄積時間がTであるときの各フレームにおける受光デ
ータの分布の一例を示す図である。
1に対し電荷の蓄積時間がT/4であるときの各フレー
ムにおける受光データのピーク値が30の場合、つま
り、受光データの飽和値「255」に対してかなり小さ
い場合に、注目画素列L1について空間重心演算を行う
と、その演算結果は精度が悪いもとなる。注目画素列L
1のSN比が悪いからである。
たっては、イメージセンサ53からの出力(x)を一定
の周期でサンプリングする。各サンプリングのタイミン
グに対応して、所定の受光幅内の画素について、その位
置(i)と出力(x)との積(x・i)の総計Σ(x・
i)、及び出力(x)の総計Σ(x)を算出する。これ
らから、空間重心Mpeak=Σ(x・i)/Σ(x)
を算出する。
ころで説明した注目画素g1,g2をそれぞれ注目画素
列L1,L2と読み変えることにより、得られる空間重
心演算の結果は、ノイズ信号の影響が小さいものとな
り、精度のよい3次元画像を求めることができることに
なる。
53から受光データS(T/4)が1フレーム分だけ第
1フレームF(T/4)として、受光データS(T)が
1フレーム分だけ第2フレームF(T)として別々に出
力されるが、各フレーム分の受光データを画素毎に順次
記憶していくためのバッファメモリをイメージセンサ5
3とは別個に設け、そのバッファメモリから各フレーム
の受光データをまとめて出力するように構成してもよ
い。
がT/4である受光データS(T/4)と、その4倍の
時間Tである受光データS(T)とを用いているが、受
光データS(T)に代えて、受光データS(T/4)に
対して電荷の蓄積時間が例えば2倍、3倍、6倍、8倍
などの受光データを用いることも可能である。それらの
場合に、受光データS11に対してそれらの倍率に応じ
た値の受光データS12を算出するために、データ変換
テーブルを用いてもよい。
2、ホスト3、又は計測システム1の全体又は各部の構
成、処理内容又は順序、処理タイミングなどは、本発明
の主旨に沿って適宜変更することができる。
和していない出力を得ることができる。請求項3及び請
求項4の発明によると、撮像デバイスからSN比の良好
な出力を得ることができる。
の非破壊読出しが可能なイメージセンサから出力される
受光データのSN比を向上させて精度のよい3次元画像
を求めることが可能となる。
る。
図である。
ームとの関係を示す図である。
状態を示す図である。
憶状態を示す図である。
憶状態を示す図である。
である。
示すフローチャートである。
る。
る。
ータの分布の例を示す図である。
ある。
ータの分布の例を示す図である。
Claims (4)
- 【請求項1】物体に検出光を照射する投光手段と、 前記検出光の照射方向を偏向させて前記物体を光学的に
走査するための走査手段と、 2次元の撮像面を有し前記物体で反射した前記検出光を
受光して光電変換する撮像デバイスと、 前記撮像デバイスを、各画素について電荷の蓄積時間が
互いに異なる複数の光電変換信号を出力するように制御
する制御手段と、 前記複数の光電変換信号のうち、飽和していない光電変
換信号を選択する選択手段と、 を有することを特徴とする3次元入力装置。 - 【請求項2】前記制御手段は、第1の蓄積時間が経過す
ると、前記撮像デバイスに対して非破壊読み出しを行う
とともに、さらに電荷蓄積を第2の蓄積時間まで継続す
るように制御する、 請求項1記載の3次元入力装置。 - 【請求項3】前記選択手段は、飽和していない光電変換
信号のうち、最も蓄積時間の長い光電変換信号を選択す
る、 請求項1又は請求項2記載の3次元入力装置。 - 【請求項4】物体に検出光を照射する投光手段と、 前記検出光の照射方向を偏向させて前記物体を光学的に
走査するための走査手段と、 2次元の撮像面を有し前記物体で反射した前記検出光を
受光して光電変換する撮像デバイスと、 前記撮像デバイスを、各画素について、電荷の蓄積時間
が所定の時間T/nである第1光電変換信号と、電荷の
蓄積時間が前記第1光電変換信号のn倍の時間Tである
第2光電変換信号とを出力するように制御する制御手段
と、 前記第2光電変換信号が飽和していない場合には前記第
2光電変換信号を用い、前記第2光電変換信号が飽和し
ている場合には前記第1光電変換信号のn倍の大きさの
信号を用いて演算を行う演算手段と、 を有することを特徴とする3次元入力装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27463998A JP3861475B2 (ja) | 1998-09-29 | 1998-09-29 | 3次元入力装置 |
US09/405,848 US7492398B1 (en) | 1998-09-29 | 1999-09-27 | Three-dimensional input apparatus and image sensing control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP27463998A JP3861475B2 (ja) | 1998-09-29 | 1998-09-29 | 3次元入力装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000105111A true JP2000105111A (ja) | 2000-04-11 |
JP3861475B2 JP3861475B2 (ja) | 2006-12-20 |
Family
ID=17544515
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27463998A Expired - Fee Related JP3861475B2 (ja) | 1998-09-29 | 1998-09-29 | 3次元入力装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3861475B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7362419B2 (en) | 2004-09-17 | 2008-04-22 | Matsushita Electric Works, Ltd. | Range image sensor |
US7643159B2 (en) | 2006-07-25 | 2010-01-05 | Konica Minolta Sensing, Inc. | Three-dimensional shape measuring system, and three-dimensional shape measuring method |
JP2010014530A (ja) * | 2008-07-03 | 2010-01-21 | Omron Corp | 基板外観検査方法および基板外観検査装置 |
-
1998
- 1998-09-29 JP JP27463998A patent/JP3861475B2/ja not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7362419B2 (en) | 2004-09-17 | 2008-04-22 | Matsushita Electric Works, Ltd. | Range image sensor |
US7643159B2 (en) | 2006-07-25 | 2010-01-05 | Konica Minolta Sensing, Inc. | Three-dimensional shape measuring system, and three-dimensional shape measuring method |
JP2010014530A (ja) * | 2008-07-03 | 2010-01-21 | Omron Corp | 基板外観検査方法および基板外観検査装置 |
Also Published As
Publication number | Publication date |
---|---|
JP3861475B2 (ja) | 2006-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3873401B2 (ja) | 3次元計測システム | |
JP4111592B2 (ja) | 3次元入力装置 | |
JP4032603B2 (ja) | 3次元計測装置 | |
US7046838B1 (en) | Three-dimensional data input method and apparatus | |
JP4111166B2 (ja) | 3次元形状入力装置 | |
US6233049B1 (en) | Three-dimensional measurement apparatus | |
US6049385A (en) | Three dimensional measurement system and pickup apparatus | |
US6556307B1 (en) | Method and apparatus for inputting three-dimensional data | |
JP3493403B2 (ja) | 3次元計測装置 | |
JP3893169B2 (ja) | 3次元計測装置 | |
JP3235485B2 (ja) | 3次元計測のための分光装置 | |
JPH10124646A (ja) | 3次元計測装置 | |
JP2000283721A (ja) | 3次元入力装置 | |
JP4221808B2 (ja) | 3次元データ入力方法及び装置 | |
JPH11271030A (ja) | 3次元計測装置 | |
US6297881B1 (en) | Three-dimensional measurement method and three-dimensional measurement device | |
JPH07174538A (ja) | 画像入力カメラ | |
US7492398B1 (en) | Three-dimensional input apparatus and image sensing control method | |
JP3861475B2 (ja) | 3次元入力装置 | |
JP3360505B2 (ja) | 3次元計測方法及び装置 | |
JPH07174537A (ja) | 画像入力カメラ | |
JP3324367B2 (ja) | 3次元入力カメラ | |
JP3733625B2 (ja) | 3次元計測のための撮像装置 | |
JP3196614B2 (ja) | 3次元計測装置 | |
JP2000275024A (ja) | 3次元入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041012 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20041209 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041213 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20041213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051004 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051205 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060918 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091006 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101006 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111006 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121006 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131006 Year of fee payment: 7 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |