JP2014089081A - 計測装置及びその制御方法、プログラム - Google Patents

計測装置及びその制御方法、プログラム Download PDF

Info

Publication number
JP2014089081A
JP2014089081A JP2012238357A JP2012238357A JP2014089081A JP 2014089081 A JP2014089081 A JP 2014089081A JP 2012238357 A JP2012238357 A JP 2012238357A JP 2012238357 A JP2012238357 A JP 2012238357A JP 2014089081 A JP2014089081 A JP 2014089081A
Authority
JP
Japan
Prior art keywords
light
measurement object
region
measurement
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012238357A
Other languages
English (en)
Other versions
JP2014089081A5 (ja
JP6061616B2 (ja
Inventor
Kazuyuki Ota
和之 太田
Hiroshi Yoshikawa
博志 吉川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012238357A priority Critical patent/JP6061616B2/ja
Priority to US14/049,615 priority patent/US20140118539A1/en
Publication of JP2014089081A publication Critical patent/JP2014089081A/ja
Publication of JP2014089081A5 publication Critical patent/JP2014089081A5/ja
Application granted granted Critical
Publication of JP6061616B2 publication Critical patent/JP6061616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors

Abstract

【課題】 投影側の工夫のみで外乱光を除去することが可能で、高精度な距離計測を低コストで行う。
【解決手段】 光投影部で光を投影しない領域である暗領域を設定する。設定された暗領域から、測定対象物に投影される外乱光を推定する。推定された外乱光に基づいて、前記撮像画像を補正する。補正された撮像画像から、測定対象物の距離計測を行う。
【選択図】 図1

Description

本発明は、測定対象物にパターン光を投影し、パターン光が投影された測定対象物を撮像し、距離計測を行う技術に関するものである。
測定対象物にパターン光を投影し、パターン光が投影された測定対象物を撮像して距離計測を行う方法においては、外乱光がある時に問題になる。
距離計測を行う環境として外乱光が入らない暗室であれば問題ないが、暗室環境を構成するにはコストがかかる。実使用上では、完全に外乱光を排除する環境を構成することは難しい。そのため、距離計測を高精度に行うには外乱光を除去することが重要となる。
外乱光を除去する従来技術としては、被写体距離を計測するために投光部で投光された光を受光する受光部と、投光部で投光された光を受光されない位置に配置した別の受光部を有して、投光時の外乱光を取得して距離計測用の受光信号を補正するというものがある。(特許文献1)
他の従来技術としては、以下の方法がある。まず、パターン投影部と受光部にそれぞれ光遮蔽円盤を配置し、円盤の回転位相が同位相時に測定光を受光し、別位相時に外乱光を受光する。さらに、受光側に投影部と像面共役位置に配置された視野絞りによりパターン投影時の外乱光を受光し、距離計測の測定光から外乱光を除去するというものである。(特許文献2)
特許第3130559号公報 特開2009−47488号公報
従来の外乱光除去方法では、外乱光を計測するために受光側に専用の機構が必要であり、構成が複雑になり、コストがかかるといった問題がある。
本発明は上記課題に鑑みてなされたものであり、投影側の工夫のみで外乱光を除去することが可能で、高精度な距離計測を低コストで行うことができる計測装置及びその制御方法、プログラムを提供することを目的とする。
上記の目的を達成するための本発明による計測装置は以下の構成を備える。即ち、
測定対象物にパターン光を投影する光投影部と前記測定対象物を撮像する撮像部とを有し、前記光投影部によって前記パターン光を投影した前記測定対象物を前記撮像部が撮像することにより、前記測定対象物の距離計測を行う計測装置であって、
前記光投影部で光を投影しない領域である暗領域を設定する設定手段と、
前記設定手段で設定された暗領域から、前記測定対象物に投影される外乱光を推定する推定手段と、
前記推定手段で推定された外乱光に基づいて、前記撮像画像を補正する補正手段と、
前記補正手段によって補正された前記撮像画像から、前記測定対象物の距離計測を行う距離算出手段と
を有する。
本発明によれば、投影側の工夫のみで外乱光を除去することが可能で、高精度な距離計測を低コストで行うことができる。
実施形態1の距離計測装置の構成を示す図である。 実施形態1の相補パターン投影法を説明する図である。 実施形態1の相補パターン投影法の交点座標を求める部分説明するための模式図である。 実施形態1の距離計測装置の処理の流れを示すフローチャートである。 実施形態1の暗領域を設定する方法を説明するための模式図である。 実施形態1の外乱光除去画像の作成方法を説明するための模式図である。 実施形態1の距離計測装置の処理の流れを示すフローチャートである。 実施形態1の位相シフト法の説明図である。 実施形態2の暗領域を設定する方法を説明するための模式図である。 実施形態3の暗領域を設定する方法を説明するための模式図である。 実施形態1乃至3における暗領域を設定する方法の具体例を説明するための模式図である。
以下、本発明の実施の形態について図面を用いて詳細に説明する。
<実施形態1>
以下、本発明の外乱光除去方法を使用した距離計測装置について実施形態1を示す。
図1は実施形態1の距離計測装置の構成を示す図である。
測定対象物100は、実施形態1における測定装置で測定される測定対象である。
光投影部101は、測定対象物100にパターン光を投影する。光投影部101は光源102、照明光学系103、表示素子104及び投影光学系105から構成される。光源102にはハロゲンランプ、LED等の各種の発光素子を用いることができる。照明光学系103は光源102から出射した光を表示素子104へと導く機能を有する。表示素子104には、透過型LCDや反射型のLCOS・DMD等が用いられる。表示素子104は、照明光学系103からの光を投影光学系105に導く際に、透過率または反射率を空間的に制御する機能を有する。投影光学系105は表示素子104を測定対象物100の特定位置に結像させるように構成されている。
尚、実施形態1では、表示素子104と投影光学系105から成る投影装置の構成を示しているが、スポット光と2次元走査光学系からなる投影装置を用いることも可能である。
撮像部106は、測定対象物100を撮像する。撮像部106は撮像光学系107及び撮像素子108から構成され、撮像素子108には、CMOSセンサ、CCDセンサ等の各種光電変換素子が用いられる。
パターン設定部109は、光投影部101で測定対象物100に投影するパターンを設定する。パターン設定部109では、距離計測中の外乱光を算出するために光投影部101で光を投影しない暗領域を設定することができる。暗領域は表示素子104で通す光を制御することにより実現できる。暗領域を設定する具体的な方法については、後述する。
画像記憶部110は、撮像部106で撮像した画像を記憶し、画像を複数枚記憶するだけの充分な容量がある。
外乱光推定部111は、画像記憶部110で記憶した画像からパターン設定部109で設定された暗領域の画像輝度から、計測中に測定対象物100に投影される外乱光を推定する。外乱光を推定する具体的な方法については、後述する。
補正部112は、外乱光推定部111で推定された計測中に測定対象物100に投影される外乱光を取り除く(除去する)補正を行うための補正情報を生成する。尚、外乱光を取り除く方法としては、処理対象の画像に実際に投影されている外乱光を取り除く補正を行う方法や、距離計測に影響を与える外乱光の輝度情報そのものを補正する方法が考えられる。外乱光を取り除く具体的な方法については、後述する。
距離算出部113は、補正部112による補正結果(補正情報)から測定対象物100の距離を算出する。
出力部114は、距離算出部113による算出結果である距離情報を出力する。また、画像記憶部110で記憶した画像も出力する。出力部114は、算出結果である距離情報や画像を表示するためのモニタ、プリンタ等を有する。
記録部115は、距離算出部113による算出結果である距離情報を記録する。記録部115は、算出結果の距離情報等の各種データを記録するためのハードディスク、フラッシュメモリ等を備える。
記憶部116は、パターン設定部109により設定された暗領域の情報や、距離算出部113により算出された距離情報等を記憶する。また、記憶部116は、制御部117による制御情報等も記憶する。
制御部117は、光投影部101、撮像部106、パターン設定部109、出力部114、記録部115及び記憶部116の動作を制御する。制御部117は、CPU、RAM、各種制御プログラムが格納されたROM等を備える。ROMに格納された各種プログラムは、光投影部101が投影するパターン光を制御するための制御プログラム、撮像部106を制御するための制御プログラム、パターン設定部109を制御するための制御プログラム等が含まれる。また、各種プログラムには、出力部114を制御するための制御プログラム、記録部115を制御するための制御プログラム等が含まれても良い。
次に、外乱光が計測用のパターン光に載った場合の問題点について説明する。図2は空間符号化法における相補パターン投影法を説明するための模式図である。まず、空間符号化法について説明する。空間符号化法は複数本のライン光から成るパターン光を測定対象物に投影し、空間内を時間方向の符号化を用いてライン番号を識別する方法である。事前にパターン光の出斜角と撮像素子への入射角との対応関係をキャリブレーションしておき、三角測量の原理から距離計測を行う。複数本のライン光のライン番号は、例えば、グレイコード法等を用いて識別する。図2(a)はグレイコード法のパターンを表す図であり、左から1bit、2bit及び3bitのグレイコードパターンを表している。4bit以降のグレイコードパターンについては省略する。
空間符号化法では、図2(a)のグレイコードパターンを順番に測定対象物に投影しながら画像撮像を行う。そして、撮像画像から各ビットでバイナリ値を算出する。具体的には、各ビットで撮像画像の画像輝度が閾値以上である場合、その領域のバイナリ値を1とする。一方、撮像画像の画像輝度が閾値未満である場合、その領域のバイナリ値を0とする。各ビットでのバイナリ値を順に並べ、その領域のグレイコードとする。そして、グレイコードを空間コードに変換し、距離計測を行う。
閾値の決定方法としては、例えば、相補パターン投影法が用いられる。図2(a)のグレイコードパターン(ポジパターンと呼ぶ)に対し、白黒が反転している図2(b)のネガパターンを測定対象物に投影し、画像撮像を行う。そして、ネガパターンの画像輝度値を閾値とする手法である。
通常、空間符号化法では最下位ビットの幅の分だけ位置の曖昧さを有する。しかし、バイナリ値が0から1、あるいは、バイナリ値が1から0に切り替わる境界位置を撮像画像上で検出することで、ビット幅よりも曖昧さを低下させることができ、距離計測精度は高まる。
図2(c)はバイナリ値が切り替わる境界位置における輝度変化を表す図である。理想的には輝度の立ち上がり、立ち下がりはインパルス的に起こるが、パターン光のボケや被写体(測定対象物)の反射率等の影響により、なだらかな直線または曲線を描く。従って、バイナリ値が切り替わる位置に当たるポジパターンとネガパターンの交点位置xcを精度良く求めることが重要となる。
図3は、外乱光がない場合と一様な外乱光があると仮定した場合の、空間符号化法でポジパターン画像とネガパターン画像の交点座標を求める部分を説明するための模式図である。図3では、外乱光がない場合のポジパターンの輝度変化とネガパターンの輝度変化を実線で表し、外乱光がある場合のポジパターンの輝度変化とネガパターンの輝度変化を点線で表している。
外乱光がない場合には、ポジパターンとネガパターンとの交点は、点xciの位置となる。一方、外乱光がある場合には、ポジパターンの輝度が上がり、ネガパターンの輝度も上がるが、ポジパターンの撮像時とネガパターンの撮像時は同じ時間ではないため、外乱光の量が同じとは限らない。そのため、ポジパターンとネガパターンとの交点は、点xcrの位置となり、外乱光がない場合と比べ交点位置がずれてしまう。つまり、外乱光が距離計測精度を悪化させる要因となる。
ここでは、特に、空間符号化を例にして説明しているが、これに限らず、距離計測装置においては、一般的に、計測を行うために所望の光量のパターン光を測定対象物に投影する。このような状況において、パターン光に外乱光が加わって所望の光量以上の光が測定対象物に投影され撮像された画像(撮像画像)に映っていることは、距離計測装置として問題となる。つまり、空間符号化法に限らず、パターン光を投影する方法全般について距離計測精度を悪化させるといえる。
次に、本発明における距離計測装置の処理の流れについて、図4を用いて説明する。
距離計測装置の動作が開始されると、パターン設定部109により暗領域が設定される(ステップS401)。暗領域の設定方法としては、例えば、図5のように、光投影部101の表示素子104から縞パターン光が投影されている際に、表示素子104上で縞パターン光を投影しない領域を生成する。これにより、計測面503上で、撮像画像中の測定対象物100が存在している領域を避けて撮像素子108に対する計測面503上に暗領域505が設定される。暗領域の位置は、測定対象物100を避けた領域を手動で設定してもよいし、距離計測装置が測定対象物100を自動で認識し、設定してもよい。
暗領域の設定方法について説明する。手動で設定する場合は、例えば、測定対象物を撮像して出力部114に出力された撮像画像を基に、暗領域を指定する。暗領域の指定の仕方としては、例えば、出力部114がタッチパネルの機能を持っていて、出力された撮像画像上で指もしくは指示部材で矩形領域を指定する。暗領域の他の指定の仕方としては、例えば、出力部114に出力された撮像画像を指もしくは指示部材で指定すると、指定した位置の座標値が出力され、これを矩形状の領域になるように4点指定することにより、4つの出力された座標値で暗領域が決定される。
自動で設定する場合は、測定対象物を認識した結果に基づいて、暗領域を指定する。暗領域を自動で設定する一例について説明する。最初に、測定対象物の存在を認識する。認識する方法としては、計測面を撮像した撮像画像内に測定対象物がない状態の時に画像を撮像しておき、測定対象物が置かれた時との画像差分を取って認識する。測定対象物を認識する他の方法としては、事前に測定対象物を様々な位置や姿勢で撮像した画像を基に、撮像画像上での測定対象物の二次元的な見え方を予め学習して辞書を作成しておく。そして、その辞書と暗領域を設定する際に撮像した画像とを照合して測定対象物を認識する。後者の認識手法の場合は、測定対象物の面内回転方向の角度や奥行回転方向の角度等の情報を辞書に併せて作成しておくことにより、撮像画像から測定対象物の大体の姿勢が判る。
このことから、測定対象物に、仮に、平面部分があるとすると、平面部分が向いている方向が判る。例えば、図11(a)のように、外乱光の主要因となる外乱光源1102の位置が概ね判っているとすると、外乱光1103の投影する方向が決まる。その外乱光1103が平面部分に投影されると、計測面1101において、測定対象物100の周辺に二次的な反射光が映り込む領域(二次反射領域1104)が発生することがある。この二次反射領域1104は、外乱光源1102の投影方向と撮像部106から見た測定対象物100の平面の向いている方向とから判断できる。以上より、図11(b)のように、二次反射領域1104を推定して、暗領域と設定することが適切でない領域(NG暗領域1105)を判定することにより、暗領域と設定することが適切である領域(OK暗領域1106)を自動的に設定することが可能となる。外乱光の投影する方向が決まらない場合は、例えば、検出した平面部分を基に二次反射領域として影響があると考えられる領域を広くとり対応することが可能である。
尚、図11における暗領域の手動/自動設定は、後述する実施形態2及び3の構成についても適用できる。また、暗領域の形状は、矩形状に限定されるものではなく、用途や目的に応じて任意の形状を使用することができる。
暗領域が設定されると、次に、光投影部101により、距離計測を行うための計測用のパターン光を測定対象物100に投影する(ステップS402)。
パターン光が投影されると、次に、撮像部106により、測定対象物100を含む撮像領域を撮像する(ステップS403)。
測定対象物100を含む撮像領域が撮像されると、次に、外乱光推定部111により、撮像画像内(撮像領域内)の暗領域の画像輝度を測定する(ステップS404)。
暗領域の画像輝度が測定されると、次に、制御部117により、計測用のパターン光を投影して距離計測を行うために必要な枚数を撮像したか否か判定する。距離計測を行うために必要な枚数を撮像したと判定した場合(ステップS405でYES)、ステップS406に進む。一方、距離計測を行うために必要な枚数を撮像していないと判定した場合(ステップS405でNO)、ステップS402に戻り、光投影部101により、次の計測用のパターン光を投影する(ステップS405)。
距離計測を行うために必要な枚数が撮像されると、次に、補正部112により、撮像画像から外乱光を除去した画像(以降、外乱光除去画像)を作成する(ステップS406)。外乱光除去画像は、外乱光の分布が均一と仮定した場合、計測用のパターン光を投影して撮像した画像の輝度から暗領域の画像輝度を引いた値を使用して作成する。以下で、図6を用いて具体的な作成方法の一例について説明する。
計測用のパターン光を投影して撮像した画像の内、暗領域の範囲のx座標をxd1〜xdi、暗領域の範囲のy座標をyd1〜ydjとする。計測用のパターン光を投影して撮像した画像の内、計測用のパターン光が投影されている領域の範囲のx座標をxm1〜xmk、計測用のパターン光が投影されている領域の範囲のy座標をym1〜ymnとする。但し、計測用のパターン光が投影されている領域の範囲の座標と暗領域の範囲の座標は重なっていないものとする。また、計測用のパターン光が投影されている領域の各画素の輝度をIm(x,y)とする。暗領域の各画素の輝度をId(x,y)とする。
暗領域には、計測用のパターン光が投影されていないため、暗領域の画素の輝度は外乱光のみの影響を受けた画素の輝度となる。例えば、暗領域のすべての画素の輝度の平均値を外乱光のみの影響を受けた画素の輝度の代表値Idaveとすると、
となる。そして、外乱光除去画像の各画素の輝度Ir(x,y)は、
r(x,y)=Im(x,y)−Idave・・・(2)
となる。以上より、外乱光除去画像が作成される。
外乱光除去画像が作成されると、次に、制御部117により、すべての計測用のパターン光を投影して撮像した画像から、外乱光除去画像を作成したか否か判定する(ステップS407)。すべての計測用のパターン光を投影して撮像した画像から、外乱光除去画像を作成したと判定した場合(ステップS407でYES)、ステップS408に進む。一方、すべての計測用のパターン光を投影して撮像した画像から、外乱光除去画像を作成していないと判定した場合(ステップS407でNO)、ステップS406に戻り、次の外乱光除去画像を作成する。
すべての計測用のパターン光を投影して撮像した画像から、外乱光除去画像が作成されると、次に、距離算出部113により、外乱光除去画像を用いて距離計測処理を行う(ステップS408)。
このように、暗領域を設定することにより、計測領域以外を有効に活用し、計測するタイミングと同時間での外乱光を計測することができる。
以上の処理は、計測用のパターン光を投影するタイミングと外乱光を計測するタイミングを同時間に合わせる方法であるが、計測用のパターン光を投影する領域と外乱光を計測する暗領域との領域の違いがある。
次に、計測用のパターン光を投影するタイミングと外乱光を計測するタイミングは異なるが、計測用のパターン光を投影する領域と外乱光を計測する暗領域との領域の違いを考慮し、外乱光の時間方向の変化量を基に外乱光を除去する方法について説明する。
距離計測装置の構成図は図1と同様なので省略する。図7に処理の流れを示す。ステップS701〜ステップS705はそれぞれ、図4のステップS401〜ステップS405に対応するため、その詳細説明は省略する。ステップS705で計測用のパターン光を投影して、距離計測を行うのに必要な枚数が撮像されると、光投影部101を全消灯させる(ステップS706)。
光投影部101が全消灯されると、次に、撮像部106により、測定対象物100を含む撮像領域を撮像する(ステップS707)。
測定対象物100を含む撮像領域が撮像されると、次に、外乱光推定部111により、暗領域の画像輝度を測定する(ステップS708)。
暗領域の画像輝度が測定されると、次に、補正部112により、撮像画像から外乱光除去画像を作成する(ステップS709)。この手法の場合、外乱光除去画像は、計測用のパターン光を投影して撮像した画像と全消灯で撮像した画像を使用して作成する。以下で、具体的な作成方法の一例について説明する。まず、計測用パターン光を投影する領域と暗領域は図6と同じであり、また、計測用のパターン光が投影されている領域の各画素の輝度と暗領域の各画素の輝度も図6と同じであるため説明を省略する。
ここで、全消灯で撮像した画像で計測領域の各画素の輝度をImb(x,y)とする。また、全消灯で撮像した画像で暗領域の各画素の輝度をIdb(x,y)とする。そして、全消灯で撮像した画像で、例えば、暗領域のすべての画素の輝度の平均値を外乱光のみの影響を受けた画素の輝度の代表値Idbaveとすると、
となる。そして、外乱光除去画像の各画素の輝度Ir(x,y)は、
r(x,y)=Im(x,y)−Imb(x,y)×Idave/Idbave・・・(4)
となる。尚、Idaveは式(1)で算出された値と同じである。以上より、外乱光除去画像が作成される。
以下、ステップS710及びステップS711はそれぞれ、図4のステップS407及びステップS408と同様なので説明を省略する。
このように、外乱光の時間方向の変化量を基に、計測用のパターン光を投影する領域と外乱光を計測する暗領域との領域の違いを考慮した計測領域の外乱光を推定することができる。
また、以上の例では、外乱光除去画像を作成しているが、外乱光除去画像を作成せずに、計測用のパターン光から外乱光を除去した輝度情報から距離計測処理を行ってもよい。より具体的には、撮像画像Aの距離が必要な部分の輝度情報(撮像画像A中の一部である部分画像)を直接補正して、撮像画像A1とする。つまり、撮像画像Aを撮像画像A1にする。
また、以上の例では全消灯で一枚撮像して外乱光を除去しているが、全消灯で複数枚撮像して外乱光を除去した輝度情報を得るようにしてもよい。特に、外乱光に周期性がある場合には、複数枚の撮像画像から周期性成分を算出することができるので、そのような場合には、複数枚撮像することは有効である。
また、以上の例では、空間符号化法を使う場合について説明しているが、パターン光投影を伴う他の距離計測手法に適用してもよい。
図8は位相シフト法についての説明図である。図8(a)は投影するパターンのタイミングを表し、図8(b)は撮像するタイミングでの撮像画像の輝度値を表し、外乱光がない場合の輝度変化を実線で表し、外乱光がある場合の輝度変化を点線で表している。位相シフト法では、明度が正弦波状に変化する縞パターン光を測定対象物100に投影し、縞パターン光の位相をπ/2ずつ、ずらして撮像部106で撮像する。これを、位相が2πになるまで計4枚撮像する。4枚の画像上の同じ位置での輝度をA0、B0、C0、Dとすると、その位置でのパターンの位相αは、
で表される。この位相を基に三角測量の原理により距離計測するが、撮像するタイミングに外乱光があると、図8(b)の点線で表したように4枚の画像上の同じ位置での輝度がそれぞれA1、B1、C1、D1のように変化してしまう。そのため、算出する位相が変化し距離計測結果に誤差が生じる。従って、外乱光を除去することにより高精度に距離計測を行うことが可能となる。
光切断法やマルチラインシフト法でも同様にパターン光を投影して異なるタイミングで撮像を行うため、外乱光があると距離計測結果に誤差が生じる。そのため、外乱光を除去することにより高精度に距離計測を行うことが可能となる。
以上説明したように、実施形態1によれば、計測領域外にパターン光を投影しない暗領域を設定し、その暗領域の画像輝度を基に外乱光を除去し、距離計測する。これにより、受光側に外乱光を計測する構成を設けることなく、外乱光を計測することが可能となり、距離計測の精度向上が図れる。また、暗領域を手動/自動で適切な位置に設定することができるので、より高精度な距離計測を行うことが可能となる。
<実施形態2>
(パターン光の外側を使用して暗領域を設定)
本発明の外乱光除去方法を使用した距離計測装置について実施形態2を示す。
距離計測装置の構成図は実施形態1と同様のため省略する。実施形態1では、図5のように、暗領域を光投影部101でパターン光を投影する際に表示素子104上で投影しない領域を生成して暗領域を設定している。これに対して、実施形態2では、撮像部106の撮像素子108で撮像される領域と光投影部101の表示素子104が投影する領域との一部が重なるように配置し、投影する領域外でかつ撮像する領域内に暗領域を設定する。
図9は暗領域の設定方法の一例を表す図である。図9(a)では撮像部106の撮像素子108で撮像される領域と、光投影部101の表示素子104が投影する領域とが重なる計測面903aの上部の領域を暗領域905aと設定する例である。暗領域905aにはパターン光が投影されないため、常に外乱光を計測することができる領域である。
図9(b)ではパターン光が投影される領域を取り囲むように暗領域905bを設定する例である。この例では、暗領域905aの時に比べ暗領域の面積が大きくなるため、処理時間は多くなるが、計測領域の外乱光をより推定しやすくなる。
処理の流れは実施形態1と同様であるため省略する。
以上説明したように、実施形態2によれば、実施形態1で説明した効果に加えて、表示素子上で投影しない領域を生成する制御を行うことなく暗領域を設定することができる。
<実施形態3>
(複数の暗領域を使用する)
本発明の外乱光除去方法を使用した距離計測装置について実施形態3を示す。
距離計測装置の構成図は実施形態1と同様のため省略する。実施形態1及び実施形態2では暗領域を一ヶ所に設定している。これに対して、実施形態3では、図10のように、撮像部106の撮像素子108で撮像される領域内に複数の暗領域を設定する。つまり、暗領域を複数使用する。処理の流れは実施形態1と同様であるが、外乱光除去画像を作成する方法が異なるため、以下で説明する。
図10で示すように、暗領域が4つ存在する場合について説明する。ここで、暗領域1005a、1005b、1005c及び1005dのすべての画素の輝度の平均値をそれぞれIdaave、Idbave、Idcave及びIddaveとする。計測用のパターン光が投影されている領域の各画素と各暗領域の重心との距離をそれぞれDma(x,y)、Dmb(x,y)、Dmc(x,y)及びDmd(x,y)とする。また、計測用のパターン光が投影されている領域の各画素と各暗領域の重心との距離の総和をDmall(x,y)とする。計測用のパターン光が投影されている領域の各画素の輝度をIm(x,y)とする。例えば、計測用のパターン光が投影されている領域の各画素と各暗領域の重心との距離に応じて、暗領域のすべての画素の輝度の平均値を傾斜配分すると、外乱光除去画像の各画素の輝度Ir(x,y)は、
r(x,y)=Im(x,y)−
((Idaave×Dma(x,y)/Dmall(x,y))
+(Idbave×Dmb(x,y)/Dmall(x,y))
+(Idcave×Dmc(x,y)/Dmall(x,y))
+(Iddave×Dmd(x,y)/Dmall(x,y)))・・・(6)
となる。以上より、外乱光除去画像が作成される。
このように、複数の暗領域を使用して、計測領域の外乱光を推定することができる。
また、外乱光除去画像の各画素の輝度の求め方は、この方法に限定されず複数の暗領域を使用する方法であれば他の方法でもよい。
以上説明したように、実施形態3によれば、実施形態1で説明した効果に加えて、複数の暗領域を設定することができるので、測定対象物が比較的小さい場合等の計測環境に即したより適切な暗領域を設定することが可能となる。これにより、高精度な距離計測を行うことが可能となる。
<実施形態4>
実施形態1乃至3を任意に組み合わせた実施形態を実現することもできる。例えば、実施形態2の構成において、複数の暗領域を手動/自動で設定するようにしても良い。
尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (9)

  1. 測定対象物にパターン光を投影する光投影部と前記測定対象物を撮像する撮像部とを有し、前記光投影部によって前記パターン光を投影した前記測定対象物を前記撮像部が撮像することにより、前記測定対象物の距離計測を行う計測装置であって、
    前記光投影部で光を投影しない領域である暗領域を設定する設定手段と、
    前記設定手段で設定された暗領域から、前記測定対象物に投影される外乱光を推定する推定手段と、
    前記推定手段で推定された外乱光に基づいて、前記撮像画像を補正する補正手段と、
    前記補正手段によって補正された前記撮像画像から、前記測定対象物の距離計測を行う距離算出手段と
    を有することを特徴とする計測装置。
  2. 前記設定手段は、前記光投影部で前記測定対象物に投影するパターン光の一部に前記暗領域を設定する
    ことを特徴とする請求項1に記載の計測装置。
  3. 前記設定手段は、前記撮像手段が撮像する撮像領域の領域内で、かつ前記光投影部が投影するパターン光の領域外に、前記暗領域を設定する
    ことを特徴とする請求項1に記載の計測装置。
  4. 前記設定手段は、前記撮像画像内の前記測定対象物の周辺に二次的な反射光が映り込む領域を除く領域に前記暗領域を設定する
    ことを特徴とする請求項1乃至3のいずれか1項に記載の計測装置。
  5. 前記推定手段は、前記設定手段で設定される暗領域を使用して、前記撮像画像に含まれる外乱光を示す輝度情報を算出し、前記撮像画像中の前記測定対象物が存在する領域の外乱光を推定する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の計測装置。
  6. 前記推定手段は、前記設定手段で設定される暗領域を複数使用して、前記撮像画像に含まれる外乱光の分布を算出し、前記撮像画像中の前記測定対象物が存在する領域の外乱光を推定する
    ことを特徴とする請求項1乃至4のいずれか1項に記載の計測装置。
  7. 前記撮像手段が撮像した撮像画像から、前記測定対象物を認識する認識手段を更に有し、
    前記設定手段は、前記認識手段が認識した前記測定対象物の領域を除く領域に前記暗領域を設定する
    ことを特徴とする請求項1乃至6のいずれか1項に記載の計測装置。
  8. 測定対象物にパターン光を投影する光投影部と前記測定対象物を撮像する撮像部とを有し、前記光投影部によって前記パターン光を投影した前記測定対象物を前記撮像部が撮像することにより、前記測定対象物の距離計測を行う計測装置の制御方法であって、
    前記光投影部で光を投影しない領域である暗領域を設定する設定工程と、
    前記設定工程で設定された暗領域から、前記測定対象物に投影される外乱光を推定する推定工程と、
    前記推定工程で推定された外乱光に基づいて、前記撮像画像を補正する補正工程と、
    前記補正工程によって補正された前記撮像画像から、前記測定対象物の距離計測を行う距離算出工程と
    を有することを特徴とする計測装置の制御方法。
  9. 測定対象物にパターン光を投影する光投影部と前記測定対象物を撮像する撮像部とを有し、前記光投影部によって前記パターン光を投影した前記測定対象物を前記撮像部が撮像することにより、前記測定対象物の距離計測を行う計測装置の制御をコンピュータに機能させるためのプログラムであって、
    前記コンピュータを、
    前記光投影部で光を投影しない領域である暗領域を設定する設定手段と、
    前記設定手段で設定された暗領域、から、前記測定対象物に投影される外乱光を推定する推定手段と、
    前記推定手段で推定された外乱光に基づいて、前記撮像画像を補正する補正手段と、
    前記補正手段によって補正された前記撮像画像から、前記測定対象物の距離計測を行う距離算出手段と
    して機能させることを特徴とするプログラム。
JP2012238357A 2012-10-29 2012-10-29 測定装置及びその制御方法、プログラム Active JP6061616B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012238357A JP6061616B2 (ja) 2012-10-29 2012-10-29 測定装置及びその制御方法、プログラム
US14/049,615 US20140118539A1 (en) 2012-10-29 2013-10-09 Measurement apparatus and control method thereof, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012238357A JP6061616B2 (ja) 2012-10-29 2012-10-29 測定装置及びその制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2014089081A true JP2014089081A (ja) 2014-05-15
JP2014089081A5 JP2014089081A5 (ja) 2015-10-15
JP6061616B2 JP6061616B2 (ja) 2017-01-18

Family

ID=50546744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012238357A Active JP6061616B2 (ja) 2012-10-29 2012-10-29 測定装置及びその制御方法、プログラム

Country Status (2)

Country Link
US (1) US20140118539A1 (ja)
JP (1) JP6061616B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224035A (ja) * 2015-06-01 2016-12-28 キヤノン株式会社 計測装置、システム、物品の製造方法、算出方法及びプログラム
JP2018010601A (ja) * 2016-07-15 2018-01-18 セコム株式会社 画像処理装置
KR20210098375A (ko) * 2020-01-31 2021-08-10 주식회사 메디트 외부광 간섭 제거 방법
WO2022259640A1 (ja) * 2021-06-10 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 測距センサ、測距装置及び測距方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2869023B1 (en) 2013-10-30 2018-06-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method and corresponding computer program
JP6338421B2 (ja) 2014-03-31 2018-06-06 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、把持システムおよびプログラム
US9948920B2 (en) 2015-02-27 2018-04-17 Qualcomm Incorporated Systems and methods for error correction in structured light
US10068338B2 (en) * 2015-03-12 2018-09-04 Qualcomm Incorporated Active sensing spatial resolution improvement through multiple receivers and code reuse
EP3101383A1 (en) * 2015-06-01 2016-12-07 Canon Kabushiki Kaisha Shape measurement apparatus, shape calculation method, system, and method of manufacturing an article
US9846943B2 (en) 2015-08-31 2017-12-19 Qualcomm Incorporated Code domain power control for structured light
WO2018094307A1 (en) 2016-11-18 2018-05-24 Robert Bosch Start-Up Platform North America, Llc, Sensing system and method
US11209634B2 (en) 2017-11-17 2021-12-28 Robert Bosch Start-Up Platform North America, LLC, Series 1 Optical system
DE102018205191A1 (de) * 2018-04-06 2019-10-10 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Anordnung zum Erfassen von Koordinaten einer Objektoberfläche mittels Triangulation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275529A (ja) * 2005-03-28 2006-10-12 Citizen Watch Co Ltd 3次元形状測定方法及び測定装置
JP2009019884A (ja) * 2007-07-10 2009-01-29 Nikon Corp 3次元形状測定装置及び測定方法
JP2009031150A (ja) * 2007-07-27 2009-02-12 Omron Corp 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
JP2011226850A (ja) * 2010-04-16 2011-11-10 Ihi Corp 3次元形状測定装置、3次元形状測定付加装置および3次元形状測定方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6101287A (en) * 1998-05-27 2000-08-08 Intel Corporation Dark frame subtraction
US6859275B2 (en) * 1999-04-09 2005-02-22 Plain Sight Systems, Inc. System and method for encoded spatio-spectral information processing
US6751344B1 (en) * 1999-05-28 2004-06-15 Champion Orthotic Investments, Inc. Enhanced projector system for machine vision
US6975775B2 (en) * 2002-03-06 2005-12-13 Radiant Imaging, Inc. Stray light correction method for imaging light and color measurement system
US20040213463A1 (en) * 2003-04-22 2004-10-28 Morrison Rick Lee Multiplexed, spatially encoded illumination system for determining imaging and range estimation
DE102004053730B4 (de) * 2004-11-06 2014-04-03 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Unterdrückung von Falschlicht
TWI433052B (zh) * 2007-04-02 2014-04-01 Primesense Ltd 使用投影圖案之深度製圖
US8194233B2 (en) * 2008-04-11 2012-06-05 Microsoft Corporation Method and system to reduce stray light reflection error in time-of-flight sensor arrays
US8717474B2 (en) * 2009-12-04 2014-05-06 Canon Kabushiki Kaisha Imaging apparatus and method for driving the same
US9007602B2 (en) * 2010-10-12 2015-04-14 Canon Kabushiki Kaisha Three-dimensional measurement apparatus, three-dimensional measurement method, and computer-readable medium storing control program
US8811767B2 (en) * 2011-03-15 2014-08-19 Mitsubishi Electric Research Laboratories, Inc. Structured light for 3D shape reconstruction subject to global illumination
US8970693B1 (en) * 2011-12-15 2015-03-03 Rawles Llc Surface modeling with structured light

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006275529A (ja) * 2005-03-28 2006-10-12 Citizen Watch Co Ltd 3次元形状測定方法及び測定装置
JP2009019884A (ja) * 2007-07-10 2009-01-29 Nikon Corp 3次元形状測定装置及び測定方法
JP2009031150A (ja) * 2007-07-27 2009-02-12 Omron Corp 三次元形状計測装置、三次元形状計測方法、三次元形状計測プログラム、および記録媒体
JP2011226850A (ja) * 2010-04-16 2011-11-10 Ihi Corp 3次元形状測定装置、3次元形状測定付加装置および3次元形状測定方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016224035A (ja) * 2015-06-01 2016-12-28 キヤノン株式会社 計測装置、システム、物品の製造方法、算出方法及びプログラム
JP2018010601A (ja) * 2016-07-15 2018-01-18 セコム株式会社 画像処理装置
KR20210098375A (ko) * 2020-01-31 2021-08-10 주식회사 메디트 외부광 간섭 제거 방법
JP2021124507A (ja) * 2020-01-31 2021-08-30 メディット コーポレーション 外部光干渉除去方法
JP7231139B2 (ja) 2020-01-31 2023-03-01 メディット コーポレーション 外部光干渉除去方法
KR102521770B1 (ko) * 2020-01-31 2023-04-14 주식회사 메디트 외부광 간섭 제거 방법
US11826016B2 (en) 2020-01-31 2023-11-28 Medit Corp. External light interference removal method
WO2022259640A1 (ja) * 2021-06-10 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 測距センサ、測距装置及び測距方法

Also Published As

Publication number Publication date
US20140118539A1 (en) 2014-05-01
JP6061616B2 (ja) 2017-01-18

Similar Documents

Publication Publication Date Title
JP6061616B2 (ja) 測定装置及びその制御方法、プログラム
KR101461068B1 (ko) 삼차원 계측장치, 삼차원 계측방법 및 기억매체
JP5140761B2 (ja) 測定システムを較正する方法、コンピュータプログラム、電子制御装置、及び、測定システム
JP6548422B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6161276B2 (ja) 測定装置、測定方法、及びプログラム
JP6346427B2 (ja) 画像処理装置、画像処理方法
JP2009288235A (ja) 物体の姿勢を求める方法及び装置
JP2012037391A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US11640673B2 (en) Method and system for measuring an object by means of stereoscopy
US9659379B2 (en) Information processing system and information processing method
JP2012215394A (ja) 三次元計測装置および三次元計測方法
JP6351201B2 (ja) 距離計測装置および方法
JP2016075658A (ja) 情報処理システムおよび情報処理方法
JP4516949B2 (ja) 三次元形状計測装置及び三次元形状計測方法
US11638073B2 (en) Ranging device and ranging methhod
US9383221B2 (en) Measuring device, method, and computer program product
JP4379626B2 (ja) 3次元形状計測方法及びその装置
JP2004062757A5 (ja)
JP2020004085A (ja) 画像処理装置、画像処理方法及びプログラム
JP6567199B2 (ja) 距離計測装置、距離計測方法、及び距離計測プログラム
JP2020041822A (ja) 3次元計測システム、3次元計測カメラ、3次元計測方法及びプログラム
JP2016102755A (ja) 情報処理装置、情報処理方法及びプログラム
JP5968370B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム
KR20130041440A (ko) 영상 처리 장치 및 방법
WO2023084790A1 (ja) 3次元計測システム、並びにその制御方法及び制御プログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150826

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160801

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160926

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161213

R151 Written notification of patent or utility model registration

Ref document number: 6061616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151