JP2014115107A - 距離計測装置および方法 - Google Patents
距離計測装置および方法 Download PDFInfo
- Publication number
- JP2014115107A JP2014115107A JP2012267555A JP2012267555A JP2014115107A JP 2014115107 A JP2014115107 A JP 2014115107A JP 2012267555 A JP2012267555 A JP 2012267555A JP 2012267555 A JP2012267555 A JP 2012267555A JP 2014115107 A JP2014115107 A JP 2014115107A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- measurement
- distance
- projection
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
【解決手段】 対象物体にパターン光を投影する少なくとも一つの投影手段と、前記パターン光が投影された対象物体を撮像する少なくとも一つの撮像手段と、前記撮像手段で撮像される画像に基づいて、前記撮像手段で撮像される画像に基づいて、前記投影手段または前記撮像手段から前記計測対象物体までの距離を計測することが困難な計測困難領域を取得する取得手段と、前記撮像手段で撮像される画像に基づいて、前記投影手段または前記撮像手段からの前記計測対象物体までの距離を導出する導出手段と、前記導出される距離が有効であるかを判断する判断手段と、前記取得される計測困難領域に投影されるパターン光の輝度と、前記判断手段によって距離が有効であると判断される領域に投影されるパターン光の輝度を、消光または減光させる制御手段とを備える。
【選択図】 図1
Description
第1の実施形態では、計測対象物にパターン光を投影するパターン投影部(プロジェクタ)とパターン光が投影された計測対象物を撮影する撮像部(カメラ)を用いて、計測対象物の三次元計測を行う。第1の実施形態では、ある領域における距離計測値の判断手段として、2つの撮像部と1つの投影部を用いて三次元計測を行い、計測された領域の距離が有効か計測困難かあるいは無効かを判断する。ここで、距離計測値が有効であるとは、計測された距離値が多重反射や画像ノイズによる影響が小さく、基準としている撮像部または投影部から計測した領域までの距離値として許容できることを示す。計測困難とは、オクルージョンやサチュレーションにより正確な距離計測が困難であることを示す。無効とは、多重反射等の影響により、距離計測結果が正確でないことを示す。
多重反射光が発生しない、あるいは、発生しても影響が顕在化しない場合には、上述の三角測量法で計測対象物の距離計測を行うことができる。
ステップS1001では、投影部1から計測対象物4に対して計測用のパターン群を投影し、撮像部2Aおよび撮像部2Bによって計測対象物4を撮影する。各撮像部で撮影が完了すると、計測用の次のパターンが投影されて撮影する。計測用のパターン群が全て投影・撮影されるまで繰り返される。計測用のパターンは例えばグレイコードが挙げられるが、これに限られるものではない。撮影されたデータは画像取得部32に送られる。
ステップS1002では、投影部1からは計測対象物に投影されているが、撮像部2Aもしくは2Bから観察すると、計測対象物の一部が遮蔽されているオクルージョン領域(被遮蔽領域)を検出する。ステップS1001で、計測用のパターン群が投影・撮影され、投影部1の表示素子と撮像部2Aおよび2Bの撮像素子との対応が取れるため、オクルージョン領域を検出することができる。例えば、距離計測用のパターンが空間符号化法で用いられるコードである場合には、計測する空間が一意に符号化され、撮像部で撮影されないパターンが判るため検出することができる。
ステップS1003では、距離算出部33において、撮影画像に基づいて、上述した三角測量法を用いて、領域ごとに投影部1と撮像部2A、投影部1と撮像部2B、撮像部2Aと撮像部2Bの合計3つの距離計測結果が算出される。
ステップS1004では、判断部34において、3つの距離計測結果に基づいて、各領域における距離計測結果が有効であるかオクルージョン領域であるか無効であるかを判断する。各領域における3つの距離計測値が一致していれば、多重反射による影響などがなく、有効な距離計測結果であると判断することができる。光沢性が高い計測対象物の多重反射の影響は、観測する視点の方向において異なるため、異なる撮像部(異なる視点)で観測すれば、多重反射の影響の有無が判別できるためである。
ステップS1005では、繰り返し制御部35において、ステップS1004における判断結果に基づいて、投影パターンのうち、距離計測値が有効であると見なされた領域に対応する部分を、消光または減光するように投影パターン群を更新する。距離計測値が有効である領域に関しては、所望の距離計測値が得られているため、以降の繰り返し処理の中では処理を行う必要はない。そしてその領域を照らしている光を消光または減光することによって、その領域で反射した光が計測対象物内の他の面を照らす多重反射の原因となっていた場合には、次の繰り返し処理で更新した投影パターンを投影することで、その多重反射の影響を取り除くことができる。
ステップS1006では、判断結果に基づいて、投影パターンのうち、ステップS1002で検出された、投影部1からは計測対象物に投影されているが撮像部2Aもしくは2Bからは計測対象物が隠れているオクルージョン領域に対応するパターン光のパターンの領域を、消光または減光するように投影パターン群を更新する。
ステップS1001〜ステップS1006までの工程を1回実行した後、ステップS1007では、繰り返し制御部35において、終了条件を満たすかどうかを判定し、満たす場合はステップS1008へ進む。
ステップS1008では、距離計測結果の統合を行う。繰り返し処理を行っている間、新たに有効であると見なされた領域における距離計測値が得られるので、その値を保持しておく。一度有効であると見なされた領域は、その距離計測値を保持して対応付けられた後、繰り返しの間に処理が行われることはない。
ステップS1102では、ステップS1101において撮像した画像からサチュレーション領域を検出する。サチュレーション領域の検出は、撮像画像の画素が表現できる階調の上限値に達しているかどうかで行われる。例えば、8bit画像であれば256階調で表現できるので輝度値が256に達しているところを検出すればよい。
ステップS1106では、投影パターンのうち、ステップS1102で検出された撮像画像のサチュレーション領域に対応する部分を、消光または減光するように投影パターン群を更新する。
第2の実施形態では、投影部2つと撮像部1つを用いて三次元計測を行い、計測された領域の距離が有効か無効かあるいは判別不能かを判断する。
第2の実施形態におけるステップS1001では投影部1Aおよび1Bから計測対象物4に対して計測用のパターン群を投影し、撮像部2によって計測対象物4を撮影する。この時、投影部1Aと1Bがそれぞれ投影したパターンを撮像部で混同しないように、1つずつ順番に投影を行い撮像する。ただし、これに限らず、パターンを混同しないように、光源の多重化を行い、例えば投影部1Aと1Bから投影するパターン光を別の色にするなどしてもよい。
第2の実施形態におけるステップS1002では投影部で投影しても撮像部で測定対象物を撮像した時に投影パターンが測定対象物に当たらない領域を検出する。図13を用いて説明する。まず、投影部1Bで全点灯し撮像部2で撮像する。次に、投影部1Bで全消灯し撮像部2で撮像する。2枚の画像を比較すると、遮蔽物5で隠れて投影部1Bから光が当たらない投影不可能領域Oc1’の計測点m1’では、輝度値の変化がなく全消灯時の輝度値と全点灯時の輝度値が同じとなる。このような領域を検出することによりオクルージョン領域を検出可能となる。ただし、オクルージョン領域を検出する方法については、この方法に限られるものではなく、他の方法で検出してもよい。
第3の実施形態では、1回目のパターン更新時には、投影部からは計測対象物に投影されているが、撮像部からは計測対象物が隠れている領域に対応する部分を、消光または減光し、2回目以降のパターン更新時には、当該部分の消光または減光を止めてパターンを点灯または増光する。つまり、第3の実施形態では、オクルージョン領域やサチュレーション領域のような計測困難領域に対応するパターン光のパターンの領域を一時的に消光または減光する。距離計測装置の構成は第1の実施形態で説明した図1と同様であるため省略する。
ステップS1501〜ステップS1505の処理は第1の実施形態の図10とほぼ同じように行うことができるため、説明を省略する。
ステップS1506では、投影パターンの更新が1回目かどうかを判定し、1回目の場合はステップS1507に進み、1回目ではない場合はステップS1508に進む。
ステップS1507の処理は、第1の実施形態の図10のステップS1006とほぼ同じように行うことができるため、説明を省略する。
ステップS1508では、ステップS1507において消光または減光した領域のパターン光を点灯または増光する。
ステップS1509およびステップS1510の処理は、第1の実施形態の図10のステップS1007およびステップS1008とほぼ同じように行うことができるため、説明を省略する。
第4の実施形態では、判断手段として、撮像画像から、計測信頼度を算出し、計測信頼度が第一の閾値以上である領域に対応するパターン光のパターンの領域を、消光または減光する判断を行う。また計測信頼度が第二の閾値以下である領域に対応する部分を、消光または減光する判断を行う。
ステップS1601の処理は第1の実施形態の図10とほぼ同じように行うことができるため、説明を省略する。
ステップS1602では、撮像画像を用いて、距離計測の信頼度を算出する。距離計測の信頼度とは距離計測の精度を決める要因を基に算出される数値である。本実施形態では、実際に距離算出を行わずに、以下のように、撮像画像の輝度値を用いて、信頼度を算出洲する。
ステップS1603〜ステップS1605の処理は、第1の実施形態の図10とほぼ同じように行うことができるため、説明を省略する。(ステップS1606)
ステップS1606では、投影パターンのうち、ステップS1604で算出された距離計測の信頼度が第一の閾値以上である領域に対応する部分を、消光または減光するように投影パターン群を更新する。また、距離計測の信頼度が第二の閾値以下である領域に対応する部分を、消光または減光するように投影パターン群を更新する。
ステップS1607およびステップS1608の処理は、第1の実施形態の図10とほぼ同じように行うことができるため、説明を省略する。
Claims (13)
- 対象物体にパターン光を投影する少なくとも一つの投影手段と、
前記パターン光が投影された対象物体を撮像する少なくとも一つの撮像手段と、
前記撮像手段で撮像される画像に基づいて、前記投影手段または前記撮像手段から前記計測対象物体までの距離を計測することが困難な計測困難領域を取得する取得手段と、
前記撮像手段で撮像される画像に基づいて、前記投影手段または前記撮像手段からの前記計測対象物体までの距離を導出する導出手段と、
前記導出される距離が有効であるかを判断する判断手段と、
前記投影されるパターン光のうち、前記取得される計測困難領域に投影されるパターン光の輝度と、前記判断手段によって距離が有効であると判断される領域に投影されるパターン光の輝度とを、消光または減光させる制御手段とを備えることを特徴とする距離計測装置。 - 前記計測困難領域は、前記撮像手段または前記投影手段から前記計測対象物体を観察した場合に前記計測対象物体が遮蔽される、オクルージョン領域、または、前記撮像される画像における輝度値が飽和しているサチュレーション領域のうち、少なくともいずれか一方であることを特徴とする請求項1に記載の距離計測装置。
- 前記取得手段は、前記撮像手段で撮像された画像に基づいて、前記導出手段で導出される距離に対する信頼度を取得し、該信頼度に基づいて、前記計測困難領域を取得することを特徴とする請求項1または2に記載の距離計測装置。
- 前記投影手段と前記撮像手段とのうち、いずれかまたは両方を複数備え、
前記導出手段は、前記投影手段と前記撮像手段とのうち、いずれかまたは両方を複数用いて撮像した画像ごとに、前記投影手段または前記撮像手段から、前記計測対象物体までの距離を導出し、
前記判断手段は、前記計測された複数の距離が一致しているかどうかに基づいて、前記計測された距離が有効であるかを判断することを特徴とする請求項2に記載の距離計測装置。
ことを特徴とする請求項1乃至3のいずれか1項に記載の距離計測装置。 - 更に、請求項1に記載の各手段による処理を1回実行した後に、予め定められた終了判定条件を満たすかどうかを判定する終了判定手段を備え、前記終了判定手段によって終了判定条件を満たさないと判定された場合に、前記投影手段、前記撮像手段、前記取得手段、前記導出手段、前記判断手段、前記制御手段、の一連の処理を少なくとも1回繰り返して実行することを特徴とする請求項1乃至4のいずれか1項に記載の距離計測装置。
- 前記制御手段は、前記投影手段、前記撮像手段、前記取得手段、前記導出手段、前記判断手段、前記制御手段、の一連の処理を複数回繰り返して実行する場合に、前記投影されるパターン光のうち、前記取得される計測困難領域に投影されるパターン光の輝度と、前記判断手段によって距離が有効であると判断される領域に投影されるパターン光の輝度とを、一時的に消光または減光させることを特徴とする請求項5に記載の距離計測装置。
- 前記終了判定手段は、前記投影手段、前記撮像手段、前記取得手段、前記計測手段、前記判断手段、前記制御手段、により行われる一連の処理の繰り返し回数に基づいて、判定を行うことを特徴とする請求項5または6に記載の距離計測装置。
- 前記終了判定手段は、前記投影手段、前記撮像手段、前記取得手段、前記計測手段、前記判断手段、前記制御手段、により行われる一連の処理に要する時間に基づいて、判定を行うことを特徴とする請求項5または6に記載の距離計測装置。
- 前記終了判定手段は、前記投影手段、前記撮像手段、前記取得手段、前記計測手段、前記判断手段、前記制御手段、により行われる処理の結果に基づいて、判定を行うことを特徴とする請求項5または6に記載の距離計測装置。
- 前記終了判定手段は、前記投影手段、前記撮像手段、前記取得手段、前記計測手段、前記判断手段、前記制御手段、により行われた過去の計測結果と、今回の計測結果とに基づいて、判定を行うことを特徴とする請求項5または6に記載の距離計測装置。
- 投影手段が、対象物体にパターン光を投影する投影工程と、
撮像手段が、前記パターン光が投影された対象物体を撮像する撮像工程と、
取得手段が、前記撮像手段で撮像される画像に基づいて、前記投影手段または前記撮像手段から前記計測対象物体までの距離を計測することが困難な計測困難領域を取得する取得工程と、
導出手段が、前記撮像手段で撮像される画像に基づいて、前記投影手段または前記撮像手段からの前記計測対象物体までの距離を導出する導出工程と、
判断手段が、前記導出される距離が有効であるかを判断する判断工程と、
制御手段が、前記取得工程で取得される計測困難領域に投影されるパターン光の輝度と、前記判断手段によって距離が有効であると判断される領域とに投影されたパターン光の輝度を、消光または減光させる制御工程とを備えることを特徴とする距離計測方法。 - 請求項11に記載の距離計測方法を実現するためのプログラム。
- 請求項11に記載の距離計測方法を実現するためのプログラムを記録した記録媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012267555A JP6351201B2 (ja) | 2012-12-06 | 2012-12-06 | 距離計測装置および方法 |
US14/029,116 US9857166B2 (en) | 2012-09-19 | 2013-09-17 | Information processing apparatus and method for measuring a target object |
CN201310432409.6A CN103673925B (zh) | 2012-09-19 | 2013-09-22 | 用于测量对象物体的信息处理装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012267555A JP6351201B2 (ja) | 2012-12-06 | 2012-12-06 | 距離計測装置および方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014115107A true JP2014115107A (ja) | 2014-06-26 |
JP2014115107A5 JP2014115107A5 (ja) | 2016-01-28 |
JP6351201B2 JP6351201B2 (ja) | 2018-07-04 |
Family
ID=51171277
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012267555A Active JP6351201B2 (ja) | 2012-09-19 | 2012-12-06 | 距離計測装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6351201B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016031284A (ja) * | 2014-07-29 | 2016-03-07 | セイコーエプソン株式会社 | 制御システム、ロボットシステム、及び制御方法 |
JP2016173294A (ja) * | 2015-03-17 | 2016-09-29 | オリンパス株式会社 | 3次元形状測定装置 |
JP2017227473A (ja) * | 2016-06-20 | 2017-12-28 | タカノ株式会社 | 画像検査装置、及び、プログラム |
US9953433B2 (en) | 2015-03-30 | 2018-04-24 | Fujifilm Corporation | Distance image acquisition apparatus and distance image acquisition method |
US10041784B2 (en) | 2015-06-09 | 2018-08-07 | Fujifilm Corporation | Distance image acquisition apparatus and distance image acquisition method |
US10215557B2 (en) | 2015-03-30 | 2019-02-26 | Fujifilm Corporation | Distance image acquisition apparatus and distance image acquisition method |
WO2023170814A1 (ja) * | 2022-03-09 | 2023-09-14 | ヤマハ発動機株式会社 | 三次元計測用演算装置、三次元計測用プログラム、記録媒体、三次元計測装置および三次元計測用演算方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009019942A (ja) * | 2007-07-11 | 2009-01-29 | Nikon Corp | 形状測定方法、プログラム、および形状測定装置 |
JP2011133306A (ja) * | 2009-12-24 | 2011-07-07 | Yamaha Motor Co Ltd | 検査装置および検査方法 |
JP2011257293A (ja) * | 2010-06-10 | 2011-12-22 | Konica Minolta Sensing Inc | 情報処理装置、プログラム、および情報処理システム |
-
2012
- 2012-12-06 JP JP2012267555A patent/JP6351201B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009019942A (ja) * | 2007-07-11 | 2009-01-29 | Nikon Corp | 形状測定方法、プログラム、および形状測定装置 |
JP2011133306A (ja) * | 2009-12-24 | 2011-07-07 | Yamaha Motor Co Ltd | 検査装置および検査方法 |
JP2011257293A (ja) * | 2010-06-10 | 2011-12-22 | Konica Minolta Sensing Inc | 情報処理装置、プログラム、および情報処理システム |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016031284A (ja) * | 2014-07-29 | 2016-03-07 | セイコーエプソン株式会社 | 制御システム、ロボットシステム、及び制御方法 |
JP2016173294A (ja) * | 2015-03-17 | 2016-09-29 | オリンパス株式会社 | 3次元形状測定装置 |
US9953433B2 (en) | 2015-03-30 | 2018-04-24 | Fujifilm Corporation | Distance image acquisition apparatus and distance image acquisition method |
US10215557B2 (en) | 2015-03-30 | 2019-02-26 | Fujifilm Corporation | Distance image acquisition apparatus and distance image acquisition method |
DE112015006245B4 (de) | 2015-03-30 | 2019-05-23 | Fujifilm Corporation | Abstandsbild-Erfassungsvorrichtung und Abstandsbild-Erfassungsverfahren |
US10041784B2 (en) | 2015-06-09 | 2018-08-07 | Fujifilm Corporation | Distance image acquisition apparatus and distance image acquisition method |
JP2017227473A (ja) * | 2016-06-20 | 2017-12-28 | タカノ株式会社 | 画像検査装置、及び、プログラム |
WO2023170814A1 (ja) * | 2022-03-09 | 2023-09-14 | ヤマハ発動機株式会社 | 三次元計測用演算装置、三次元計測用プログラム、記録媒体、三次元計測装置および三次元計測用演算方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6351201B2 (ja) | 2018-07-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6351201B2 (ja) | 距離計測装置および方法 | |
US9857166B2 (en) | Information processing apparatus and method for measuring a target object | |
JP7350343B2 (ja) | 対象物の3次元画像を生成するための方法およびシステム | |
JP5576726B2 (ja) | 三次元計測装置、三次元計測方法、及びプログラム | |
JP6071363B2 (ja) | 距離計測装置及び方法 | |
US20180376116A1 (en) | Method and system for projector calibration | |
US9835438B2 (en) | Distance measuring apparatus and method | |
JP6061616B2 (ja) | 測定装置及びその制御方法、プログラム | |
CN103069250A (zh) | 三维测量设备、三维测量方法和计算机程序 | |
CN111971525B (zh) | 用立体镜测量物体的方法和系统 | |
JP2016217833A (ja) | 画像処理システム及び画像処理方法 | |
Dal Mutto et al. | Microsoft kinect™ range camera | |
WO2020049965A1 (ja) | 3次元計測システム、3次元計測カメラ、3次元計測方法及びプログラム | |
US9752870B2 (en) | Information processing apparatus, control method thereof and storage medium | |
JP6567199B2 (ja) | 距離計測装置、距離計測方法、及び距離計測プログラム | |
El Asmi et al. | Fast unsynchronized unstructured light | |
KR101750883B1 (ko) | 비전 검사 시스템의 3차원 형상 측정 방법 | |
JP5968370B2 (ja) | 三次元計測装置、三次元計測方法、及びプログラム | |
US20200234458A1 (en) | Apparatus and method for encoding in structured depth camera system | |
JP2011252835A (ja) | 三次元形状計測装置 | |
JP2005003631A (ja) | 3次元形状測定装置および方法 | |
JP2021063700A (ja) | 三次元計測装置、コンピュータプログラム、制御システム及び物品の製造方法 | |
JP2009216650A (ja) | 三次元形状測定装置 | |
JP2002206919A (ja) | 3次元形状計測装置および3次元形状計測方法 | |
JP5795431B2 (ja) | 三次元計測装置、三次元計測システム、制御方法、プログラム、及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151204 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161017 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180605 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6351201 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |