JP2016003889A - 計測装置およびその方法 - Google Patents

計測装置およびその方法 Download PDF

Info

Publication number
JP2016003889A
JP2016003889A JP2014122744A JP2014122744A JP2016003889A JP 2016003889 A JP2016003889 A JP 2016003889A JP 2014122744 A JP2014122744 A JP 2014122744A JP 2014122744 A JP2014122744 A JP 2014122744A JP 2016003889 A JP2016003889 A JP 2016003889A
Authority
JP
Japan
Prior art keywords
pattern
mask
pattern group
patterns
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014122744A
Other languages
English (en)
Other versions
JP6420572B2 (ja
JP2016003889A5 (ja
Inventor
智昭 肥後
Tomoaki Higo
智昭 肥後
小林 俊広
Toshihiro Kobayashi
俊広 小林
将由 山▲崎▼
Masayoshi Yamazaki
将由 山▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014122744A priority Critical patent/JP6420572B2/ja
Priority to US14/734,559 priority patent/US9714826B2/en
Publication of JP2016003889A publication Critical patent/JP2016003889A/ja
Publication of JP2016003889A5 publication Critical patent/JP2016003889A5/ja
Application granted granted Critical
Publication of JP6420572B2 publication Critical patent/JP6420572B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/586Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 内部散乱を含む間接反射光の影響を除去して三次元計測を行う。
【解決手段】 投影パターン生成部202は、パターン間で明部と暗部のうち少なくとも何れか一方の幅が異なる複数の空間符号化パターンそれぞれの明部を、所定の模様のマスクによってマスキングした第一のパターン群と、前記模様を変化させたマスクによって前記空間符号化パターンそれぞれの明部をマスキングした第二のパターン群とを取得する。画像入力部204は、投影装置101によって第一のパターン群と第二のパターン群とがそれぞれ投影された対象物を撮像装置102がそれぞれ撮像した撮影画像505を入力する。画像処理部205は、空間符号化パターン502の投影座標と撮影画像505の座標の対応関係を検出する。三次元座標算出部208は、対応関係に基づいて、対象物の三次元形状を計測する。
【選択図】 図2

Description

本発明は、対象物の三次元形状の計測に関する。
プロジェクタなどの投影部によって空間符号化法などに代表される縞パターンを計測対象に投影し、その反射光を撮像部が観測した位置を基に三角測量の原理によって三次元座標を求める三次元計測装置が知られている。このような装置による計測は、三次元座標の計測精度が計測対象の材質に大きく依存するという課題がある。
プラスチックなどの材料で製造された計測対象の場合、表面下散乱または内部散乱と呼ばれる現象によって、計測精度が悪化したり、計測自体が不能になる場合がある。そのような計測対象の場合は、計測対象の表面に白色のパウダなどを事前に塗布するなどの処置が要求され、三次元計測装置の適用範囲を大きく制限する障害となる。
内部散乱の観測を避ける方法として、特許文献1は、光路上に直線偏光板を設けて表面反射光と内部散乱光を分離し、半透明を含む被計測物の三次元形状を正確に計測する方法を開示する。
また、内部散乱の影響を抑制する方法として、非特許文献1は、スリット光を高周波成分を含むM系列によって変調し、内部散乱の影響を受け難くする三次元形状の計測方法を提案する。
また、内部散乱の影響の対策ではないが、特許文献2は、位相シフトパターンを投影して複数の計測対象物を三次元計測する際に、物体間の二次反射で生じる相互反射の影響を周囲の対象物に与えないようにする方法を開示する。つまり、市松模様のマスクを用いて、隣の対象物からの二次反射光を避けて三次元計測を行う方法を開示する。
しかし、特許文献1の方法は、偏光を用いて表面反射光と内部散乱光を分離するため、光源、受光部、計測対象面の間の幾何的な関係が所定条件を満たす必要があり、この条件を満たして計測を行うことは、必ずしも容易とは言えない。
また、非特許文献1の方法は、グレイコードをM系列で変調するため、グレイコードの各ビットに対して例えば31種類ものパターンを投影する必要があり、計測時間が非常に長くなる問題がある。
また、特許文献2の市松模様のマスクを用いて三次元計測を行う方法は、市松模様状の投影領域に隣接する非投影領域からの相互反射の影響のみを抑制する。そのため、相互反射の発生部が限定できるような理想的な計測対象には有効であるが、より一般的な相互反射や、非計測対象の入射光の入射位置から近い領域に影響を及ぼす内部散乱には対応することができない。
特開2008-281399号公報 特開2006-275529号公報
古瀬達彦、日浦慎作、佐藤宏介「スリット光の変調による相互反射と表面下散乱に頑健な三次元形状計測」MIRU2009 画像の認識・理解シンポジウム
本発明は、内部散乱を含む間接反射光の影響を除去して三次元計測を行うことを目的とする。
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
本発明にかかる計測装置は、パターン間で明部と暗部のうち少なくとも何れか一方の幅が異なる複数の空間符号化パターンそれぞれの明部を、所定の模様のマスクによってマスキングした第一のパターン群と、前記模様を変化させたマスクによって前記空間符号化パターンそれぞれの明部をマスキングした第二のパターン群とを取得する取得手段と、投影装置によって前記第一のパターン群と前記第二のパターン群とがそれぞれ投影された対象物を撮像装置がそれぞれ撮像した撮影画像を入力する入力手段と、前記投影されたパターンの投影座標と前記撮影画像それぞれの座標の対応関係を検出する検出手段とを有し、前記対応関係に基づいて、前記対象物の三次元形状を計測する。
本発明によれば、内部散乱を含む間接反射光の影響を除去して三次元計測を行うことができる。
実施例の三次元計測装置の構成例を示すブロック図。 実施例の情報処理装置の機能を説明するブロック図。 反射光算出用のパターン群を示す図。 内部散乱光の影響を説明する図。 内部散乱光の影響を除去する方法を説明する図。 三次元計測装置における計測処理を説明するフローチャート。 実施例2の基準パターン群の一例を示す図。 マスクパターンの一例を説明する図。 マスクの移動量を対象物に対して適応的に決める方法を説明する図。
以下、本発明にかかる実施例の計測装置および情報処理装置、並びに、計測方法および情報処理方法を図面を参照して詳細に説明する。
実施例1では、計測空間を分割して符号化するパターン(以下、空間符号化パターン)としてグレイコードを用いて、市松模様のマスクと、市松模様を反転したマスクを用いたパターン画像群を生成する。そして、パターン画像群を計測空間に投影した際の計測対象物(以下、対象物)の直接反射光の輝度を算出して空間分割符号列を生成し、対象物の三次元形状を測定する方法を説明する。
[装置の構成]
図1のブロック図により実施例の三次元計測装置100の構成例を示す。投影装置101は、後述するパターン光画像を計測対象物(以下、対象物)104に投影する。パターン光は、対象物104の表面で反射し、撮像装置102によって撮像される。撮像装置102が撮像した画像は情報処理装置103に送られ、情報処理装置103によって対象物104の三次元座標が算出される。また、情報処理装置103は、投影装置101および撮像装置102の動作を制御する。
●情報処理装置
図2のブロック図により実施例の情報処理装置103の機能を説明する。情報処理装置103はコンピュータ機器であり、情報処理装置103のCPUがRAMをワークメモリとして不揮発性メモリなどの記録媒体に格納されたプログラムを実行することで、図2に示す機能が実現される。
制御部210は、後述する情報処理装置103の各部の動作を制御するとともに、投影装置101と撮像装置102の動作を制御する。パラメータ記憶部206は、RAMなどに割り当てられ、三次元計測に必要な各種パラメータを保持する。パラメータには、投影装置101や撮像装置102を制御するための設定や較正データ508などが含まれる。
投影パターン生成部202は、パラメータ記憶部206から読み出した空間符号化パターン系列502に基づき後述する反射光算出用のパターン画像504を適宜生成し、パターン画像504を投影装置101に出力する。なお、投影パターン生成部202が生成したパターン画像504をパラメータ記憶部206に保持して、パラメータ記憶部206から取得されたパターン画像504を投影装置101に出力することもできる。
空間符号化パターン系列502は、投影装置101が投影可能な、対象物104を含む計測空間を複数の領域に分割して符号化するためのパターンの集合である。実施例1では、グレイコードを空間符号化パターンに利用するが、グレイコードに基づく反射光算出用のパターン画像504の詳細は後述する。
投影装置101は、パターン画像504に基づくパターン光を対象物104に投影する。なお、パターン光の投影は、制御部210から出力される投影制御信号510を投影装置101が受信した時点で開始される。撮像装置102は、制御部210から出力される撮像制御信号511を受信した時点で予め設定された撮像パラメータ(シャッタ速度、絞り値、被写体距離)により計測空間の画像を撮像し、撮像した画像(以下、撮影画像)505を出力する。
画像入力部204は、撮像装置102から撮影画像505を入力し、撮影画像505を画像バッファ211に格納する。異なるパターン画像504のパターン光が対象物104に投影された複数の画像が撮像されるので、画像入力部204は、順次、撮像装置102から撮影画像505を入力し、入力した撮影画像505を画像バッファ211に追加する。制御部210は、一回の三次元座標の算出に必要な数の撮影画像が取得されると、画像バッファ211に保持されている撮影画像群を示す情報506を画像処理部205に出力する。
画像処理部205は、撮影画像群を示す情報506を受信すると、三次元座標の算出前に必要な画像処理を撮影画像群に施す。画像処理部205が行う画像処理には、直接反射光の輝度の算出、空間分割符号列の生成などが含まれる。
画像処理部205において、直接反射光算出部301は、撮影画像の明暗に基づき画像中の直接反射光の輝度を算出する。符号列生成部302は、直接反射光の輝度に基づき空間分割符号列を生成する。復号部303は、空間分割符号列を入力し、パラメータ記憶部206に格納された空間符号化パターン系列502に基づき復号処理を行う。つまり、復号部303は、空間符号化パターン系列502の投影座標と撮影画像の座標の対応付けを行い、投影座標と撮影画像の座標の対応関係を示す座標情報507を三次元座標算出部208に出力する。
三次元座標算出部208は、パラメータ記憶部206に格納された投影装置101と撮像装置102の較正データ508を参照して、座標情報507から対象物104の表面の三次元座標509を算出する。結果出力部209は、三次元座標算出部208が算出した三次元座標509に基づく情報を出力する。結果出力部209は、USB、HDMI(登録商標)、有線または無線ネットワークのインタフェイスであり、三次元座標509の出力先は、例えば、モニタ、他のコンピュータやサーバ装置、補助記憶装置、各種記録媒体などである。結果出力部209が出力する情報は、三次元座標509を示す座標値、三次元座標509に基づく対象物104の三次元画像などである。
[空間符号化]
図3により反射光算出用のパターン群を示す。図3に示すパターン群は、空間符号化パターンであるグレイコードパターンそれぞれについて、市松模様のマスクと、当該市松模様を反転した模様(以下、反転模様)のマスクを用いるマスキングによって生成される。
図3(A)は、投影可能範囲の左半分だけに光を投影するような最低反射特性取得部304のグレイコードパターンの明部に市松模様のマスクを施したパターン(上段)と、同じグレイコードパターンの明部に反転模様のマスクを施したパターン(下段)を示す。図3(A)に示す二つのグレイコードパターンが反射光算出用の一つのパターン群である。図3(B)(C)に示すように、他の周波数のグレイコードパターンについても同様に、反射光算出用のパターン群を生成する。
一般的な空間符号化手法においては、対象物104の反射率による影響を抑制して安定に撮影画像中の明暗の組み合せを読み取るため、通常のパターン画像に加えて、その反転パターン画像を用いる。図3(D)(E)(F)は、図3(A)(B)(C)に示す反射光算出用のパターン群(以下、基準パターン群)に対応するパターン群(以下、反転パターン群)を示す。ただし、各反転パターンは、対応する基準パターンの明暗をそのまま反転したパターンではなく、グレイコードの明暗を反転し、マスクの明暗は反転しないものになる。
図3に示す反射光算出用のパターン群を投影し撮像した撮影画像から反射光成分を算出し、明暗判定を行って空間分割符号列を生成する。空間符号化パターン系列502がグレイコードだとすると、撮影画像における明部の画素を‘1’、暗部の画素を‘0’としてパターンの投影順に並べれば例えば‘1010’のような二進数で表現される符号列が形成される。グレイコードの空間符号化パターンによって計測空間を符号化し、投影座標と撮影画像の座標の対応関係を求めれば、三角測量によって対象物104の三次元形状を得ることができる。
図3には、明部と暗部が同じ幅をもつようなパターン群を示したが、パターン群はこれに限らない。つまり、パターン間で明部と暗部のうち少なくとも何れか一方の幅が異なる複数の空間符号化パターンを用意する。そして、複数の空間符号化パターンそれぞれの明部を、所定の模様のマスクによってマスキングした第一のパターン群と、模様を変化させたマスクによって空間符号化パターンそれぞれの明部をマスキングした第二のパターン群を生成すればよい。
[内部散乱光の影響]
図4により内部散乱光の影響を説明する。対象物104が半透明の場合、最低周波数のグレイコードパターン(図4(A))を対象物104に投影すると、図4(B)に示すように、直接反射光成分だけでなく、内部散乱光の影響が観測される。図4(B)に示すようなシーンを撮像した撮影画像から空間分割符号列を求めると、本来暗部であるべき領域において内部散乱光が観測されるため、暗部であるべき領域が明部と判定されて、誤った空間分割符号列が形成され、正しい三次元座標が得られない。
図5により内部散乱光の影響を除去する方法を説明する。図5(A)は市松模様のマスクの基準パターンであり、図5(B)は反転模様のマスクの基準パターンの例である。これら基準パターンを対象物104に投影すると、図5(C)(D)に示すように、光が投影されない対象物104の右側領域において内部散乱光の影響が観測される。さらに、市松模様が投影された対象物104の左側領域においては、直接反射光が観測されるだけでなく、内部散乱光が加わった光が観測される。
図5(C)において、市松模様が投影されている対象物104の左側領域において、市松模様の明部に対応する画素iの輝度値Iaiを次のように定義する。
Iai = Idi + Igi …(1)
ここで、Idiは画素iにおける直接反射光による輝度、
Igiは内部散乱や相互反射などの間接反射光による輝度。
一方、図5(D)において、同位置の画素iは市松模様の暗部に対応し、画素iの輝度値ibiは下式のように間接反射光のみによって決定される。
Ibi = Igi …(2)
ただし、式(1)(2)において間接反射光による輝度Igiが等しいと見做すには、市松模様の格子サイズが間接反射光が及ぼす影響の範囲に比べて充分に小さいことが条件である。市松模様の格子サイズの決め方については後述する。従って、格子サイズの条件が満たされれば下式に示すように、内部散乱光を含む間接反射光の影響を除去して、直接反射光による輝度Idiを算出することができる。
Idi = |Iai - Ibi| …(3)
一方、光が投影されていない対象物104の右側領域の画素jにおいては、図5(C)に対応する輝度Iaj、図5(C)に対応する輝度Ibjともに間接反射光による輝度Igjが観測される。そのため、Iaj-Ibjを計算すると0に近い値が得られる。
市松模様の明部における画素iの輝度値をIai、市松模様の暗部における画素iの輝度値をIbiとすると、直接反射光算出部301は、式(3)の計算によって、図5(E)に示すように、直接反射光による輝度Idiを算出する。
[格子サイズ]
次に、市松模様の格子サイズを対象物104に応じて適応的に決定する方法を説明する。上述したように、間接反射光の影響を除去するには、市松模様の格子サイズを充分に小さくする必要がある。しかし、格子サイズが小さ過ぎると直接反射光の強度が小さくなり、信号の直接反射光成分と間接反射光成分の差が小さくなって、直接反射光成分の正確な検出が難しくなる場合がある。
そこで、三次元計測を行う前に、対象物104に対して、市松模様の基準パターンと反転模様の基準パターンのペアを投影して撮像を行う。そして、二つの撮影画像の各画素における差分絶対値|Iai-Ibi|を計算する。この処理を格子サイズが小さな市松模様から開始し、格子サイズを徐々に大きくして|Iai-Ibi|がノイズと見做されない値を超えるまで処理を繰り返す。|Iai-Ibi|がノイズと見做されない値以上の格子サイズに達したら、当該格子サイズを三次元計測を行う際の格子サイズに決定する。言い替えれば、市松模様の格子サイズは、差分絶対値|Iai-Ibi|がノイズと見做されない大きさに設定される。
例えば、投影装置101から1024×768画素のパターンを40×30cmの領域に投影する場合、格子の大きさは4×4画素(約1.5×1.5mm)が基準である。ただし、対象物104の反射特性や内部散乱特性によって適切な格子サイズが変化するので、上記の方法により、対象物104ごとに格子サイズを決定する。
[空間分割符号列の生成]
次に、空間分割符号列の生成方法について説明する。対象物104の反射率による影響を抑制するために、図3(A)(B)(C)に示した基準パターン群および図3(D)(E)(F)に示した反転パターン群を撮像した画像それぞれから、上記の|Iai-Ibi|の処理によって直接反射光の輝度を算出する。そして、次式により符号bを決定する
if (I0i - I1i > 0)
bi = ‘1’;
else
bi = ‘0’; …(4)
ここで、biは画素iに対応する符号、
I0iは基準パターンにおける画素iの直接反射光の輝度値、
I1iは反転パターンにおける画素iの直接反射光の輝度値。
符号列生成部302は、上記の処理を空間符号化パターン系列502のすべてについて行い、各画素について得られた符号biを順に並べた空間分割符号列(例えば‘1010…’)を生成する。
[計測処理]
図6のフローチャートにより三次元計測装置100における計測処理を説明する。三次元計測装置100が起動されると、制御部210は初期化処理を行う(S101)。初期化処理において、制御部210は、投影装置101や撮像装置102を起動する。さらに、制御部210は、パラメータ記憶部206に格納された較正データ508を三次元座標算出部208に設定し、パラメータ記憶部206に格納された空間符号化パターン系列502を投影パターン生成部202に設定する。つまり、各種パラメータの設定処理が行われる。
次に、制御部210は、投影パターン生成部202を制御して、先述した手順によって空間符号化パターン系列502から反射光算出用のパターン画像504を生成し、パターン画像504を投影装置101に出力する(S102)。
次に、制御部210は、投影装置101を制御してパターン画像504に対応するパターン光を対象物104に投影し、同時に、撮像装置102を制御してパターン光が投影された対象物104の画像を撮像する(S103)。制御部210は、撮影画像505を画像入力部204を介して画像バッファ211に保持する(S104)。
ステップS103において、市松模様のマスクの基準パターンの投影と撮像、反転模様のマスクの基準パターンの投影と撮像、市松模様のマスクの反転パターンの投影と撮像、反転模様のマスクの反転パターンの投影と撮像が順次行われる。ステップS103とS104は、三次元座標の算出に必要な数のパターン画像504の投影と撮像が完了するまで繰り返し行われる。
必要な数の撮影画像505が取得されると、制御部210は、画像処理部205を制御して、反射光算出用のパターン画像504が対象物104に投影された状態を撮像した撮影画像505から式(3)により直接反射光の輝度を算出する(S105)。そして、算出した直接反射光の輝度を基に式(4)により空間分割符号列を生成し(S106)、投影座標と撮影画像の座標を対応付ける空間符号化パターン系列502の復号処理を行う(S107)。
次に、制御部210は、三次元座標算出部208を制御して復号結果の投影座標と撮影画像の座標の対応関係から対象物104の表面の三次元座標509を算出し(S108)、結果出力部209を制御して三次元座標509に基づく情報を出力する(S109)。ステップS103からS109の処理は、ここの説明順に従う実行順序である必要はない。依存関係を含まない処理については、適宜、実行順序を入れ替えてもよいし、並列に同時処理することも可能である。
対象物104の表面の三次元座標の算出(三次元形状の計測)が終了すると、制御部210は、ユーザ指示を判定し(S110)、ユーザ指示に従い処理をステップS102に戻して計測処理を継続するか、計測処理を終了する。
このように、空間符号化パターンとして、直接反射光の輝度の算出が可能なパターン画像を対象物104に投影し、対象物104の直接反射光の輝度を算出し、直接反射光の輝度を基に空間分割符号列を生成して対象物104の三次元形状を計測する。内部散乱などの間接反射光成分を除去することによって、空間分割符号列を生成する際の誤りを防ぎ、対象物104の三次元座標を安定かつ正確に算出することが可能になる。
実施例1においては、対象物104が内部散乱を引き起こす半透明部分を含む場合も正確な三次元形状の計測が可能になる。つまり、半透明部分を含む対象物104にパターン画像を投影した場合の内部散乱や相互反射の影響を抑制し、高精度な三次元計測を安定的に行うことができる。
以下、本発明にかかる実施例2の計測装置および情報処理装置、並びに、計測方法および情報処理方法を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
実施例2では、空間符号化パターンとして位相シフト法を用いて、市松模様のマスクと反転模様のマスクを用いたパターン群を基に対象物104の直接反射光の輝度を算出した後、空間分割符号列を生成して対象物104の三次元形状の測定を行う方法を説明する。
実施例2において、実施例1と異なる部分は、投影パターン生成部202が生成するパターン画像504と、画像処理部205における投影座標と撮影画像の座標の対応付け方法である。位相シフト法は、輝度値が正弦波状に変化するパターン(以下、正弦波パターン)を、位相をシフトしながら投影して得られる複数の撮影画像の輝度値から、各画素における正弦波の位相を算出して投影座標と撮影画像の座標の対応付けを行う手法である。
実施例2の投影パターン生成部202は、空間符号化パターン系列502として位相シフトパターンを用いて、正弦波パターンのそれぞれに対して、市松模様のマスクと反転模様のマスクを施し、反射光算出用のパターン画像504を生成する。図7により実施例2の基準パターン群の一例を示す。図7(A)は市松模様のマスクを施した基準パターン、図7(B)は反転模様のマスクを施した基準パターンである。
画像処理部205は、図7に示す基準パターンに対応するパターン画像504を投影して得られる撮影画像から、実施例1と同様に、差分絶対値|Iai-Ibi|を計算することで各画素の直接反射光の輝度を算出する。そして、直接反射光の輝度に基づき、通常の位相シフト法と同様に、各画素における正弦波の位相を算出して投影座標と撮影画像の座標を対応付ける。
このように、位相シフト法を用いる場合、撮像したパターン画像に正確な輝度値が要求される。その場合も、直接反射光の輝度を算出することにより、安定的かつ正確な三次元計測を行うことが可能である。
[変形例]
図8によりマスクパターンの一例を説明する。実施例1、2では、図8(A)に示すような市松模様のマスクパターンと、その反転模様のマスクパターンを用いてパターン画像504を生成する例を説明した。図8(A)に示す市松模様のマスクパターンの代わりに、図8(B)に示すような格子模様のマスクパターンを用いてもよいし、あるいは、高周波パターンからなるモザイクパターンを用いてもよい。
例えば図8(B)に示すマスクパターンを用いた場合、図8(C)に示す四つの正方形のうち一つに光が投影されるパターンの繰り返しになる。従って、各正方形に対応する領域に少なくとも一度、光が投影されるように、少なくとも四つのマスクを一組として反射光算出のパターン群を生成すればよい。
図8(B)に示すマスクパターンを用いる場合の直接反射光の輝度は、画素iの最大輝度値から最小輝度値を減算する次式によって算出される。
Idi = max(Iki) - min(Iki) …(5)
ここで、Ikiはk番目(k=1, 2, 3, 4)の撮影画像の画素iにおける輝度値、
max( )は最大値を出力する関数、
min( )は最小値を出力する関数。
間接反射光の影響が狭い範囲にしか及ばない場合、格子模様のマスクの格子サイズをn×n画素とすると、m(≦n)画素(所定距離)ずつマスクの位置を移動する。そして各画素に少なくとも一度ずつ光を投影する複数のマスクを一組として反射光算出用のパターン群とすればよい。
マスクの移動量(m画素)によってパターン画像の投影数が変化する。mの値は小さいほど間接反射光の影響の除去性能が向上するが、投影数が増加して計測時間が長くなる。そこで、マスクの移動量mの値は、間接反射光の除去が可能な範囲で最大値に設定することが望ましい。
図9によりマスクの移動量mを対象物104に対して適応的に決める方法を説明する。格子模様のマスクの格子サイズn×n画素は、実施例1で述べた方法などによって4×4画素に決定されているものとする。図9(A)はマスクの位置をn画素ずつ移動(m=n)する例、図9(B)はマスクの位置をn/2画素ずつ移動(m=n/2)する例、図9(C)はマスクの位置をn/3画素ずつ移動(m=n/3)する例を示す。図9(A)(B)(C)によれば、それぞれ一方向に対して二回、三回、四回の投影と撮像が必要になる。
図9(A)の移動量m=nから順次移動量mを減らして投影と撮像を行い、間接反射光成分の除去が可能と判断されるまで移動量mを減らし、例えばn=4に対してm=2として格子模様のマスクを用いるパターン画像504を生成する。
間接反射光成分が除去可能か否かの判断方法は、例えば、マスクの位置を移動して得られた撮影画像群から、各画素の最小輝度値を抽出して間接反射光画像を形成する。そして、間接反射光画像に格子の周期的なパターンが残っていなければ、間接反射光成分が除去されたと判断すればよい。言い替えれば、マスクの移動量mは、最小輝度値によって形成される間接反射光画像に、格子模様の周期的パターンが残らないように設定される。
周期的パターンの有無の検出を自動で行う場合は、例えば間接反射光画像に対して二次元フーリエ変換を行い、格子が繰り返し現れる周波数に輝度のピークが観察されるか否かを判定するなどの方法を用いる。
[その他の実施例]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。
101 … 投影装置、102 … 撮像装置、202 … 投影パターン生成部、204 … 画像入力部、205 … 画像処理部、206 … パラメータ記憶部

Claims (14)

  1. パターン間で明部と暗部のうち少なくとも何れか一方の幅が異なる複数の空間符号化パターンそれぞれの明部を、所定の模様のマスクによってマスキングした第一のパターン群と、前記模様を変化させたマスクによって前記空間符号化パターンそれぞれの明部をマスキングした第二のパターン群とを取得する取得手段と、
    投影装置によって前記第一のパターン群と前記第二のパターン群とがそれぞれ投影された対象物を撮像装置がそれぞれ撮像した撮影画像を入力する入力手段と、
    前記投影されたパターンの投影座標と前記撮影画像それぞれの座標の対応関係を検出する検出手段とを有し、
    前記対応関係に基づいて、前記対象物の三次元形状を計測することを特徴とする計測装置。
  2. 前記第一のパターン群は前記空間符号化パターンの明部において明暗のパターンを有し、前記第二のパターン群は前記第一のパターン群の明暗のパターンを反転したパターンを有する請求項1に記載された計測装置。
  3. 前記検出手段は、前記撮影画像の各画素において、前記第一のパターン群の明部に対応する輝度値と前記第二のパターン群の暗部に対応する輝度値の差分絶対値を直接反射光成分として算出する請求項2に記載された計測装置。
  4. さらに、市松模様のマスクを用いて前記第一のパターン群を生成し、前記市松模様を反転したマスクを用いて前記第二のパターン群を生成する生成手段を有する請求項2または請求項3に記載された計測装置。
  5. 前記市松模様の格子サイズは、前記差分絶対値がノイズと見做されない大きさに設定される請求項4に記載された計測装置。
  6. 前記空間符号化パターンは位相シフトパターンである請求項1から請求項5の何れか一項に記載された計測装置。
  7. 前記取得手段は、所定の模様のマスクを所定距離ずつ移動して前記空間符号化パターンの明部をマスキングした複数のパターン群を取得する請求項1に記載された計測装置。
  8. 前記検出手段は、前記撮影画像の各画素において、前記複数のパターン群の明部に対応する輝度値の最大値から前記複数のパターン群の暗部に対応する輝度値の最小値を減算して直接反射光成分を算出する請求項7に記載された計測装置。
  9. さらに、格子模様のマスクを用いて前記複数のパターン群を生成する生成手段を有する請求項7または請求項8に記載された計測装置。
  10. 前記所定距離は、前記撮影画像の各画素について、前記複数の撮影画像から最小輝度値を抽出して形成した間接反射光画像に、前記格子模様の周期的パターンが残らないように設定される請求項9に記載された計測装置。
  11. 前記取得手段は、更に、前記複数の空間符号化パターンを反転させたパターンそれぞれの明部を、前記所定の模様のマスクによってマスキングした第三のパターン群と、前記模様を変化させたマスクによって前記複数の空間符号化パターンを反転させたパターンそれぞれの明部をマスキングした第四のパターン群とを取得し、
    前記入力手段は、前記投影装置によって前記第三のパターン群と前記第四のパターン群とがそれぞれ投影された対象物を前記撮像装置がそれぞれ撮像した撮影画像を更に取得する請求項1から請求項8の何れか一項に記載された計測装置。
  12. 取得手段が、パターン間で明部と暗部のうち少なくとも何れか一方の幅が異なる複数の空間符号化パターンそれぞれの明部を、所定の模様のマスクによってマスキングした第一のパターン群と、前記模様を変化させたマスクによって前記空間符号化パターンそれぞれの明部をマスキングした第二のパターン群とを取得し、
    入力手段が、投影装置によって前記第一のパターン群と前記第二のパターン群とがそれぞれ投影された対象物を撮像装置がそれぞれ撮像した撮影画像を入力し、
    検出手段が、前記投影されたパターンの投影座標と前記撮影画像それぞれの座標の対応関係を検出し、
    前記対応関係に基づいて、前記対象物の三次元形状を計測することを特徴とする計測方法。
  13. コンピュータを請求項1から請求項11の何れか一項に記載された計測装置の各手段として機能させるためのプログラム。
  14. 請求項13に記載されたプログラムが記録されたコンピュータが読み取り可能な記録媒体。
JP2014122744A 2014-06-13 2014-06-13 計測装置およびその方法 Active JP6420572B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014122744A JP6420572B2 (ja) 2014-06-13 2014-06-13 計測装置およびその方法
US14/734,559 US9714826B2 (en) 2014-06-13 2015-06-09 Measurement apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014122744A JP6420572B2 (ja) 2014-06-13 2014-06-13 計測装置およびその方法

Publications (3)

Publication Number Publication Date
JP2016003889A true JP2016003889A (ja) 2016-01-12
JP2016003889A5 JP2016003889A5 (ja) 2017-07-13
JP6420572B2 JP6420572B2 (ja) 2018-11-07

Family

ID=54835890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014122744A Active JP6420572B2 (ja) 2014-06-13 2014-06-13 計測装置およびその方法

Country Status (2)

Country Link
US (1) US9714826B2 (ja)
JP (1) JP6420572B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183889A (ja) * 2016-03-29 2017-10-05 本田技研工業株式会社 光通信装置、光通信システム、および光通信方法
JP2020020640A (ja) * 2018-07-31 2020-02-06 株式会社デンソーアイティーラボラトリ 3次元形状計測システム、3次元形状計測方法、及び3次元形状計測プログラム
JP2020180948A (ja) * 2019-04-26 2020-11-05 株式会社キーエンス 三次元測定装置及び三次元測定方法
JP2021515250A (ja) * 2018-04-30 2021-06-17 パス ロボティクス,インコーポレイテッド 反射反証レーザースキャナ

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6418884B2 (ja) * 2014-10-10 2018-11-07 キヤノン株式会社 三次元計測装置、三次元計測方法及びプログラム
US10032279B2 (en) * 2015-02-23 2018-07-24 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
KR101586765B1 (ko) * 2015-02-27 2016-01-25 주식회사 다우인큐브 반도체 공정 기반 3차원 가상 형상 모델링 방법
US10171730B2 (en) 2016-02-15 2019-01-01 Canon Kabushiki Kaisha Information processing apparatus, method of controlling information processing apparatus, and storage medium
US10685490B2 (en) 2016-03-10 2020-06-16 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP6735615B2 (ja) * 2016-06-29 2020-08-05 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP6673266B2 (ja) * 2017-03-08 2020-03-25 オムロン株式会社 相互反射検出装置、相互反射検出方法、およびプログラム
JP7178803B2 (ja) 2018-06-04 2022-11-28 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
CN113439195A (zh) * 2019-02-22 2021-09-24 普罗费塞公司 使用动态视觉传感器和图案投影的三维成像和感测

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001349713A (ja) * 2000-06-06 2001-12-21 Asahi Hightech Kk 三次元形状測定装置
JP2003329428A (ja) * 2002-05-16 2003-11-19 Sumitomo Chem Co Ltd 表面検査装置及び表面検査方法
JP2009042015A (ja) * 2007-08-08 2009-02-26 Ckd Corp 三次元計測装置及び基板検査機
JP2012042332A (ja) * 2010-08-19 2012-03-01 Canon Inc 三次元計測装置及び三次元計測方法
JP2012063352A (ja) * 2010-08-19 2012-03-29 Canon Inc 三次元位置計測装置、三次元位置計測方法、及びコンピュータプログラム
US20130335531A1 (en) * 2011-02-28 2013-12-19 Sharp Kabushiki Kaisha Apparatus for projecting grid pattern

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000292135A (ja) * 1999-04-07 2000-10-20 Minolta Co Ltd 3次元情報入力カメラ
JP2006098252A (ja) * 2004-09-30 2006-04-13 Brother Ind Ltd 3次元情報取得方法
JP4611782B2 (ja) 2005-03-28 2011-01-12 シチズンホールディングス株式会社 3次元形状測定方法及び測定装置
JP2008281399A (ja) 2007-05-09 2008-11-20 Konica Minolta Sensing Inc 三次元測定装置及び携帯型計測器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001349713A (ja) * 2000-06-06 2001-12-21 Asahi Hightech Kk 三次元形状測定装置
JP2003329428A (ja) * 2002-05-16 2003-11-19 Sumitomo Chem Co Ltd 表面検査装置及び表面検査方法
JP2009042015A (ja) * 2007-08-08 2009-02-26 Ckd Corp 三次元計測装置及び基板検査機
JP2012042332A (ja) * 2010-08-19 2012-03-01 Canon Inc 三次元計測装置及び三次元計測方法
JP2012063352A (ja) * 2010-08-19 2012-03-29 Canon Inc 三次元位置計測装置、三次元位置計測方法、及びコンピュータプログラム
US20130335531A1 (en) * 2011-02-28 2013-12-19 Sharp Kabushiki Kaisha Apparatus for projecting grid pattern

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017183889A (ja) * 2016-03-29 2017-10-05 本田技研工業株式会社 光通信装置、光通信システム、および光通信方法
JP2021515250A (ja) * 2018-04-30 2021-06-17 パス ロボティクス,インコーポレイテッド 反射反証レーザースキャナ
JP2020020640A (ja) * 2018-07-31 2020-02-06 株式会社デンソーアイティーラボラトリ 3次元形状計測システム、3次元形状計測方法、及び3次元形状計測プログラム
JP2020180948A (ja) * 2019-04-26 2020-11-05 株式会社キーエンス 三次元測定装置及び三次元測定方法
JP7202966B2 (ja) 2019-04-26 2023-01-12 株式会社キーエンス 三次元測定装置及び三次元測定方法

Also Published As

Publication number Publication date
US9714826B2 (en) 2017-07-25
JP6420572B2 (ja) 2018-11-07
US20150362312A1 (en) 2015-12-17

Similar Documents

Publication Publication Date Title
JP6420572B2 (ja) 計測装置およびその方法
US9557167B2 (en) Three-dimensional-shape measurement apparatus, three-dimensional-shape measurement method, and non-transitory computer-readable storage medium
JP7350343B2 (ja) 対象物の3次元画像を生成するための方法およびシステム
KR101461068B1 (ko) 삼차원 계측장치, 삼차원 계측방법 및 기억매체
JP6335011B2 (ja) 計測装置およびその方法
US9546863B2 (en) Three-dimensional measuring apparatus and control method therefor
JP4830871B2 (ja) 3次元形状計測装置及び3次元形状計測方法
US10078907B2 (en) Distance measurement apparatus, distance measurement method, and storage medium
US20180335298A1 (en) Three-dimensional shape measuring apparatus and control method thereof
JP6418884B2 (ja) 三次元計測装置、三次元計測方法及びプログラム
US10713810B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
US10664981B2 (en) Data processing apparatus and method of controlling same
US10181202B2 (en) Control apparatus, robot, and control method
JP2016003889A5 (ja)
JP2009115612A (ja) 3次元形状計測装置及び3次元形状計測方法
JP2022022326A (ja) 3次元形状計測装置、3次元形状計測方法、プログラム及び記録媒体
JP2012068176A (ja) 三次元形状計測装置
JP6412372B2 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
JP6552230B2 (ja) 計測装置
Di Martino et al. One-shot 3D gradient field scanning
JP5968370B2 (ja) 三次元計測装置、三次元計測方法、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170602

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170602

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181012

R151 Written notification of patent or utility model registration

Ref document number: 6420572

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151