JP2014115108A - Distance measuring device - Google Patents

Distance measuring device Download PDF

Info

Publication number
JP2014115108A
JP2014115108A JP2012267556A JP2012267556A JP2014115108A JP 2014115108 A JP2014115108 A JP 2014115108A JP 2012267556 A JP2012267556 A JP 2012267556A JP 2012267556 A JP2012267556 A JP 2012267556A JP 2014115108 A JP2014115108 A JP 2014115108A
Authority
JP
Japan
Prior art keywords
pattern
unit
pattern light
imaging
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012267556A
Other languages
Japanese (ja)
Inventor
伸明 ▲桑▼原
Nobuaki Kuwahara
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012267556A priority Critical patent/JP2014115108A/en
Publication of JP2014115108A publication Critical patent/JP2014115108A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a distance measuring device capable of accurately measuring distance while reducing an influence of multiple reflection.SOLUTION: The device comprises: projection means for projecting a pattern light on an object; imaging means for imaging the object on which the pattern light is projected; acquisition means for acquiring distance from the projection means or the imaging means to the object to be measured on the basis of a picture imaged by the imaging means; and determination means for determining the pattern light to be projected by the projection means on the basis of a positional relationship between the projection means and the imaging means.

Description

本発明は、対象物体の3次元形状を計測する技術に関する。   The present invention relates to a technique for measuring a three-dimensional shape of a target object.

計測対象物体の三次元形状を非接触で計測する手法として、投影装置と撮像装置を用いた手法が一般的である。具体的には、縞パターンを投影し、撮像画像で撮像した画像縞パターンの投影装置上での位置を特定し、三角測量の原理で、三次元形状を求める手法が一般的である。   As a technique for measuring the three-dimensional shape of a measurement target object in a non-contact manner, a technique using a projection device and an imaging device is common. Specifically, it is common to project a fringe pattern, specify the position of the image fringe pattern captured by the captured image on the projection device, and obtain a three-dimensional shape based on the principle of triangulation.

このような三次元計測手法において、計測対象物体物が金属部品などの光沢を有する場合、計測対象物体物の形状によっては、他の面に投影されたパターン光が計測対象物体物間で複数回の反射、すなわち、多重反射が起こる。多重反射は計測対象物体物間で相互に発生するため、相互反射とも呼ばれる。多重反射が起こると計測対象物体物中に本来は存在しないはずの映り込みが生じる。このような撮影画像に基づいて、三次元計測処理を適用すると、映り込みがノイズとして認識されるため、計測精度が低下する可能性がある。   In such a three-dimensional measurement method, when the measurement target object has a gloss such as a metal part, the pattern light projected on the other surface may be projected several times between the measurement target objects depending on the shape of the measurement target object. Reflection, that is, multiple reflection occurs. Since multiple reflection occurs mutually between objects to be measured, it is also called mutual reflection. When multiple reflection occurs, a reflection that should not originally exist in the object to be measured occurs. When a three-dimensional measurement process is applied based on such a photographed image, the reflection is recognized as noise, which may reduce the measurement accuracy.

ここで、多重反射により、誤った三次元形状を推定してしまう問題について図2を用いて詳細に説明する。図2において、201は、撮像装置の主点、202は撮像素子である。撮像素子202は物理的に撮像素子202の位置には置かれないが、像を反転させないために便宜上202の位置に配置して説明する。また、204は投影装置の主点であり、203は投影素子である。投影素子203の配置位置も撮像素子202と同一の理由で203の位置に配置した。ここで投影素子203上に三次元計測する為の縞パターン205を表示する。縞パターンを複数投影する三次元計測機も存在するが、今回は説明の為に簡略化し、縞パターン205のみ表示する。縞パターン205により生じた光は、直線206の方向に進み、計測対象物体213上の面207で反射する。面207で拡散反射した光は直線209の方向に進み撮像素子202上の210の位置で結像する。また、面207上で鏡面反射した光は直線214の方向に進み、面208でさらに反射し、直線211の方向に進み、撮像素子202上の212の位置で結像する。本来であれば、210の位置に結像した像で三次元形状を推定すべきであるが、210と212の位置のどちらが多重反射によって生じた像であるか分からない為、撮像素子上で212の位置に結像した像を三次元形状復元してしまった場合は、計測対象物体213の形状とは異なる形状を推定してしまう。   Here, the problem of estimating an incorrect three-dimensional shape due to multiple reflection will be described in detail with reference to FIG. In FIG. 2, 201 is the principal point of the image pickup apparatus, and 202 is an image sensor. Although the image sensor 202 is not physically placed at the position of the image sensor 202, the image sensor 202 will be described at the position 202 for convenience in order not to invert the image. Reference numeral 204 denotes a principal point of the projection apparatus, and 203 denotes a projection element. The arrangement position of the projection element 203 is also arranged at the position 203 for the same reason as the imaging element 202. Here, a stripe pattern 205 for three-dimensional measurement is displayed on the projection element 203. There are three-dimensional measuring machines that project a plurality of fringe patterns, but this time, for the sake of explanation, only the fringe pattern 205 is displayed. The light generated by the fringe pattern 205 travels in the direction of the straight line 206 and is reflected by the surface 207 on the measurement target object 213. The light diffusely reflected by the surface 207 travels in the direction of the straight line 209 and forms an image at a position 210 on the image sensor 202. The light specularly reflected on the surface 207 travels in the direction of the straight line 214, further reflects on the surface 208, travels in the direction of the straight line 211, and forms an image at a position 212 on the image sensor 202. Originally, the three-dimensional shape should be estimated from the image formed at the position 210. However, since it is not known which of the positions 210 and 212 is the image caused by the multiple reflections, it is 212 on the image sensor. When the three-dimensional shape of the image formed at the position is restored, a shape different from the shape of the measurement target object 213 is estimated.

特許文献1では、縞模様の周期(ピッチ)が互いに異なる2種類の異なるパターン光を投影し、それぞれから三次元形状を求め、2つの三次元計測結果に乖離がある領域を、多重反射が発生した領域であると見なし、光線追跡によって多重反射を引き起こす原因となっている面を見つけ出し、その面に対応するパターン光を消光し、新たに消光したパターンを計測対象物体物に投影して得られた撮影画像に基づいて、三次元計測結果を補正している。   In Patent Document 1, two types of different pattern lights with different fringe periods (pitch) are projected, a three-dimensional shape is obtained from each, and multiple reflections occur in a region where there is a difference between two three-dimensional measurement results. It is obtained by finding the surface causing the multiple reflection by ray tracing, extinguishing the pattern light corresponding to that surface, and projecting the newly extinguished pattern onto the measurement target object. The three-dimensional measurement result is corrected based on the captured image.

特開2008―309551号公報JP 2008-309551 A

しかしながら、上記の構成では、多重反射の原因となっているパターン光部分を見つけ出すために光線追跡を行っており、処理が複雑で時間がかかってしまう。
本発明は、以上の課題に鑑みてなされた発明であり、撮影枚数を増やすことなく、多重反射の影響を低減させ、距離を精度よく計測することを目的とする。
However, in the above configuration, ray tracing is performed in order to find the pattern light portion that causes multiple reflection, and the processing is complicated and takes time.
The present invention has been made in view of the above problems, and it is an object of the present invention to reduce the influence of multiple reflection without increasing the number of shots and accurately measure the distance.

上記の目的を達成するために、本発明に係る距離計測装置は、例えば、対象物体にパターン光を投影する投影手段と、前記パターン光が投影された前記対象物体を撮像する撮像手段と、前記撮像手段で撮像された画像に基づいて、前記投影手段または前記撮像手段から、前記計測対象物体までの距離計測を行う計測手段と、前記投影手段と前記撮像手段との位置関係に基づいて、前記投影手段が投影するパターン光を決定する決定手段とを備える。   In order to achieve the above object, a distance measuring device according to the present invention includes, for example, a projection unit that projects pattern light onto a target object, an imaging unit that images the target object onto which the pattern light is projected, Based on the image captured by the image capturing unit, the measuring unit that measures the distance from the projection unit or the image capturing unit to the measurement target object, and the positional relationship between the projecting unit and the image capturing unit, Determining means for determining the pattern light to be projected by the projecting means.

本発明によれば、撮影枚数を増やすことなく、多重反射の影響を軽減し、距離を精度よく計測することができる。   According to the present invention, the influence of multiple reflection can be reduced and the distance can be accurately measured without increasing the number of shots.

距離計測装置の全体構成を示す図である。It is a figure which shows the whole structure of a distance measuring device. 多重反射の様子を示した図である。It is the figure which showed the mode of multiple reflection. 空間符号化法の説明を示した図である。It is the figure which showed description of the spatial encoding method. 第1の実施形態に係る距離計測装置のパターン光を表した図である。It is a figure showing the pattern light of the distance measuring device which concerns on 1st Embodiment. エピポーラ拘束について説明した図である。It is a figure explaining epipolar restraint. 従来のパターン光と本実施例のパターン光における投影と撮像の様子を示した図である。It is the figure which showed the mode of the projection and imaging in the conventional pattern light and the pattern light of a present Example. 複数のパターン光を用いる場合を示した図である。It is the figure which showed the case where a some pattern light is used. 三次元計測面積の拡張を示した図である。It is the figure which showed expansion of a three-dimensional measurement area. 第1の実施形態に係る距離計測装置の動作を表すフローチャートである。It is a flowchart showing operation | movement of the distance measuring device which concerns on 1st Embodiment. 第2の実施形態に係る距離計測装置のパターン光を表した図である。It is a figure showing the pattern light of the distance measuring device which concerns on 2nd Embodiment. 第3の実施形態に係る距離計測装置のパターン光を表した図である。It is a figure showing the pattern light of the distance measuring device which concerns on 3rd Embodiment. 第3の実施形態に係る距離計測装置の動作を表すフローチャートである。It is a flowchart showing operation | movement of the distance measuring device which concerns on 3rd Embodiment.

以下、添付図面を参照して本発明の実施形態について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

[第1の実施形態]
まず、図3を用いて、撮像装置と投影装置を用いた、一般的な三次元計測手法である空間符号化法について説明する。図3において、距離計測装置は、撮像部101、投影部102で構成される。
[First Embodiment]
First, a spatial encoding method that is a general three-dimensional measurement method using an imaging device and a projection device will be described with reference to FIG. In FIG. 3, the distance measuring device includes an imaging unit 101 and a projection unit 102.

撮像部101は、例えば、産業用カメラであり、計測対象物体108を撮像する。投影部102は、例えばレーザープロジェクタや液晶プロジェクタなどのパターン光を投影可能な装置であり、パターン光群302の様な複数のパターンを投影可能な装置である。   The imaging unit 101 is an industrial camera, for example, and images the measurement target object 108. The projection unit 102 is an apparatus capable of projecting pattern light, such as a laser projector or a liquid crystal projector, and is an apparatus capable of projecting a plurality of patterns such as the pattern light group 302.

距離計測の手順としては、投影部102は、パターン光群302から、パターン光303、304のような空間を分割するように明部と暗部を配置したパターン光を投影する。図中では、明部を1、暗部を0として表現している。パターン光303、304を時系列で計測対象物体108に対して投影する。ここで説明の為に、計測対象物体108の材質は、多重反射の影響が少ない計測対象物体であるとする。そして、ぞれぞれのパターン光に対して、撮像部101で撮影する。その結果、符号列305、306のような符号列が得られる。符号列305、306をデコードすると、307のような投影部102における、パターン光の位置を表した値に変換できる。つまり、計測対象物体108上の点301のように、投影部102と撮像部101の計測対象物体108上のそれぞれの投影像と撮像された画像が対応づけられ三角測量が可能になる。   As a distance measurement procedure, the projection unit 102 projects pattern light in which a bright part and a dark part are arranged so as to divide a space such as the pattern lights 303 and 304 from the pattern light group 302. In the figure, the bright part is represented as 1 and the dark part is represented as 0. The pattern lights 303 and 304 are projected onto the measurement target object 108 in time series. For the sake of explanation here, it is assumed that the material of the measurement target object 108 is a measurement target object with little influence of multiple reflection. Then, the image pickup unit 101 captures each pattern light. As a result, code strings such as code strings 305 and 306 are obtained. When the code strings 305 and 306 are decoded, it can be converted into a value representing the position of the pattern light in the projection unit 102 such as 307. That is, like the point 301 on the measurement target object 108, the projection image on the measurement target object 108 of the projection unit 102 and the imaging unit 101 is associated with the captured image, thereby enabling triangulation.

図1を参照して、本実施形態に係る距離計測装置10の構成を説明する。   With reference to FIG. 1, the structure of the distance measuring device 10 which concerns on this embodiment is demonstrated.

本実施形態に係る距離計測装置10は、撮像部101と、投影部102と、パターン光生成部103と、制御部104と、記憶部105と、多重反射パターン除去部106と、距離算出部107とを備える。   The distance measurement apparatus 10 according to the present embodiment includes an imaging unit 101, a projection unit 102, a pattern light generation unit 103, a control unit 104, a storage unit 105, a multiple reflection pattern removal unit 106, and a distance calculation unit 107. With.

撮像部101は、光学系と撮像素子とを有し、計測対象物体108を撮像する。また、撮像部101は、撮像した画像を記憶部105に出力する。また、撮像部101は、投影部102の投影方向とは異なる方向から計測対象物体108を撮像する。   The imaging unit 101 includes an optical system and an imaging element, and images the measurement target object 108. In addition, the imaging unit 101 outputs the captured image to the storage unit 105. Further, the imaging unit 101 images the measurement target object 108 from a direction different from the projection direction of the projection unit 102.

投影部102は、パターン光生成部103から入力されるパターン光の情報に基づいて、計測対象物体108へパターン光を投影する。投影部102は、レーザープロジェクタや液晶プロジェクタなどのパターン光を投影可能な装置であり、パターン光を投影可能であれば投影部102の構成は限定されない。   The projection unit 102 projects pattern light onto the measurement target object 108 based on the pattern light information input from the pattern light generation unit 103. The projection unit 102 is a device that can project pattern light, such as a laser projector or a liquid crystal projector, and the configuration of the projection unit 102 is not limited as long as the pattern light can be projected.

パターン光生成部103は、制御部104の制御情報に基づいて、パターン光を生成し、投影部102を制御し、計測対象物体108にパターンを投影する。   The pattern light generation unit 103 generates pattern light based on the control information of the control unit 104, controls the projection unit 102, and projects the pattern onto the measurement target object.

ここで、パターン光生成部103で投影するパターン光について詳細に説明する。本実施形態で投影するパターン光は図4のパターン光401のようなパターンである。一般的に空間符号化を用いた計測手法における、パターン光402のような、パターン光全面に縞パターン405が配置されている。対して、本実施形態のパターン光401は、エピポーラ線404に基づいて、縞パターン403の強度が異なるパターンを用いる。   Here, the pattern light projected by the pattern light generation unit 103 will be described in detail. The pattern light projected in this embodiment is a pattern like the pattern light 401 in FIG. In general, a fringe pattern 405 is arranged on the entire surface of the pattern light, such as the pattern light 402, in a measurement method using spatial coding. On the other hand, the pattern light 401 of the present embodiment uses patterns having different intensities of the stripe pattern 403 based on the epipolar line 404.

ここで、撮像部と投影部の位置関係によって定められるエピポーラ拘束によって決定するエピポーラ線について、図5を用いて説明する。図5において、503は撮像部の主点であり、501は撮像素子である。また、504は投影部の主点であり、502は投影素子である。加えて、506は三次元空間で任意に選択した、三次元点である。ここで、撮像部主点503、投影部主点504、三次元点506がなす平面が509が定義できる。平面509が撮像素子501と交わる事で定義される線が撮像側のエピポーラ線507である。   Here, epipolar lines determined by epipolar constraints determined by the positional relationship between the imaging unit and the projection unit will be described with reference to FIG. In FIG. 5, reference numeral 503 denotes a main point of the imaging unit, and reference numeral 501 denotes an imaging element. Reference numeral 504 denotes a principal point of the projection unit, and 502 denotes a projection element. In addition, 506 is a three-dimensional point arbitrarily selected in a three-dimensional space. Here, a plane 509 defined by the imaging unit principal point 503, the projection unit principal point 504, and the three-dimensional point 506 can be defined. A line defined by the plane 509 intersecting with the image sensor 501 is an epipolar line 507 on the imaging side.

また、平面509が投影素子502と交わる事で定義される線が投影側のエピポーラ線508である。ここで、投影側のエピポーラ線508に配置されたパターンは、撮像部主点503、投影部主点504、三次元点506がなす平面上の三次元点であれば、撮像素子501内において撮像側のエピポーラ線507で撮像される事が分かる。本発明はこの原理を用いて、多重反射の影響を軽減する。   A line defined by the plane 509 intersecting the projection element 502 is a projection-side epipolar line 508. Here, if the pattern arranged on the epipolar line 508 on the projection side is a three-dimensional point on the plane formed by the imaging unit principal point 503, the projection unit principal point 504, and the three-dimensional point 506, imaging is performed in the imaging device 501. It can be seen that the image is picked up by the epipolar line 507 on the side. The present invention uses this principle to mitigate the effects of multiple reflections.

図4に戻り、図4では、エピポーラ線404を図示しているが、実際投影するパターンには表示されない。加えて、縞パターン403は、厳密にエピポーラ線に平行である必要はなく、略平行であればよい。さらにエピポーラ線404に基づいて、光の強度が異なる状態で投影される縞パターン403は、距離計測が可能なパターンであれば、本実施形態の投影パターンである必要はない。例えば、グリッドパターンでも良いし、正弦波パターンでも良い。   Returning to FIG. 4, the epipolar line 404 is illustrated in FIG. 4, but is not displayed in the pattern to be actually projected. In addition, the fringe pattern 403 does not have to be strictly parallel to the epipolar line, and may be substantially parallel. Furthermore, the fringe pattern 403 projected in a state where the light intensity is different based on the epipolar line 404 need not be the projection pattern of the present embodiment as long as the distance can be measured. For example, a grid pattern or a sine wave pattern may be used.

続いて、パターン光401を用いることで、多重反射の影響を軽減できる理由を図6(a)(b)を用いて説明する。   Next, the reason why the influence of multiple reflection can be reduced by using the pattern light 401 will be described with reference to FIGS.

まず、図6(a)を用いて、従来のパターン光による問題点について説明する。図6において、602はパターン光であり、603は計測用の縞パターンである。図6のパターン光402は、図4の402のような複数の縞を用いるパターンでもよいが、説明の為に単数の縞で構成された縞パターン603を用いて説明する。パターン光602を計測対象物体に対して投影し、撮像した画像は、601のような画像が撮像される。撮像された画像601には、縞パターン603が計測対象物体の表面で直接反射して撮像されたパターン604と、計測対象物体108の表面が凹面であり、凹面の中央605を中心に、多重反射によって鏡像が撮像されたパターン606が撮像されている。ここで、撮像されたパターン604と606は、撮像された時点で分離が困難である為、撮像されたパターン604と606を用いて三次元計測した場合、撮像されたパターン606は、ノイズとして作用し本来の計測対象物体の形状ではない形状情報を出力してしまう。   First, the problem with the conventional pattern light will be described with reference to FIG. In FIG. 6, reference numeral 602 denotes a pattern light, and reference numeral 603 denotes a measurement stripe pattern. The pattern light 402 in FIG. 6 may be a pattern using a plurality of stripes as in 402 in FIG. 4, but will be described using a stripe pattern 603 configured with a single stripe for the sake of explanation. The pattern light 602 is projected onto the measurement target object, and an image such as 601 is captured as the captured image. The captured image 601 includes a pattern 604 obtained by directly reflecting the fringe pattern 603 on the surface of the object to be measured, and a surface of the object to be measured 108 having a concave surface, and multiple reflections centering on the center 605 of the concave surface. Thus, a pattern 606 in which a mirror image is captured is captured. Here, since the captured patterns 604 and 606 are difficult to separate at the time of imaging, when the three-dimensional measurement is performed using the captured patterns 604 and 606, the captured pattern 606 acts as noise. However, shape information that is not the original shape of the measurement target object is output.

次に、本実施形態のパターン光が多重反射の影響を軽減できる事を、図6(b)を用いて説明する。   Next, the fact that the pattern light of this embodiment can reduce the influence of multiple reflection will be described with reference to FIG.

パターン光608は本実施のパターン光401のように複数の縞のパターンでもよいが、説明の為に単数の縞610で構成されたパターン光608を用いて説明する。ここで、607は撮像部101で撮像した画像であり、609はエピポーラ線である。   The pattern light 608 may be a pattern of a plurality of stripes as in the pattern light 401 of the present embodiment, but will be described using the pattern light 608 composed of a single stripe 610 for explanation. Here, reference numeral 607 denotes an image picked up by the image pickup unit 101, and reference numeral 609 denotes an epipolar line.

また、撮像画像607において、パターン光608が計測対象物体の表面で直接反射して撮像されたパターン614と、計測対象物体108の表面が凹面であり、凹面の中央605を中心に、多重反射によって鏡像が撮像されたパターン611が撮像される。   Further, in the captured image 607, the pattern light 608 is reflected directly on the surface of the measurement target object, and the pattern 614 is captured. The surface of the measurement target object 108 is concave, and the center 605 of the concave surface is the center. A pattern 611 in which a mirror image is captured is captured.

パターン611は異なる模様のパターン612と613で構成されているが、説明の為に付与した模様であり、実際に撮像されたパターンに模様が付与されているわけではない。ここで、パターン光608と撮像画像607は、エピポーラ線609により分割されている。   The pattern 611 includes patterns 612 and 613 having different patterns. However, the pattern 611 is provided for the purpose of explanation, and the pattern is not provided to the actually captured pattern. Here, the pattern light 608 and the captured image 607 are divided by the epipolar line 609.

つまり、撮像画像607において、計測対象物体108の表面で直接反射して撮像されたパターン614が撮像されている領域は、あらかじめ、エピポーラ線609で区切られた領域内である事が事前に判断できる。ここで、撮像された縞パターン612は、エピポーラ線609で区切られた領域において、縞パターン610が存在しない領域であるから、撮像された縞パターン612は計測対象物体の表面で多重反射して撮像されたパターンであると特定する事ができる。よって縞パターンは距離計測の対象から外す事が可能となる。   In other words, in the captured image 607, it can be determined in advance that the region where the pattern 614 captured by direct reflection on the surface of the measurement target object 108 is captured is within the region delimited by the epipolar line 609 in advance. . Here, since the imaged stripe pattern 612 is an area where the stripe pattern 610 does not exist in the area delimited by the epipolar line 609, the imaged stripe pattern 612 is imaged by multiple reflection on the surface of the measurement target object. It is possible to specify that the pattern has been changed. Therefore, the fringe pattern can be removed from the object of distance measurement.

また、縞パターン613は、計測対象物体108の表面で多重反射して撮像されたパターンであるが、エピポーラ線609で区切られる領域が、パターン光610と同一の領域の為、距離計測の対象から外す事はできない。よって、誤った距離計測結果を出力してしまう。以上より、本手法のパターン光は、撮像された縞パターン612,613のように撮像画像から除去可能なパターンと、除去不可能な縞パターンに分けられる。   The fringe pattern 613 is a pattern captured by multiple reflection on the surface of the measurement target object 108, but since the region delimited by the epipolar line 609 is the same region as the pattern light 610, it is from the target of distance measurement. It cannot be removed. Therefore, an incorrect distance measurement result is output. As described above, the pattern light of this method is divided into a pattern that can be removed from the captured image, such as the captured stripe patterns 612 and 613, and a stripe pattern that cannot be removed.

つまり撮像画像から縞パターン612を除去可能であり、除去不可能な縞パターン613は限定的であるため、従来のパターン光よりも(図6(a))本実施形態のパターン光が多重反射の影響を軽減できる。ここで、本発明は、撮像部と投影部の位置関係によって定められるエピポーラ拘束に基づいて、撮像画像中のパターンが、計測対象物体の表面で多重反射して撮像されたパターンであるが、計測対象物体の表面で直接反射して撮像されたパターンであるか判断するが、他の手法で計測対象物体の表面で多重反射して撮像されたパターンであるか、計測対象物体の表面で直接反射して撮像されたパターンであるか判断できれば、その手法と組み合わせて判断しても良い。例えば、三次元計測可能な装置を複数配置し、複数配置した三次元計測可能な装置の距離の傾向から、計測対象物体の表面で多重反射して撮像されたパターンであるか、計測対象物体の表面で直接反射して撮像されたパターンであるか判断しても良い。また、計測対象物体の表面で直接反射して撮像されたパターンであるか判断できれば、該当部分のパターンを消光または減光し、再度パターンを投射しても良い。   That is, since the striped pattern 612 can be removed from the captured image and the striped pattern 613 that cannot be removed is limited (FIG. 6A), the pattern light of this embodiment has multiple reflections. The impact can be reduced. Here, the present invention is a pattern in which the pattern in the captured image is captured by multiple reflection on the surface of the measurement target object based on the epipolar constraint determined by the positional relationship between the imaging unit and the projection unit. It is determined whether the pattern is reflected directly on the surface of the target object, but it is a pattern captured by multiple reflections on the surface of the measurement target object using another method, or is reflected directly on the surface of the measurement target object. As long as it is possible to determine whether the pattern has been picked up, it may be determined in combination with that method. For example, a plurality of three-dimensional measuring devices are arranged, and from the tendency of the distance between the plurality of three-dimensional measuring devices arranged, the pattern is a pattern captured by multiple reflections on the surface of the measurement target object, or the measurement target object It may be determined whether the pattern is directly reflected on the surface and imaged. Further, if it can be determined whether the pattern is reflected directly on the surface of the measurement target object, the pattern of the corresponding part may be extinguished or dimmed, and the pattern may be projected again.

本実施形態のパターン光生成部103は、複数のパターン光を時系列に切り替え投影するためのパターン光も生成可能である。図7を用いて本実施形態のパターン光の一例を説明する。   The pattern light generation unit 103 according to the present embodiment can also generate pattern light for switching and projecting a plurality of pattern lights in time series. An example of the pattern light of this embodiment will be described with reference to FIG.

パターン光生成部103が生成するパターン光はパターン群701のようなパターンでも良い。パターン群701はパターン光702〜706を用いて撮像空間を随時ニ分割するパターン光である。本発明のパターンはパターン群701のようなパターンに対して、パターン光702〜706何れのパターンをエピポーラ拘束に基づいて一部の光の強度を異なる状態にさせても良いが、図7ではパターン光706を分割する例を説明する。パターン光706はパターン光401のようにエピポーラ線404を基準に光の強度を異なる状態にさせている。なお、ここでいうパターン光の強度の変更とは、投影部の有する画素の輝度を変更(減光、消光、増光などを含む)することによって制御される。   The pattern light generated by the pattern light generation unit 103 may be a pattern like the pattern group 701. A pattern group 701 is pattern light that divides the imaging space as needed using pattern light 702 to 706. In the pattern of the present invention, any of the pattern lights 702 to 706 may be made to have different light intensities based on the epipolar constraint with respect to patterns such as the pattern group 701. In FIG. An example of dividing the light 706 will be described. The pattern light 706 has different light intensities based on the epipolar line 404 as in the pattern light 401. The change in the intensity of the pattern light referred to here is controlled by changing the luminance of the pixels of the projection unit (including dimming, extinction, and brightening).

ここで図8を用いて、本発明のパターン光生成部103から投影するパターンは、複数のパターンを投影する事で、距離計測が可能な範囲を拡大可能であることについて説明する。パターン光生成部103から投影するパターンは、図8のパターン光801のような、パターン光を投影しても良い。パターン光801はパターン光401の縞パターン403に対してエピポーラ線404で区切られる領域において、縞パターン403の強度が異なる領域に縞パターン802を配置している。このように配置することで、パターン光401で距離計測が不可能な領域を、パターン光801で補間し、距離計測が可能な範囲を拡大する事が可能である。   Here, it will be described with reference to FIG. 8 that the pattern projected from the pattern light generation unit 103 of the present invention can expand a range in which distance measurement is possible by projecting a plurality of patterns. The pattern projected from the pattern light generation unit 103 may project pattern light such as the pattern light 801 in FIG. In the pattern light 801, the fringe pattern 802 is arranged in an area where the intensity of the fringe pattern 403 is different in the area delimited by the epipolar line 404 with respect to the fringe pattern 403 of the pattern light 401. By arranging in this way, it is possible to interpolate an area where distance measurement is impossible with the pattern light 401 with the pattern light 801 and to expand the range where distance measurement is possible.

図1に戻り、制御部104は、パターン光生成部103によるパターンの投影タイミングを制御する。また、制御部104は、投影部102がパターンの投影を開始するタイミングに基づいて、撮像を開始するように撮像部101を制御する。   Returning to FIG. 1, the control unit 104 controls the pattern projection timing by the pattern light generation unit 103. The control unit 104 also controls the imaging unit 101 to start imaging based on the timing at which the projection unit 102 starts pattern projection.

記憶部105は、撮像部101から取得した撮像画像を記憶するメモリである。そしてその撮像画像を多重反射パターン除去部106へ出力する。   The storage unit 105 is a memory that stores a captured image acquired from the imaging unit 101. Then, the captured image is output to the multiple reflection pattern removal unit 106.

多重反射パターン除去部106は、記憶部105から取得した撮像画像から、多重反射によって生じたパターンを一部もしくは物体形状やパターン光に応じては全て除去する。ここで多重反射によって生じたパターンの除去方法について図6(b)を用いて説明する。   The multiple reflection pattern removal unit 106 removes a part of the pattern generated by the multiple reflection from the captured image acquired from the storage unit 105 or all of the pattern according to the object shape or pattern light. Here, a method for removing a pattern generated by multiple reflection will be described with reference to FIG.

図6(b)の多重反射によって生じたパターン611において、除去可能なパターンは612のようなエピポーラ線609によって分割されたパターン光において計測用パターン610が存在しない領域のパターンである。ここで、多重反射によって生じたパターンの除去は撮像画像607においてパターン612を撮像画像上から削除しても良いし、距離の算出時にパターン612が存在する領域を無視して、算出しても良い。   In the pattern 611 generated by the multiple reflection in FIG. 6B, the removable pattern is a pattern in a region where the measurement pattern 610 does not exist in the pattern light divided by the epipolar line 609 such as 612. Here, the removal of the pattern caused by the multiple reflection may be calculated by deleting the pattern 612 from the captured image in the captured image 607 or ignoring the region where the pattern 612 exists when calculating the distance. .

図1に戻り、距離算出部107は、多重反射パターン除去部106から入力されたパターンに基づいて、撮像部101により撮像される縞パターンの位置と、投影部102により投影される縞パターンの位置とを対応付ける。そして、対応付けられた縞パターン同士の位置に基づいて三角測量の原理で距離を算出する。   Returning to FIG. 1, the distance calculation unit 107 determines the position of the fringe pattern imaged by the imaging unit 101 and the position of the fringe pattern projected by the projection unit 102 based on the pattern input from the multiple reflection pattern removal unit 106. Is associated. Then, the distance is calculated based on the triangulation principle based on the positions of the associated stripe patterns.

次に、図9のフローチャートを参照して、本実施の形態に係る距離計測装置の処理の手順を説明する。   Next, with reference to the flowchart of FIG. 9, the process procedure of the distance measuring device according to the present embodiment will be described.

(ステップS901)
ステップS901では、制御部104からの制御信号に基づいて、パターン光生成部103で生成されたパターン光を投影部102から計測対象物体108に向けて投影する。
(Step S901)
In step S <b> 901, the pattern light generated by the pattern light generation unit 103 is projected from the projection unit 102 toward the measurement target object 108 based on the control signal from the control unit 104.

(ステップS902)
ステップS902では、制御部104からの制御信号を用いて、投影部102から投影に同期して撮像部101を用いて計測対象物体108を撮像する。
(Step S902)
In step S902, the measurement target object 108 is imaged using the imaging unit 101 in synchronization with the projection from the projection unit 102 using the control signal from the control unit 104.

(ステップS903)
ステップS903では、撮像した画像を記憶部105に保存する。
(Step S903)
In step S903, the captured image is stored in the storage unit 105.

(ステップS904)
ステップS904では、パターン光生成部103で生成されたパターン光を投影部102から全て投影したかどうか(パターン終了)を判断する。投影されていないパターン光が存在したら、ステップS901に戻る。パターン光生成部103で投影されていないパターン光が存在しないのであれば、ステップS905の処理に進む。
(Step S904)
In step S904, it is determined whether or not all the pattern light generated by the pattern light generation unit 103 has been projected from the projection unit 102 (pattern end). If there is pattern light that is not projected, the process returns to step S901. If there is no pattern light that is not projected by the pattern light generation unit 103, the process proceeds to step S905.

(ステップS905)
ステップS905では、記憶部105から撮像画像を読み出し、多重反射パターン除去部106で、多重反射によって生じたパターンの一部または全てを除去する。
(Step S905)
In step S905, the captured image is read from the storage unit 105, and the multiple reflection pattern removal unit 106 removes part or all of the pattern generated by the multiple reflection.

(ステップS906)
ステップS906では、多重反射パターン除去部106から出力された画像情報を用いて距離算出部107で、三角測量の原理で距離を算出する。
(Step S906)
In step S906, the distance calculation unit 107 calculates the distance based on the principle of triangulation using the image information output from the multiple reflection pattern removal unit 106.

(ステップS907)
ステップS907では、距離算出部107で算出された距離結果を出力する。
(Step S907)
In step S907, the distance result calculated by the distance calculation unit 107 is output.

以上で図9のフローチャートの各処理が終了する。   Thus, each process of the flowchart of FIG. 9 ends.

以上説明したように、第1の実施形態によれば、カメラとプロジェクタのエピポーラ拘束に基づいて、計測対象物体に投影するパターン光を領域分割し、該分割されたパターン光を順次投影することにより、多重反射の影響を軽減することができる。   As described above, according to the first embodiment, the pattern light to be projected onto the measurement target object is divided into regions based on the epipolar constraint of the camera and the projector, and the divided pattern light is sequentially projected. The influence of multiple reflections can be reduced.

[第2の実施形態]
第2の実施形態に係る距離計測装置は、第1の実施形態で説明した距離計測装置10の構成と比較して、パターン光生成部103から投影されるパターン光以外は同様である。したがって、本実施形態に係る距離計測装置のパターン光生成部103について、図10を用いて説明する。
[Second Embodiment]
The distance measurement device according to the second embodiment is the same as the configuration of the distance measurement device 10 described in the first embodiment except for the pattern light projected from the pattern light generation unit 103. Therefore, the pattern light generation unit 103 of the distance measuring apparatus according to the present embodiment will be described with reference to FIG.

本実施形態に係る距離計測装置のパターン光生成部103で生成されるパターン光は、図10のパターン光1001のようなパターンである。パターン光1001はエピポーラ線1004で分割される領域において、光の波長が異なる1002と1003で構成されている。パターン光1001を投影し、投影部102で投影し、計測対象物体108で反射された光を撮像部101で波長分離を行い記憶部に格納する。撮像部101での波長分離の方法は、撮像部101に内蔵されている撮像素子上に構成されたカラーフィルターを用いても良いし、撮像部101に波長分離の為のプリズムを配置し、波長分離しても良い。また、撮像部101を複数配置し、それぞれの撮像部の内部にカラーフィルターを配置し波長分離しても良い。つまり、パターン光1001を用いる事で、第1の実施形態で説明した図8のパターン光401、801はパターン光を2枚用いる事で、多重反射の軽減しつつ三次元計測範囲を拡大可能であるが、本実施形態のパターン光は、パターン光1枚で多重反射の軽減しつつ距離計測が可能な範囲を拡大可能である。   The pattern light generated by the pattern light generation unit 103 of the distance measuring apparatus according to the present embodiment is a pattern like the pattern light 1001 in FIG. The pattern light 1001 is composed of 1002 and 1003 having different light wavelengths in the region divided by the epipolar line 1004. The pattern light 1001 is projected, projected by the projection unit 102, and the light reflected by the measurement target object 108 is subjected to wavelength separation by the imaging unit 101 and stored in the storage unit. As a method of wavelength separation in the imaging unit 101, a color filter configured on an imaging element incorporated in the imaging unit 101 may be used, or a wavelength separation prism is disposed in the imaging unit 101, and the wavelength May be separated. Alternatively, a plurality of imaging units 101 may be arranged, and a color filter may be arranged inside each imaging unit to perform wavelength separation. In other words, by using the pattern light 1001, the pattern light 401 and 801 in FIG. 8 described in the first embodiment can use two pattern lights, thereby expanding the three-dimensional measurement range while reducing multiple reflections. However, the pattern light of this embodiment can expand the range in which distance measurement can be performed while reducing multiple reflections with one pattern light.

以上説明したように、第2の実施形態によれば、カメラとプロジェクタのエピポーラ拘束に基づいて、計測対象物体に投影するパターン光の領域を領域分割し、該分割された領域のパターン光の波長を変更することで、1つのパターン光の投影でも、多重反射の影響を軽減することができる。なお、必ずしも、分割された領域全ての波長を異なるものにする必要はなく、少なくとも隣接する領域のパターン光の波長を変更することで、本実施形態の効果を奏することができる。   As described above, according to the second embodiment, the pattern light region projected onto the measurement target object is divided into regions based on the epipolar constraint of the camera and the projector, and the wavelength of the pattern light in the divided region is divided. By changing, it is possible to reduce the influence of multiple reflections even when one pattern light is projected. Note that the wavelengths of all the divided regions do not necessarily have to be different, and the effect of the present embodiment can be achieved by changing the wavelength of the pattern light in at least the adjacent regions.

[第3の実施形態]
本実施形態に係る距離計測装置は、第1の実施形態で説明した距離計測装置10の構成と比較して、パターン光生成部103から投影されるパターン以外は同様である。よって、本実施形態に係る距離計測装置のパターン光生成部103について、図11(a)(b)を用いて説明する。
[Third Embodiment]
The distance measurement device according to the present embodiment is the same as the configuration of the distance measurement device 10 described in the first embodiment except for the pattern projected from the pattern light generation unit 103. Therefore, the pattern light generation unit 103 of the distance measuring apparatus according to the present embodiment will be described with reference to FIGS.

本実施形態に係る距離計測装置のパターン光生成部103で生成されるパターン光は、図11(a)のパターン光A1102、パターン光B1103のようなパターン光である。ここで、撮像画像1101は計測対象物体1111を撮像した画像である。ここで、計測対象物体1111の撮像は投影部102から、一様な光を投影して得た画像でも良いし、計測対象物体1111が存在する環境の照明を用いても良い。   The pattern light generated by the pattern light generation unit 103 of the distance measuring apparatus according to the present embodiment is pattern light such as the pattern light A1102 and the pattern light B1103 in FIG. Here, the captured image 1101 is an image obtained by capturing the measurement target object 1111. Here, the imaging of the measurement target object 1111 may be an image obtained by projecting uniform light from the projection unit 102, or illumination in an environment where the measurement target object 1111 exists may be used.

次に、撮像画像1101撮像された計測対象物体1111において、撮像画像の光の強度の情報もしくは、光の波長の情報もしくは、光の偏光の情報もしくは、それらの組み合わせを用いて計測対象物体1111を複数の領域に分割する。光の強度の情報もしくは、光の波長の情報もしくは、光の偏光の情報もしくは、その組み合わせの情報を用いて画像の分割する方法は、領域成長法、平均値シフト法、グラフカットなど一般的な公知の画像分割方法が使用できる。分割された領域は1104、1105、1106である。   Next, in the measurement target object 1111 picked up by the picked-up image 1101, the measurement target object 1111 is set using light intensity information, light wavelength information, light polarization information, or a combination thereof. Divide into multiple areas. A method of dividing an image using information on light intensity, information on light wavelength, information on polarization of light, or information on a combination thereof is a general method such as a region growth method, an average value shift method, or a graph cut. A known image dividing method can be used. The divided areas are 1104, 1105, and 1106.

領域1104、1105、1106のように分割する意図は、多重反射が計測対象物体の面と面との間に生じる現象であることから、計測対象物体を面ごとに分割し処理する事で多重反射を低減する意図がある。   The intention to divide into areas 1104, 1105, and 1106 is a phenomenon in which multiple reflection occurs between the surfaces of the measurement target object, and therefore multiple reflections are performed by dividing and processing the measurement target object for each surface. Is intended to reduce

被写体1111の概略の形状情報と概略の位置姿勢が既知である場合には、撮像画像1101を撮影する必要はなく、パターン光生成部103において、概略の形状情報と概略の位置姿勢を用いて被写体1111の面を推定することができる。概略の形状情報とは、例えば被写体1111のCADモデルや被写体1111表面の三次元座標の集合である。   When the approximate shape information and approximate position and orientation of the subject 1111 are known, it is not necessary to capture the captured image 1101, and the pattern light generation unit 103 uses the approximate shape information and approximate position and orientation. The surface of 1111 can be estimated. The rough shape information is, for example, a CAD model of the subject 1111 or a set of three-dimensional coordinates on the surface of the subject 1111.

次に、分割された領域1104〜1106に対してエピポーラ線1110を用いてパターン光の強度を異なる状態する。ここで、各領域に対してエピポーラ線1110に従いパターンを定義する。   Next, the intensity of the pattern light is changed using the epipolar line 1110 for the divided regions 1104 to 1106. Here, a pattern is defined according to the epipolar line 1110 for each region.

領域1104に対しては、縞パターン1107、領域1105に対しては、1109、領域1106に対しては、1108が定義される。もちろん、多重反射は複数の面で生じる現象である為、各面に対して、縞パターン1107、1108、1109をそれぞれ独立したパターン光として投影しても良い。パターン光A1102のように連続する面、例えば1104と1105とに対応するパターン光1107と1109とを同時に投影することを避けた意図は、多重反射の起こりやすい領域は、空間的に近い面である事を利用し、多重反射を軽減可能な面積を向上させる為である。   A stripe pattern 1107 is defined for the area 1104, 1109 is defined for the area 1105, and 1108 is defined for the area 1106. Of course, since multiple reflection is a phenomenon that occurs on a plurality of surfaces, the stripe patterns 1107, 1108, and 1109 may be projected as independent pattern lights on each surface. The intention to avoid simultaneously projecting pattern light 1107 and 1109 corresponding to 1104 and 1105, such as pattern light A1102, is that the region where multiple reflections are likely to occur is a spatially close surface. This is to improve the area where multiple reflection can be reduced.

さらに図11(b)を用いて本実施形態の効果について説明する。図11(b)は図11(a)で説明した計測対象物体1111に対して、パターン光B1103を投影して撮像した撮像画像1112である。さらに、パターン光B1103が投影された計測対象物体1111を撮像部101によって撮像された縞パターンが1114であり、多重反射によって発生したパターンは1113である。ここで、エピポーラ線1110によって、縞パターン1109が照射されるべき撮像画像上での位置は既知のため、多重反射によって発生したパターン1113を除去する事ができる。   Furthermore, the effect of this embodiment is demonstrated using FIG.11 (b). FIG. 11B illustrates a captured image 1112 obtained by projecting the pattern light B1103 onto the measurement target object 1111 described with reference to FIG. Further, a stripe pattern obtained by imaging the measurement target object 1111 onto which the pattern light B1103 is projected by the imaging unit 101 is 1114, and a pattern generated by multiple reflection is 1113. Here, since the position on the captured image to be irradiated with the stripe pattern 1109 is known by the epipolar line 1110, the pattern 1113 generated by the multiple reflection can be removed.

次に、図12のフローチャートを参照して、本実施形態に係る距離計測装置の処理の手順を説明する。   Next, with reference to the flowchart of FIG. 12, the procedure of the process of the distance measuring device according to the present embodiment will be described.

(ステップS1201)
ステップS1201では、撮像部101の画像を制御部104に出力し、制御部104で撮像画像を撮像画像の光の強度の情報もしくは、光の波長の情報もしくは、光の偏光の情報、またその組み合わせを用いて、図11(a)の1104〜1106のように複数の領域に分割する。分割された領域の情報に基づいて、図11(a)のパターン光A1102、パターン光B1103のようなパターン光をパターン光生成部103でパターン光を生成する。
(Step S1201)
In step S1201, the image of the imaging unit 101 is output to the control unit 104, and the control unit 104 converts the captured image into light intensity information, light wavelength information, light polarization information, or a combination thereof. Is used to divide into a plurality of regions as shown in 1104 to 1106 in FIG. Based on the information of the divided areas, the pattern light generation unit 103 generates pattern light such as the pattern light A1102 and the pattern light B1103 in FIG.

(ステップS1202)
ステップS1202では、パターン光生成部は103の制御部104からの制御信号に基づいて、パターン光生成部103で生成されたパターン光を投影部102から計測対象物体108に向けて投影する。
(Step S1202)
In step S <b> 1202, the pattern light generation unit projects the pattern light generated by the pattern light generation unit 103 from the projection unit 102 toward the measurement target object 108 based on the control signal from the control unit 104 of 103.

(ステップS1203)
ステップS1203では、さらに、制御部104からの制御信号を用いて、投影部102から投影に同期して撮像部101を用いて計測対象物体108を撮像する。
(Step S1203)
In step S1203, the measurement target object 108 is imaged using the imaging unit 101 in synchronization with the projection from the projection unit 102 using the control signal from the control unit 104.

(ステップS1204)
ステップS1204では、撮像した画像を記憶部105に保存する。
(Step S1204)
In step S1204, the captured image is stored in the storage unit 105.

(ステップS1205)
ステップS1205では、パターン光生成部103で生成されたパターンを投影部102から全て投影したかどうか(パターン終了)を判断する。投影されていないパターン光が存在したら、ステップS1202に戻る。
(Step S1205)
In step S1205, it is determined whether all the patterns generated by the pattern light generation unit 103 have been projected from the projection unit 102 (pattern end). If there is pattern light that is not projected, the process returns to step S1202.

パターン光生成部103で投影されていないパターン光が存在しないのであれば、ステップS1206の処理に進む。   If there is no pattern light that is not projected by the pattern light generation unit 103, the process proceeds to step S1206.

(ステップS1206)
ステップS1206では、記憶部105から撮像画像を読み出し、多重反射パターン除去部106で、多重反射パターンの一部または全てを除去する。
(Step S1206)
In step S1206, the captured image is read from the storage unit 105, and the multiple reflection pattern removal unit 106 removes part or all of the multiple reflection pattern.

(ステップS1207)
ステップステップS1207では、多重反射パターン除去部106から出力された画像情報を用いて距離算出部107で、三角測量の原理で距離を算出する。ステップS1208では距離算出部107で算出された距離計測結果を出力する。以上で図11のフローチャートの各処理が終了する。
(Step S1207)
In step S1207, the distance calculation unit 107 calculates the distance based on the principle of triangulation using the image information output from the multiple reflection pattern removal unit 106. In step S1208, the distance measurement result calculated by the distance calculation unit 107 is output. Thus, the processes in the flowchart of FIG. 11 are completed.

また、本発明の距離計測装置は、計測対象物体1111の位置姿勢を変更して、図12のフローチャートの処理を再度実行し、複数回三次元計測しても良い。   Further, the distance measuring apparatus of the present invention may change the position and orientation of the measurement target object 1111 and execute the process of the flowchart of FIG. 12 again to perform three-dimensional measurement a plurality of times.

以上説明したように、第3の実施形態によれば、計測対象物体を撮像した撮像画像に基づいて、撮像画像の面を特定し、該特定された面とエピポーラ拘束とに基づいて、計測対象物体に投影するパターン光の領域を領域分割する。本実施形態は、多重反射の影響を軽減することができる。   As described above, according to the third embodiment, the surface of the captured image is identified based on the captured image obtained by capturing the measurement target object, and the measurement target is determined based on the identified surface and the epipolar constraint. The area of the pattern light projected onto the object is divided into areas. This embodiment can reduce the influence of multiple reflection.

尚、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(コンピュータプログラム)を、ネットワーク又は各種記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。   The present invention can also be realized by executing the following processing. That is, software (computer program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and the computer (or CPU, MPU, etc.) of the system or apparatus reads the program. To be executed.

10 距離計測装置
101 撮像部
102 投影部
103 パターン光生成部
104 制御部
105 記憶部
106 多重反射パターン除去部
107 距離算出部
DESCRIPTION OF SYMBOLS 10 Distance measuring device 101 Imaging part 102 Projection part 103 Pattern light generation part 104 Control part 105 Storage part 106 Multiple reflection pattern removal part 107 Distance calculation part

Claims (10)

対象物体にパターン光を投影する投影手段と、
前記パターン光が投影された前記対象物体を撮像する撮像手段と、
前記撮像手段で撮像された画像に基づいて、前記投影手段または前記撮像手段から、前記計測対象物体までの距離を取得する取得手段と、
前記投影手段と前記撮像手段との位置関係に基づいて、前記投影手段が投影するパターン光を決定する決定手段とを備えることを特徴とする距離計測装置。
Projection means for projecting pattern light onto a target object;
Imaging means for imaging the target object onto which the pattern light is projected;
An acquisition unit that acquires a distance from the projection unit or the imaging unit to the measurement target object based on an image captured by the imaging unit;
A distance measuring apparatus comprising: a determining unit that determines pattern light to be projected by the projecting unit based on a positional relationship between the projecting unit and the imaging unit.
前記決定手段は、前記投影手段と前記撮像手段との位置関係に基づいて決定されるエピポーラ拘束に基づいて、前記パターン光を決定することを特徴とする請求項1に記載の距離計測装置。   The distance measuring apparatus according to claim 1, wherein the determining unit determines the pattern light based on epipolar constraint determined based on a positional relationship between the projecting unit and the imaging unit. 前記決定手段は、前記投影手段と前記撮像手段との位置関係に基づいて、前記パターン光のパターンを複数の領域に分割することで、複数のパターン光を生成し、
前記投影手段は、前記生成された複数のパターン光を順次投影することを特徴とする請求項1または2に記載の距離計測装置。
The determination unit generates a plurality of pattern lights by dividing the pattern light pattern into a plurality of regions based on a positional relationship between the projection unit and the imaging unit,
The distance measuring apparatus according to claim 1, wherein the projecting unit sequentially projects the generated plurality of pattern lights.
前記決定手段は、前記投影手段と前記撮像手段との位置関係に基づいて、前記パターン光のパターンの一部の領域に含まれる画素の波長を、前記パターン光のパターンのその他の領域に含まれる画素と異ならせることを特徴とする請求項1乃至3のいずれか1項に記載の距離計測装置。   The determining means includes, based on the positional relationship between the projection means and the imaging means, the wavelength of a pixel included in a partial area of the pattern light pattern included in the other area of the pattern light pattern. The distance measuring device according to claim 1, wherein the distance measuring device is different from a pixel. 前記決定手段は、前記投影手段と前記撮像手段の位置関係に基づいて、前記パターン光のうちの一部の領域の輝度を変更することを特徴とする請求項1乃至3のいずれか1項に記載の距離計測装置。   The said determination means changes the brightness | luminance of the one part area | region of the said pattern light based on the positional relationship of the said projection means and the said imaging means, The any one of Claim 1 thru | or 3 characterized by the above-mentioned. The described distance measuring device. 前記決定手段は、前記投影手段と前記撮像手段との位置関係と前記対象物体を撮像した撮像画像とに基づいて、前記投影手段によって投影されるパターン光を決定することを特徴とする請求項1乃至5のいずれか1項に記載の距離計測装置。   The determining unit determines pattern light projected by the projecting unit based on a positional relationship between the projecting unit and the imaging unit and a captured image obtained by capturing the target object. The distance measuring device according to any one of 1 to 5. 前記決定手段は、前記投影手段と前記撮像手段との位置関係と前記対象物体の形状情報と前記対象物体の概略の位置姿勢とに基づいて、前記投影手段によって投影されるパターン光を決定することを特徴とする請求項1乃至5のいずれか1項に記載の距離計測装置。   The determining unit determines pattern light projected by the projecting unit based on a positional relationship between the projecting unit and the imaging unit, shape information of the target object, and an approximate position and orientation of the target object. The distance measuring device according to claim 1, wherein: 投影手段が、対象物体にパターン光を投影する投影工程と、
撮像手段が、前記パターン光が投影された前記計測対象物体を撮像する撮像工程と、
計測手段が、前記撮像手段で撮像された画像に基づいて、前記投影手段または前記撮像手段から、前記計測対象物体までの距離を取得する取得工程と、
前記投影手段と前記撮像手段との位置関係に基づいて、前記投影手段により投影されるパターン光を決定する決定工程とを有することを特徴とする距離計測方法。
A projecting step for projecting pattern light onto a target object;
An imaging step in which an imaging unit images the measurement target object onto which the pattern light is projected;
An acquisition step in which a measurement unit acquires a distance from the projection unit or the imaging unit to the measurement target object based on an image captured by the imaging unit;
A distance measuring method comprising: a determining step of determining pattern light projected by the projecting unit based on a positional relationship between the projecting unit and the imaging unit.
コンピュータに請求項8に記載の距離計測方法を実行させるためのコンピュータプログラム。   A computer program for causing a computer to execute the distance measuring method according to claim 8. 請求項9に記載のコンピュータプログラムを記憶したコンピュータが読み取り可能な記憶媒体。   A computer-readable storage medium storing the computer program according to claim 9.
JP2012267556A 2012-12-06 2012-12-06 Distance measuring device Pending JP2014115108A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012267556A JP2014115108A (en) 2012-12-06 2012-12-06 Distance measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012267556A JP2014115108A (en) 2012-12-06 2012-12-06 Distance measuring device

Publications (1)

Publication Number Publication Date
JP2014115108A true JP2014115108A (en) 2014-06-26

Family

ID=51171278

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012267556A Pending JP2014115108A (en) 2012-12-06 2012-12-06 Distance measuring device

Country Status (1)

Country Link
JP (1) JP2014115108A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017126192A (en) * 2016-01-14 2017-07-20 セイコーエプソン株式会社 Image recognition device, image recognition method and image recognition unit
WO2017122534A1 (en) * 2016-01-13 2017-07-20 セイコーエプソン株式会社 Image recognition device, image recognition method, and image recognition unit
WO2017122634A1 (en) * 2016-01-13 2017-07-20 セイコーエプソン株式会社 Image recognition device, image recognition method, and image recognition unit
WO2018079030A1 (en) * 2016-10-27 2018-05-03 三菱電機株式会社 Distance measurement apparatus, distance measurement method, and distance measurement program
JP2019090782A (en) * 2017-06-20 2019-06-13 株式会社ミツトヨ Three-dimensional shape measuring device and three-dimensional shape measuring method
JP2019133344A (en) * 2018-01-30 2019-08-08 ファナック株式会社 Workpiece image creating device
CN110906884A (en) * 2018-09-14 2020-03-24 株式会社三丰 Three-dimensional geometry measuring apparatus and three-dimensional geometry measuring method

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10775936B2 (en) 2016-01-13 2020-09-15 Seiko Epson Corporation Image recognition device, image recognition method and image recognition unit
WO2017122634A1 (en) * 2016-01-13 2017-07-20 セイコーエプソン株式会社 Image recognition device, image recognition method, and image recognition unit
CN108475145B (en) * 2016-01-13 2021-06-22 精工爱普生株式会社 Image recognition device, image recognition method, and image recognition unit
JP2017126182A (en) * 2016-01-13 2017-07-20 セイコーエプソン株式会社 Image recognition device, image recognition method and image recognition unit
WO2017122534A1 (en) * 2016-01-13 2017-07-20 セイコーエプソン株式会社 Image recognition device, image recognition method, and image recognition unit
CN108475145A (en) * 2016-01-13 2018-08-31 精工爱普生株式会社 Pattern recognition device, image-recognizing method and image identification unit
US20190025986A1 (en) * 2016-01-13 2019-01-24 Seiko Epson Corporation Image recognition device, image recognition method and image recognition unit
JP2017126870A (en) * 2016-01-13 2017-07-20 セイコーエプソン株式会社 Image recognition device, image recognition method, and image recognition unit
JP2017126192A (en) * 2016-01-14 2017-07-20 セイコーエプソン株式会社 Image recognition device, image recognition method and image recognition unit
WO2017122676A1 (en) * 2016-01-14 2017-07-20 セイコーエプソン株式会社 Image recognition device, image recognition method, and image recognition unit
CN108475147A (en) * 2016-01-14 2018-08-31 精工爱普生株式会社 Pattern recognition device, image-recognizing method and image identification unit
WO2018079030A1 (en) * 2016-10-27 2018-05-03 三菱電機株式会社 Distance measurement apparatus, distance measurement method, and distance measurement program
JPWO2018079030A1 (en) * 2016-10-27 2019-03-28 三菱電機株式会社 Distance measuring device, distance measuring method, and distance measuring program
JP2019090782A (en) * 2017-06-20 2019-06-13 株式会社ミツトヨ Three-dimensional shape measuring device and three-dimensional shape measuring method
JP7186019B2 (en) 2017-06-20 2022-12-08 株式会社ミツトヨ Three-dimensional shape measuring device and three-dimensional shape measuring method
JP2019133344A (en) * 2018-01-30 2019-08-08 ファナック株式会社 Workpiece image creating device
US11004190B2 (en) 2018-01-30 2021-05-11 Fanuc Corporation Workpiece image generation device for generating surface image of machined workpiece
CN110906884A (en) * 2018-09-14 2020-03-24 株式会社三丰 Three-dimensional geometry measuring apparatus and three-dimensional geometry measuring method
JP2020046229A (en) * 2018-09-14 2020-03-26 株式会社ミツトヨ Three-dimensional measuring device and three-dimensional measuring method
JP7219034B2 (en) 2018-09-14 2023-02-07 株式会社ミツトヨ Three-dimensional shape measuring device and three-dimensional shape measuring method
CN110906884B (en) * 2018-09-14 2023-02-24 株式会社三丰 Three-dimensional geometry measuring apparatus and three-dimensional geometry measuring method

Similar Documents

Publication Publication Date Title
JP5576726B2 (en) Three-dimensional measuring apparatus, three-dimensional measuring method, and program
JP2014115108A (en) Distance measuring device
US8199335B2 (en) Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring program, and recording medium
US10105906B2 (en) Structured light generating device and measuring system and method
KR102149707B1 (en) 3D shape measurement device, 3D shape measurement method and program
JP4830871B2 (en) 3D shape measuring apparatus and 3D shape measuring method
JP2009019941A (en) Shape measuring method
JP6418884B2 (en) Three-dimensional measuring apparatus, three-dimensional measuring method and program
JP2009115612A (en) Three-dimensional shape measuring device and three-dimensional shape measurement method
JP6351201B2 (en) Distance measuring device and method
JP4516949B2 (en) Three-dimensional shape measuring apparatus and three-dimensional shape measuring method
JP6104662B2 (en) Measuring device, method and program
JP2020004085A (en) Image processor, image processing method and program
JP2008145139A (en) Shape measuring device
JP6975106B2 (en) 3D shape measurement system, 3D shape measurement method, and 3D shape measurement program
JP4797109B2 (en) Three-dimensional shape measuring apparatus and three-dimensional shape measuring method
JP2019159872A (en) Arithmetic unit, control method for arithmetic unit, and computer program
JP2010175554A (en) Device and method for measuring three-dimensional shape
JP2015102532A (en) Three-dimensional shape measurement device
JP6567199B2 (en) Distance measuring device, distance measuring method, and distance measuring program
JP5743433B2 (en) 3D shape measuring device
JP4944633B2 (en) Three-dimensional shape measuring apparatus and three-dimensional shape measuring method
JP5968370B2 (en) Three-dimensional measuring apparatus, three-dimensional measuring method, and program
WO2013035847A1 (en) Shape measurement device, structure manufacturing system, shape measurement method, structure manufacturing method, shape measurement program, and computer-readable recording medium
JP2009216650A (en) Three-dimensional shape measuring device