JP2013257162A - Distance measuring device - Google Patents
Distance measuring device Download PDFInfo
- Publication number
- JP2013257162A JP2013257162A JP2012131819A JP2012131819A JP2013257162A JP 2013257162 A JP2013257162 A JP 2013257162A JP 2012131819 A JP2012131819 A JP 2012131819A JP 2012131819 A JP2012131819 A JP 2012131819A JP 2013257162 A JP2013257162 A JP 2013257162A
- Authority
- JP
- Japan
- Prior art keywords
- light
- diffraction pattern
- distance
- distance measuring
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
Description
本発明は、計測対象に回折パターン光を投光するパターン照明装置を備えた測距装置に関する。 The present invention relates to a distance measuring device including a pattern illumination device that projects diffraction pattern light onto a measurement target.
従来、計測(測距)対象物を2つのカメラで撮影し、得られた2つの画像を用いて計測対象までの距離情報を得る「ステレオ測距」と呼ばれる技術が知られている。
このような「ステレオ測距」を適用した測距装置は、自走式のロボットや可動式のロボットアームに好適に用いることが出来る。
「ステレオ測距」では、2つの画像間に生じる視差を利用して、三角測量の原理により奥行き距離を算出するが、ステレオ測距において視差を求めるためには、ウィンドウマッチングを行って各画像において互いに対応する点(対応点)を探し出す必要がある。
2. Description of the Related Art Conventionally, a technique called “stereo distance measurement” is known in which a measurement (distance measurement) object is photographed by two cameras and distance information to the measurement object is obtained using the two obtained images.
Such a distance measuring apparatus to which “stereo distance measurement” is applied can be suitably used for a self-propelled robot or a movable robot arm.
In “stereo ranging”, the depth distance is calculated based on the principle of triangulation using the parallax generated between two images. To obtain the parallax in stereo ranging, window matching is performed on each image. It is necessary to find points corresponding to each other (corresponding points).
図14、図15は、「ステレオ測距」で用いられる三角測量の原理を利用した測距方法の原理を説明する図である。
「ステレオ測距」を用いた測距方法においては、1対の2次元センサと1対のレンズとを組み合わせることにより2つのカメラを構成して、計測対象物のずれ(視差)を検出して三角測量の原理で距離を計測する。
図14に示すステレオカメラ装置106において、計測対象物101からの光を、同一の光学系からなる2つのカメラ102a、102bを配置して撮影する場合を考える。
カメラ102aのレンズ103aを通して得た計測対象物像104aと、カメラ102bのレンズ103bを通して得た計測対象物像104bとは、被写体(計測対象物101)上の同一点が視差Δだけずれて、2次元センサ105a、105b(図15)にそれぞれ至り、複数の受光素子(画素)で受光され、電気信号に変換される。
14 and 15 are diagrams for explaining the principle of a distance measuring method using the principle of triangulation used in “stereo distance measurement”.
In the distance measurement method using “stereo distance measurement”, a pair of two-dimensional sensors and a pair of lenses are combined to form two cameras to detect a deviation (parallax) of a measurement object. The distance is measured by the principle of triangulation.
Consider the case where the
The
ここでレンズ103a、103bの光軸間の距離は基線長と呼ばれ、これをDとし、レンズと被写体との距離をA、レンズの焦点距離をfとしたとき、A≫fであるときには次式1が成り立つ。
[式1]
A=Df/Δ
基線長D、およびレンズの焦点距離fは既知であるから、[式1]を用いて視差Δを検出すれば被写体までの距離Aを算出することができる。
なお、上記の方法は、2つの2次元センサに映った計測対象物101を、画素の輝度値の分布特性に基づいて対応点を探し出す方法である。
従って、計測対象物101が単一色の表面をもつ物体で、表面の輝度分布が一様であり撮影画像において輝度値に変化が生じ難い場合は、対応づけを行うことが困難になり(即ち、図15に示す対応点104cを検知できないため)、距離を算出できなくなる。
Here, the distance between the optical axes of the
[Formula 1]
A = Df / Δ
Since the baseline length D and the focal length f of the lens are known, the distance A to the subject can be calculated by detecting the parallax Δ using [Equation 1].
In addition, said method is a method of searching the corresponding point for the
Therefore, when the
かかる問題に対し、特許文献1、特許文献2には、計測対象の表面に向けて所定の投光パターンを投光して計測対象の表面に模様を付けることにより、上記の問題を解消する技術が開示されている。
特許文献1には、ステレオカメラを用いた距離計測装置において、投光パターンを照明する手段を設けた構成が開示されており、本文献に開示の技術では、パターンあるいは撮影画像に基づいて、適切な投光パターンを投光する構成とすることで、撮影画像において輝度値に変化が生じ難い対象物に対しても高精度な距離画像が得られるようにしている。
In order to deal with this problem, Patent Document 1 and
Patent Document 1 discloses a configuration in which a means for illuminating a projection pattern is provided in a distance measuring device using a stereo camera. In the technique disclosed in this document, an appropriate method is used based on a pattern or a captured image. By adopting a configuration in which a simple light projection pattern is projected, a highly accurate distance image can be obtained even for an object whose luminance value hardly changes in a captured image.
しかしながら特許文献1に記載されている装置は、ステレオカメラによる撮影領域(測距可能領域)とパターン照明装置によるパターン照明領域は、特定の距離の時には重なるが、それ以外の距離では重ならなくなってしまうという問題がある。例えば、工場の検査ラインのようにカメラが固定されて決まった距離を測る場合には適用できるが、自走式のロボットや可動式のロボットアームに搭載して近距離(1m以下)から中距離(5m程度)までの幅広い距離を測る用途には適していない。すなわち、測距対象物がある決まった距離にある場合以外は、精度良く測距を行うことができない。
本発明は、上記の問題点を鑑みてなされたものであり、測距対象物との距離に関わらず測距可能エリアの全体で回折パターン光を利用した精度の良い測距が可能な測距装置を提供することを目的とする。
However, in the device described in Patent Document 1, the shooting area (range measurement possible area) by the stereo camera and the pattern illumination area by the pattern illumination device overlap at a specific distance, but do not overlap at other distances. There is a problem of end. For example, it can be applied when measuring a fixed distance with a fixed camera as in a factory inspection line, but it can be mounted on a self-propelled robot or a movable robot arm, and it can be applied from a short distance (1 m or less) to a medium distance. It is not suitable for applications that measure a wide distance up to (about 5m). That is, unless the object to be measured is at a certain distance, the distance cannot be measured with high accuracy.
The present invention has been made in view of the above-described problems, and can perform distance measurement with high accuracy using diffraction pattern light in the entire distance measurement area regardless of the distance to the distance measurement object. An object is to provide an apparatus.
上記の課題を解決するために、請求項1に係る発明は、被写体に照射するための照明光を出射する光源と、前記照明光を回折して生成した回折パターン光を、前記被写体に照射する回折光学素子と、前記被写体で反射された前記回折パターン光を結像する複数の撮像レンズと、前記各撮像レンズにより結像された前記回折パターン光に基づく、前記被写体に係る複数の画像を撮像する複数の撮像手段と、前記複数の画像間の視差情報から前記被写体からの距離を算出する測距手段と、を備え、前記回折光学素子は、前記複数の撮像レンズの光軸間に配置されるとともに、前記回折パターン光の照射領域が、前記複数の撮像レンズを介して前記視差情報を取得可能な領域を含む角度にて、前記回折パターン光を出射可能であることを特徴とする。 In order to solve the above-described problem, the invention according to claim 1 irradiates the subject with a light source that emits illumination light for irradiating the subject and diffraction pattern light generated by diffracting the illumination light. A diffractive optical element, a plurality of imaging lenses that image the diffraction pattern light reflected from the subject, and a plurality of images related to the subject based on the diffraction pattern light imaged by the imaging lenses A plurality of imaging means and a distance measuring means for calculating a distance from the subject from parallax information between the plurality of images, and the diffractive optical element is disposed between optical axes of the plurality of imaging lenses. And the diffraction pattern light can be emitted at an angle including an area where the parallax information can be acquired via the plurality of imaging lenses.
上記のように構成したので、本発明によれば、測距対象物との距離に関わらず測距可能エリアの全体で回折パターン光を利用した精度の良い測距が可能な測距装置を実現することが出来る。 With the configuration as described above, according to the present invention, a distance measuring device capable of performing accurate distance measurement using diffraction pattern light in the entire distance measuring area regardless of the distance to the object to be measured is realized. I can do it.
以下に、図面を用いて本発明に係る実施の形態を詳細に説明する。
[第1の実施形態]
図1は、本発明の複眼カメラ装置に適用可能なパターン照明装置の構成例を示す図である。
なお、図1(a)は、パターン照明装置を構成する各要素を説明するものであり、パターン照明装置を適用可能な複眼カメラの構成は表示を省略している。また、図1(b)は、多階調輝度分布の階調を示す図である。
図1に示すように、本実施形態に係るパターン照明装置1は、光源としての半導体レーザ光源2と、半導体レーザ光源2から出射されるレーザ光の光路上に配置されたカップリングレンズ3、回折光学素子4と、を備えている。
半導体レーザ光源2から出射されたレーザ光は、計測対象である被写体側の光路上に配置されたカップリングレンズ3によって平行光とされる。
カップリングレンズ3を通過(透過)した平行光は、次に回折光学素子4に入射して回折され、2階調以上の輝度分布を持つ回折パターン光5として計測対象に投光される。
なお、半導体レーザ光源2の出力を一定に保つために、その温度を一定に保つ温度調節機能部6aやAPC(Auto Power Control)機能部6bを備えていても良い。
Embodiments according to the present invention will be described below in detail with reference to the drawings.
[First Embodiment]
FIG. 1 is a diagram showing a configuration example of a pattern illumination device applicable to the compound eye camera device of the present invention.
FIG. 1A illustrates each element constituting the pattern illumination device, and the display of the configuration of the compound eye camera to which the pattern illumination device can be applied is omitted. FIG. 1B is a diagram showing the gradation of the multi-gradation luminance distribution.
As shown in FIG. 1, the pattern illumination device 1 according to the present embodiment includes a semiconductor
The laser light emitted from the semiconductor
The parallel light that has passed (transmitted) through the
In order to keep the output of the semiconductor
ところで、計測対象に照射する回折パターン光5に2階調以上の輝度を生じさせるために、回折光学素子4の断面形状は、溝の深さが異なる多段の階段形状となっている。
図1(b)に示すように、回折パターン光は、多階調の輝度分布を持ち、最小単位である1つの画素のサイズは、約1mm角である。この多階調の輝度分布を持った最小単位の画素がランダムに配置された回折パターン光5が、計測(測距)対象物に投光される。
By the way, in order to generate a brightness of two or more gradations in the
As shown in FIG. 1B, the diffraction pattern light has a multi-tone luminance distribution, and the size of one pixel, which is the minimum unit, is about 1 mm square. The diffraction pattern light 5 in which the minimum unit pixels having the multi-tone luminance distribution are randomly arranged is projected onto the object to be measured (ranging).
図2は、回折光学素子の断面形状と回折効率との関係を示した図である。
図2に示すように、回折光学素子4の断面形状における溝(階段)の段数や階段の深さを変えることで回折効率が変化させることが出来る。
回折効率が高い部分では輝度が高く(明るく)、回折効率が低い部分は輝度が低く(暗く)なるため、回折光学素子4における溝の形状パターンを適宜組み合わせることで、多階調の輝度分布を形成することが出来る。
なお、後述する0次光の強度もこの溝の形状により強度を制御することができる。
このように回折光学素子4を用いて光の強度(輝度)分布を変換すること自体は特開2003−270585公報、特許第4333760号等にも関連する技術が開示されている。
FIG. 2 is a diagram showing the relationship between the cross-sectional shape of the diffractive optical element and the diffraction efficiency.
As shown in FIG. 2, the diffraction efficiency can be changed by changing the number of grooves (steps) in the cross-sectional shape of the diffractive optical element 4 and the depth of the steps.
Since the luminance is high (bright) in the portion where the diffraction efficiency is high and the luminance is low (dark) in the portion where the diffraction efficiency is low, the multi-tone luminance distribution can be obtained by appropriately combining the groove shape patterns in the diffractive optical element 4. Can be formed.
Note that the intensity of 0th-order light, which will be described later, can also be controlled by the shape of this groove.
As described above, a technique relating to the conversion of the light intensity (luminance) distribution using the diffractive optical element 4 is also disclosed in Japanese Patent Laid-Open No. 2003-270585 and Japanese Patent No. 4333760.
図1に示す半導体レーザ光源2は、波長λが400〜700nmの可視光や波長λが700〜1000nm程度の近赤外光を発するレーザを選択して出射することができる。
可視光線を用いればステレオカメラの撮像素子に対して感度が高く、解像度の高い回折パターン光を照射できる。それに対し、近赤外光を用いる場合は、撮像素子に対する感度は低いもののレーザ光が眼に見えないために(不可視光)、使用者に不自然さを感じさせることがない。
回折光学素子4からの出射角度θ1は、半導体レーザ光源2からの出射光の波長λと、回折光学素子4の周期構造と、によって決定される。
出射角度θ1を大きな角度とするためには、半導体レーザ光源2の波長λを大きくするか、回折光学素子4の周期構造を微細化しなければならない。
The semiconductor
If visible light is used, it is possible to irradiate diffraction pattern light with high sensitivity and high resolution to the imaging device of the stereo camera. On the other hand, when using near-infrared light, the sensitivity to the image sensor is low, but the laser light is not visible to the eye (invisible light), so that the user does not feel unnaturalness.
The outgoing angle θ1 from the diffractive optical element 4 is determined by the wavelength λ of the outgoing light from the semiconductor
In order to increase the emission angle θ1, the wavelength λ of the semiconductor
しかしながら、半導体レーザ光源2からの出射光の波長は、上記の400〜1000nmの波長に限定され、回折光学素子4の周期構造は、加工装置の微細加工能力に制限される。
そのため出射角度はある程度の角度以上には大きくできないのが実情である。
なお、例えば波長λ=0.65μm、周期構造を1.0μmとすると出射角度は約40°となる。
However, the wavelength of the emitted light from the semiconductor
Therefore, the actual situation is that the emission angle cannot be increased beyond a certain angle.
For example, when the wavelength λ = 0.65 μm and the periodic structure is 1.0 μm, the emission angle is about 40 °.
図3は、本発明に係る測距装置に適用可能な複眼カメラ装置の構成を示す図であり、(a)は、複眼カメラ装置の断面図、(b)は、複眼カメラ装置が含む撮像素子の上面図である。
なお、本発明は、複眼カメラとして、2つのカメラ(撮像レンズ及び撮像領域)を備えるステレオカメラ装置に好適に適用可能なであり、ステレオカメラ装置を例として説明する。
図3において、ステレオカメラ装置20は、同一面上に配置した複数(例えば2つ)のレンズを有するレンズアレイ11と、レンズアレイ11を透過した被写体からの反射光を受光して(被写体像が結像されて)画像情報を取得する撮像素子14と、を備えている。
なお、レンズアレイ11には、測距用のレンズである撮像レンズ12a、12bが一体化されて形成されている。
3A and 3B are diagrams showing a configuration of a compound eye camera device applicable to the distance measuring apparatus according to the present invention, wherein FIG. 3A is a cross-sectional view of the compound eye camera device, and FIG. 3B is an image sensor included in the compound eye camera device. FIG.
Note that the present invention can be suitably applied to a stereo camera device including two cameras (an imaging lens and an imaging region) as a compound eye camera, and the stereo camera device will be described as an example.
In FIG. 3, the
In the
撮像レンズ12a、12bは、同一の光学特性を有するものであり、同一の形状を有して焦点距離が等しく、それぞれの光軸13a、13bは平行である。なお、光軸13aと光軸13bの間隔が基線長Dである。
図3に示すように、光軸13a、13bの方向をZ軸とし、このZ軸に直交し且つ光軸13bから光軸13aへ向かう方向をY軸とし、さらにZ軸とY軸の双方に直交する方向をX軸とする。
両レンズの中心がY軸上となるようにレンズアレイ11を配置すると、撮像レンズ12a、12bはXY平面上に存在することになる。
この場合、視差Δが発生する方向はY軸方向となる。
撮像素子14はCMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)等の撮像素子でありウェハ14a上に半導体プロセスにより多数の画素(撮像領域)を形成したものである。
The
As shown in FIG. 3, the direction of the
When the
In this case, the direction in which the parallax Δ is generated is the Y-axis direction.
The
図3(b)に詳しく示すように、撮像素子14上には、撮像レンズ12aを経て被写体像が結像される撮像領域(撮像手段)15aと、撮像レンズ12bを経て被写体像が結像される撮像領域15bが離間して配置されている。
撮像領域15aと撮像領域15bは、それぞれ同じ大きさの矩形領域であり、撮像領域15aと撮像領域15bのそれぞれの対角中心と、撮像レンズ12a、12bの光軸13a、13bがほぼ一致するように配置されている。
As shown in detail in FIG. 3B, on the
The
以上の構成からなるステレオカメラ装置20は、図14、図15を用いて上記に説明した三角測量の原理により被写体からの距離を計測できる。
さらに図1に示したパターン照明装置によりパターンを照明すれば、計測対象物が単一色の表面をもつ物体であってもステレオ対応づけを行うことができるため物体を精度良く計測できる。
The
Further, if the pattern is illuminated by the pattern illumination device shown in FIG. 1, even if the measurement target is an object having a single color surface, stereo correspondence can be performed, so that the object can be measured with high accuracy.
図4は、図3のステレオカメラ装置に図1のパターン照明装置を適用(一体化)した本発明に係るステレオカメラ装置を説明する図である。
また、図4において、(a)はステレオカメラ装置の長手方向(レンズアレイの長さ方向)の断面図、(b)は、短手方向(レンズアレイの幅方向)の断面図である。
また、図5は、図4に示すステレオカメラにおける、測距レンズの画角とパターン照明装置の回折パターン光の出射角度との関係を示した図である。
なお、図4以降において、図1、図3と同じ構成については、同一の符号を付し、詳細な説明は省略するものとする。
4 is a diagram illustrating a stereo camera device according to the present invention in which the pattern illumination device of FIG. 1 is applied (integrated) to the stereo camera device of FIG.
4A is a cross-sectional view in the longitudinal direction (length direction of the lens array) of the stereo camera device, and FIG. 4B is a cross-sectional view in the short side direction (width direction of the lens array).
FIG. 5 is a diagram showing the relationship between the angle of view of the distance measuring lens and the emission angle of the diffraction pattern light of the pattern illumination device in the stereo camera shown in FIG.
In FIG. 4 and subsequent figures, the same components as those in FIGS. 1 and 3 are denoted by the same reference numerals, and detailed description thereof is omitted.
図4に示す測距装置30は、図3で説明したステレオカメラ装置20に、図1に示したパターン照明装置の構成を一体に組み合わせて構成される。
すなわち、図3で説明したステレオカメラ装置20を構成する2つのカメラ(撮像レンズ12a及び撮像領域15a、撮像レンズ12b及び撮像領域15b)の間に、図1に示した如きパターン照明装置を配置している。
また、2つのカメラによって撮像した画像の視差に基づいて測距を行う視差演算部(測距手段)40を備えている。
図4(b)に示すように、測距装置30に含まれるパターン照明装置の半導体レーザ光源2は、測距装置30の筐体30aの側面に取り付けられ、撮像素子14の上方には、ミラー31が設置されている。半導体レーザ光源2から出射された光はミラー31により測距対象である被写体側に反射されて、カップリングレンズ3(図1参照)により、平行光に変換される。
平行光は回折光学素子4(図1参照)で回折され、所定の出射角度の回折パターン光5として出射されて対象物に照射される。
The
That is, the pattern illumination device as shown in FIG. 1 is arranged between the two cameras (the
In addition, a parallax calculation unit (ranging unit) 40 that performs distance measurement based on parallax of images captured by the two cameras is provided.
As shown in FIG. 4B, the semiconductor
The parallel light is diffracted by the diffractive optical element 4 (see FIG. 1), is emitted as diffraction pattern light 5 having a predetermined emission angle, and is irradiated onto the object.
図5に示す測距装置30における測距可能領域Aは、2つの撮像レンズ12a、12bの画角が重なる領域であるが、回折光学素子4から出射される回折パターン光5の出射角度θ1はステレオカメラ装置20のレンズ12a、12bの画角θ2と等しい角度になっているため、対象物とステレオカメラ装置20との距離が変わっても測距可能領域Aの全体にパターンが照射される。
従って、図5に示すように、測距対象物との距離に関わらず測距可能領域Aの全体で、回折パターン光を利用した測距が可能となる。
このように、回折光学素子4をステレオカメラの2つの撮像レンズ12a、12bの光軸の間に配置して、ステレオカメラの画角と回折光学素子4の画角(広がり角)を一致させることで、ステレオカメラによる測距可能な領域と回折パターン光を照明している領域とを、常に一致させることができる。
In the
Therefore, as shown in FIG. 5, distance measurement using the diffraction pattern light can be performed in the entire distance measuring area A regardless of the distance to the object to be measured.
In this way, the diffractive optical element 4 is disposed between the optical axes of the two
これにより対象物までの距離が変わってもステレオカメラにより測距可能な領域Aと回折パターン光を照明する領域を常に一致させることができる。また半導体レーザ光源2から出射される回折パターン光5を無駄なく測距可能領域Aに照射することができる。
もちろん、回折光学素子4の画角を、撮像レンズ12a、12bの画角よりも大きくするようにしても良いが、上記したように回折光学素子の画角を大きくするには、回折光学素子4の周期構造を微細化しなければならず、加工装置の微細加工能力に制限されるという問題がある。
また、ステレオカメラにより測距可能領域Aと重ならない領域に照射される回折パターン光は、事実上無駄となる。
Thereby, even if the distance to the object changes, the area A that can be measured by the stereo camera and the area that illuminates the diffraction pattern light can always be matched. Further, it is possible to irradiate the distance measuring area A with the diffraction pattern light 5 emitted from the semiconductor
Of course, the angle of view of the diffractive optical element 4 may be made larger than the angle of view of the
Moreover, the diffraction pattern light irradiated to the area | region which does not overlap with the range-measurable area | region A by a stereo camera is useless in fact.
ところで、図4に示す測距装置30を自走式のロボットや可動式のロボットアームなどに適用したような場合で、過酷な環境下で使用されることや経時によって、測距装置30におけるパターン照明装置(レーザ光源2、カップリングレンズ3、回折光学素子4)と、ステレオカメラの撮像レンズ12a、12bとの位置関係がずれたり、あるいは半導体レーザ光源2の取り付け位置がずれて光の出射角度が当初の角度からずれたりした場合、レンズの画角θ2と、回折パターン光の出射角度θ1が等しくならず、また、ステレオカメラにより測距が可能な領域が回折パターン光を照明している領域に含まれなくなり、ステレオカメラの測距可能領域全体で正確に測距をすることが出来なくなる。
By the way, when the
以下に、ステレオカメラ(撮像レンズ12a、12b)とパターン照明装置(レーザ光源2、カップリングレンズ3、回折光学素子4)との位置ずれを検出する方法について図6〜図9を用いて説明する。
回折光学素子4により回折された回折パターン光5には、0次回折光7が含まれる場合が多い。
ここで、0次回折光とは回折光学素子4に入射した光束のうち、回折せずに素通り(透過)した光のことである。
本来は、0次回折光が生じないように回折光学素子の設計、加工がなされるが、本発明では0次回折光7をあえて生じさせ、これを用いてステレオカメラ装置20(撮像レンズ12a、12b)とパターン照明装置1(レーザ光源2、カップリングレンズ3、回折光学素子4)の位置ずれを検知するために用いる。
Hereinafter, a method of detecting a positional deviation between the stereo camera (
The diffraction pattern light 5 diffracted by the diffractive optical element 4 often includes zero-order diffracted
Here, the 0th-order diffracted light is light that has passed through (transmitted) without being diffracted out of the light beam incident on the diffractive optical element 4.
Originally, the diffractive optical element is designed and processed so that the 0th-order diffracted light is not generated. However, in the present invention, the 0th-order diffracted
図6は、回折パターン光における0次回折光スポットの位置を示す図である。
図6に示すように、0次回折光7のスポットは通常、回折パターン光5の領域中心に生じる。
また、0次回折光7は半導体レーザ光源2から発せられた光で、ステレオカメラの撮像レンズ12a、12bの光軸13a、13bの中間位置から出射されている。
そのため正規の状態であれば、ステレオカメラの2つの撮像素子の撮像領域15a、15bには0次回折光7のスポットは図7に示すように映る。
FIG. 6 is a diagram showing the position of the 0th-order diffracted light spot in the diffraction pattern light.
As shown in FIG. 6, the spot of the 0th-order diffracted
The 0th-order diffracted
For this reason, in the normal state, the spot of the 0th-order diffracted
図7は、正規状態における撮像領域上の0次回折光スポット像の位置を示す図である。
図7に示すように、左側の撮像領域15aでは、領域の中心から視差L0だけずれた位置に0次回折光スポットが映り(0次回折光スポット像7L)、右側の撮像領域15bでは、領域の中心から視差R0だけずれた位置に0次回折光7のスポットが映る(0次回折光スポット像7R)。
このとき、半導体レーザ光源2はステレオカメラのレンズ12a、12bの光軸13a、13bの中間位置にあるため視差L0=視差R0となる。すなわち、2つのカメラの画面の中心からそれぞれ等しい画素数だけずれた位置で検出される。
FIG. 7 is a diagram illustrating the position of the 0th-order diffracted light spot image on the imaging region in the normal state.
As shown in FIG. 7, in the
At this time, since the semiconductor
図8、図9は、回折パターン光の出射方向がずれた場合の、撮像領域上の0次回折光スポット像の位置を示す図である。
図8に示すように、半導体レーザ光源2の位置が図中左側にずれて、回折パターン光5の方向がY方向の+側(図の右側)にずれると(回折パターン光5A)、0次回折光7のスポットもY方向の+側(図の右側)にずれる(0次回折光スポット7A)。
0次回折光7のスポット像の位置について、撮像領域15aにおける0次回折光スポット像7Lは、撮像領域15aの中心から視差L1(L1>L0)だけずれた位置に映り、撮像領域15bにおける0次回折光スポット像7Rは、撮像領域15bの中心から視差R1(R1<R0)だけずれた位置に映る。このとき視差L1>視差R1となる。
この差を、視差演算部40によって検知することで、回折パターン光5の方向とステレオカメラの方向がどれだけずれたかについて、そのズレ量とズレの方向がわかる。
8 and 9 are diagrams showing the positions of the 0th-order diffracted light spot images on the imaging region when the emission direction of the diffraction pattern light is deviated.
As shown in FIG. 8, when the position of the semiconductor
Regarding the position of the spot image of the 0th-order diffracted
By detecting this difference by the
逆に図9に示すように半導体レーザ光源2の位置が図中右側にずれて、回折パターン光5の方向がY方向の−側(図の左側)にずれると(回折パターン光5B)、0次回折光7のスポットもY方向の−側(図の左側)にずれる(0次回折光スポット7B)。
0次回折光7のスポットの位置について、撮像領域15aにおける0次回折光スポット像7Lは、撮像領域15aの中心から視差L2(L2<L0)だけずれた位置に映り、撮像領域15bにおける0次回折光スポット像7Rは、撮像領域15bの中心から視差R2(R2>R0)だけずれた位置に映る。このとき視差L2<視差R2となる。
図8の場合と同様に、この差を視差演算部40にて検知することで、回折パターン光5の方向とステレオカメラの方向がどれだけずれたかについて、そのズレ量とズレの方向がわかる。
On the contrary, as shown in FIG. 9, when the position of the semiconductor
Regarding the position of the spot of the 0th-order diffracted
As in the case of FIG. 8, by detecting this difference by the
以上のように、0次回折光の位置を、ステレオカメラを用いて検出することで回折パターン光の方向とステレオカメラの方向のずれを検出できる。
これにより自走式のロボットや可動式のロボットアームのように振動が多い使用条件下でも所定以上のずれが発生した場合はすぐに動作を停止するなどして補正・修正を行い、常に正しい測距を行える状態を保つことができる。
また、ずれが発生した場合にその旨を音声や発光にて外部に報知する報知手段を、測距装置30や、測距装置30を組み込む他の装置に設けることが望ましい。
As described above, a shift between the direction of the diffraction pattern light and the direction of the stereo camera can be detected by detecting the position of the 0th-order diffracted light using the stereo camera.
As a result, if a deviation of more than a predetermined level occurs even under operating conditions where there is a lot of vibration, such as a self-propelled robot or a movable robot arm, the operation is immediately stopped and corrections are made. It is possible to keep the distance.
In addition, it is desirable to provide notifying means for notifying the outside by voice or light emission when a deviation occurs in the
[第2の実施形態]
図10は、本発明の第2の実施形態に係るパターン照明装置を説明する図である。
0次回折光7を用いて回折パターン光とステレオカメラ(撮像レンズ)の方向ずれを検出するためには、0次回折光7を検出しやすくすることが望ましい。そのためには0次回折光7をパターン照明の他のスポット5aに対して違いが際立つようにすればよい。
従って、0次回折光7を、回折パターン光5の他のスポット5aよりもスポットサイズを大きくしたり、あるいは光強度を強くすれば良い。
0次回折光7のスポットサイズは、カップリングレンズ3から出射される平行光のビーム径φで決まる。従って、カップリングレンズ3から出射される平行光のビーム径をパターン照明の他のスポット径よりも大きくすれば、違いがわかりやすくなる。
さらに0次回折光7の光強度がパターン照明の他のスポットより光強度が強ければ、撮影画像において0次回折光7はシロ飛びしてしまう。
撮影画像においてシロ飛びした箇所は距離画像においても測距エラーが生じる。従って、シロ飛びやエラーが生じた箇所が0次回折光の位置と見なすことができる。
[Second Embodiment]
FIG. 10 is a diagram for explaining a pattern illumination device according to the second embodiment of the present invention.
In order to detect the direction shift between the diffraction pattern light and the stereo camera (imaging lens) using the 0th-order diffracted
Therefore, the zero-order diffracted
The spot size of the 0th-order diffracted
Furthermore, if the light intensity of the 0th-order diffracted
A distance measurement error occurs in a distance image at a spot that is skipped in a captured image. Therefore, a spot where a white spot or an error occurs can be regarded as the position of the 0th-order diffracted light.
また、0次回折光7の光強度は回折効率で決まるため。回折効率を低下させれば、その分回折せずに素通り(透過)する光である0次回折光7の光強度が強くなる。
図2に示したように回折光学素子4の溝深さや形状を変えることで回折効率は最適に設定することができる。
このように0次回折光7をパターン照明の他のスポットよりスポットサイズが大きくなるようにしたり、光強度が強くなるようにすれば、回折パターン光とステレオカメラの方向ずれを検出しやすくなる。
Further, the light intensity of the 0th-order diffracted
As shown in FIG. 2, the diffraction efficiency can be set optimally by changing the groove depth and shape of the diffractive optical element 4.
If the spot size of the 0th-order diffracted
[第3の実施形態]
次に、本発明の測距装置の変形例について説明する。
図11は、第3の実施形態にかかる測距装置を説明する図である。
本実施形態では、図11に示すように、測距装置を構成するパターン照明装置のカップリングレンズ3とステレオカメラの一対のレンズ12a、12bが、レンズアレイ8として一体に形成されている。
このように一体で形成されていると組立工程が簡素化されることに加えて、以下のようなメリットがある。
図11において一体化されたレンズアレイ8に対して半導体レーザ光源2の位置がY方向の+側にずれた場合(本来の位置は点線の位置)、回折パターン光5および0次回折光7は図12に示すようにY方向の−側にずれる(回折パターン光5C及び0次回折光7C)。
[Third Embodiment]
Next, a modification of the distance measuring device of the present invention will be described.
FIG. 11 is a diagram for explaining a distance measuring apparatus according to the third embodiment.
In the present embodiment, as shown in FIG. 11, the
In this way, in addition to simplifying the assembly process, there are the following merits.
When the position of the semiconductor
回折パターン光5がY方向の−側にずれれば、上述したようにステレオカメラによってずれを検知できる。
その場合、半導体レーザ光源2の位置を−Y方向に動かして補正すれば、ずれは無くなる。
このようにパターン照明用のカップリングレンズ3とステレオカメラの一対のレンズとが一体に形成されていることで回折パターン光の方向とステレオカメラの方向とを検知して、半導体レーザ光源2の位置を動かすことでずれを補正することができる。
一体になっていない場合はずれを検知しても半導体レーザ光源2がずれたのか、カップリングレンズ3がずれたのか、両方ずれたのかはわからないため、調整が困難になる。
If the
In that case, if the position of the semiconductor
Thus, the pattern
If they are not integrated, even if a deviation is detected, it is not known whether the semiconductor
カップリングレンズとステレオカメラの一対のレンズとを一体に形成することでレンズを基準とすることができるためずれがあった場合でも容易に補正できる。
すなわち、レーザ光源2からの光を取り込むカップリングレンズ3とステレオカメラの1対のレンズ12とを一体形成することで、ステレオカメラ(撮像レンズ12a、12b)が撮影している方向とパターン照明装置(カップリングレンズ3)が照明している方向を検知し、ズレが有った場合でも容易にズレを修正することができる。
回折光学素子4を、カップリングレンズ3もしくはステレオカメラの2つの撮像レンズ12a、12bと一体に形成することで、振動や経時変化に対して位置ずれが生じにくくなるためステレオカメラが撮影している方向と照明装置が照明している方向がずれにくくなり安定した測距を行うことができる。
カップリングレンズとステレオカメラのレンズを一体形成することでステレオカメラが撮影している方向と照明装置が照明している方向を容易に一致させることができる。
回折光学素子がカップリングレンズもしくはステレオカメラのレンズと一体に形成されていることで、振動や経時変化に対して位置ずれが生じにくくなるためステレオカメラが撮影している方向と照明装置が照明している方向が安定になる。
By integrally forming the coupling lens and the pair of lenses of the stereo camera, the lens can be used as a reference, so that even if there is a deviation, it can be easily corrected.
That is, the
Since the diffractive optical element 4 is formed integrally with the
By integrally forming the coupling lens and the stereo camera lens, the direction in which the stereo camera is photographing and the direction in which the illumination device is illuminating can be easily matched.
Since the diffractive optical element is formed integrally with the coupling lens or the lens of the stereo camera, it is difficult for positional deviation to occur with respect to vibration and changes over time. Direction is stable.
[第4の実施形態]
図13は、本発明の測距装置に回折光学素子を取り付ける態様を説明する図である。
回折光学素子4の形状は微細な周期構造となっているため、フォトリソグラフィやエッチングによりガラス基板上に加工するのが一般的である。
そこでガラス基板に加工された回折光学素子4を、図11に示したような一体型レンズ8とホルダ9を介して一体化(図13(a))したり、別のガラス基板10aに貼り付けた上で、一体型レンズ8と一体化(図13(b))したり、エッチングに用いたガラス基板10bごと、一体化レンズ8と一体化(図13(c))することができる。
このように、撮像レンズ12、カップリングレンズ3、回折光学素子4を一体化することで、回折光学素子4とカップリングレンズ3とステレオカメラの一対の撮像レンズ12との位置関係が固定できるため、振動や経時変化によりパターン照明が位置ずれを起こしたり、回転ずれを起こしたりすることがなくなる。これにより信頼性の高い測距を実現できる。
以上述べてきたように、図1に示すパターン照明装置と、図3に示すステレオカメラが一体化されていることで小型化が実現できると同時に、パターン照明装置を構成する部材とステレオカメラを構成する部材の、相互の位置ずれを検知しやすく、またそのズレも補正しやすいため信頼性の高い測距装置を実現でき、経時変化や振動に対しても安定した測距が可能になる。
[Fourth Embodiment]
FIG. 13 is a diagram for explaining a mode in which a diffractive optical element is attached to the distance measuring apparatus of the present invention.
Since the shape of the diffractive optical element 4 has a fine periodic structure, it is generally processed on a glass substrate by photolithography or etching.
Therefore, the diffractive optical element 4 processed into the glass substrate is integrated (FIG. 13A) via the integrated lens 8 and the holder 9 as shown in FIG. 11, or is attached to another
As described above, since the imaging lens 12, the
As described above, since the pattern illumination device shown in FIG. 1 and the stereo camera shown in FIG. 3 are integrated, miniaturization can be realized, and at the same time, members constituting the pattern illumination device and the stereo camera are configured. Therefore, it is easy to detect misalignment between members and to easily correct the misalignment, and thus a highly reliable distance measuring device can be realized, and stable distance measurement can be performed against changes with time and vibration.
1 パターン照明装置、2 半導体レーザ光源、3 カップリングレンズ、4 回折光学素子、5 回折パターン光、5A 回折パターン光、5B 回折パターン光、6a 温度調節機能部、6b APC機能部、7 0次回折光、7L 撮像領域、7L 0次回折光スポット像、7R 0次回折光スポット像、8 レンズアレイ、8 一体型レンズ、11 レンズアレイ、12a 撮像レンズ、12b 撮像レンズ、13a 光軸、13b 光軸、14 撮像素子、14a ウェハ、15a 撮像領域、15b 撮像領域、20 ステレオカメラ装置、30 測距装置30a 筐体、31 ミラー、40 視差演算部、101 計測対象物、102a カメラ、102b カメラ、103a レンズ、103b レンズ、104a 計測対象物像、104b 計測対象物像、104c 対応点、105a 二次元センサ、106 ステレオカメラ装置
DESCRIPTION OF SYMBOLS 1 Pattern illumination apparatus, 2 Semiconductor laser light source, 3 Coupling lens, 4 Diffractive optical element, 5 Diffraction pattern light, 5A Diffraction pattern light, 5B Diffraction pattern light, 6a Temperature control function part, 6b APC function part, 70th order diffracted light , 7L imaging region, 7L 0th order diffracted light spot image, 7R 0th order diffracted light spot image, 8 lens array, 8 integral lens, 11 lens array, 12a imaging lens, 12b imaging lens, 13a optical axis, 13b optical axis, 14 imaging Element, 14a Wafer, 15a Imaging region, 15b Imaging region, 20 Stereo camera device, 30
Claims (5)
前記照明光を回折して生成した回折パターン光を、前記被写体に照射する回折光学素子と、
前記被写体で反射された前記回折パターン光を結像する複数の撮像レンズと、
前記各撮像レンズにより結像された前記回折パターン光に基づく、前記被写体に係る複数の画像を撮像する複数の撮像手段と、
前記複数の画像間の視差情報から前記被写体からの距離を算出する測距手段と、
を備え、
前記回折光学素子は、
前記複数の撮像レンズの光軸間に配置されるとともに、前記回折パターン光の照射領域が、前記複数の撮像レンズを介して前記視差情報を取得可能な領域を含む角度にて前記回折パターン光を出射可能であることを特徴とする測距装置。 A light source that emits illumination light for irradiating the subject;
A diffractive optical element that irradiates the subject with diffraction pattern light generated by diffracting the illumination light; and
A plurality of imaging lenses that image the diffraction pattern light reflected by the subject;
A plurality of imaging means for imaging a plurality of images related to the subject based on the diffraction pattern light imaged by the imaging lenses;
Ranging means for calculating a distance from the subject from parallax information between the plurality of images;
With
The diffractive optical element is
The diffraction pattern light is arranged at an angle that is disposed between the optical axes of the plurality of imaging lenses, and an irradiation area of the diffraction pattern light includes an area where the parallax information can be acquired via the plurality of imaging lenses. A distance measuring device capable of emitting light.
前記回折光学素子は、前記複数の撮像レンズの光軸の中心位置に配置され、
前記複数の撮像手段により取得された前記画像における、前記回折パターン光に含まれる0次回折光のスポット画像の視差位置に基づいて、前記回折パターン光の出射角度のずれを検出する検出手段を備えたことを特徴とする測距装置。 The distance measuring device according to claim 1,
The diffractive optical element is disposed at the center position of the optical axis of the plurality of imaging lenses,
A detecting unit configured to detect a deviation in an emission angle of the diffraction pattern light based on a parallax position of a spot image of the 0th-order diffracted light included in the diffraction pattern light in the images acquired by the plurality of imaging units; A distance measuring device characterized by that.
前記回折光学素子は、前記0次回折光のスポットが、他の回折光のスポットよりもサイズが大きいか、又は光強度が強くなるように、前記照射光を回折することを特徴とする測距装置。 The distance measuring device according to claim 2,
The diffractive optical element diffracts the irradiation light so that the spot of the 0th-order diffracted light is larger in size or light intensity than other diffracted light spots. .
前記光源から出射された照明光の光路における前記回折光学素子の手前側に配置されて、前記照明光を平行光に変換する光学手段を備え、
前記光学手段は、前記複数の撮像レンズと一体に形成されていることを特徴とする測距装置。 The distance measuring device according to claim 1 or 2,
An optical means disposed on the near side of the diffractive optical element in the optical path of the illumination light emitted from the light source, and converting the illumination light into parallel light;
The distance measuring apparatus, wherein the optical means is formed integrally with the plurality of imaging lenses.
該光源から出射された照明光の光路における前記回折光学素子の手前側に配置されて、前記照明光を平行光に変換する光学手段を備え、
前記回折光学素子は、前記光学手段又は前記複数の撮像レンズと一体に形成されていることを特徴とする測距装置。 The distance measuring device according to claim 1 or 2,
An optical means disposed on the near side of the diffractive optical element in the optical path of the illumination light emitted from the light source, and converting the illumination light into parallel light;
The diffractive optical element is formed integrally with the optical means or the plurality of imaging lenses.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012131819A JP2013257162A (en) | 2012-06-11 | 2012-06-11 | Distance measuring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012131819A JP2013257162A (en) | 2012-06-11 | 2012-06-11 | Distance measuring device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013257162A true JP2013257162A (en) | 2013-12-26 |
Family
ID=49953727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012131819A Pending JP2013257162A (en) | 2012-06-11 | 2012-06-11 | Distance measuring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013257162A (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3009886A1 (en) | 2014-10-17 | 2016-04-20 | Ricoh Company, Ltd. | Illumination apparatus, pattern irradiation device, and 3d measurement system |
JP2016095229A (en) * | 2014-11-14 | 2016-05-26 | 株式会社リコー | Parallax value derivation device, movable body, robot, parallax value production method, and program |
JP2017067758A (en) * | 2015-09-28 | 2017-04-06 | 株式会社リコー | system |
WO2017056479A1 (en) * | 2015-09-28 | 2017-04-06 | Ricoh Company, Ltd. | System |
EP3199911A1 (en) | 2016-01-27 | 2017-08-02 | Ricoh Company, Ltd. | Irradiation apparatus |
JP2018511796A (en) * | 2015-03-30 | 2018-04-26 | エックス デベロップメント エルエルシー | Imager for detecting visual and infrared projected patterns |
CN107976681A (en) * | 2016-10-21 | 2018-05-01 | 北醒(北京)光子科技有限公司 | A kind of multi-thread optical distance measurement apparatus |
JP2021527285A (en) * | 2018-06-07 | 2021-10-11 | ラディモ・オサケイフティオ | Modeling of topography on a three-dimensional surface |
US20210325686A1 (en) * | 2020-04-21 | 2021-10-21 | Magik Eye Inc. | Diffractive optical element with collimator function |
-
2012
- 2012-06-11 JP JP2012131819A patent/JP2013257162A/en active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3009886A1 (en) | 2014-10-17 | 2016-04-20 | Ricoh Company, Ltd. | Illumination apparatus, pattern irradiation device, and 3d measurement system |
US9863759B2 (en) | 2014-10-17 | 2018-01-09 | Ricoh Company, Ltd. | Illumination apparatus, pattern irradiation device, and system |
JP2016095229A (en) * | 2014-11-14 | 2016-05-26 | 株式会社リコー | Parallax value derivation device, movable body, robot, parallax value production method, and program |
JP2018511796A (en) * | 2015-03-30 | 2018-04-26 | エックス デベロップメント エルエルシー | Imager for detecting visual and infrared projected patterns |
US11209265B2 (en) | 2015-03-30 | 2021-12-28 | X Development Llc | Imager for detecting visual light and projected patterns |
US10466043B2 (en) | 2015-03-30 | 2019-11-05 | X Development Llc | Imager for detecting visual light and projected patterns |
WO2017056479A1 (en) * | 2015-09-28 | 2017-04-06 | Ricoh Company, Ltd. | System |
US10737391B2 (en) | 2015-09-28 | 2020-08-11 | Ricoh Company, Ltd. | System for capturing an image |
JP2017067758A (en) * | 2015-09-28 | 2017-04-06 | 株式会社リコー | system |
EP3199911A1 (en) | 2016-01-27 | 2017-08-02 | Ricoh Company, Ltd. | Irradiation apparatus |
CN107976681A (en) * | 2016-10-21 | 2018-05-01 | 北醒(北京)光子科技有限公司 | A kind of multi-thread optical distance measurement apparatus |
JP2021527285A (en) * | 2018-06-07 | 2021-10-11 | ラディモ・オサケイフティオ | Modeling of topography on a three-dimensional surface |
US11561088B2 (en) | 2018-06-07 | 2023-01-24 | Pibond Oy | Modeling the topography of a three-dimensional surface |
JP7439070B2 (en) | 2018-06-07 | 2024-02-27 | ラディモ・オサケイフティオ | Modeling of 3D surface topography |
US20210325686A1 (en) * | 2020-04-21 | 2021-10-21 | Magik Eye Inc. | Diffractive optical element with collimator function |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013257162A (en) | Distance measuring device | |
JP5966467B2 (en) | Ranging device | |
JP5549230B2 (en) | Ranging device, ranging module, and imaging device using the same | |
KR100753885B1 (en) | Image obtaining apparatus | |
WO2009119229A1 (en) | Three-dimensional imaging device and method for calibrating three-dimensional imaging device | |
JP2009031150A (en) | Three-dimensional shape measuring device, three-dimensional shape measurement method, three-dimensional shape measurement program, and record medium | |
US7692128B2 (en) | Focus control method for an optical apparatus which inspects a photo-mask or the like | |
US20130188026A1 (en) | Depth estimating image capture device and image sensor | |
EP2813809A1 (en) | Device and method for measuring the dimensions of an objet and method for producing an item using said device | |
EP3876017A1 (en) | Patterned light irradiation apparatus and method | |
WO2012042943A1 (en) | Method for adjusting floodlight beam | |
JP2013124985A (en) | Compound-eye imaging apparatus and distance measuring device | |
JP6729960B2 (en) | Camera module adjusting device and camera module adjusting method | |
US5589910A (en) | Apparatus for measuring a distance | |
KR102122275B1 (en) | Light distribution characteristic measurement apparatus and light distribution characteristic measurement method | |
US20160238380A1 (en) | Image measuring method and image measuring apparatus | |
JP2014010089A (en) | Range finder | |
JP6125131B1 (en) | Wavefront measuring device and optical system assembly device | |
JP4557799B2 (en) | ADJUSTING METHOD AND ADJUSTING DEVICE FOR DIGITAL CAMERA | |
JP6232784B2 (en) | Pattern illumination device and distance measuring device | |
JP2021018081A (en) | Imaging apparatus, measuring device, and measuring method | |
JP2017040704A (en) | Imaging apparatus and imaging system | |
JP4788968B2 (en) | Focal plane tilt type confocal surface shape measuring device | |
WO2024157611A1 (en) | Distance measuring device | |
WO2024111325A1 (en) | Distance measuring device |