JP2013257162A - Distance measuring device - Google Patents

Distance measuring device Download PDF

Info

Publication number
JP2013257162A
JP2013257162A JP2012131819A JP2012131819A JP2013257162A JP 2013257162 A JP2013257162 A JP 2013257162A JP 2012131819 A JP2012131819 A JP 2012131819A JP 2012131819 A JP2012131819 A JP 2012131819A JP 2013257162 A JP2013257162 A JP 2013257162A
Authority
JP
Japan
Prior art keywords
light
diffraction pattern
distance
distance measuring
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012131819A
Other languages
Japanese (ja)
Inventor
Shigeru Ouchida
茂 大内田
Sadao Takahashi
禎郎 高橋
Takeshi Maruyama
剛 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2012131819A priority Critical patent/JP2013257162A/en
Publication of JP2013257162A publication Critical patent/JP2013257162A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a distance measuring device which allows a distance region measurable with a stereo camera to be included in a region illuminated with diffraction pattern light even when the distance to a distance measurement object is changed, achieving an accurate distance measurement using diffraction pattern light over the entire distance measurable area regardless of the distance to the distance measurement object.SOLUTION: The distance measuring device includes: a light source 2 which emits illumination light; a diffraction optical element 4 which emits pattern light 5 generated by diffraction of the illumination light to a subject; a plurality of imaging lenses 12 which image the diffraction pattern light 5 reflected by the subject; imaging means 15 which images a plurality of pictures of the subject on the basis of the diffraction pattern light 5 imaged by the imaging lenses 12; and distance measurement means 40 which calculates the distance from the subject on the basis of the parallax information among the pictures. The diffraction optical elements 4 are arranged among the optical axes of the imaging lenses 12, such that the emission angle of the diffraction pattern light becomes equal to the field angle of the imaging lenses 12.

Description

本発明は、計測対象に回折パターン光を投光するパターン照明装置を備えた測距装置に関する。   The present invention relates to a distance measuring device including a pattern illumination device that projects diffraction pattern light onto a measurement target.

従来、計測(測距)対象物を2つのカメラで撮影し、得られた2つの画像を用いて計測対象までの距離情報を得る「ステレオ測距」と呼ばれる技術が知られている。
このような「ステレオ測距」を適用した測距装置は、自走式のロボットや可動式のロボットアームに好適に用いることが出来る。
「ステレオ測距」では、2つの画像間に生じる視差を利用して、三角測量の原理により奥行き距離を算出するが、ステレオ測距において視差を求めるためには、ウィンドウマッチングを行って各画像において互いに対応する点(対応点)を探し出す必要がある。
2. Description of the Related Art Conventionally, a technique called “stereo distance measurement” is known in which a measurement (distance measurement) object is photographed by two cameras and distance information to the measurement object is obtained using the two obtained images.
Such a distance measuring apparatus to which “stereo distance measurement” is applied can be suitably used for a self-propelled robot or a movable robot arm.
In “stereo ranging”, the depth distance is calculated based on the principle of triangulation using the parallax generated between two images. To obtain the parallax in stereo ranging, window matching is performed on each image. It is necessary to find points corresponding to each other (corresponding points).

図14、図15は、「ステレオ測距」で用いられる三角測量の原理を利用した測距方法の原理を説明する図である。
「ステレオ測距」を用いた測距方法においては、1対の2次元センサと1対のレンズとを組み合わせることにより2つのカメラを構成して、計測対象物のずれ(視差)を検出して三角測量の原理で距離を計測する。
図14に示すステレオカメラ装置106において、計測対象物101からの光を、同一の光学系からなる2つのカメラ102a、102bを配置して撮影する場合を考える。
カメラ102aのレンズ103aを通して得た計測対象物像104aと、カメラ102bのレンズ103bを通して得た計測対象物像104bとは、被写体(計測対象物101)上の同一点が視差Δだけずれて、2次元センサ105a、105b(図15)にそれぞれ至り、複数の受光素子(画素)で受光され、電気信号に変換される。
14 and 15 are diagrams for explaining the principle of a distance measuring method using the principle of triangulation used in “stereo distance measurement”.
In the distance measurement method using “stereo distance measurement”, a pair of two-dimensional sensors and a pair of lenses are combined to form two cameras to detect a deviation (parallax) of a measurement object. The distance is measured by the principle of triangulation.
Consider the case where the stereo camera device 106 shown in FIG. 14 shoots light from the measurement object 101 by arranging two cameras 102a and 102b made of the same optical system.
The measurement object image 104a obtained through the lens 103a of the camera 102a and the measurement object image 104b obtained through the lens 103b of the camera 102b are different from each other in that the same point on the subject (measurement object 101) is shifted by the parallax Δ. Each of the dimension sensors 105a and 105b (FIG. 15) is received by a plurality of light receiving elements (pixels) and converted into an electrical signal.

ここでレンズ103a、103bの光軸間の距離は基線長と呼ばれ、これをDとし、レンズと被写体との距離をA、レンズの焦点距離をfとしたとき、A≫fであるときには次式1が成り立つ。
[式1]
A=Df/Δ
基線長D、およびレンズの焦点距離fは既知であるから、[式1]を用いて視差Δを検出すれば被写体までの距離Aを算出することができる。
なお、上記の方法は、2つの2次元センサに映った計測対象物101を、画素の輝度値の分布特性に基づいて対応点を探し出す方法である。
従って、計測対象物101が単一色の表面をもつ物体で、表面の輝度分布が一様であり撮影画像において輝度値に変化が生じ難い場合は、対応づけを行うことが困難になり(即ち、図15に示す対応点104cを検知できないため)、距離を算出できなくなる。
Here, the distance between the optical axes of the lenses 103a and 103b is called a base line length, which is D, where A is the distance between the lens and the subject, and f is the focal length of the lens. Equation 1 holds.
[Formula 1]
A = Df / Δ
Since the baseline length D and the focal length f of the lens are known, the distance A to the subject can be calculated by detecting the parallax Δ using [Equation 1].
In addition, said method is a method of searching the corresponding point for the measurement object 101 reflected in the two two-dimensional sensors based on the distribution characteristics of the luminance values of the pixels.
Therefore, when the measurement object 101 is an object having a single-color surface, the luminance distribution of the surface is uniform, and it is difficult for the luminance value to change in the captured image, it is difficult to perform the association (that is, Because the corresponding point 104c shown in FIG. 15 cannot be detected), the distance cannot be calculated.

かかる問題に対し、特許文献1、特許文献2には、計測対象の表面に向けて所定の投光パターンを投光して計測対象の表面に模様を付けることにより、上記の問題を解消する技術が開示されている。
特許文献1には、ステレオカメラを用いた距離計測装置において、投光パターンを照明する手段を設けた構成が開示されており、本文献に開示の技術では、パターンあるいは撮影画像に基づいて、適切な投光パターンを投光する構成とすることで、撮影画像において輝度値に変化が生じ難い対象物に対しても高精度な距離画像が得られるようにしている。
In order to deal with this problem, Patent Document 1 and Patent Document 2 disclose a technique for solving the above problem by projecting a predetermined light projection pattern toward the surface of the measurement target and applying a pattern to the surface of the measurement target. Is disclosed.
Patent Document 1 discloses a configuration in which a means for illuminating a projection pattern is provided in a distance measuring device using a stereo camera. In the technique disclosed in this document, an appropriate method is used based on a pattern or a captured image. By adopting a configuration in which a simple light projection pattern is projected, a highly accurate distance image can be obtained even for an object whose luminance value hardly changes in a captured image.

しかしながら特許文献1に記載されている装置は、ステレオカメラによる撮影領域(測距可能領域)とパターン照明装置によるパターン照明領域は、特定の距離の時には重なるが、それ以外の距離では重ならなくなってしまうという問題がある。例えば、工場の検査ラインのようにカメラが固定されて決まった距離を測る場合には適用できるが、自走式のロボットや可動式のロボットアームに搭載して近距離(1m以下)から中距離(5m程度)までの幅広い距離を測る用途には適していない。すなわち、測距対象物がある決まった距離にある場合以外は、精度良く測距を行うことができない。
本発明は、上記の問題点を鑑みてなされたものであり、測距対象物との距離に関わらず測距可能エリアの全体で回折パターン光を利用した精度の良い測距が可能な測距装置を提供することを目的とする。
However, in the device described in Patent Document 1, the shooting area (range measurement possible area) by the stereo camera and the pattern illumination area by the pattern illumination device overlap at a specific distance, but do not overlap at other distances. There is a problem of end. For example, it can be applied when measuring a fixed distance with a fixed camera as in a factory inspection line, but it can be mounted on a self-propelled robot or a movable robot arm, and it can be applied from a short distance (1 m or less) to a medium distance. It is not suitable for applications that measure a wide distance up to (about 5m). That is, unless the object to be measured is at a certain distance, the distance cannot be measured with high accuracy.
The present invention has been made in view of the above-described problems, and can perform distance measurement with high accuracy using diffraction pattern light in the entire distance measurement area regardless of the distance to the distance measurement object. An object is to provide an apparatus.

上記の課題を解決するために、請求項1に係る発明は、被写体に照射するための照明光を出射する光源と、前記照明光を回折して生成した回折パターン光を、前記被写体に照射する回折光学素子と、前記被写体で反射された前記回折パターン光を結像する複数の撮像レンズと、前記各撮像レンズにより結像された前記回折パターン光に基づく、前記被写体に係る複数の画像を撮像する複数の撮像手段と、前記複数の画像間の視差情報から前記被写体からの距離を算出する測距手段と、を備え、前記回折光学素子は、前記複数の撮像レンズの光軸間に配置されるとともに、前記回折パターン光の照射領域が、前記複数の撮像レンズを介して前記視差情報を取得可能な領域を含む角度にて、前記回折パターン光を出射可能であることを特徴とする。   In order to solve the above-described problem, the invention according to claim 1 irradiates the subject with a light source that emits illumination light for irradiating the subject and diffraction pattern light generated by diffracting the illumination light. A diffractive optical element, a plurality of imaging lenses that image the diffraction pattern light reflected from the subject, and a plurality of images related to the subject based on the diffraction pattern light imaged by the imaging lenses A plurality of imaging means and a distance measuring means for calculating a distance from the subject from parallax information between the plurality of images, and the diffractive optical element is disposed between optical axes of the plurality of imaging lenses. And the diffraction pattern light can be emitted at an angle including an area where the parallax information can be acquired via the plurality of imaging lenses.

上記のように構成したので、本発明によれば、測距対象物との距離に関わらず測距可能エリアの全体で回折パターン光を利用した精度の良い測距が可能な測距装置を実現することが出来る。   With the configuration as described above, according to the present invention, a distance measuring device capable of performing accurate distance measurement using diffraction pattern light in the entire distance measuring area regardless of the distance to the object to be measured is realized. I can do it.

本発明の測距装置に適用可能なパターン照明装置の構成例を示す図。The figure which shows the structural example of the pattern illumination apparatus applicable to the ranging apparatus of this invention. 回折光学素子の断面形状と回折効率との関係を示した図。The figure which showed the relationship between the cross-sectional shape of a diffractive optical element, and diffraction efficiency. 本発明の測距装置に適用可能なステレオカメラの構成を示す図。The figure which shows the structure of the stereo camera applicable to the ranging apparatus of this invention. 図3のステレオカメラに図1のパターン照明装置を適用した本発明に係る測距措置を説明する図。FIG. 4 is a diagram for explaining a distance measuring measure according to the present invention in which the pattern illumination device of FIG. 1 is applied to the stereo camera of FIG. 3. 図4に示す測距装置における、測距レンズの画角とパターン照明装置の回折パターン光の出射角度との関係を示した図。The figure which showed the relationship between the angle of view of a ranging lens and the emission angle of the diffraction pattern light of a pattern illumination apparatus in the ranging apparatus shown in FIG. 回折パターン光における0次回折光スポットの位置を示す図。The figure which shows the position of the 0th-order diffracted light spot in diffraction pattern light. 正規状態における、撮像領域上の0次回折光スポット像の位置を示す図。The figure which shows the position of the 0th-order diffracted light spot image on an imaging region in a normal state. 回折パターン光の出射方向がずれた場合の0次回折光スポット像の位置を示す図。The figure which shows the position of the 0th-order diffracted light spot image when the radiation | emission direction of diffraction pattern light has shifted | deviated. 回折パターン光の出射方向がずれた場合の0次回折光スポット像の位置を示す図。The figure which shows the position of the 0th-order diffracted light spot image when the radiation | emission direction of diffraction pattern light has shifted | deviated. 第2の実施形態に係るパターン照明装置を説明する図。The figure explaining the pattern illumination apparatus which concerns on 2nd Embodiment. 第3の実施形態にかかる測距装置を説明する図。The figure explaining the distance measuring device concerning 3rd Embodiment. 第3の実施形態にかかる測距装置を説明する図。The figure explaining the distance measuring device concerning 3rd Embodiment. 本発明の測距装置に回折光学素子を取り付ける態様を説明する図。The figure explaining the aspect which attaches a diffractive optical element to the distance measuring device of this invention. 三角測量の原理を利用した測距方法の原理を説明する図。The figure explaining the principle of the ranging method using the principle of triangulation. 三角測量の原理を利用した測距方法の原理を説明する図。The figure explaining the principle of the ranging method using the principle of triangulation.

以下に、図面を用いて本発明に係る実施の形態を詳細に説明する。
[第1の実施形態]
図1は、本発明の複眼カメラ装置に適用可能なパターン照明装置の構成例を示す図である。
なお、図1(a)は、パターン照明装置を構成する各要素を説明するものであり、パターン照明装置を適用可能な複眼カメラの構成は表示を省略している。また、図1(b)は、多階調輝度分布の階調を示す図である。
図1に示すように、本実施形態に係るパターン照明装置1は、光源としての半導体レーザ光源2と、半導体レーザ光源2から出射されるレーザ光の光路上に配置されたカップリングレンズ3、回折光学素子4と、を備えている。
半導体レーザ光源2から出射されたレーザ光は、計測対象である被写体側の光路上に配置されたカップリングレンズ3によって平行光とされる。
カップリングレンズ3を通過(透過)した平行光は、次に回折光学素子4に入射して回折され、2階調以上の輝度分布を持つ回折パターン光5として計測対象に投光される。
なお、半導体レーザ光源2の出力を一定に保つために、その温度を一定に保つ温度調節機能部6aやAPC(Auto Power Control)機能部6bを備えていても良い。
Embodiments according to the present invention will be described below in detail with reference to the drawings.
[First Embodiment]
FIG. 1 is a diagram showing a configuration example of a pattern illumination device applicable to the compound eye camera device of the present invention.
FIG. 1A illustrates each element constituting the pattern illumination device, and the display of the configuration of the compound eye camera to which the pattern illumination device can be applied is omitted. FIG. 1B is a diagram showing the gradation of the multi-gradation luminance distribution.
As shown in FIG. 1, the pattern illumination device 1 according to the present embodiment includes a semiconductor laser light source 2 as a light source, a coupling lens 3 disposed on the optical path of laser light emitted from the semiconductor laser light source 2, and diffraction. And an optical element 4.
The laser light emitted from the semiconductor laser light source 2 is converted into parallel light by the coupling lens 3 disposed on the optical path on the subject side to be measured.
The parallel light that has passed (transmitted) through the coupling lens 3 is then incident on the diffractive optical element 4 and diffracted, and is projected onto the measurement object as diffraction pattern light 5 having a luminance distribution of two or more gradations.
In order to keep the output of the semiconductor laser light source 2 constant, a temperature adjustment function unit 6a and an APC (Auto Power Control) function unit 6b for keeping the temperature constant may be provided.

ところで、計測対象に照射する回折パターン光5に2階調以上の輝度を生じさせるために、回折光学素子4の断面形状は、溝の深さが異なる多段の階段形状となっている。
図1(b)に示すように、回折パターン光は、多階調の輝度分布を持ち、最小単位である1つの画素のサイズは、約1mm角である。この多階調の輝度分布を持った最小単位の画素がランダムに配置された回折パターン光5が、計測(測距)対象物に投光される。
By the way, in order to generate a brightness of two or more gradations in the diffraction pattern light 5 irradiated to the measurement target, the cross-sectional shape of the diffractive optical element 4 is a multi-step staircase shape having different groove depths.
As shown in FIG. 1B, the diffraction pattern light has a multi-tone luminance distribution, and the size of one pixel, which is the minimum unit, is about 1 mm square. The diffraction pattern light 5 in which the minimum unit pixels having the multi-tone luminance distribution are randomly arranged is projected onto the object to be measured (ranging).

図2は、回折光学素子の断面形状と回折効率との関係を示した図である。
図2に示すように、回折光学素子4の断面形状における溝(階段)の段数や階段の深さを変えることで回折効率が変化させることが出来る。
回折効率が高い部分では輝度が高く(明るく)、回折効率が低い部分は輝度が低く(暗く)なるため、回折光学素子4における溝の形状パターンを適宜組み合わせることで、多階調の輝度分布を形成することが出来る。
なお、後述する0次光の強度もこの溝の形状により強度を制御することができる。
このように回折光学素子4を用いて光の強度(輝度)分布を変換すること自体は特開2003−270585公報、特許第4333760号等にも関連する技術が開示されている。
FIG. 2 is a diagram showing the relationship between the cross-sectional shape of the diffractive optical element and the diffraction efficiency.
As shown in FIG. 2, the diffraction efficiency can be changed by changing the number of grooves (steps) in the cross-sectional shape of the diffractive optical element 4 and the depth of the steps.
Since the luminance is high (bright) in the portion where the diffraction efficiency is high and the luminance is low (dark) in the portion where the diffraction efficiency is low, the multi-tone luminance distribution can be obtained by appropriately combining the groove shape patterns in the diffractive optical element 4. Can be formed.
Note that the intensity of 0th-order light, which will be described later, can also be controlled by the shape of this groove.
As described above, a technique relating to the conversion of the light intensity (luminance) distribution using the diffractive optical element 4 is also disclosed in Japanese Patent Laid-Open No. 2003-270585 and Japanese Patent No. 4333760.

図1に示す半導体レーザ光源2は、波長λが400〜700nmの可視光や波長λが700〜1000nm程度の近赤外光を発するレーザを選択して出射することができる。
可視光線を用いればステレオカメラの撮像素子に対して感度が高く、解像度の高い回折パターン光を照射できる。それに対し、近赤外光を用いる場合は、撮像素子に対する感度は低いもののレーザ光が眼に見えないために(不可視光)、使用者に不自然さを感じさせることがない。
回折光学素子4からの出射角度θ1は、半導体レーザ光源2からの出射光の波長λと、回折光学素子4の周期構造と、によって決定される。
出射角度θ1を大きな角度とするためには、半導体レーザ光源2の波長λを大きくするか、回折光学素子4の周期構造を微細化しなければならない。
The semiconductor laser light source 2 shown in FIG. 1 can select and emit visible light having a wavelength λ of 400 to 700 nm and near infrared light having a wavelength λ of about 700 to 1000 nm.
If visible light is used, it is possible to irradiate diffraction pattern light with high sensitivity and high resolution to the imaging device of the stereo camera. On the other hand, when using near-infrared light, the sensitivity to the image sensor is low, but the laser light is not visible to the eye (invisible light), so that the user does not feel unnaturalness.
The outgoing angle θ1 from the diffractive optical element 4 is determined by the wavelength λ of the outgoing light from the semiconductor laser light source 2 and the periodic structure of the diffractive optical element 4.
In order to increase the emission angle θ1, the wavelength λ of the semiconductor laser light source 2 must be increased or the periodic structure of the diffractive optical element 4 must be miniaturized.

しかしながら、半導体レーザ光源2からの出射光の波長は、上記の400〜1000nmの波長に限定され、回折光学素子4の周期構造は、加工装置の微細加工能力に制限される。
そのため出射角度はある程度の角度以上には大きくできないのが実情である。
なお、例えば波長λ=0.65μm、周期構造を1.0μmとすると出射角度は約40°となる。
However, the wavelength of the emitted light from the semiconductor laser light source 2 is limited to the above-mentioned wavelength of 400 to 1000 nm, and the periodic structure of the diffractive optical element 4 is limited to the fine processing capability of the processing apparatus.
Therefore, the actual situation is that the emission angle cannot be increased beyond a certain angle.
For example, when the wavelength λ = 0.65 μm and the periodic structure is 1.0 μm, the emission angle is about 40 °.

図3は、本発明に係る測距装置に適用可能な複眼カメラ装置の構成を示す図であり、(a)は、複眼カメラ装置の断面図、(b)は、複眼カメラ装置が含む撮像素子の上面図である。
なお、本発明は、複眼カメラとして、2つのカメラ(撮像レンズ及び撮像領域)を備えるステレオカメラ装置に好適に適用可能なであり、ステレオカメラ装置を例として説明する。
図3において、ステレオカメラ装置20は、同一面上に配置した複数(例えば2つ)のレンズを有するレンズアレイ11と、レンズアレイ11を透過した被写体からの反射光を受光して(被写体像が結像されて)画像情報を取得する撮像素子14と、を備えている。
なお、レンズアレイ11には、測距用のレンズである撮像レンズ12a、12bが一体化されて形成されている。
3A and 3B are diagrams showing a configuration of a compound eye camera device applicable to the distance measuring apparatus according to the present invention, wherein FIG. 3A is a cross-sectional view of the compound eye camera device, and FIG. 3B is an image sensor included in the compound eye camera device. FIG.
Note that the present invention can be suitably applied to a stereo camera device including two cameras (an imaging lens and an imaging region) as a compound eye camera, and the stereo camera device will be described as an example.
In FIG. 3, the stereo camera device 20 receives a lens array 11 having a plurality of (for example, two) lenses arranged on the same plane, and reflected light from a subject transmitted through the lens array 11 (the subject image is And an image sensor 14 that acquires image information.
In the lens array 11, imaging lenses 12a and 12b, which are distance measuring lenses, are integrally formed.

撮像レンズ12a、12bは、同一の光学特性を有するものであり、同一の形状を有して焦点距離が等しく、それぞれの光軸13a、13bは平行である。なお、光軸13aと光軸13bの間隔が基線長Dである。
図3に示すように、光軸13a、13bの方向をZ軸とし、このZ軸に直交し且つ光軸13bから光軸13aへ向かう方向をY軸とし、さらにZ軸とY軸の双方に直交する方向をX軸とする。
両レンズの中心がY軸上となるようにレンズアレイ11を配置すると、撮像レンズ12a、12bはXY平面上に存在することになる。
この場合、視差Δが発生する方向はY軸方向となる。
撮像素子14はCMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)等の撮像素子でありウェハ14a上に半導体プロセスにより多数の画素(撮像領域)を形成したものである。
The imaging lenses 12a and 12b have the same optical characteristics, have the same shape and the same focal length, and the optical axes 13a and 13b are parallel to each other. The interval between the optical axis 13a and the optical axis 13b is the baseline length D.
As shown in FIG. 3, the direction of the optical axes 13a and 13b is the Z axis, the direction orthogonal to the Z axis and from the optical axis 13b to the optical axis 13a is the Y axis, and both the Z axis and the Y axis are An orthogonal direction is taken as an X axis.
When the lens array 11 is arranged so that the centers of both lenses are on the Y axis, the imaging lenses 12a and 12b exist on the XY plane.
In this case, the direction in which the parallax Δ is generated is the Y-axis direction.
The imaging device 14 is an imaging device such as a complementary metal oxide semiconductor (CMOS) or a charge coupled device (CCD), and has a large number of pixels (imaging regions) formed on a wafer 14a by a semiconductor process.

図3(b)に詳しく示すように、撮像素子14上には、撮像レンズ12aを経て被写体像が結像される撮像領域(撮像手段)15aと、撮像レンズ12bを経て被写体像が結像される撮像領域15bが離間して配置されている。
撮像領域15aと撮像領域15bは、それぞれ同じ大きさの矩形領域であり、撮像領域15aと撮像領域15bのそれぞれの対角中心と、撮像レンズ12a、12bの光軸13a、13bがほぼ一致するように配置されている。
As shown in detail in FIG. 3B, on the image sensor 14, an imaging region (imaging means) 15a on which a subject image is formed via the imaging lens 12a, and a subject image is formed via the imaging lens 12b. The imaging region 15b is spaced apart.
The imaging area 15a and the imaging area 15b are rectangular areas having the same size, and the diagonal centers of the imaging area 15a and the imaging area 15b are substantially coincident with the optical axes 13a and 13b of the imaging lenses 12a and 12b. Is arranged.

以上の構成からなるステレオカメラ装置20は、図14、図15を用いて上記に説明した三角測量の原理により被写体からの距離を計測できる。
さらに図1に示したパターン照明装置によりパターンを照明すれば、計測対象物が単一色の表面をもつ物体であってもステレオ対応づけを行うことができるため物体を精度良く計測できる。
The stereo camera device 20 having the above configuration can measure the distance from the subject based on the principle of triangulation described above with reference to FIGS.
Further, if the pattern is illuminated by the pattern illumination device shown in FIG. 1, even if the measurement target is an object having a single color surface, stereo correspondence can be performed, so that the object can be measured with high accuracy.

図4は、図3のステレオカメラ装置に図1のパターン照明装置を適用(一体化)した本発明に係るステレオカメラ装置を説明する図である。
また、図4において、(a)はステレオカメラ装置の長手方向(レンズアレイの長さ方向)の断面図、(b)は、短手方向(レンズアレイの幅方向)の断面図である。
また、図5は、図4に示すステレオカメラにおける、測距レンズの画角とパターン照明装置の回折パターン光の出射角度との関係を示した図である。
なお、図4以降において、図1、図3と同じ構成については、同一の符号を付し、詳細な説明は省略するものとする。
4 is a diagram illustrating a stereo camera device according to the present invention in which the pattern illumination device of FIG. 1 is applied (integrated) to the stereo camera device of FIG.
4A is a cross-sectional view in the longitudinal direction (length direction of the lens array) of the stereo camera device, and FIG. 4B is a cross-sectional view in the short side direction (width direction of the lens array).
FIG. 5 is a diagram showing the relationship between the angle of view of the distance measuring lens and the emission angle of the diffraction pattern light of the pattern illumination device in the stereo camera shown in FIG.
In FIG. 4 and subsequent figures, the same components as those in FIGS. 1 and 3 are denoted by the same reference numerals, and detailed description thereof is omitted.

図4に示す測距装置30は、図3で説明したステレオカメラ装置20に、図1に示したパターン照明装置の構成を一体に組み合わせて構成される。
すなわち、図3で説明したステレオカメラ装置20を構成する2つのカメラ(撮像レンズ12a及び撮像領域15a、撮像レンズ12b及び撮像領域15b)の間に、図1に示した如きパターン照明装置を配置している。
また、2つのカメラによって撮像した画像の視差に基づいて測距を行う視差演算部(測距手段)40を備えている。
図4(b)に示すように、測距装置30に含まれるパターン照明装置の半導体レーザ光源2は、測距装置30の筐体30aの側面に取り付けられ、撮像素子14の上方には、ミラー31が設置されている。半導体レーザ光源2から出射された光はミラー31により測距対象である被写体側に反射されて、カップリングレンズ3(図1参照)により、平行光に変換される。
平行光は回折光学素子4(図1参照)で回折され、所定の出射角度の回折パターン光5として出射されて対象物に照射される。
The distance measuring device 30 shown in FIG. 4 is configured by combining the stereo camera device 20 described in FIG. 3 with the configuration of the pattern illumination device shown in FIG.
That is, the pattern illumination device as shown in FIG. 1 is arranged between the two cameras (the imaging lens 12a and the imaging region 15a, the imaging lens 12b and the imaging region 15b) constituting the stereo camera device 20 described in FIG. ing.
In addition, a parallax calculation unit (ranging unit) 40 that performs distance measurement based on parallax of images captured by the two cameras is provided.
As shown in FIG. 4B, the semiconductor laser light source 2 of the pattern illumination device included in the distance measuring device 30 is attached to the side surface of the housing 30 a of the distance measuring device 30. 31 is installed. The light emitted from the semiconductor laser light source 2 is reflected by the mirror 31 toward the subject to be measured, and converted into parallel light by the coupling lens 3 (see FIG. 1).
The parallel light is diffracted by the diffractive optical element 4 (see FIG. 1), is emitted as diffraction pattern light 5 having a predetermined emission angle, and is irradiated onto the object.

図5に示す測距装置30における測距可能領域Aは、2つの撮像レンズ12a、12bの画角が重なる領域であるが、回折光学素子4から出射される回折パターン光5の出射角度θ1はステレオカメラ装置20のレンズ12a、12bの画角θ2と等しい角度になっているため、対象物とステレオカメラ装置20との距離が変わっても測距可能領域Aの全体にパターンが照射される。
従って、図5に示すように、測距対象物との距離に関わらず測距可能領域Aの全体で、回折パターン光を利用した測距が可能となる。
このように、回折光学素子4をステレオカメラの2つの撮像レンズ12a、12bの光軸の間に配置して、ステレオカメラの画角と回折光学素子4の画角(広がり角)を一致させることで、ステレオカメラによる測距可能な領域と回折パターン光を照明している領域とを、常に一致させることができる。
In the distance measuring device 30 shown in FIG. 5, the range A that can be measured is an area where the angles of view of the two imaging lenses 12 a and 12 b overlap, but the emission angle θ 1 of the diffraction pattern light 5 emitted from the diffractive optical element 4 is Since the angle is equal to the angle of view θ2 of the lenses 12a and 12b of the stereo camera device 20, even if the distance between the object and the stereo camera device 20 changes, the pattern is irradiated to the entire distance measuring area A.
Therefore, as shown in FIG. 5, distance measurement using the diffraction pattern light can be performed in the entire distance measuring area A regardless of the distance to the object to be measured.
In this way, the diffractive optical element 4 is disposed between the optical axes of the two imaging lenses 12a and 12b of the stereo camera so that the angle of view of the stereo camera and the angle of view (expansion angle) of the diffractive optical element 4 are matched. Thus, the area that can be measured by the stereo camera and the area that illuminates the diffraction pattern light can always be matched.

これにより対象物までの距離が変わってもステレオカメラにより測距可能な領域Aと回折パターン光を照明する領域を常に一致させることができる。また半導体レーザ光源2から出射される回折パターン光5を無駄なく測距可能領域Aに照射することができる。
もちろん、回折光学素子4の画角を、撮像レンズ12a、12bの画角よりも大きくするようにしても良いが、上記したように回折光学素子の画角を大きくするには、回折光学素子4の周期構造を微細化しなければならず、加工装置の微細加工能力に制限されるという問題がある。
また、ステレオカメラにより測距可能領域Aと重ならない領域に照射される回折パターン光は、事実上無駄となる。
Thereby, even if the distance to the object changes, the area A that can be measured by the stereo camera and the area that illuminates the diffraction pattern light can always be matched. Further, it is possible to irradiate the distance measuring area A with the diffraction pattern light 5 emitted from the semiconductor laser light source 2 without waste.
Of course, the angle of view of the diffractive optical element 4 may be made larger than the angle of view of the imaging lenses 12a and 12b. However, in order to increase the angle of view of the diffractive optical element as described above, the diffractive optical element 4 Therefore, there is a problem that the periodic structure must be miniaturized and the processing capability of the processing apparatus is limited.
Moreover, the diffraction pattern light irradiated to the area | region which does not overlap with the range-measurable area | region A by a stereo camera is useless in fact.

ところで、図4に示す測距装置30を自走式のロボットや可動式のロボットアームなどに適用したような場合で、過酷な環境下で使用されることや経時によって、測距装置30におけるパターン照明装置(レーザ光源2、カップリングレンズ3、回折光学素子4)と、ステレオカメラの撮像レンズ12a、12bとの位置関係がずれたり、あるいは半導体レーザ光源2の取り付け位置がずれて光の出射角度が当初の角度からずれたりした場合、レンズの画角θ2と、回折パターン光の出射角度θ1が等しくならず、また、ステレオカメラにより測距が可能な領域が回折パターン光を照明している領域に含まれなくなり、ステレオカメラの測距可能領域全体で正確に測距をすることが出来なくなる。   By the way, when the distance measuring device 30 shown in FIG. 4 is applied to a self-propelled robot, a movable robot arm, or the like, the pattern in the distance measuring device 30 may be used under severe conditions or over time. The positional relationship between the illumination device (laser light source 2, coupling lens 3, diffractive optical element 4) and imaging lenses 12a and 12b of the stereo camera is shifted, or the mounting position of the semiconductor laser light source 2 is shifted and the light emission angle Is shifted from the initial angle, the angle of view θ2 of the lens is not equal to the emission angle θ1 of the diffraction pattern light, and the region that can be measured by the stereo camera illuminates the diffraction pattern light Thus, it becomes impossible to accurately measure the entire distance range of the stereo camera.

以下に、ステレオカメラ(撮像レンズ12a、12b)とパターン照明装置(レーザ光源2、カップリングレンズ3、回折光学素子4)との位置ずれを検出する方法について図6〜図9を用いて説明する。
回折光学素子4により回折された回折パターン光5には、0次回折光7が含まれる場合が多い。
ここで、0次回折光とは回折光学素子4に入射した光束のうち、回折せずに素通り(透過)した光のことである。
本来は、0次回折光が生じないように回折光学素子の設計、加工がなされるが、本発明では0次回折光7をあえて生じさせ、これを用いてステレオカメラ装置20(撮像レンズ12a、12b)とパターン照明装置1(レーザ光源2、カップリングレンズ3、回折光学素子4)の位置ずれを検知するために用いる。
Hereinafter, a method of detecting a positional deviation between the stereo camera (imaging lenses 12a and 12b) and the pattern illumination device (laser light source 2, coupling lens 3, and diffractive optical element 4) will be described with reference to FIGS. .
The diffraction pattern light 5 diffracted by the diffractive optical element 4 often includes zero-order diffracted light 7.
Here, the 0th-order diffracted light is light that has passed through (transmitted) without being diffracted out of the light beam incident on the diffractive optical element 4.
Originally, the diffractive optical element is designed and processed so that the 0th-order diffracted light is not generated. However, in the present invention, the 0th-order diffracted light 7 is generated intentionally and is used to generate the stereo camera device 20 (imaging lenses 12a and 12b). And pattern illuminating device 1 (laser light source 2, coupling lens 3, diffractive optical element 4) are used to detect positional deviation.

図6は、回折パターン光における0次回折光スポットの位置を示す図である。
図6に示すように、0次回折光7のスポットは通常、回折パターン光5の領域中心に生じる。
また、0次回折光7は半導体レーザ光源2から発せられた光で、ステレオカメラの撮像レンズ12a、12bの光軸13a、13bの中間位置から出射されている。
そのため正規の状態であれば、ステレオカメラの2つの撮像素子の撮像領域15a、15bには0次回折光7のスポットは図7に示すように映る。
FIG. 6 is a diagram showing the position of the 0th-order diffracted light spot in the diffraction pattern light.
As shown in FIG. 6, the spot of the 0th-order diffracted light 7 usually occurs at the center of the region of the diffraction pattern light 5.
The 0th-order diffracted light 7 is light emitted from the semiconductor laser light source 2 and is emitted from an intermediate position between the optical axes 13a and 13b of the imaging lenses 12a and 12b of the stereo camera.
For this reason, in the normal state, the spot of the 0th-order diffracted light 7 appears in the imaging regions 15a and 15b of the two imaging elements of the stereo camera as shown in FIG.

図7は、正規状態における撮像領域上の0次回折光スポット像の位置を示す図である。
図7に示すように、左側の撮像領域15aでは、領域の中心から視差L0だけずれた位置に0次回折光スポットが映り(0次回折光スポット像7L)、右側の撮像領域15bでは、領域の中心から視差R0だけずれた位置に0次回折光7のスポットが映る(0次回折光スポット像7R)。
このとき、半導体レーザ光源2はステレオカメラのレンズ12a、12bの光軸13a、13bの中間位置にあるため視差L0=視差R0となる。すなわち、2つのカメラの画面の中心からそれぞれ等しい画素数だけずれた位置で検出される。
FIG. 7 is a diagram illustrating the position of the 0th-order diffracted light spot image on the imaging region in the normal state.
As shown in FIG. 7, in the left imaging region 15a, a 0th-order diffracted light spot appears at a position shifted from the center of the region by a parallax L0 (0th-order diffracted light spot image 7L), and in the right imaging region 15b, the center of the region is shown. A spot of the 0th-order diffracted light 7 is reflected at a position deviated by the parallax R0 (0th-order diffracted light spot image 7R).
At this time, since the semiconductor laser light source 2 is at an intermediate position between the optical axes 13a and 13b of the lenses 12a and 12b of the stereo camera, parallax L0 = parallax R0. That is, detection is performed at a position shifted by an equal number of pixels from the centers of the screens of the two cameras.

図8、図9は、回折パターン光の出射方向がずれた場合の、撮像領域上の0次回折光スポット像の位置を示す図である。
図8に示すように、半導体レーザ光源2の位置が図中左側にずれて、回折パターン光5の方向がY方向の+側(図の右側)にずれると(回折パターン光5A)、0次回折光7のスポットもY方向の+側(図の右側)にずれる(0次回折光スポット7A)。
0次回折光7のスポット像の位置について、撮像領域15aにおける0次回折光スポット像7Lは、撮像領域15aの中心から視差L1(L1>L0)だけずれた位置に映り、撮像領域15bにおける0次回折光スポット像7Rは、撮像領域15bの中心から視差R1(R1<R0)だけずれた位置に映る。このとき視差L1>視差R1となる。
この差を、視差演算部40によって検知することで、回折パターン光5の方向とステレオカメラの方向がどれだけずれたかについて、そのズレ量とズレの方向がわかる。
8 and 9 are diagrams showing the positions of the 0th-order diffracted light spot images on the imaging region when the emission direction of the diffraction pattern light is deviated.
As shown in FIG. 8, when the position of the semiconductor laser light source 2 is shifted to the left side in the figure and the direction of the diffraction pattern light 5 is shifted to the + side of the Y direction (right side in the figure) (diffraction pattern light 5A), 0 next time. The spot of the folding light 7 is also shifted to the + side in the Y direction (the right side of the figure) (0th order diffracted light spot 7A).
Regarding the position of the spot image of the 0th-order diffracted light 7, the 0th-order diffracted light spot image 7L in the imaging region 15a appears at a position shifted from the center of the imaging region 15a by the parallax L1 (L1> L0), and the 0th-order diffracted light in the imaging region 15b. The spot image 7R is reflected at a position shifted by the parallax R1 (R1 <R0) from the center of the imaging region 15b. At this time, parallax L1> parallax R1.
By detecting this difference by the parallax calculation unit 40, the amount of deviation and the direction of deviation can be known as to how much the direction of the diffraction pattern light 5 and the direction of the stereo camera are deviated.

逆に図9に示すように半導体レーザ光源2の位置が図中右側にずれて、回折パターン光5の方向がY方向の−側(図の左側)にずれると(回折パターン光5B)、0次回折光7のスポットもY方向の−側(図の左側)にずれる(0次回折光スポット7B)。
0次回折光7のスポットの位置について、撮像領域15aにおける0次回折光スポット像7Lは、撮像領域15aの中心から視差L2(L2<L0)だけずれた位置に映り、撮像領域15bにおける0次回折光スポット像7Rは、撮像領域15bの中心から視差R2(R2>R0)だけずれた位置に映る。このとき視差L2<視差R2となる。
図8の場合と同様に、この差を視差演算部40にて検知することで、回折パターン光5の方向とステレオカメラの方向がどれだけずれたかについて、そのズレ量とズレの方向がわかる。
On the contrary, as shown in FIG. 9, when the position of the semiconductor laser light source 2 is shifted to the right side in the drawing and the direction of the diffraction pattern light 5 is shifted to the negative side (left side in the drawing) of the Y direction (diffraction pattern light 5B), The spot of the next-order diffracted light 7 is also shifted to the-side (left side in the figure) in the Y direction (0th-order diffracted light spot 7B).
Regarding the position of the spot of the 0th-order diffracted light 7, the 0th-order diffracted light spot image 7L in the imaging region 15a is reflected at a position shifted from the center of the imaging region 15a by the parallax L2 (L2 <L0), and the 0th-order diffracted light spot in the imaging region 15b. The image 7R appears in a position shifted from the center of the imaging region 15b by the parallax R2 (R2> R0). At this time, parallax L2 <parallax R2.
As in the case of FIG. 8, by detecting this difference by the parallax calculation unit 40, it is possible to know the amount of deviation and the direction of deviation as to how much the direction of the diffraction pattern light 5 is deviated from the direction of the stereo camera.

以上のように、0次回折光の位置を、ステレオカメラを用いて検出することで回折パターン光の方向とステレオカメラの方向のずれを検出できる。
これにより自走式のロボットや可動式のロボットアームのように振動が多い使用条件下でも所定以上のずれが発生した場合はすぐに動作を停止するなどして補正・修正を行い、常に正しい測距を行える状態を保つことができる。
また、ずれが発生した場合にその旨を音声や発光にて外部に報知する報知手段を、測距装置30や、測距装置30を組み込む他の装置に設けることが望ましい。
As described above, a shift between the direction of the diffraction pattern light and the direction of the stereo camera can be detected by detecting the position of the 0th-order diffracted light using the stereo camera.
As a result, if a deviation of more than a predetermined level occurs even under operating conditions where there is a lot of vibration, such as a self-propelled robot or a movable robot arm, the operation is immediately stopped and corrections are made. It is possible to keep the distance.
In addition, it is desirable to provide notifying means for notifying the outside by voice or light emission when a deviation occurs in the distance measuring device 30 or other devices incorporating the distance measuring device 30.

[第2の実施形態]
図10は、本発明の第2の実施形態に係るパターン照明装置を説明する図である。
0次回折光7を用いて回折パターン光とステレオカメラ(撮像レンズ)の方向ずれを検出するためには、0次回折光7を検出しやすくすることが望ましい。そのためには0次回折光7をパターン照明の他のスポット5aに対して違いが際立つようにすればよい。
従って、0次回折光7を、回折パターン光5の他のスポット5aよりもスポットサイズを大きくしたり、あるいは光強度を強くすれば良い。
0次回折光7のスポットサイズは、カップリングレンズ3から出射される平行光のビーム径φで決まる。従って、カップリングレンズ3から出射される平行光のビーム径をパターン照明の他のスポット径よりも大きくすれば、違いがわかりやすくなる。
さらに0次回折光7の光強度がパターン照明の他のスポットより光強度が強ければ、撮影画像において0次回折光7はシロ飛びしてしまう。
撮影画像においてシロ飛びした箇所は距離画像においても測距エラーが生じる。従って、シロ飛びやエラーが生じた箇所が0次回折光の位置と見なすことができる。
[Second Embodiment]
FIG. 10 is a diagram for explaining a pattern illumination device according to the second embodiment of the present invention.
In order to detect the direction shift between the diffraction pattern light and the stereo camera (imaging lens) using the 0th-order diffracted light 7, it is desirable to make the 0th-order diffracted light 7 easy to detect. For this purpose, the 0th-order diffracted light 7 may be made to stand out from the other spots 5a of the pattern illumination.
Therefore, the zero-order diffracted light 7 may be made larger in spot size or light intensity than the other spots 5a of the diffraction pattern light 5.
The spot size of the 0th-order diffracted light 7 is determined by the beam diameter φ of parallel light emitted from the coupling lens 3. Therefore, if the beam diameter of the parallel light emitted from the coupling lens 3 is made larger than the other spot diameters of the pattern illumination, the difference can be easily understood.
Furthermore, if the light intensity of the 0th-order diffracted light 7 is higher than that of other spots in the pattern illumination, the 0th-order diffracted light 7 will fly out in the captured image.
A distance measurement error occurs in a distance image at a spot that is skipped in a captured image. Therefore, a spot where a white spot or an error occurs can be regarded as the position of the 0th-order diffracted light.

また、0次回折光7の光強度は回折効率で決まるため。回折効率を低下させれば、その分回折せずに素通り(透過)する光である0次回折光7の光強度が強くなる。
図2に示したように回折光学素子4の溝深さや形状を変えることで回折効率は最適に設定することができる。
このように0次回折光7をパターン照明の他のスポットよりスポットサイズが大きくなるようにしたり、光強度が強くなるようにすれば、回折パターン光とステレオカメラの方向ずれを検出しやすくなる。
Further, the light intensity of the 0th-order diffracted light 7 is determined by the diffraction efficiency. If the diffraction efficiency is lowered, the light intensity of the 0th-order diffracted light 7, which is the light that passes through (transmits) without being diffracted, is increased.
As shown in FIG. 2, the diffraction efficiency can be set optimally by changing the groove depth and shape of the diffractive optical element 4.
If the spot size of the 0th-order diffracted light 7 is made larger than the other spots of pattern illumination or the light intensity is increased in this way, it becomes easier to detect the misalignment between the diffraction pattern light and the stereo camera.

[第3の実施形態]
次に、本発明の測距装置の変形例について説明する。
図11は、第3の実施形態にかかる測距装置を説明する図である。
本実施形態では、図11に示すように、測距装置を構成するパターン照明装置のカップリングレンズ3とステレオカメラの一対のレンズ12a、12bが、レンズアレイ8として一体に形成されている。
このように一体で形成されていると組立工程が簡素化されることに加えて、以下のようなメリットがある。
図11において一体化されたレンズアレイ8に対して半導体レーザ光源2の位置がY方向の+側にずれた場合(本来の位置は点線の位置)、回折パターン光5および0次回折光7は図12に示すようにY方向の−側にずれる(回折パターン光5C及び0次回折光7C)。
[Third Embodiment]
Next, a modification of the distance measuring device of the present invention will be described.
FIG. 11 is a diagram for explaining a distance measuring apparatus according to the third embodiment.
In the present embodiment, as shown in FIG. 11, the coupling lens 3 of the pattern illumination device and the pair of lenses 12 a and 12 b of the stereo camera constituting the distance measuring device are integrally formed as a lens array 8.
In this way, in addition to simplifying the assembly process, there are the following merits.
When the position of the semiconductor laser light source 2 is shifted to the + side in the Y direction with respect to the lens array 8 integrated in FIG. 11 (the original position is the position of the dotted line), the diffraction pattern light 5 and the 0th-order diffracted light 7 are 12 shifts to the negative side in the Y direction (diffraction pattern light 5C and zeroth-order diffracted light 7C).

回折パターン光5がY方向の−側にずれれば、上述したようにステレオカメラによってずれを検知できる。
その場合、半導体レーザ光源2の位置を−Y方向に動かして補正すれば、ずれは無くなる。
このようにパターン照明用のカップリングレンズ3とステレオカメラの一対のレンズとが一体に形成されていることで回折パターン光の方向とステレオカメラの方向とを検知して、半導体レーザ光源2の位置を動かすことでずれを補正することができる。
一体になっていない場合はずれを検知しても半導体レーザ光源2がずれたのか、カップリングレンズ3がずれたのか、両方ずれたのかはわからないため、調整が困難になる。
If the diffraction pattern light 5 is shifted to the negative side in the Y direction, the shift can be detected by the stereo camera as described above.
In that case, if the position of the semiconductor laser light source 2 is corrected by moving in the -Y direction, the deviation is eliminated.
Thus, the pattern illumination coupling lens 3 and the pair of lenses of the stereo camera are integrally formed, so that the direction of the diffraction pattern light and the direction of the stereo camera are detected, and the position of the semiconductor laser light source 2 is detected. The shift can be corrected by moving.
If they are not integrated, even if a deviation is detected, it is not known whether the semiconductor laser light source 2 is deviated, the coupling lens 3 is deviated, or both are deviated, making adjustment difficult.

カップリングレンズとステレオカメラの一対のレンズとを一体に形成することでレンズを基準とすることができるためずれがあった場合でも容易に補正できる。
すなわち、レーザ光源2からの光を取り込むカップリングレンズ3とステレオカメラの1対のレンズ12とを一体形成することで、ステレオカメラ(撮像レンズ12a、12b)が撮影している方向とパターン照明装置(カップリングレンズ3)が照明している方向を検知し、ズレが有った場合でも容易にズレを修正することができる。
回折光学素子4を、カップリングレンズ3もしくはステレオカメラの2つの撮像レンズ12a、12bと一体に形成することで、振動や経時変化に対して位置ずれが生じにくくなるためステレオカメラが撮影している方向と照明装置が照明している方向がずれにくくなり安定した測距を行うことができる。
カップリングレンズとステレオカメラのレンズを一体形成することでステレオカメラが撮影している方向と照明装置が照明している方向を容易に一致させることができる。
回折光学素子がカップリングレンズもしくはステレオカメラのレンズと一体に形成されていることで、振動や経時変化に対して位置ずれが生じにくくなるためステレオカメラが撮影している方向と照明装置が照明している方向が安定になる。
By integrally forming the coupling lens and the pair of lenses of the stereo camera, the lens can be used as a reference, so that even if there is a deviation, it can be easily corrected.
That is, the coupling lens 3 that takes in light from the laser light source 2 and the pair of lenses 12 of the stereo camera are integrally formed, and the direction in which the stereo camera (imaging lenses 12a and 12b) is photographing and the pattern illumination device. The direction in which the (coupling lens 3) is illuminating is detected, and even when there is a deviation, the deviation can be easily corrected.
Since the diffractive optical element 4 is formed integrally with the coupling lens 3 or the two imaging lenses 12a and 12b of the stereo camera, the stereo camera takes a picture because the positional deviation is less likely to occur with respect to vibration and changes with time. The direction and the direction illuminated by the lighting device are less likely to be shifted, and stable ranging can be performed.
By integrally forming the coupling lens and the stereo camera lens, the direction in which the stereo camera is photographing and the direction in which the illumination device is illuminating can be easily matched.
Since the diffractive optical element is formed integrally with the coupling lens or the lens of the stereo camera, it is difficult for positional deviation to occur with respect to vibration and changes over time. Direction is stable.

[第4の実施形態]
図13は、本発明の測距装置に回折光学素子を取り付ける態様を説明する図である。
回折光学素子4の形状は微細な周期構造となっているため、フォトリソグラフィやエッチングによりガラス基板上に加工するのが一般的である。
そこでガラス基板に加工された回折光学素子4を、図11に示したような一体型レンズ8とホルダ9を介して一体化(図13(a))したり、別のガラス基板10aに貼り付けた上で、一体型レンズ8と一体化(図13(b))したり、エッチングに用いたガラス基板10bごと、一体化レンズ8と一体化(図13(c))することができる。
このように、撮像レンズ12、カップリングレンズ3、回折光学素子4を一体化することで、回折光学素子4とカップリングレンズ3とステレオカメラの一対の撮像レンズ12との位置関係が固定できるため、振動や経時変化によりパターン照明が位置ずれを起こしたり、回転ずれを起こしたりすることがなくなる。これにより信頼性の高い測距を実現できる。
以上述べてきたように、図1に示すパターン照明装置と、図3に示すステレオカメラが一体化されていることで小型化が実現できると同時に、パターン照明装置を構成する部材とステレオカメラを構成する部材の、相互の位置ずれを検知しやすく、またそのズレも補正しやすいため信頼性の高い測距装置を実現でき、経時変化や振動に対しても安定した測距が可能になる。
[Fourth Embodiment]
FIG. 13 is a diagram for explaining a mode in which a diffractive optical element is attached to the distance measuring apparatus of the present invention.
Since the shape of the diffractive optical element 4 has a fine periodic structure, it is generally processed on a glass substrate by photolithography or etching.
Therefore, the diffractive optical element 4 processed into the glass substrate is integrated (FIG. 13A) via the integrated lens 8 and the holder 9 as shown in FIG. 11, or is attached to another glass substrate 10a. In addition, it can be integrated with the integrated lens 8 (FIG. 13B), or can be integrated with the integrated lens 8 together with the glass substrate 10b used for etching (FIG. 13C).
As described above, since the imaging lens 12, the coupling lens 3, and the diffractive optical element 4 are integrated, the positional relationship between the diffractive optical element 4, the coupling lens 3, and the pair of imaging lenses 12 of the stereo camera can be fixed. The pattern illumination does not cause a positional shift or a rotational shift due to vibration or a change with time. Thereby, ranging with high reliability can be realized.
As described above, since the pattern illumination device shown in FIG. 1 and the stereo camera shown in FIG. 3 are integrated, miniaturization can be realized, and at the same time, members constituting the pattern illumination device and the stereo camera are configured. Therefore, it is easy to detect misalignment between members and to easily correct the misalignment, and thus a highly reliable distance measuring device can be realized, and stable distance measurement can be performed against changes with time and vibration.

1 パターン照明装置、2 半導体レーザ光源、3 カップリングレンズ、4 回折光学素子、5 回折パターン光、5A 回折パターン光、5B 回折パターン光、6a 温度調節機能部、6b APC機能部、7 0次回折光、7L 撮像領域、7L 0次回折光スポット像、7R 0次回折光スポット像、8 レンズアレイ、8 一体型レンズ、11 レンズアレイ、12a 撮像レンズ、12b 撮像レンズ、13a 光軸、13b 光軸、14 撮像素子、14a ウェハ、15a 撮像領域、15b 撮像領域、20 ステレオカメラ装置、30 測距装置30a 筐体、31 ミラー、40 視差演算部、101 計測対象物、102a カメラ、102b カメラ、103a レンズ、103b レンズ、104a 計測対象物像、104b 計測対象物像、104c 対応点、105a 二次元センサ、106 ステレオカメラ装置 DESCRIPTION OF SYMBOLS 1 Pattern illumination apparatus, 2 Semiconductor laser light source, 3 Coupling lens, 4 Diffractive optical element, 5 Diffraction pattern light, 5A Diffraction pattern light, 5B Diffraction pattern light, 6a Temperature control function part, 6b APC function part, 70th order diffracted light , 7L imaging region, 7L 0th order diffracted light spot image, 7R 0th order diffracted light spot image, 8 lens array, 8 integral lens, 11 lens array, 12a imaging lens, 12b imaging lens, 13a optical axis, 13b optical axis, 14 imaging Element, 14a Wafer, 15a Imaging region, 15b Imaging region, 20 Stereo camera device, 30 Distance measuring device 30a Case, 31 Mirror, 40 Parallax calculation unit, 101 Measurement object, 102a Camera, 102b Camera, 103a Lens, 103b Lens 104a Measurement object image, 104b Measurement pair Object-image, 104c corresponding points, 105a two-dimensional sensor, 106 stereo camera device

特開2001−147110公報JP 2001-147110 A

Claims (5)

被写体に照射するための照明光を出射する光源と、
前記照明光を回折して生成した回折パターン光を、前記被写体に照射する回折光学素子と、
前記被写体で反射された前記回折パターン光を結像する複数の撮像レンズと、
前記各撮像レンズにより結像された前記回折パターン光に基づく、前記被写体に係る複数の画像を撮像する複数の撮像手段と、
前記複数の画像間の視差情報から前記被写体からの距離を算出する測距手段と、
を備え、
前記回折光学素子は、
前記複数の撮像レンズの光軸間に配置されるとともに、前記回折パターン光の照射領域が、前記複数の撮像レンズを介して前記視差情報を取得可能な領域を含む角度にて前記回折パターン光を出射可能であることを特徴とする測距装置。
A light source that emits illumination light for irradiating the subject;
A diffractive optical element that irradiates the subject with diffraction pattern light generated by diffracting the illumination light; and
A plurality of imaging lenses that image the diffraction pattern light reflected by the subject;
A plurality of imaging means for imaging a plurality of images related to the subject based on the diffraction pattern light imaged by the imaging lenses;
Ranging means for calculating a distance from the subject from parallax information between the plurality of images;
With
The diffractive optical element is
The diffraction pattern light is arranged at an angle that is disposed between the optical axes of the plurality of imaging lenses, and an irradiation area of the diffraction pattern light includes an area where the parallax information can be acquired via the plurality of imaging lenses. A distance measuring device capable of emitting light.
請求項1に記載の測距装置において、
前記回折光学素子は、前記複数の撮像レンズの光軸の中心位置に配置され、
前記複数の撮像手段により取得された前記画像における、前記回折パターン光に含まれる0次回折光のスポット画像の視差位置に基づいて、前記回折パターン光の出射角度のずれを検出する検出手段を備えたことを特徴とする測距装置。
The distance measuring device according to claim 1,
The diffractive optical element is disposed at the center position of the optical axis of the plurality of imaging lenses,
A detecting unit configured to detect a deviation in an emission angle of the diffraction pattern light based on a parallax position of a spot image of the 0th-order diffracted light included in the diffraction pattern light in the images acquired by the plurality of imaging units; A distance measuring device characterized by that.
請求項2に記載の測距装置において、
前記回折光学素子は、前記0次回折光のスポットが、他の回折光のスポットよりもサイズが大きいか、又は光強度が強くなるように、前記照射光を回折することを特徴とする測距装置。
The distance measuring device according to claim 2,
The diffractive optical element diffracts the irradiation light so that the spot of the 0th-order diffracted light is larger in size or light intensity than other diffracted light spots. .
請求項1又は2に記載の測距装置において、
前記光源から出射された照明光の光路における前記回折光学素子の手前側に配置されて、前記照明光を平行光に変換する光学手段を備え、
前記光学手段は、前記複数の撮像レンズと一体に形成されていることを特徴とする測距装置。
The distance measuring device according to claim 1 or 2,
An optical means disposed on the near side of the diffractive optical element in the optical path of the illumination light emitted from the light source, and converting the illumination light into parallel light;
The distance measuring apparatus, wherein the optical means is formed integrally with the plurality of imaging lenses.
請求項1又は2に記載の測距装置において、
該光源から出射された照明光の光路における前記回折光学素子の手前側に配置されて、前記照明光を平行光に変換する光学手段を備え、
前記回折光学素子は、前記光学手段又は前記複数の撮像レンズと一体に形成されていることを特徴とする測距装置。
The distance measuring device according to claim 1 or 2,
An optical means disposed on the near side of the diffractive optical element in the optical path of the illumination light emitted from the light source, and converting the illumination light into parallel light;
The diffractive optical element is formed integrally with the optical means or the plurality of imaging lenses.
JP2012131819A 2012-06-11 2012-06-11 Distance measuring device Pending JP2013257162A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012131819A JP2013257162A (en) 2012-06-11 2012-06-11 Distance measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012131819A JP2013257162A (en) 2012-06-11 2012-06-11 Distance measuring device

Publications (1)

Publication Number Publication Date
JP2013257162A true JP2013257162A (en) 2013-12-26

Family

ID=49953727

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012131819A Pending JP2013257162A (en) 2012-06-11 2012-06-11 Distance measuring device

Country Status (1)

Country Link
JP (1) JP2013257162A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3009886A1 (en) 2014-10-17 2016-04-20 Ricoh Company, Ltd. Illumination apparatus, pattern irradiation device, and 3d measurement system
JP2016095229A (en) * 2014-11-14 2016-05-26 株式会社リコー Parallax value derivation device, movable body, robot, parallax value production method, and program
JP2017067758A (en) * 2015-09-28 2017-04-06 株式会社リコー system
WO2017056479A1 (en) * 2015-09-28 2017-04-06 Ricoh Company, Ltd. System
EP3199911A1 (en) 2016-01-27 2017-08-02 Ricoh Company, Ltd. Irradiation apparatus
JP2018511796A (en) * 2015-03-30 2018-04-26 エックス デベロップメント エルエルシー Imager for detecting visual and infrared projected patterns
CN107976681A (en) * 2016-10-21 2018-05-01 北醒(北京)光子科技有限公司 A kind of multi-thread optical distance measurement apparatus
JP2021527285A (en) * 2018-06-07 2021-10-11 ラディモ・オサケイフティオ Modeling of topography on a three-dimensional surface
US20210325686A1 (en) * 2020-04-21 2021-10-21 Magik Eye Inc. Diffractive optical element with collimator function

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3009886A1 (en) 2014-10-17 2016-04-20 Ricoh Company, Ltd. Illumination apparatus, pattern irradiation device, and 3d measurement system
US9863759B2 (en) 2014-10-17 2018-01-09 Ricoh Company, Ltd. Illumination apparatus, pattern irradiation device, and system
JP2016095229A (en) * 2014-11-14 2016-05-26 株式会社リコー Parallax value derivation device, movable body, robot, parallax value production method, and program
JP2018511796A (en) * 2015-03-30 2018-04-26 エックス デベロップメント エルエルシー Imager for detecting visual and infrared projected patterns
US11209265B2 (en) 2015-03-30 2021-12-28 X Development Llc Imager for detecting visual light and projected patterns
US10466043B2 (en) 2015-03-30 2019-11-05 X Development Llc Imager for detecting visual light and projected patterns
WO2017056479A1 (en) * 2015-09-28 2017-04-06 Ricoh Company, Ltd. System
US10737391B2 (en) 2015-09-28 2020-08-11 Ricoh Company, Ltd. System for capturing an image
JP2017067758A (en) * 2015-09-28 2017-04-06 株式会社リコー system
EP3199911A1 (en) 2016-01-27 2017-08-02 Ricoh Company, Ltd. Irradiation apparatus
CN107976681A (en) * 2016-10-21 2018-05-01 北醒(北京)光子科技有限公司 A kind of multi-thread optical distance measurement apparatus
JP2021527285A (en) * 2018-06-07 2021-10-11 ラディモ・オサケイフティオ Modeling of topography on a three-dimensional surface
US11561088B2 (en) 2018-06-07 2023-01-24 Pibond Oy Modeling the topography of a three-dimensional surface
JP7439070B2 (en) 2018-06-07 2024-02-27 ラディモ・オサケイフティオ Modeling of 3D surface topography
US20210325686A1 (en) * 2020-04-21 2021-10-21 Magik Eye Inc. Diffractive optical element with collimator function

Similar Documents

Publication Publication Date Title
JP2013257162A (en) Distance measuring device
JP5966467B2 (en) Ranging device
JP5549230B2 (en) Ranging device, ranging module, and imaging device using the same
KR100753885B1 (en) Image obtaining apparatus
WO2009119229A1 (en) Three-dimensional imaging device and method for calibrating three-dimensional imaging device
JP2009031150A (en) Three-dimensional shape measuring device, three-dimensional shape measurement method, three-dimensional shape measurement program, and record medium
US7692128B2 (en) Focus control method for an optical apparatus which inspects a photo-mask or the like
US20130188026A1 (en) Depth estimating image capture device and image sensor
EP2813809A1 (en) Device and method for measuring the dimensions of an objet and method for producing an item using said device
EP3876017A1 (en) Patterned light irradiation apparatus and method
WO2012042943A1 (en) Method for adjusting floodlight beam
JP2013124985A (en) Compound-eye imaging apparatus and distance measuring device
JP6729960B2 (en) Camera module adjusting device and camera module adjusting method
US5589910A (en) Apparatus for measuring a distance
KR102122275B1 (en) Light distribution characteristic measurement apparatus and light distribution characteristic measurement method
US20160238380A1 (en) Image measuring method and image measuring apparatus
JP2014010089A (en) Range finder
JP6125131B1 (en) Wavefront measuring device and optical system assembly device
JP4557799B2 (en) ADJUSTING METHOD AND ADJUSTING DEVICE FOR DIGITAL CAMERA
JP6232784B2 (en) Pattern illumination device and distance measuring device
JP2021018081A (en) Imaging apparatus, measuring device, and measuring method
JP2017040704A (en) Imaging apparatus and imaging system
JP4788968B2 (en) Focal plane tilt type confocal surface shape measuring device
WO2024157611A1 (en) Distance measuring device
WO2024111325A1 (en) Distance measuring device