JP2002090117A - Wide angle distance measuring device - Google Patents

Wide angle distance measuring device

Info

Publication number
JP2002090117A
JP2002090117A JP2000282388A JP2000282388A JP2002090117A JP 2002090117 A JP2002090117 A JP 2002090117A JP 2000282388 A JP2000282388 A JP 2000282388A JP 2000282388 A JP2000282388 A JP 2000282388A JP 2002090117 A JP2002090117 A JP 2002090117A
Authority
JP
Japan
Prior art keywords
distance
image
focus
area
wide
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000282388A
Other languages
Japanese (ja)
Inventor
Shigeru Yamazaki
茂 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Signal Co Ltd
Original Assignee
Nippon Signal Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Signal Co Ltd filed Critical Nippon Signal Co Ltd
Priority to JP2000282388A priority Critical patent/JP2002090117A/en
Publication of JP2002090117A publication Critical patent/JP2002090117A/en
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

PROBLEM TO BE SOLVED: To facilitate the distance measurement to an object within a wide spatial area and to ensure high reliability. SOLUTION: The image of the object within the whole circumferential area is taken by use of an electronic camera 26 as one reflected image. The reflected image is formed on the electronic camera 26 by a main lens 22 and a focus variable lens unit 24. The subject field depth of the main lens 22 is formed shallow, and the focus variable lens unit 24 changes its focal distance, whereby the distance to the object where it is focused on the reflected image is changed. An image processing part 6 gains focal distance information through a focus variable lens unit control part 4 and detects the area where the reflected image from the electronic camera 26 is in focus. The measurement distance determined from the focal distance is determined to the focused area. The focal distance is changed and focused on each area, whereby the distance to the object reflected to each point of the reflected image is measured.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、一箇所への設置に
よって全方位にわたる広範囲の周辺領域との間の距離を
測定することができる広角度距離測定装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a wide-angle distance measuring apparatus capable of measuring a distance from a wide area in a wide range in all directions by being installed at one place.

【0002】[0002]

【従来の技術】近年のITS技術の発達から、安全運転
支援や自動運転制御などにおいて、障害物検出技術が重
要視されてきている。
2. Description of the Related Art With the recent development of ITS technology, importance has been placed on obstacle detection technology in safe driving support, automatic driving control, and the like.

【0003】障害物検出に用いられる従来技術として、
超音波、赤外線、ミリ波などを利用するレーダ技術や、
ステレオカメラを用い三角測量法に基づく遠近判断から
障害物を検知するステレオ画像法があった。また、単眼
画像を画像処理し、画像認識によって背景と障害物体と
に領域分割を行い、その見かけ上の大きさに基づいて障
害物を判断するといった高度な人工知能を利用した方法
も提案されている。
[0003] As a conventional technique used for obstacle detection,
Radar technology using ultrasonic waves, infrared rays, millimeter waves, etc.
There is a stereo image method for detecting an obstacle from a perspective judgment based on a triangulation method using a stereo camera. In addition, a method using advanced artificial intelligence has been proposed in which a monocular image is image-processed, a region is divided into a background and an obstacle by image recognition, and an obstacle is determined based on its apparent size. I have.

【0004】[0004]

【発明が解決しようとする課題】レーダ技術は、空間分
解能と同時性・即時性とを得ることが難しいという問題
のほか、他のレーダ波との競合により信頼性が低下し得
るという問題があった。また、ステレオ画像法は、対応
点問題や不一致点など、ロバスト性に問題がある。
The radar technology has a problem that it is difficult to obtain the spatial resolution and the synchronism / immediateness, and a problem that the reliability may be reduced due to competition with other radar waves. Was. In addition, the stereo image method has a problem in robustness such as a correspondence point problem and a mismatch point.

【0005】また単眼画像法は、膨大な計算量を必要と
するという問題と、自動的に認識するために複雑な知識
を必要とするという問題がある。また、画像内に現れる
コントラストの違いに基づいてエッジを検出し、画像を
路面や構造物などの領域に分割することが行われるが、
例えば照明条件が悪くコントラストが低い場合や背景が
同色である場合には領域を弁別することが難しく、反対
に例えば路面にて陰とひなたとがコントラストをなすよ
うな場合には、それらを異なる領域として誤って認識す
る場合もある。
Further, the monocular image method has a problem that it requires an enormous amount of calculation and a problem that it requires complicated knowledge for automatic recognition. In addition, an edge is detected based on a difference in contrast appearing in an image, and the image is divided into regions such as a road surface and a structure.
For example, if the lighting conditions are poor and the contrast is low, or if the background is the same color, it is difficult to discriminate the areas. Conversely, for example, when the shade and the hinata make a contrast on the road surface, they are different areas. May be erroneously recognized.

【0006】本発明は上記問題点を解消するためになさ
れたもので、一箇所への設置によって広範囲の周辺領域
との間の距離を測定でき、当該周辺領域内での障害物等
の検出に用いられる広角度距離測定装置を提供すること
を目的とする。
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problem, and it is possible to measure the distance between a wide area and a peripheral area by installing the apparatus at one place, and to detect an obstacle or the like in the peripheral area. It is an object of the present invention to provide a wide-angle distance measuring device to be used.

【0007】[0007]

【課題を解決するための手段】本発明に係る広角度距離
測定装置は、円錐形状の外側面が光を反射する円錐鏡
と、前記円錐鏡の中心軸方向から見た当該円錐鏡の反射
像を結像させる結像手段と、前記反射像を撮像する撮像
手段と、前記反射像に映る前記円錐鏡周囲の対象物まで
の距離を測定する距離測定手段とを有し、前記結像手段
は、焦点が合う前記対象物までの物点距離を変化させる
焦点可変手段を有し、前記距離測定手段は、前記反射像
内での前記焦点が合った合焦点領域を検出する合焦点検
出手段と、前記焦点が合う光学的条件に基づいて、前記
合焦点領域に映る前記対象物の測定距離を求める合焦点
領域測定手段とを有するものである。
According to the present invention, there is provided a wide-angle distance measuring apparatus comprising: a conical mirror having a conical outer surface reflecting light; and a reflection image of the conical mirror viewed from a central axis direction of the conical mirror. Imaging means for imaging the reflected image, imaging means for imaging the reflected image, and a distance measuring means for measuring the distance to the object around the conical mirror reflected in the reflected image, the imaging means is Focus variable means for changing an object point distance to the in-focus object, the distance measuring means includes a focus detection means for detecting the focused area in the reflected image, Focusing area measuring means for determining a measurement distance of the object reflected in the focusing area based on the optical condition for focusing.

【0008】本発明によれば、円錐鏡が中心軸の周囲3
60°からの光を中心軸方向に反射させることにより、
当該中心軸方向から見た円錐鏡の反射像には、円錐鏡を
中心とした広角度・広範囲の対象物が映る。円錐鏡の側
面を構成する母線は直線でも曲線でもよく、この母線に
応じて反射像に映る画角を大きくすることも小さくする
こともできる。結像手段は、円錐鏡から異なる距離(物
点距離)にある対象物をそれぞれ光軸方向の異なる位置
に結像させる。よって、撮像手段の撮像面上での反射像
は、ピントが合った領域(合焦点領域)とピントがずれ
た領域とを含みうる。焦点可変手段は、撮像面上の合焦
点領域に対応する物点距離を変化させる。本発明の好適
な態様は、前記焦点可変手段が、焦点距離を変化可能な
焦点可変レンズユニットと、前記焦点可変レンズユニッ
トの前記焦点距離を変化させる焦点距離制御手段とを有
する広角度距離測定装置である。この態様では、撮像面
は光軸方向に固定したまま、ある物点距離に位置する対
象物の結像する位置が光軸方向に変位することにより、
合焦点領域に対応する物点距離が変化する。しかし、本
発明では焦点可変手段は、撮像手段の位置自体を光軸方
向に移動させて、合焦点領域に対応する物点距離を変化
させるものとすることもできる。合焦点領域に映る対象
物の円錐鏡からの距離は、円錐鏡の反射面の形状、結像
手段の光学的パラメータ、及び円錐鏡と結像手段と撮像
手段との位置関係等に関する当該対象物に焦点が合うた
めの光学的条件に基づいて求めることができ、これによ
り対象物までの測定距離が求められる。
According to the present invention, the conical mirror is positioned around the central axis.
By reflecting light from 60 ° in the direction of the central axis,
The reflection image of the conical mirror viewed from the central axis direction shows a wide-angle and wide-range object around the conical mirror. The generatrix constituting the side surface of the conical mirror may be a straight line or a curve, and the angle of view in the reflected image can be increased or decreased according to the generatrix. The image forming means forms objects at different distances (object point distances) from the conical mirror at different positions in the optical axis direction. Therefore, the reflection image on the imaging surface of the imaging unit may include an in-focus area (in-focus area) and an out-of-focus area. The focus changing unit changes an object point distance corresponding to a focused area on the imaging surface. In a preferred aspect of the present invention, the variable focal length unit has a variable focal length lens unit capable of changing a focal length, and a focal length control unit configured to change the focal length of the variable focus lens unit. It is. In this aspect, while the imaging surface is fixed in the optical axis direction, the position where an object located at a certain object distance forms an image is displaced in the optical axis direction,
The object point distance corresponding to the focused area changes. However, in the present invention, the focus changing means may move the position of the imaging means itself in the optical axis direction to change the object distance corresponding to the focused area. The distance from the conical mirror of the object reflected in the focusing area depends on the shape of the reflecting surface of the conical mirror, the optical parameters of the imaging means, and the positional relationship between the conical mirror, the imaging means, and the imaging means. Can be determined based on optical conditions for focusing on the object, and thereby a measurement distance to the object is determined.

【0009】他の本発明に係る広角度距離測定装置にお
いては、前記合焦点領域測定手段が、前記反射像の各点
ごとに前記測定距離を求め、前記各点の前記測定距離に
基づいて前記反射像に対応する距離画像を生成する。
In another wide-angle distance measuring apparatus according to the present invention, the in-focus area measuring means obtains the measuring distance for each point of the reflection image, and based on the measuring distance of each point, A distance image corresponding to the reflection image is generated.

【0010】本発明によれば、焦点可変手段が物点距離
を変化させることにより、反射像の任意の点にピントを
合わせることができ、そのピントが合った点に対して合
焦点領域測定手段が測定距離を求める。これにより、反
射像の各点に映る対象物の測定距離を画像データとする
距離画像が生成される。
According to the present invention, by changing the object point distance by the focus changing means, it is possible to focus on an arbitrary point of the reflected image, and to focus on the point at which the reflected image is in focus. Finds the measurement distance. As a result, a distance image is generated in which the measured distance of the object reflected at each point of the reflection image is used as image data.

【0011】別の本発明に係る広角度距離測定装置にお
いては、前記距離測定手段が、前記円錐鏡の周囲に予め
存在する既存物までの距離に基づいて、前記反射像の各
点に対して基準距離を定める基準距離決定手段と、それ
ぞれ前記反射像内の同じ位置に対応する前記測定距離と
前記基準距離とを比較して、当該測定距離の妥当性を判
定する妥当性判定手段とを有することを特徴とする。
In a wide-angle distance measuring apparatus according to another aspect of the present invention, the distance measuring means determines each point of the reflection image based on a distance to an existing object existing around the conical mirror. Reference distance determining means for determining a reference distance, and validity determining means for comparing the measured distance and the reference distance respectively corresponding to the same position in the reflected image to determine the validity of the measured distance. It is characterized by the following.

【0012】本発明によれば、反射像の各点は当該各点
ごとに、円錐鏡を中心とした所定の方向に対応付けられ
る。よって、円錐鏡の周囲に存在する既存物の形状が知
られれば、円錐鏡を中心とした各方向の既存物までの距
離が定まり、それぞれの方向に対応する反射像の点に既
存物までの距離が対応付けられる。例えば、既存物が路
面等の平面である場合には、円錐鏡の高さと反射像のあ
る点に対応する既存物の円錐鏡に対する方向とから、幾
何学的な計算により既存物までの距離を求めることがで
きる。基準距離決定手段は、既存物までの距離に基づい
て基準距離を定める。基準距離は既存物までの距離その
ものとすることもできるし、また例えば、既存物までの
距離に対し所定量だけオフセットした値などとすること
もできる。ここで、既存物と円錐鏡との間に他の対象物
が存在した場合、基本的に測定距離と基準距離とは一致
せず、また本装置はこれら両距離の一致を前提とするも
のではない。しかし、既存物と円錐鏡との間に対象物が
存在しない場合にも、測定距離と基準距離との不一致が
生じる場合がある。そして、そのような場合の測定距離
は対象物の検知等に用いるのに妥当でないことがあり、
これを妥当性判定手段が判定する。妥当性判定手段は、
測定距離と基準距離との比較に基づいて、測定距離に関
する所定の妥当性の判定を行う。例えば、測定距離が基
準距離よりも大きくなった場合、単純には既存物が後退
したことを意味するが、そのような事態を想定しない場
合には、妥当性判定手段がその測定距離を妥当でないと
判定するように構成される。また、円錐鏡が設置された
状態から傾斜したりシフトした場合には、反射像の全体
にわたって測定距離と基準距離との系統的な差異が生じ
得る。妥当性判定手段がこのような状態を検知するよう
に構成することもできる。
According to the present invention, each point of the reflection image is associated with each point in a predetermined direction about the conical mirror. Therefore, if the shape of the existing object existing around the conical mirror is known, the distance to the existing object in each direction centering on the conical mirror is determined, and the point of the reflection image corresponding to each direction will reach the existing object. The distance is associated. For example, when the existing object is a flat surface such as a road surface, the distance to the existing object is calculated geometrically from the height of the conical mirror and the direction of the existing object with respect to the conical mirror corresponding to a point in the reflection image. You can ask. The reference distance determining means determines the reference distance based on the distance to the existing object. The reference distance may be the distance to the existing object itself, or may be, for example, a value offset by a predetermined amount from the distance to the existing object. Here, when another object exists between the existing object and the conical mirror, the measurement distance and the reference distance do not basically match, and the present apparatus does not assume that these two distances match. Absent. However, even when the target object does not exist between the existing object and the conical mirror, a mismatch between the measured distance and the reference distance may occur. And the measurement distance in such a case may not be appropriate for use in detecting an object, etc.
This is determined by the validity determining means. The validity determination means is:
Based on the comparison between the measured distance and the reference distance, a predetermined validity determination regarding the measured distance is performed. For example, if the measured distance is larger than the reference distance, it simply means that the existing object has retreated, but if such a situation is not assumed, the validity determination means does not consider the measured distance to be valid. Is determined. In addition, when tilting or shifting from the state in which the conical mirror is installed, a systematic difference between the measurement distance and the reference distance may occur over the entire reflection image. The validity determining means may be configured to detect such a state.

【0013】また別の本発明に係る広角度距離測定装置
においては、前記基準距離決定手段が、前記反射像の撮
像画像を分割したサブフレーム画像ごとに前記基準距離
を定め、前記合焦点領域測定手段は、前記サブフレーム
画像ごとに前記測定距離を求める。
In a wide-angle distance measuring apparatus according to another aspect of the present invention, the reference distance determining means determines the reference distance for each sub-frame image obtained by dividing the captured image of the reflected image, and The means obtains the measured distance for each of the sub-frame images.

【0014】本発明によれば、撮像画像が比較的少数の
サブフレーム画像に分割され、このサブフレーム画像単
位で基準距離や測定距離の決定等の処理が行われるの
で、例えば反射像の各点(例えば撮像手段を構成する撮
像素子の画素)ごとに処理を行う場合に比べ、処理負荷
が軽減される。
According to the present invention, a captured image is divided into a relatively small number of sub-frame images, and processing such as determination of a reference distance and a measurement distance is performed in units of this sub-frame image. The processing load is reduced as compared with the case where the processing is performed for each of the pixels (for example, the pixels of the imaging element constituting the imaging unit).

【0015】さらに別の本発明に係る広角度距離測定装
置においては、前記焦点可変手段が、前記結像手段の被
写界深度に応じた幅で前記物点距離を変化させる。
In still another wide-angle distance measuring apparatus according to the present invention, the focus changing means changes the object point distance in a width corresponding to the depth of field of the imaging means.

【0016】結像手段の被写界深度に応じた幅の中で
は、異なる物点距離であってもピントが合ったとされ、
それら物点距離の違いは精度良く検知することができな
い。すなわち、この幅が測定距離の分解能となる。本発
明によれば、焦点可変手段は当該距離分解能ごとに物点
距離を有限個のレンジに区分し、各レンジをそれぞれ一
つの合焦点状態(すなわち一つの測定距離)に対応付け
る。これにより処理の簡素化が図られる。
In the width corresponding to the depth of field of the imaging means, it is determined that the object is focused even at different object point distances.
These differences in object point distance cannot be accurately detected. That is, this width becomes the resolution of the measurement distance. According to the present invention, the focus variable unit divides the object point distance into a finite number of ranges for each of the distance resolutions, and associates each range with one focus state (that is, one measurement distance). This simplifies the processing.

【0017】[0017]

【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。
Next, embodiments of the present invention will be described with reference to the drawings.

【0018】[実施の形態1]図1は、本発明に係る広
角度距離測定装置の模式的な全体構成図である。本装置
は、光学系2、焦点可変レンズユニット制御部4、画像
処理部6、中央制御部8、出力部10を含んで構成され
る。図2は、光学系2の構成を示す模式図である。光学
系2は円錐鏡20、主レンズ22、焦点可変レンズユニ
ット24、電子カメラ26を含んで構成される。
[First Embodiment] FIG. 1 is a schematic overall configuration diagram of a wide-angle distance measuring apparatus according to the present invention. This apparatus includes an optical system 2, a variable focus lens unit control unit 4, an image processing unit 6, a central control unit 8, and an output unit 10. FIG. 2 is a schematic diagram showing the configuration of the optical system 2. The optical system 2 includes a conical mirror 20, a main lens 22, a variable focus lens unit 24, and an electronic camera 26.

【0019】円錐鏡20は外側面を鏡に構成され、その
中心軸の周り全方位からの光を中心軸方向に反射するこ
とができる。円錐面は直線を母線とするものでもよい
が、ここでは外側に凸の母線(例えば放物線)によって
構成された仰角方向に凸の円錐面を用いることにより、
中心軸方向から見た円錐鏡20の反射像に映る仰角方向
の画角を拡大している。円錐鏡20の反射像の周に近い
部分は、円錐鏡20の底面寄りの部分の像であり、円錐
鏡20の反射像の中心に近い部分は、円錐鏡20の頂点
寄りの部分の像である。また図2に表されるように、円
錐面が仰角方向に凸である場合には、反射像に映る対象
物の実際の存在位置と円錐鏡20とを結ぶ直線と円錐鏡
20の中心軸とがなす角(以下、仰角ψとする)は、対
象物の反射像の位置が円錐鏡20の反射像の周に近づく
ほど大きくなる。
The outer surface of the conical mirror 20 is a mirror, and can reflect light from all directions around the central axis in the direction of the central axis. The conical surface may be a straight line having a generatrix, but here, by using a conical surface convex in an elevation direction formed by an outwardly convex generatrix (for example, a parabola),
The angle of view in the elevation direction reflected on the reflection image of the conical mirror 20 as viewed from the central axis direction is enlarged. The portion near the periphery of the reflection image of the conical mirror 20 is an image of a portion near the bottom surface of the conical mirror 20, and the portion near the center of the reflection image of the conical mirror 20 is an image of a portion near the vertex of the conical mirror 20. is there. As shown in FIG. 2, when the conical surface is convex in the elevation direction, a straight line connecting the actual position of the object reflected in the reflection image and the conical mirror 20 and the central axis of the conical mirror 20 The angle (hereinafter referred to as the elevation angle ψ) increases as the position of the reflection image of the object approaches the circumference of the reflection image of the conical mirror 20.

【0020】主レンズ22と焦点可変レンズユニット2
4は、それぞれの光軸が円錐鏡20の中心軸に一致する
ように配置され、当該中心軸方向から見た円錐鏡20の
反射像を結像させる結像手段を構成する。本装置では、
撮像される反射像のピントに基づいて円錐鏡周辺の対象
物までの距離を測定する。そこで、高い距離分解能を得
るため、結像手段は、被写界深度が浅く構成される。こ
こでは、被写界深度を浅くするため、主レンズ22には
F値の小さい明るいレンズを用い、また、光彩絞りを設
けない構成としている。焦点可変レンズユニット24
は、主レンズ22の補助レンズとして使用されるレンズ
ユニットであり、結像手段の焦点距離を可変できる。結
像手段の焦点距離を変化させることにより、電子カメラ
26の撮像面上においてピントが合う対象物までの距離
(物点距離)が変化する。すなわち、焦点可変レンズユ
ニット24の焦点距離を変化させることにより、電子カ
メラ26の撮像面上には、円錐鏡20からの距離が異な
る対象物に焦点が合った反射像が投影される。
Main lens 22 and variable focus lens unit 2
Numeral 4 is arranged so that each optical axis coincides with the central axis of the conical mirror 20, and constitutes an image forming means for forming a reflection image of the conical mirror 20 viewed from the central axis direction. In this device,
The distance to the object around the conical mirror is measured based on the focus of the captured reflected image. Therefore, in order to obtain high distance resolution, the imaging means is configured to have a shallow depth of field. Here, in order to make the depth of field shallow, a bright lens having a small F value is used as the main lens 22, and no iris diaphragm is provided. Variable focus lens unit 24
Is a lens unit used as an auxiliary lens of the main lens 22, and can change the focal length of the imaging means. By changing the focal length of the imaging means, the distance (object point distance) to the focused object on the imaging surface of the electronic camera 26 changes. That is, by changing the focal length of the variable focus lens unit 24, a reflected image focused on an object at a different distance from the conical mirror 20 is projected on the imaging surface of the electronic camera 26.

【0021】電子カメラ26は、固体撮像素子を用いて
構成され、当該撮像素子上に結像される反射像を電気的
な映像信号に変換して出力する。固体撮像素子は、例え
ば、入射光量を対数変換した出力信号として取り出すこ
とができるタイプのCMOSイメージセンサなどのダイ
ナミックレンジの大きなものが好適である。ワイドダイ
ナミックレンジであることが好適である理由は、上述し
たように距離分解能を向上させるために入射光量の制御
手段である絞りを廃したこと、及び本装置を屋内、屋外
を問わず利用可能とし、また屋外においては晴天時の日
中でも夜間でも利用可能とするということにある。また
後述するサブフレーム画像を用いた処理を行う場合に
は、1フレームの画像を分割したサブフレーム画像ごと
にアクセスできることが望ましいため、CMOSイメー
ジセンサ等の画素にランダムアクセス可能な固体撮像素
子が用いられる。
The electronic camera 26 is constituted by using a solid-state image pickup device, and converts a reflection image formed on the image pickup device into an electric video signal and outputs it. As the solid-state imaging device, for example, a device having a large dynamic range such as a CMOS image sensor of a type capable of taking out an incident light as an output signal obtained by logarithmically converting the amount of incident light is suitable. The reason why the wide dynamic range is preferable is that the aperture which is a means for controlling the amount of incident light is eliminated in order to improve the distance resolution as described above, and that the present apparatus can be used both indoors and outdoors. In addition, it can be used outdoors even on a sunny day or at night. When processing using a sub-frame image to be described later is performed, it is desirable to be able to access each sub-frame image obtained by dividing one frame image. Therefore, a solid-state imaging device such as a CMOS image sensor that can randomly access pixels is used. Can be

【0022】焦点可変レンズユニット制御部4は焦点距
離可変制御信号を生成し、当該信号によって焦点可変レ
ンズユニット24の焦点距離を制御する。焦点可変レン
ズユニット24は当該信号により達成されたレンズ焦点
距離を焦点可変レンズユニット制御部4に通知し、焦点
可変レンズユニット制御部4はこれを焦点距離情報とし
て画像処理部6へ伝達する。また焦点可変レンズユニッ
ト制御部4は、制御状態を中央制御部8へ通知する。こ
の制御状態とは、例えば焦点可変レンズユニット24の
制御可否、応答状態である。
The variable focus lens unit control section 4 generates a variable focal length control signal, and controls the focal length of the variable focus lens unit 24 based on the signal. The variable focus lens unit 24 notifies the variable focal length lens unit achieved by the signal to the variable focal length lens unit controller 4, and the variable focal length lens unit controller 4 transmits this to the image processor 6 as focal length information. Further, the variable focus lens unit control unit 4 notifies the central control unit 8 of the control state. The control state is, for example, whether or not the variable focus lens unit 24 can be controlled and a response state.

【0023】画像処理部6は、電子カメラ26から映像
信号を入力され、また焦点可変レンズユニット制御部4
から焦点距離情報を入力され、これらに基づいて、反射
像の各点に映る対象物までの距離を画像データとする距
離画像を生成する。この距離画像の生成処理については
後述する。生成された距離画像は画像表示装置等の出力
部10へ出力される。また画像処理部6は、サブフレー
ム処理を行う場合には、電子カメラ26へサブフレーム
制御情報を出力して、処理するサブフレーム画像の映像
信号を電子カメラ26から取得する。
The image processing unit 6 receives a video signal from the electronic camera 26 and outputs a signal to the focus variable lens unit control unit 4.
, And generates a distance image based on the focal length information, which uses the distance to the object reflected at each point of the reflected image as image data. This distance image generation processing will be described later. The generated distance image is output to the output unit 10 such as an image display device. When performing the sub-frame processing, the image processing unit 6 outputs the sub-frame control information to the electronic camera 26 and acquires the video signal of the sub-frame image to be processed from the electronic camera 26.

【0024】中央制御部8は、焦点可変レンズユニット
制御部4に対して出力する制御信号及び画像処理部6に
対して出力する画像処理制御信号により、焦点可変レン
ズユニット制御部4及び画像処理部6それぞれの初期
化、起動・停止等の制御を行う。また焦点可変レンズユ
ニット制御部4からの制御状態信号に基づいて、焦点可
変レンズユニット24の制御可否を検知し、システム動
作状態を監視する。
The central control unit 8 controls the variable focus lens unit control unit 4 and the image processing unit based on the control signal output to the variable focus lens unit control unit 4 and the image processing control signal output to the image processing unit 6. 6 Controls initialization, start / stop, etc. In addition, based on a control state signal from the variable focus lens unit control unit 4, the controllability of the variable focus lens unit 24 is detected, and the system operation state is monitored.

【0025】次に本装置の動作について説明する。図3
は、本装置における距離測定の原理を説明する模式図で
ある。図3は円錐鏡20を含む垂直面を表す模式図であ
り、円錐鏡20が路面等の平面30の上方の高さhの点
Sに、中心軸を鉛直方向に向けて配置される。また、図
4は、電子カメラ26から出力される円錐鏡20の反射
像の模式図である。図4において、矩形の画像32内に
映る円形画像が円錐鏡20の反射像34である。
Next, the operation of the present apparatus will be described. FIG.
FIG. 3 is a schematic diagram illustrating the principle of distance measurement in the present device. FIG. 3 is a schematic diagram showing a vertical plane including the conical mirror 20, and the conical mirror 20 is disposed at a point S having a height h above a plane 30 such as a road surface, with a central axis directed vertically. FIG. 4 is a schematic diagram of a reflection image of the conical mirror 20 output from the electronic camera 26. In FIG. 4, the circular image reflected in the rectangular image 32 is the reflection image 34 of the conical mirror 20.

【0026】反射像34上の任意の点Pが円錐鏡20上
のどの点に対応するか、そしてその対応点での円錐鏡2
0の鏡面がどの方向を向いているかはそれぞれ既知であ
るので、点Pに映る対象物が円錐鏡20に対してどの方
向に位置するかを特定することができる。すなわち、対
象物の方位角θは、反射像34の中心点Oと点Pとを結
ぶ線分OPの向きから特定され、また対象物の仰角ψ
は、線分OPの長さLに応じて決定される。例えば、方
位角θは画面の上方を基準として定義される。
Which point on the reflection image 34 corresponds to an arbitrary point P on the conical mirror 20, and the conical mirror 2 at the corresponding point
Since the direction of the mirror surface of 0 is known in each case, it is possible to specify in which direction the object reflected at the point P is located with respect to the conical mirror 20. That is, the azimuth angle θ of the object is specified from the direction of the line segment OP connecting the center point O and the point P of the reflection image 34, and the elevation angle of the object 物
Is determined according to the length L of the line segment OP. For example, the azimuth angle θ is defined based on the upper part of the screen.

【0027】本装置は上述したように、焦点可変レンズ
ユニット24の焦点距離を変化させ、各焦点距離でのピ
ントが合う光学的な条件に基づいて反射像34内の各点
に映る対象物までの距離を測定することができる。ここ
で、焦点可変レンズユニット24の焦点距離に応じて定
まるピントが合う対象物までの距離をξFとする。焦点
可変レンズユニット制御部4は、例えばξFを最小値か
ら最大値まで変化させ、画像処理部6は、各ξFに対し
て電子カメラ26から得られる反射像34それぞれにつ
いて、ピントが合っている部分(合焦点領域)を検出す
る。そして、画像処理部6は、合焦点領域内の点に対し
て、そのときのξFを当該点に映る対象物の測定距離と
する。ここで、点Pに対応する方向Θ≡(θ,ψ)に存
在する対象物までの測定距離をξΘと表す。
As described above, the present apparatus changes the focal length of the variable focal length lens unit 24, and changes the focal length of the variable focal length lens unit 24 to the object reflected at each point in the reflection image 34 based on the optical condition in which the focal length is in focus. Distance can be measured. Here, the distance to the object is in focus, which is determined according to the focal length of the variable focus lens unit 24 and xi] F. Variable focus lens unit controller 4, for example, alter the xi] F from the minimum value to the maximum value, the image processing unit 6, for each reflection image 34 obtained from the electronic camera 26 for each xi] F, in focus Part (in-focus area) is detected. Then, the image processing unit 6, to the point of focus areas, the xi] F at that time and the measured distance of the object reflected in the point. Here, the measured distance to the target existing in the direction Θ≡ (θ, ψ) corresponding to the point P is represented by ξΘ.

【0028】一方、円錐鏡20周辺の既存物の形状が知
られていれば、点Pに対応する方向Θに存在する既存物
までの距離を計算により求めることができる。例えば、
図3には既存物として路面等の平面30が示されてい
る。この場合には、点Pに対応する既存物である路面上
の点Bまでの距離ξSBは簡単な幾何学計算により求ま
る。ここでは、このように既存物の形状情報に基づいて
求めた、方向Θに存在する既存物までの距離(基準距
離)をξΘ'と表す。この距離ξΘ'は、与えられた既存
物形状情報に基づいて画像処理部6が算出するように構
成することもできるし、予め計算された距離ξΘ'を画
像処理部6に記憶させておくように構成することもでき
る。
On the other hand, if the shape of the existing object around the conical mirror 20 is known, the distance to the existing object existing in the direction 対 応 corresponding to the point P can be calculated. For example,
FIG. 3 shows a plane 30 such as a road surface as an existing object. In this case, the distance ξ SB to the existing point B on the road surface corresponding to the point P can be obtained by a simple geometric calculation. Here, the distance (reference distance) to the existing object existing in the direction Θ, which is obtained based on the shape information of the existing object, is expressed as ξΘ ′. The distance ξΘ ′ may be configured to be calculated by the image processing unit 6 based on the given existing object shape information, or the distance ξΘ ′ calculated in advance may be stored in the image processing unit 6. Can also be configured.

【0029】画像処理部6は、測定距離ξΘと基準距離
ξΘ'とを比較し、測定距離ξΘの妥当性を判定するこ
とができる。例えば、ξΘ>ξΘ'である場合は、単純
には道路が陥没したとか、建築物が欠損したといった既
存物が後退したことを意味する。しかし、そのような事
態が発生する可能性よりも、例えばピント検出処理のエ
ラーが起こる可能性が高い場合には、画像処理部6は測
定距離ξΘは妥当ではないと判定するように構成され
る。
The image processing section 6 can determine the validity of the measured distance ξΘ by comparing the measured distance ξΘ with the reference distance ξΘ ′. For example, if ξΘ> ξΘ ', it simply means that existing structures such as a collapsed road or a lost building have receded. However, if the possibility of occurrence of an error in the focus detection process is higher than the possibility of such a situation, for example, the image processing unit 6 is configured to determine that the measurement distance ξΘ is not appropriate. .

【0030】一方、ξΘ<ξΘ'である場合は、一般に
既存物と円錐鏡20との間に他の物体が存在する場合と
考えられる。よって、この場合には測定距離ξΘが妥当
であると判定するように画像処理部6を構成することが
できる。
On the other hand, if ξΘ <ξΘ ', it is generally considered that another object exists between the existing object and the conical mirror 20. Therefore, in this case, the image processing unit 6 can be configured to determine that the measurement distance ξΘ is appropriate.

【0031】また、例えば本装置に何かがぶつかるなど
して、本装置が当初の設置状態から傾斜したり、シフト
したりした場合には、既存物である水平路面が、測定距
離に基づけば傾斜しているように観測されたり、全体が
隆起したり沈降したように観測され得る。そこで、これ
らの想定される異常状態における測定距離と基準距離と
の差異のパターンを画像処理部6に予め登録しておき、
それらのパターンにマッチングした場合には、測定距離
が妥当でないと判定するように画像処理部6を構成する
こともできる。
Also, when the device is inclined or shifted from the initial installation state, for example, when something hits the device, if the existing horizontal road surface is based on the measured distance, It can be observed as tilting, or as a whole raised or subsided. Therefore, a pattern of a difference between the measured distance and the reference distance in these assumed abnormal states is registered in the image processing unit 6 in advance,
The image processing unit 6 may be configured to determine that the measured distance is not appropriate when the patterns match.

【0032】なお、ξΘ<ξΘ'である場合は、上述し
たように一般に既存物と円錐鏡20との間に他の物体が
存在する場合である。つまり、本装置は単にある方向に
存在する物体までの距離を測定するだけでなく、画像処
理部6が測定距離と基準距離とを比較することにより、
測定された対象物が既存物かそうでないかを判別するこ
とができる。すなわち、本距離測定装置を用いて、例え
ば道路上の障害物の検知などを行うことができる。
Note that the case where ξΘ <に 'is generally the case where another object exists between the existing object and the conical mirror 20 as described above. That is, the present apparatus not only measures the distance to an object existing in a certain direction, but also allows the image processing unit 6 to compare the measured distance with the reference distance.
It can be determined whether the measured object is an existing object or not. That is, it is possible to detect, for example, an obstacle on a road by using the distance measuring device.

【0033】図5は、対象物が平面である場合の測定距
離を示す画像の一例の模式図である。この例では、主レ
ンズ22の被写界深度に応じて、5段階に量子化された
物点距離(3m、5m、10m、20m、40m)のい
ずれかが測定距離として得られる。円錐鏡20は図3の
場合と同じく、中心軸を鉛直方向に向けて配置されるた
め、各物点距離に対応する合焦点領域は同心円を形成す
る。本来、各物点距離に正確に一致するのは、反射像3
4の半径上の一点のみである。しかし実際には、主レン
ズ22が被写界深度を有することにより、半径方向のあ
るレンジ内ではピントが合ったと判定される。そのた
め、各物点距離に対応する合焦点領域はドーナツ状に幅
を有した円となる。そこで、反射像34がドーナツ状の
合焦点領域で区分されるように、物点距離を離散的に定
めている。このように物点距離を連続的ではなく有限個
に離散化することにより、測定距離の決定処理が簡単と
なる。ここでは物点距離は5段階に量子化されるが、主
レンズ22の被写界深度がより小さければ、より多段階
に物点距離を求めることができ、測定距離の分解能の向
上を図ることができる。反対に被写界深度がより大きけ
れば、より少ない個数に物点距離が量子化され、一層の
処理負荷軽減が図られる。なお、図5において合焦点領
域35〜39はそれぞれ物点距離3m、5m、10m、
20m、40mに対応する。
FIG. 5 is a schematic diagram of an example of an image showing the measured distance when the object is a plane. In this example, one of the object point distances (3 m, 5 m, 10 m, 20 m, and 40 m) quantized in five steps is obtained as the measurement distance according to the depth of field of the main lens 22. As in the case of FIG. 3, the conical mirror 20 is arranged with the central axis directed in the vertical direction, so that the focusing regions corresponding to the respective object point distances form concentric circles. Originally, it is the reflected image 3 that exactly matches each object point distance.
There is only one point on the radius of 4. However, in practice, since the main lens 22 has a depth of field, it is determined that focus is achieved within a certain range in the radial direction. Therefore, the focal region corresponding to each object point distance is a circle having a width like a donut. Therefore, the object point distance is discretely determined so that the reflection image 34 is divided by the doughnut-shaped focusing region. By discretizing the object point distance into a finite number instead of a continuous one, the process of determining the measurement distance is simplified. Here, the object point distance is quantized into five steps. If the depth of field of the main lens 22 is smaller, the object point distance can be obtained in more steps, and the resolution of the measurement distance can be improved. Can be. Conversely, if the depth of field is larger, the object point distance is quantized to a smaller number, and the processing load is further reduced. In FIG. 5, the focus areas 35 to 39 have object distances of 3 m, 5 m, 10 m, respectively.
It corresponds to 20m and 40m.

【0034】図6,図7は、それぞれ平面上に他の物体
が存在する場合の処理の具体例を説明するための反射像
の模式図であり、それぞれ物点距離を10m、5mに合
わせたときの画像である。図6,図7にはそれぞれ既存
物として平らな路面40及び構造物42が示され、また
既存物以外の異物として障害物44の像が示されてい
る。焦点可変レンズユニット制御部4は、焦点可変レン
ズユニット24の焦点距離を操作して、物点距離が小さ
い側から順に設定する。画像処理部6は各物点距離での
電子カメラ26の画像を取り込み、取り込んだ画像に対
して設定された物点距離での平面に対するドーナツ型の
合焦点領域内でのピントをチェックする。図6では、1
0mの物点距離に対応する合焦点領域のうち路面部分5
0ではピントが合うが、障害物44の像領域ではそれが
ドーナツ領域上にあるにも拘わらずピントは合わない。
画像処理部6は、このピントが合った領域には、そのと
きの物点距離を測定距離として定める。一方、ピントが
合わない領域には、ピントずれを示す情報(例えば異物
フラグ)を付与する。このようにして、全物点距離につ
いて処理が終わると、次に異物フラグが立っている領域
に着目して、この領域にピントが合う物点距離を探索す
る。図7は、その結果を示しており、例えば障害物44
は物点距離5mでピントが合うことが検知され、この物
点距離が障害物44の測定距離とされる。なお、このと
き、物点距離5mに対応するドーナツ型領域52にもピ
ントが合う。このようにして、反射像内の各点に対応す
る測定距離が定まり、距離画像が形成される。以上が距
離画像形成の概略の処理であるが、以下、さらに詳細に
説明する。
FIGS. 6 and 7 are schematic diagrams of reflection images for explaining a specific example of processing when another object is present on a plane. The object point distance is adjusted to 10 m and 5 m, respectively. It is an image at the time. 6 and 7 show a flat road surface 40 and a structure 42 as existing objects, respectively, and an image of an obstacle 44 as foreign matter other than the existing objects. The variable focus lens unit control unit 4 operates the focal length of the variable focus lens unit 24 to set the object distance in order from the smaller object distance. The image processing unit 6 captures the image of the electronic camera 26 at each object point distance, and checks the focus of the captured image within a donut-shaped focusing area with respect to a plane at the set object point distance. In FIG. 6, 1
Road surface portion 5 in the focused area corresponding to the object point distance of 0 m
At 0, focus is achieved, but in the image area of the obstacle 44, focus is not achieved even though it is on the donut area.
The image processing unit 6 determines the object point distance at that time as a measurement distance in the focused area. On the other hand, information indicating the defocus (for example, a foreign matter flag) is added to the area where the focus is not achieved. When the processing is completed for all object point distances in this way, the next step is to focus on the area where the foreign object flag is set, and search for an object point distance that is in focus on this area. FIG. 7 shows the result, for example, the obstacle 44
Is detected to be in focus at an object point distance of 5 m, and this object point distance is used as the measured distance of the obstacle 44. At this time, the donut-shaped region 52 corresponding to the object point distance of 5 m is also focused. In this way, the measurement distance corresponding to each point in the reflection image is determined, and a distance image is formed. The above is the outline of the process of forming a distance image, and will be described in more detail below.

【0035】図8,図9,図10は、本装置の距離画像
形成の処理フロー図である。図8はメインルーチンであ
る。図9は対象物が平面である場合における各物点距離
ξFの合焦点領域でのピントの判定を行うエリアチェッ
ク処理であり、ピントが合った点には、この処理で当該
物点距離が測定距離と定められる。図10は、平面に対
する各合焦点領域にてピントが合わないと判定された
点、すなわち平面上の異物と考えられる点について測定
距離を定める異物測定距離決定処理である。
FIGS. 8, 9 and 10 are flow charts of the process of forming a distance image by the present apparatus. FIG. 8 shows the main routine. FIG. 9 is an area check process for determining the focus in the in-focus area of each object point distance ξ F when the object is a plane. Defined as the measurement distance. FIG. 10 shows a foreign matter measurement distance determination process that determines a measurement distance for a point determined to be out of focus in each focusing area with respect to the plane, that is, a point considered to be foreign matter on the plane.

【0036】本装置は動作開始時点では、焦点可変レン
ズユニット制御部4は、焦点可変レンズユニット24を
制御して、物点距離ξFを最小値の3mに設定する(S
60)。この状態で画像処理部6は電子カメラ26が撮
像する円錐鏡20の反射像の画像を取り込み(S6
2)、対象物が平面である場合にξF=3mに対応して
得られる合焦点領域である3mエリアでのピントの判定
(3mエリアチェック)を行う(S64)。このξF
3mに対する処理が終わると、ステップS60に戻り、
ξFを次の量子化値5mにインクリメントし(S6
0)、画像を取り込み(S62)、5mエリアチェック
を行う(S64)。以下同様に、順にξFをインクリメ
ントし(S60)、画像を取り込んで(S62)、当該
ξFに対応するエリアチェック処理を行う(S64)処
理を繰り返す。
[0036] The device in operation at the start, variable focus lens unit controller 4 controls the variable focus lens unit 24, sets the object distance xi] F to 3m minimum value (S
60). In this state, the image processing section 6 captures the image of the reflection image of the conical mirror 20 captured by the electronic camera 26 (S6).
2), the object and determines focus at 3m area is focus area obtained in correspondence with the xi] F = 3m when a plan (3m area check) (S64). This ξ F =
When the processing for 3 m is completed, the process returns to step S60,
ξ Increment F to the next quantization value 5m (S6
0), an image is captured (S62), and a 5m area check is performed (S64). Similarly, in the same manner, ξ F is incremented in order (S60), an image is fetched (S62), and an area check process corresponding to the ξ F is repeated (S64).

【0037】上記ループがξF=3m,5m,10m,
20mについて行われ、さらにξFの最大値40mにつ
いても完了すると(S66)、各エリアチェックにて異
物と判定された画素に対する測定距離を定める異物測定
距離決定処理が行われる(S68)。各エリアチェック
ではピントが合った画素に測定距離が定められ、またエ
リアチェックでピントが合わず異物と判定された画素に
対しては異物測定距離決定処理で測定距離が定められ、
よって、ステップS68が終了した段階で、反射像の各
点の測定距離が決定され、距離画像が得られる。画像処
理部6はこの距離画像を出力部10へ出力する(S7
0)。以上が1フレームの距離画像を生成する処理であ
り、本装置は停止指示がなければ次のフレームの距離画
像の生成を開始する(S72)。
The above-mentioned loop has ξ F = 3 m, 5 m, 10 m,
Performed on 20 m, when completed also further xi] F maximum 40m of (S66), foreign matter measuring distance determination process for determining the measurement distance for pixels determined to be a foreign body in the area check is made (S68). In each area check, a measurement distance is determined for a pixel that is in focus, and a measurement distance is determined for a pixel that is determined to be out of focus by the area check and is determined to be a foreign object, in a foreign object measurement distance determination process,
Therefore, when step S68 is completed, the measurement distance of each point of the reflection image is determined, and a distance image is obtained. The image processing unit 6 outputs this distance image to the output unit 10 (S7).
0). The above is the processing of generating a distance image of one frame. If there is no stop instruction, the present apparatus starts generating a distance image of the next frame (S72).

【0038】図9に沿って、各ξFに対するエリアチェ
ックを説明する。反射像内の方位θを初期値0に設定す
る(S90)。また反射像の中心からの距離rを初期値
MI Nに設定する(S92)。このrMINは、設定された
ξFに対応するドーナツ状の合焦点領域の内側境界円の
半径である。座標(r,θ)で特定される領域にピンぼ
け領域が有るか否かを調べ(S94)、有る場合には、
その領域の座標を特定して(S96)、その領域に対し
て異物フラグを立てる(S98)。この処理を順次、r
をインクリメントし(S100)、rが上限rMAXに達
するまで繰り返す(S102)。このrMAXは、設定さ
れたξFに対応するドーナツ状の合焦点領域の外側境界
円の半径である。ステップS92〜102で行われた、
ある方位θに対して行われるドーナツの内側端から外側
端までの処理は、順次、θをインクリメントして繰り返
され(S104)、全方位に対して行われると(S10
6)、当該ξFに対応するエリアチェックを完了する。
このエリアチェックでピンぼけではないと判定された領
域には、当該ξFが測定距離と定められる。
The area check for each エ リ アF will be described with reference to FIG. The azimuth θ in the reflection image is set to an initial value 0 (S90). Also setting the distance r from the center of the reflected image to the initial value r MI N (S92). This r MIN is the radius of the inner boundary circle of the doughnut-shaped focusing area corresponding to the set ξ F. It is checked whether or not there is a defocus area in the area specified by the coordinates (r, θ) (S94).
The coordinates of the area are specified (S96), and a foreign matter flag is set for the area (S98). This processing is sequentially performed by r
Is incremented (S100), and is repeated until r reaches the upper limit r MAX (S102). The r MAX is the radius of the outer boundary circle of the toroidal focus region corresponding to the set xi] F. Performed in steps S92 to S102,
The processing from the inner end to the outer end of the donut performed for a certain azimuth θ is sequentially repeated by incrementing θ (S104), and is performed for all azimuths (S10).
6), to complete the area check corresponding to the xi] F.
In the area is determined not to be out of focus in this area check, the xi] F is defined as the measured distance.

【0039】次に図10に沿って、異物測定距離決定処
理を説明する。エリアチェック処理にて設定された異物
フラグに基づいて、エリアチェックにてピンぼけと判定
され、測定距離を定められなかった領域から注目領域を
選択する(S120)。ξFを初期値3mに設定し(S
122)、反射像の画像を取得する。この画像は、エリ
アチェックを行うために各ξFに対して取得された画像
を記憶しておき、それを読み出して利用することもでき
るし、改めて撮像した画像を利用してもよい。ξF=3
mに対する画像において、注目領域に対するピント判定
を行う(S124,S126)。当該ξFでピンぼけで
あった場合には、ξFを次の値にインクリメントして
(S128)ピント判定S124,S126を行う。そ
して、ピントが合った場合には(S126)、そのとき
のξFを当該注目領域の測定距離とする(S130)。
まだ、測定距離が決定されていない領域があれば(S1
32)、その中から新たな注目領域を選択し(S13
4)、ステップS122〜130の処理を行う。一方、
異物フラグが立てられた全ての領域に対して測定距離が
定められた場合には(S132)、異物測定距離決定処
理を終了する。
Next, the foreign matter measurement distance determination processing will be described with reference to FIG. Based on the foreign matter flag set in the area check processing, the area check determines that the image is out of focus, and selects an area of interest from an area where the measurement distance has not been determined (S120). ξ Set F to the initial value 3m (S
122), an image of the reflection image is obtained. As this image, an image acquired for each F in order to perform an area check may be stored, read out and used, or an image captured anew may be used. ξ F = 3
In the image for m, focus determination is performed on the attention area (S124, S126). If the ξ F is out of focus, ξ F is incremented to the next value (S128), and focus determinations S124 and S126 are performed. Then, when focus is achieved (S126), the xi] F at that time as a measurement distance of the region of interest (S130).
If there is an area for which the measurement distance has not yet been determined (S1)
32), and a new attention area is selected from among them (S13).
4), the processes of steps S122 to S130 are performed. on the other hand,
If the measurement distance has been determined for all the regions for which the foreign object flag has been set (S132), the foreign object measurement distance determination processing ends.

【0040】[実施の形態2]上記実施の形態では、電
子カメラ26の撮像素子の画素単位に測定距離が定めら
れた。これに対し、本実施の形態は、反射像の1フレー
ムの画像をサブフレーム画像に分割して、当該サブフレ
ーム画像ごとに測定距離を定めるものである。装置の構
成は、基本的に上記実施の形態の図1、図2に示すもの
と同様であるので、以下の説明では、必要に応じてこれ
らを参照する。
[Second Embodiment] In the above embodiment, the measurement distance is determined for each pixel of the image sensor of the electronic camera 26. On the other hand, in the present embodiment, one frame image of the reflection image is divided into sub-frame images, and the measurement distance is determined for each sub-frame image. Since the configuration of the device is basically the same as that shown in FIGS. 1 and 2 of the above embodiment, these will be referred to as needed in the following description.

【0041】図11は、サブフレーム画像を説明する模
式図である。この図には、各ξFに対するドーナツ状の
合焦点領域(ピント一致領域)に区分された反射像を含
む1フレームの画像が示されている。この1フレームの
画像を例えば、図において点線で示すように縦横にマト
リクス状に区分し、その区分により形成される部分領域
がそれぞれサブフレーム画像150とされる。例えば1
フレームの画像は縦16、横16のサブフレーム画像に
分割される。
FIG. 11 is a schematic diagram for explaining a sub-frame image. This FIG illustrates an image of one frame including a reflection image which is divided into a donut-shaped focus area (focus matching region) for each xi] F is shown. For example, the one frame image is vertically and horizontally divided into a matrix as shown by a dotted line in the figure, and the partial regions formed by the division are each set as a sub-frame image 150. For example, 1
The image of the frame is divided into 16 vertical and 16 horizontal sub-frame images.

【0042】サブフレームは、それぞれ主としてどのピ
ント一致領域を含むかに基づいてラベリングされる。例
えば、サブフレーム152〜158は3mピント一致領
域160を主として含み、これらは3mピントサブフレ
ームとされる。本装置では、サブフレーム単位で測定距
離の決定が行われる。すなわち、1つのサブフレームに
1つの測定距離が定められ、あたかも各サブフレームを
1つの画素としたような距離画像が生成される。サブフ
レーム単位での処理を高速かつ効率的に行うために、電
子カメラ26の固体撮像素子にはランダムアクセス可能
なものを用いる。
Each of the subframes is mainly labeled based on which focus matching area is included. For example, the subframes 152 to 158 mainly include a 3m focus matching area 160, which is a 3m focus subframe. In this apparatus, the measurement distance is determined in subframe units. That is, one measurement distance is determined for one sub-frame, and a distance image is generated as if each sub-frame is one pixel. In order to perform processing in subframe units at high speed and efficiently, a solid-state imaging device of the electronic camera 26 that can be randomly accessed is used.

【0043】図12,図13,図14は、本装置の距離
画像形成の処理フロー図である。図12はメインルーチ
ンである。図13は各物点距離ξFにラベリングされた
ξFピントサブフレームに対し測定距離を決定するξF
ントサブフレーム処理である。図14は、設定されたξ
Fにてピントが合うか否かを判定するピント検査処理で
ある。
FIG. 12, FIG. 13, and FIG. 14 are processing flowcharts of the distance image formation of the present apparatus. FIG. 12 shows the main routine. Figure 13 is a xi] F focus subframe processing that determines the measurement distance to xi] F Pinto subframe labeling each object distance xi] F. FIG. 14 shows the set ξ
This is a focus inspection process for determining whether or not focus is achieved by F.

【0044】処理が開始されると、画像処理部6は1フ
レームの画像を各ξFに応じたサブフレームに分割する
(S170)。また円錐鏡20の反射像の中央の死角に
相当する部分のサブフレームを排除する(S172)。
処理対象とするサブフレームのラベルを指定するξF
初期値3mに設定し(S174)、3mピントサブフレ
ームに対し、3mピントサブフレーム処理を行う(S1
76)。このξF=3mに対する処理が終わると、ξF
次の量子化値5mにインクリメントし(S174)、5
mピントサブフレームに対し、5mピントサブフレーム
処理を行う(S176)。以下同様に、順にξFをイン
クリメントして(S174)、各ξFピントサブフレー
ムに対し、ξFピントサブフレーム処理を行い(S17
6)、最大のξFに対する処理が完了すると終了する
(S178)。
When the processing is started, the image processing section 6 divides an image of one frame into sub-frames corresponding to each ξ F (S170). Further, a sub-frame corresponding to the central blind spot of the reflection image of the conical mirror 20 is excluded (S172).
The label of the subframe to be processed is designated. Ξ F is set to an initial value of 3 m (S174), and 3m focused subframe processing is performed on the 3m focused subframe (S1).
76). When the processing for ξ F = 3 m is completed, ξ F is incremented to the next quantization value of 5 m (S174).
A 5m focus subframe process is performed on the m focus subframe (S176). Similarly, 以下F is incremented in order (S174), and ξ F focus sub-frame processing is performed on each ξ F focus sub-frame (S17).
6) When the processing for the maximum ξ F is completed, the processing ends (S178).

【0045】図13に沿って、ξFピントサブフレーム
処理を説明する。この処理が起動されると、設定された
ξFでラベリングされたξFピントサブフレームのうち、
1つのサブフレームを選択する(S190)。ピント検
査処理にて判定される物点距離ξF'を初期値3mに設定
し(S192)、ξF'=3mに対するピント検査処理を
行う(S194)。この検査処理で異物フラグが立てら
れなければ(S196)、3mでピントが合っているこ
とを意味するので、当該サブフレームの測定距離は3m
に定められ(S198)、次のξFピントサブフレーム
が選択され、同様の処理が行われる。一方、設定された
ξFに対応するサブフレームの全てについて処理が完了
したときは(S200)、ξFピントサブフレーム処理
を終了する。物点距離ξF'=3mでピントが合わなかっ
た場合には(S196)、検査対象の物点距離ξF'を5
mにインクリメントして(S192)、ピント検査処理
を行う(S194)。このように、順次、検査対象の物
点距離ξF'をインクリメントして(S192)、ピント
検査処理を行い(S194)、いずれかのξF'にて異物
フラグが立たなければ(S196)、そのξF'が当該サ
ブフレームの測定距離とされる(S198)。なお、ξ
F'の最大値に対するピント検査処理においても異物フラ
グが立った場合は(S202)、エラーとして測定距離
を定めずに当該サブフレームに対する処理を終える。
The ξ F focus subframe processing will be described with reference to FIG. When this process is started, among xi] F Pinto subframe labeled at the set xi] F,
One subframe is selected (S190). The object point distance ξ F ′ determined in the focus inspection processing is set to the initial value 3 m (S192), and the focus inspection processing for ξ F ′ = 3 m is performed (S194). If the foreign matter flag is not set in this inspection processing (S196), it means that the focus is in focus at 3 m, so the measurement distance of the subframe is 3 m
(S198), the next ξ F focus subframe is selected, and the same processing is performed. On the other hand, when the processing for all the subframes corresponding to the set xi] F is completed (S200), and ends the xi] F focus subframe processing. If the object point distance ξ F ′ = 3 m and the focus is not achieved (S196), the object point distance ξ F ′ of the inspection target is set to 5
m is incremented (S192), and a focus inspection process is performed (S194). As described above, the object point distance ' F ′ of the inspection target is sequentially incremented (S192), and the focus inspection process is performed (S194). If any of the ξ F ′ does not set the foreign matter flag (S196), The ξ F 'is set as the measurement distance of the subframe (S198). Note that ξ
If the foreign object flag is set in the focus inspection processing for the maximum value of F ′ (S202), the processing for the subframe is ended without determining the measurement distance as an error.

【0046】図14に沿って、ピント検査処理を説明す
る。この処理は、ピントを判定されるサブフレーム及び
物点距離ξF'を指定されて行われる。すなわち、指定さ
れた物点距離ξF'を検査距離として設定し(S21
0)、指定されたサブフレームについての当該の当該物
点距離ξF'での画像に基づいてピント検査が行われる
(S212)。この検査でピントが合っている場合には
(S214)、ピントが合った物点距離としてξF'を設
定して処理を終了し(S216)、反対にピントが合っ
ていなかった場合には(S214)、その旨を意味する
異物フラグを立てて処理を終了する(S218)。
The focus inspection process will be described with reference to FIG. This process is performed the specified sub-frame and the object point distance xi] F 'is determined focus. That is, the designated object point distance ξ F ′ is set as the inspection distance (S21).
0), the focus test is performed on the basis of the image at the object point distance xi] F 'for the specified sub-frame (S212). If is in focus in this test (S214), the process ends by setting xi] F 'as the object distance focus is achieved (S216), if were not in focus on the opposite ( (S214), a foreign object flag indicating that effect is set, and the process is terminated (S218).

【0047】さて、本装置では、測定距離は主レンズ2
2の被写界深度に応じて離散化され、基本的に画像上に
おいて1つの測定距離に対応する領域は、比較的大きな
面積の連続領域となる。すなわち、撮像素子の個々の画
素ごとに測定距離を求めても、近接するある範囲ではそ
の値は変わらない可能性が高い。そこで本装置は、画像
をサブフレームに区分し、サブフレーム単位で測定距離
を定めることにより距離測定処理の負荷を軽減してい
る。ここで、距離画像の精度を確保するためには、基本
的には1つのサブフレーム内で測定距離が変わらないよ
うにサブフレームの大きさを設定することが望ましい。
例えば、測定距離の分解能が高い場合には、1つの測定
距離に対応する領域の連続する範囲は小さくなるので、
それに応じてサブフレームも小さく設定することが望ま
しく、反対に距離分解能が低い場合にはサブフレームを
大きく設定して処理負荷を十分に軽減させることができ
る。
In the present apparatus, the measurement distance is set to the main lens 2
The area that is discretized according to the depth of field of 2 and basically corresponds to one measurement distance on the image is a continuous area having a relatively large area. That is, even if the measurement distance is obtained for each pixel of the image sensor, it is highly possible that the value does not change in a certain range close to the image sensor. Therefore, the present apparatus reduces the load of the distance measurement process by dividing the image into subframes and determining the measurement distance in subframe units. Here, in order to ensure the accuracy of the distance image, it is basically desirable to set the size of the subframe so that the measurement distance does not change within one subframe.
For example, when the resolution of the measurement distance is high, the continuous range of the area corresponding to one measurement distance is small,
It is desirable to set the sub-frames accordingly small. Conversely, if the distance resolution is low, the sub-frames can be set large to reduce the processing load sufficiently.

【0048】[0048]

【発明の効果】本発明の広角度距離測定装置によれば、
円錐鏡を用いて広い計測対象空間領域の画像を取得す
る。そして、焦点可変手段によりこの画像上での合焦点
状態を変化させ、焦点が合ったことに基づいて対象物ま
での距離が測定される。広い領域を画像として取り込む
ことにより、当該領域内での距離測定の同時性・即時性
を実現し易いという効果がある。また光を用いるので、
電波や超音波に比べ、他のソースからの影響を受けにく
いという効果がある。また、ピントが合うか否かによっ
て距離を測定するので、パターン認識などの複雑な計算
処理が不要であり、また例えば同一平面上の模様などを
凹凸と誤って判定する可能性が低く信頼性が高い。
According to the wide angle distance measuring device of the present invention,
An image of a wide measurement target space area is acquired using a conical mirror. Then, the in-focus state on this image is changed by the focus changing means, and the distance to the object is measured based on the fact that the image is focused. By capturing a wide area as an image, there is an effect that it is easy to realize the simultaneousness / immediateness of distance measurement within the area. Since light is used,
This has the effect of being less affected by other sources than radio waves and ultrasonic waves. In addition, since the distance is measured depending on whether or not the subject is in focus, complicated calculation processing such as pattern recognition is unnecessary, and for example, the possibility of erroneously determining a pattern on the same plane as irregularities is low and reliability is low. high.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明に係る広角度距離測定装置の模式的な
全体構成図である。
FIG. 1 is a schematic overall configuration diagram of a wide-angle distance measuring device according to the present invention.

【図2】 光学系の構成を示す模式図である。FIG. 2 is a schematic diagram illustrating a configuration of an optical system.

【図3】 本装置における距離測定の原理を説明する模
式図である。
FIG. 3 is a schematic diagram illustrating the principle of distance measurement in the present device.

【図4】 電子カメラから出力される円錐鏡の反射像の
模式図である。
FIG. 4 is a schematic diagram of a reflection image of a conical mirror output from an electronic camera.

【図5】 対象物が平面である場合の測定距離を示す画
像の一例の模式図である。
FIG. 5 is a schematic diagram of an example of an image showing a measurement distance when an object is a flat surface.

【図6】 平面上に他の物体が存在する場合の処理の具
体例を説明するための反射像の模式図である。
FIG. 6 is a schematic diagram of a reflection image for explaining a specific example of a process when another object exists on a plane.

【図7】 平面上に他の物体が存在する場合の処理の具
体例を説明するための反射像の模式図である。
FIG. 7 is a schematic diagram of a reflection image for explaining a specific example of a process when another object exists on a plane.

【図8】 本装置の距離画像形成のメインルーチンの処
理フロー図である。
FIG. 8 is a processing flowchart of a main routine for forming a distance image of the apparatus.

【図9】 本装置の距離画像形成におけるエリアチェッ
ク処理の処理フロー図である。
FIG. 9 is a processing flowchart of an area check process in forming a distance image by the apparatus.

【図10】 本装置の距離画像形成における異物測定距
離決定処理の処理フロー図である。
FIG. 10 is a process flowchart of a foreign matter measurement distance determination process in forming a distance image by the apparatus.

【図11】 サブフレーム画像を説明する模式図であ
る。
FIG. 11 is a schematic diagram illustrating a sub-frame image.

【図12】 本装置のサブフレームに基づいた距離画像
形成のメインルーチンの処理フロー図である。
FIG. 12 is a processing flowchart of a main routine of a distance image formation based on a subframe of the apparatus.

【図13】 本装置の距離画像形成のξFピントサブフ
レーム処理の処理フロー図である。
FIG. 13 is a processing flowchart of a ξ F focus sub-frame process for forming a distance image by the apparatus.

【図14】 本装置の距離画像形成のピント検査処理の
処理フロー図である。
FIG. 14 is a processing flowchart of a focus inspection process for forming a distance image by the apparatus.

【符号の説明】[Explanation of symbols]

2 光学系、4 焦点可変レンズユニット制御部、6
画像処理部、8 中央制御部、10 出力部、20 円
錐鏡、22 主レンズ、24 焦点可変レンズユニッ
ト、26 電子カメラ。
2 optical system, 4 focus variable lens unit controller, 6
Image processing unit, 8 central control unit, 10 output unit, 20 conical mirror, 22 main lens, 24 variable focus lens unit, 26 electronic camera.

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 円錐形状の外側面が光を反射する円錐鏡
と、 前記円錐鏡の中心軸方向から見た当該円錐鏡の反射像を
結像させる結像手段と、 前記反射像を撮像する撮像手段と、 前記反射像に映る前記円錐鏡周囲の対象物までの距離を
測定する距離測定手段と、 を有し、 前記結像手段は、焦点が合う前記対象物までの物点距離
を変化させる焦点可変手段を有し、 前記距離測定手段は、 前記反射像内での前記焦点が合った合焦点領域を検出す
る合焦点検出手段と、 前記焦点が合う光学的条件に基づいて、前記合焦点領域
に映る前記対象物の測定距離を求める合焦点領域測定手
段と、 を有することを特徴とする広角度距離測定装置。
1. A conical mirror having a conical outer surface reflecting light, an imaging unit for imaging a reflection image of the conical mirror viewed from a center axis direction of the conical mirror, and an image of the reflection image. Imaging means, and a distance measuring means for measuring a distance to the object around the conical mirror reflected in the reflected image, wherein the imaging means changes an object point distance to the focused object. A focusing variable means for causing the focus measuring unit to detect the focused focusing area in the reflected image; and A focusing area measuring unit for determining a measuring distance of the object reflected in a focal area; and a wide angle distance measuring apparatus.
【請求項2】 請求項1記載の広角度距離測定装置にお
いて、 前記焦点可変手段は、 焦点距離を変化可能な焦点可変レンズユニットと、 前記焦点可変レンズユニットの前記焦点距離を変化させ
る焦点距離制御手段と、 を有することを特徴とする広角度距離測定装置。
2. The wide-angle distance measuring device according to claim 1, wherein the variable focal length means includes: a variable focal length lens unit capable of changing a focal length; and a focal length control for changing the focal length of the variable focus lens unit. Means, and a wide-angle distance measuring device, comprising:
【請求項3】 請求項1又は請求項2に記載の広角度距
離測定装置において、 前記合焦点領域測定手段は、前記反射像の各点ごとに前
記測定距離を求め、前記各点の前記測定距離に基づいて
前記反射像に対応する距離画像を生成すること、 を特徴とする広角度距離測定装置。
3. The wide-angle distance measuring device according to claim 1, wherein the in-focus area measuring means obtains the measuring distance for each point of the reflection image, and performs the measurement of each point. Generating a distance image corresponding to the reflection image based on the distance.
【請求項4】 請求項1から請求項3のいずれかに記載
の広角度距離測定装置において、 前記距離測定手段は、 前記円錐鏡の周囲に予め存在する既存物までの距離に基
づいて、前記反射像の各点に対して基準距離を定める基
準距離決定手段と、 それぞれ前記反射像内の同じ位置に対応する前記測定距
離と前記基準距離とを比較して、当該測定距離の妥当性
を判定する妥当性判定手段と、 を有することを特徴とする広角度距離測定装置。
4. The wide-angle distance measuring device according to claim 1, wherein the distance measuring unit is configured to determine the distance based on a distance to an existing object existing around the conical mirror in advance. Reference distance determining means for determining a reference distance for each point of the reflected image; comparing the measured distance and the reference distance, each corresponding to the same position in the reflected image, to determine the validity of the measured distance A wide-angle distance measuring device comprising:
【請求項5】 請求項4記載の広角度距離測定装置にお
いて、 前記基準距離決定手段は、前記反射像の撮像画像を分割
したサブフレーム画像ごとに前記基準距離を定め、 前記合焦点領域測定手段は、前記サブフレーム画像ごと
に前記測定距離を求めること、 を特徴とする広角度距離測定装置。
5. The wide-angle distance measuring device according to claim 4, wherein the reference distance determining means determines the reference distance for each sub-frame image obtained by dividing the captured image of the reflection image, and the focus area measuring means. Calculating the measurement distance for each of the sub-frame images.
【請求項6】 請求項1から請求項5のいずれかに記載
の広角度距離測定装置において、 前記焦点可変手段は、前記結像手段の被写界深度に応じ
た幅で前記物点距離を変化させること、を特徴とする広
角度距離測定装置。
6. The wide-angle distance measuring device according to claim 1, wherein the focus varying unit sets the object point distance in a width corresponding to a depth of field of the imaging unit. A wide-angle distance measuring device.
JP2000282388A 2000-09-18 2000-09-18 Wide angle distance measuring device Pending JP2002090117A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000282388A JP2002090117A (en) 2000-09-18 2000-09-18 Wide angle distance measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000282388A JP2002090117A (en) 2000-09-18 2000-09-18 Wide angle distance measuring device

Publications (1)

Publication Number Publication Date
JP2002090117A true JP2002090117A (en) 2002-03-27

Family

ID=18766919

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000282388A Pending JP2002090117A (en) 2000-09-18 2000-09-18 Wide angle distance measuring device

Country Status (1)

Country Link
JP (1) JP2002090117A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257282A (en) * 2009-04-27 2010-11-11 Alps Electric Co Ltd Obstacle detection device and vehicle with the device mounted thereon
WO2014125690A1 (en) * 2013-02-14 2014-08-21 学校法人埼玉医科大学 Shape-measuring device
JP2018024500A (en) * 2016-08-09 2018-02-15 株式会社タダノ Obstacle detection device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010257282A (en) * 2009-04-27 2010-11-11 Alps Electric Co Ltd Obstacle detection device and vehicle with the device mounted thereon
WO2014125690A1 (en) * 2013-02-14 2014-08-21 学校法人埼玉医科大学 Shape-measuring device
JP2014153343A (en) * 2013-02-14 2014-08-25 Saitama Medical Univ Shape measurement device
JP2018024500A (en) * 2016-08-09 2018-02-15 株式会社タダノ Obstacle detection device

Similar Documents

Publication Publication Date Title
US10643349B2 (en) Method of calibrating a camera and a laser scanner
CN102232176B (en) Method for optically scanning and measuring an environment
JP4918676B2 (en) Calibration apparatus and calibration method
CN108076268B (en) Method for auto-focusing and related imaging device and storage medium
US10168145B2 (en) Three dimensional shape measurement apparatus, control method therefor, and storage medium
US7986875B2 (en) Sound-based focus system and focus method thereof
JP2006151125A (en) On-vehicle image processing device
US6600878B2 (en) Autofocus sensor
JP2000161918A (en) Method and device for detecting position of moving body
TW201439665A (en) Panoramic lens calibration for panoramic image and/or video capture apparatus
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
US10965935B2 (en) Calibration systems usable for distortion characterization in cameras
US11828878B2 (en) LiDAR system and operating method thereof
JP2002090117A (en) Wide angle distance measuring device
WO2022143052A1 (en) Method and apparatus for detecting fire spots, electronic device, and storage medium
WO2021110070A1 (en) Light source control method for vision machine, and vision machine
CN111736162B (en) Laser illumination echo detection device and method for complex target
JPH109853A (en) Distance-measuring type omnibearing visual sensor
JP2007192755A (en) Range finder
TWI673508B (en) Time-of-flight device and method for identifying image using time-of-flight device
JPH0713699B2 (en) Projection system for automatic focus detection
JP2020003409A (en) Survey system and target identification system
JP5423491B2 (en) Reference position calculation system and reference position calculation method
JPH051949A (en) Fire monitor
CN116147524A (en) Method and device for detecting plane array structured light projection height information