JP2013024636A - Distance measuring apparatus - Google Patents

Distance measuring apparatus Download PDF

Info

Publication number
JP2013024636A
JP2013024636A JP2011157810A JP2011157810A JP2013024636A JP 2013024636 A JP2013024636 A JP 2013024636A JP 2011157810 A JP2011157810 A JP 2011157810A JP 2011157810 A JP2011157810 A JP 2011157810A JP 2013024636 A JP2013024636 A JP 2013024636A
Authority
JP
Japan
Prior art keywords
light
distance
unit
distance measuring
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011157810A
Other languages
Japanese (ja)
Other versions
JP5751416B2 (en
Inventor
Takahiko Oki
孝彦 沖
Toshiyuki Ando
敏之 安藤
Shogo Watanabe
省吾 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2011157810A priority Critical patent/JP5751416B2/en
Publication of JP2013024636A publication Critical patent/JP2013024636A/en
Application granted granted Critical
Publication of JP5751416B2 publication Critical patent/JP5751416B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a distance measuring apparatus capable of measuring a distance highly accurately, even when a relative positional relationship between a moving body and an object changes.SOLUTION: A distance measuring apparatus performs measurement by: emitting, from a light projection part 11, a first light projection pulse having a light-emitting region that has an upper end and that spreads out in the horizontal direction; capturing an image of region light reflected at a measuring object 31 by a camera 12; performing synchronous detection processing on the image to detect an upper end edge corresponding to the upper end of the first light projection pulse; detecting the shape edge of the measuring object 31 from an image of the measuring object 31 captured while the first light projection pulse is being turned off; and, when the shape edge and the upper end edge match with each other, removing the upper end edge, and measuring a distance to the measuring object 31 by a principle of triangulation using the upper end edge in the case where both the edges match with each other.

Description

本発明は、車両等の移動体に設けられ、該移動体の周囲に存在する対象物までの距離を測定する距離測定装置に関する。   The present invention relates to a distance measuring device that is provided in a moving body such as a vehicle and measures a distance to an object existing around the moving body.

車両等の移動体の周辺に存在する対象物までの距離を測定する距離測定装置として、例えば、特開2008−157718号公報(特許文献1)に記載されたものが知られている。該特許文献1では、基線長を有する一対の発光素子、及び受光素子を有し、測定対象物までの距離、及び方向を三角測量方式により検出する。また、トロイダルレンズにより集光されたシートビームを複数回パルス発光させ、発光のタイミングに同期して受光素子から受光位置を抽出し、シートビームの照射方向と反射光の受光素子への入射方向、及び発光素子と受光素子の基線長に基づいて対象までの距離を測定する。   As a distance measuring device for measuring a distance to an object existing around a moving body such as a vehicle, for example, a device described in Japanese Patent Application Laid-Open No. 2008-157718 (Patent Document 1) is known. In this patent document 1, it has a pair of light emitting element and light receiving element which have base line length, and detects the distance and direction to a measuring object by a triangulation method. In addition, the sheet beam collected by the toroidal lens is pulse-emitted multiple times, the light receiving position is extracted from the light receiving element in synchronization with the light emission timing, the irradiation direction of the sheet beam and the incident direction of the reflected light to the light receiving element, The distance to the object is measured based on the base line length of the light emitting element and the light receiving element.

特開2008−157718号公報JP 2008-157718 A

しかしながら、上述した特許文献1に開示された従来例では、移動体と対象物との間の相対的な位置関係が変動すると、パルス光を照射した際に、対象物による反射信号を検出できない場合があり、三角測量に使用する位置情報に誤差を生じることとなり、正確な距離計測を実施することができない虞があった。   However, in the conventional example disclosed in Patent Document 1 described above, when the relative positional relationship between the moving object and the object fluctuates, a reflected signal from the object cannot be detected when pulsed light is irradiated. There is an error in position information used for triangulation, and there is a possibility that accurate distance measurement cannot be performed.

本発明は、このような従来の課題を解決するためになされたものであり、その目的とするところは、移動体と対象物との間の相対的な位置関係が変動した場合でも、高精度な距離の測定が可能となる距離測定装置を提供することにある。   The present invention has been made to solve such a conventional problem, and the object of the present invention is to achieve high accuracy even when the relative positional relationship between the moving body and the object fluctuates. It is an object of the present invention to provide a distance measuring device that can measure an accurate distance.

上記目的を達成するため、本発明は、略水平な上端部を有し、且つ水平方向に広がる発光領域を有する第1パルス光を投光する第1投光手段と、対象物を撮像する撮像手段と、第1投光手段により、第1パルス光の上端部が対象物にかかるように第1パルス光が投光された際に、撮像手段で撮像された画像から第1パルス光を検波する検波手段と、検波手段による検波を制御する制御手段と、検波手段にて検波された第1パルス光に基づき、対象物にかかった第1パルス光の上端エッジを検出する上端エッジ検出手段と、対象物に対する特定発光状態のときに、撮像手段で撮像された画像から対象物の形状エッジを検出する形状エッジ検出手段と、上端エッジと形状エッジに基づいて、対象物までの距離を算出する距離算出手段と、を備えたことを特徴とする。   In order to achieve the above object, the present invention provides a first light projecting means for projecting a first pulsed light having a substantially horizontal upper end portion and a light emitting region extending in the horizontal direction, and imaging for imaging an object. When the first pulse light is projected by the means and the first light projecting means so that the upper end portion of the first pulse light is applied to the object, the first pulse light is detected from the image captured by the image capturing means. Detecting means for controlling, detecting means for controlling detection by the detecting means, and upper edge detecting means for detecting the upper edge of the first pulse light applied to the object based on the first pulse light detected by the detecting means; The shape edge detection means for detecting the shape edge of the object from the image captured by the image pickup means and the distance to the object is calculated based on the upper edge and the shape edge in the specific light emission state with respect to the object. A distance calculating means, And wherein the door.

本発明に係る距離測定装置では、第1投光手段により、対象物にその上端部がかかるように第1パルス光を投光し、このとき撮像手段にて撮像される画像を検波して上端エッジを検出する。また、特定発光状態ときに撮像手段で撮像される画像から、対象物の形状エッジを検出する。そして、上端エッジと形状エッジに基づいて、移動体と対象物との距離を算出する。従って、移動体と対象物との相対的な位置関係が変動する場合であっても、高精度に両者間の距離を算出することができる。   In the distance measuring device according to the present invention, the first light projecting means projects the first pulse light so that the upper end of the object is applied to the object, and the image picked up by the imaging means at this time is detected and the upper end is detected. Detect edges. Further, the shape edge of the object is detected from the image picked up by the image pickup means in the specific light emission state. Then, the distance between the moving object and the object is calculated based on the upper edge and the shape edge. Therefore, even when the relative positional relationship between the moving body and the object fluctuates, the distance between the two can be calculated with high accuracy.

本発明の第1実施形態に係る距離測定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the distance measuring device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る距離測定装置で用いられる同期検波処理部の詳細な構成を示すブロック図である。It is a block diagram which shows the detailed structure of the synchronous detection process part used with the distance measuring device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る距離測定装置で用いられる同期検波処理部における各信号の変化を示すタイミングチャートである。It is a timing chart which shows change of each signal in a synchronous detection processing part used with a distance measuring device concerning a 1st embodiment of the present invention. 本発明の第1実施形態に係る距離測定装置により測定対象物までの距離を測定する様子を示す説明図である。It is explanatory drawing which shows a mode that the distance to a measuring object is measured with the distance measuring device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る距離測定装置のカメラで撮像された画像を示す説明図である。It is explanatory drawing which shows the image imaged with the camera of the distance measuring device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る距離測定装置により、測定対象物までの距離を測定する原理を示す説明図である。It is explanatory drawing which shows the principle which measures the distance to a measuring object with the distance measuring device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る距離測定装置により測定対象物までの距離を測定する様子の、他の例を示す説明図である。It is explanatory drawing which shows the other example of a mode that the distance to a measuring object is measured with the distance measuring device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る距離測定装置のカメラで撮像された画像の、他の例を示す説明図である。It is explanatory drawing which shows the other example of the image imaged with the camera of the distance measuring device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る距離測定装置のカメラで撮像された画像からエッジを抽出した様子を示す説明図である。It is explanatory drawing which shows a mode that the edge was extracted from the image imaged with the camera of the distance measuring device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る距離測定装置で、2つの投光部を用いて測定対象物までの距離を測定する様子を示す説明図である。It is explanatory drawing which shows a mode that the distance to a measuring object is measured using two light projection parts with the distance measuring device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る距離測定装置で、2つの投光部でパルス光を投光した場合にカメラで撮像される画像を示す説明図である。It is explanatory drawing which shows the image imaged with a camera, when the pulsed light is projected by two light projection parts with the distance measuring device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る距離測定装置による距離測定処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the distance measurement process by the distance measuring device which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る距離測定装置による同期検波処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the synchronous detection process by the distance measuring device which concerns on 1st Embodiment of this invention. 本発明の第2実施形態に係る距離測定装置の構成を示すブロック図である。It is a block diagram which shows the structure of the distance measuring device which concerns on 2nd Embodiment of this invention. 本発明の第2実施形態に係る距離測定装置により測定対象物までの距離を測定する様子を示す説明図である。It is explanatory drawing which shows a mode that the distance to a measuring object is measured with the distance measuring device which concerns on 2nd Embodiment of this invention. 本発明の第2実施形態に係る距離測定装置のカメラで撮像された画像を示す説明図である。It is explanatory drawing which shows the image imaged with the camera of the distance measuring device which concerns on 2nd Embodiment of this invention. 本発明の第2実施形態に係る距離測定装置による距離測定処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the distance measurement process by the distance measuring device which concerns on 2nd Embodiment of this invention. 本発明の実施形態に係る距離測定装置によるカメラの俯角が0°の場合の、距離分解能を示す説明図である。It is explanatory drawing which shows distance resolution in case the depression angle of the camera by the distance measuring device which concerns on embodiment of this invention is 0 degree. 本発明の実施形態に係る距離測定装置によるカメラの俯角がα°の場合の、距離分解能を示す説明図である。It is explanatory drawing which shows distance resolution in case the depression angle of the camera by the distance measuring device which concerns on embodiment of this invention is (alpha) degrees.

以下、本発明の実施形態を図面に基づいて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

[第1実施形態の説明]
図1は、本発明の第1実施形態に係る距離測定装置100の構成を示すブロック図である。図1に示すように、第1実施形態に係る距離測定装置100は、車両等の移動体に搭載されるものであり、車両周囲の距離測定の対象となる測定対象物に向けて領域光を照射する投光部(第1投光手段)11と、領域光が照射された測定対象物の映像を撮像するカメラ(撮像手段)12と、投光部11による領域光の照射を制御する投光制御部(制御手段)14と、カメラ12で撮像された画像信号に対して同期検波処理を加える同期検波処理部(検波手段)13と、同期検波された画像から測定対象物の上端エッジ(詳細は後述)を検出する上端エッジ検出部(エッジ検出手段)15と、カメラ12で撮像された画像から測定対象物の形状エッジ(詳細は後述)を検出する形状エッジ検出部17と、上端エッジ検出部15で検出された上端エッジ及び形状エッジ検出部17で検出された形状エッジに基づいて、測定対象物までの距離を求める距離算出部(距離算出手段)16と、を備えている。
[Description of First Embodiment]
FIG. 1 is a block diagram showing a configuration of a distance measuring apparatus 100 according to the first embodiment of the present invention. As shown in FIG. 1, the distance measuring device 100 according to the first embodiment is mounted on a moving body such as a vehicle, and emits region light toward a measuring object that is a target of distance measurement around the vehicle. A projection unit (first projection unit) 11 that irradiates, a camera (imaging unit) 12 that captures an image of the measurement object irradiated with the region light, and a projection that controls the irradiation of the region light by the projection unit 11. An optical control unit (control unit) 14, a synchronous detection processing unit (detection unit) 13 that performs synchronous detection processing on an image signal captured by the camera 12, and an upper edge ( An upper edge detection unit (edge detection means) 15 for detecting details will be described later, a shape edge detection unit 17 for detecting a shape edge (details will be described later) of an object to be measured from an image captured by the camera 12, and an upper edge Upper end detected by the detector 15 Tsu based on the detected shape edge di- and shape the edge detection unit 17, a distance calculation unit for determining the distance to the object of measurement (the distance calculation means) 16, a.

投光部11は、例えば、プロジェクタヘッドライトやリフレクタを備えたヘッドライトであり、水平方向に広がる発光領域を形成する配光特性を有する領域光(第1パルス光)を照射する。この水平方向に形成された領域光は、BPSK変調(詳細は後述)され、且つPWM制御されて測定対象物に照射され、該測定対象物上に照射領域と非照射領域の輝度境界を鮮明に映し出す配光を実現する。例えば、図5に示す符号Yで示す輝度境界を有する配光特性を有する。また、該投光部11は、可視光、赤外光、及び紫外光のうちのいずれか、或いはその組み合わせの光を照射する。   The light projecting unit 11 is, for example, a headlight including a projector headlight or a reflector, and irradiates area light (first pulse light) having a light distribution characteristic that forms a light emitting area extending in the horizontal direction. The region light formed in the horizontal direction is subjected to BPSK modulation (details will be described later), and is subjected to PWM control to irradiate the measurement target, and the brightness boundary between the irradiation region and the non-irradiation region is clearly defined on the measurement target. Realize the light distribution. For example, it has the light distribution characteristic which has the brightness | luminance boundary shown with the code | symbol Y shown in FIG. Further, the light projecting unit 11 emits light of any one of visible light, infrared light, and ultraviolet light, or a combination thereof.

カメラ12は、例えば、CDDやCMOS等の撮像素子を備えており、車両周囲の各種画像を撮像すると共に、投光部11より照射された領域光の、測定対象物による反射光を受光する。また、該カメラ12は、投光部11より投光される可視光、赤外光、及び紫外光のうちのいずれか、或いはその組み合わせの光に検出の感度を有している。   The camera 12 includes, for example, an image sensor such as a CDD or a CMOS, and captures various images around the vehicle and receives reflected light from the measurement object of the region light emitted from the light projecting unit 11. In addition, the camera 12 has detection sensitivity for light of any one of visible light, infrared light, and ultraviolet light projected from the light projecting unit 11 or a combination thereof.

同期検波処理部13は、カメラ12より時系列的に取得される複数の画像を用い、画像中の全画素、或いは画像中に処理領域を制限した場合は、この処理領域中の全画素において、投光部11より照射される領域光の、PWM制御に同期した光のみを抽出する。即ち、PWM制御されてオン(点灯)、オフ(消灯)を繰り返す領域光の、オン時における光のみを抽出する。   The synchronous detection processing unit 13 uses a plurality of images acquired in time series from the camera 12 and, when all the pixels in the image or the processing area is limited in the image, in all the pixels in the processing area, Only the light synchronized with the PWM control is extracted from the region light irradiated from the light projecting unit 11. That is, only the light at the time of ON is extracted from the region light that is PWM-controlled and repeats ON (lights on) and OFF (lights off).

投光制御部14は、投光部11をPWM制御する際のパルスのオン、及びオフのタイミングのトリガ信号を出力する。更に、カメラ12による撮像タイミングのトリガ信号、及び該カメラ12のシャッター時間の制御信号を出力する。また、上述のBPSK変調にて使用した搬送波(キャリア周波数;後述するsin(ωt))信号を同期検波処理部13に出力する。   The light projecting control unit 14 outputs a trigger signal for turning on and off the pulse when the light projecting unit 11 is PWM-controlled. Furthermore, a trigger signal for imaging timing by the camera 12 and a control signal for the shutter time of the camera 12 are output. Further, a carrier wave (carrier frequency; sin (ωt) described later) signal used in the above-described BPSK modulation is output to the synchronous detection processing unit 13.

上端エッジ検出部15は、同期検波処理部13により抽出された領域光抽出画像に基づき、領域光の上端エッジを検出する。具体的には、図5に示すように測定対象物31に領域光が照射された場合に、該測定対象物31上の領域光の境界となる線r0を上端エッジとして検出する。詳細については後述する。   The upper edge detection unit 15 detects the upper edge of the region light based on the region light extraction image extracted by the synchronous detection processing unit 13. Specifically, as shown in FIG. 5, when the area light is irradiated onto the measurement object 31, the line r <b> 0 serving as the boundary of the area light on the measurement object 31 is detected as the upper edge. Details will be described later.

形状エッジ検出部17は、投光部11による光照射の無いタイミング(PWMのオフのタイミング)を示す信号を、投光制御部14より取得し、投光部11による領域光の照射が無い状況下(特定発光状態)でカメラ12にて撮像された画像を用いて、例えば、sobelフィルタ等の周知の画像処理を用いて、撮像範囲内に存在する測定対象物の形状を抽出する。例えば、図4に示すように、車両の前方に測定対象物31が存在する場合には、この測定対象物31の形状(輪郭)を抽出する。   The shape edge detection unit 17 acquires a signal indicating the timing without light irradiation by the light projecting unit 11 (PWM OFF timing) from the light projection control unit 14, and there is no region light irradiation by the light projecting unit 11. Using the image captured by the camera 12 below (specific light emission state), for example, the shape of the measurement object existing in the imaging range is extracted using known image processing such as a sobel filter. For example, as shown in FIG. 4, when the measurement object 31 exists in front of the vehicle, the shape (contour) of the measurement object 31 is extracted.

距離算出部16は、上端エッジ検出部15にて検出されたエッジのうち、形状エッジ検出部17で検出される形状エッジと異なる部分の画素を抽出し、更に、この抽出した画素について三角測量の原理を用いて、領域光の上端エッジの照射方向と、カメラ12の視軸がなす角度、及びレイアウトに基づいて測定対象物までの距離を算出する。詳細な算出手順については後述する。   The distance calculating unit 16 extracts pixels of the edge detected by the upper edge detecting unit 15 from a portion different from the shape edge detected by the shape edge detecting unit 17, and further, triangulation of the extracted pixel is performed. Using the principle, the distance to the measurement object is calculated based on the irradiation direction of the upper edge of the region light, the angle formed by the visual axis of the camera 12, and the layout. A detailed calculation procedure will be described later.

次に、同期検波処理部13における同期検波の基本原理を、図2に示すブロック図、及び図3に示すタイミングチャートを参照して説明する。照射した領域光のみを頑健に検出する処理として、一般的に同期検波が用いられる。本実施形態では、カメラ12により撮像された画像の全画素、或いは処理領域として設定された画像領域中の全画素について、この同期検波処理を施し、各画素にて照射光の抽出を行う。以下、図2を参照して説明する。   Next, the basic principle of synchronous detection in the synchronous detection processing unit 13 will be described with reference to the block diagram shown in FIG. 2 and the timing chart shown in FIG. In general, synchronous detection is used as a process for robustly detecting only the irradiated region light. In the present embodiment, this synchronous detection processing is performed on all the pixels of the image captured by the camera 12 or all the pixels in the image region set as the processing region, and the irradiation light is extracted at each pixel. Hereinafter, a description will be given with reference to FIG.

図2に示すように、送信信号をバイナリ信号とし、S(t)(tは時間)で示す。このバイナリ信号S(t)は、例えば、図3(a)に示すように、一定の時間間隔で「1」、「0」で変化する。このバイナリ信号S(t)を送出する際に、バイナリ信号S(t)に対して十分高い周波数ωを持つ搬送波sin(ωt)をバイナリ信号S(t)で位相変調して、BPSK(Binary Phase Shift Keying:二位相偏移変調)送信信号を生成する。その結果、図3(b)に示す如くの波形が生成され、投光される(図2の符号q1参照)。上記の搬送波としては一般的には正弦波が用いられ、送出される振幅変調信号は、2×(S(t)−0.5)×sin(ωt)となる。   As shown in FIG. 2, the transmission signal is a binary signal, and is represented by S (t) (t is time). For example, as shown in FIG. 3A, the binary signal S (t) changes between “1” and “0” at regular time intervals. When this binary signal S (t) is transmitted, a carrier wave sin (ωt) having a sufficiently high frequency ω with respect to the binary signal S (t) is phase-modulated with the binary signal S (t), and BPSK (Binary Phase Shift Keying: Two-phase shift keying) generates a transmission signal. As a result, a waveform as shown in FIG. 3B is generated and projected (see symbol q1 in FIG. 2). A sine wave is generally used as the carrier wave, and the amplitude modulation signal to be transmitted is 2 × (S (t) −0.5) × sin (ωt).

一方、受光側では、測定対象物で反射したBPSK信号を受光し(図2の符号q2参照)、送信に使用した搬送波sin(ωt)の情報を用いることで、受光した信号からバイナリ信号S(t)を抽出する。即ち、バイナリ信号S(t)を同期検波する。   On the other hand, on the light receiving side, the BPSK signal reflected by the measurement object is received (see symbol q2 in FIG. 2), and information on the carrier wave sin (ωt) used for transmission is used to obtain a binary signal S ( t) is extracted. That is, the binary signal S (t) is synchronously detected.

また、受光された信号からバイナリ信号S(t)を抽出する際に、受信信号に対して搬送波sin(ωt)が乗算される(図2の符号q3参照)。この乗算後の信号は、図3(c)に示す如くの波形となる。更に、搬送波sin(ωt)を乗算することにより、搬送波周波数ωの2倍の周波数の信号成分が生成されるので、その影響を除去するため、LPF(低域通過フィルタ)を用いて高周数成分を除去し、その後、正負判定することにより、図3(d)に示すように、復号信号(an)として、送信されたバイナリ信号S(t)を取り出すことができる。   Further, when the binary signal S (t) is extracted from the received signal, the received signal is multiplied by the carrier wave sin (ωt) (see symbol q3 in FIG. 2). The signal after this multiplication has a waveform as shown in FIG. Further, by multiplying the carrier wave sin (ωt), a signal component having a frequency twice as high as the carrier frequency ω is generated. In order to remove the influence, a high frequency is obtained using an LPF (low-pass filter). By removing the components and then making a positive / negative determination, the transmitted binary signal S (t) can be extracted as a decoded signal (an) as shown in FIG.

そして、状態エッジ検出部15では、送信信号(バイナリ信号S(t))と復号信号(an)との対比により、上端エッジを検出する。なお、上記では搬送波sin(ωt)をバイナリ信号S(t)で位相変調する例について説明したが、振幅変調、周波数変調等の他の変調方式を用いることも可能である。   Then, the state edge detector 15 detects the upper edge by comparing the transmission signal (binary signal S (t)) with the decoded signal (an). In the above description, the example in which the carrier wave sin (ωt) is phase-modulated with the binary signal S (t) has been described. However, other modulation schemes such as amplitude modulation and frequency modulation may be used.

次に、投光部11より投光される領域光の投光パターンについて説明する。上述したように、車両Qに搭載される投光部11は、投光領域の上端部に明暗が鮮明な水平パターンを有する領域光を照射する。以下、この配光パターンについて、図4,図5を参照して説明する。図4は、車両Qに搭載される投光部11より、測定対象物31に向けて領域光を照射する様子を示す説明図であり、図5は、領域光を測定対象物31に照射した際の、カメラ12により撮像された画像を示す説明図である。   Next, the projection pattern of the area light projected from the light projecting unit 11 will be described. As described above, the light projecting unit 11 mounted on the vehicle Q irradiates the region light having a horizontal pattern with clear brightness on the upper end portion of the light projecting region. Hereinafter, this light distribution pattern will be described with reference to FIGS. FIG. 4 is an explanatory diagram showing a state in which the area light is irradiated toward the measurement target 31 from the light projecting unit 11 mounted on the vehicle Q, and FIG. It is explanatory drawing which shows the image imaged with the camera 12 at the time.

車両Qの姿勢が変化することや、測定対象物31が移動することにより、車両Qと測定対象物31との間の相対的な位置関係に変化が生じる場合であっても、安定的に領域光を抽出するためには、前述したように、検波に必要な時系列的な画像フレームにおいて、照射パターンが測定対象物上の同一箇所に連続して観測される必要がある。   Even if the relative positional relationship between the vehicle Q and the measurement object 31 changes due to the change of the posture of the vehicle Q or the movement of the measurement object 31, the region can be stably displayed. In order to extract light, as described above, in a time-series image frame necessary for detection, it is necessary to continuously observe an irradiation pattern at the same location on the measurement object.

現実的には、車両及び測定対象物31の動きに制約を設けることはできないので、車両及び測定対象物31が任意の動きをした場合でも、安定した照射光抽出を実現するために十分な照射光の領域を設定する必要がある。そこで、本実施形態では、図5に示すように、水平方向に広がる(水平方向に長い)発光領域を有し、下方領域にも投光領域51を有する投光パターンを用いている。   In reality, since there is no restriction on the movement of the vehicle and the measurement object 31, even when the vehicle and the measurement object 31 move arbitrarily, sufficient irradiation is performed to realize stable extraction of irradiation light. It is necessary to set the area of light. Therefore, in the present embodiment, as shown in FIG. 5, a light projection pattern having a light emitting region that extends in the horizontal direction (long in the horizontal direction) and a light projection region 51 in the lower region is used.

次に、領域光の上端エッジを用いて、対象物までの距離を計測する原理について、図6に示す模式図を参照して説明する。図6に示すように、投光部11より照射される領域光の広がり方向(横方向)とは垂直な方向(縦方向)にオフセットした位置に、カメラ12が配置される。投光部11から投光される領域光が測定対象物31に照射され、カメラ12では、測定対象物31の表面で反射した領域光を撮像する。ここで、投光部11の領域光上端部の照射角度(図6の例では0度)、投光部11とカメラ12との距離(高低差)Dy、カメラ12の俯角αに基づき、測定対象物31までの距離Zに応じて、領域光の上端部が観測される上下方位βが変化する。従って、カメラ12で観測される照射領域上端の上下位置yを用いて、三角測量の原理により測定対象物31までの距離Zを算出することができる。   Next, the principle of measuring the distance to the object using the upper edge of the area light will be described with reference to the schematic diagram shown in FIG. As shown in FIG. 6, the camera 12 is arranged at a position offset in a direction (vertical direction) perpendicular to the spreading direction (horizontal direction) of the region light irradiated from the light projecting unit 11. The area light projected from the light projecting unit 11 is irradiated onto the measurement object 31, and the camera 12 images the area light reflected on the surface of the measurement object 31. Here, measurement is performed based on the irradiation angle (0 degree in the example of FIG. 6) of the area light upper end of the light projecting unit 11, the distance (height difference) Dy between the light projecting unit 11 and the camera 12, and the depression angle α of the camera 12. Depending on the distance Z to the object 31, the vertical direction β at which the upper end of the region light is observed changes. Therefore, the distance Z to the measurement object 31 can be calculated by the principle of triangulation using the vertical position y at the upper end of the irradiation area observed by the camera 12.

上記の原理により、測定対象物31に向けて上端エッジを有する領域光を照射し、この反射光を受光することにより、車両Qのカメラ設置位置から測定対象物31までの距離Zを求めることができる。但し、上記の測定手法を用いる場合では、下記に示すような計測誤差が生じる場合があるので、本実施形態では、形状エッジ検出部17により測定対象物31の形状エッジを検出し、この形状エッジを用いて測定対象物31までの距離を測定する手法を採用している。   Based on the above principle, the distance Z from the camera installation position of the vehicle Q to the measurement object 31 can be obtained by irradiating the area light having the upper edge toward the measurement object 31 and receiving the reflected light. it can. However, in the case of using the above measurement method, there may be a measurement error as shown below. In this embodiment, the shape edge of the measurement object 31 is detected by the shape edge detection unit 17 and the shape edge is detected. The method of measuring the distance to the measuring object 31 using the is adopted.

まず、上記の手法を用いて距離を算出する際に、計測誤差を生じる例について図7,図8を参照して説明する。図7は、領域光を投光する方向に、領域光上端部より高い測定対象物31aと、領域光上端部よりも低い測定対象物31bが同じ距離に存在している場合を示している。この状態で、カメラ12で撮像される画像は、図8のようになる。測定対象物31aについては、投光部11より投光される領域光の上端部が上端エッジr1として同期検波されているが、測定対象物31bについては、領域光の上端部ではなく測定対象物31bの上端部が上端エッジr2として同期検波されている。この同期検波画像を用いて距離を測定すると、測定対象物31aと測定対象物31bは同一の距離に存在するにもかかわらず、測定対象物31bの方がより近い距離に存在すると誤計測されることとなる。   First, an example in which a measurement error occurs when calculating a distance using the above method will be described with reference to FIGS. FIG. 7 shows a case where the measurement object 31a higher than the upper end portion of the area light and the measurement object 31b lower than the upper end portion of the area light exist at the same distance in the direction in which the area light is projected. In this state, an image captured by the camera 12 is as shown in FIG. As for the measurement object 31a, the upper end of the area light projected from the light projecting unit 11 is synchronously detected as the upper edge r1, but the measurement object 31b is not the upper end of the area light but the measurement object. The upper end portion of 31b is synchronously detected as the upper end edge r2. When the distance is measured using this synchronous detection image, it is erroneously measured that the measurement object 31b exists at a closer distance even though the measurement object 31a and the measurement object 31b exist at the same distance. It will be.

そこで、本発明においては、投光部11より投光される領域光がオフの時間帯(オン、オフが繰り返されるパターン光のオフとなる時間帯)にカメラ12で撮像された画像に基づいて通常の画像処理を実行し、測定対象物31a,31bの形状エッジ(輪郭線)を検出し、この形状エッジから横エッジを抽出し、該横エッジと上端エッジ検出部15で検出される上端エッジとの比較により測定対象物31a,31bまでの距離を測定する。   Therefore, in the present invention, based on the image captured by the camera 12 in the time zone in which the region light projected from the light projecting unit 11 is off (time zone in which the pattern light that is repeatedly turned on and off is turned off) Normal image processing is executed, the shape edges (contour lines) of the measuring objects 31a and 31b are detected, the horizontal edges are extracted from the shape edges, and the horizontal edges and the upper edge detected by the upper edge detection unit 15 The distance to the measurement objects 31a and 31b is measured by comparison with the above.

例えば、図9に示す如くの測定対象物31a,31bが存在する画像が撮像された場合には、形状エッジ検出部17は各測定対象物31a,31bの形状エッジを検出することにより、その輪郭が特定され、更に、形状エッジから横エッジを抽出する。その結果、測定対象物31aについては、横エッジr3,r5が抽出され、測定対象物31bについては、横エッジr4,r6が抽出される。   For example, when an image in which the measurement objects 31a and 31b exist as shown in FIG. 9 is captured, the shape edge detection unit 17 detects the shape edges of the measurement objects 31a and 31b, thereby contouring them. And a horizontal edge is extracted from the shape edge. As a result, the horizontal edges r3 and r5 are extracted for the measurement object 31a, and the horizontal edges r4 and r6 are extracted for the measurement object 31b.

そして、形状エッジ検出部17で検出された測定対象物31a,31bの形状エッジと、同期検波され上端エッジ検出部15で検出された上端エッジとが一致する場合は、距離計測値に誤差を含んでいる可能性があると判定することができるようになる。即ち、図8に示した測定対象物31aの上端エッジr1と、図9に示した測定対象物31aの横エッジr3は一致しない(高さが異なる)ので、図8の上端エッジr1を用いて距離を測定する場合には誤差を含まないものと判断できる。一方、図8に示した測定対象物31bの上端エッジr2と、図9に示した測定対象物31bの横エッジr4は一致する(高さが同じである)ので、図8の上端エッジr1を用いて距離を測定する場合には誤差を含む可能性があるものと判断する。   When the shape edges of the measurement objects 31a and 31b detected by the shape edge detection unit 17 coincide with the upper edge detected by synchronous detection and detected by the upper edge detection unit 15, the distance measurement value includes an error. It can be determined that there is a possibility that That is, since the upper edge r1 of the measurement object 31a shown in FIG. 8 and the horizontal edge r3 of the measurement object 31a shown in FIG. 9 do not coincide (the heights are different), the upper edge r1 in FIG. 8 is used. When measuring the distance, it can be determined that no error is included. On the other hand, since the upper edge r2 of the measurement object 31b shown in FIG. 8 and the horizontal edge r4 of the measurement object 31b shown in FIG. 9 coincide (having the same height), the upper edge r1 in FIG. It is determined that there is a possibility that an error is included when the distance is measured by using it.

この場合、測定対象物31bが存在するという情報は出力するが、距離計測値には、誤差が含まれるとし、参考値として出力され、その後の車両制御には使用しない。   In this case, the information indicating that the measurement object 31b exists is output, but the distance measurement value is output as a reference value assuming that an error is included, and is not used for subsequent vehicle control.

次に、本発明の第1実施形態に係る距離測定装置の動作を、図12に示すフローチャートを参照して説明する。   Next, the operation of the distance measuring apparatus according to the first embodiment of the present invention will be described with reference to the flowchart shown in FIG.

初めに、ステップS1において、カメラ12により車両周囲に存在する測定対象物31の画像を取得する。   First, in step S1, an image of the measurement object 31 existing around the vehicle is acquired by the camera 12.

ステップS2において、ステップS1の処理で取得した画像が、投光部11よりPWM制御で照射される領域光が照射されないタイミングで撮像された画像であるか否かを判断し、照射されていないとき(特定発光状態)の撮像画像であればステップS8に処理を進め、照射されているときの撮像画像であればステップS3に処理を進める。   In step S2, it is determined whether the image acquired in the process of step S1 is an image captured at a timing at which the region light irradiated by the PWM control from the light projecting unit 11 is not irradiated. If it is a captured image of (specific light emission state), the process proceeds to step S8, and if it is a captured image when irradiated, the process proceeds to step S3.

ステップS8において、形状エッジ検出部17により、通常の画像処理の形状エッジ検出処理を行い、更にこの形状エッジのデータを、図1の距離算出部16に転送する。   In step S8, the shape edge detection unit 17 performs shape edge detection processing of normal image processing, and further transfers the data of the shape edge to the distance calculation unit 16 in FIG.

ステップS3において、同期検波処理フローを実行する。その後、ステップS4に処理を進める。なお、同期検波処理フローについては、図13に示すフローチャートを参照して後述する。   In step S3, a synchronous detection process flow is executed. Thereafter, the process proceeds to step S4. The synchronous detection processing flow will be described later with reference to the flowchart shown in FIG.

ステップS4において、上端エッジ検出部15により、同期検出された領域の上端エッジ部を抽出する。   In step S4, the upper edge detection unit 15 extracts the upper edge part of the synchronously detected area.

ステップS5において、上記のステップS4の処理で検出された上端エッジのうち、ステップS8の処理で抽出された形状エッジ、即ち、形状エッジ検出部17で抽出された形状エッジと同一である部分を除去する。即ち、前述したように、図8のr2と図9のr4は一致するのでこれを除去する。   In step S5, from the upper edge detected in step S4, the shape edge extracted in step S8, that is, the same part as the shape edge extracted in shape edge detector 17 is removed. To do. That is, as described above, since r2 in FIG. 8 and r4 in FIG. 9 coincide, they are removed.

ステップS6において、距離算出部16は、三角測量による距離算出演算処理を行い、車両Qと測定対象物31との間の距離を算出し、この距離データを上位システムに出力する。   In step S6, the distance calculation unit 16 performs a distance calculation calculation process by triangulation, calculates the distance between the vehicle Q and the measurement object 31, and outputs this distance data to the host system.

次に、図13に示すフローチャートを参照して、図12のステップS3の処理で実行される同期検波処理について説明する。   Next, the synchronous detection process executed in the process of step S3 in FIG. 12 will be described with reference to the flowchart shown in FIG.

初めに、ステップS11において同期検波処理を開始し、ステップS12において、取得された画像(カメラ12で撮像された画像)に対して、投光制御部14により規定される搬送波sin(ωt)(図2参照)をミキシング(乗算)する。具体的には、画像中の処理領域に設定された全画素に対して、取得タイミングに応じた位相における正弦波を掛け合わせる。   First, synchronous detection processing is started in step S11, and in step S12, a carrier wave sin (ωt) defined by the light projection control unit 14 for the acquired image (image captured by the camera 12) (FIG. 2) is mixed. Specifically, all pixels set in the processing area in the image are multiplied by a sine wave in a phase corresponding to the acquisition timing.

ステップS13において、搬送波sin(ωt)をミキシングした画像を、同期検波処理部13が有するフレームメモリ(図示省略)に蓄積する。同期検波処理を実施する際に、連続するnフレームの画像が必要な場合には、nフレーム分のフレームメモリが確保され、例えば、リングバッファ構造により、最も古い画像データを最新の画像データにより更新する。   In step S <b> 13, an image obtained by mixing the carrier wave sin (ωt) is stored in a frame memory (not shown) included in the synchronous detection processing unit 13. When performing continuous detection processing, if n consecutive frames of images are required, a frame memory for n frames is secured. For example, the oldest image data is updated with the latest image data by a ring buffer structure. To do.

ステップS14において、フレームメモリに蓄積された画像データより、所定アドレスの画素データの時系列データを読み出す。例えば、最新の時刻tに取得された画素位置(xi,yj)の画素データをI(xi,yj,t)とすると、同期検波に用いる最新n画素分のデータ、I(xi,yj,t),I(xi,yj,t−1),…,I(xi,yj,t−n+1)を読み出す。   In step S14, time-series data of pixel data at a predetermined address is read from the image data stored in the frame memory. For example, assuming that the pixel data of the pixel position (xi, yj) acquired at the latest time t is I (xi, yj, t), the data for the latest n pixels used for synchronous detection, I (xi, yj, t ), I (xi, yj, t−1),..., I (xi, yj, t−n + 1).

ステップS15において、ローパスフィルタ(図2のLPF参照)を適用する。   In step S15, a low-pass filter (see LPF in FIG. 2) is applied.

ステップS16において、ローパスフィルタを適用した画素の時系列データに対して、正負判定を行う。例えば、画素値が正の値であれば「1」、負の値であれば「0」を割り当て、送信した信号列(ビット列)anを復元する。   In step S16, positive / negative determination is performed on the time-series data of the pixels to which the low-pass filter is applied. For example, “1” is assigned if the pixel value is positive, and “0” is assigned if the pixel value is negative, and the transmitted signal sequence (bit sequence) an is restored.

ステップS17において、処理領域中のすべての画素について、検波が終了したか否かを判定し、処理領域中のすべての画素について検波処理が終了していなければ(ステップS17でNO)、ステップS14に処理を戻し、次の画素位置(例えば、(xi+1、yj))の時系列画素データを読み出し、ステップS15以下の処理を繰り返す。   In step S17, it is determined whether or not the detection has been completed for all the pixels in the processing region. If the detection processing has not been completed for all the pixels in the processing region (NO in step S17), the process proceeds to step S14. The processing is returned, the time-series pixel data at the next pixel position (for example, (xi + 1, yj)) is read, and the processing from step S15 is repeated.

そして、全ての画素について検波処理が終了していれば(ステップS17でYES)、ステップS18において、同期検波画像を出力して終了する。こうして、上端エッジ検出部15で検出される上端エッジに基づいて、車両Qと測定対象物31との間の距離を求めることができるのである。   If the detection process has been completed for all the pixels (YES in step S17), the synchronous detection image is output in step S18 and the process ends. In this way, the distance between the vehicle Q and the measurement object 31 can be obtained based on the upper edge detected by the upper edge detection unit 15.

このようにして、本実施形態に係る距離測定装置では、投光部11より、水平方向に広がる発光領域を有する発光パターンを有する領域光を投光し、カメラ12にて、測定対象物31で反射する領域光を撮像し、更に、撮像した領域光を同期検波することにより、発光パターンがオンのときに撮像された測定対象物31の画像から上端エッジを抽出する。そして、この上端エッジに基づいて、三角測量の原理を用いて車両Qと測定対象物31との間の距離を算出する。従って、車両Qと測定対象物31が相対的に移動した場合であっても、水平方向に広がる発光パターンを用いているので、上端エッジを高い確率で検出することができ、高精度な距離の測定が可能となる。   In this way, in the distance measuring device according to the present embodiment, the light projecting unit 11 projects the region light having the light emission pattern having the light emitting region extending in the horizontal direction, and the camera 12 uses the measurement object 31. The reflected area light is imaged, and the captured area light is synchronously detected to extract the upper edge from the image of the measurement object 31 captured when the light emission pattern is on. And based on this upper end edge, the distance between the vehicle Q and the measuring object 31 is calculated using the principle of triangulation. Therefore, even when the vehicle Q and the measurement object 31 move relatively, the light emission pattern spreading in the horizontal direction is used, so that the upper edge can be detected with a high probability, and a highly accurate distance can be obtained. Measurement is possible.

また、形状エッジ検出部17により、測定対象物31の形状を検出し、更に形状エッジを抽出し、この形状エッジと上端エッジ検出部15で検出される上端エッジとが一致する場合には、この上端エッジは測定対象物31の形状を示すエッジである可能性が高く、誤差を含む可能性が高いので、この上端エッジを用いた距離の測定を行わない。従って、誤差を含む可能性の高いデータを排除することができ、より高精度な距離の測定が可能となる。   Further, the shape edge detection unit 17 detects the shape of the measurement object 31, further extracts the shape edge, and if this shape edge coincides with the upper edge detected by the upper edge detection unit 15, There is a high possibility that the upper edge is an edge indicating the shape of the measurement object 31, and there is a high possibility that the upper edge will contain an error. Therefore, the distance measurement using this upper edge is not performed. Accordingly, it is possible to eliminate data that is highly likely to contain errors, and to measure distances with higher accuracy.

また、投光部11及び同期検波処理部13で用いる同期信号として、振幅変調や位相変調、周波数変調を用いることも可能であり、更に、振幅変調と位相変調の組み合わせであるBPSK等を用いることにより、頑健性を向上させることができる。   In addition, as the synchronization signal used in the light projecting unit 11 and the synchronous detection processing unit 13, it is possible to use amplitude modulation, phase modulation, and frequency modulation, and further use BPSK that is a combination of amplitude modulation and phase modulation. Thus, robustness can be improved.

更に、投光部11に具備される発光源は、赤外光或いは紫外光を発するので、カメラ12に特定スペクトルの光を高効率で透過するフィルタを構成することにより、照射光をより頑健に検出することが可能となる。また、パルス光照射によって他者の視認を妨げず、幻惑を防止することも可能となる。   Furthermore, since the light source provided in the light projecting unit 11 emits infrared light or ultraviolet light, the irradiation light can be made more robust by configuring the camera 12 with a filter that transmits light of a specific spectrum with high efficiency. It becomes possible to detect. Further, it is possible to prevent dazzling without disturbing the visual recognition of others by irradiation with pulsed light.

[変形例の説明]
次に、上述した第1実施形態の変形例について説明する。第1実施形態では、1つの投光部11より単一の投光パターンを有する領域光を投光する例について説明したが、該変形例では、俯角が相違する2つの領域光を測定対象物31a,31bに向けて投光することにより、距離の測定精度をより一層向上させる。以下、図10,図11を参照して説明する。
[Description of modification]
Next, a modification of the first embodiment described above will be described. Although 1st Embodiment demonstrated the example which projects the area light which has a single light projection pattern from the one light projection part 11, in this modification, two area light from which a depression angle differs is measured object By projecting light toward 31a and 31b, the distance measurement accuracy is further improved. Hereinafter, a description will be given with reference to FIGS.

図10は、変形例に係る距離計測装置の投光部11から測定対象物31a,31bに向けて領域光を投光する様子を示す説明図であり、投光部11は、俯角がほぼ水平な第1領域光u1と、俯角を有する第2領域光u2を照射する。その結果、同期検波される画像は図11に示すようになり、測定対象物31aより2つの上端エッジr11,r12が抽出され、測定対象物31bより2つの上端エッジr13,r14が抽出されることになる。   FIG. 10 is an explanatory diagram illustrating a state in which area light is projected from the light projecting unit 11 of the distance measuring device according to the modification toward the measurement objects 31a and 31b, and the light projecting unit 11 has a substantially horizontal depression angle. The first region light u1 and the second region light u2 having a depression angle are irradiated. As a result, the synchronously detected image is as shown in FIG. 11, and the two upper edges r11 and r12 are extracted from the measurement object 31a, and the two upper edges r13 and r14 are extracted from the measurement object 31b. become.

そして、図11から理解されるように、俯角の異なる複数(この例では2つ)の領域光を照射する投光部11を用いることにより、少なくとも一つの領域光において、その上端部が上記形状エッジと異なり、正確な距離計測を実施することができるようになる。   As can be understood from FIG. 11, by using the light projecting unit 11 that irradiates a plurality of (two in this example) region lights having different depression angles, the upper end portion of the at least one region light has the above shape. Unlike the edge, accurate distance measurement can be performed.

具体的には、領域光u1を投光することにより得られる上端エッジr11とr13は一致していないので、この上端エッジを用いた距離の測定は誤差を含む可能性が高く、領域光u2を投光することにより得られる上端エッジr12とr14は一致するので、距離の測定に用いることが可能となる。   Specifically, since the upper edges r11 and r13 obtained by projecting the region light u1 do not coincide with each other, the distance measurement using the upper edge is highly likely to include an error, and the region light u2 Since the upper edges r12 and r14 obtained by projecting coincide with each other, it can be used for distance measurement.

このように、変形例に係る距離測定装置では、俯角が異なる2つの領域光を投光して車両Qと測定対象物31a,31bとの間の距離を測定するので、より一層精度の高い距離の測定が可能となる。   As described above, in the distance measuring device according to the modified example, the distance between the vehicle Q and the measurement objects 31a and 31b is measured by projecting the two region lights having different depression angles, so that the distance is further improved. Can be measured.

次に、カメラ12の視軸が上端エッジが照射される方向に対して所定の俯角を有するように設定することにより、分解能を向上させることができることについて説明する。   Next, it will be described that the resolution can be improved by setting the visual axis of the camera 12 to have a predetermined depression angle with respect to the direction in which the upper edge is irradiated.

1個のカメラ12で広域を観測するためには、通常、広角レンズが用いられる。一般的な広角レンズは、射影方式として等距離射影レンズ(いわゆる、fθレンズ)を採用しており、周辺視野では中心視野に比べて分解能が劣る。このような広角レンズとの組み合わせにおいては、カメラ視軸に俯角(或いは仰角)を持たせ、分解能が高い領域を監視したい領域に向けて適切に設定することが肝要となる。   In order to observe a wide area with one camera 12, a wide-angle lens is usually used. A general wide-angle lens employs an equidistant projection lens (so-called fθ lens) as a projection method, and the peripheral visual field has a lower resolution than the central visual field. In combination with such a wide-angle lens, it is important that the camera viewing axis has a depression angle (or elevation angle) and an area with high resolution is set appropriately for the area to be monitored.

以下、fθレンズとの組み合せにおいて、簡単のために、照射光の上端エッジが路面に対して水平である場合を仮定し、カメラ視軸の俯角がある場合に、被観測対象までの距離計測値の分解能が向上することを、図18,図19を参照して説明する。カメラ視軸に俯角が無い場合を図18に示し、俯角が有る場合を図19に示す。   Hereinafter, for the sake of simplicity in the combination with the fθ lens, it is assumed that the upper edge of the irradiated light is horizontal with respect to the road surface, and the distance measurement value to the object to be observed when there is a depression angle of the camera visual axis. The improvement of the resolution will be described with reference to FIGS. FIG. 18 shows a case where there is no depression angle on the camera viewing axis, and FIG. 19 shows a case where there is a depression angle.

図18,図19で、視軸方向の画素位置をy(j)とし、y(j)の下に隣接する画素位置をy(j+1)とする。このとき、図18に示すように、俯角(仰角)が0度の場合において、画素位置y(j)とy(j+1)で決定される1画素の角度分解能は、実空間距離での距離分解能dD(0)であるとする。一方、図19に示すように、俯角(仰角)がα度の場合において、画素位置y(j)とy(j+1)で決定される1画素の角度分解能は、実空間距離での距離分解能dD(α)であるとする。この場合、dD(α)<dD(0)が成立するので、カメラ視軸に俯角(仰角)を持たせた場合、1画素の角度分解能に対する実空間分解能が高くなる。即ち、俯角αを設けることにより、上端エッジを抽出する際の実空間分解能を高くすることが可能となる。   18 and 19, the pixel position in the visual axis direction is y (j), and the pixel position adjacent to y (j) is y (j + 1). At this time, as shown in FIG. 18, when the depression angle (elevation angle) is 0 degree, the angular resolution of one pixel determined by the pixel positions y (j) and y (j + 1) is the distance resolution at the real space distance. Let dD (0). On the other hand, as shown in FIG. 19, when the depression angle (elevation angle) is α degrees, the angular resolution of one pixel determined by the pixel positions y (j) and y (j + 1) is the distance resolution dD at the real space distance. Assume that (α). In this case, since dD (α) <dD (0) is established, when the depression angle (elevation angle) is given to the camera visual axis, the real space resolution with respect to the angular resolution of one pixel is increased. That is, by providing the depression angle α, it is possible to increase the real spatial resolution when extracting the upper edge.

このように、投光部11により投光される領域光の上端エッジは、カメラ12に対して横方向に領域が形成され、カメラ12は上端エッジ照射方向に対して鉛直な方向にオフセットして配置されると共に、上端エッジ照射方向と視軸が所定角度をなすようにすれば、一般的な広角レンズ(魚眼レンズ)を使用した際においても、三角測量の原理に基づき距離計測する際の計測精度が向上する。   As described above, the upper edge of the region light projected by the light projecting unit 11 is formed in a region lateral to the camera 12, and the camera 12 is offset in a direction perpendicular to the upper edge irradiation direction. Measurement accuracy when distance is measured based on the principle of triangulation even when a general wide-angle lens (fisheye lens) is used, as long as the top edge irradiation direction and the visual axis form a predetermined angle. Will improve.

[第2実施形態の説明]
次に、本発明の第2実施形態について説明する。図14は、本発明の第2実施形態に係る距離測定装置101の構成を示すブロック図である。第2実施形態に係る距離測定装置101は、前述した図1に示した装置と対比して、2つの投光部、即ち、Hiビーム投光部(第2投光手段)18及びLoビーム投光部(第1投光手段)19を備えた点、及びHiビーム投光制御部21を設けた点で相違する。それ以外の構成は、図1と同一であるので、同一符号を付して構成説明を省略する。
[Description of Second Embodiment]
Next, a second embodiment of the present invention will be described. FIG. 14 is a block diagram showing the configuration of the distance measuring apparatus 101 according to the second embodiment of the present invention. Compared with the apparatus shown in FIG. 1 described above, the distance measuring apparatus 101 according to the second embodiment has two light projecting units, that is, a Hi beam projecting unit (second projecting means) 18 and a Lo beam projecting unit. The difference is that a light unit (first light projecting means) 19 is provided and a Hi beam light projection control unit 21 is provided. The other configurations are the same as those in FIG.

Hiビーム投光部18は、仰角を有する領域光を投光して、カメラ12の観測領域全体に光を照射する。また、Hiビーム投光制御部21は、1回の同期検波処理に必要なフレーム数毎に、1回以上の投光回数となるように、Hiビーム投光部18を制御する。   The Hi beam projecting unit 18 projects area light having an elevation angle and irradiates the entire observation area of the camera 12 with light. In addition, the Hi beam projection control unit 21 controls the Hi beam projection unit 18 so that the number of projections is one or more for each number of frames necessary for one synchronous detection process.

形状エッジ検出部17は、Hiビーム投光部18より測定対象物に光が照射されているとき(特定発光状態)に、カメラ12で撮像される画像から測定対象物の形状エッジを検出する。   The shape edge detection unit 17 detects the shape edge of the measurement object from the image captured by the camera 12 when the measurement object is irradiated with light from the Hi beam projecting unit 18 (specific light emission state).

Loビーム投光部19は、図1に示した投光部11と同様に俯角が0°或いは俯角を有する領域光を投光する。   The Lo beam light projecting unit 19 projects area light having a depression angle of 0 ° or a depression angle, similar to the projection unit 11 shown in FIG.

そして、形状エッジ検出部17で検出される形状エッジを、前述した第1実施形態の形状エッジ検出部17(図1参照)で検出された形状エッジとして用いる。つまり、図14に示す形状エッジ検出部17で検出される形状エッジと、上端エッジ検出部15で検出される上端エッジとの一致、不一致を考慮して、距離の測定を行う。   Then, the shape edge detected by the shape edge detection unit 17 is used as the shape edge detected by the shape edge detection unit 17 (see FIG. 1) of the first embodiment described above. That is, the distance is measured in consideration of the coincidence and mismatch between the shape edge detected by the shape edge detection unit 17 shown in FIG. 14 and the upper edge detected by the upper edge detection unit 15.

また、前述したように、Hiビーム投光部18による領域光の投光は、1回の同期検波処理に必要なフレーム数毎に、1回以上の割合とすることで、第一の実施の形態と同等の誤差検出が実現できるようになる。   Further, as described above, the area light projection by the Hi beam projecting unit 18 is performed at a rate of one or more for each number of frames necessary for one synchronous detection process, so that the first implementation is performed. Error detection equivalent to the form can be realized.

図15は、Hiビーム投光部18より、測定対象物31a,31bに向けて領域光を照射したときの様子を示す説明図である。図示のように、Hiビーム投光部18より投光される光パターンは、仰角を有しており、カメラ12で撮像される領域のほぼ全域に亘って領域光を照射している。   FIG. 15 is an explanatory diagram showing a state when the region light is irradiated from the Hi beam projecting unit 18 toward the measurement objects 31a and 31b. As shown in the figure, the light pattern projected from the Hi beam projecting unit 18 has an elevation angle, and irradiates the region light over almost the entire region imaged by the camera 12.

図16は、Hiビームが照射されたときにカメラ12により撮像された画像を示す説明図であり、測定対象物31a,31bのそれぞれの横エッジr21,r22を検出することができる。そして、この横エッジr21,r22と、前述した図8の上端エッジr1,r2を対比することにより、一致、不一致を認識することができることとなる。   FIG. 16 is an explanatory diagram showing an image captured by the camera 12 when the Hi beam is irradiated, and the respective horizontal edges r21 and r22 of the measurement objects 31a and 31b can be detected. Then, by comparing the horizontal edges r21 and r22 with the above-described upper end edges r1 and r2 of FIG. 8, it is possible to recognize coincidence and mismatch.

次に、第2実施形態に係る距離測定装置101の作用について、図17に示すフローチャートを参照して説明する。なお、図17に示すステップS1〜S4、及びステップS5,S6は前述した図13と同一の処理であるので、その説明を省略する。   Next, the operation of the distance measuring apparatus 101 according to the second embodiment will be described with reference to the flowchart shown in FIG. Note that steps S1 to S4 and steps S5 and S6 shown in FIG. 17 are the same as those in FIG.

図17に示すステップS4において、同期検波画像の上端エッジが抽出されると、ステップS21において、同期検波処理に使用した画像取得時間内にHiビーム投光部18より投光された光パターンの画像が存在するか否かを判定する。   When the upper edge of the synchronous detection image is extracted in step S4 shown in FIG. 17, in step S21, the image of the light pattern projected from the Hi beam projector 18 within the image acquisition time used for the synchronous detection process. It is determined whether or not exists.

そして、存在する場合にはステップS5に処理を進め、存在しない場合には、ステップS22に処理を進める。ステップS5では、図13と同様の処理を実行する。   If it exists, the process proceeds to step S5. If not, the process proceeds to step S22. In step S5, the same processing as in FIG. 13 is executed.

ステップS22において、Hiビーム投光部18は、Hiビーム投光制御部21の制御により仰角を有する領域光を投光する。ステップS23において、カメラ12で撮像された画像から形状エッジを抽出する。   In step S <b> 22, the Hi beam projecting unit 18 projects area light having an elevation angle under the control of the Hi beam projecting control unit 21. In step S23, shape edges are extracted from the image captured by the camera 12.

ステップS24において、抽出した形状エッジを保存する。その後、ステップS5に処理を進める。ステップS5において、同期検波した上端エッジからステップS24の処理で保存された形状エッジを除去する。即ち、測定対象物31a,31bの形状を示すエッジを除去することにより、領域光の上端部を示す上端エッジのみを残し、この上端エッジを用いて車両Qと測定対象物31a,31bとの間の距離を算出する。   In step S24, the extracted shape edge is stored. Thereafter, the process proceeds to step S5. In step S5, the shape edge stored in the process of step S24 is removed from the top edge subjected to synchronous detection. That is, by removing the edges indicating the shapes of the measurement objects 31a and 31b, only the upper edge indicating the upper end of the region light is left, and the upper edge is used to between the vehicle Q and the measurement objects 31a and 31b. The distance is calculated.

このようにして、第2実施形態に係る距離測定装置101では、Hiビーム投光部18より投光する領域光を用いて測定対象物31a,31bの形状エッジを検出するので、周囲が暗い状況下の場合や、カメラ12の感度が悪い場合等においても測定対象物31a,31bの形状エッジを高精度に検出することができ、頑健で正確な距離の測定が可能となる。   Thus, in the distance measuring device 101 according to the second embodiment, the shape edges of the measurement objects 31a and 31b are detected using the region light projected from the Hi beam projecting unit 18, and therefore the surroundings are dark. Even in the case described below or when the sensitivity of the camera 12 is poor, the shape edges of the measurement objects 31a and 31b can be detected with high accuracy, and a robust and accurate distance measurement is possible.

なお、投光部11より投光する光の波長としては、可視光、赤外光等を使用することが考えられ、その場合、カメラ12は投光する波長を観測できるような素子を使用したものとすれば良い。   In addition, it is possible to use visible light, infrared light, etc. as the wavelength of the light projected from the light projection part 11, In that case, the camera 12 used the element which can observe the wavelength to project. It should be.

以上、本発明の距離測定装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることができる。   The distance measuring device of the present invention has been described based on the illustrated embodiment. However, the present invention is not limited to this, and the configuration of each part is replaced with an arbitrary configuration having the same function. Can do.

例えば、上述した各実施形態では、移動体として自動車を例に挙げて説明したが、鉄道車両や船舶等の他の移動体についても適用することが可能である。   For example, in each of the above-described embodiments, the automobile has been described as an example of the moving body.

本発明は、測定対象物までの距離を高精度に測定することに利用することができる。   The present invention can be used to measure the distance to the measurement object with high accuracy.

11 投光部
12 カメラ
13 同期検波処理部
14 投光制御部
15 上端エッジ検出部
16 距離算出部
17 形状エッジ検出部
18 Hiビーム投光部
19 Loビーム投光部
21 Hiビーム投光制御部
31,31a,31b 測定対象物
51 投光領域
100,101 距離測定装置
Q 車両
DESCRIPTION OF SYMBOLS 11 Light projection part 12 Camera 13 Synchronous detection process part 14 Light projection control part 15 Upper end edge detection part 16 Distance calculation part 17 Shape edge detection part 18 Hi beam light projection part 19 Lo beam light projection part 21 Hi beam light projection control part 31 , 31a, 31b Measurement object 51 Projection area 100, 101 Distance measuring device Q Vehicle

Claims (6)

移動体に搭載され、略水平な上端部を有し、且つ水平方向に広がる発光領域を有する第1パルス光を投光する第1投光手段と、
前記移動体に搭載され、対象物を撮像する撮像手段と、
前記第1投光手段により、前記第1パルス光の上端部が前記対象物にかかるように第1パルス光が投光された際に、前記撮像手段で撮像された画像から前記第1パルス光を検波する検波手段と、
前記検波手段による検波を制御する制御手段と、
前記検波手段にて検波された第1パルス光に基づき、前記対象物にかかった第1パルス光の上端エッジを検出する上端エッジ検出手段と、
前記対象物に対する特定発光状態のときに、前記撮像手段で撮像された画像から前記対象物の形状エッジを検出する形状エッジ検出手段と、
前記上端エッジと前記形状エッジに基づいて、対象物と移動体との距離を算出する距離算出手段と、
を備えたことを特徴とする距離測定装置。
A first light projecting means for projecting a first pulse light mounted on a moving body, having a substantially horizontal upper end portion and having a light emitting region extending in a horizontal direction;
An imaging means mounted on the moving body for imaging an object;
When the first pulsed light is projected by the first light projecting unit so that the upper end portion of the first pulsed light is applied to the object, the first pulsed light is obtained from the image captured by the imaging unit. Detecting means for detecting
Control means for controlling detection by the detection means;
Upper edge detection means for detecting an upper edge of the first pulse light applied to the object based on the first pulse light detected by the detection means;
A shape edge detecting means for detecting a shape edge of the object from an image picked up by the image pickup means in a specific light emission state with respect to the object;
Distance calculating means for calculating the distance between the object and the moving body based on the upper edge and the shape edge;
A distance measuring device comprising:
前記特定発光状態は、前記第1パルス光が投光されていない状態であることを特徴とする請求項1に記載の距離測定装置。   The distance measuring device according to claim 1, wherein the specific light emission state is a state in which the first pulse light is not projected. 前記対象物に光を照射する第2投光手段を更に備え、前記特定発光状態は、前記第2投光手段にて前記対象物に光が照射された状態であることを特徴とする請求項1に記載の距離測定装置。   The second light projecting means for irradiating the object with light, and the specific light emission state is a state in which the object is irradiated with light by the second light projecting means. The distance measuring apparatus according to 1. 前記制御手段及び前記検波手段は、検波信号として、振幅変調、位相変調、及び周波数変調のうちの少なくとも1つを用いて、前記第1投光手段と前記撮像手段を制御することを特徴とする請求項1〜請求項3のいずれか1項に記載の距離測定装置。   The control unit and the detection unit control the first light projecting unit and the imaging unit using at least one of amplitude modulation, phase modulation, and frequency modulation as a detection signal. The distance measuring device according to any one of claims 1 to 3. 前記第1投光手段は、可視光、赤外光、及び紫外光のうちの少なくとも1つを照射する光源を具備し、前記撮像手段は、前記光源に応じて、可視光領域、赤外領域、及び紫外領域のうちの少なくとも1つに感度を有することを特徴とする請求項1〜請求項4のいずれかに記載の距離測定装置。   The first light projecting unit includes a light source that emits at least one of visible light, infrared light, and ultraviolet light, and the imaging unit has a visible light region, an infrared region depending on the light source. 5. The distance measuring device according to claim 1, wherein the distance measuring device has sensitivity in at least one of the ultraviolet region and the ultraviolet region. 前記撮像手段は、前記第1投光手段に対して鉛直方向に設けられ、撮影方向が所定の俯角を有することを特徴とする請求項1〜請求項5のいずれか1項に記載の距離測定装置。   The distance measurement according to any one of claims 1 to 5, wherein the imaging unit is provided in a vertical direction with respect to the first light projecting unit, and the shooting direction has a predetermined depression angle. apparatus.
JP2011157810A 2011-07-19 2011-07-19 Distance measuring device Expired - Fee Related JP5751416B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011157810A JP5751416B2 (en) 2011-07-19 2011-07-19 Distance measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011157810A JP5751416B2 (en) 2011-07-19 2011-07-19 Distance measuring device

Publications (2)

Publication Number Publication Date
JP2013024636A true JP2013024636A (en) 2013-02-04
JP5751416B2 JP5751416B2 (en) 2015-07-22

Family

ID=47783172

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011157810A Expired - Fee Related JP5751416B2 (en) 2011-07-19 2011-07-19 Distance measuring device

Country Status (1)

Country Link
JP (1) JP5751416B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013129387A1 (en) * 2012-03-01 2013-09-06 日産自動車株式会社 Range finding device and range finding method
JP2015021924A (en) * 2013-07-23 2015-02-02 日産自動車株式会社 Distance measurement apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6224995A (en) * 1985-07-25 1987-02-02 オムロン株式会社 Device for recognizing three-dimensional body
JP2002048533A (en) * 2000-08-04 2002-02-15 Nissan Motor Co Ltd Distance measuring device
JP2007327803A (en) * 2006-06-07 2007-12-20 Denso Corp Vehicle surrounding monitoring device
US20110133914A1 (en) * 2009-12-04 2011-06-09 Delphi Technologies, Inc. Image based vehicle object detection sensor with range finder
JP2012154898A (en) * 2011-01-28 2012-08-16 Nissan Motor Co Ltd Distance measuring device of mobile body

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6224995A (en) * 1985-07-25 1987-02-02 オムロン株式会社 Device for recognizing three-dimensional body
JP2002048533A (en) * 2000-08-04 2002-02-15 Nissan Motor Co Ltd Distance measuring device
JP2007327803A (en) * 2006-06-07 2007-12-20 Denso Corp Vehicle surrounding monitoring device
US20110133914A1 (en) * 2009-12-04 2011-06-09 Delphi Technologies, Inc. Image based vehicle object detection sensor with range finder
JP2012154898A (en) * 2011-01-28 2012-08-16 Nissan Motor Co Ltd Distance measuring device of mobile body

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013129387A1 (en) * 2012-03-01 2013-09-06 日産自動車株式会社 Range finding device and range finding method
JPWO2013129387A1 (en) * 2012-03-01 2015-07-30 日産自動車株式会社 Distance measuring device and distance measuring method
JP2015021924A (en) * 2013-07-23 2015-02-02 日産自動車株式会社 Distance measurement apparatus

Also Published As

Publication number Publication date
JP5751416B2 (en) 2015-07-22

Similar Documents

Publication Publication Date Title
JP5800082B2 (en) Distance measuring device and distance measuring method
JP5251419B2 (en) Distance measuring device and distance measuring method
US11002856B2 (en) Doppler time-of-flight imaging
US20130222551A1 (en) Mapping detecting and tracking objects in an arbitrary outdoor scene using active vision
WO2015184308A1 (en) Motion contrast depth scanning
US20110035174A1 (en) Time synchronization in an image processing circuit
JP2015103922A (en) Image projection device, image projection method, and program
JP2014178245A (en) Distance measuring apparatus
WO2019146510A1 (en) Image processing device
RU2700646C2 (en) Traffic light detection device and traffic light detection method
JP6477348B2 (en) Self-position estimation apparatus and self-position estimation method
JP5751416B2 (en) Distance measuring device
JP5682334B2 (en) Distance measuring device for moving objects
JP2014070936A (en) Error pixel detecting apparatus, error pixel detecting method, and error pixel detecting program
CN110062894A (en) Apparatus and method for
JP2010151842A (en) Three-dimensional shape measuring instrument and three-dimensional shape measurement method
JP6369897B2 (en) Self-position calculation device and self-position calculation method
KR102543027B1 (en) Method and apparatus for obtaining 3 dimentional image
JP5978866B2 (en) Image capturing apparatus and image processing method for image capturing apparatus
US10007857B2 (en) Method for the three-dimensional detection of objects
JP2011053025A (en) Distance measuring device and method of measuring distance
JP2013044690A (en) Distance measuring equipment
CN111373222A (en) Light projection system
JP5939422B2 (en) Distance measuring device
JP2008170282A (en) Shape measuring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150505

R151 Written notification of patent or utility model registration

Ref document number: 5751416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees