New! View global litigation for patent families

JP2004053278A - Front vehicle tracking system and front vehicle tracking method - Google Patents

Front vehicle tracking system and front vehicle tracking method

Info

Publication number
JP2004053278A
JP2004053278A JP2002207390A JP2002207390A JP2004053278A JP 2004053278 A JP2004053278 A JP 2004053278A JP 2002207390 A JP2002207390 A JP 2002207390A JP 2002207390 A JP2002207390 A JP 2002207390A JP 2004053278 A JP2004053278 A JP 2004053278A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
tracking
vehicle
front
section
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002207390A
Other languages
Japanese (ja)
Other versions
JP3985615B2 (en )
Inventor
Tomoko Shimomura
下村 倫子
Original Assignee
Nissan Motor Co Ltd
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide a front vehicle tracking system and a front vehicle tracking method that can reliably track vehicles and are capable of robust, accurate measurement. <P>SOLUTION: The front vehicle tracking system comprises a laser radar 2 for scanning a front in the advance direction of vehicles; a laser radar data memory 4; a vehicle discovery point 5 for detecting front vehicles according to the reflection point of detection waves of the laser radar 2; an intensity distribution type creation section 6 for creating the intensity distribution type of reflection points; a vehicle tracking section 7 by utilizing intensity; a laser radar measurement evaluation section 8 for evaluating the measurement of laser radar; an electronic camera 3 for imaging the front in an advance direction; an image memory 9; a vehicle template creation section 10 for creating a template for tracking vehicles; a vehicle tracking processing section 11 for tracking vehicles by template matching; an image processing tracking reliability judgment section 12; and an integral processing section 13. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】 [0001]
【発明の属する技術分野】 BACKGROUND OF THE INVENTION
本発明は、車両に搭載される前方車両追跡システムおよび前方車両追跡方法に関する。 The present invention relates to a front vehicle tracking system and the forward vehicle tracking method is mounted on a vehicle.
【0002】 [0002]
【従来の技術】 BACKGROUND OF THE INVENTION
従来のテンプレートマッチングを用いた先行車追跡技術としては、例えば、特開2002−99906などがある。 The preceding vehicle tracking technology using the conventional template matching, for example, and the like JP 2002-99906. この手法は、熱源を捉えることのできる赤外カメラとレーザレーダとの組み合わせにより先行車を追跡する手法であり、レーザレーダで検出した位置と対応する画像上の位置にテンプレートを切り、双方で追跡を行うことで、例えば、雨天に弱いレーザレーダが検出できない場合でも、熱を捉えることのできる画像により車両を追跡できるなど、互いの利点を活かすことによってロバストに車両を追跡することを特徴とする。 This technique is a technique for tracking the preceding vehicle by a combination of an infrared camera and a laser radar that can capture heat source, cut the template at a position on the image corresponding to the detected position in the laser radar, tracking both by performing, for example, even when a weak laser radar rain can not be detected, the image that can capture heat etc. can track the vehicle, characterized by tracking the vehicle robustly by leveraging each other advantages .
【0003】 [0003]
【発明が解決しようとする課題】 [Problems that the Invention is to Solve
しかし、この方法では、赤外カメラを用いていることから、例えば、夏など気温の高い環境では車両の熱源を用いたテンプレートマッチングの精度が低くなるという問題がある。 However, in this method, since it is using an infrared camera, for example, there is a problem that the accuracy of template matching using the heat source of the vehicle is low at high temperatures environment such as summer. また、車両の追跡確実性を考慮しているが、特に横方向の計測高精度化に対する工夫がなく、構成として熱源を捉えていることから、車両のエッジを精度よく検出することが難しく、画像上で厳密にエッジを検出することができないため、車両の微妙な動き、特に横方向の細かい動きを計測することが困難である。 Also, although in view of the tracking reliability of the vehicle, in particular no contrivance for lateral measurement accuracy enhancement, since it captures the heat source as a constituent, it is difficult to accurately detect the edge of the vehicle, the image it is impossible to detect the exact edges above, subtle movement of the vehicle, it is difficult to particular measuring lateral fine movement.
【0004】 [0004]
本発明の目的は、車両を確実に追跡することができ、システム全体としてロバストで精度の高い計測を行うことができる前方車両追跡システムおよび前方車両追跡方法を提供することにある。 An object of the present invention, the vehicle to be able to reliably track is to provide a preceding vehicle tracking system and the front vehicle tracking method capable of performing measurement with high accuracy robust system as a whole.
【0005】 [0005]
【課題を解決するための手段】 In order to solve the problems]
上記の課題を解決するため、本発明は、進行方向前方をスキャニングする検出波出力手段と、この検出波出力手段が出力した検出波の反射点により前方車両を検出する車両発見手段と、検出波出力手段により計測した距離をも考慮し、反射点の強度分布型を作成する強度分布型作成手段と、前記強度分布をも利用しながら、前方車両の位置を計測する強度利用での車両追跡手段と、検出波出力手段の追跡結果を評価する検出波出力手段計測評価手段と、進行方向前方を撮像するカメラと、検出波出力手段により計測した距離をも考慮し、前方車両の追跡用テンプレートを作成する車両テンプレート作成手段と、テンプレートマッチングにより車両追跡を行う車両追跡処理手段と、カメラの画像処理による前方車両の追跡信頼性を評価する画像 To solve the above problems, the present invention includes a detection wave output means for scanning a forward advancing direction, and a vehicle discovery means for detecting a forward vehicle by the reflection point of the detection wave detection wave output means has outputted the detection wave also consider the distance measured by the output means, and intensity distribution type generation means for generating an intensity distribution type reflection points, while utilizing also the intensity distribution, vehicle tracking means in intensity available to measure the position of the forward vehicle When a detection wave output unit measurement evaluating means for evaluating the tracking result of the detection wave output means, a camera for imaging a forward advancing direction, also consider the distance measured by the detection wave output unit, of the forward vehicle tracking template image evaluation and vehicle template creating means for creating a vehicle tracking processing means for performing vehicle tracking by template matching, the tracking reliability of the forward vehicle by image processing of the camera 理追跡信頼性判定手段と、検出波出力手段による追跡評価結果と、画像処理による追跡評価結果とを統合判定し、前方車両の位置を算出する統合処理手段とを有するものである。 And physical tracking reliability determination unit, a tracking result of evaluation by the detection wave output means and integration identifying and tracking evaluation results of image processing, and has a integrated processing means for calculating the position of the forward vehicle.
【0006】 [0006]
【発明の効果】 【Effect of the invention】
本発明によれば、車両を確実に追跡することができ、システム全体としてロバストで精度の高い計測を行うことができる。 According to the present invention, the vehicle to be able to reliably track, it is possible to perform measurement with high accuracy robust system as a whole.
【0007】 [0007]
【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION
以下、図面を用いて本発明の実施の形態について詳細に説明する。 It will be described in detail embodiments of the present invention with reference to the drawings. なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。 In the drawings described below, components having the same functions are given same symbols and their repeated explanation is omitted.
【0008】 [0008]
実施の形態1 Embodiment 1
図1は、本実施の形態1の前方車両追跡システムの構成図である。 Figure 1 is a block diagram of the forward vehicle tracking system of the first embodiment. 図2は、レーザレーダとカメラを搭載した自車両の図と、後述の説明に用いる検出対象物標の位置を表すための基準座標系の説明図であり、(a)は横から見た図、(b)は上から見た図である。 Figure 2 is a diagram of the vehicle equipped with the laser radar and camera are explanatory diagram of a reference coordinate system for representing a position of the detection object target used in the following description, (a) shows the Side View a view from (b) is above.
【0009】 [0009]
図において、1は自車両(図2)、2は検出波出力手段であるスキャニングレーザレーダ(以下、レーザレーダと記す)、3は電子式のカメラ、4はレーザレーダデータメモリ、5は車両発見部、6は反射強度(以下、強度と記す)分布型作成部、7は強度利用での車両追跡部、8はレーザレーダ計測評価部、9は画像メモリ、10は車両テンプレート作成部、11は車両追跡処理部、12は画像処理追跡信頼性判定部、13は統合処理部(総合評価部、総合判定部)である。 In the figure, 1 is the vehicle (FIG. 2), 2 scanning laser radar is detected wave output unit (hereinafter, referred to as laser radar), the electronic camera 3, the laser radar data memory 4, 5 the vehicle found parts, 6 reflection intensity (hereinafter referred to as intensity) distributed creation unit, 7 vehicle tracking unit of intensity available, 8 laser radar measurement evaluation unit, 9 image memory, 10 a vehicle template creation unit, 11 vehicle tracking processing unit, 12 image processing tracking reliability determination unit, 13 is an integration processing unit (comprehensive evaluation unit, comprehensive determination unit).
【0010】 [0010]
図1に示すように、本実施の形態1の前方車両追跡システムは、自車両1に搭載されたレーザレーダ2と、カメラ3の2つのセンサを搭載している。 As shown in FIG. 1, the front vehicle tracking system of the first embodiment, the laser radar 2 mounted on the vehicle 1, are equipped with two sensors of the camera 3.
レーザレーダ2を利用した処理部は、レーザレーダ2から入力されるスキャニング角ごとのデータを格納するレーザレーダデータメモリ4と、そのデータから前方の車両を発見する車両発見部5と、発見した車両の強度分布を追跡中の車両の特徴を示す強度分布型として保存する強度分布型作成部6と、車両発見後は強度分布をも利用しながら車両の位置をより確実に計測する強度利用での車両追跡部7と、車両の追跡結果の確実性を評価するレーザレーダ計測評価部8とを有する。 Vehicle processing unit which utilizes a laser radar 2 has a laser radar data memory 4 for storing data for each scanning angle inputted from the laser radar 2, a vehicle finder 5 to discover the front of the vehicle from the data, it finds the intensity distribution and the intensity distribution type generating unit 6 to store the intensity distribution type indicating the characteristics of the vehicle being tracked, after the vehicle found at intensity utilized to reliably measure the position of the vehicle while utilizing also the intensity distribution of with a vehicle tracking unit 7, a laser radar measurement evaluation unit 8 for evaluating the reliability of vehicle tracking results.
【0011】 [0011]
一方、カメラ3を利用した処理部は、カメラ3から入力される画像を保存する画像メモリ9と、レーザレーダ2で車両を発見した位置に相当する画像上の位置に車両追跡用のテンプレートを作成する車両テンプレート作成部10と、車両追跡開始後は、作成されたテンプレートから距離変化による大きさ変化を考慮した上で、テンプレートマッチングにより車両追跡を行う車両追跡処理部11と、画像処理による車両の追跡信頼性を評価する画像処理追跡信頼性判定部12とを有する。 On the other hand, the processing unit using the camera 3, creates an image memory 9 for storing the image input from the camera 3, a template for a vehicle tracking position on the image corresponding to the position you find the vehicle by the laser radar 2 a vehicle template creation unit 10 which, vehicle tracking after the start, in consideration of the size change due to change in distance from a template created by the template matching and vehicle tracking processing unit 11 for vehicle tracking, by image processing of the vehicle and an image processing tracking reliability determination unit 12 for evaluating the tracking reliability.
【0012】 [0012]
そして、レーザレーダ2による追跡評価結果と、カメラ3で撮像した画像処理による追跡評価結果とを統合判定し、最終的な追跡中の車両位置を算出する統合処理部13を有する。 Then, has a follow-up evaluation results by the laser radar 2, and the integration identifying and tracking evaluation results of the image processing obtained by the camera 3, the integration processing unit 13 that calculates the vehicle position in the final track.
【0013】 [0013]
カメラ3とレーザレーダ2は、図2に示すように自車両1の前部に取り付けられており、レーザレーダ2は、自車両1の前方路面に平行な方向で1次元的にスキャニングしながら、前方の物体までの距離と方位を計測し、カメラ3は同じ方向である自車両1の前方の様子を撮像する。 Camera 3 and the laser radar 2 is mounted on the own front of the vehicle 1 as shown in FIG. 2, the laser radar 2, while one-dimensionally scanning in a direction parallel to the road surface ahead of the vehicle 1, measuring the distance and direction to the forward object, the camera 3 images the state in front of the vehicle 1 which is the same direction. また、ここでは、物体位置を表記するための座標系を図2に示すように設ける。 Further, here, provided with a coordinate system for representing the object position as shown in FIG. すなわち、各軸は、レーザレーダ2の中心軸方向をZ軸、中心軸に垂直で路面に平行な方向をX軸、路面に垂直な方向をy軸とする。 That is, each axis is Z-axis direction of the center axis of the laser radar 2, X axis direction parallel to the road surface to the central axis in the vertical, the direction perpendicular to the road surface and the y-axis. また、Z軸方向の位置を「距離」、X軸方向の距離を「横位置」とする。 The position of the "distance" Z-axis direction, the distance in the X-axis direction and "horizontal position".
【0014】 [0014]
図3(a)は、レーザレーダ2で車両を計測したときのレーザレーダ2の計測位置を示す図、図3(b)はその場合の前方の画像を示す図、図3(c)はもっとも近距離にある車両の強度分布を示す図である。 3 (a) is a diagram showing a measurement position of the laser radar 2 when measured vehicle laser radar 2, shows the front of the image of FIG. 3 (b) In this case, FIG. 3 (c) most is a diagram showing the intensity distribution of the vehicle in a short distance.
【0015】 [0015]
レーザレーダ2は前方に存在する光を反射する物体を検知し、レーザレーダ2から送信される送信波の送信とその波を受信するまでの時間差から、光を反射した物体までの距離を計測する装置である。 The laser radar 2 detects the object reflecting the light in front, from the difference in time to receive the transmission and the wave of the transmission wave transmitted from the laser radar 2, to measure the distance to an object that reflects light it is a device. その送信波は、スキャン角ごとに同じエネルギーを持つが、受信する光の強さは、光の反射率による。 The transmission wave have the same energy for each scan angle, the intensity of the received light due to reflection of the light. 道路環境においては、光を反射するものとして、鉄製の看板、デリニエータと呼ばれる路側に取り付けられた反射板(リフレックスリフレクタ。以下、リフレクタと記す)、および、前方を走行する車両などが上げられる。 In the road environment, as for reflecting light, iron signboard, reflection plate attached to roadside called delineator (reflex reflector. Hereinafter referred to as reflector), and is raised and the vehicle traveling in front. この中でも、路側や車両の背面に取り付けられたリフレクタは、運転手から前方の車両や路側の存在を認識しやすくなるように取り付けられた反射板であるため、光を効率よく反射するようになっている。 Among them, the reflector attached to the back of the roadside and the vehicle, since the driver is a reflective plate which is mounted so as to be easily recognized the existence of the front of the vehicle and the roadside, so as to reflect light efficiently ing. そのため、レーザレーダ2でこれらのリフレクタを検出すると、強い強度の光を受光できる。 Therefore, when detecting these reflectors in the laser radar 2, it can receive the high intensity light. 通常、強度は、物体までの距離が長いほど小さな値となるが、車両は反射効率の良いリフレクタを取り付けていることから、遠方でも安定して検知計測することができる。 Normally, the intensity is distance to the object becomes longer small value, the vehicle since it is fitted with a good reflector reflection efficiency, it can be detected measured stably even in the distance.
【0016】 [0016]
レーザレーダデータメモリ4は、レーザレーダ2で計測したデータを保存する。 Laser radar data memory 4 stores the data measured by the laser radar 2. 追跡処理はこのレーザレーダデータメモリ4に保存されたデータを用いて行う。 Tracking process is performed using the data stored in the laser radar data memory 4.
【0017】 [0017]
図1に示した車両発見部5では、図3(a)、(c)に示すようなレーザレーダ2の検知点の分布から車両を検出し、その方位と距離を計測する。 The vehicle finder 5 shown in FIG. 1, FIG. 3 (a), detecting a vehicle from the distribution of the detection point laser radar 2 such as shown in (c), to measure the azimuth and distance. この処理は、例えば、図3に示すように、車両の幅程度の間隔で検出され、時系列的に同じ方向に動く左右1組の点や車幅程度の幅の連続する点を見つけるなどの従来の手法を適用すればよい。 This process is, for example, as shown in FIG. 3, is detected by a width of approximately spacing of the vehicle, such as time series horizontally find a set of points and the width of about vehicle width consecutive points move in the same direction it may be applied to conventional techniques.
【0018】 [0018]
また、車両には、前述のように、リフレクタという光を効率よく反射する反射板が取り付けられているが、距離が近い場合、ボディ面やナンバプレートからの反射光をレーザレーダ2で受光することもできる。 Further, the vehicle, as described above, but efficiently reflected to the reflection plate is attached to the light of the reflector, if the distance is short, to receive light reflected from the body surface and the license plate in the laser radar 2 It can also be. このようにボディからの反射光が受光できる程度の距離の場合、車両の強度分布は、図3(c)に示すように、リフレクタの位置の強度が強く、ボディ面は比較的弱い強度分布となる。 In this way, a distance enough to receiving light reflected from the body, the intensity distribution of the vehicle, as shown in FIG. 3 (c), strong intensity of the position of the reflector, the body surface is a relatively weak intensity distribution Become.
【0019】 [0019]
図4は距離と、強度分布の関係を示した概念図である。 Figure 4 is a distance, is a conceptual diagram showing the relationship of the intensity distribution. 強度は距離が長くなると小さくなる。 The intensity decreases as the distance becomes longer. しかし、リフレクタの位置は車両特有のもので、不変であり、車種によってさまざまであるため、この強度分布の形状は追跡車両の特徴を示す値の1つともなる。 However, the position of the reflector intended vehicle specific, immutable, because it is varied depending on the model, the shape of the intensity distribution also becomes one of the values ​​indicating the characteristics of the tracking vehicle.
【0020】 [0020]
強度分布型作成部6による処理と、強度利用での車両追跡部7による処理は、このようなレーザレーダ2から得られる車両の強度分布特性を利用した処理である。 And processing by the intensity distribution type generating unit 6, the processing by the vehicle tracking unit 7 in the strength utilization is a process utilizing the intensity distribution characteristics of the vehicle resulting from such a laser radar 2. まず、強度分布型作成部6では、車両発見部5の処理で検出した車両を対象とし、その車両の強度分布を車両追跡用強度分布型として保存する。 First, the intensity distribution type creating unit 6, intended for the vehicle detected by the processing of the vehicle finder 5, stores the intensity distribution of the vehicle as the vehicle tracking intensity distribution type. 図3(a)のような場面で車両20Aを追跡車両(前方車両)とした場合、図3(c)の強度分布が保存対象の強度分布型となる。 3 If the vehicle 20A was tracking the vehicle (front vehicle) in the context, such as (a), the intensity distribution shown in FIG. 3 (c) is the intensity distribution type storage target. また、この際、強度分布のピークの位置は、距離に応じて変化するため、強度分布型の作成時の距離も同時に保存する。 At this time, the position of the peak of the intensity distribution changes according to the distance, the distance at the time of creating the intensity distribution type is also stored simultaneously. 図3の場合、距離zA(自車両1と車両20Aとの距離)を同時に保管すればよい。 For Figure 3, the distance zA (the distance between the host vehicle 1 and the vehicle 20A) may be stored simultaneously.
【0021】 [0021]
図3(a)、(b)において、21は路上反射物である。 FIG. 3 (a), in (b), 21 is a road reflector. この路上反射物21等の静止物は自車速度と同じ相対速度で近づいてくることから静止物と判定する。 Stationary object such as the road reflector 21 determines that a stationary object since the approaching at the same relative speed as the vehicle speed. 車両20Aや20Bは、2つのペアが同じ速度で動物体を示す相対速度で移動することから車両と判定する。 Vehicles 20A and 20B, it is determined that the vehicle since the two pairs are moved at a relative speed that indicates the moving object at the same speed.
【0022】 [0022]
強度利用での車両追跡部7では、この強度分布型を用いた分布型マッチングによる位置計測を行う。 The vehicle tracking unit 7 in the intensity use, performs position measurement by the distributed matching using the intensity distribution type. 図5はその様子を示す図で、(a)は検知点グルーピングでの物体位置計測を示し、(b)は強度分布とのマッチングで横位置を検出する様子を示す。 Figure 5 is a diagram showing the state, (a) shows the object position measurement in the detection point grouping, showing how to detect a lateral position matching with (b) the intensity distribution.
【0023】 [0023]
車両発見部5によるレーザレーダ2からの前方車両の検出は、前述(図3)同様の相対速度や車幅程度の大きさを示す物体の検出およびその相対速度から判断できる。 Detection of the forward vehicle from laser radar 2 by the vehicle finder 5, can be determined from the detection and relative speed of the object indicating the above (Figure 3) similar relative velocity and about the vehicle width size. しかし、検知点のデータは特にボディ反射など強度の弱い部分では不安定である。 However, the data detection point is particularly unstable portion having a weak intensity and body reflection. 特に、図5(a)に示すように、車両の端はボディ面が自車両1(に搭載したレーザレーダ2)に対して斜め向きであるため、背面よりも反射点の検知が不安定となる。 In particular, as shown in FIG. 5 (a), since the end of the vehicle is obliquely oriented relative to the body surface (the laser radar 2 mounted on) the vehicle 1, and unstable detection of the reflection point than the back Become. しかし、従来手法のような点のグループ化で車両の位置を検出すると、距離(zA)は正確に計測できるが,横位置(xA)の計測が不安定となる。 However, when detecting the position of the vehicle in a group of such points as in the conventional technique, the distance (zA) is able to accurately measure, measure the lateral position (xA) becomes unstable. (ただし、ここでは、横位置は、図に示すように、仮に物体検出結果(図中の破線四角)の中心を物体の横位置とする。)そこで、ここでは、安定して検出されるリフレクタの位置の移動を細かく計測できるように、図5(b)に示すように、追跡車両のデータを用いて作成した強度分布型を用いた分布型マッチングを行う。 (However, in this case, horizontal position, as shown in FIG, tentatively called lateral position around the object of the object detection result (dashed squares in the figure).) Reflector Therefore, here, to be detected stably moving to allow the finer measurement of the position of, as shown in FIG. 5 (b), performing a distributed matching using the intensity distribution type created using the data of the tracking vehicle. これにより、より正確に、距離だけでなく、横方向の動きも計測できるようになる。 Thus, more precisely, a distance as well as lateral movement also becomes possible to measure.
【0024】 [0024]
図1のレーザレーダ計測評価部8では、レーザレーダ2で追跡中の車両の信頼性を評価する。 In the laser radar measurement evaluation unit 8 of FIG. 1, to evaluate the reliability of the vehicle being tracked by the laser radar 2. ここでは、例えば、距離の計測値の信頼性は、追跡距離の急激な変化なく安定して同程度の幅の物体が検出できていることの時間的な連続性(例えば連続回数や距離変化の度合い)から信頼性を評価できる。 Here, for example, the reliability of the measurement value of the distance is, the temporal continuity of what can be detected object abrupt changes without stable as wide tracking distance (e.g., number of consecutive times and distance change You can evaluate the reliability from the degree). また、追跡中の車両の横位置に関しては、レーザレーダ計測評価部8の強度分布評価値から判定できる。 Regarding the lateral position of the vehicle being tracked can be determined from the intensity distribution evaluation value of the laser radar measurement and evaluation unit 8. 具体的には、定義した強度分布型と、実際に観測した強度で正規化相関を求めるなどで評価値は計算できる。 Specifically, a defined intensity distribution type, evaluation value, etc. obtaining a normalized correlation actually observed intensity can be calculated. 例えば、図5(b)の時刻t+Δtの車両20Bの場合、片側のリクレクタが検知できてないことから、強度分布の形状が分布型と大きく異なる。 For example, when the vehicle 20B of the time t + Delta] t in FIG. 5 (b), since the one side of Rikurekuta has not been detected, the shape of the intensity distribution is significantly different from the distributed. レーザレーダ2による横位置の計測は大きくずれている可能性が高い。 Likely measurement is deviated in the lateral position by the laser radar 2. このようなことから、強度分布との正規化相関は横位置の評価値となる。 For this reason, the normalized correlation between the intensity distribution becomes the evaluation value of the lateral position. この評価値は、後述の統合処理部13で用いる。 This evaluation value is used in the integration processing unit 13 to be described later.
【0025】 [0025]
次に、カメラ3を用いた車両追跡処理について説明する。 Next, a description will be given of a vehicle tracking process using the camera 3.
画像メモリ9は、カメラ3で撮像した画像を保存する。 The image memory 9 stores the image captured by the camera 3. 追跡処理はこの画像メモリ9に保存された画像を用いた画像処理により行う。 Tracking processing is performed by image processing using the image stored in the image memory 9.
画像処理による追跡は、レーザレーダ2で検出した車両をターゲットとして行う。 Tracking by the image processing carries out vehicle detected by the laser radar 2 as a target. まず、車両テンプレート作成部10では、レーザレーダ2で車両を発見した位置、距離に応じて、その位置に存在すべき車両が撮像される画像上の位置でテンプレートを切る。 First, in the vehicle template creation unit 10, where it found the vehicle laser radar 2, depending on the distance, the vehicle should be present in that position off the template at a location on the image to be captured. この位置の定義は、次の方法で計算できる。 The definition of this position can be calculated in the following manner.
【0026】 [0026]
図6は、画像上の位置と、実際の3次元上の位置、大きさとの対応関係を説明する図で、(a)は位置、(b)は大きさの関係を示す。 Figure 6 shows the position on the image, the actual position on the three-dimensional, a view for explaining the relationship between the size, the (a) position, (b) the size of the relations.
図6において、31はカメラレンズ、14はカメラの光軸、32は実際の車両の中心、33は撮像面、zは車両までの距離、fはカメラレンズ31の焦点距離、xcは画像上の車両の中心、θは画像上の車両の中心xcで検出された位置の物体の存在する方位、wは実際の車両の幅、wcは画像上の車両の幅である。 6, 31 is a camera lens, 14 an optical axis of the camera 32 is the actual vehicle center, 33 imaging surface, z is the distance to the vehicle, f is the focal length of the camera lens 31, xc is on the image center of the vehicle, existing orientation of an object θ is position detected at the center xc of the vehicle on the image, w is the actual vehicle width, wc is the width of the vehicle on the image.
【0027】 [0027]
画像上の車両の中心xcで検出された位置の物体の存在する方位θは、式1により求めることができる。 Azimuth θ of presence of an object detected position at the center xc of the vehicle on the image can be determined by Equation 1.
【0028】 [0028]
θ=tan −1 (f/xc) 式1 θ = tan -1 (f / xc ) Equation 1
また、車両の実際の幅wが既知である場合は、車両までの距離zは、画像上の車両の幅wcから、式2により計算することができる。 In the case the actual width w of the vehicle is known, the distance z to the vehicle, the width wc of the vehicle on the image can be calculated by Equation 2.
【0029】 [0029]
z=f・w/wc 式2 z = f · w / wc type 2
検出位置は、画像上での検出位置に式1、式2を適用することで計算することができる。 Detection position, wherein 1 to the detection position on the image can be calculated by applying equation 2.
【0030】 [0030]
また、車両の発見後、画像の処理間隔ごとに入力される画像での車両の画像上の位置は、参照対象である車両テンプレート(以下、参照テンプレートと記す)とのテンプレートマッチングによる追跡処理により検出する。 Further, after the discovery of the vehicle, the position on the image of the vehicle in the image to be input to each processing interval images are reference target vehicle template (hereinafter, referred to as reference template) and detected by the tracking processing by template matching to. これを行うのが、参照テンプレートとのマッチングによる車両追跡処理部(車両位置検出部)11である。 To do this, vehicle tracking processing unit by matching the reference template (vehicle position detecting unit) is 11. 通常、前方で撮像した車両は、その距離zが変化するため、その距離に応じて、画像上の大きさが変化する。 Normally, the vehicle captured by the front, since the distance z is varied, depending on the distance, the size of the image changes. そのため、車両追跡処理部11のテンプレートマッチングでは、参照画像もしくは入力画像を拡大縮小することで、参照画像内の車両の大きさと入力画像内に撮像されている車両の大きさが同じ大きさになるように、どちらかの画像を拡大縮小しながらテンプレートマッチングを行う。 Therefore, in the template matching vehicle tracking processing unit 11, the reference by scaling the image or the input image, the size of the vehicle being imaged to the size of the vehicle in the reference image and the input image is the same size as performs template matching while scaling either image.
【0031】 [0031]
図7は、入力画像側の画像を参照テンプレートに合わせる処理を行う場合の処理の様子を表す図である。 Figure 7 is a diagram showing a state of processing when performing processing to match the image of the input image side to the reference template.
【0032】 [0032]
41は参照テンプレート作成時の画像(距離zb)、42は入力画像(距離z(t))、43は走査範囲である。 41 at the time of creating the reference template image (distance zb), 42 is an input image (distance z (t)), 43 is a scan range. 参照テンプレート作成時の画像41は、車両がS=z(t)/zb倍である。 Image 41 at the time of creating the reference template, the vehicle is S = z (t) / zb times.
【0033】 [0033]
ここでは、レーザレーダ2により参照テンプレート作成時の距離zbと、新たな画像入力時の距離z(t)の変化がわかっている。 Here, the distance when creating the reference template zb, changes in the new image input at the distance z (t) has been found by the laser radar 2. そのため、参照テンプレート作成時の車両の大きさから、車間距離がΔzだけ変化した場合の画像上での車両の大きさ変化を式2の原理で計算することで、大きさを合わせた上でテンプレートマッチングを行えばよい。 Therefore, the size of the vehicle at the time of creating the reference template, the size change of the vehicle on the image when the inter-vehicle distance changes by Δz to compute the principle of equation 2, the template on the combined size it may be carried out matching. 相関(テンプレートマッチング)の計算は、お互いの輝度値を用いた正規化相関を用いればよく、相関の最も高い位置が、新たな入力画像内の車両の検出位置となる。 Calculation of the correlation (template matching) may be used normalized correlation using the luminance value of each other, the highest position of the correlation, the detected position of the vehicle in the new input image.
【0034】 [0034]
すなわち、図7において、参照テンプレート作成時の距離をzbとすると、新しい画像入力時の距離z(t)はレーザレーダ2で計測する。 That is, in FIG. 7, if the distance when creating the reference template and zb, a new image input time of the distance z (t) is measured by laser radar 2. また、入力画像内の車両の大きさとテンプレート内車両の大きさの比率は、1/zb:1/z(t)である。 Further, the size and magnitude of the ratio of template VEHICLE in the input image, 1 / zb: a 1 / z (t). つまり、S=zb/z(t)の拡大縮小を行いながら、参照テンプレートとのマッチングを行う。 In other words, while scaling S = zb / z (t), to match against the reference template. 入力画像42では、倍率S1倍なので、距離は、参照テンプレート作成時の距離zbの1/S1倍として計算できる。 In the input image 42, since the magnification S1 times, distance can be calculated as 1 / S1 times the distance zb when creating reference template. つまり、相関が最大のときの位置(xp、yp)が、入力画像42内の車両の検出位置である。 That is, the position when the correlation is maximum (xp, yp) is the detected position of the vehicle in the input image 42.
【0035】 [0035]
また、仮に、レーザレーダ2で車両を見失った場合や、画像の方が検知角が広く、レーザレーダ2では検知角外だが、画像では検知範囲内である場合など、レーザレーダ2での距離が計測できない場合は、前回の距離からの微小距離変化Δz分だけ距離の変化が起きたことを想定しながらの拡大縮小を行ったテンプレートマッチングを適用すればよい。 Moreover, if, and if lost sight of the vehicle by the laser radar 2, towards the image wide detection angle, such as when but outside the laser radar 2, the detection angle, the image is within the detection range, the distance in the laser radar 2 If can not be measured, may be applied to template matching performed scaling while assuming that happened minute distance change Δz min distance change from the previous distance. 図8はその様子を示した図である。 Figure 8 is a diagram showing the state. つまり、図8は、レーザレーダ2による距離計測が行われない場合の、拡大縮小しながらの参照テンプレートを用いたテンプレートマッチングの説明図と、拡大縮小率からの距離計測方法の説明図である。 That is, FIG. 8, when the distance measurement by the laser radar 2 is not performed, and the illustration of template matching using the scaling while the reference template is an explanatory view of a distance measuring method of the scaling factor.
【0036】 [0036]
この場合の手順としては、入力画像42に車両の距離変化を想定した拡大縮小の倍率(S1、S2…)を複数かけ合わせた画像を、走査範囲43内で1画素ずつずらしながら切り出し、相関を計算する。 As the procedure for, the magnification (S1, S2 ...) and the plurality multiplied combined image scaling assuming the distance change of the vehicle to the input image 42, cut out while shifting by one pixel in the scanning range 43, the correlation calculate. 相関がもっとも高い値となったときの倍率Sとその位置(xp、yp)より車両の位置を求める。 Magnification S and its position when the correlation becomes the highest value (xp, yp) from determining the position of the vehicle.
【0037】 [0037]
つまり、走査範囲43内を1画素ずつずらしながら、かつ、Δz分の距離変化の拡大縮小を施しながらのすべての位置、拡大縮小における相関を計算し、相関値が最大となる位置と拡大縮小値を求める。 In other words, while shifting through the scanning range 43 by one pixel, and all positions while performing a scaling change in distance Δz min, we calculate the correlation in scaling, scaling value and the position where the correlation value is maximized the seek.
【0038】 [0038]
以上説明したように、本実施の形態1では、レーザレーダ2による距離が計測できない場合、画像の走査範囲43内を所定の画素数ずつずらしながら、前回計測した距離からの微小距離変化Δz分の距離変化の拡大縮小を施したテンプレートマッチングを用いる。 As described above, in the first embodiment, if the distance by the laser radar 2 can not be measured, while shifting the image in the scanning range 43 by a predetermined number of pixels, the minute distance change Δz min from the distance the previously measured using template matching subjected to scaling distance change. このような構成により、レーザレーダ2による距離が計測できない場合でも、車両を確実に追跡することができ、システム全体としてロバストで精度の高い計測を行うことができる。 With this arrangement, even if the distance by the laser radar 2 can not be measured, the vehicle to be able to reliably track, it is possible to perform measurement with high accuracy robust system as a whole.
【0039】 [0039]
次に、画像処理追跡信頼性判定部12において、上記画像処理におけるテンプレートマッチングの車両追跡の信頼性を判定する。 Next, the image processing tracking reliability determination unit 12 determines the reliability of the vehicle tracking template matching in the image processing. 評価値は、車両追跡処理部11の処理における最大相関値とすればよい。 Evaluation value may be a maximum correlation value in the processing of vehicle tracking processing unit 11.
【0040】 [0040]
追跡の失敗/成功は、最大相関値としきい値との比較により、相関値が所定の値以下の場合は、マッチングによる追跡が失敗したと判定し、相関値が所定の値以上となったときは、信頼性があると判定する。 Failure / success tracking, by comparing the maximum correlation value and the threshold value, if the correlation value is equal to or less than the predetermined value, it is determined that tracking by matching fails, when the correlation value is equal to or greater than a predetermined value It determines that is reliable.
【0041】 [0041]
次に、統合処理部13の処理について説明する。 Next, a description is given of processing of the integration processing unit 13.
統合処理部13では、レーザレーダ2と、カメラ3で撮像した画像処理による追跡評価値を評価する。 The integration processing unit 13 evaluates the laser radar 2, a tracking evaluation value by the image processing obtained by the camera 3. これは、前に説明したレーザレーダ計測評価部8で求めたレーザレーダ2の評価値と、画像処理追跡信頼性判定部12により求めた画像処理による追跡評価値を用いる。 This is because the evaluation value of the laser radar 2 obtained by the laser radar measurement evaluation unit 8 previously described, the tracking evaluation value by the image processing obtained by the image processing tracking reliability determination unit 12 is used.
【0042】 [0042]
ここで、例えば、レーザレーダ2の検知点ロストや追跡性が低い場合は、画像処理の結果から距離、横位置を算出し、逆に画像処理の相関値がしきい値以下の場合は、追跡を失敗しているとみなし、レーザレーダ2の計測評価の結果から距離、横位置を算出する。 Here, for example, if the detected point lost and tracking of the laser radar 2 is low, the distance from the result of image processing, calculates a lateral position, when the correlation value of the image processing is less than or equal to the threshold Conversely, tracking assumes that fails to calculate the distance, the horizontal position from the results of measurement and evaluation of the laser radar 2.
【0043】 [0043]
ここで、距離、横位置の算出は、レーザレーダ2の計測評価の結果から距離、横位置を算出する場合は、レーザレーダ2で計測した結果を距離、強度分布型により相関が高い位置として求められた横位置(図5のxA)を横位置とする。 Here, the distance, the calculation of the lateral position, when calculating the distance from the results of measurement and evaluation of the laser radar 2, a horizontal position, obtains a result of measurement by the laser radar 2 distance, as the position is high correlation with the intensity distribution type It was horizontal position (xA in FIG. 5) and lateral position.
【0044】 [0044]
一方、画像処理から距離、横位置を算出する場合は、次の方法を用いる。 On the other hand, when the calculated distance from the image processing, the horizontal position, using the following method. 画像処理では距離の計測はできないが、前回の処理結果からの距離変化の計測は可能である。 You can not measure the distance in the image processing, but it is possible the measurement of the change in distance from the previous processing results. そこで、もっとも相関の高い値を得たテンプレートと参照テンプレート、または1回前の処理での車両の大きさとの大きさ変化より距離を計測すればよい。 Therefore, it is sufficient measure most references as template to obtain a high correlation value template or one size distance than a change in the size of the vehicle in front of the process. 距離が算出された場合、横位置は、図6で説明した幾何学的計算により算出可能である。 If the distance is calculated, the lateral position can be calculated by geometrical calculation described in FIG.
【0045】 [0045]
また、レーザレーダ2による追跡において、車両の追跡はできているが、強度評価値が低い場合は、距離はレーザレーダ、横位置の算出は、画像処理の結果を用いることで、より確実な横位置を算出することができる。 Further, the tracking by the laser radar 2, although able to track the vehicle, when strength evaluation value is low, the distance is a laser radar, the calculation of the lateral position, by using the result of image processing, more reliable transverse position can be calculated.
【0046】 [0046]
以上説明したように、本実施の形態1の前方車両追跡システムの構成は、図1に示したごとく、自車両1(図2)の進行方向前方をスキャニングするレーザデータ2と、レーザデータ2が出力した検出波を反射した反射点により前方車両を検出する車両発見部5と、レーザデータ2により計測した距離をも考慮し、反射点の強度分布型を作成する強度分布型作成部6と、強度分布をも利用しながら、前方車両の位置を計測する強度利用での車両追跡部7と、レーザデータ2による前方車両の追跡結果の確実性を評価するレーザデータ計測評価手段8と、自車両1の進行方向前方を撮像するカメラ3と、レーザデータ2により計測した距離をも考慮し、レーザデータ2により検出した位置に対応する画像上の位置に前方車両の追跡用テンプレー As described above, the configuration of the forward vehicle tracking system of the first embodiment, as shown in FIG. 1, a laser data 2 for scanning a traveling direction ahead of the vehicle 1 (FIG. 2), the laser data 2 a vehicle finder 5 detects the preceding vehicle by the reflection points reflecting the output by the detection wave, in consideration of the distance measured by the laser data 2, the intensity distribution type creating unit 6 for creating an intensity distribution type reflection points, while utilizing also the intensity distribution, a vehicle tracking unit 7 in intensity available to measure the position of the forward vehicle, and the laser data measurement evaluating means 8 for evaluating the reliability of the tracking results of the forward vehicle by the laser data 2, the vehicle a camera 3 for imaging a forward traveling direction of 1, consideration of the distance measured by the laser data 2, templates for tracking the preceding vehicle at a position on the image corresponding to the position detected by the laser data 2 を作成する車両テンプレート作成部10と、作成されたテンプレートから距離変化による大きさ変化を考慮し、テンプレートマッチングにより車両追跡を行う車両追跡処理部11と、カメラ3の画像処理による前方車両の追跡信頼性を評価する画像処理追跡信頼性判定部12と、レーザデータ2による追跡評価結果と、画像処理による追跡評価結果とを統合判定し、最終的な前方車両の自車両1に対する位置を算出する統合処理部13とを有する。 Considering a vehicle template creation unit 10 for creating a size change due to change in distance from the created template, and vehicle tracking processing unit 11 for vehicle tracking by template matching, tracking reliability of the forward vehicle by image processing of the camera 3 an image processing tracking reliability determination unit 12 for evaluating the sex, integration and tracking result of evaluation by the laser data 2, and the integration identifying and tracking evaluation results of image processing, calculates the position with respect to the vehicle 1 of the final vehicle ahead and a processing unit 13.
【0047】 [0047]
なお、レーザデータ2が、特許請求の範囲の検出波出力手段に相当し、車両発見部5が車両発見手段に相当し、強度分布型作成部6が強度分布型作成手段に相当し、強度利用での車両追跡部7が強度利用での車両追跡手段に相当し、レーザデータ計測評価手段8が検出波出力手段計測評価手段に相当し、車両テンプレート作成部10が車両テンプレート作成手段に相当し、車両追跡処理部11が車両追跡処理手段に相当し、画像処理追跡信頼性判定部12が画像処理追跡信頼性判定手段に相当し、統合処理部13が統合処理手段に相当する。 The laser data 2 is equivalent to the detection wave output unit in the claims, the vehicle finder 5 is equivalent to the vehicle finding means, the intensity distribution type creating unit 6 corresponds to the intensity distribution type creation means, the strength utilization vehicle tracking unit 7 corresponds to a vehicle tracking means for intensity use in laser data measurement evaluating means 8 corresponds to the detection wave output unit measurement evaluating means, vehicle template creation unit 10 corresponds to vehicle template creating means, vehicle tracking processing unit 11 is equivalent to a vehicle tracking process unit, the image processing tracking reliability determination unit 12 corresponds to the image processing tracking reliability determination unit, integration processing unit 13 corresponds to the integrated processing unit.
【0048】 [0048]
また、本実施の形態1の前方車両追跡方法は、自車両1の進行方向前方をレーザデータ2によりスキャニングし、カメラ3により自車両1の進行方向前方を撮像し、レーザデータ2が出力した検出波を反射した反射点を検出し、反射点の自車両1に対する相対位置を測定し、反射点から前方車両を検出し、反射点の強度分布から前方車両の強度分布特性を示す強度分布型を作成し、カメラ3により撮像した画像を用いて、レーザデータ2により検出した位置に対応する画像上の位置に前方車両の追跡用テンプレートを作成し、レーザデータ2の強度分布マッチングと、画像処理におけるテンプレートマッチングの2つの手段で車両追跡を行い、追跡確実性の高い方の計測値により前記前方車両の位置を計測する。 Also, the front vehicle tracking method of the first embodiment, the traveling direction ahead of the vehicle 1 is scanned by the laser data 2, the traveling direction ahead of the vehicle 1 captured by the camera 3, detection laser data 2 is outputted detecting the reflection point reflected waves, the relative position with respect to the vehicle 1 of the reflection point is measured to detect a forward vehicle from the reflection point, the intensity distribution type indicating the spectrum characteristic of the forward vehicle from the intensity distribution of the reflection point create, using the image captured by the camera 3, to create a tracking template of the forward vehicle in position on the image corresponding to the detected position by the laser data 2, and the intensity distribution matching of the laser data 2, the image processing perform vehicle tracking by two means of template matching, to measure the position of the forward vehicle by the measurement value of the higher track certainty.
【0049】 [0049]
このような構成により、本実施の形態1では、自車両1に搭載され、進行方向前方の車両をスキャニングしながら検知計測するレーザレーダ2と、前方に存在する車両をテンプレートマッチングなどの物体位置追跡手法により画像上における車両の位置を追跡、計測することの可能なカメラ3、および画像処理手段を備えた構成において、レーザレーダ2が車両を検出した場合、レーザレーダ2で計測できる車両の特徴を示す車両の強度分布自体の追跡と、画像処理におけるテンプレートマッチングの2つの手段で車両追跡を行い、追跡確実性の高い方の計測値により、車両の位置を計測することを特徴とする構成とした。 With such a configuration, in the first embodiment, it is mounted on the vehicle 1, a laser radar 2 for detecting measured while scanning the forward traveling direction of the vehicle, an object location tracking, such as template matching vehicle present ahead tracking the location of the vehicle on the image by a method, in a configuration having a camera 3, and an image processing unit capable of it is measured, if the laser radar 2 detects a vehicle, the characteristics of the vehicle can be measured by the laser radar 2 and tracking of the intensity distribution itself of the vehicle indicative performs vehicle tracking by two means of template matching in the image processing, the measured value of the higher track certainty, has a structure, characterized in that to measure the position of the vehicle . これにより、カメラ3もしくはレーザレーダ2の片方が車両をロストした場合でも確実に車両を追跡することが可能となり、システム全体としてロバストで確実な計測を行うこと可能となる。 Thus, one of the camera 3 or the laser radar 2 it becomes possible to track the vehicle reliably even when lost the vehicle, is possible perform robust and reliable measurement system as a whole. また、2つのセンサとも計測ができている場合であっても、そのうち、追跡信頼性の高い方の計測結果を利用することで、より信頼性の高い計測結果とすることも可能となる。 Further, even if the both two sensors are able to measure, of which, by using the measurement result of the higher track reliability, it is possible to more reliable measurement results.
【0050】 [0050]
実施の形態2 Embodiment 2
次に、本発明の実施の形態2について説明する。 It will now be described a second embodiment of the present invention.
本実施の形態2では、レーザレーダ2と画像処理のお互いの計測の利点を活かし、統合処理部13において、距離や横位置が高精度に計測できる方を選択することで、システム全体としてより高精度なシステムとする。 In the second embodiment, taking advantage of the measurement of each other of the laser radar 2 and the image processing, the integration processing unit 13, a distance and that the lateral position to select the direction which can be measured with high precision, higher overall system the accuracy of the system. この高精度な計測の選択は、次のような方法で行えばよい。 The selection of highly accurate measurement may be performed in the following manner.
【0051】 [0051]
図9(a)は、カメラ3の方がレーザレーダ2より広角な場合、図9(b)は、レーザレーダ2よりカメラ3の方が広角な場合の検知角を示す図である。 9 (a) is the case towards the camera 3 is angle from the laser radar 2, FIG. 9 (b), towards the camera 3 from the laser radar 2 is a diagram showing the detection angle in the case wide-angle.
【0052】 [0052]
図9で、51はレーザレーダ検知角、52はカメラ検知角、53はレーザレーダ2の方が高精度計測が可能な領域、54は画像処理の方が高精度計測が可能な領域である。 In Figure 9, the laser radar detection angle 51, 52 camera detection angle, 53 region is capable of high precision measurement towards the laser radar 2, 54 is an area that is capable of high precision measurement towards the image processing.
【0053】 [0053]
まず、横方向の計測距離は、通常、横の分解能の細かい方(画像の場合は1画素に相当する角度、レーザレーダ2の場合は1つのスキャン角度)の細かい方を利用すればよい。 First, the lateral direction of the measurement distance is usually (the angle corresponding to one pixel in the case of image, in the case of the laser radar 2 one scanning angle) next finer one resolution may be utilized towards fine-. ただし、検知可能な範囲が異なる場合が多いため、図9(a)に示すように、画像の方がレーザレーダ2より広角な場合と、画像しか撮像されない場合は、画像処理の結果を用い、逆の場合はレーザレーダ2の結果を用いればよい。 However, often detectable range is different, as shown in FIG. 9 (a), the case towards the image is wide than laser radar 2, if the image only is imaged, using the result of image processing, in the opposite case it can be used the results of the laser radar 2.
【0054】 [0054]
次に、距離の精度の高精度化について説明する。 Then, accuracy of the accuracy of the distance will be described.
図10は、レーザレーダ2と画像処理それぞれにおける。 10, in each laser radar 2 and the image processing. 計測原理の特徴から算出される。 It is calculated from the characteristics of the measurement principle. 距離計測精度(距離計測の最小分解能)と計測距離の長さの関係を示すグラフである。 Distance measurement accuracy of the measurement distance (minimum resolution of the distance measurement) is a graph showing the length of the relationship.
【0055】 [0055]
図10で、55はレーザレーダ2の計測距離分解能、56は画像処理の計測距離分解能を示す。 In Figure 10, 55 is measured distance resolution of the laser radar 2, 56 denotes a measurement distance resolution of image processing.
【0056】 [0056]
レーザレーダ2の計測原理は送信波を送信してから受信するまでの時間差であり、この分解能光の波長によって決まるため、分解能は、距離に関係なく一定値である。 Measurement principle of the laser radar 2 is a time difference from transmission to reception of the transmission wave, because that is determined by the wavelength of the resolution light, resolution, a constant value regardless of the distance. (ただし、距離が近すぎる場合、受光波が強すぎる、先行車の形状によっては、反射する面が検知角に入らない、などの問題があり、計測精度が落ちる場合もある。)。 (However, if the distance is too close, the light receiving wave is too strong, depending on the preceding vehicle shape, faces reflecting does not enter the detection angle, there are problems such as, in some cases the measurement accuracy falls.). 一方、画像処理による距離計測、つまり、距離変化計測は、前記式2に示すように、画像上の大きさ変化により行い、例えば、検出物体の画像上の大きさwcの1画素のずれを計測最小分解能とすると、距離と分解能とは、式3の関係となる。 On the other hand, the distance measurement by image processing, i.e., the distance variation measurements, as shown in the equation 2 is performed by the size change in the image, for example, measuring the displacement of one pixel size wc on the image of the detected object If the minimum resolution distance and the resolution, a relationship of equation 3.
【0057】 [0057]
Δz=w・f/wc−w・f/(wc±1)=±z/(w・f±z) 式3 Δz = w · f / wc-w · f / (wc ± 1) = ± z / (w · f ± z) Equation 3
ただし、wは実際の車両の幅、zは車両までの距離、wcは画像上の幅、fは焦点距離である。 However, w is an actual vehicle width, z is the distance to the vehicle, wc image on the width, f is the focal length. この分解能Δzは距離zが長いほど大きくなる。 The resolution Δz is the distance z increases as long. つまり、画像処理による計測は距離が近くなるほど高精度で、遠ざかるほど粗くなると言える。 That is, the measurement by the image processing is more accurate distance becomes closer, it can be said that the more a rough distance. 例えば、距離が遠い車両は小さくなるが、画像上で車両の幅が2画素のものが1画素欠け、誤って1画素の幅となる場合、計測距離は半分の距離に計測されてしまうが、画像上で100画素の幅のものが101画素となっても、誤差は約1%(=100/101)でしかなく、微小な誤差にしかならないことからも明らかである。 For example, the distance is becomes far vehicle is small, the width of the vehicle in the image is missing one pixel of a two pixel, if the width of one pixel by mistake, but the measurement distance would be measured at a distance of half even ones become 101 pixel width of 100 pixels in the image, the error is only about 1% (= 100/101), it is clear from the fact that not only a very small error.
【0058】 [0058]
このようなことから、遠方はレーザレーダ2、近距離は画像による計測結果を選択することで高精度化が可能となり、その遠距離、近距離の切り分けは、例えば図10のグラフの交わる距離とすればよい。 For this reason, distant laser radar 2, a short distance enables high accuracy by selecting the measurement result by the image, and the distance that far, close range carving, intersecting example of the graph of FIG. 10 do it.
【0059】 [0059]
つまり、距離、横位置を総合すると、画像の方が広角な場合は、遠方の距離をレーザレーダ2の計測結果、レーザレーダ2の端や斜め前方および近距離は画像処理の結果を用い、レーザレーダ2の方が広角な場合は、近距離の計測は画像処理、それ以外はレーザレーダ2の距離、横位置の計測結果を用いればよい(図9(a)、(b)参照)。 That is, the distance, from the overall horizontal position, If better image is wide, the measurement results laser radar 2 distant distance, edges or obliquely forward and short range of the laser radar 2 using the result of image processing, laser If towards the radar 2 is wide-angle, a short distance of the measurement image processing, otherwise the distance of the laser radar 2, may be used to measure the results of the lateral position (FIG. 9 (a), (b) refer).
【0060】 [0060]
これにより、片方しか検知角の範囲内にない場合でのもう片方が検知できていれば車両の追跡が可能となり、かつ、高精度な距離計測結果を利用することで、全体として、ロバストで高精度な計測が可能となる。 Thus, one only enables the other of the vehicle if possible to detect tracking in not within the range of the sense angle, and, by utilizing highly accurate range measurements, as a whole, high robust precision measurement becomes possible.
【0061】 [0061]
以上説明したように、本実施の形態2の前方車両追跡システムは、予め定めた所定の距離以上の遠方ではレーザレーダ2のデータを用い、所定の距離より小さい近距離ではカメラ3のデータを用い、レーザレーダ2またはカメラ3のセンサのうち、検知角が小さい方の該検知角端で前方車両が検出される場合は、検知角が広い方のセンサのデータを用いる。 As described above, the front vehicle tracking system of the second embodiment, using the data of the laser radar 2 has a predetermined distance or more far a predetermined, using data of the camera 3 is smaller short distance than the predetermined distance , of the sensors of the laser radar 2 or the camera 3, if the forward vehicle is detected by 該検 known angle end towards the detection angle is small, the detection angle using data wider sensor.
【0062】 [0062]
このような構成により、本実施の形態2では、前記実施の形態1の確実性の判定については、互いの強度分布マッチングおよびテンプレートマッチングの相関値の評価だけでなく、互いのセンサの計測分解性能および計測精度を活かし、計測を確実とし、かつ、分解能の細かい計測が可能である。 With such a configuration, in the second embodiment, the for the determination of the reliability of the first embodiment, not only the evaluation of the correlation values ​​of the mutual intensity distribution matching and template matching, measuring performance of decomposing each other sensors and utilizing the measurement accuracy, and ensure measurement, and it is possible to fine measurement resolution. 遠方ではレーザレーダ2、近距離では画像、画像またはレーザレーダ2で検知可能な角度が小さい方の検知角の端で検出される場合は、検知角度が広い方のセンサのデータとする構成とした。 The laser radar 2 is in the distance, if the short-range image is detected at the end of the detection angle of the detectable angle the smaller the image or laser radar 2, and a configuration in which the detection angle is wider sensor data . これにより、ロバスト性が増すだけでなく、高精度な計測結果を利用可能となることから、システム全体として、高精度な位置計測が可能となる。 This not only robustness increases, since it made available highly accurate measurement results, the system as a whole, it is possible to highly accurate position measurement.
【0063】 [0063]
実施の形態3 Embodiment 3
次に、本発明の実施の形態3について説明する。 There will be described a third embodiment of the present invention.
本実施の形態3では、前述の実施の形態2において画像の方がレーザレーダ2より広角な場合におけるレーザレーダ2の結果の適用範囲を採用し、車両が近距離に存在する場合は、レーザレーダ2の検知角を実際より狭い幅に設定し、レーザレーダ検知角端で検出される車両の場合は、画像処理の結果を採用するようにする。 In the third embodiment, if the direction of the image in the second embodiment described above adopts the scope of the results of the laser radar 2 when from the laser radar 2 wide angle, the vehicle is present in close range, the laser radar 2 of the detection angle is set to the actual narrower width, if the vehicle detected by the laser radar detection angle end, so as to adopt the results of image processing.
【0064】 [0064]
図11は、その理由と検知角端の判定方法を説明する図で、(a)はレーザレーダ2の検知点、(b)は検知角端のレーザレーダ2の検知点を示す図である。 Figure 11 is a diagram for explaining the determination method of the reasons and the sensing angle end, (a) shows the detection point laser radar 2 is a diagram showing a (b) the detection point of the laser radar 2 detection angle end.
【0065】 [0065]
図11(b)に示すように、車両がレーザレーダ2の検知角端で検出される場合、実際には車両の反射は検知角の外にあるにもかかわらず、検知角に沿うように検知点が残り、計測誤差のある検知点が観測されるという現象が起こりやすい。 As shown in FIG. 11 (b), when the vehicle is detected by the detection angle end laser radar 2, actually despite reflection of the vehicle is outside the detection angle, detection along the detecting angle the rest is a point, the phenomenon is likely to occur that the detection point with a measurement error is observed. この場合、この点を用いて、車両の横位置、距離を計測すると誤差が現われやすい。 In this case, by using this point, the lateral position of the vehicle, the distance error is likely to appear when measuring. 本実施の形態3では、このような誤計測を回避するため、画像処理による計測精度のよい近距離に限り、画像処理によるテンプレートマッチングの追跡が、相関値がしきい値以上になる程度に正確に行われている場合では、レーザレーダ2の検知範囲に車両が存在する場合であってもレーザレーダ2の計測値ではなく、画像処理の計測結果を適用するようにする。 In the third embodiment, in order to avoid such erroneous measurement, only a short distance good measurement accuracy by the image processing, tracking template matching by image processing, precisely to the extent that the correlation value is equal to or greater than the threshold value in case of being performed in not the measurement value of the laser radar 2 even if there is a vehicle in the detection range of the laser radar 2, so as to apply a measurement result of the image processing.
【0066】 [0066]
これにより、前述のような現象が原因で起こる誤計測を防ぐことができる。 Thus, it is possible to prevent erroneous measurement occurs because the phenomenon as described above.
【0067】 [0067]
以上説明したように、本実施の形態3の前方車両追跡システムは、レーザレーダ2の検知角の方がカメラ3の検知角より小さい場合、検知角端で前方車両が検出されるかどうかの判定は、レーザレーダ2による前方車両上の検知点の距離の値のばらつきが大きくなる傾向がある角度から判定するか、もしくは、検知点の距離の値のばらつきが大きくなる現象を観測したことから判定し、ばらつきが大きくなった場合、カメラ3のデータを用いる。 As described above, the front vehicle tracking system of the third embodiment, determination of whether towards the detection angle of the laser radar 2 is smaller than the detection angle of the camera 3, a vehicle ahead is detected by the detection angle end is determined from the one determined from the angle that tends to variations in the value of the distance of the detection points on the front vehicle by the laser radar 2 increases, or, was observed a phenomenon that the variation of the value of the distance of the detection points increases and, if the variation is large, using the data of the camera 3.
【0068】 [0068]
このような構成により、本実施の形態3では、前記実施の形態2の検知角端の判定において、レーザレーダ2の方が検知角度が小さい場合、検知角端の判定を、追跡車両上が検知角の端で検出された場合に、その計測のばらつきが大きくなる傾向がある角度から判定する。 With such a configuration, in the third embodiment, in the determination of the detection angle end according to Embodiment 2, the case towards the laser radar 2 detects the angle is small, the determination of the detection angle end, sensing the tracking vehicle If it is detected at the end of the square determines the angle tends to variations in the measurement increases. もしくは、その現象を観測したことから判定する構成とした。 Or to obtain a determined configuration because it was observed that phenomenon. 通常、レーザレーダ2の検知角の端は、距離の精度が悪くなることが多いため、距離および横位置を正しく求められなくなりやすいという問題がある。 Usually, the end of the detection angle of the laser radar 2, since it is often the distance accuracy is deteriorated, there is a problem that the distance and lateral position correctly sought not prone. このような不安定さを考慮することで、誤差を含んだ計測結果の利用を排除できるため、より確実、かつ、高精度な車両位置の計測が可能となる。 By considering such instability, it is possible to eliminate the use of including an error measurement result, more reliable, and it is possible to measure the accurate vehicle position.
【0069】 [0069]
実施の形態4 Embodiment 4
最後に、本発明の実施の形態4について説明する。 Finally, a description will be given of a fourth embodiment of the present invention.
図12に、正面に車両の全体が撮像される程度の距離に位置していた車両が徐々に近づき、斜め前方の車両の一部が画像の範囲外に出る程度の位置に近づいた様子を表す。 12, a vehicle which is entirely located at a distance of an extent to be imaged of the vehicle approaches gradually to the front, showing a state in which a part of the diagonally forward of the vehicle approaches the position of the degree that run out of range of the image . (a)は外側テンプレートの場合を示し、(b)は内側テンプレートも用意する場合を示す。 (A) shows the case of the outer template, a case of providing also (b) the inner template. 61は外側テンプレート、62は内側テンプレートである。 61 the outer template, 62 is the inner template.
【0070】 [0070]
このように、前方の車両が至近距離に近づく、または、左右方向に遠ざかる方向に移動すると、車両の一部が画角の範囲内からはみ出てしまう。 Thus, the front of the vehicle approaches the closest distance, or, when moving away in a lateral direction, a part of the vehicle will protrude from the range of the angle of view. このような場面では、図12(b)に示すように、車両全体の形状を含む外側テンプレート61ではマッチングが不可能となり、正しい車両追跡ができなくなる。 In such a situation, as shown in FIG. 12 (b), matching the outer template 61 comprises a shape of the entire vehicle becomes impossible, it can not be correct vehicle tracking.
【0071】 [0071]
ここでは、レーザレーダ2および画像処理からの追跡車両の移動軌跡がわかっていることから、あらかじめ追跡車両が画角の外に出る可能性の高い位置に移動することを予想し、画角からはみ出る部分以外の特徴をもつ車両の一部や内部にテンプレートを切り直し(内側テンプレート62)、画角から出たと予想される場合では、その一部または内部のテンプレート(内側テンプレート62)を利用したテンプレートマッチングを行うようにする。 Here, since the movement locus of the tracking vehicle from laser radar 2 and the image processing is known, expected that the advance track vehicle moves to the likely position out of the field angle, protrude from the angle of view template shuffle template part and the interior of a vehicle having the characteristics other than the portion (the inner template 62), in the case that is expected to exiting the angle of view, utilizing a part or the inside of the template (inner template 62) to perform the matching. 例えば、車両が毎回の処理ごとに1mずつ近づいてくることがわかれば、前記式1、2で説明した原理により、車両の大きさとその直前に検出された画像上の位置および車両がΔt秒間に移動可能な距離を考慮すれば、車両の端が画角から出てしまうまでにかかる時間をある程度予想できる。 For example, knowing that the vehicle is approaching each 1m per each treatment, according to the principle described by the formula 1, 2, the position and the vehicle on the detected image size of the vehicle and immediately before is the Δt seconds Given the movable distance, to some extent predict the time taken to the end of the vehicle will exit the field angle. このような予測により、テンプレートを画角から出てしまう前に準備しておくことができる。 Such a prediction, it is possible to be prepared before you would leave the template from the angle of view.
【0072】 [0072]
図13は、内側テンプレートと左右一部のテンプレートの定義の様子を示す図で、(a)は車両が接近したとき、(b)は車両が左側に移動しているときを示す。 Figure 13 is a diagram showing how the definition of some lateral inner template template, (a) shows the case where the vehicle is approaching, it indicates when moving (b) the vehicle is on the left. 63は定義したテンプレート、64は車両内部追跡用テンプレート、65は車両右側追跡用テンプレートである。 63 template defined, 64 is a vehicle internal tracking template 65 is the right side of the vehicle tracking template.
【0073】 [0073]
この一部または内部のテンプレートは、例えば、距離が非常に近づいた場合は、車両の左右両側が画角の外に出る可能性が大きいことから、車両の内部でテンプレートマッチングが可能なエッジやテクスチャ(模様、形状)を含むある部分に定義する(図13(a))。 The portion or inside of the template, for example, if the distance is very close, since the left and right sides of the vehicle is likely to go out of the angle of view, the template matching is possible edges and textures within the vehicle (pattern shape) defined in a moiety containing (FIG. 13 (a)). また、左右どちらかに移動している場合のうち、左に移動する場合は車両の右側、右に移動する場合は車両の左側の画像内に撮像される可能性の高い部分に定義する(図13(b))。 Also, of the case being moved to the left or right, to move to the left when moving right, to the right of the vehicle are defined in the image portion with high possibility of being imaged on the left side of the vehicle (Fig. 13 (b)).
【0074】 [0074]
また、図14には、車両の内部や右側にテンプレートを定義した図と、そのテンプレート内に含まれる車両上の位置の実座標系上における対応位置との関係を示す。 Further, FIG. 14 shows the relationship between FIGS defined templates inside or right side of the vehicle, the corresponding position in the real coordinate system of the position on the vehicle contained in the template. (a)は、車両の内部にテンプレートを定義した場合、(b)、(c)は車両の右側にテンプレートを定義した場合である。 (A), when defining a template within the vehicle, which is (b), (c) if you define a template on the right side of the vehicle.
【0075】 [0075]
71は内側テンプレートの右側(横位置xR、距離z)、72は内側テンプレートの左側(横位置xL、距離z)、xl、xrは画素である。 71 of the inner template right (lateral position xR, distance z), 72 is left inside the template (horizontal position xL, distance z), xl, xr denotes a pixel.
【0076】 [0076]
通常、画像だけでの追跡でテンプレートを切り直し、例えば右側だけで追跡を行うように切り替えることを考えると、図14(c)に示すように画像内の追跡は可能であるが、その追跡結果が3次元上のどの距離、横位置に対応するかがわからなくなってしまう。 Usually, shuffle the template tracking in image only, for example, considering that switching to perform just tracking the right, although it is possible tracking of the image as shown in FIG. 14 (c), the tracking result There any distance on three-dimensional, or corresponds to the lateral position becomes confused. 例えば、図14(c)では、画像上のx'−xlの距離が実座標系のどの距離に相当するかわからない場合、テンプレートを切り直すと、画像上の追跡はできても3次元座標系上での距離、横位置の追跡計測ができなくなる。 For example, in FIG. 14 (c), the case where the distance x'-xl on the image do not know corresponds to which distance the real coordinate system, the shuffle template, three-dimensional coordinate system be able to keep track of the image distance above can not track the measurement of the lateral position. そのため、画像処理単独でテンプレートを部分テンプレートに切り替えるなどの操作を行う場合、画像上の位置を求めることはできるが、その部分の3次元的な距離や位置が計測できなくなる。 Therefore, when performing operations such as switching the image processing alone template partial template, determining the position on the image is possible, three-dimensional distance and position of that portion can not be measured. しかし、ここではレーザレーダ2により距離の計測ができているため、図14(a)、(b)に示すように、テンプレートを車両の内側や左右に切り直した場合でも、実際の車両の横位置、距離を切り直し前から継続して計測できる。 But here since the can measure the distance by the laser radar 2, as shown in FIG. 14 (a), (b), even if the shuffle templates inside and the left and right sides of the vehicle, next to the actual vehicle position, the distance can be measured continuously from the previous shuffle.
【0077】 [0077]
つまり、図14(b)では、レーザレーダ2での絶対距離の計測が可能であることから、内側テンプレートや右側テンプレートを定義した3次元上の位置も計算可能なため、テンプレートを切り直しても、距離、横位置の計測には支障がない。 That is, in FIG. 14 (b), the even since it is possible absolute distance measurement by the laser radar 2, for position on the three-dimensional that defines the inner template and the right template also computable, shuffle template , distance, there is no hindrance to the measurement of the horizontal position.
【0078】 [0078]
このような原理により、レーザレーダ2と画像とを組み合わせることで、画像から車両の一部が出てしまうような位置に車両が存在する場合でも、精度よく車両追跡が可能となる。 By this principle, by combining the laser radar 2 and the image, in a position such that a portion from the image of the vehicle will come out even if the vehicle is present, it is possible to accurately vehicle tracking.
【0079】 [0079]
さらに、左右に車両が移動する場合、通常、レーザレーダ2の方が検知角が狭いために、画像処理単独での計測となる場合もあるが、レーザレーダ2で計測ができているときからの距離変化をテンプレートの拡大縮小率から計測することで、距離の計測も可能となる。 Further, when the vehicle in the lateral moves, usually for towards the laser radar 2 is narrow detection angle, it may be measured in the image processing alone, from when the laser radar 2 has can measure the distance change by measuring the scaling ratio of the template, the measurement of distance also becomes possible. また、車両の左右のどちらか一部が画像内に撮像されていれば、右側または左側だけのテンプレートで追跡可能であることから、より一層の広角な範囲の追跡も可能となる。 Further, if a part either of the left and right of the vehicle is captured in the image, because it is traceable in the template just right or left, it is possible tracking of more wide-angle range.
【0080】 [0080]
また、画像処理による追跡において、内部のテンプレートとあらかじめ定義した外側テンプレートの両方が利用できる環境にある場合は、2種類のテンプレートを用いた追跡を行うことで、より正確な追跡とすることも可能となる。 Further, the tracking by the image processing, if both the outer template predefined internal template is in the environment which can be used, by performing tracking using two types of templates, can also be a more accurate tracking to become.
【0081】 [0081]
以上説明したように、本実施の形態4の前方車両追跡システムは、テンプレートマッチングにおける車両追跡において、複数のテンプレートを用いる。 As described above, the front vehicle tracking system of the fourth embodiment, in vehicle tracking in the template matching, using multiple templates. そして、この複数のテンプレートは、特に車両に近づく場合は画像データに大小の関係を有し、一方が前方車両の全体、他方が前方車両の一部である。 Then, the plurality of templates, in particular has a magnitude relationship to the image data when approaching the vehicle, the whole of one of the front vehicle, which is a part other is of the forward vehicle.
【0082】 [0082]
また、本実施の形態4の前方車両追跡方法は、テンプレートマッチングにおける車両追跡において、画像データに大小の関係を有し、一方が前記前方車両の全体、他方が前記前方車両の一部である複数のテンプレートを用いる。 Multiple addition, the forward vehicle tracking method of the fourth embodiment, in vehicle tracking in the template matching has the magnitude of the relationship to the image data, which is part of the total, the other is the front vehicle of one of the front vehicle use of templates.
【0083】 [0083]
このような構成により、本実施の形態4では、前記実施の形態1の画像処理でのテンプレートマッチングにおける車両追跡において、追跡車両が近づく場合、もしくは、追跡車両の一部が画角端に位置する場合、車両内部の特徴を利用したテンプレートに切り直してテンプレートマッチングを行う構成とした。 With such a configuration, in the fourth embodiment, in vehicle tracking in the template matching in the image processing of the first embodiment, when the tracking vehicle approaches, or some of the tracking vehicle is positioned in the angle end If, and configured to perform template matching shuffle the template utilizing the characteristics of the vehicle interior. 通常、車両が近づいたり画角の端の方向に移動すると車両の一部が画角からはみ出る場合がある。 Normally, when moving in the direction of the end of the angle or the vehicle approaching in some cases part of the vehicle protrude from the angle of view. このような場合でも、車両の内部の形状を追跡対象として切り替えることが可能となるため、正確に追跡することが可能となる。 Even in such a case, it becomes possible to switch the internal shape of the vehicle as an object of tracking, it is possible to accurately track. また、左右方向に車両が遠ざかる方向に移動する場合でも、車両の一部が画角に残っていれば計測が可能となることから、より広範囲の車両追跡も可能となる。 Also, even if moving in the lateral direction in the direction in which the vehicle moves away from the part of the vehicle becomes possible to measure if they remain in the field angle, it is possible broader vehicle tracking.
【0084】 [0084]
さらに、ここでは、レーザレーダ2により距離がわかっているため、あらかじめ車両がはみ出る程度に近づいたことを判定した上で、車両内部のテンプレートへの切り替えタイミングを決めることができる。 Moreover, here, since the known distance by the laser radar 2, after determining that approached to the extent that previously the vehicle protrude, it is possible to determine the switching timing of the vehicle interior of the template. また、画像処理単独でテンプレートを部分テンプレートに切り替えるなどの操作を行う場合、画像上の位置を求めることはできるが、テンプレートの位置を切り直すことでの実際の3次元的な距離および位置のずれに対応しないため、3次元上の動きの計測できなくなる。 Also, when performing operations such as switching the image processing alone template partial template, determining the position on the image is possible, the actual three-dimensional distance and position of the by shuffles position of the template deviation because that does not correspond to, it can not be measured movements on the three-dimensional. しかし、ここでは、距離がレーザレーダ2により常に計測できていることから、実車両のどの部分で定義したテンプレートとなるかも判定できるため、3次元的な距離、横位置の計測に悪影響を及ぼすことなくテンプレートの切り替えが可能となる。 However, here, since the distance it is can always measured by the laser radar 2, since it can be determined be a template that defines which part of the actual vehicle, three-dimensional distance, adversely affect the measurement of the lateral position switching of no template is possible.
【0085】 [0085]
以上本発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。 The present invention was specifically described based on the embodiment above, this invention is not limited to the above embodiments, it can of course be modified in various manners without departing from the gist thereof.
【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS
【図1】本発明の実施の形態1のシステム構成図【図2】カメラの車両への搭載位置と座標系設定の説明図【図3】レーザレーダの検知点の様子と車両検出時の強度分布の説明図【図4】車両の距離変化ごとの強度分布形状【図5】レーザレーダの強度分布を利用した車両位置計測の横位置の高精度化の説明図【図6】レーザレーダの検出位置と画像上での撮像位置、大きさの関係の説明図【図7】レーザレーダでの計測距離結果に基づいた拡大縮小を行うテンプレートマッチングの説明図【図8】レーザレーダによる距離計測が行われない場合の拡大縮小しながらの参照テンプレートを用いたテンプレートマッチングの説明図と、拡大縮小率からの距離計測方法の説明図【図9】レーザレーダとカメラの検知範囲、およびそれぞれの計測を [1] states and intensity when the vehicle detection of illustration Figure 3 of the laser radar detection point mounting position and the coordinate system setting system configuration diagram of Embodiment 1 [2] to the camera of the vehicle of the present invention illustration Figure 4 is an explanatory diagram of a high precision of the lateral position of the vehicle position measurement the intensity distribution utilizing the intensity distribution shape [5] laser radar per distance change of the vehicle in the distribution [6] of the laser radar detection position and the imaging position on the image, illustration 7 illustration of template matching performing scaling based on the distance measured results of the laser radar 8 distance measurement by laser radar line size relationship and illustration of template matching using the scaling while the reference template when no cracks, illustration 9 laser radar and camera detection range of the distance measuring method of the scaling factor, and the respective measurement 精度に行うことができる領域の説明図【図10】レーザレーダの計測と画像内の大きさ変化に基づいた距離計測の距離と距離計測分解能との関係を示すグラフ【図11】レーザレーダ検知角端に車両が位置する場合の検知点ばらつきの様子と計測誤差が起こる理由の説明図【図12】接近車両追跡における内側テンプレート利用によるテンプレートマッチングの説明図【図13】内側テンプレートと左右一部のテンプレート定義の様子を示す図【図14】テンプレートを内側または左右の一部に切り直した場合の画像上の位置と3次元上の位置関係の説明図【符号の説明】 Illustration of a region can be performed accurately [Figure 10] Graph 11 showing the relationship between the distance and the distance measurement resolution of the distance measurement based on the change in size of the laser radar measurement and image the laser radar detection angle illustration of template matching by inner templates use in illustration Figure 12 approaching vehicle tracking state and the measurement error of the detection point variation occurs reasons when the vehicle end is located 13 inner template and the right and left part of illustration of an image on the position and the positional relationship between the three-dimensional case of Figure 14 is a template showing how template definition shuffle inside or left and right portion [description of symbols]
1…自車両、2…レーザレーダ、3…カメラ、4…レーザレーダデータメモリ、5…車両発見部、6…強度分布型作成部、7…強度利用での車両追跡部、8…レーザレーダ計測評価部、9…画像メモリ、10…車両テンプレート作成部、11…車両追跡処理部、12…画像処理追跡信頼性判定部、13…統合処理部、14…カメラの光軸、15…レーザレーダのスキャニング面、16…カメラの光軸およびレーザレーダの中心軸、20A、20B…他の車両、21…路上反射物、31…カメラレンズ、32…実際の車両の中心、33…撮像面、41…参照テンプレート作成時の画像、42…入力画像、43…走査範囲、51…レーザレーダ検知角、52…カメラ検知角、53…レーザレーダの方が高精度計測が可能な領域、54…画像処理の 1 ... vehicle, 2 ... laser radar, 3 ... camera, 4 ... laser radar data memory, 5 ... vehicle finder, 6 ... intensity distributed creation unit, 7 ... vehicle tracking unit of intensity available, 8 ... laser radar measurement evaluation unit, 9 ... image memory, 10 ... vehicle template creation unit, 11 ... vehicle-tracking processing unit, 12 ... image processing tracking reliability determination unit, 13 ... integration processing unit, the optical axis of 14 ... camera, 15 ... laser radar scanning surface, 16 ... center axis of the optical axis and the laser radar camera, 20A, 20B ... other vehicles, 21 ... path reflector, 31 ... camera lens, 32 ... center of the actual vehicle, 33 ... imaging surface, 41 ... image when creating the reference template, 42 ... input image, 43 ... scanning range, 51 ... laser radar detection angle, 52 ... camera detection angle, 53 ... toward the laser radar region capable of high precision measurement, 54 ... image processing が高精度計測が可能な領域、55…レーザレーダの計測距離分解能、56…画像処理の計測距離分解能、61…外側テンプレート、62…内側テンプレート、63…定義したテンプレート、64…車両内部追跡用テンプレート、65…車両右側追跡用テンプレート、71…内側テンプレートの右側、72…内側テンプレートの左側。 Region but capable of high precision measurement, 55 ... measurement range resolution of the laser radar, the measurement range resolution of 56 ... image processing, 61 ... outer template, 62 ... inner templates 63 ... defined template, 64 ... vehicle internal tracking template , 65 ... vehicle right tracking templates, 71 ... right inner templates 72 ... left inner template.

Claims (8)

  1. 自車両の進行方向前方をスキャニングする検出波出力手段と、 Detection wave output means for scanning a traveling direction ahead of the vehicle,
    前記検出波出力手段が出力した検出波を反射した反射点により前方車両を検出する車両発見手段と、 A vehicle finding means for detecting a forward vehicle by the reflection points reflecting the detection waves the detection wave output means has output,
    前記検出波出力手段により計測した距離をも考慮し、前記反射点の強度分布型を作成する強度分布型作成手段と、 Also consider the distance measured by the detection wave output unit, and intensity distribution type generation means for generating an intensity distribution type of the reflection point,
    前記強度分布をも利用しながら、前記前方車両の位置を計測する強度利用での車両追跡手段と、 While utilizing also the intensity distribution, and vehicle tracking means in intensity available to measure the position of the forward vehicle,
    前記検出波出力手段による前記前方車両の追跡結果の確実性を評価する検出波出力手段計測評価手段と、 Detection wave output unit measurement evaluating means for evaluating the reliability of the tracking results of the preceding vehicle by the detection wave output unit,
    前記自車両の進行方向前方を撮像するカメラと、 A camera for imaging a forward traveling direction of the vehicle,
    前記検出波出力手段により計測した距離をも考慮し、前記検出波出力手段により検出した位置に対応する画像上の位置に前記前方車両の追跡用テンプレートを作成する車両テンプレート作成手段と、 A vehicle template creating means also considering distance measured, to create a tracking template of the front vehicle at a position on the image corresponding to the detected position by the detecting wave output means by said detecting wave output unit,
    作成された前記テンプレートから距離変化による大きさ変化を考慮し、テンプレートマッチングにより車両追跡を行う車両追跡処理手段と、 Consideration of the size change due to change in distance from the created the template, and vehicle tracking processing unit for performing vehicle tracking by template matching,
    前記カメラの画像処理による前記前方車両の追跡信頼性を評価する画像処理追跡信頼性判定手段と、 An image processing tracking reliability determination means for evaluating the tracking reliability of the front vehicle by image processing of the camera,
    前記検出波出力手段による追跡評価結果と、前記画像処理による追跡評価結果とを統合判定し、最終的な前記前方車両の前記自車両に対する位置を算出する統合処理手段とを有することを特徴とする前方車両追跡システム。 A follow-up evaluation result by the detection wave output unit, the image processing up evaluation result and determines integration by, and having an integration processing means for calculating the position with respect to the vehicle of the final the front vehicle front vehicle tracking system.
  2. 予め定めた所定の距離以上の遠方では前記検出波出力手段のデータを用い、所定の距離より小さい近距離では前記カメラのデータを用い、 Using the data of the detected wave output means in a predetermined given interval and more distant, using the data of the camera is smaller short distance than the predetermined distance,
    前記検出波出力手段または前記カメラのセンサのうち、検知角が小さい方の該検知角端で前記前方車両が検出される場合は、検知角が広い方の前記センサのデータを用いることを特徴とする請求項1記載の前方車両追跡システム。 The sensors of the detection wave output unit or the camera, when the forward vehicle in 該検 known angle end towards the detection angle is small is detected, and characterized by using the data of the sensor towards the detection angle is wide front vehicle tracking system of claim 1 wherein the.
  3. 前記検出波出力手段の検知角の方が前記カメラの検知角より小さい場合、 If towards the detection angle of the detection wave output means is smaller than the detection angle of the camera,
    前記検知角端で前記前方車両が検出されるかどうかの判定は、前記検出波出力手段による前記前方車両上の検知点の距離の値のばらつきが大きくなる傾向がある角度から判定するか、もしくは、検知点の距離の値のばらつきが大きくなる現象を観測したことから判定し、 The determination of whether the forward vehicle is detected by the detection angle end, or variations in the value of the distance of the detection points on the front vehicle by the detection wave output means is determined from the angle which tends to increase, or were determined from the observed phenomena variation in value of the distance of the detection points is increased,
    前記ばらつきが大きくなった場合、前記カメラのデータを用いることを特徴とする請求項2記載の前方車両追跡システム。 If the variation is large, the front vehicle tracking system according to claim 2, which comprises using the data of the camera.
  4. 前記テンプレートマッチングにおける車両追跡において、複数のテンプレートを用いることを特徴とする請求項1記載の前方車両追跡システム。 In vehicle tracking in the template matching, the preceding vehicle tracking system according to claim 1, characterized by using a plurality of templates.
  5. 前記複数のテンプレートは、画像データに大小の関係を有し、一方が前記前方車両の全体、他方が前記前方車両の一部であることを特徴とする請求項4記載の前方車両追跡システム。 Wherein the plurality of templates having a magnitude related to the image data, the preceding vehicle tracking system according to claim 4, wherein the one of the whole of the front vehicle, which is a part other is the front vehicle.
  6. 前記検出波出力手段による距離が計測できない場合、画像の走査範囲内を所定の画素数ずつずらしながら、前回計測した距離からの微小距離変化Δz分の距離変化の拡大縮小を施したテンプレートマッチングを用いることを特徴とする請求項1記載の前方車両追跡システム。 If the distance by the detection wave output means can not be measured, while shifting through the scanning range of the image by a predetermined number of pixels, using a template matching subjected to scaling distance minute change in the distance change Δz min from the distance the previously measured front vehicle tracking system of claim 1, wherein a.
  7. 自車両の進行方向前方を検出波出力手段によりスキャニングし、 Scanned by the detection wave output means the traveling direction ahead of the vehicle,
    電子式のカメラにより前記自車両の進行方向前方を撮像し、 The electronic camera images the moving direction ahead of the vehicle,
    前記検出波出力手段が出力した検出波を反射した反射点を検出し、 Detecting a reflection point that reflects the detection wave, wherein the detection wave output means has output,
    前記反射点の前記自車両に対する相対位置を測定し、前記反射点から前方車両を検出し、 To determine the relative position with respect to the vehicle of the reflection points, detecting a forward vehicle from the reflection point,
    前記反射点の強度分布から前記前方車両の強度分布特性を示す強度分布型を作成し、 Create an intensity distribution type from the intensity distribution of the reflection point showing the intensity distribution characteristics of the forward vehicle,
    前記カメラにより撮像した画像を用いて、前記検出波出力手段により検出した位置に対応する画像上の位置に前記前方車両の追跡用テンプレートを作成し、 Using the image captured by the camera, the create a tracking template of the forward vehicle in position on the image corresponding to the detected position by the detecting wave output unit,
    前記検出波出力手段の強度分布マッチングと、画像処理におけるテンプレートマッチングの2つの手段で前記前方車両の追跡を行い、追跡確実性の高い方の計測値により前記前方車両の位置を計測することを特徴とする前方車両追跡方法。 Features and intensity distribution matching the detected wave output unit, and tracks of the front vehicle at two means of template matching in the image processing, the measured value of the higher track certainty to measure the position of the forward vehicle front vehicle tracking method of the.
  8. 前記テンプレートマッチングにおける車両追跡において、画像データに大小の関係を有し、一方が前記前方車両の全体、他方が前記前方車両の一部である複数のテンプレートを用いることを特徴とすることを特徴とする請求項7記載の前方車両追跡方法。 In vehicle tracking in the template matching has the magnitude of the relationship to the image data, the whole of one of the front vehicle, and wherein the other is characterized by using a plurality of templates which is a part of the front vehicle front vehicle tracking method of claim 7 wherein.
JP2002207390A 2002-07-16 2002-07-16 Front vehicle tracking system and the vehicle ahead tracking method Expired - Fee Related JP3985615B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002207390A JP3985615B2 (en) 2002-07-16 2002-07-16 Front vehicle tracking system and the vehicle ahead tracking method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002207390A JP3985615B2 (en) 2002-07-16 2002-07-16 Front vehicle tracking system and the vehicle ahead tracking method

Publications (2)

Publication Number Publication Date
JP2004053278A true true JP2004053278A (en) 2004-02-19
JP3985615B2 JP3985615B2 (en) 2007-10-03

Family

ID=31931865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002207390A Expired - Fee Related JP3985615B2 (en) 2002-07-16 2002-07-16 Front vehicle tracking system and the vehicle ahead tracking method

Country Status (1)

Country Link
JP (1) JP3985615B2 (en)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005013236A1 (en) * 2003-07-30 2005-02-10 Olympus Corporation Safe movement support device
EP1580075A2 (en) * 2004-03-26 2005-09-28 Omron Corporation Vehicle detection apparatus and method
JP2006240454A (en) * 2005-03-02 2006-09-14 Daihatsu Motor Co Ltd Object recognition device and object recognition method for vehicle
JP2006293835A (en) * 2005-04-13 2006-10-26 Toyota Motor Corp Object detection apparatus
EP1748400A1 (en) * 2005-07-25 2007-01-31 Mazda Motor Corporation Travel assistance device, method and computer program product
JP2007212418A (en) * 2006-02-13 2007-08-23 Alpine Electronics Inc On-vehicle radar device
JP2007255978A (en) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd Object detection method and object detector
JP2008008679A (en) * 2006-06-27 2008-01-17 Toyota Motor Corp Object detecting apparatus, collision predicting apparatus and vehicle controlling apparatus
JP2008040615A (en) * 2006-08-02 2008-02-21 Denso Corp Vehicle detection device and head lamp controller
JP2008148287A (en) * 2006-11-03 2008-06-26 Samsung Electronics Co Ltd Apparatus for tracking operation, method and medium
JP2008269073A (en) * 2007-04-17 2008-11-06 Denso Corp Object detector for vehicle
JP2008276689A (en) * 2007-05-07 2008-11-13 Mitsubishi Electric Corp Obstacle-recognition device for vehicle
JP2009085651A (en) * 2007-09-28 2009-04-23 Hitachi Ltd Image processing system
JP2009098025A (en) * 2007-10-17 2009-05-07 Toyota Motor Corp Object detector
JP2009137494A (en) * 2007-12-07 2009-06-25 Toyota Motor Corp Obstacle determination device
JP2009186353A (en) * 2008-02-07 2009-08-20 Fujitsu Ten Ltd Object detecting device and object detecting method
JP2009187357A (en) * 2008-02-07 2009-08-20 Honda Motor Co Ltd Object kind determination device, object kind determination method and program for object kind determination
JP2011047933A (en) * 2009-08-13 2011-03-10 Tk Holdings Inc Object detection system
JP2011232155A (en) * 2010-04-27 2011-11-17 Denso Corp Object recognition device and program
JP2013092459A (en) * 2011-10-26 2013-05-16 Denso Corp Distance measuring apparatus and distance measuring program
JP2013190421A (en) * 2012-03-14 2013-09-26 Honda Motor Co Ltd Method for improving detection of traffic-object position in vehicle
EP2916102A1 (en) * 2014-03-05 2015-09-09 Audi Ag Method for precise scaling of an image of a camera sensor
JP2015206797A (en) * 2012-11-22 2015-11-19 株式会社デンソー Target detection device
JP2016061706A (en) * 2014-09-19 2016-04-25 オムロンオートモーティブエレクトロニクス株式会社 Laser radar device and control method
US9798002B2 (en) 2012-11-22 2017-10-24 Denso Corporation Object detection apparatus

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005013236A1 (en) * 2003-07-30 2005-02-10 Olympus Corporation Safe movement support device
EP1580075A2 (en) * 2004-03-26 2005-09-28 Omron Corporation Vehicle detection apparatus and method
EP1580075A3 (en) * 2004-03-26 2009-08-19 Omron Corporation Vehicle detection apparatus and method
JP2006240454A (en) * 2005-03-02 2006-09-14 Daihatsu Motor Co Ltd Object recognition device and object recognition method for vehicle
JP4518978B2 (en) * 2005-03-02 2010-08-04 ダイハツ工業株式会社 Object recognition device and an object recognition method for a vehicle
JP4534846B2 (en) * 2005-04-13 2010-09-01 トヨタ自動車株式会社 Object detecting device
JP2006293835A (en) * 2005-04-13 2006-10-26 Toyota Motor Corp Object detection apparatus
EP1748400A1 (en) * 2005-07-25 2007-01-31 Mazda Motor Corporation Travel assistance device, method and computer program product
JP2007212418A (en) * 2006-02-13 2007-08-23 Alpine Electronics Inc On-vehicle radar device
JP2007255978A (en) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd Object detection method and object detector
JP2008008679A (en) * 2006-06-27 2008-01-17 Toyota Motor Corp Object detecting apparatus, collision predicting apparatus and vehicle controlling apparatus
JP2008040615A (en) * 2006-08-02 2008-02-21 Denso Corp Vehicle detection device and head lamp controller
JP2008148287A (en) * 2006-11-03 2008-06-26 Samsung Electronics Co Ltd Apparatus for tracking operation, method and medium
JP2008269073A (en) * 2007-04-17 2008-11-06 Denso Corp Object detector for vehicle
JP2008276689A (en) * 2007-05-07 2008-11-13 Mitsubishi Electric Corp Obstacle-recognition device for vehicle
JP4558758B2 (en) * 2007-05-07 2010-10-06 三菱電機株式会社 The vehicle obstacle recognition device
JP2009085651A (en) * 2007-09-28 2009-04-23 Hitachi Ltd Image processing system
JP2009098025A (en) * 2007-10-17 2009-05-07 Toyota Motor Corp Object detector
JP2009137494A (en) * 2007-12-07 2009-06-25 Toyota Motor Corp Obstacle determination device
JP2009186353A (en) * 2008-02-07 2009-08-20 Fujitsu Ten Ltd Object detecting device and object detecting method
JP2009187357A (en) * 2008-02-07 2009-08-20 Honda Motor Co Ltd Object kind determination device, object kind determination method and program for object kind determination
JP2011047933A (en) * 2009-08-13 2011-03-10 Tk Holdings Inc Object detection system
JP2011232155A (en) * 2010-04-27 2011-11-17 Denso Corp Object recognition device and program
DE102011017540A1 (en) 2010-04-27 2012-03-15 Denso Corporation Method and apparatus for detecting a presence of objects
US8810445B2 (en) 2010-04-27 2014-08-19 Denso Corporation Method and apparatus for recognizing presence of objects
JP2013092459A (en) * 2011-10-26 2013-05-16 Denso Corp Distance measuring apparatus and distance measuring program
JP2013190421A (en) * 2012-03-14 2013-09-26 Honda Motor Co Ltd Method for improving detection of traffic-object position in vehicle
JP2015206797A (en) * 2012-11-22 2015-11-19 株式会社デンソー Target detection device
US9798002B2 (en) 2012-11-22 2017-10-24 Denso Corporation Object detection apparatus
EP2916102A1 (en) * 2014-03-05 2015-09-09 Audi Ag Method for precise scaling of an image of a camera sensor
JP2016061706A (en) * 2014-09-19 2016-04-25 オムロンオートモーティブエレクトロニクス株式会社 Laser radar device and control method

Also Published As

Publication number Publication date Type
JP3985615B2 (en) 2007-10-03 grant

Similar Documents

Publication Publication Date Title
US4797557A (en) Position sensing system for a moving object wherein a lens focuses light onto a radiation sensitive matrix
US6956469B2 (en) Method and apparatus for pedestrian detection
US20030123707A1 (en) Imaging-based distance measurement and three-dimensional profiling system
US20090097039A1 (en) 3-Dimensional Shape Measuring Method and Device Thereof
US20030088361A1 (en) Monitor system of vehicle outside and the method thereof
US5586063A (en) Optical range and speed detection system
US20090125175A1 (en) Apparatus and method for generating three-dimensional map using structured light
US7312862B2 (en) Measurement system for determining six degrees of freedom of an object
US20090128833A1 (en) Dual mode depth imaging
US8467072B2 (en) Target apparatus and method of making a measurement with the target apparatus
US6842189B2 (en) Road monitoring method for a vehicle and a system thereof
US20040178945A1 (en) Object location system for a road vehicle
US7474256B2 (en) Position detecting system, and transmitting and receiving apparatuses for the position detecting system
US20080239279A1 (en) Ladar-based motion estimation for navigation
US20040239490A1 (en) Alarming system for vehicle and alarm generating method for vehicle
US20090102699A1 (en) Method for Detecting and Documenting Traffic Violations at a Traffic Light
CN1735789A (en) Ranging apparatus
JP2007322138A (en) Moving device, and own position estimation method for moving device
US7417580B2 (en) Object detection system and object detection method
US6483536B2 (en) Distance measuring apparatus and method employing two image taking devices having different measurement accuracy
JP2000207693A (en) Obstacle detector on vehicle
US20030097237A1 (en) Monitor system of vehicle outside and the method thereof
US20060013438A1 (en) Obstacle detection apparatus and a method therefor
US20060115113A1 (en) Method for the recognition and tracking of objects
US20050001715A1 (en) Information providing device for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070206

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070702

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100720

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110720

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees