Connect public, paid and private patent data with Google Patents Public Datasets

Inter-vehicle distance measuring apparatus

Info

Publication number
JP2000266539A
JP2000266539A JP6839099A JP6839099A JP2000266539A JP 2000266539 A JP2000266539 A JP 2000266539A JP 6839099 A JP6839099 A JP 6839099A JP 6839099 A JP6839099 A JP 6839099A JP 2000266539 A JP2000266539 A JP 2000266539A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
vehicle
edge
preceding
distance
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6839099A
Other languages
Japanese (ja)
Other versions
JP3596339B2 (en )
Inventor
Tomoko Shimomura
倫子 下村
Original Assignee
Nissan Motor Co Ltd
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To provide an inter-vehicle distance measuring apparatus in which reliability of measurement is enhanced. SOLUTION: In the inter-vehicle distance measurement employing stereo image processing through two vehicle mounted cameras, a plurality of elongated windows including the upper and lower ends of a preceding vehicle are set based on the distance thereto at the position of the preceding vehicle (S103), histogram of horizontal edge is determined for each y-coordinate in the plurality of windows (S104), moving vector is measured for an edge on the preceding vehicle detected from the histogram of edge (S105), and only such an edge representing a moving vector having direction and size conformable with the variation of inter-vehicle distance determined from parallax is selected as the edge of the preceding vehicle (S106). According to the arrangement, a high intensity edge of other than preceding vehicle, e.g. a footbridge, a white line, a pavement indication, is not detected erroneously and the edge on a preceding vehicle can be selected surely.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】この発明は、追従中の先行車の車間距離および車間距離変化計測の確実性を向上させる技術に関する。 TECHNICAL FIELD The present invention relates to a technique for improving the reliability of the inter-vehicle distance and the inter-vehicle distance change measurement of the preceding vehicle being followed.

【0002】 [0002]

【従来の技術】従来の車間距離計測装置としては、例えば、特開平8−278126号公報に記載されたものがある。 As a conventional inter-vehicle distance measuring apparatus, for example, it is disclosed in JP-A-8-278126. この装置では、縦に並べたステレオ画像から水平エッジのヒストグラムを抽出し、それらのヒストグラムのピークを、垂直方向をy軸としたときに、y軸の下側より順に探索し、ヒストグラムのピークのy軸上におけるステレオ画像間の位置の差を先行車の視差として、車間距離を求めるものである。 This apparatus extracts a histogram of the horizontal edge from the stereo image in columns, and the peak of their histogram, the vertical when the y-axis, searched in order from the lower side of the y-axis, the histogram peak the difference in position between the stereo images as a preceding vehicle of the parallax on the y-axis, and requests inter-vehicle distance.

【0003】 [0003]

【発明が解決しようとする課題】しかし、上記従来の装置では、先行車までの車間距離測定に用いるデータとして水平エッジのヒストグラムだけを用いているため、その水平エッジ成分が先行車のエッジであるか否かの判断が不十分であり、車両以外のエッジを用いて対応点探索を行なってしまう可能性があるという問題があった。 [SUMMARY OF THE INVENTION However, the above-described conventional apparatus, due to the use of only a histogram of the horizontal edges as the data used in the inter-vehicle distance measurement to the preceding vehicle, the horizontal edge component is the preceding vehicle edge determination of whether is insufficient, there is a problem that there is a possibility that by performing the corresponding point search using an edge other than a vehicle. 特に、歩道橋や停止線など路面上にかかる長く強い横エッジが複数あると、それらのエッジの方が先行車よりも強調されるため、先行車以外のエッジまでの距離を算出してしまう可能性が高くなる。 In particular, the long strong lateral edges according to the road surface such as a pedestrian bridge and stop lines are multiple, since the direction of their edges are emphasized than the preceding vehicle, possibility of calculating the distance to the edge of the other preceding vehicle It increases. また、距離の算出をステレオ視差からの演算だけで行っているため、分解能が粗く、かつ、他手法との照合がないため、ステレオマッチングが原因となる距離の誤計測を判断することができない、という問題があった。 Further, since the performing distance calculation of only operations from the stereo disparity, resolution rough, and because there is no match with the other techniques, it is impossible to determine the erroneous measurement distance stereo matching causes, there is a problem in that.

【0004】本発明は上記のごとき従来技術の問題を解決するためになされたものであり、車間距離計測における先行車との車間距離の計測の確実性を向上させた車間距離計測装置を提供することを目的とする。 [0004] The present invention has been made to solve the above-described such prior art problems, providing an inter-vehicle distance measuring apparatus having improved reliability of the measurement of the distance to the preceding vehicle in the inter-vehicle distance measuring and an object thereof.

【0005】 [0005]

【課題を解決するための手段】上記の目的を達成するため、本発明においては、特許請求の範囲に記載するように構成している。 To achieve the above object, according to an aspect of, the present invention constitutes as described in the appended claims. まず、請求項1に記載の発明においては、二つのカメラで求めたステレオ画像全体にウィンドウを定義し、定義したウィンドウ毎に求めた視差(以下距離画像と呼ぶ)から先行車までの距離と先行車が撮像された画像上の位置とを求め、距離画像から検出した先行車位置に、その先行車までの距離をもとに、先行車の上下端を含む大きさの縦長または横長のウィンドウを複数設定し、その複数のウインドウ内において各y座標毎の水平エッジのヒストグラムまたは各x座標毎の垂直エッジのヒストグラムを求め、同じy座標上に検出される水平エッジのy座標位置または同じx座標上に検出される垂直エッジのx座標位置を検出し、前記水平エッジまたは垂直エッジの移動ベクトルを計測し、視差から求めた車間距離の変化と適合する方向お First, in the invention according to claim 1, the distance from defines a window to the entire stereo image obtained by the two cameras (hereinafter referred to as a distance image) obtained parallax for each defined window to the preceding vehicle ahead seeking a position on the image which the car is captured, the detected preceding vehicle position from the distance image, based on the distance to the preceding vehicle, the portrait or landscape window size including a preceding vehicle of the upper and lower ends a plurality of sets, y coordinates or the same x-coordinate of the in a plurality of windows a histogram of the histogram or vertical edge for each x-coordinate of the horizontal edge of each y coordinate, horizontal edges detected on the same y-coordinate detecting the x-coordinate position of the vertical edges detected on the movement vector of the horizontal edge or vertical edge is measured, changes compatible direction your vehicle distance obtained from the parallax び大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択するように構成している。 Beauty is configured so as to select only the edge showing the movement vector of size as a preceding vehicle of the edge. なお、車間距離の変化と適合する方向および大きさの移動ベクトルを示すエッジとは、 Incidentally, the edge indicating a motion vector changes compatible direction and magnitude of the inter-vehicle distance,
例えば、後記図9で説明するように、車間距離が大きくなる場合は、y>0の位置のエッジは下方、y<0の位置のエッジは上方に移動し、車間距離が短くなる場合は、y>0の位置のエッジは上方、y<0の位置のエッジは下方に移動し、車間距離が一定の場合はエッジの位置は不変となり、かつ、そのエッジの移動量は、原点(y=0)から遠いほど大きく、原点から近いエッジほど小さくなるものをいう。 For example, as described in later Figure 9, if the inter-vehicle distance becomes large, the position of the edge of the position of the edge of the y> 0 is lower, y <0 moves upward, if the inter-vehicle distance is shortened, the position of the edge of the y> 0 is above the position of the edge of the y <0 moves downward, if the inter-vehicle distance is constant the position of the edge becomes unchanged, and the movement amount of the edge, the origin (y = farther from 0) increases, refers to those made smaller toward the edge from the origin.

【0006】また、請求項2に記載の発明においては、 Further, in the invention described in claim 2,
請求項1に記載の二つのカメラの代わりに、路面に平行方向と垂直方向の2次元的に光を走査して照射し、照射した方向毎の光の反射強度と、その光の反射面までの距離とを計測する光測距装置を用い、その光測距装置から求めた距離画像と輝度画像に対して請求項1と同様の処理を行なうように構成している。 Instead of two cameras according to claim 1, road surface irradiated by scanning the two-dimensionally light parallel and vertical directions, and the reflection intensity of light for each irradiated direction to the reflecting surface of the light using an optical distance measuring apparatus for measuring a distance, and configured to perform the same processing as claimed in claim 1 with respect to the distance image and the luminance image obtained from the light distance measuring apparatus. なお、上記の光測距装置とは例えばレーザレンジファインダ等がある。 Note that the above optical distance measuring device is for example a laser range finder or the like.

【0007】また、請求項3に記載の発明においては、 Further, in the invention described in claim 3,
請求項2の光測距装置と、前記光測距装置の走査の中心軸と光軸が平行になる位置および姿勢で搭載された電子式のカメラとを用い、請求項2における光測距装置の輝度画像の代わりに、前記カメラの画像(輝度画像)を用いて同様の処理を行なうように構成している。 Using an optical distance measuring apparatus according to claim 2, a camera of the optical distance measuring device electronic central axis and the optical axis of the scanning is mounted in position and orientation to be parallel to the optical distance measuring apparatus in claim 2 instead of the luminance image, and configured to perform similar processing by using the image (luminance image) of the camera.

【0008】また、請求項4に記載の発明においては、 Further, in the invention described in claim 4,
前記の求めた先行車上のエッジの中から2本ずつを1つの組として複数組選択し、それらの組におけるそれぞれのエッジ間距離を求め、同じ組について二つの時点で求めたエッジ間距離の比、すなわちエッジ間距離の時間的な変化率が同じ値となる組が最も多い組のエッジを先行車上のエッジと再確認するように構成している。 The selected plurality of sets obtained on the preceding vehicle edges of the two by two from the one set of, determine the respective distance between the edges in their set, the same set of the distance between the edges obtained by the two time points ratio, that is configured such that the time rate of change of the distance between the edges is reaffirm the edge on the preceding vehicle the highest set of edge sets of the same value. 例えば10本のエッジを2本ずつa組、b組、c組、d組、e For example two by two ten edges a pair, b group, c group, d group, e
組の5組に分けた場合、a〜dの4組では変化率の値がαで、e組のみはβであったとすれば、変化率が同じ値となる組が最も多いa〜d組のエッジが先行車上のエッジであり、e組のエッジは先行車上ではない他のエッジであると判断する。 If divided into a set of five sets, the value of the rate of change in the four sets of a~d is alpha, if e set only was beta, the rate of change becomes equal set of highest a~d sets the edges are edges on the preceding vehicle, e sets of the edge is determined to be the other edges not on the preceding vehicle.

【0009】また、請求項5に記載の発明においては、 Further, in the invention described in claim 5,
前記先行車上のエッジと判断されたものについてのエッジ間距離の変化率に基づいて車間距離の変化率を求めるように構成している。 Is configured to determine the rate of change of the vehicle distance based on the rate of change of the distance between the edges of what is determined that an edge on the preceding vehicle. 具体的には、エッジ間距離の変化率の逆数が車間距離の変化率となる。 Specifically, the reciprocal of the rate of change of the distance between the edges is the rate of change of the vehicle distance.

【0010】また、請求項6に記載の発明においては、 Further, in the invention of claim 6,
前記距離・位置演算手段で求めた車間距離の所定回数前の演算値に前記車間距離の変化率を乗算することによって車間距離を算出するように構成している。 And configured to calculate the inter-vehicle distance by multiplying the rate of change of the inter-vehicle distance computation value before a predetermined number of inter-vehicle distance obtained by the distance and position calculating means.

【0011】また、請求項7に記載の発明においては、 Further, in the invention described in claim 7,
前記距離・位置演算手段で求めた車間距離と前記車間距離の変化率から求めた車間距離とを照合することにより車間距離演算の確認を行なうように構成している。 It is configured so as to check the inter-vehicle distance computation by collating the inter-vehicle distance obtained from the change rate of the inter-vehicle distance and the inter-vehicle distance determined by the distance and position calculating means.

【0012】また、請求項8に記載の発明においては、 Further, in the invention described in claim 8,
前記先行車エッジ判断手段で、先行車以外のエッジと判断された位置に対する計測値は用いずに、前記距離・位置演算手段における距離と位置の演算処理を行なうように構成している。 Wherein the preceding vehicle edge determination means, the measured value for the edge and the determined position other than the preceding vehicle without, are configured to perform arithmetic processing of the distance between the position of the distance and position calculating means.

【0013】また、請求項9に記載の発明においては、 Further, in the invention described in claim 9,
請求項2または請求項3において、前記光測距装置の輝度画像の値の低い位置の計測値は用いずに、前記距離・ According to claim 2 or claim 3, measurement values ​​of the positions with low values ​​of the brightness image of the optical distance measuring apparatus without using the distance and
位置演算手段における距離と位置の演算処理を行なうように構成している。 It is configured to perform arithmetic processing of the distance between the position in the position calculating means.

【0014】 [0014]

【発明の効果】請求項1においては、二つのカメラによるステレオ画像処理を用いた車間距離計測において、エッジのヒストグラムから検出した先行車上のエッジについてその移動ベクトルを計測し、視差から求めた車間距離の変化と適合する方向および大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択するように構成したことにより、歩道橋、白線、路面表示などのような、先行車以外の強度の強いエッジを誤検出することなく、確実に先行車の上のエッジを選択することが出来る、という効果が得られる。 In claim 1, according to the present invention, in the inter-vehicle distance measurement using a stereo image processing by two cameras to measure the movement vector for the edge of the preceding vehicle detected from the histogram of the edge, inter obtained from the parallax by distance edges showing the movement vector compatible direction and magnitude as the change of was configured to select as a preceding vehicle of the edge, footbridge, white lines, such as road markings, strong intensity than the preceding vehicle without erroneously detecting the edge, can be selected an edge over reliably preceding vehicle, the effect is obtained that.

【0015】請求項2においては、レーザレンジファインダのような光測距装置を用いて、請求項1と同様の効果が得られる。 [0015] In the second aspect, by using the optical distance measuring apparatus such as a laser range finder, the same effect as claim 1 can be obtained. また、カメラによる画像は夜間のような暗い状況下では使用困難であるが、レーザレンジファインダのような光を照射する光測距装置では夜間等でも使用可能である。 The image by the camera is difficult used under dark conditions, such as night, the optical distance measuring apparatus for irradiating light such as a laser range finder can also be used at night or the like.

【0016】請求項3においては、レーザレンジファインダのような光測距装置とカメラとを組み合わせることにより、請求項1と同様の効果が得られと共に、信頼性を確保するために光測距装置の距離分解能を粗くした場合でも、距離精度を保持または向上することが可能となり、同様に、装置の信頼性確保のために走査を遅くして計測の時間間隔を長くした場合においても、カメラを1 [0016] In the third aspect, by combining the optical distance measuring device and the camera, such as a laser range finder, the obtained effects similar to those of claim 1, the optical distance measuring device in order to ensure reliability of even if the range resolution and rough, distance accuracy becomes possible to hold or improved, similarly, even when the long time interval measurement using a slower scan for ensuring the reliability of the apparatus, a camera 1
台追加した構成にしただけで、距離測定のレスポンスを遅くすることなく、通常の画像処理の速度での距離計測が可能となる。 Only by the added configuration table, without slowing the response of the distance measurement, it is possible to distance measurement at a rate of normal image processing.

【0017】請求項4においては、エッジ間距離の時間的な変化率を求め、変化率の同じエッジを先行車のエッジと判断する(変化率の異なるエッジは先行車以外のエッジとして除去する)ように構成しているので、先行車上にかかる光のノイズなどの除去が可能になり、より確実に先行車を構成するエッジだけを選択することが可能となる。 [0017] In claim 4, obtains the temporal rate of change of the distance between the edges, the same edge is determined that the preceding vehicle edge the change rate (change rate of different edges are removed as an edge other than the preceding vehicle) since configured to, removal of such light noise according to the preceding vehicle becomes possible, it becomes possible to select only edges constituting the more reliably the preceding vehicle. さらに、上記のように先行車以外のエッジを除外することにより、除外したエッジの位置を車間距離算出の際に除外することができるので、路面表示など先行車周囲にエッジが多く存在する環境や光の位置などによってノイズの多い環境下でも、環境変化に影響されず確実性の高い車間距離計測が可能となる。 Further, by excluding edge other than the preceding vehicle as described above, it is possible to exclude the position of the edge that is excluded in the inter-vehicle distance calculation, Ya environment there are many edges in the preceding vehicle surroundings such as pavement markings even in noisy environments, such as by the position of the light, it becomes possible to high inter-vehicle distance measurement with certainty without being influenced by the environmental changes.

【0018】また、請求項5においては、先行車上のエッジと判断されたエッジについてのエッジ間距離の変化率から車間距離の変化率を求めるように構成したことにより、光のノイズや影など、多少のエッジ検出ミスがある場合、および先行車上のエッジを検出しにくい環境下でも、車間距離の変化率を確実に正しく求めることが可能となる。 [0018] In the fifth aspect, by the rate of change of the distance between the edges of it is determined that the edge on the preceding vehicle edge and configured to determine the rate of change of the vehicle distance, such as optical noise or shadows , you may have some edge detection error, and the preceding vehicle on the even detection difficult environment the edge, it is possible to determine reliably correct the rate of change of the vehicle distance.

【0019】また、請求項6においては、距離・位置演算手段で求めた車間距離の所定回数前の演算値に車間距離の変化率を乗算することによって車間距離を算出することにより、視差や距離画像から求める車間距離よりも高精度に車間距離を計測することが出来る。 Further, in claim 6, by calculating the inter-vehicle distance by multiplying the rate of change of the inter-vehicle distance computation value before a predetermined number of inter-vehicle distance obtained by the distance and position calculating means, the parallax and the distance than the inter-vehicle distance obtained from the image can be measured inter-vehicle distance with high accuracy. また、請求項3のように光測距装置とカメラとを組み合わせた構成に適用した場合には、光測距装置の計測間隔が長い場合でも、カメラの撮像間隔での車間距離の更新が可能となる。 Also, when applied to a structure that combines the optical distance measuring device and the camera as claimed in claim 3, even when the measured distance of the optical distance measuring apparatus is long, it can be updated following distance in the imaging interval of the camera to become. 更に、光測距装置の距離分解能が粗い場合には、距離の高精度化も可能となる。 Further, when the distance resolution of an optical distance measuring apparatus is rough, high accuracy of the distance also becomes possible.

【0020】また、請求項7においては、距離・位置演算手段で視差や距離画像から求めた車間距離と車間距離の変化率から求めた車間距離とを照合することにより、 Further, in claim 7, the distance and position calculating means by collating the inter-vehicle distance obtained from the rate of change of the inter-vehicle distance and the inter-vehicle distance calculated from the parallax and distance images,
二つの方法で求めた車間距離の正確性の確認を行なうことが出来るので、より確実性の高い車間距離計測を行なうことが出来る。 It is possible to perform the confirmation of the accuracy of the inter-vehicle distance obtained by the two methods, it is possible to perform more reliable highly inter-vehicle distance measuring.

【0021】また、請求項8においては、先行車エッジ判断手段で、先行車以外のエッジと判断された位置に対する計測値は用いずに、前記距離・位置演算手段における距離と位置の演算処理を行なうことにより、距離と位置の演算における確実性を向上させることが出来る。 Further, in claim 8, the preceding vehicle edge determination unit, measured values ​​for is determined that other than the preceding vehicle edge position is without the calculation of the distance between the position of the distance and position calculating means it allows the distance to be able to improve the reliability in the operation of the position do. 例えば、先行車以外のエッジと判断された位置におけるレーザレンジファインダで計測した距離画像上の値を、車間距離計測の際の判断に反映させない構成なので、ノイズなどによる誤計測値を除去でき、より正確な測距が可能となる。 For example, the value of the distance image measured by the laser range finder in is determined that other than the preceding vehicle edge position, the configuration that does not reflect the judgment of the time of inter-vehicle distance measurement can be removed measurements erroneous due to noise, and more the exact distance measurement is possible.

【0022】また、請求項9においては、請求項2または請求項3において、距離画像からの車間距離計測の際に、光測距装置の輝度画像上の反射強度が低い位置で計測された距離を反映させない構成としたため、誤計測値を除去でき、さらに信頼度の高い計測値だけを用いた、 Further, in claim 9, in claim 2 or claim 3, the distance at the time of the inter-vehicle distance measurement from the distance image, the reflection intensity on the brightness image of light distance measuring device is measured at a lower position because was not reflected configure, you can remove erroneous measurement values, using only further reliable measurement,
より正確な測距が可能となる。 More accurate distance measurement is possible.

【0023】 [0023]

【発明の実施の形態】(第1の実施の形態)図1は本発明の第1の実施の形態の構成を示すブロック図である。 DESCRIPTION OF THE PREFERRED EMBODIMENTS (First Embodiment) FIG. 1 is a block diagram showing a configuration of a first embodiment of the present invention.
図1において、1および2は電子式のカメラであり、自車の前部に前方を向いて設置されており、両カメラの光軸は相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置されている。 In Figure 1, 1 and 2 are electronic cameras, vehicle of the front is installed facing forward, optical axes of the cameras are parallel to each other and vertical axes the same line of the imaging surface It is installed so as to be aligned to the top. なお、撮像面の水平軸が同じライン上に揃うように設置してもよい。 Incidentally, the horizontal axis of the imaging surface may be provided to align on the same line. また、車両の後部に後方を向けて設置し、車両後方の障害物を検出するように構成することもできる。 Also established toward the rear at the rear of the vehicle can also be configured to detect a vehicle obstacle behind. 3、4はそれぞれカメラ1、2から入力した画像信号を記憶する画像メモリである。 3 and 4 is an image memory for storing image signals input from the cameras 1 and 2, respectively. 5は演算部であり、例えばCPU、RAM、R 5 is a computation unit, for example CPU, RAM, R
OM等からなるマイクロコンピュータで構成される。 Constituted by a microcomputer comprised of OM and the like. 6
は自車の前方に存在する障害物等の検出対象物であり、 Is a detection object such as an obstacle present ahead of the vehicle,
図1では先行車を例示している。 In Figure 1 illustrates a preceding vehicle.

【0024】以下、まず第1の実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。 The following description will first variety of arithmetic means and methods used in the first embodiment, and then explaining the flow of the whole operation based on the flowchart. 図2は、 Figure 2,
ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図である。 Is a diagram illustrating the principle for determining the distance from the camera on the principle of triangulation to the detection target using a stereo image. 図2 Figure 2
においては、カメラA(前記カメラ1に相当)で撮像した画像を画像A、カメラB(前記カメラ2に相当)で撮像した画像を画像Bで示し、検出対象の位置を点p In shows an image of the captured image captured by the camera A (corresponding to the camera 1) image A, the camera B (corresponding to the camera 2) in the image B, a point the position of the detection object p
(x,y,z)としている。 It is (x, y, z) and.

【0025】図2から判るように、焦点距離f、眼間距離(両カメラ間の距離)Dが既知であり、光軸が互いに平行な2台のカメラA、Bで撮像したステレオ画像において、2枚の画像間のマッチング位置ya、ybを求めることできれば、カメラから対象物pまでの距離Zは下記(数1)式より求めることができる。 [0025] As can be seen from Figure 2, the focal length f, the interocular distance (distance between the camera) D are known, the optical axis is parallel to two cameras A one another, in the stereo images captured by B, matching position ya between two images, if it obtains the yb, distance Z from the camera to the object p can be determined from the following equation (1) below.

【0026】 Z=f・D/(ya−yb)=f・D/S …(数1) ただし、ya−yb=Sは視差であり、図2のように、 [0026] Z = f · D / (ya-yb) = f · D / S ... (Equation 1) However, ya-yb = S is parallax, as shown in FIG. 2,
光軸が平行で、所定間隔を隔てて設置された二つのカメラA、Bで一つの物体を撮像した場合に、それぞれのカメラに写った画像の位置の差、すなわち画像Aにおける位置yaと画像Bにおける位置ybとの差である。 A parallel optical axes, two cameras A installed at a predetermined distance, when imaging a single object in B, the difference in position of the reflected image to each camera, that is, the position ya and the image in the image A which is the difference between the position yb of B. なお、この例では、眼間距離Dと距離Zの単位はm、焦点距離f、視差Sおよび位置ya、ybの単位は画素である。 In this example, the unit of interocular distance D and the distance Z is m, the focal length f, the parallax S and position ya, the unit of yb is a pixel. 例えばカメラA、BはCCDを用いたものであり、 For example, a camera A, B are those with CCD,
画素数を640×480とした場合、1画素の大きさは10μm程度である。 When the number of pixels and 640 × 480, the size of one pixel is about 10 [mu] m.

【0027】上記(数1)式は、両カメラの光軸が相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置した場合であるが、撮像面の水平軸が同じライン上に揃うように設置した場合には、下記(数1')式に示すようになる。 [0027] The above equation (1) is parallel to each other the optical axes of the cameras, and to a case where the vertical axis of the imaging plane is placed to align on the same line, the horizontal axis of the imaging surface are the same when installed as aligned on the line is as shown in the following equation (1 ') below. Z=f・D/(xa−xb)=f・D/S …(数1') ただし、xa−xb=Sは視差 なお、以後の説明は全て撮像面の垂直軸が同じライン上に揃うように設置した場合を例として説明する。 Z = f · D / (xa-xb) = f · D / S ... However (number 1 '), xa-xb = S disparity The vertical axis of the following description, all the imaging surface are aligned on the same line It will be described as an example the case of installing such.

【0028】上記の視差Sを検出するには、一方の画像(例えば画像A)上において点pが撮像されている点(xa、ya)に対応する他方の画像(例えば画像B) [0028] To detect a parallax S of the above, one image (e.g., image A) that the point p is imaged on the (xa, ya) the other image corresponding to the (for example, an image B)
上の点(xb、yb)を検出する必要がある。 It is necessary to detect the point of the upper (xb, yb). その方法としては、画像A上の点(xa、ya)を含む或る範囲の画像(ウィンドウ)と最も類似した範囲を画像B内から探すことで求めることができる。 As the method can be determined by searching a point on the image A (xa, ya) the most similar range as a range of the image (window) including the image B. この類似度の算出には、画像間の差分法や正規化相関法などがある。 The calculation of the similarity, and the like difference method and the normalized correlation method between images. そして距離画像(ウィンドウ毎にその内部に撮像される物体までの視差を求めた画像)は、定義した全てのウィンドウにおいて差分法や正規化相関法により、他方と類似度の高いウィンドウが存在する位置を求めることで作成できる。 The distance image (image obtained parallax to an object to be imaged therein for each window) is the difference method or a normalized correlation method in all windows defined position where there is other the high similarity window It can be created by obtaining.

【0029】図3は、両画像の対応する位置毎の視差を求めた結果を示す図であり、詳しくは、道路前方を撮像した画像において、一方の画像(例えば画像B)をウィンドウ毎に切り、その全てのウィンドウにおいて他方の画像(例えば画像A)からそのウィンドウと最も類似度の高い画像の位置を求めることで、両画像における対応する位置を検出し、それぞれの対応する位置から各ウィンドウ毎の視差を求めた結果を表したものである。 FIG. 3 is a graph showing a result of determining the corresponding disparity for each position of the images, particularly, in the image captured road ahead, turn one image (e.g., image B) for each window , in all its window from the other image (e.g., image a) by obtaining the position of the highest similarity image and the window, and detecting the corresponding positions in both images, each window for each of the respective corresponding positions It illustrates a result of determining the parallax. 図3 Figure 3
において、(A)は下画像(画像Aに相当)、(B)は上画像(画像Bに相当)、(C)は視差の表、(D)は視差が「15」のウィンドウ部分のみを抜き出した画像を示す。 In the only window portion (A) below the image (corresponding to an image A), (B) (corresponding to the image B) is on the image, (C) the table of parallax, (D) is the disparity is "15" It shows the extracted image. また、図3(B)、(C)の(1)〜(20)は各ウィンドウの水平方向(以下、横方向と記す)の位置を示す。 Further, FIG. 3 (B), (1) ~ (20) of the (C) indicates the position in the horizontal direction of each window (hereinafter, referred to as lateral direction). ただし、図においては(1)〜(20)を丸付き数字で表している。 However, in the figure represents (1) to a round number (20). また、一つのウィンドウは幅(x方向の長さ)がxw、高さ(y方向の長さ)がywである。 Moreover, (the length in the x-direction) a window width xw, the height (length in the y direction) yw. 上記のように、各ウィンドウ毎の視差が判れば、前記(数1)式を用いることによって、該当するウィンドウに撮像されている物体までの距離を求めることが出来る。 As described above, if the parallax of each window is known, by using the equation (1) can be determined the distance to the object being imaged in the appropriate window.

【0030】以下、図3(C)のようにウィンドウ毎にその内部に撮像されている物体までの視差を求めた画像を“距離画像”と呼ぶことにする。 [0030] Hereinafter, will be referred to as the inside of the image was determined parallax to the object being imaged "distance image" for each window as shown in FIG. 3 (C). このウィンドウ毎に算出される視差は、当該ウィンドウの内部に撮像されていてエッジ(画像が明から暗または暗から明に変化する点が連続した部分で、画像の端などを示す線分に相当する)などの特徴的な部分を持つ物体までの距離に相当するから、一つの対象物が複数ウィンドウに跨って撮像されていると、隣接するウィンドウで同じ視差が求められる。 Parallax is calculated for each the window, in that it changes inside have been imaged edge (the image light to dark or dark to light of the window is continuous portion corresponding to a line segment indicating, for example, the edges of the image since corresponding to the distance to the object having a characteristic part such as), when one object is imaged across multiple windows, the same disparity in the adjacent window is determined. 例えば、道路前方を撮像した画像における距離画像の場合、先行車と、先行車が存在する真下の路面とは同距離なので、図3(D)に太線のウィンドウで示すように、先行車の下部と同じy座標上にあるウィンドウは先行車と同じ視差で算出される。 For example, if the distance image in the image captured road ahead, and the preceding vehicle, since the preceding vehicle as the distance from the road surface beneath which there is, as indicated by a thick line in the window in FIG. 3 (D), the lower portion of the preceding vehicle window on the same y-coordinate as is calculated in the same parallax and the preceding vehicle. 例えば図3(C)の下から2行目に「15」が横方向に連続しているのが上記の部分に相当する。 For example, FIG. 3, "15" in the second line from the bottom of (C) that are continuous in the horizontal direction is equivalent to the parts. なお、図3(C)において、中央部分に視差「15」が集合している部分が先行車に相当し、 Incidentally, in FIG. 3 (C), the portions of the central portion parallax "15" are set to correspond to the preceding vehicle,
(3)、(4)列に視差「19」が集合している部分が「左方の木」に相当し、(6)列に視差「5」が連続している部分が「中央の木」に相当する。 (3), (4) the portion parallax "19" in the column is set corresponds to the "left of the tree", (6) is part of parallax "5" is continuous in the column "the center of the tree It corresponds to ".

【0031】上記のように、距離画像は前方に高さのある物体が存在すると、その物体が撮像されているx座標位置のウィンドウでは同じ視差が検出される。 [0031] As described above, the distance image when the object with a height in front of the presence, in the window of the x-coordinate position where the object is imaged same parallax is detected. 一方、車両横にある白線部分のように路面などの高さを持たない位置では、同じx座標上で同じ視差が検出されるウィンドウは一つである。 On the other hand, in a position that does not have the height of the road surface as the white line portion of the vehicle next to a window same disparity is detected on the same x-coordinate is one. すなわち、前方に物体が存在する場合、同一x座標の方向でのウィンドウにおいて同じ視差の個数を数えることにより、物体を検知することができる。 That is, if there is an object in front, by counting the number of the same disparity in window in the direction of the same x-coordinate, it is possible to detect an object. この方法によれば、複数の物体も一つの物体も同じ方法で検出することができ、検出対象や背景の色に左右されずに物体を検知できるようになる。 According to this method, one object is also a plurality of objects can also be detected in the same way, it is possible to detect the object without being influenced by the color of the detection object and the background. また、白線や停止線などの路面表示は、同じ視差を示すウィンドウが同じ方向に現れないため、路面表示と高さをもつ障害物とを誤検出することがなくなるという利点もある。 Further, pavement markings, such as white lines and stop lines is because the window showing the same parallax does not appear in the same direction, the advantage that it is unnecessary to erroneously detect an obstacle with a road surface display and height. 加えて、距離画像だけを利用しているため、検出対象の色や形状および背景色にかかわらず同様の処理で複数物体を検出できる。 In addition, because it utilizes only a distance image can be detected more objects in the same processing regardless of the color, shape and background colors to be detected.

【0032】図4は、距離画像上の或るウィンドウで求めた視差とそのウィンドウの横方向の位置に基づいて、 [0032] Figure 4, the disparity obtained at a certain window on the distance image and based on the lateral position of the window,
対応する表中の位置に投票する様子を表した図であり、 A diagram showing a corresponding manner to vote for a position in the table,
(A)は右画像、(B)は視差の表、(C)は投票用の表を示す。 (A) the right image, (B) in the parallax table, (C) shows the table for the vote. なお、この場合における「投票」とは、或る横方向位置とそれに対応する視差の値の位置に、+1ずつ加算することを意味する。 Note that this is a "voting" in case, the position of the value of the disparity and the corresponding one lateral position, means that incremented by + 1. 例えば位置(8)の位置に視差「15」が1個存在する場合には、図4(C)の位置 For example, when the position where the parallax "15" at the position of (8) present one, the position shown in FIG. 4 (C)
(8)で視差「15」の位置に「+1」が加算される。 "+1" is added to the position of the parallax "15" (8). 図4(B)の例では、位置(8)の位置に視差「15」が5 In the example of FIG. 4 (B), the parallax "15" to the position of the position (8) 5
個存在するから、最終的には位置(8)で視差「15」の位置に「5」が投票されることになる。 Since pieces are present, the "5" position of disparity "15" in position (8) is to be voted in the end.

【0033】また、図5は、上記の投票を全てのウィンドウにおいて行った結果を示す図であり、(A)は上画像、(B)は視差の表、(C)は投票用の表を示す。 Further, FIG. 5 is a graph showing the results of all windows vote for the, (A) is on the image, (B) the table of parallax, the table (C) is for the voting show.

【0034】図4から判るように、図3で設定したウィンドウにおいて、横方向が同じ位置のウィンドウは同じ方向を撮像したものである。 [0034] As can be seen from FIG. 4, in the window set in FIG. 3, the window lateral same position is obtained by imaging the same direction. また、図5から判るように、前方に物体が存在する場合、物体を検知している部分では同じx座標上の縦方向のウィンドウは同じ視差が求められ、路面上に物体が存在しない場合では同じy座標上の横方向のウィンドウで同じ視差が求められる。 Moreover, as can be seen from FIG. 5, when there is an object in front, the part that detects an object longitudinal direction of the window on the same x-coordinate is the same disparity is determined, in the case where no object exists on the road surface the same disparity is determined by lateral windows on the same y-coordinate. このような距離画像を用いて、図4に示した方法で表に投票を行なうと、同じ方向(同じx座標上)に同じ視差が並んでいると、その方向と視差の値への投票回数が多くなるため、その位置の値が高くなる。 Using such a distance image, when the vote table in the manner shown in FIG. 4, the same direction are lined up the same parallax (same x-coordinate), the vote count to the value of the direction and the parallax because increases, the value of the position is high. したがって、図5 Thus, FIG. 5
の表から値の高い位置を探すことで前方の物体の有無を検知できる。 Table from capable of detecting the presence or absence of forward object by looking for the high value position of. 図5に示す例では、(3)、(4)番目のウィンドウで視差「19」の部分(左方の木に相当)、(5)番目のウィンドウで視差「5」の部分(中央の木に相当)、(8)〜(16)番目のウィンドウで視差「15」の部分(先行車に相当)で投票が集中し、値が高くなっている。 In the example shown in FIG. 5, (3), (4) th window (corresponding to the trees left) portion of the parallax "19", the (5) th partial parallax "5" in the window (the center of the tree the equivalent), (8) to (16) th of the vote in parts of the disparity "15" (corresponding to the preceding vehicle) is concentrated in the window, the value is high. 例えば視差「15」の部分の値が高いということは、カメラが撮像した画角内に視差が約15画素となる物体が撮像されていることを示す。 For example that the value of the portion of the parallax "15" is high, indicating that the object the camera parallax within the angle of view captured is about 15 pixels are imaged. 仮に前記図2に示した眼間距離Dを0.1m、焦点距離fを1500画素とすると、カメラからその物体までの距離は、前記(数1)式により、前方10m(=1500×0.1/1 If 0.1m interocular distance D shown in FIG. 2, and the focal length f and 1500 pixels, the distance from the camera to the object, by the equation (1), the front 10 m (= 1500 × 0. 1/1
5)であると求められる。 5) is the sought. また、視差が15画素の位置の投票結果をx軸方向で見ると、x軸方向に定義した Further, the parallax View Poll Results position 15 pixels in the x-axis direction, as defined in the x-axis direction
(8)〜(16)番目のウィンドウ付近の値が高く、その左右両側のウィンドウでは投票値が低くなっている。 (8) to (16) th window value of the vicinity is high, voting value in the left and right sides of the window is low.

【0035】図6は、上記の内容を判りやすく示すため、図5の投票結果から視差15の部分を抜き出して1 [0035] Figure 6 to indicate easy understanding of the content of the above by extracting portions of the parallax 15 from voting in FIG 1
次元グラフとしてあらわした図である。 Is a diagram that shows the dimension graph. 図6において、 6,
(a)は図5の(c)に相当する表、(b)は1次元グラフ、(c)は対応する画像である。 (A) one-dimensional graph, the corresponding table, (b) in (c) of FIG. 5 (c) is a corresponding image. 以下、図6を用いて、物体が撮像されるおおよその横方向(x軸方向)の範囲を求める方法を説明する。 Hereinafter, with reference to FIG. 6, illustrating a method for determining the scope of the approximate lateral object is imaged (x-axis direction).

【0036】図6(b)において、横軸はx方向に定義したウィンドウの位置、縦軸はそのx座標位置で視差= [0036] In FIG. 6 (b), the horizontal axis represents the position of the window defined in the x direction, and the vertical axis in its x-coordinate position parallax =
15となったウィンドウの個数である。 Is the number of the window from which the 15. この図では、 In this figure,
(8)〜(16)番目の値が高い。 (8) to (16) th of a high value. このことは(8)〜(16)番目の間に高さをもつ物体が撮像されていることを示している。 This indicates that it is imaged object having a height between the (8) to (16) th. また、グラフ内の横線は、物体が撮像されているか否かを判断するために設けたしきい値である。 Also, horizontal lines in the graph is the threshold of the object is provided to determine whether the captured. しきい値は、例えば次の方法で設定すればよい。 Threshold, for example, may be set in the following manner. すなわち、表の値は画像上に撮像される物体の高さに比例し、画像上の物体の高さは実際の物体の高さを一定とすると物体までの距離に反比例する。 That is, the value of the table is proportional to the height of the object to be imaged on the image, the height of the object on the image is inversely proportional to the distance to the object when a constant height of the actual object. このことから、物体までの距離に応じて画像上の高さを計算し、その高さに含まれるウィンドウの個数を基準にヒストグラムのしきい値を設定することができる。 Therefore, it is possible to the height of the image is calculated according to the distance to an object, sets the threshold value of the histogram based on the number of windows contained in its height. 例えば、図6(b)では、しきい値を5.5に設定している。 For example, in FIG. 6 (b), by setting the threshold to 5.5. したがって、しきい値以上の値を持つ位置は(8)〜(16)番目のウィンドウであるので、 Accordingly, since the position is the (8) to (16) th window having a value equal to or greater than the threshold value,
前方の物体が撮像されるおおよその横方向の範囲は(8) Approximate lateral extent of the forward object is imaged (8)
〜(16)番目のウィンドウの間であると求められる。 It is required to be between to (16) th window. 上記のように先行車が撮像されている横方向の範囲をxl〜 xl~ the lateral extent the preceding vehicle as described above is imaged
xrとする。 And xr.

【0037】次に、図7は、一方の画像に撮像された先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、(A)は側面図、(B)は撮像面A Next, FIG. 7 is a diagram showing the relationship between the distance to the preceding vehicle and the imaging position of the upper and lower ends of the preceding vehicle picked up in one image, (A) is a side view, (B ) the imaging plane A
の画像例である。 Image example of a. 先行車までの距離Zが分かっている場合、路面からカメラまでの高さをH、先行車の高さをh If you know the distance Z to the preceding vehicle, the height from the road surface to the camera H, the height of the preceding vehicle h
とすると、図7より、その先行車の上下端(yu,y When, from 7, the upper and lower ends of the preceding vehicle (yu, y
d)は、ほぼ、下記(数2)式の位置に撮像される。 d) it is approximately is imaged at a position below equation 2. なお、ここでは下端ydはほぼ路面と同じ高さとみなす。 Incidentally, it regarded as the same height as the lower end yd almost road here.

【0038】 yu=f×(h−H)/Z, yd=−f×H/Z …(数2) 図8は、先行車上に上記の上下端(yu、yd)を含む程度の大きさで縦長のウィンドウを切り、それぞれにおいて各y座標毎に水平エッジのヒストグラムと輝度のヒストグラムを求めた様子を示す図であり、(A)は原画像上に設けた縦長のウィンドウの一例、(B)は先行車の存在位置を水平微分したエッジを示す図、(C)は(B)における〜のウィンドウの各水平エッジのヒストグラムを示す。 [0038] yu = f × (h-H) / Z, yd = -f × H / Z ... (number 2) 8, the above upper and lower ends on the preceding vehicle (yu, yd) of the extent including the size Vertical cut windows, is a diagram showing a state in which a histogram of the horizontal edge histogram and the luminance for each y coordinate in each, (a) is an example of a vertically long window provided on the original image in is, ( B) is a diagram illustrating a horizontal differentiation edges of the existing position of the preceding vehicle, (C) shows a histogram of the horizontal edge of the window-in (B). なお、横長のウィンドウを設定した場合には、各x座標毎の垂直エッジのヒストグラムを求める。 Incidentally, in the case of setting the horizontal window, a histogram of the vertical edges of each x-coordinate.

【0039】これらの縦長のウィンドウを定義する横方向の位置は、前記図6の距離画像から検出した先行車が撮像される範囲xl〜xrの間とすればよい。 The lateral position to define these elongated window preceding vehicle distance detected from the image of FIG. 6 may be a between range xl~xr being imaged. また、ウィンドウを定義する縦方向の位置は、前記(数2)式で求めた値をもとに、上下端yu、ydが含まれる程度の大きさ(上がyu+α、下がyd−α ただしαは所定の余裕値)とする。 The position in the vertical direction to define a window, the based on the value obtained in equation 2, the upper and lower ends yu, large enough to contain yd (above yu + alpha, but underlying yd-alpha α is a predetermined margin value). このとき、(数2)式の先行車の高さhは、通常、未知の値であるが、一般的な車両の高さを考え、1〜2m程度の範囲の適度な値で十分である。 In this case, equation (2) the height h of the preceding vehicle type is usually unknown values, consider the general height of the vehicle is sufficient at moderate value in the range of about 1~2m .

【0040】先行車は長い横エッジをもつ。 The preceding vehicle has a long horizontal edge. そのため、 for that reason,
先行車上にウィンドウを定義すると、図8の中央部のの3個所に定義したウィンドウでは、その水平エッジのヒストグラムのピークがほぼ同じ位置に現われる。 Defining a window on the preceding vehicle, the window defined three positions of the center of FIG. 8, the peak of the histogram of the horizontal edge appears at substantially the same position.
ここでは、距離画像と(数2)式より、先行車が存在し得る付近に限定してウィンドウを設けているため、定義したウィンドウにおいてウィンドウ間で同じ位置にヒストグラムのピークが存在する位置(ye1〜ye5の位置)は先行車上のエッジであると判断できる。 Here, the distance from the image and equation 2, because the preceding vehicle is provided with a window is limited to the vicinity that may be present, there is a peak of the histogram in the same position across the window in defined window location (Ye1 position of ~Ye5) can be judged as an edge on the preceding vehicle.

【0041】次に、図8の方法で検出したエッジの移動ベクトルを求め、そのエッジの中から、先行車の動きに基づいた動きをするエッジだけを選択する。 Next, determine the motion vector of the edge detected by the method of FIG. 8, from among the edge, to select only edges motion based on motion of the preceding vehicle. 図9はエッジの移動ベクトルを示す図であり、(A)は先行車が遠ざかる(車間距離が大きくなる)場合の例、(B)は先行車が近づく(車間距離が小さくなる)場合の例を示す。 Figure 9 is a diagram showing the movement vector of the edges, (A) Examples of a preceding vehicle away (inter-vehicle distance becomes larger), the case (B) is the preceding vehicle approaches (inter-vehicle distance becomes smaller) Example It is shown. 図9に示すように、先行車上のエッジは、車間距離が大きくなる場合にはy軸方向に画像の中心(原点を画像の中心とするとy=0の位置)に向かって移動し、車間距離が短くなる場合は画像の中心から遠ざかる方向に移動する。 As shown in FIG. 9, the edge on the preceding vehicle moves toward the center of the image in the y-axis direction when the inter-vehicle distance becomes large (the position when the center of the origin image y = 0), the inter-vehicle If the distance is short to move away from the center of the image. したがって、図8の方法で検出したエッジが先行車上のエッジであれば、車間距離が大きくなる場合は、y>0の位置のエッジは下方、y<0の位置のエッジは上方に移動し、車間距離が短くなる場合は、y>0 Therefore, if the edge of the detected edges preceding vehicle in the method of FIG. 8, when the inter-vehicle distance becomes large, the position of the edge of the position of the edge of the y> 0 is lower, y <0 moves upwards , if the inter-vehicle distance is shorter, y> 0
の位置のエッジは上方、y<0の位置のエッジは下方に移動し、車間距離が一定の場合はエッジの位置は不変となる。 The position of the edge of the upper, the position of the edge of the y <0 moves downward, if the inter-vehicle distance is constant the position of the edge is unchanged. なお、図9に上下方向の矢印で示したのが移動ベクトルである。 Incidentally, that shown in the vertical direction of the arrows in FIG. 9 is a motion vector.

【0042】また、そのエッジの移動量は、原点から遠いほど大きく、原点から近いエッジほど小さい。 Further, the movement amount of the edge more distant from the origin increases so small that the edge close to the origin. これらのことから、ステレオ画像処理で車間距離の変化を求めるとともに、図8で検出したエッジの移動ベクトルを求め、そのベクトルが図9に示す理論どおりの動きをするものを車両上のエッジとして再確認することにより、先行車検出の精度を向上させることが出来る。 For these reasons, re together determine the change in inter-vehicle distance in stereo image processing, obtains the movement vectors of the edges detected in FIG. 8, what the vector to the motion of the theoretical exactly shown in Figure 9 as an edge on the vehicle by confirming, it is possible to improve the accuracy of the preceding vehicle detection. 例えば、先行車直後の路面表示や先行車前方の歩道橋などのような車両以外のエッジは、上記の処理により誤検出エッジとして除去することができる。 For example, a vehicle other than the edge, such as a preceding vehicle road markings and the preceding vehicle ahead of the footbridge immediately can be removed as a detected edge erroneous by the above process.

【0043】次に、エッジ間距離の変化率を求める方法およびその結果を用いて先行車上のエッジを再確認する方法について説明する。 [0043] Next, a method for reconfirming the edge on the preceding vehicle using the methods and the results determine the rate of change of the distance between the edges. 図10は、一方の画像に撮像された先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、(A)は時点t−1における位置、(B)は時点tにおける位置を示す。 Figure 10 is a diagram showing the relationship between the distance to the preceding vehicle and the imaging position of the upper and lower ends of the preceding vehicle picked up in one image, (A) is located at the time t-1, (B) is It indicates the position at time t. 図10に示すように、追従中の車両上から、バンパーなど路面に平行な線を異なる位置から2本ずつ2組選択し、その2本の平行線間の距離をh1、h2とする。 As shown in FIG. 10, from the vehicle being followed, road select two pairs two by two from different positions parallel lines bumper, the distance between the two parallel lines and h1, h2. 焦点距離をfとし、時点t−1において車間距離がZ t-1のときのh The focal length and f, h when the inter-vehicle distance at time t-1 is the Z t-1
1、h2の画像上の長さをそれぞれy1 t ,y2 tとすると、y1 t ,y2 tは、それぞれ下記(数3)式で示される。 1, when h2 images on the length respectively y1 t, y2 t of, y1 t, y2 t is respectively represented by the following equation (3).

【0044】 y1 t-1 =h1・f/Z t-1 , y2 t =h2・f/Z t-1 …(数3) また、時点tにおける車間距離をZ tとすると、同様に、そのときの画像上のh1,h2の長さは、y1 t [0044] y1 t-1 = h1 · f / Z t-1, y2 t = h2 · f / Z t-1 ... ( Equation 3) In addition, the inter-vehicle distance at time t When Z t, similarly, the the length of the image on the h1, h2 when, y1 t =
h1・f/Z t , y2 t =h2・f/Z tとなる。 the h1 · f / Z t, y2 t = h2 · f / Z t. これらから、車間距離がZ tからZ t-1に変化したときの画像上のエッジ間の長さの時間的な変化率(以下、単に変化率と記す)は、h1、h2ともに、下記(数4)式に示すようになる。 These temporal change rate of the length between the images on the edges when the inter-vehicle distance is changed from Z t in Z t-1 (hereinafter, simply referred to as the rate of change) is, h1, h2 together, following ( as shown in equation 4) below.

【0045】 y1 t /y1 t-1 =y2 t /y2 t-1 =Z t-1 /Z t …(数4) 上記(数4)式から判るように、エッジ間距離に関わらず、同じ物体上のエッジ間距離の変化率は、どのエッジが選択された場合でも値が同じになり、その値は、車間距離の変化率(Z t /Z t-1 )の逆数(Z t-1 /Z t )となる。 [0045] y1 t / y1 t-1 = y2 t / y2 t-1 = Z t-1 / Z t ... ( Equation 4) As can be seen from the above equation (4), regardless of the distance between the edges, the same rate of change of the distance between the edges of the object, the value is the same no matter which edge is selected, its value is the reciprocal of the rate of change of the vehicle distance (Z t / Z t-1 ) (Z t-1 / Z t) to become. このことから、図8や図9の方法によって検出した画像上の車両のエッジから2本ずつの組を作り、二つの時点で計測したエッジ間距離から、それらのエッジ間距離の変化率(y1 t /y t-1 ,y2・/y2 t-1 、…、y Therefore, to make a set of two by two from the vehicle of the edge of the image detected by the method of FIGS. 8 and 9, the distance between the edges measured at two time points, the rate of change of their distance between the edges (y1 t / y t-1, y2 · / y2 t-1, ..., y
t・/yn t-1 )を求め、それぞれの組で求めたエッジ間距離の変化率から、その値が同じである最も多い組のエッジを先行車上のエッジであると再確認することができる。 n t · / yn t-1 ) and determined from the rate of change of the distance between the edges obtained in each set, that the value is reconfirmed as an edge on the preceding vehicle the highest set of edges is the same can.

【0046】また、同時に、その最も多くの個所で求められたエッジ間距離の変化率は、その時点での画像上の先行車の大きさの変化率となる。 [0046] At the same time, the change rate of the most the distance between the edges found at the point is a preceding vehicle in the size of the rate of change of the image at that time. さらに、或るエッジを含む組に限って変化率が常に異なるものがあれば、そのエッジを先行車以外のエッジとして除外できる。 Further, if the rate of change only the set containing one edge is always different, can be excluded that edge as an edge other than the preceding vehicle. これにより、先行車付近の路面表示や路面のノイズだけでなく、外部からの反射光など、先行車上に現れるが先行車以外の水平エッジとなる光のノイズなども、先行車以外のエッジとして除去することが可能となる。 Thus, not only the road surface displayed or road noise around the preceding vehicle, such as a reflective light from the outside, but appear on the preceding vehicle also including noise light becomes horizontal edge other than the preceding vehicle, as an edge other than the preceding vehicle it is possible to remove.

【0047】このような除外すべきエッジがある場合、 [0047] If there is an edge to be excluded such,
距離画像上におけるそのエッジの存在位置の視差の値は、誤った値となる。 The value of the parallax of the location of the edge on the distance image is a false value. このことから、距離画像を用いた距離計測において、除外すべきエッジと判断されたエッジの存在位置の視差を用いないようにすることで、車間距離計測の確実性を向上させることができる。 Therefore, in the distance measurement using the distance image, by preventing using the disparity of the location of is determined to be excluded edge edges, it is possible to improve the reliability of the inter-vehicle distance measuring. 上記のように、図9、図10のような判断で先行車上のエッジだけを確実に選択することは、距離計測の確実性増加に対して有効な手段であり、特に、光のノイズや周囲のノイズなど、先行車以外のエッジが多く検出される環境下での距離計測の確実性向上に有効である。 As described above, FIG. 9, to reliably select only edges on the preceding vehicle in the determination shown in FIG. 10, the distance is an effective means against certainty increased measurement, in particular, optical noise Ya such as ambient noise, it is effective to ensure improvement of distance measurement in an environment where the edge other than the preceding vehicle is detected number.

【0048】次に、上記図9、図10で説明した方法を利用して車間距離の変化率を求める方法について説明する。 Next, FIG 9, a method is described for determining the rate of change of the vehicle distance by using the method described in FIG. 10. 図9、図10で求めたエッジ間距離の変化率は、前記(数4)式に示したように距離の変化の逆数となる。 9, the rate of change of the distance between the edges found in Figure 10, the reciprocal of the change in distance as shown in the equation (4) below.
このことから、最も多くのエッジについて求められたエッジ間距離の変化率の逆数をその時点での車間距離の変化率とすることができる。 Therefore, it is possible to make the most of the reciprocal of the rate of change of the obtained distance between the edges the edge with the rate of change of the inter-vehicle distance at the time. この方法では、先行車上のエッジを2本だけでなく、ヒストグラムのピークにより、 In this way, the edges of the preceding vehicle not only two, the peak of the histogram,
できるだけ多くの本数求めているため、光の反射などにより、或る一部のエッジが検出されない場合でも、他のエッジが検出できれば、その影響をうけることなく車間距離の変化率を求めることができる。 As possible since the number of seeking the number, such as by reflection of light, even if some of the edges one is not detected, if the detection other edge, it is possible to determine the rate of change of the vehicle distance without receiving the influence . この判断を加えることは、先行車上のエッジを検出しにくい環境に対する安定した確実な距離変化の算出に有効な手段となる。 The addition of this judgment, an effective means for the calculation of the stable and reliable distance change for difficult to detect environmental edge on the preceding vehicle.

【0049】次に、車間距離計測について説明する。 Next, a description will be given of vehicle-to-vehicle distance measurement. 車間距離計測には次の3方法がある。 The vehicle-to-vehicle distance measurement there are the following 3 methods. (1)連続的に入力される画像を用いたステレオ画像処理では、先行車上の視差を用いて前記(数1)式を適用することにより、先行車までの車間距離を時間的に連続的に求めることができる。 (1) in the stereo image processing using an image that is continuously input, by applying the equation (1) using the disparity on the preceding vehicle, the following distance to the preceding vehicle time-sequentially it can be obtained in. (2)車両追従中における車間距離の変化率は、前記図9、図10で説明した方法で求めることができる。 (2) the rate of change in inter-vehicle distance in the vehicle following, the 9 can be determined by the method described in FIG. 10. したがって、同じ車両に追従中であれば、数回前にステレオ画像処理で視差から計測した車間距離Z t-1に数回前からの画像上の車両のエッジ間距離の変化率の逆数を乗算することによっても、その時点での車間距離を算出することができる。 Thus, if in following the same vehicle, multiplied by the reciprocal of the rate of change of the distance between the edges of the vehicle on the image from the previous several times following distance Z t-1 measured from parallax in the stereo image processing before several times by also, it is possible to calculate the inter-vehicle distance at that point. (3)画像上の先行車の高さ(yu−yd)から車間距離を求める方法。 (3) a method for obtaining the inter-vehicle distance from the preceding vehicle height on the image (yu-yd).

【0050】以下、上記(3)の方法について詳細に説明する。 [0050] Hereinafter, will be explained in detail how the above (3). 図7に示した先行車の高さhは通常は未知の値である。 The height h of the preceding vehicle as shown in FIG. 7 but it is usually unknown value. しかし、ステレオ画像処理で求めた先行車までの距離Zと画像上の先行車の高さ(yu−yd)が求められていれば、下記(数5)式によって追従中の車両の高さhを求めることができる。 However, if the preceding vehicle height above the distance Z and the image from the preceding vehicle obtained by the stereo image processing (yu-yd) is determined, the height h of the vehicle being followed by the following equation (5) it can be obtained.

【0051】 h=Z×(yu t −yd t )/f …(数5) ただし、f:焦点距離 yu t :時点tにおけるyuの値 yd t :時点tにおけるydの値 ここでは、図8、図9、図10の方法で、確実性高く先行車のエッジだけを検出できているため、画像上から検出した先行車上のエッジの組み合わせのうち、最上端と最下端のエッジを選択することで、画像上の先行車の高さ(yu−yd)を求めることが可能である。 [0051] h = Z × (yu t -yd t) / f ... ( 5) However, f: focal length yu t: value of yu at time t yd t: value of yd at time t Here, FIG. 8 9, in the method of FIG. 10, since the only detectable edge of the high reliability preceding vehicle, among the combinations of the edge on the preceding vehicle detected from an image on, selects the uppermost and lowermost edges it is, it is possible to determine the preceding vehicle height above image (yu-yd). 追従中の先行車の高さhは一定であるので、同じ車両に追従中の場合、1度先行車の高さhを求めておけば、そのhをもとに新たに検出した画像上の先行車の高さ(yu t+1 The height h of the preceding vehicle being followed is constant, being followed in the same vehicle when, if seeking height h of 1 degree preceding vehicle, the image on the newly detected based on the h preceding vehicle height (yu t + 1 -
yd t+1 )を、(数5)式に代入することで、下記(数6)式に示すように、画像上の先行車の高さ(先行車上のエッジ間の距離)からも車間距離Zを算出することが出来る。 The yd t + 1), by substituting the equation (5), the inter-vehicle from below (as shown in Formula 6), preceding vehicle height on the image (the distance between the preceding vehicle edge) it is possible to calculate the distance Z.

【0052】 Z=h・f/(yu t+1 −yd t+1 ) …(数6) ただし、h:(数5)式で算出した値 (数5)式のhを(数6)式に代入すると下記(数6')式のようになる。 [0052] Z = h · f / (yu t + 1 -yd t + 1) ... ( number 6) where, h :( 5) the number of the h of the calculated value (number 5) (in the formula 6) substituting the equation becomes the following equation (6 ') as equation.

【0053】 Z t+1 =Z t ×(yu t −yd t )/(yu t+1 −yd t+1 ) 或いは …(数6') Z t =Z t-1 ×(yu t-1 −yd t-1 )/(yu t −yd t ) ただし、Z t+1 :時点t+1における車間距離 Z t :時点tにおける車間距離 Z t-1 :時点t−1における車間距離 yu t-1 :時点t−1におけるyuの値 yd t-1 :時点t−1におけるydの値 (数6')式から判るように、上記の方法で求めた車間距離は、ステレオで求めた時点tにおける車間距離Z t [0053] Z t + 1 = Z t × (yu t -yd t) / (yu t + 1 -yd t + 1) , or ... (number 6 ') Z t = Z t -1 × (yu t-1 -yd t-1) / (yu t -yd t) However, Z t + 1: inter-vehicle distance at the time t + 1 Z t: vehicle distance Z t-1 at time t: vehicle at time t-1 distance yu t-1 : the value of yu at time t-1 yd t-1: as can be seen from the values (6 ') equation yd at time t-1, the inter-vehicle distance obtained by the above method, at the time t obtained in stereo vehicle-to-vehicle distance Z t
に対して、画像上のエッジ間距離の変化率の逆数(yu Relative, reciprocal of the rate of change of the distance between the edges of the image (yu
t −yd t )/(yu t+1 −yd t+1 )を乗算することと同じである。 t -yd t) / (yu t + 1 -yd t + 1) is the same as multiplying by. つまり、(2)と(3)の方法は、実際に適用する計算式は異なっているが、原理的には同じことである。 In other words, the method of (2) and (3) have formula that actually apply different is same in principle.

【0054】上記(2)、(3)の距離計測方法は、距離の確認および距離計測を高精度化することが出来る。 [0054] (2), the distance measurement method (3), the distance check and distance measurement can be highly accurate.
すなわち、距離の確認は、(1)のステレオ画像処理で算出した距離と(2)または(3)のエッジ間距離の変化率から求めた距離とを照合することによって行なうことが出来る。 In other words, confirmation of the distance can be done by matching the distance obtained from the rate of change in distance between the edges of the (1) and the distance calculated by the stereo image processing of (2) or (3). また、エッジ間距離の変化率から求める車間距離変化率は、ステレオ画像処理で連続的に求めた距離から算出される車間距離変化率より精度が良い。 Further, the inter-vehicle distance change rate obtained from the rate of change of the distance between the edges is better accuracy than the inter-vehicle distance change rate calculated from the continuously determined distance by stereo image processing.

【0055】ここで、上記の精度向上の理由について図11に基づいて説明する。 [0055] Here it will be described with reference to FIG. 11 for the above reasons accuracy of. (1)の方法と(2)、 (1) and the method (2),
(3)の方法で求めた車間距離の精度の違いを考える。 (3) Consider the accuracy difference between the inter-vehicle distance obtained by the method.
車載のステレオカメラの場合、h>D(h:先行車の高さ、D:カメラ間の距離)であるため、同じ車間距離を計測したときにおける視差(ya−yb)(単位:画素)に対して先行車の高さ(yu−yd)(単位:画素)の方が大きな値となる。 For automotive stereo camera, h> D (h: preceding vehicle height, D: distance between the cameras) for a parallax in case of measuring the same inter-vehicle distance (ya-yb): (the unit pixel) the height of the preceding vehicle for (yu-yd): towards the (unit pixel) is a large value. そのため、(数6)式による車間距離計測の方が、1画素のずれによる誤差の影響が小さいため、ステレオ視差からの計測車間距離より分解能の細かい測距が可能となる。 Therefore, towards the inter-vehicle distance measurement by equation (6) is, for the influence of the error due to the deviation of one pixel is small, it is possible to fine distance measurement resolution from the measurement distance to the stereo disparity.

【0056】例えば、眼間距離D=0.2m、f=10 [0056] For example, distance between eyes D = 0.2m, f = 10
00画素、先行車の高さh=1mとした場合において、 00 pixels, in the case of a height h = 1 m of the preceding vehicle,
車間距離が10mの場合を考える。 Vehicle-to-vehicle distance Consider the case of 10m. このとき、先行車のステレオ視差は20画素(=0.2×1000/1 At this time, the stereo disparity of the preceding vehicle is 20 pixels (= 0.2 × 1000/1
0)、画像上の先行車の高さは100画素(=1×10 0), preceding vehicle height on the image is 100 pixels (= 1 × 10
00/10)となる。 00/10) and a. この二つにおいて、視差と先行車の高さ検出が1画素ずれると、ステレオ視差の場合には、20画素が19画素となるので、10.52m(= In these two, the parallax and the preceding vehicle height detection is shifted 1 pixel, in the case of a stereo disparity, because 20 pixels is 19 pixels, 10.52m (=
0.2×1000/19)と計測されるのに対し、高さ計測の場合には、100画素が99画素となるので、1 While being measured to 0.2 × 1000/19), in the case of height measurements, so 100 pixels is 99 pixels, 1
0.1m(=1×1000/99)と計測される。 Is measured and 0.1m (= 1 × 1000/99). つまり、1画素の検出誤差が、ステレオ画像処理では0.5 That is, the detection error of one pixel is 0.5 in the stereo image processing
mであるのに対し、高さ計測では0.1mとなる。 While it is m, the 0.1m in height measurement.

【0057】視差や画像上の高さの検出の1画素のずれは計測する車間距離分解能に相当する。 [0057] deviation of one pixel of the detection of the height of the parallax and the image corresponds to the inter-vehicle distance resolution measures. つまり、車載のステレオカメラによる車間距離計測の場合には、先行車の高さより広い眼間距離を持つカメラ設定は実用上困難であるため、画像上の先行車のエッジ間距離の変化を用いた計測の方がステレオ視差を利用した計測よりも細かい分解能での計測が可能である。 That is, when the inter-vehicle distance measurement by vehicle stereo camera, since the camera settings with a wide distance between the eyes than the height of the preceding vehicle is practically difficult, using the change in the preceding vehicle distance between the edges in the image it is possible to measure with finer resolution than the measurement towards the measurement using the stereo parallax. このことから、追従中の先行車までの車間距離を二つの方法で求めてその結果を照合することは、車間距離の確認だけでなく、ステレオ視差から求めた車間距離の高精度化にもつながることになる。 Therefore, by matching the result of the inter-vehicle distance to the preceding vehicle being followed are acquired by two methods, as well as confirmation of the inter-vehicle distance, leads to higher accuracy of the inter-vehicle distance obtained from the stereo parallax It will be. 同じ理由により、車間距離の変化率もステレオ画像処理で求めた車間距離から求めたものよりも画像上のエッジ間距離の変化から求めた方が高精度となる。 For the same reason, it was determined from the change in distance between the edges of the image than that obtained from the inter-vehicle distance obtained by the change rate stereo image processing of the inter-vehicle distance is accurate. このことから、(2)および(3)の方法では、ステレオ画像処理で求めた車間距離の確認および高精度化が可能となる。 Therefore, in the method (2) and (3), confirmed and accuracy of the inter-vehicle distance obtained by the stereo image processing can be performed.

【0058】また、上記の説明は、二つのカメラの光軸は相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置した場合について行なったが、撮像面の水平軸が同じライン上に揃うように設置してもよい。 [0058] Further, the above description, the optical axis of the two cameras are mutually parallel and although the vertical axis of the imaging surface is performed on the case of installing to align on the same line, the horizontal axis of the imaging surface it may be installed so as to be aligned on the same line. また、図8の説明においては、先行車上に設定するエッジ検出用の複数のウインドウを縦長とした場合について説明したが、横長のウインドウとし、検出する先行車上のエッジの対象を垂直エッジとしても同様の原理が適用できる。 Further, in the description of FIG. 8, but is set on the preceding vehicle a plurality of windows for edge detection described the case where the vertically long, and a laterally long window, as the vertical edge object edge on the preceding vehicle detecting It can also be applied the same principle. また、カメラの置き方、検出対象エッジの向きに関わらず、同様の効果も期待出来る。 In addition, how to place the camera, regardless of the orientation of the detected edge, the same effect can be expected.

【0059】次に、これまで説明した方法を用いて、追従中の先行車上のエッジを検出し、車間距離の変化率を求めることで車間距離の確認および高精度化を行う実施の形態について説明する。 Next, using the methods described above, to detect the preceding vehicle on the edge being followed, embodiments to verify and accuracy of the following distance by calculating the rate of change of the inter-vehicle distance explain. ここでは、前記図2のようにカメラを路面に対して縦に平行に並べ、2台のカメラのy軸が同一ライン上にのるように配置したステレオカメラを用いることとする。 Here, arranged parallel to the longitudinal to the road surface the camera to the Figure 2, y-axis of the two cameras is to be used stereo camera arranged to rest on the same line.

【0060】図12は、この実施の形態における演算処理の流れを示すフローチャートである。 [0060] Figure 12 is a flowchart showing a flow of processing in this embodiment. まず、ステップS101では、図2のカメラAとBのステレオ画像、すなわち画像Aと画像Bを入力する。 First, in step S101, the camera A and B of the stereo images of Figure 2, that is, the input image A and image B. 次に、ステップS1 Next, step S1
02では、視差を求めることによって距離画像を作成し、作成した距離画像から先行車の位置と距離を検出する(前記図4〜図6参照)。 In 02, it creates the distance image by determining a disparity, to detect the position and distance of the preceding vehicle from the distance image generated (see FIG. 4 to FIG. 6).

【0061】次に、ステップS103では、まず、距離画像から先行車の存在する横(x軸)方向の範囲を(x Next, in step S103, first, the presence of the preceding vehicle from the distance image horizontal (x axis) direction in the range (x
1〜xr)を求める(図6、図8参照)。 1~Xr) Request (see FIGS. 6 and 8). また、距離画像から求めた先行車までの距離Zをもとに前記(数2) In addition, the based on the distance Z from the distance image to the preceding vehicle calculated (Equation 2)
式により、先行車の概略の上下端yu、ydを求め、y The expression, preceding vehicle outline of the upper and lower ends yu, the yd determined, y
u、ydを含む大きさの縦長のウィンドウを設ける(前記図6〜図8参照)。 u, provided vertically long window size containing yd (see FIG. 6 to FIG. 8). ウィンドウの横方向の大きさは、 The lateral size of the window,
y座標毎のヒストグラムが求められるよう10画素程度以上とすれば十分である。 If 10 pixels around more like the histogram for each y-coordinate is determined it is sufficient. または、先行車の画像上の大きさは距離に応じて可変であるため、その距離に応じて、横幅が10画素以上のウィンドウが5個所以上に定義できるように適度な大きさで可変としてもよい。 Or, since the size of the preceding vehicle image is variable depending on the distance, in accordance with the distance, it is variable in an appropriate size so that the width is more than 10 pixels window can be defined more than five locations good. また、(数2)式をもとにウィンドウの上下端の定義位置yu+α、yd−αを求める際に用いる先行車の高さh Further, Equation 2 defines the position of the upper and lower ends of the window type based on yu + alpha, preceding vehicle height h used to obtain the yd-alpha
は1〜2m程度の平均的な値で十分である。 Is sufficient average value of about 1 to 2 m. また、余裕値αの値は、そのときの先行車の距離に応じて、先行車の高さの5分の1程度のマージンでよい。 The value of margin value α in accordance with the distance of the preceding vehicle at that time may be about one margin 5 minutes of the preceding vehicle height. 例えば、(数2)式より、距離から算出される先行車の画像上の高さが50画素程度の場合、αは10画素程度でよい。 For example, from equation 2, when the height of the preceding vehicle image calculated from a distance of about 50 pixels, alpha may be about 10 pixels.

【0062】次に、ステップS104では、ステップS [0062] Next, in step S104, step S
103で定義した縦長のウィンドウ内の水平エッジのヒストグラムを求める(図8参照)。 A histogram of the horizontal edge in a vertically long window defined by 103 (see FIG. 8). この際、水平エッジのヒストグラムは、図8(B)に示したように、ソーベルフィルタなどでウィンドウ内の画像を水平微分し、その水平微分画像の各y座標毎のヒストグラムをとればよい。 In this case, the histogram of the horizontal edge, as shown in FIG. 8 (B), the horizontal differentiating the image in the window in such a Sobel filter may be taking a histogram for each y coordinate of the horizontal differential image.

【0063】次に、ステップS105では、これらのヒストグラムから先行車上の水平エッジを検出する。 Next, in step S105, it detects the horizontal edge on the preceding vehicle from these histograms. すなわち、図8で定義したウィンドウの全てにおいて求めた水平エッジのヒストグラムから、半数以上のウィンドウにおいて同じ位置に検出されているエッジを見つける。 That is, from the histogram of the horizontal edge found in all windows defined in FIG. 8, find the edge that is detected at the same position in more windows than half.
先行車は路面に対して平行なエッジを持つため、先行車上に切ったウィンドウにおいて同じ位置に検出されるエッジは先行車のエッジであると一応みなすことができる。 Preceding vehicle because of its parallel edges to the road surface, edges detected at the same position in the window cut in the preceding vehicle can be considered once If it is the preceding vehicle edge.

【0064】なお、先行車上に定義するウィンドウを一つにすると、そのウィンドウの両端部分に白線が撮像される場合には、白線のエッジ強度が先行車のエッジ強度より強くなることが多いため、先行車ではなく白線の位置が検出されることがある。 [0064] Incidentally, when the one window defined on the preceding vehicle, if the white line is imaged on the opposite end portions of the window, because they often white line edge strength is stronger than the edge intensity of the preceding vehicle , the position of the white line is detected rather than the preceding vehicle. そのため、このような誤検出を防ぐためにウィンドウを複数設け、複数のウィンドウにおいて検出されたエッジを先行車上のエッジと判断するようにしている。 Therefore, a plurality of windows in order to prevent such erroneous detection, so that it is determined that the edge of the preceding vehicle detected edges in a plurality of windows.

【0065】次に、ステップS106では、ステップS [0065] Next, in step S106, step S
105で求めた先行車上のエッジの移動ベクトルを検出する(図9参照)。 Detecting a moving vector of an edge on the preceding vehicle determined in 105 (see FIG. 9). エッジの移動ベクトルの算出は、前述の方法で検出したエッジの位置において、例えば、検出対象上に切った小さなウィンドウの移動方向を求める方法などによる一般的なオプティカルフロー検出手法を施せばよい。 Calculation of the movement vector of the edges, at the position of edges detected in the manner described above, for example, may be subjected to common optical flow detection method according to a method of determining the direction of movement of the small window is cut into the detection target. このような処理により検出した全てのエッジのオプティカルフローより検出した各エッジ毎の移動ベクトルを求める。 Calculating the moving vector of each edge detected from the optical flow of all edges detected by such process.

【0066】また、ステップS106においては、上記のエッジの移動ベクトルを用いて、そのエッジが先行車上のものであるか否かを再確認する。 [0066] In Step S106, by using the movement vector of the edge, the edge is re-check whether or not on the preceding vehicle. この確認は、車間距離変化とエッジが存在する位置により、次のような基準で判断できる(図9参照)。 This confirmation is the position where there is the inter-vehicle distance change and the edge can be judged, the following criteria (see Figure 9). まず、車間距離が変化したときは、画像の中心に近いエッジの方が動きが小さく、画像の端に行くにつれ動きが大きくなる。 First, when the inter-vehicle distance changes, towards the edge close to the center of the image moves a small motion is increased as the going of the edge of the image. そのため、例えば、y=0(原点:画像中心)の位置に近いにもかかわらず、そのエッジより原点から遠い位置にあるエッジベクトルの平均の動きよりも大きな動きを示すベクトルがあれば、それは先行車以外のエッジである可能性が高い。 Therefore, for example, y = 0: even though close to the position (origin image center), if there is a vector indicating a larger motion than the average of the motion of the edge vector at a position farther from the origin than that edge, it is prior there is a high possibility that an edge other than the car. また、図9に示したように、車両上のエッジは、y<0の範囲とy>0の範囲とで移動方向が上下逆になるので、それと反対の動きをするエッジは先行車以外のエッジと判断出来る。 Further, as shown in FIG. 9, the edge of the vehicle, y movement direction between the <range and y 0> 0 ranges since upside down, therewith edges opposite movements other than the preceding vehicle edge and can be determined. また、車間距離変化が0のときに大きな動きを示したエッジも先行車以外のエッジと判断できる。 Further, it can be determined that a large edge showing the movement also other than the preceding vehicle edge when the inter-vehicle distance change is zero. このような判断基準をもとに、先行車以外の可能性の高いエッジを除去し、残ったエッジ(上記の基準に適合したエッジ)を先行車上のエッジと判断する。 Based on this criterion, to remove likely than the preceding vehicle edge, left edge is determined that edge on the preceding vehicle (edge ​​adapted to the above criteria). これにより、歩道橋や光の反射等の誤ったエッジを除去し、確実に先行車上のエッジを選択することが出来る。 Thus, to remove the false edge reflection like footbridge or light, it is possible to select an edge on reliably preceding vehicle.

【0067】次に、ステップS107では、エッジ間距離の変化率を算出し、それに基づいて車間距離の変化率(エッジ間距離の変化率の逆数に等しい:数4式参照) Next, in step S107, to calculate the rate of change in the distance between the edges, the rate of change of the inter-vehicle distance on the basis thereof (equal to the inverse of the rate of change of the distance between the edges: see Equation 4)
を算出する。 It is calculated. まず、図8、図9の方法で検出した先行車上のエッジの中から2本ずつの組を作り、全ての組におけるエッジ間距離を求める(図10参照)。 First, FIG. 8, make a set of two by two from the preceding vehicle on the edges detected by the method of FIG. 9 to determine the distance between the edges of all the sets (see FIG. 10). 前述したとおり、同じ物体上のエッジの組であれば、どの組でもエッジ間距離の時間的な変化率(y1 t /y1 t-1 、y2 t As described above, if the set of edges on the same object, the temporal rate of change is also the distance between the edges with which set (y1 t / y1 t-1 , y2 t
/y2 t-1 、…、yn t /yn−1)は同じ値となるはずである。 / Y2 t-1, ..., yn t / yn-1) should be the same value.

【0068】ここで、エッジ間距離の変化率の求め方を具体的に説明する。 [0068] Here, concretely describing the method of determining the rate of change of the distance between the edges. 図9の判断基準により選択されたエッジはオプティカルフローにより時間的な移動ベクトルが求められているエッジである。 Edge selected by the criteria of Figure 9 is an edge which temporal motion vector by the optical flow is demanded. そのため、そのベクトルの始点が前回のエッジ位置、終点が今回のエッジ位置となる。 Therefore, the starting point is the last edge position of the vector, the end point is the current edge position. つまり、前回のエッジ間距離yn t-1 (n: That is, between the last edge distance yn t-1 (n:
1、2、…、)は、エッジ間距離を求める対象の二つのエッジの移動ベクトルの始点と始点との距離となり、今回のエッジ間距離yn t (n:1、2、…、)は、二つのエッジの移動ベクトルの終点と終点との距離として求められる。 1,2, ...,) becomes the distance between the starting point and the starting point of the movement vector of the two edges of the subject to determine the distance between the edges, this distance between the edges yn t (n: 1, 2, ...,) is determined as the distance between the end point and the end point of the movement vector of the two edges. この方法で全ての組におけるエッジ間距離の変化率yn t /yn t-1 (n:1、2、…、)を求めれば、その中から最も多く同じ値が求められた各組のエッジを先行車上のエッジと判断することができる。 The rate of change yn t / yn t-1 of the distance between the edges in all sets in this way (n: 1,2, ...,) be determined, and the each pair of edges most the same values obtained from them it can be determined that the edge of the preceding vehicle.

【0069】また、そのエッジ間距離の変化率の逆数はその時点での車間距離の変化率となる。 [0069] In addition, the reciprocal of the rate of change of the distance between the edges is the rate of change of the vehicle distance at that point. この方法では、 in this way,
選択した2本のエッジ間距離だけでなく、同じ変化率を示す多くのエッジ間距離の変化をみているため、1、2 Not only two edges between a selected distance, because looking at changes in the number of the distance between the edges showing the same rate of change, 1,2
本のエッジ検出ミスがある場合でも車間距離の変化率を正しく求めることができる。 It can be obtained rate of change in inter-vehicle distance correctly even if there is present an edge detection error. したがって、車間距離変化率計測の確実性を向上させることが出来る次に、ステップS108では、上記のエッジ間距離の変化率をもとに、ステレオ画像処理で計測した車間距離の再確認を行なう。 Therefore, the next can improve the reliability of the inter-vehicle distance change rate measurement, at step S108, on the basis of the rate of change of the distance between the edges, performing reconfirmation vehicle distance measured by the stereo image processing. (数4)式で説明したように、エッジ間距離の変化率の逆数は車間距離の変化率となる。 (Equation 4) As described in the equation, the inverse of the rate of change of the distance between the edges is the rate of change of the vehicle distance. つまり、1回前のエッジ間距離に対する今回のエッジ間距離の変化率を求めた場合、1回前にステレオ画像処理で視差から求めた車間距離Z t-1に対して、エッジ間距離の変化率の逆数をかけることで今回の車間距離Z tを算出することができる。 In other words, when the rate of change in this distance between the edges of the front one with respect to the distance between the edges, with respect to inter-vehicle distance Z t-1 determined from the disparity in stereo image processing before one change in the distance between the edges it is possible to calculate the current vehicle distance Z t by multiplying the reciprocal of the rate. ステレオ画像処理の視差による車間距離算出も毎回行われているため、この変化率を用いることでステレオ画像処理で求めた車間距離の確認にもなる。 Since being made every even inter-vehicle distance calculated by the parallax of a stereo image processing, also to check the inter-vehicle distance obtained by the stereo image processing by using the rate of change. さらに、図11でも説明したように、エッジ間距離の変化率から求めた車間距離の変化率は、ステレオ画像処理で連続的に求めた車間距離から求められる車間距離の変化率よりも高精度であるため、計測車間距離自体の高精度化にも貢献できる。 Further, as explained in FIG. 11, the change rate of the inter-vehicle distance obtained from the rate of change of the distance between the edges, rather than the rate of change in inter-vehicle distance obtained continuously from the obtained inter-vehicle distance in stereo image processing with high accuracy there therefore, can contribute to the accuracy of the measurement vehicle distance itself.

【0070】また、(数5)式、(数6)式の説明の際、追従中の先行車の高さhを算出することで、エッジ間距離からも車間距離算出が可能になることを説明したが、実用的には、上記hを求める際に用いたエッジが前記図9および図10の判断によって先行車以外のエッジであると判断された場合には、他の2本のエッジ間距離を用いて新たな値にhを算出し直すことで対応する。 [0070] Also, equation (5), when the equation (6) of the description, by calculating the height h of the preceding vehicle being followed, that it is possible to inter-vehicle distance calculated from the distance between the edges has been described, in practice, if the edge was used in obtaining the h is determined to be an edge other than the preceding vehicle by the determination of the FIGS. 9 and 10, between the other two edges corresponding by re-calculating the h to a new value using the distance. これにより、エッジ間距離を用いた車間距離算出の誤計測を防ぐことができ、さらに、先行車の入れ替わりなどによる車高hの変化にも対応可能となる。 Thus, it is possible to prevent erroneous measurement of the inter-vehicle distance calculated using the distance between the edges, further, it becomes possible to cope with changes in the vehicle height h due to preceding vehicle turnover. すなわち、先行車が入れ替わった場合には、その際に車高hが不連続に変化し、その後はほぼ一定になるので、このような場合には先行車が入れ替わったものと判断してその後の処理を実行すれば良い。 That is, when the preceding vehicle is replaced, the case in vehicle height h is changed discontinuously, since then becomes substantially constant, then the it is determined that the was replaced preceding vehicle in such a case processing may be the execution.

【0071】上記のように、第1の実施の形態においては、車両に設置した光軸が平行なステレオカメラで求めた画像に基づいて、視差から求めた距離画像から画像上の横方向における先行車の位置と先行車までの実際の車間距離とを概算し、距離画像から求めた画像上の位置において、そのときの車間距離をもとに先行車の上下端を含む大きさの縦長(または横長)のウィンドウを複数切り、それらのウィンドウの各y座標毎において水平エッジのヒストグラム(または各x座標ごとにおいて垂直エッジのヒストグラム)をとり、定義したウィンドウの中の多くのウィンドウにおいて同じ位置で検出されたエッジを一応先行車上のエッジと判断し、さらに、そのエッジの移動ベクトルを求め、ステレオ画像処理で求めた車間距離変化と適合 [0071] As described above, in the first embodiment, on the basis of the image obtained by the optical axis is parallel stereo camera installed on a vehicle, preceding in the horizontal direction on the image from the distance image obtained from the parallax estimate the actual inter-vehicle distance car position until the preceding vehicle, at a position on the obtained image from the distance image, the size of the portrait, including based on the preceding vehicle upper and lower ends of the inter-vehicle distance at that time (or multiple cutting windows horizontal), taking a histogram of the horizontal edge in each y-coordinate of their windows (or histogram of the vertical edges in each x-coordinate) detected at the same position in a number of windows in the window defined is determined once the edge of the preceding vehicle edges, further, adapting the movement vector of the edge determined, and the inter-vehicle distance change obtained in stereo image processing る方向および大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択するように構成したことにより、歩道橋、白線、路面表示などのような、先行車以外の強度の強いエッジを誤検出することなく、確実に先行車の上のエッジを選択することが出来る。 With the arrangements to select the direction and magnitude only edges showing the movement vector of the preceding vehicle edge that footbridge, white lines, such as road markings, erroneous detection of the intensity of strong edges other than the preceding vehicle it not, it is possible to select an edge on the reliably preceding vehicle.

【0072】また、同じ物体上のエッジ間距離の時間的変化率は、どのエッジ間距離においても同じであることから、上記の検出したエッジを2本ずつ組にし、全ての組においてエッジ間距離の時間的変化率を求め、変化率の異なる組のエッジを先行車以外のエッジとして除去するように構成したことにより、先行車上にかかる光のノイズなどの除去が可能になり、より確実に先行車を構成するエッジだけを選択することが可能となる。 [0072] Further, the temporal change rate of the distance between the edges on the same object, which because it is also the same in the distance between the edges, to set two by two the detected edge of the edge-to-edge distance in all sets calculated temporal change rate of, by and configured to remove different sets of edge rate of change as an edge other than the preceding vehicle enables the removal of such light noise according to the preceding vehicle, reliably possible to select only edges constituting the preceding vehicle become.

【0073】さらに、この方法によって先行車以外のエッジを除外することにより、除外したエッジの位置の視差を車間距離算出の際に除外することができるので、路面表示など先行車周囲にエッジが多く存在する環境や光の位置などによってノイズの多い環境下でも確実性の高い車間距離計測が可能となる。 [0073] Further, by excluding the edge other than the preceding vehicle by this method, it is possible to exclude the parallax position of the edge that is excluded in the inter-vehicle distance calculation, the edge there are in the preceding vehicle surroundings such as pavement markings such as by the position of the existing environment and light enables high inter-vehicle distance measuring also the certainty in noisy environments.

【0074】また、上記のエッジ間距離の変化率より、 [0074] Also, from the rate of change of the distance between the edges,
最も多くの組において同じ値で算出された変化率をもとに、その時点での車間距離の変化率を求めるように構成したことにより、1枚の画像だけを用いた処理において、光のノイズや影など、多少のエッジ検出ミスがあるときだけでなく、先行車上のエッジを検出しにくい環境下でも、車間距離の変化率を確実に正しく求めることが可能となる。 In the most often set based on the change rate calculated in the same value, by which is configured to determine a rate of change of the vehicle distance at the time, in the process using only one image, the light noise etc. and shadows, not only when there is some edge detection error, the preceding vehicle on the even detection difficult environment the edge, it is possible to determine reliably correct the rate of change of the vehicle distance.

【0075】また、ステレオ画像処理で過去に求めた車間距離に対して、車間距離の変化率を乗算することで、 [0075] Further, with respect to inter-vehicle distance obtained in the past by the stereo image processing, by multiplying the rate of change of the vehicle distance,
処理時点での新たな車間距離を算出するように構成したことにより、ステレオ画像処理で求めた車間距離との照合・確認が可能となる。 With the arrangements so as to calculate a new inter-vehicle distance at the processing time, collation and confirmation of the inter-vehicle distance obtained by the stereo image processing can be performed. さらにエッジ間距離の変化率から求めた車間距離の変化率は、ステレオ画像処理で連続的に求めた車間距離より求められる車間距離の変化率よりも高精度であるため、計測車間距離自体の高精度化にも貢献できる。 Furthermore the rate of change in inter-vehicle distance obtained from the rate of change of the distance between the edges, since the stereo image processing is continuously higher accuracy than the rate of change in inter-vehicle distance obtained from the inter-vehicle distance determined, the measured inter-vehicle distance itself high It can contribute to precision.

【0076】(第2の実施の形態)前記第1の実施の形態においては、二つのカメラによるステレオ画像処理によって車間距離計測を行なうものについて説明したが、 [0076] (Second Embodiment) The first embodiment has been described to perform inter-vehicle distance measured by the stereo image processing according to the two cameras,
第2の実施の形態においては、二つのカメラの代わりに、いわゆるレーザレンジファインダを用いて車間距離計測を行なう装置について説明する。 In the second embodiment, instead of the two cameras, apparatus is described for performing an inter-vehicle distance measurement using a so-called laser range finder.

【0077】図13は本発明の第2の実施の形態の構成を示すブロック図である。 [0077] Figure 13 is a block diagram showing a configuration of a second embodiment of the present invention. 図13において、7はレーザレンジファインダであり、自車の前部に前方を向いて設置されている。 13, 7 is a laser range finder is installed facing forward in the front of the vehicle. なお、車両の後部に後方を向けて設置し、車両後方の障害物を検出するように構成することもできる。 Incidentally, placed towards the rear to the rear of the vehicle it can also be configured to detect a vehicle obstacle behind. このレーザレンジファインダ7は、レーザレーダの照射を縦横に走査することで、前方の物体までの距離とその照射対象の反射強度(輝度)を2次元的に計測する装置である。 The laser range finder 7, by scanning the irradiation of the laser radar in a matrix, the distance between device for measuring the reflection intensity (luminance) two-dimensionally in the irradiation target to the front of the object. また、8はレーザレンジファインダ7 The laser range finder 7 8
から入力した画像信号を記憶する画像メモリであり、後記の輝度画像と距離画像を記憶する。 An image memory for storing image signals input from, and stores the later of the luminance image and a distance image. 9は演算部であり、例えばCPU、RAM、ROM等からなるマイクロコンピュータで構成される。 9 is a computation unit, for example CPU, RAM, configured by a microcomputer comprised of ROM or the like. その他、図1と同符号は同じものを示す。 Other, same reference numerals as Figure 1 have the same meanings.

【0078】以下、まず第2の実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。 [0078] Hereinafter, described first variety of arithmetic means and methods used in the second embodiment, then explaining the flow of the whole operation based on the flowchart. 図14 Figure 14
は、車両が走行する方向を中心として左右上下に道路前方を走査するレーザレンジファインダ7と計測対象物(先行車6)との位置関係を示す図である。 Is a diagram showing the positional relation between the laser range finder 7 for scanning the road ahead in the left and right vertical around a direction in which the vehicle is traveling with the measurement object (the preceding vehicle 6). レーザレンジファインダ7は、走査の中心軸が路面に平行で、かつ、直進する自車両の走行方向を向くように搭載されている。 Laser range finder 7, the center axis of the scanning is parallel to the road surface, and is mounted so as to face the traveling direction of the vehicle straight.

【0079】また、図15は図14のレーザレンジファインダ7で計測した距離画像と輝度画像の一例を示した図であり、(A)は輝度画像をイメージで示した図、 [0079] FIG. 15 is a diagram showing an example of the distance image and the luminance image measured by the laser range finder 7 in Fig. 14, (A) is a diagram showing the luminance image in the image,
(B)は距離画像をイメージで示した図、(C)は距離画像の内容(数値:例えばディジタル値)を示した図である。 (B) is a diagram showing a distance image in the image, (C) the content of the distance image: a diagram showing the (numerical example, a digital value). 距離画像とはレーザレンジファインダで計測される各角度毎の測定距離の2次元配列を、輝度画像とは反射光の強度の2次元配列を意味するので、実際の輝度画像および距離画像は図15(C)に示したような数値表(実際にはディジタル値)になるが、輝度画像の内容(数値表)は図示を省略している。 A two-dimensional array of measured distances for each angle measured by the laser range finder and the distance image, since the luminance image means a two-dimensional array of intensity of the reflected light, the actual luminance image and a distance image 15 numerical table as shown in (C) becomes the (actual digital value is), the content of the luminance image (numeric) are not shown. また、図15(C) Further, FIG. 15 (C)
において、「−1」は距離が測定可能距離の範囲外で測定不能な個所(例えば空)を示す。 In, "- 1" indicates distance not measurable points outside the range of the measurement distance (e.g., air). また、「18」、 In addition, "18",
「28」、「40」等の数値は対象物までの距離(m) "28", numerical value such as "40" is distance to the object (m)
を示している。 The shows.

【0080】以下、画像の横軸をx軸、縦軸をy軸、原点を画像の中心として説明する。 [0080] Hereinafter, y-axis x-axis the horizontal axis of the image, the vertical axis, illustrating the origin as the center of the image. ここで得られる輝度画像および距離画像上の点の座標と、その座標上の点を計測した対象となる実空間上の点の位置関係は、図14に示すように、走査範囲の角度と、値を計測するサンプリング間隔毎に動く照射の角度の大きさ(角度分解能)で決まる。 Wherein the coordinates of points on the luminance image and a distance image obtained, the positional relationship between the point on the real space for which the measurement of the point on the coordinate, as shown in FIG. 14, the angle of the scanning range, determined by the magnitude of the angle of illumination to move each sampling interval for measuring the value (angular resolution). 例えば、縦、横の角度分解能がそれぞれ、θ、 For example, the vertical and horizontal angular resolution, respectively, theta,
φのとき、画像上の座標(x=2、y=3)の位置に対応する実空間上の位置は、レーザレンジファインダの中心軸(画像面に垂直な軸)から、横に2θ、縦に3φの方向の最も近い位置にある物体面上の点となる。 When phi, the position in the real space corresponding to the position of the image on the coordinate (x = 2, y = 3), from the central axis of the laser range finder (axis perpendicular to the image plane), lateral to the 2 [Theta], vertical the point on the object surface in the nearest position in the direction of 3φ to. また、 Also,
距離画像と輝度画像の互いに同じ座標位置の計測値は、 Together measured values ​​of the same coordinate position of the distance image and the luminance image,
実空間上で同じ位置の計測値である。 Is the measurement value of the same position in the real space.

【0081】図16(A)は、図15の距離画像において、先行車と同じ距離を示す部分だけを太線で表した図である。 [0081] FIG. 16 (A) in the distance image in FIG. 15 is a diagram showing only the portion indicating the same distance as the preceding vehicle by a thick line. 道路前方に先行車がある場合には、図示のように、先行車と同じ距離を示す部分は、先行車上とその先行車の真下の路面の部分となる。 If there is a preceding vehicle on the road ahead, as shown, the portion showing the same distance as the preceding vehicle becomes the preceding vehicle on the road surface portion just below the preceding vehicle. つまり、物体が存在する位置では同じ距離を示す値が隣接する。 That is, in the position where the object exists value indicating the same distance adjacent. また、図16 In addition, FIG. 16
(B)は、前方に先行車がないときの計測結果である。 (B) is a measurement result in the absence of the preceding vehicle ahead.
図示のように、路上に先行車などの物体がないときは、 As shown, when there is no object such as a preceding vehicle on the road is,
画像の下半分の領域には路面が撮像(上半分は空)されるため、この下半分の領域で計測された距離は画面の下から上に向けて近距離から遠距離になる。 Since the road surface in the lower half area of ​​the image is captured (empty upper half), the distance measured in the region of the lower half will be far from a short from bottom to top of the screen. つまり、物体が存在する場合には、同じx座標上に同じ距離を示す画素が並ぶが、物体が無い場合にはx座標上には同じ距離の値は存在しない。 That is, when an object is present, but the pixels showing the same distance on the same x coordinate are arranged, if the object is not absent value of the same distance on the x-coordinate. このことから、図17に示す方法で物体の検知・計測が可能となる。 Therefore, it is possible to detect and measure objects in the manner shown in Figure 17.

【0082】図17は、z軸方向に距離をとり、x軸を画像のx軸方向として投票した値をy軸方向に示したグラフである。 [0082] Figure 17 takes the distance in the z-axis direction is a graph showing the value obtained by vote x-axis as the x-axis direction of the image in the y-axis direction. 図15(C)のごとき距離画像の値をもとに、図17の対応する位置に投票する。 Based on the value of such range image of FIG. 15 (C), to vote for the corresponding position in FIG. 17. 投票とは、例えば、x=2上にある画素で距離が3mの点のとき、グラフのx=2、z=3のところにy=1を加算する操作を意味する。 Vote, for example, when the distance in pixels located on x = 2 is point 3m, means an operation of adding y = 1 at the x = 2, z = 3 in the graph. 詳細は、前記第1の実施の形態において図4 Detail, FIG. 4 in the first embodiment
〜図6で説明した方法と同様である。 It is similar to the method described in to FIG. 6.

【0083】このような操作を距離画像全体の値について行なう。 [0083] performing such an operation for the distance of the entire image values. 前方zの位置に物体が存在する場合、その物体が撮像されるx座標の距離zの位置に複数回投票が繰り返されるため、表中のその位置の値が高くなる。 If there is an object at the position of the forward z, since a plurality of times voting is repeated at a distance z of x coordinate the object is imaged, the value of its position in the table is increased. 一方、物体が存在しないx座標上では、図16(B)に示したように、同じx座標上で同じ距離は計測されないため、表中で値が高くなる位置は存在しない。 On the other hand, in the x-coordinate of an object is not present, as shown in FIG. 16 (B), the same order on the x-coordinate the same distance is not measured, the value in the table is higher position does not exist. このことから、投票結果をもとに、表中の値が大きな位置の存在から物体の有無を求めることが出来る。 Therefore, voting result on the basis of, it can be determined whether the object values ​​in the table are from the presence of a large position. また、その物体の存在する位置は、x軸方向の範囲は投票値が所定値以上の範囲xl〜xr(xlは存在範囲の左端、xrは右端)のx軸方向の位置により、物体までの距離は表の距離zの値により、それぞれ求めることができる。 The position of presence of the object, the x-axis direction of the range (the left end of the existing range xl, xr right end) range xl~xr vote value is greater than a predetermined value by the x-axis direction of the position of, to the object distance the value of the distance z of the table, it can be obtained respectively.

【0084】次に、輝度画像上から先行車の撮像範囲を求める方法を説明する。 [0084] Next, a method for obtaining the imaging range of the preceding vehicle from the luminance image. 撮像範囲のx軸方向の範囲は、 x-axis direction of the range of the imaging range,
前述の方法でxl〜xrと求められる。 It obtained as xl~xr in the manner described above. また、画像のy In addition, the image of y
軸方向の範囲は次のような原理から求める。 Axial range determined from the following principle. 図18〜図20は、レーザレンジファインダで撮像した距離画像と輝度画像において撮像範囲と先行車までの距離の関係を表す図であり、図18は平面図、図19は側面図、図2 18-20 is a diagram showing the relationship of the distance to the preceding vehicle and the imaging range in the distance image and the luminance image captured by the laser range finder, 18 is a plan view, FIG. 19 is a side view, FIG. 2
0は先行車の存在範囲を示す画像である。 0 is an image showing the existence range of the preceding vehicle. 以下、図18 Below, as shown in FIG. 18
〜図20を用いて、y軸方向の範囲の求め方を説明する。 Using to 20, illustrating how to obtain the range of y-axis direction.

【0085】画像上の先行車の上端の位置をy=yu、 [0085] The position of the preceding vehicle at the upper end of the image y = yu,
下端をy=ydとする。 The lower end of the y = yd. 縦方向の角度分解能がφ、先行車までの距離がz、路面からレーザレンジファインダの中心軸までの高さをH、先行車の高さをhとすると、図19より、そのレーザレンジファインダで計測した輝度画像上における先行車の上下端(yu、yd)は、 tan(yu×φ)=(h−H)/z、 tan(yd If the angle resolution in the vertical direction is phi, the distance to the preceding vehicle z, the height from the road surface to the central axis of the laser range finder H, the height of the preceding vehicle is is h, from FIG. 19, the laser range finder upper and lower ends of the preceding vehicle on the luminance image measured (yu, yd) is, tan (yu × φ) = (h-H) / z, tan (yd
×φ)=−H/z の関係となる。 × φ) = - a relationship of H / z. ただし、ここでは、下端はほぼ路面と同じ高さとみなす。 However, in this case, the lower end is considered substantially the same height as the road surface. また、θ、φは微小角であるので、t In addition, θ, since φ is a small angle, t
anθ≒θ、tanφ≒φである。 anθ ≒ θ, it is tanφ ≒ φ. このことから、(y From this fact, (y
u、yd)は下記(数7)式で求められる。 u, yd) is obtained by the following equation (7).

【0086】 yu=(h−H)/(φ×z)、 yd=−H/(φ×z) …(数7) 上記の方法により、左上端が(xl、yu)、右下端を(xr、yd)として先行車が撮像される画像上の範囲を図20に示すように求めることができる。 [0086] yu = (h-H) / (φ × z), by yd = -H / (φ × z) ... (7) above method, the upper left end (xl, yu), a lower right end ( xr, preceding vehicle as yd) can be obtained as shown in FIG. 20 the range of the image to be captured.

【0087】次に、上記の方法で求めた輝度画像上の先行車の撮像範囲に縦長のウィンドウを切り、先行車上の水平エッジを検出する。 Next, cut vertically long window in the imaging range of the preceding vehicle on the luminance image obtained by the above method, detecting a horizontal edge on the preceding vehicle. これらの縦長のウィンドウを設定する横方向の位置は距離画像から検出した先行車が撮像される範囲xl〜xrとすればよい。 Lateral position setting these elongated window preceding vehicle detected from the distance image may be a range xl~xr to be imaged. また、縦方向の位置は、(数7)式に基づいてyuとydが含まれる程度の大きさ(上がyu+α、下がyd−α)にすればよい。 The position in the vertical direction, it is sufficient to (7) of the size extent that contains yu, yd on the basis of the equation of (above yu + alpha, underlying yd-alpha). これを用いて水平エッジを検出する方法の内容は、 The contents of the method of detecting the horizontal edge using this,
前記第1の実施の形態における図8およびその説明と同様なので省略する。 It omitted 8 and the description thereof and is similar in the first embodiment. なお、縦エッジを検出する場合は、 In the case of detecting a vertical edge,
同様の処理を横長のウィンドウを切ってy座標をx座標に置き換えて行えばよい。 The y coordinate may be performed by replacing the x coordinate off the landscape of the window the same process. また、後述する移動ベクトルやエッジ間距離の計算においても同様である。 The same applies in the calculation of the distance between the motion vector and the edge to be described later.

【0088】次に、上記の方法で検出したエッジの移動ベクトルを求め、そのエッジの中から、先行車の動きに基づいた動きをするエッジだけを選択するが、この内容は、前記第1の実施の形態における図9およびその説明と同様なので省略する。 Next, determine the motion vector of the edge detected by the above method, from among the edge, but to select only edges motion based on motion of the preceding vehicle, the contents of the first It omitted because it is the same as in FIG. 9 and the description thereof in the embodiments.

【0089】次に、エッジ間距離の変化率および車間距離の変化率を求める方法と、その結果を用いて先行車上のエッジを再確認する方法について説明する。 [0089] Next, a method of determining the rate of change and the rate of change of the distance to the distance between the edges, how to reconfirm the edge on the preceding vehicle by using the result will be described. なお、この方法は前記第1の実施の形態における図10およびその説明と類似しているが、画像入力手段がステレオカメラとレーザレンジファインダとで異なっているため、数式等が一部異なっているので、改めて説明する。 Although this method is similar to FIG. 10 and its description in the first embodiment, since the image input means is different between the stereo camera and laser range finder is different equation like part so, it will be described again.

【0090】図21は、輝度画像上の先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、(A)は時点t−1における位置、(B)は時点t [0090] Figure 21 is a graph showing the relationship between the distance to the position and the preceding vehicle picked up the preceding vehicle of the upper and lower ends on the luminance image, (A) is located at the time t-1, (B) is time t
における位置を示す。 Indicate the location in. 図21に示すように、追従中の車両上から、バンパーなど路面に平行な線を異なる位置から2本ずつ2組選択し、その2本の平行線間の距離をh As shown in FIG. 21, from the vehicle being followed, road select two pairs two by two from different positions parallel lines bumper, the distance between the two parallel lines h
1、h2とする。 1, and h2. 時点t−1における車間距離がz t-1 Inter-vehicle distance at the time t-1 is z t-1
のときのh1、h2の画像上の長さをそれぞれy h1, h2 of the image on the length of each y when the
t-1 、y2 t-1とすると、y1 t-1 、y2 t-1は、それぞれ下記(数8)式に示すようになる。 When 1 t-1, y2 t- 1, y1 t-1, y2 t-1 , respectively as shown in the following equation (8).

【0091】 y1 t-1 =(h1/φ)/z t-1 、 y2 t-1 =(h2/φ)/z t-1 …(数8) また、時点tにおける車間距離をz tとすると、同様に、そのときの画像上のh1、h2の長さは、y1 t [0091] y1 t-1 = (h1 / φ) / z t-1, y2 t-1 = (h2 / φ) / z t-1 ... ( 8) Furthermore, the inter-vehicle distance at the time t and z t Then, similarly, the length of the image on the h1, h2 of that time, y1 t =
(h1/φ)/z t 、y2 t (h2/φ)/z tとなる。 A (h1 / φ) / z t , y2 t (h2 / φ) / z t.
これらから、車間がz t-1からz tに変化したときの画像上のエッジ間の長さの変化率は、h1、h2ともに、下記(数9)式に示すようになる。 These rate of change in length between the edge of the image when the vehicle is changed from z t-1 to z t is, h1, h2 together is as shown in the following equation (9) below.

【0092】 y1 t /y1 t-1 =y2 t /y2 t-1 =z t-1 /z t …(数9) つまり、エッジ間距離に関わらず、エッジ間距離の変化率は、それらのエッジが同じ物体上のものであれば、どのエッジが選択された場合でも同じ値になり、その値は、車間距離の変化率(z t /z t-1 )の逆数(z t-1 [0092] y1 t / y1 t-1 = y2 t / y2 t-1 = z t-1 / z t ... ( number 9) That is, regardless of the distance between the edges, the rate of change of distance between the edges is their as long as the edge is on the same object, which edge is the same value even if it is selected, its value is the reciprocal of the rate of change of the vehicle distance (z t / z t-1 ) (z t-1 /
t )となる。 z t) to become. このことから、図8の方法によって検出した画像上の車両のエッジから2本ずつの組を作り、それらのエッジ間距離の時間的な変化率(y1 t /y Therefore, to make a set of two by two from the vehicle of the edge of the image detected by the method of FIG. 8, the temporal change rate between those edges distance (y1 t / y
t-1 、y2 t /y2 t-1 、…、yn t /yn t-1 )を求め、それらの組ごとに求めたエッジ間距離の変化率から、その値が同じである最も多い組のエッジを先行車上のエッジであると再確認することができる。 1 t-1, y2 t / y2 t-1, ..., yn t / yn t-1) and determined from the rate of change of the distance between the edges found for each of those sets, highest value is the same group it can be reconfirmed that the edge on the preceding vehicle edge.

【0093】さらに、或るエッジを含む組に限り、時間的変化率が常に他の組と異なるものがあれば、そのエッジを先行車以外のエッジとして除外できる。 [0093] Further, only the group comprising one edge, If there is a temporal change rate is always different from the other sets can be excluded that edge as an edge other than the preceding vehicle. これにより、先行車付近の路面表示や路面のノイズなど先行車以外の反射からくる光のノイズを、先行車以外のエッジとして除去することが可能となる。 Thus, the light of the noise coming from the reflection Nonleading such pavement markings and road noise in the vicinity of the preceding vehicle wheel, can be removed as an edge other than the preceding vehicle. また、同時に、その最も多くの個所で求められたエッジ間距離の変化率は、その時点での画像上の先行車の大きさの変化率となる。 At the same time, the change rate of the most the distance between the edges found at the point is a preceding vehicle in the size of the rate of change of the image at that time. つまり、この変化率の逆数をとることで、車間距離の変化率も求めることができるようになる。 That is, by taking the reciprocal of this rate of change, it is possible to determine also the rate of change of the vehicle distance. このように輝度画像から求めたエッジ間距離の変化率から車間距離の変化率を求めることが出来る。 Thus it is possible to determine the rate of change in the inter-vehicle distance from the rate of change of the distance between the edges obtained from the luminance image.

【0094】そして車間距離の変化率が求まれば、その値を所定演算回数前に計測した車間距離の値に乗算することにより、前記第1の実施の形態における(数6) [0094] And if the inter-vehicle distance change rate is obtained, by multiplying the value of inter-vehicle distance obtained by measuring the value before a predetermined number of calculations, the in the first embodiment (6)
式、(数6')式で説明したのと同様に、車間距離の値を求めることが出来る。 Wherein (6 ') in the same manner as described in formula, it is possible to determine the value of inter-vehicle distance. この方法では、レーザレンジファインダの距離画像による距離測定と同時に、レーザレンジファインダで得られた輝度画像からも距離の変化率を求めることが出来るので、両者を比較・照合することにより、より確実な距離計測が可能になる。 In this way, at the same time as the distance measurement by the distance image of the laser range finder, it is possible to obtain the change rate of the distance from the luminance image obtained by the laser range finder, by comparing and matching the two, more reliable distance measurement is possible.

【0095】また、図21等で説明した輝度画像からの距離変化測定方法は、先行車上に検出されるエッジのうちの数本が検出できれば、車間距離の変化率を計測可能となる。 [0095] The distance variation measuring method from the luminance image described in FIG. 21 or the like, if several detection of the edge detected on the preceding vehicle, it is possible measure the rate of change of the vehicle distance. したがって、エッジを検出しにくい形状・環境でも距離の変化率の計測は可能である。 Therefore, the measurement of the distance change rate detection difficult shape and Environmental edges is possible. また、逆にノイズの多い環境であっても、その中から、先行車の車間変化に合った動き、変化率を示すものだけを選択するので、ノイズに影響されることなく車間距離の変化率が計測できる。 Further, even in noisy environments Conversely, among them, the motion matching the vehicle change of the preceding vehicle, since only a select indicates the rate of change, rate of change of the vehicle distance without being affected by noise There can be measured. このように、環境変化に影響されない確実性の高い距離測定が可能となる。 Thus, it becomes possible to high range measurement with certainty of not being affected by environmental changes.

【0096】次に、前記図9、図21で説明した輝度画像からの先行車上のエッジ選択において、先行車以外のエッジであると選択されたエッジがある場合には、そのときの距離画像上におけるそのエッジの存在位置の距離は誤った値である可能性が高い。 [0096] Next, FIG. 9, the edge selection on the preceding vehicle from the luminance image described in FIG. 21, if there are edge selected as an edge other than the preceding vehicle, the distance image at that time is likely to be a value distance is wrong the existing position of the edge on. このことから、図17 From this, as shown in FIG. 17
の表への投票の際に、先行車以外と判断されたエッジの存在位置の距離を用いないようにすることも有効である。 When vote for the table, it is also effective to avoid using the distance of the location of the edge determined to than the preceding vehicle. このことにより、表への投票の際に誤計測値が反映されないため、車間距離計測の確実性を向上させることが出来る。 Thus, since the measured value erroneous during the voting to the table are not reflected, it is possible to improve the reliability of the inter-vehicle distance measuring.

【0097】次に、レーザレンジファインダは、装置から照射した光が反射して戻ってくるまでの時間をもとに距離を計測する。 [0097] Next, laser range finder, the light irradiated from the device measures the distance based on the time until the reflected and returned. そのため反射光の強度が弱い位置の計測値は信頼度が低い。 Therefore the measured value of the intensity is weak position of the reflected light is unreliable. また、光を吸収してしまう物体に照射した場合は反射光が返ってこない場合もあり、そのような位置の計測距離の値は誤計測値である。 In the case of irradiating the object absorbs the light may not come back reflected light, the value of the measured distance such positions are erroneous measurements. そのため、レーザレンジファインダから計測した輝度画像上において、輝度値が低い位置で計測された距離画像上の値を、図17の表への投票の際に用いない構成とすることも有効である。 Therefore, in the luminance image measured from the laser range finder, the values ​​of the distance image luminance value is measured at a low position, it is also effective to adopt a configuration that does not use in the vote for the table of FIG. 17. これにより、信頼性の高い値だけを用いた距離計測が行われるようになり、同時に、誤計測値が車間距離計測に反映されないため、車間距離計測の確実性を向上させることが出来る。 Thus, now the distance measurement using only the highly reliable values ​​are performed, at the same time, since the erroneous measurement value is not reflected in the inter-vehicle distance measurement can improve the reliability of the inter-vehicle distance measuring.

【0098】次に、これまで説明した方法を用いて、追従中の先行車上のエッジを検出し、車間距離の変化率を求めることで車間距離の確認および高精度化を行う実施の形態について説明する。 Next, using the methods described above, to detect the preceding vehicle on the edge being followed, embodiments to verify and accuracy of the following distance by calculating the rate of change of the inter-vehicle distance explain. ここでは、前記図14のようにレーザレンジファインダを車両の前方を向けて搭載した場合について説明する。 Here, the case where the laser range finder as FIG. 14 is mounted toward the front of the vehicle.

【0099】図22は、この実施の形態における演算処理の流れを示すフローチャートである。 [0099] Figure 22 is a flowchart showing a flow of processing in this embodiment. まず、ステップS111では、レーザレンジファインダの輝度画像と距離画像を入力する(図15参照)。 First, in step S111, and inputs the luminance image and a distance image of the laser range finder (see FIG. 15). 次に、ステップS1 Next, step S1
12では、まず、距離画像から表へ投票することにより、先行車の存在する横(x軸)方向の範囲(xl〜x In 12, firstly, by voting from the distance image to the tables, transverse to the presence of the preceding vehicle (x-axis) direction in the range (Xl~x
r、)と先行車までの距離zを求める(図16、図17 r,) and determining the distance z to the preceding vehicle (16, 17
参照)。 reference). ただし、この距離画像からの表への投票は、誤計測値が反映されないように、表へ投票する値を、レーサレンジファインダで計測した輝度がしきい値以上の位置の値だけとした上で図17に示した方法で行なう。 However, vote for the table from the distance image, as erroneous measurement value is not reflected, a value to vote to a table, on which the luminance measured by the tracer range finder is only the value of the position of or above the threshold carried out by the method shown in FIG. 17. また、後の処理である先行車のエッジ判断処理(ステップS115)において、先行車のエッジ検出用のウィンドウ内にあるが、先行車上のエッジではないと判断された位置の値も除外して投票してもよい。 Further, in the process in which the preceding vehicle edge determination processing after (step S115), there is the preceding vehicle in the window for detecting edges, the value of the position determination is not the edge of the preceding vehicle be excluded You may vote.

【0100】次に、ステップS113では、輝度画像から先行車の上下方向の範囲(yu〜yd)を検出する(図18〜図20参照)。 Next, in step S113, detects the vertical range of the preceding vehicle (Yu~yd) from the luminance image (see FIGS. 18 to 20). 次に、ステップS114では、ステップS112とステップS113で検出した先行車の撮像範囲に縦長または横長のウィンドウを定義する。 Next, in step S114, it defines the portrait or landscape windows imaging range of the preceding vehicle detected in step S112 and step S113. また、ステップS115では、上記ウィンドウ内のヒストグラムを求めることによって先行車上のエッジを検出する。 In step S115, it detects the edge of the preceding vehicle by a histogram in the window. さらにステップS116では、エッジの移動ベクトルを求め、そのエッジの中から、先行車の動きに基づいた動きをするエッジだけを選択する。 In addition step S116, it obtains the movement vector of an edge, from the edge, to select only edges motion based on motion of the preceding vehicle. これらのステップS114〜ステップS116の内容は、前記第1 The contents of these steps S114~ step S116, the first
の実施の形態における図12のステップS103〜ステップS106の内容と同様である。 Is the same as the contents of the step S103~ step S106 of FIG. 12 in the embodiment.

【0101】次に、ステップS117では、エッジ間距離の変化率を求め、その結果から車間距離の変化率を求める(図8、図21参照)。 Next, in step S117, the rate of change in the distance between the edges, determining the rate of change of the vehicle distance from the result (see FIG. 8, FIG. 21). この内容は前記第1の形態における図12のステップS107とほぼ同様である。 The contents are almost the same as step S107 of FIG. 12 in the first embodiment.
次に、ステップS118では、レーザレンジファインダの距離画像から求めた車間距離と、ステップS117で求めた車間距離の変化率から算出した車間距離とを照合し、距離計測の正確性を再確認する。 Next, in step S118, the inter-vehicle distance obtained from the distance image of the laser range finder, and a vehicle distance calculated from the rate of change in inter-vehicle distance obtained in step S117 matches, reaffirm the accuracy of the distance measurement. すなわち、所定演算回数前の計測した車間距離Z t-1に対して、今回演算した車間距離の変化率を乗算すれば今回の車間距離Z t That is, a predetermined number of calculations preceding relative vehicle distance Z t-1 measured this time computed current vehicle distance by multiplying the rate of change of the vehicle distance Z t
を算出することができる。 It can be calculated. このように、レーザレンジファインダによる距離画像から求めた車間距離と、輝度画像から求めた距離の変化率に基づく車間距離とを比較・ Thus, the inter-vehicle distance obtained from the distance image by the laser range finder, and compare the inter-vehicle distance based on the rate of change of the distance obtained from the luminance image
照合することにより、より確実な距離計測が可能になる。 By matching allows more reliable distance measurements.

【0102】以上説明してきたように、第2の実施の形態においては、車両に設置したレーザレンジファインダの距離画像と輝度画像を求め、得られた距離画像から、 [0102] As described above, in the second embodiment, determine the distance image and the luminance image of the laser range finder installed in a vehicle, the acquired distance image,
輝度画像上の横方向における先行車の撮像位置と自車から先行車までの実際の距離を計測し、輝度画像上において、そのときの車間距離に基づいて先行車の上下左右端を含む大きさの縦長(または横長)のウィンドウを複数設け、それらのウィンドウの各y座標(またはx座標) The actual distance from the preceding vehicle image pickup position and the vehicle in the lateral direction on the luminance image to the preceding vehicle is measured, on the luminance image, the size including the upper and lower left and right ends of the preceding vehicle based on the inter-vehicle distance at the time of portrait (or horizontally) providing a plurality of windows, each y-coordinate of their windows (or x-coordinate)
毎において水平(または垂直)のエッジのヒストグラムをとり、設定したウィンドウの中の多くのウィンドウにおいて同じ位置で検出されたエッジを先行車上のエッジであると一応判断し、さらに、そのエッジの移動ベクトルを求め、ステレオ画像処理で求めた距離変化と適合する方向・大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択する。 Taking a histogram of edge of the horizontal (or vertical), tentatively determines that is the number of the detected edges in the same position on the preceding vehicle in the window edges in a window which is set at every further movement of the edge seek vector, selecting only a preceding vehicle edge edges showing the movement vector of the distance change compatible direction and size obtained by the stereo image processing. さらに、選択したエッジ間距離の変化率をもとに、変化率が同じ組のエッジだけを先行車上のエッジと判断し、そのエッジ間距離の変化率の逆数より車間の変化率を求めるように構成している。 Furthermore, based on the rate of change of the distance between the edges of the selected change rate is determined as an edge on only the preceding vehicle edge of the same set, to seek vehicle rate of change than the reciprocal of the rate of change of the distance between the edges It is configured to.
そのため、レーザレンジファインダの計測距離の分解能より細かい精度での距離計測が可能となり、同時に二つの手法による計測結果の照合により確実な距離測定が可能となる。 Therefore, it is possible to distance measurement in finer than the resolution of the distance measured by the laser range finder accuracy, thereby enabling reliable distance measurement by collating the measurement result of the simultaneous two techniques.

【0103】さらに、このエッジ検出方法は、先行車上のエッジをヒストグラムと移動ベクトルとエッジ間距離の変化率とから判断しているため確実であり、その方法により、先行車上と考えられるエッジを選択した後、それらのエッジ間距離の変化率から先行車の車間距離の変化率を求めているため、エッジ間距離から計測した車間距離の変化率は、エッジの検出しにくい環境においてもその中の数本が検出できれば車間距離の変化率計測が可能であり、かつ、ノイズの多い環境下でも、ノイズが除去されるため、周囲環境に対して影響されにくい確実な計測装置を実現出来る。 [0103] Furthermore, the edge detection method is a reliable because it determines the edge on the preceding vehicle from the histogram and the motion vector and the distance between the edges of the rate of change, by the process, an edge that would on the preceding vehicle after selecting, the order from the rate of change between those edges distances are rate of change in distance to the preceding vehicle, the rate of change in inter-vehicle distance measured from the distance between the edges, even in difficult to detect environmental edge if several detection in a possible change in rate measuring inter-vehicle distance, and, even in noisy environments, the noise is removed can be realized a reliable measuring apparatus less sensitive to the surrounding environment.

【0104】また、先行車以外のエッジと判断された位置におけるレーザレンジファインダで計測した距離画像上の値を、車間距離計測の際の判断に反映させない構成としたため、ノイズなどによる誤計測値を除去でき、より正確な測距が可能となる。 [0104] Further, the value of the distance image measured by the laser range finder in is determined that other than the preceding vehicle edge position, where the structure is not reflected to the determination of the time of inter-vehicle distance measuring, the measurements erroneous due to noise removal can, thereby enabling more accurate distance measurement.

【0105】また、距離画像からの車間距離計測において、レーザレンジファインダの輝度画像上の反射強度が低い場合には、その位置で計測された距離を反映させない構成としたため、誤計測値を除去でき、さらに、信頼度の高い計測値だけを用いた、より正確な測距が可能となる。 [0105] Also, in the inter-vehicle distance measurement from the distance image, when the reflection intensity of the luminance image of the laser range finder is low, due to a configuration that does not reflect the distance measured at that position, it can be removed erroneous measurements further, using only highly reliable measurement value, thereby enabling more accurate distance measurement.

【0106】また、カメラによる画像は夜間のような暗い状況下では使用困難であるが、レーザレンジファインダは夜間等でも使用可能である。 [0106] Further, the image by the camera is a difficult to use under dark conditions, such as at night, the laser range finder can also be used at night or the like.

【0107】(第3の実施の形態)前記第1の実施の形態においては、2つのカメラを用いたステレオ画像処理によって車間距離計測を行なう装置、前記第2の実施の形態においては、2つのカメラの代わりに、いわゆるレーザレンジファインダを用いて車間距離計測を行なう装置について説明したが、第3の実施の形態においては、 [0107] In the Third Embodiment The first embodiment, apparatus for performing inter-vehicle distance measured by the stereo image processing using two cameras, in the second embodiment, the two instead of a camera has been described apparatus for performing inter-vehicle distance measurement using a so-called laser range finder, in the third embodiment, the
レーザレンジファインダと1つのカメラを用いる装置について説明する。 Apparatus will be explained using a laser range finder and a single camera.

【0108】第2の実施の形態で測距用に用いているレーザレンジファインダにおいては、一般に、前方の物体までの距離を計測する光の走査機構として、光の照射角度をミラーの回転などによって変更する機構を用いているため、装置の信頼性を高くするためには、走査を遅くすることが要求される。 [0108] In the laser range finder is used for distance measurement in the second embodiment, generally, as the optical scanning mechanism for measuring a distance to an object in front of, by the irradiation angle of light, such as the rotation of the mirror due to the use of mechanisms to change, in order to increase the reliability of the apparatus, it is required to slow down the scanning. つまり、この要求を満たすためには、1回の2次元情報を得るためのサンプリング間隔を広げる必要がある。 That is, in order to satisfy this requirement, it is necessary to widen the sampling interval for obtaining two-dimensional information once. また、装置の信頼性を高めるためには、発光パルスの照射間隔を広げることも必要となる。 In order to enhance the reliability of the apparatus, it is also necessary to widen the irradiation interval of the light emitting pulses. つまり、故障率が低く信頼性の高いレーザレンジファインダとするためは、1回の2次元情報を得るのにかかる時間を長くする必要があり、さらに、2次元的な縦横の分解能および測定距離の分解能も粗くする必要がある。 That is, since the failure rate and high laser range finder reliable low, it is necessary to lengthen the time taken for obtaining two-dimensional information once, further, the two-dimensional aspect of the resolution and the measured distance resolution also need to be rough. そのため測定結果の精度が低下し、かつ、測定の時間間隔が長くなるという問題が生じる。 Therefore the quality of the measurement results is lowered, and a problem that the time interval measurement is longer occurs. その問題に対処するため、第3の実施の形態では、レーザレンジファインダとカメラとを組み合わせて用いるように構成している。 To address the problem, in the third embodiment, it is configured to use a combination of a laser range finder and camera.

【0109】図23は本発明の第3の実施の形態の構成を示すブロック図である。 [0109] Figure 23 is a block diagram showing a configuration of a third embodiment of the present invention. 図23において、10は電子式のカメラであり、このカメラ10の光軸がレーザレンジファインダ7の走査の中心の軸と平行になる位置および姿勢で車両に搭載されている。 23, 10 is an electronic camera, is mounted on the vehicle at a position and posture the optical axis of the camera 10 is parallel to the center of scanning of the laser range finder 7 axis. 11はカメラ10から入力した画像信号を記憶する画像メモリである。 11 is an image memory for storing image signals input from the camera 10. 12は演算部であり、例えばCPU、RAM、ROM等からなるマイクロコンピュータで構成される。 12 is a computation unit, for example CPU, RAM, configured by a microcomputer comprised of ROM or the like. その他、図13 Other, 13
と同符号は同じものを示す。 The same reference numerals denote the same thing as.

【0110】以下、まず第3の実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。 [0110] Hereinafter, described first variety of arithmetic means and methods used in the third embodiment, and then explaining the flow of the whole operation based on the flowchart. この実施の形態においては、レーザレンジファインダ7に加えて、それと同じ平面の輝度画像が得られるカメラ10を搭載し、第2の実施の形態においてレーザレンジファインダ7の輝度画像に施した処理を、カメラ10で撮像した画像に対して行い、エッジの検出およびエッジ間距離の変化率から車間距離の変化率を求める。 In this embodiment, in addition to the laser range finder 7, therewith equipped with a camera 10 in which the luminance image of the same plane is obtained, the processing performed on the luminance image of the laser range finder 7 in the second embodiment, performed on an image captured by the camera 10, obtains a rate of change of the vehicle distance from the detection and the rate of change of distance between the edges of the edge. これには、まず、レーザレンジファインダ7の距離画像から求めた先行車の画像上での位置を、カメラ10で撮像した画像上での位置に変換し、両者の画像上の位置を合せる必要がある。 To do this, first, the position on the image of the laser range preceding vehicle obtained from the finder 7 range image is converted into a position on the image captured by the camera 10, it is necessary to match the positions on both the image is there.

【0111】図24は、レーザレンジファインダ7の上で間隔Aだけ上方に離れた位置に、レーザレンジファインダ7の走査の中心の軸とカメラの光軸が平行になる位置および姿勢でカメラ10を搭載した場合における、二つの装置およびその撮像対象となる車両の位置関係を示した図である。 [0111] Figure 24 is at a position separated upward by distance A on the laser range finder 7, the camera 10 at the position and orientation the optical axis of the shaft and the camera of the center of scanning of the laser range finder 7 is parallel in the case of mounting a diagram showing two devices and a positional relationship of the vehicle to be the imaging target. また、図25(A)、(B)は、図24 Further, FIG. 25 (A), (B) is 24
の環境下において計測した輝度画像の様子を表した図であり、(A)はレーザレンジファインダ7の輝度画像、 In a diagram showing the state of the luminance image measured under environment, (A) the luminance image of the laser range finder 7,
(B)はカメラ10の輝度画像を、それぞれ画像のイメージで示している。 (B) shows the luminance image of the camera 10, an image of each image. なお、実際の輝度画像は、輝度に対応したディジタル値の2次元配列になる。 Note that actual luminance image is a two-dimensional array of digital values ​​corresponding to the brightness.

【0112】第2の実施の形態でも説明したように、レーザレンジファインダで計測した輝度画像上の位置と実空間における対象物の位置との関係は前記(数7)式で求められる。 [0112] As described in the second embodiment, the relationship between the position of the object in position and the actual space on the luminance image measured by the laser range finder is obtained by the equation (7). また、カメラの場合には、図26に示すように、画像1画素に対応する角度を求めておくことにより、(数7)式と同様の原理によって画像上の座標とその位置に撮像される実空間上の点との位置関係を求めることができる。 In the case of the camera, as shown in FIG. 26, by previously seeking the angle corresponding to the image pixel is imaged to coordinate and its position on the image by the same principle as Equation 7 Equation You can obtain the positional relationship between the points on the real space. なお、図26においては、縦方向の1画素分の角度βのみを表示しているが、横方向についても同様に角度αを求める。 Incidentally, in FIG. 26 is longitudinal is displayed only angle β of one pixel, the horizontal direction similarly determining the angle alpha.

【0113】例えば、レーザレンジファインダの一つの画素に対応する縦、横の角度をφ、θ、カメラ画像の一つの画素に対応する縦、横の角度をβ、αとすると、図24の配置において、距離zの位置にある車両上の或る1点pが、レーザレンジファインダで計測した距離画像上では(xp1、yp1)に撮像されたとき、その点p [0113] For example, the vertical corresponding to one pixel of the laser range finder, a horizontal angle phi, theta, vertical corresponding to one pixel of the camera image, the horizontal angle beta, when the alpha, the arrangement of FIG. 24 in, when one certain point p on the vehicle at the position of the distance z is a laser range on finder distance measured in the image captured in (xp1, yp1), the point p
が撮像される画像上の座標(xpi、ypi)は、 xpi=xp1・(θ/α)、 ypi=yp1・(φ/ Image on the coordinates (xpi, ypi) to but be imaged, xpi = xp1 · (θ / α), ypi = yp1 · (φ /
β)−A/(β・z) となる。 The β) -A / (β · z). ただし、通常、A<<zであるので、Aは無視できる大きさとすると、両画像間の位置対応は、下記(数10)式で算出される。 However, usually, since it is A << z, when the magnitude A is negligible, position correspondence between the two images is calculated by the following equation (10) below.

【0114】 xpi=xp1・(θ/α)、 ypi=yp1・(φ/β) …(数10) カメラで撮像した方の画像処理に関しては、(数10) [0114] xpi = xp1 · (θ / α), ypi = yp1 · (φ / β) ... with respect to image processing of those who were captured by the (number 10) camera, (number 10)
式のスケーリングを施した上で、図17〜図21で説明したエッジ検出およびエッジ間距離の変化率測定処理において、レーザレンジファインダの輝度画像の代わりにカメラの輝度画像を用いて同様の処理を行なう。 After applying a scaling equation in the rate of change measurement process of edge detection and edge distance explained in FIGS. 17 to 21, the same process using the luminance image of the camera instead of the luminance image of the laser range finder carried out. これにより、第2の実施の形態と同様の効果が得られる。 Thus, the same effect as the second embodiment can be obtained. さらに、レーザレンジファインダの輝度画像よりもカメラの画像の方がエッジが鮮明であり、縦横の分解能が細かいことから、この効果をより向上させることができる。 Furthermore, towards the camera images than the luminance image of the laser range finder edges are sharp, since the resolution of the vertical and horizontal fine, it is possible to further improve this effect. 加えて、カメラの画像入力周期はレーザレンジファインダの画像更新周期より短いことから、距離の変化率を短い時間間隔で求めることも可能となる。 In addition, the image input period of the camera from shorter than an image update period of the laser range finder, it is possible to determine the rate of change of the distance in a short time interval. その他の処理は前記第1および第2の実施の形態と基本的には同じである。 Other processes to form the basic of the first and second embodiment are the same.

【0115】なお、レーザレンジファインダの距離画像と輝度画像に関しては前記第2の実施の形態で説明した各種の処理を施すことが出来る。 [0115] Incidentally, with respect to the distance image and the luminance image of the laser range finder can be subjected to various kinds of processing explained in the second embodiment. 例えば、図17の方法により、先行車までの距離は、レーザレンジファインダの走査完了毎に距離画像から計測することで、1回の走査にかかる時間を周期として連続的に計測することができる。 For example, the method of FIG. 17, the distance to the preceding vehicle, by measuring the distance image for each scanning completion of the laser range finder, it is possible to continuously measure the time required for one scan as the period. また、レーザレンジファインダの輝度画像から求めたエッジ間距離の変化率に基づいた車間距離の変化率算出も同じ周期で連続的に計測できる。 Further, it continuously measures the rate of change of the vehicle distance based on the rate of change of the distance between the edges obtained from the luminance image of the laser range finder calculated in the same period.

【0116】また、車間距離計測において、同じ車両に追従中の場合は、1度車間距離を求めておけば、その車間距離に対してエッジ間距離の変化率を乗算することで、その時点での距離を算出することが可能となる。 [0116] Also, in the inter-vehicle distance measurement, the case of being followed in the same vehicle, if seeking once inter-vehicle distance, by multiplying the rate of change of the distance between the edges with respect to the inter-vehicle distance, at which time it is possible to calculate the distance. すなわち、レーザレンジファインダで計測した時点tでの車間距離がz t 、時点t+1に計測した車間距離の変化率(エッジ間距離の変化率の逆数)がγであれば、時点t+1での車間距離z t+1は、下記(数11)式で計算できる。 That is, when the rate of change of the vehicle distance to the inter-vehicle distance is measured z t, at time t + 1 at time t measured by the laser range finder (reciprocal of the rate of change of the distance between the edges) of gamma, the inter-vehicle distance at the time t + 1 z t + 1 can be calculated by the following equation (11). t+1 =γ×z t …(数11) レーザレンジファインダの距離分解能は粗く、縦横の分解能は細かい場合においては、この計算による距離の再計算は、距離の高精度化にもつながる。 z t + 1 = γ × z t ... ( number 11) is the range resolution of the laser range finder rough, when the resolution of the vertical and horizontal fine is recalculated distance by the calculation, it leads to higher accuracy of the distance.

【0117】また、上記の方法による距離の更新は、第3の実施の形態のようにカメラとレーザレンジファンダの両方を搭載したシステムにおいては、距離計測の時間間隔を短くすることにもつながる。 [0117] The update of the distance by the above method, in a system with both a camera and a laser range Fanda as in the third embodiment, also leads to a shorter time interval of a distance measurement. 例えば、レーザレンジファインダの計測間隔時間が1秒、カメラの撮像間隔が16.7ms(1フィールド)である場合、レーザレンジファインダからの画像入力は1秒毎にしかできないが、カメラ画像から求めたエッジ間距離の変化率に基づく車間距離の変化率は16.7ms毎に計測される。 For example, a laser range finder measurement interval time is one second, if the imaging interval of the camera is 16.7 ms (1 field), the image input from the laser range finder can not only every second, obtained from the camera image rate of change of the vehicle distance based on the rate of change of the distance between the edges is measured every 16.7 ms. したがって、レーザレンジファインダのみの場合には車間距離計測は1秒毎にしか出来ないが、時点tでレーザレンジファインダで計測した距離z tに対して、前記(数11)式を適用して演算すれば、車間距離の演算を1 Thus, although in the case of the laser range finder only can not only inter-vehicle distance measurement every second, with respect to the distance z t measured by the laser range finder at a time t, by applying the equation (11) calculating if the calculation of the inter-vehicle distance 1
6.7ms毎に処理することが出来る。 It can be processed every 6.7ms. 図27は上記の計測タイミングを示した図である。 Figure 27 is a diagram showing the measurement timing.

【0118】さらに、このエッジ間距離の時間的な変化率を利用した車間距離測定は、距離の確認および距離の高精度化にもつながる。 [0118] Further, the inter-vehicle distance measurement utilizing temporal rate of change of the distance between the edges is also leads to high accuracy of the confirmation and distance of the distance. 以下、カメラ画像を用いたエッジ間距離からの車間距離変化率算出により、距離算出の精度が向上される原理を説明する。 Hereinafter, the inter-vehicle distance change rate calculated from the distance between the edges using a camera image, illustrating the principle of distance calculation accuracy is improved. 図19に示した先行車の高さhは通常は未知の値である。 The height h of the preceding vehicle as shown in FIG. 19 but it is usually unknown value. しかし、レーザレンジファインダで距離が求められているときは、先行車までの車間距離zと輝度画像上の先行車の高さ(yu− However, when the distance laser range finder is required, the preceding vehicle until the vehicle distance z and the preceding vehicle height on the luminance image (Yu-
yd)を下記(数12)式に代入することで追従中の車両の高さhを求めることができる。 yd) can be a determining the height h of the vehicle being followed by substituting the following equation (12) below.

【0119】 h=β×(yu t −yd t )×z t …(数12) ただし、β:1画素分の角度 同じ車両に追従中は、hは一定値である。 [0119] h = beta proviso × (yu t -yd t) × z t ... ( number 12), β: during follow one pixel angular same vehicle, h is a constant value. ここでは、画像上の先行車の高さ(yu−yd)は、前記の先行車上のエッジ検出処理により求めることができるため、(数12)式により1度求めたhをもとに、次の入力画像で求めた先行車の高さ(yu t+1 −yd t+1 )を、下記(数13)式に代入することで、先行車の高さからも新たな車間距離を求めることができる。 Here, the preceding vehicle height on the image (yu-yd), since it is possible to determine the edge detection process on the preceding vehicle, based on the h determined once by (number 12), the height of the preceding vehicle obtained by the next input image (yu t + 1 -yd t + 1), by substituting the following equation (13), obtaining a new inter-vehicle distance from the preceding vehicle height be able to.

【0120】 z=h/β(yu t+1 −yd t+1 ) …(数13) ただし、h:(数12)式で算出した値 (数12)式のhを(数13)式に代入すると下記(数13')式のようになる。 [0120] z = h / β (yu t + 1 -yd t + 1) ... ( number 13) However, h :( number 12) the calculated value (number 12) h (number 13) of the formula substituting into becomes below (the number 13 ') as equation. t+1 =Z t ×(yu t −yd t )/(yu t+1 −yd t+1 ) 或いは …(数13') Z t =Z t-1 ×(yu t-1 −yd t-1 )/(yu t −yd t ) ただし、Z t+1 :時点t+1における車間距離 Z t :時点tにおける車間距離 Z t-1 :時点t−1における車間距離 (数13')式からもわかるように、この方法で求める車間距離は、画像上で検出したエッジ間距離の変化率の逆数(yu t −yd t )/(yu t+1 −yd t+1 )をレーザレンジファインダの距離画像から時点tで求めた距離z Z t + 1 = Z t × (yu t -yd t) / (yu t + 1 -yd t + 1) or (Equation 13 ') Z t = Z t -1 × (yu t-1 -yd t -1) / (yu t -yd t) However, Z t + 1: inter-vehicle distance at time t + 1 Z t: vehicle at time t the distance Z t-1: the inter-vehicle distance (number 13 ') equation at time t-1 Mowakaru so the inter-vehicle distance to determine in this way, the reciprocal of the rate of change of the distance between the edges detected in the image (yu t -yd t) / ( yu t + 1 -yd t + 1) of the laser range finder distance z from the distance image obtained at the time t
tにかけることと同じである。 is the same as that applied to the t. つまり、前記(数11) That is, the equation (11)
式と同様の計算により、車間距離が求められることがわかる。 The same calculation as equation, it can be seen that the inter-vehicle distance is determined.

【0121】ここで、前記第2の実施の形態においてレーザレンジファインダの輝度画像と距離画像の処理によって(数11)式で求める方法と、カメラの輝度画像とレーザレンジファインダの距離画像とを用いて(数1 [0121] Here, using the method of obtaining by equation (11) by treatment of the luminance image and a distance image of the laser range finder, a distance image of the camera luminance image and a laser range finder in the second embodiment Te (number 1
3)式で求める方法とにおける距離の精度の違いを考える。 3) Consider the difference in distance of accuracy in the method of determining the formula. 例えば、レーザレンジファインダの距離分解能を1 For example, the distance resolution of the laser range finder 1
mとし、カメラの画素の分解能を通常の車載システムを参考に、画角30度で縦に480画素の分解能の画像を撮像すると仮定する。 Assume and m, the resolution of the pixels of the camera with reference to normal vehicle system captures an image of a resolution of vertical 480 pixels in the angle of view 30 °. このときの画像の1画素分の分解能βは、0.001rad(=2π×(30/480) Resolution of one pixel of the image β in this case, 0.001rad (= 2π × (30/480)
/180)である。 / 180) is. このシステムにおいて、高さ1mの車両までの距離を算出すると、レーザレンジファインダでの計測距離分解能は常に1mであるのに対し、画像のエッジ間距離で求める分解能は、距離に応じて下記(数14)式で求められる値となる。 In this system, when calculating the distance to the vehicle height 1 m, while the measurement range resolution of a laser range finder is always 1 m, the resolution obtained by the distance between the edges of the image, the following equation (according to the distance 14) a value determined by the equation.

【0122】 z=(h/β)/(yu t −yd t )−(h/β)/(yu t −yd t +1) =(1/0.001)×{1/(yu t −yd t )−1/(yu t −yd t +1)} =1000×{1/(yu t −yd t )−1/(yu t −yd t +1)} …(数14) この分解能は、画像上でエッジの検出位置が1画素ずれたときに現われる距離の差である(図28参照)。 [0122] z = (h / β) / (yu t -yd t) - (h / β) / (yu t -yd t +1) = (1 / 0.001) × {1 / (yu t -yd t) -1 / (yu t -yd t +1)} = 1000 × {1 / (yu t -yd t) -1 / (yu t -yd t +1)} ... ( Equation 14) this resolution image on in is the difference between the distance appearing when the detected position of the edge is shifted by one pixel (see FIG. 28). 例えば、前方5m、10mのときの測定距離分解能を比較する。 For example, comparing the measured distance resolution when the front 5 m, 10 m. レーザレンジファインダではどちらを計測した場合も分解能が1mであるのに対し、エッジ間距離からの測定では、前方5mのときのエッジ間距離(yu t −y Resolution also in laser range finder measured either Whereas a 1 m, measured from edge-to-edge distance is the distance between the edges when the front 5 m (yu t -y
t )は、200画素(=1000/5)、前方10m d t) is 200 pixels (= 1000/5), front 10m
のときは、(yu t −yd t )=100画素(=1000 When the, (yu t -yd t) = 100 pixels (= 1000
/10)となり、それぞれの距離分解能は、検出エッジ位置が1画素ずれたときの計測値との差であるので、5 / 10), and each of the distance resolution, the detected edge position is the difference between the measured value of the time shifted by one pixel, 5
mでは0.025m=5−4.975(=1000/20 In m 0.025m = 5-4.975 (= 1000/20
1)、10mでは0.1m=10−9.9m(=1000 1), in the 10m 0.1m = 10-9.9m (= 1000
/101)となる。 / 101) and a. すなわち、どちらも場合もレーザレンジファインダの分解能1mに比較して、10分の1以下の細かい誤差精度での測定が可能になることがわかる。 That is, both compared to the resolution 1m laser range finder case, it can be seen that it is possible to measure at 10 minutes less than one fine error accuracy. そして、この分解能の向上は、精度の向上が重要である近距離ほど向上される。 The improvement of the resolution is improved as the short range accuracy of is important. このように、追従中の先行車までの車間距離を二つの方法で測定して照合することは、距離の確認だけでなく、レーザレンジファインダで求めた距離の高精度化にもつながることになる。 Thus, by matching measured in two ways inter-vehicle distance to the preceding vehicle being followed, distance as well confirmation, it would also lead to higher accuracy of the distance obtained by the laser range finder . さらに、カメラ画像に基づいて車間距離の変化を更新することは、前記図27で説明したように測定距離の更新時間を短くすること、つまり、車載の車間距離測定に重要なレスポンスの向上にもつながる。 Moreover, updating the change in inter-vehicle distance based on the camera image is to shorten the update time of the measured distance as described above with reference to FIG 27, i.e., to the improvement of the critical response to the inter-vehicle distance measurement vehicle lead.

【0123】次に、これまで説明した方法を用いて、追従中の先行車上のエッジを検出し、車間距離の変化率を求めることで車間距離の確認および高精度化を行う実施の形態について説明する。 [0123] Next, using the methods described above, to detect the preceding vehicle on the edge being followed, embodiments to verify and accuracy of the following distance by calculating the rate of change of the inter-vehicle distance explain. ここでは、前記図24のようにレーザレンジファインダとカメラを車両の前方を向けて搭載した場合について説明する。 Here, the case where the laser range finder and camera as FIG 24 is mounted towards the front of the vehicle. ただし、計算を簡略化するため、カメラとレーザレンジファインダの搭載位置の差(図24の間隔A)は、無視できるものとして説明する。 However, to simplify the calculations, the difference between the mounting positions of the camera and laser range finder (distance A in Fig. 24) is described as negligible. しかし、実際の場合において、間隔Aが大きな値である場合でも、間隔Aの差によって表れる画像上の位置の差を幾何学的に考慮することで同様の処理・効果が得られる。 However, in an actual case, even if the spacing A is a large value, geometrically similar processing and effects to consider is obtained a difference between the position on the image appearing by the difference in distance A.

【0124】図29は、この実施の形態における演算処理の流れを示すフローチャートである。 [0124] Figure 29 is a flowchart showing a flow of processing in this embodiment. まず、ステップS121では、レーザレンジファインダの輝度画像と距離画像を入力する。 First, in step S121, and inputs the luminance image and a distance image of the laser range finder. また、ステップS122ではカメラの画像(輝度画像)を入力する(図24、図25参照)。 Further, inputting an image (luminance image) of the camera at step S122 (see FIG. 24, FIG. 25).

【0125】次に、ステップS123では、カメラの画像に対してレーザレンジファインダの画像との位置合わせを行なう(図24〜図26参照)。 [0125] Next, in step S123, performs the alignment of the image of the laser range finder with respect to the camera image (see FIGS. 24 26).

【0126】なお、この実施の形態では、基本的にはレーザレンジファインダの輝度画像の代わりにカメラの輝度画像を用いるので、前記図22におけるステップS1 [0126] In the present embodiment, since basically used camera luminance image instead of the luminance image of the laser range finder, steps in FIG. 22 S1
13のレーザレンジファインダの輝度画像から先行車範囲を検出する処理は無くてもよい。 Processing of detecting the preceding vehicle range from the luminance image of the laser range finder 13 may be omitted. ただし、図22のようにレーザレンジファインダの輝度画像と距離画像から演算する方法も同時に行ない、演算結果の車間距離或いはその変化率を、本フローチャートの演算結果と照合するように構成することもできる。 However, a method of calculating the luminance image and a distance image of the laser range finder as shown in FIG. 22 is performed simultaneously, the inter-vehicle distance or the change rate of the operation result may be configured to match the operation result of the flow chart . また、第2の実施の形態で説明したのと同様に、レーザレンジファインダの輝度画像も求めておき、距離画像からの車間距離計測において、輝度画像上の反射強度が低い場合には、その位置で計測された距離を反映させない構成とすることにより、誤計測値を除去でき、さらに、信頼度の高い計測値だけを用いた、より正確な測距が可能となる。 Further, similarly as described in the second embodiment, the luminance image of the laser range finder also to previously obtain, in the inter-vehicle distance measurement from the distance image, when the reflection intensity of the luminance image is low, its position in with the structure does not reflect the measured distance, it can be removed erroneous measurement values, addition, using only highly reliable measurement value, thereby enabling more accurate distance measurement.

【0127】次に、ステップS124では、レーザレンジファインダの距離画像からの表への投票により、先行車の存在する横(x軸)方向の範囲(xl〜xr、)と先行車までの距離zを求める(図17参照)。 [0127] Next, in step S124, the by votes for tables from the distance image of the laser range finder, transverse to the presence of the preceding vehicle (x-axis) direction in the range (Xl~xr,) and the distance z to the preceding vehicle the determined (see FIG. 17). ただし、 However,
この距離画像からの表への投票は、誤計測値が反映されないように、表へ投票する値を、レーザレンジファインダで計測した輝度がしきい値以上の位置の値だけとした上で図17で説明した方法で行なう。 Vote for the table from the distance image, as erroneous measurement value is not reflected, a value to vote to a table, on which the luminance measured by the laser range finder has only the value of the position of or above the threshold 17 in it carried out in the described method. また、この後の処理である先行車のエッジ判断処理(ステップS127) Also, the preceding vehicle edge determination process performed in subsequent (Step S127)
において、先行車のエッジ検出用のウィンドウ内にあるが、先行車上のエッジではないと判断された位置の値も除外して投票してもよい。 In, there is a preceding vehicle in the window for detecting edges, the value of the position determination is not the edge of the preceding vehicle may also be voted excluded.

【0128】次に、ステップS125では、先行車の上下端検出用のウィンドウを設定する。 [0128] Next, in step S125, the setting window for the preceding vehicle detecting the upper and lower ends. ここでは、水平エッジを検出するための縦長のウィンドウをカメラの画像上に設定する。 Here sets the elongated window for detecting the horizontal edge on the camera image. すなわち、図17の処理によってレーザレンジファインダの距離画像から求めた横方向の範囲(xl〜xr)に対して前記(数10)式を適用することにより、カメラ画像上における先行車の撮像範囲を求める。 That is, by applying the equation (10) with respect to the lateral extent obtained from the distance image of the laser range finder by the process of FIG. 17 (Xl~xr), the imaging range of the preceding vehicle on the camera image Ask. ここでは、後の説明において表記を簡略化するため、以降、(数10)式によって大きさを変換した後のカメラ画像上での先行車の撮像範囲も(xl〜xr)と記述する。 Here, in order to simplify the notation in the following description, hereinafter referred to as (number 10) an imaging range of the preceding vehicle on the camera image after converting the size of the equation also (Xl~xr).

【0129】次に、ウィンドウを定義する縦方向の位置を求める。 [0129] Then, determine the vertical position to define a window. これは、距離画像から求めた距離zより、 This is from the distance z calculated from the distance image,
(数10)式において、1画素に対応する角度をカメラ画像の角度βとして、上下端(yu、yd)を求める。 In equation (10), the angle corresponding to one pixel as the angle β of the camera image, determining the upper and lower ends (yu, yd).
これらの方法により、求めた横方向xl〜xrの間にy These methods, y between the lateral xl~xr obtained
u、ydを含む大きさの縦長のウィンドウを設定する(図8参照)。 u, sets the elongated window size containing yd (see FIG. 8). 定義する縦長のウィンドウの横方向の大きさは、y座標毎の水平エッジのヒストグラムが求められるよう10画素程度以上とすれば十分である。 Lateral extent of the elongated window to be defined, it is sufficient if 10 pixels around or to the histogram of the horizontal edge of each y-coordinate are determined. または、先行車の画像上の大きさは距離に応じて可変であるため、その距離に応じて、横幅が10画素以上のウィンドウが5個所以上に定義できるように適度な大きさで可変としてもよい。 Or, since the size of the preceding vehicle image is variable depending on the distance, in accordance with the distance, it is variable in an appropriate size so that the width is more than 10 pixels window can be defined more than five locations good.

【0130】また、(数10)式をもとにウィンドウの定義位置yu+α、yd−αを求める際に用いる先行車の高さhは1〜2m程度と平均的な値で十分である。 [0130] The height h of the preceding vehicle used to obtain a defined position yu + α, yd-α window based on the equation (10) is sufficient average value of about 1 to 2 m. α α
の値は、そのときの先行車の距離に応じて、先行車の高さの5分の1程度の余裕でよい。 Values, depending on the distance of the preceding vehicle at that time may be about one margin of 5 minutes of the preceding vehicle height. 例えば、(数12)式によって距離から算出される先行車の画像上の高さが5 For example, the height of the preceding vehicle image calculated from the distance by equation (12) 5
0画素程度の場合、Cは10画素程度でよい。 0 If the order of the pixel, C is may be about 10 pixels.

【0131】次に、ステップS126では、上記の設定した縦長のウィンドウの中で求めた水平エッジのヒストグラムをもとに、先行車上のエッジを検出する。 [0131] In step S126, based on the histogram of the horizontal edges determined in the vertically long window set above, to detect an edge on the preceding vehicle. これには前記図8で説明した方法を用いる。 It uses the method explained in FIG. 8. まず、図8に示すように、ソーベルフィルタなどでウィンドウ内の画像を水平微分し、その水平微分画像の各y座標毎のヒストグラム求める。 First, as shown in FIG. 8, horizontally differentiated image in the window in such a Sobel filter obtains histograms for each y coordinate of the horizontal differential image. 次に、定義したウィンドウの全てにおいて求めた水平エッジのヒストグラムから、半数以上のウィンドウにおいて同じ位置に検出されているエッジを見つける。 Then, from the histogram of the horizontal edge found in all defined window, find the edge that is detected at the same position in more windows than half. 先行車は路面に対して平行なエッジを持つため、 Since the preceding vehicle with edges parallel to the road surface,
先行車上に切ったウィンドウにおいて同じ位置に検出されるエッジは先行車のエッジと一応みなすことができる。 Edge detected at the same position in the cut on the preceding vehicle window can be tentatively regarded as the preceding vehicle edge.

【0132】なお、仮に先行車上に定義するウィンドウを一つとすると、そのウィンドウの両端部分に白線が撮像される場合、白線のエッジ強度が先行車のエッジ強度より強くなることが多いため、先行車ではなく白線の位置が検出されることがある。 [0132] Incidentally, when one window provisionally defined on the preceding vehicle, if the white line is imaged on both end portions of the window, because they often white line edge strength is stronger than the edge intensity of the preceding vehicle, the preceding is the position of the white line instead of the car is detected. そのため、このような誤検出を防ぐため、ウィンドウを複数設け複数のウィンドウにおいて検出されたエッジを先行車上のエッジと判断する。 Therefore, such in order to prevent the erroneous detection, to determine the detected edges in a plurality of windows provided with a plurality of windows with the edges of the preceding vehicle.

【0133】次に、ステップS127では、これらのエッジの移動ベクトルを検出する。 [0133] Next, in step S127, detects the movement vector of the edges. このエッジの移動ベクトル算出は、前述の方法で検出したエッジの位置において、例えば、検出対象上に切った小さなウィンドウの移動方向を求める方法などによる一般的なオプティカルフロー検出手法を施せばよい。 Motion vector calculation of the edge, in the position of the edge detected by the method described above, for example, may be subjected to common optical flow detection method according to a method of determining the direction of movement of the small window is cut into the detection target. このような処理により検出したすべてのエッジのオプティカルフローより検出した各エッジ毎の移動ベクトルを求める。 Calculating the moving vector of each edge detected from the optical flow of all the edges detected by such process.

【0134】更に、上記のエッジの移動ベクトルを用いて、そのエッジが先行車上のものであるかを再確認する。 [0134] Further, by using the movement vector of the edge, the edge is re-verify those on the preceding vehicle. この確認は、車間距離変化とエッジが存在する位置により次のような基準で判断できる。 This confirmation is the position where there is the inter-vehicle distance change and the edge can be determined by the following criteria. すなわち、車間距離が変化したときは、画像の中心に近いエッジの方が動きが小さく、画像の端に行くにつれ動きが大きくなる。 That is, when the inter-vehicle distance is changed, it edges closer to the center of the image moves a small motion is increased as the going of the edge of the image.
そのため、例えば、画像中心(原点:y=0)の位置に近いにもかかわらず、そのエッジより原点から遠い位置にあるエッジベクトルの平均の動きより大きな動きを示すベクトルがあれば先行車以外のエッジである可能性が高い。 Therefore, for example, image center (origin: y = 0) even though close to the position other than the preceding vehicle if there is a vector indicating a larger motion than the average of the motion of the edge vector at a position farther from the origin than that edge it is likely to be an edge. また、ステレオ画像処理により求めた距離の変化に基づき、図9に示したように、、車間距離が大きくなる場合は、y>0の位置のエッジは下方、y<0の位置のエッジは上方に移動し、車間距離が短くなる場合は、 Further, based on a change in distance calculated by the stereo image processing, if ,, inter-vehicle distance becomes large as shown in FIG. 9, the position of the edge of the y> 0 is lower, the position of the edge of the y <0 Above If you move, the inter-vehicle distance is shortened to,
y>0の位置のエッジは上方、y<0の位置のエッジは下方に移動し、車間距離が一定の場合はエッジの位置は不変となる。 The position of the edge of the y> 0 is above the position of the edge of the y <0 moves downward, the position of the edge when the inter-vehicle distance is constant invariable. これらのことから、そのベクトルが図9に示す理論どおりの動きをするものを車両上のエッジとして再確認し、逆の変化するエッジは車両上のものではないと判断することができる。 From these, it is possible that the vector is reaffirmed that the movement of the theoretical exactly shown in Figure 9 as an edge on the vehicle, the reverse changing edge is determined not to be of the vehicle. また、車間変化=0のときに大きな動きを示したエッジも先行車以外のエッジと判断できる。 Further, it can be determined that a large edge showing the movement also other than the preceding vehicle edge when headway change = 0. このような判断基準をもとに、先行車以外の可能性の高いエッジを除去する。 Based on this criterion, the removal of likely non preceding vehicle edge.

【0135】次に、ステップS128では、上記先行車上のエッジ間距離の変化率を求め、それによって、より確実に先行車上のエッジを選択する。 [0135] Next, in step S128, rate of change in distance between the edges on the preceding vehicle, thereby selecting the more reliable an edge on the preceding vehicle. それとともに、エッジ間距離の変化から、車間距離計測の高精度化を行なう。 At the same time, a change in the distance between the edges, with high accuracy of the inter-vehicle distance measuring. まず、上記ステップS128で検出した先行車上のエッジの中から2本ずつの組を作り、それらの各組におけるエッジ間距離を求める(図21参照)。 First, create a set of two by two from the edge on the preceding vehicle detected in step S128, obtains the distance between the edges in their respective sets (see FIG. 21). 前述したとおり、同じ物体上のエッジの組み合わせであれば、どの組み合せでもエッジ間距離の時間的な変化率(y1 t As described above, if the combination of the edge on the same object, the temporal change rate in any combination in even the distance between the edges (y1 t /
y1 t-1 、y2 t /y2 t-1 、…、yn t /yn t-1 )は同じ値となるはずである。 y1 t-1, y2 t / y2 t-1, ..., yn t / yn t-1) should be the same value.

【0136】ここで、エッジ間距離の変化率の求め方を具体的に説明する。 [0136] Here, concretely describing the method of determining the rate of change of the distance between the edges. 図9の判断基準により選択されたエッジは、オプティカルフローにより時間的な移動ベクトルが求められているエッジである。 Edge selected by the criteria of Figure 9 is an edge which temporal motion vector by the optical flow is demanded. そのため、そのベクトルの始点が前回のエッジ位置、終点が今回のエッジ位置となる。 Therefore, the starting point is the last edge position of the vector, the end point is the current edge position. つまり、前回のエッジ間距離yn t-1 (n: That is, between the last edge distance yn t-1 (n:
1、2、…)は、エッジ間距離を求める対象の二つのエッジの移動ベクトルの始点間の距離となり、今回のエッジ間距離yn t (n:1、2、…)は、ベクトルの終点間の距離として求められる。 1,2, ...) becomes a distance between the starting point of the movement vector of the two edges of the subject to determine the distance between the edges, this distance between the edges yn t (n: 1, 2, ...) is between the end point of the vector It is obtained as the distance. この方法で各組におけるエッジ間距離の変化率yn t /yn t-1 (n:1、2、…) The rate of change of the distance between the edges of each set in this way yn t / yn t-1 ( n: 1,2, ...)
を求めれば、エッジ間距離の変化率が同じ値となる組が最も多い組のエッジを先行車上のエッジと判断することができる。 By obtaining the can edge distance rate of change is determined as an edge on the preceding vehicle largest set of edge sets of the same value. また、その変化率の逆数はその時点での車間距離の変化率となる。 Further, the reciprocal of the rate of change is the change rate of the inter-vehicle distance at the time. この方法では、選択した2本のエッジ間距離だけでなく、同じ変化率を示す多くのエッジ間距離の変化を見ているため、1、2本のエッジ検出ミスがある場合でも車間変化率を正しく求めることができる。 In this way, not only the distance between two edges selected, many show the same rate of change for viewing the change of the distance between the edges, the vehicle change rate even if there are 1, 2 pieces of edge detection error it can be calculated correctly. したがって確実性の高い車間距離変化率測定が可能となる。 Thus it is possible to high inter-vehicle distance change rate measurement with certainty.

【0137】次に、ステップS129では、エッジ間距離の変化率に基づいて、先行車に追従中における、レーザレンジファインダで計測した車間距離を更新する。 [0137] Next, in step S129, based on the rate of change of the distance between the edges, in the following a preceding vehicle, and updates the inter-vehicle distance measured by the laser range finder.
(数9)式で説明したように、エッジ間距離の変化率の逆数は車間距離の変化率となる。 As described in equation (9), the reciprocal of the rate of change of the distance between the edges is the rate of change of the vehicle distance. つまり、レーザレンジファインダで求めた距離z tに対して、時点tで検出したエッジ間距離の変化率の逆数を乗算することで距離を更新することが可能となる(数11式、数13式)。 That is, with respect to the distance z t determined by the laser range finder, the distance it is possible to update by multiplying the reciprocal of the rate of change of the detected edge distance at time t (equation (11), the number 13 formula ).

【0138】また、レーザレンジファインダは、装置の信頼性向上のため1枚の画像を得るための走査速度を遅くすることが求められるが、この方法では、1回レーザレンジファインダで計測した距離に対して、次にレーザレンジファインダから距離が計測されるまでの間は、画像から計測されるエッジ間距離の変化率による距離の更新を行なうことが出来るので、短い時間間隔での距離測定の更新が可能である(図27参照)。 [0138] Also, laser range finder, it is necessary to slow down the scanning speed for obtaining a single image for the reliability of the apparatus, in this way, the distance measured by one laser range finder in contrast, during the next from the laser range finder to a distance is measured, since it is possible to perform the updating of the distance by the rate of change of the distance between the edges to be measured from an image, the distance measurement in a short time interval update it is possible (see Figure 27).

【0139】また、レーザレンジファインダで距離が計測された時点では、両者の計測値を比較・照合することで距離の確認を行なうことが出来る。 [0139] Further, when the distance laser range finder is measured, it can be performed to check the distance by comparing and matching both measurements. さらにカメラからの画像からだけでなく、レーザレンジファインダで得られる輝度画像でもエッジ間距離からの距離変化を検出(前記第2の実施の形態参照)しておくことで、さらに確実な距離の確認が可能となる。 Not only further from the image from the camera, by leaving detecting a distance change from also the distance between the edges in the luminance image obtained by the laser range finder (see the form of the second embodiment), further confirming reliable distance it is possible.

【0140】また、前にも説明したように、カメラ画像を用いたエッジ間距離の変化率から求めた車間距離の変化率は、レーザレンジファインダで計測した車間距離の分解能より高精度であるため、計測距離自体の高精度化にも貢献できる。 [0140] Further, as described before, the change rate of the inter-vehicle distance obtained from the rate of change of the distance between the edges using a camera image, because than the resolution of inter-vehicle distance measured by the laser range finder is accurate , it can contribute to the accuracy of measurement distance itself. なお、この方法は車両を追従中の車間距離精度向上に適用しているが、実際の場合には、車両の高さhを求めたもととなったエッジが、図9および図21の判断によって先行車以外のエッジと判断されたときは、他の2本のエッジ間距離を用いて新たな値にhを定義し直すことで対応するように構成すれば、エッジ間距離を用いた距離算出の誤計測を防ぐことができ、さらに、先行車の入れ替わりなどによる車高hの変化にも対応可能となる。 Incidentally, prior Although this method is applied to the inter-vehicle distance accuracy in tracking a vehicle, the actual case, the edge became Moto of obtaining the height h of the vehicle, the judgment of FIG. 9 and FIG. 21 when it is determined that the other edge car, be configured to correspond to by redefining h to a new value by using the distance between the other two edges, the distance calculation with the distance between the edges erroneous measurement can be prevented, further, it becomes possible to cope with changes in the vehicle height h due to preceding vehicle turnover.

【0141】以上説明してきたように、第3の実施の形態においては、レーザレンジファインダの走査の中心軸と光軸が平行でほぼ同じ画角内を計測する位置および姿勢のカメラを用い、第2の実施の形態においてレーザレンジファインダで計測した輝度画像に対して施した処理を、カメラから撮像した画像に対して施すことにより、 [0141] As described above, in the third embodiment, using the camera position and orientation central axis and the optical axis of the scanning of the laser range finder to measure the substantially same angle in parallel, the by performing processing performed on the luminance image measured by the laser range finder in the form of the second embodiment, the image captured by the camera,
レーザレンジファインダとは異なる装置で距離変化の算出を同時に行なうように構成している。 It is configured to perform simultaneous calculation of distance change with a different device from the laser range finder. そのため、レーザレンジファインダの装置の信頼性を確保するために、 Therefore, in order to ensure the reliability of the device of the laser range finder,
走査やサンプリングを粗くした場合においても、距離精度を確保することが出来る。 In case of rough scanning or sampling also, it is possible to ensure the distance accuracy. さらに、第2の実施の形態と同様の効果も得られ、精度向上においては、より細かい分解能の画像を用いることができる。 Further, the same effect as the second embodiment is also obtained, in the accuracy, it is possible to use an image of a finer resolution.

【0142】また、先行車以外のエッジと判断された位置におけるレーザレンジファインダで計測した距離画像上の値を、車間距離計測の際の判断に反映させない構成としたため、ノイズなどによる誤計測値を除去でき、より正確な測距が可能となる。 [0142] Further, the value of the distance image measured by the laser range finder in is determined that other than the preceding vehicle edge position, where the structure is not reflected to the determination of the time of inter-vehicle distance measuring, the measurements erroneous due to noise removal can, thereby enabling more accurate distance measurement.

【0143】また、レーザレンジファインダで求めた距離に対して、エッジ間距離の変化率から求められる車間距離の変化率をかけることで新たな距離を算出する構成としたため、レーザレンジファインダの計測間隔が長い場合でも、カメラの撮像間隔での車間距離の更新が可能となる。 [0143] Further, since the relative distance obtained by the laser range finder, configured to calculate the at new distance multiplying the rate of change of the vehicle distance as determined from the rate of change of the distance between the edges, measurement interval of the laser range finder even if long, it is possible to update the inter-vehicle distance in the imaging interval of the camera. 更に、レーザレンジファインダの距離分解能が粗い場合には、距離の高精度化も可能となる。 Further, when the distance resolution of the laser range finder is rough, high accuracy of the distance also becomes possible.

【0144】以上のような構成としたため、装置の信頼性を確保するために距離分解能を粗くしたレーザレンジファインダを用いた距離計測においても、距離精度を保持または向上することが可能となり、同様に、装置の信頼性確保のために走査を遅くして計測の時間間隔を長くした場合においても、カメラを1台追加した構成にしただけで、距離測定のレスポンスを遅くすることなく、通常の画像処理の速度での距離計測が可能となる。 [0144] due to the above-described configuration, even in a distance measurement using a laser range finder roughened distance resolution in order to ensure the reliability of the apparatus, it is possible to retain or improve range accuracy, similarly , in the case of a longer time interval measurement using a slower scanning ensure reliability of the apparatus is also only the configuration obtained by adding one to the camera, without slowing the response of the distance measurement, a normal image it is possible to distance measurement at a rate of processing.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第1の実施の形態の構成を示すブロック図。 1 is a block diagram showing a configuration of a first embodiment of the present invention.

【図2】ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図。 FIG. 2 is a diagram illustrating the principle for determining the distance from the camera on the principle of triangulation to the detection target using a stereo image.

【図3】ステレオ画像の両画像の対応する位置毎の視差を求めた結果を示す図。 FIG. 3 shows a result of obtaining the corresponding parallax of each position of two images of a stereo image.

【図4】距離画像上の或るウィンドウで求めた視差とそのウィンドウの横方向の位置に基づいて、対応する表中の位置に投票する様子を表した図。 [4] The distance at a certain window on the image obtained parallax and based on the lateral position of the window, showing the corresponding states to vote for a position in the table FIG.

【図5】投票を全てのウィンドウにおいて行った結果を示す図であり、(A)は上画像、(B)は視差の表、 [Figure 5] is a graph showing the results of all of the windows vote, (A) is on the image, (B) the table of parallax,
(C)は投票用の表。 (C) The table for the voting.

【図6】図5の投票結果から視差15の部分を抜き出して1次元グラフとしてあらわした図であり、(A)は図5の(C)に相当する表、(B)は1次元グラフ、 [Figure 6] is a diagram that represents the voting results as a one-dimensional graph by extracting portions of the parallax 15 in FIG. 5, (A) is a table that corresponds to (C) in FIG. 5, (B) is 1-dimensional graph,
(C)は対応する画像。 (C) the corresponding image.

【図7】一方の画像に撮像された先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、 [Figure 7] is a graph showing a relationship between the distance of one image capturing position of the preceding vehicle upper and lower ends captured in the up the preceding vehicle,
(A)は側面図、(B)は撮像面Aの画像例。 (A) is a side view, (B) the image of the imaging plane A.

【図8】先行車上に設けた縦長のウィンドウのそれぞれにおいて各y座標毎に水平エッジのヒストグラムと輝度のヒストグラムの求めた様子を示す図であり、(A)は原画像上に設けた縦長のウィンドウの一例、(B)は先行車の存在位置を水平微分したエッジの一例、(C)は(B)における〜のウィンドウの各水平エッジのヒストグラム。 8 is a diagram showing a state in which determined the histogram of the histogram and the luminance of the horizontal edge for each y-coordinate in each of the vertically elongated window provided on the preceding vehicle, (A) is vertically provided on the original image one example, (B) is an example of an edge which is horizontally differentiating the location of the preceding vehicle, (C) is a histogram of the horizontal edge of the window-in (B) of the window.

【図9】車間距離に応じた先行車上のエッジの移動方向ベクトルの変化を示す図。 9 is a diagram showing a change in the moving direction vector of the preceding vehicle on the edge corresponding to the inter-vehicle distance.

【図10】エッジ間距離の変化率と車間距離の変化率との関係を説明するための図。 Figure 10 is a diagram for explaining the relationship between the distance between the edges of the change rate and the inter-vehicle distance change rate.

【図11】ステレオ視差と先行車の高さを用いた車間距離計測の計測距離分解能の比較説明図。 [11] Comparative illustration of the measurement range resolution of inter-vehicle distance measurement using the height of the stereo disparity between the preceding vehicle.

【図12】第1の実施の形態における演算処理の流れを示すフローチャート。 12 is a flowchart showing flow of processing in the first embodiment.

【図13】本発明の第2の実施の形態の構成を示すブロック図。 13 is a block diagram showing a configuration of a second embodiment of the present invention.

【図14】道路前方を走査するレーザレンジファインダと計測対象物(先行車)との位置関係を示す図。 FIG. 14 is a diagram showing the positional relation between the laser rangefinder and the measurement object to be scanned road ahead (preceding vehicle).

【図15】レーザレンジファインダで計測した距離画像と輝度画像の一例を示した図であり、(A)は輝度画像をイメージで示した図、(B)は距離画像をイメージで示した図、(C)は距離画像の内容(数値:例えばディジタル値)を示した図。 [Figure 15] is a diagram showing an example of the distance image and the luminance image measured by the laser range finder, (A) is a diagram showing the luminance image in the image, (B) is a diagram showing a distance image in the image, (C) the content of the distance image: shows the (numerical example, a digital value).

【図16】距離画像において、前方に先行車が存在する場合としない場合との比較を示す図であり、(A)は先行車が存在する場合、(B)は存在しない場合の計測結果を示す。 In Figure 16 the distance image is a diagram showing a comparison between, with and without the presence of the preceding vehicle ahead, the (A) if there is a preceding vehicle, (B) is in the absence of measurement results show.

【図17】投票結果を示す1次元グラフとそれに対応する画像。 [17] 1-dimensional graph image corresponding thereto indicating the voting results.

【図18】レーザレンジファインダで撮像した距離画像と輝度画像において撮像範囲と先行車までの距離の関係を表す平面図。 Figure 18 is a plan view showing the relationship between the distance to the preceding vehicle and the imaging range in the distance image and the luminance image captured by the laser range finder.

【図19】レーザレンジファインダで撮像した距離画像と輝度画像において撮像範囲と先行車までの距離の関係を表す側面図。 Figure 19 is a side view showing the relationship of the distance to the preceding vehicle and the imaging range in the distance image and the luminance image captured by the laser range finder.

【図20】上記輝度画像において先行車の存在範囲を示す画像。 [Figure 20] image showing the existence range of the preceding vehicle in the luminance image.

【図21】輝度画像上の先行車の上下端の撮像された位置と先行車までの距離の関係を表す図であり、(A)は時点t−1における位置、(B)は時点tにおける位置を示す。 [Figure 21] is a diagram showing the relationship between the distance to a preceding vehicle of the imaged positions of the upper and lower ends of the luminance image to the preceding vehicle, in (A) position at time t-1, (B) the time t position shows the.

【図22】第2の実施の形態における演算処理の流れを示すフローチャート。 Figure 22 is a flowchart showing a flow of processing in the second embodiment.

【図23】本発明の第3の実施の形態の構成を示すブロック図。 [23] Third block diagram showing the configuration of an embodiment of the present invention.

【図24】レーザレンジファインダとカメラおよびその撮像対象の車両との位置関係を示した図。 Figure 24 is a diagram showing the positional relationship between the laser range finder and camera and the vehicle of the imaging target.

【図25】輝度画像の様子を表した図であり、(A)はレーザレンジファインダの輝度画像、(B)はカメラの輝度画像を、それぞれ画像のイメージで示した図。 [Figure 25] is a diagram showing a state of the luminance image, (A) the luminance image of the laser range finder, (B) is a diagram showing a luminance image of the camera, the image of each image.

【図26】カメラで撮像した画像の1画素に対応する角度を説明する図。 Figure 26 is a diagram illustrating an angle corresponding to one pixel of an image captured by the camera.

【図27】レーザレンジファインダとカメラの計測時間間隔を説明する図。 Figure 27 illustrates a detection interval of the laser range finder and camera.

【図28】検出したエッジの1画素のずれによる誤差の状態を説明する図。 Figure 28 illustrates a state of the error due to the deviation of one pixel of the detected edge.

【図29】第3の実施の形態における演算処理の流れを示すフローチャート。 Figure 29 is a flowchart showing a flow of processing in the third embodiment.

【符号の説明】 DESCRIPTION OF SYMBOLS

1、2…カメラ 3、4…画像メモリ 5…演算部 6…検出対象物(先行車) 7…レーザレンジファインダ 8…画像メモリ 9…演算部 10…カメラ 11…画像メモリ 12…演算部 1,2 ... camera 3,4 ... image memory 5 ... arithmetic unit 6 ... detection object (the preceding vehicle) 7 ... laser range finder 8 ... image memory 9 ... computing unit 10 ... camera 11 ... image memory 12 ... computing unit

フロントページの続き (51)Int.Cl. 7識別記号 FI テーマコート゛(参考) G06T 7/00 B60R 21/00 624C G06F 15/62 415 Fターム(参考) 2F065 AA01 AA02 AA03 AA12 AA22 AA24 BB05 BB24 CC11 DD03 FF04 FF09 JJ03 JJ16 JJ26 MM16 QQ03 QQ24 QQ26 QQ36 QQ41 QQ43 2F112 AC06 AD01 BA01 CA05 DA15 DA25 EA01 FA03 FA09 FA21 FA27 FA31 FA36 FA38 FA41 FA45 5B057 AA06 AA16 BA02 BA15 DA07 DB03 DC16 DC19 DC32 5J084 AA02 AA10 AB01 AC02 AD01 AD03 CA49 CA61 CA67 EA04 EA20 EA22 Of the front page Continued (51) Int.Cl. 7 identification mark FI theme Court Bu (Reference) G06T 7/00 B60R 21/00 624C G06F 15/62 415 F -term (reference) 2F065 AA01 AA02 AA03 AA12 AA22 AA24 BB05 BB24 CC11 DD03 FF04 FF09 JJ03 JJ16 JJ26 MM16 QQ03 QQ24 QQ26 QQ36 QQ41 QQ43 2F112 AC06 AD01 BA01 CA05 DA15 DA25 EA01 FA03 FA09 FA21 FA27 FA31 FA36 FA38 FA41 FA45 5B057 AA06 AA16 BA02 BA15 DA07 DB03 DC16 DC19 DC32 5J084 AA02 AA10 AB01 AC02 AD01 AD03 CA49 CA61 CA67 EA04 EA20 EA22

Claims (9)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】車両に搭載された二つの電子式カメラからなり、両カメラが共に車両前方または後方に向けて相互に光軸が平行になるように設置されたカメラと、 一方のカメラの画像を所定の大きさのウィンドウ領域毎に分割し、各ウィンドウ領域毎に、他方の画像においてその領域と最も一致度が高い領域を検出し、最も一致度が高い両領域の位置の差から各領域毎の視差を求める視差演算手段と、 前記の視差に基づいて、撮像された先行車までの距離と、画像上で先行車が撮像された位置とを求める距離・ 1. A consists of two electronic cameras mounted on the vehicle, a camera optical axis is installed so as to be parallel to each other both cameras are both toward the vehicle forward or backward, one camera image were divided for each window area of ​​a predetermined size, for each window area, and detects the highest degree of coincidence is high region and that region in the other image, each from the difference in the position of the best match degree is high both regions regions a parallax calculating means for calculating a parallax for each, based on the parallax, the distance-seeking and distance to the imaged preceding vehicle, and a position where the preceding vehicle is imaged on the image
    位置演算手段と、 前記画像上で先行車が撮像された位置に先行車の左右上下端を含む大きさの縦長または横長のウィンドウを複数設定するウィンドウ設定手段と、 前記複数の全てのウィンドウにおいて縦長のウィンドウでは各y座標毎の水平エッジのヒストグラムを、横長のウィンドウでは各x座標毎の垂直エッジのヒストグラムを求めるヒストグラム演算手段と、 前記複数のウインドウにおいて同じy座標上に検出される水平エッジのy座標位置または同じx座標上に検出される垂直エッジのx座標位置を検出するエッジ検出手段と、 前記水平エッジまたは垂直エッジの移動ベクトルを計測するベクトル計測手段と、 前記距離・位置演算手段で視差から求めた車間距離の変化と適合する方向および大きさの移動ベクトルを示すエッジだ And position calculating means, a window setting means for preceding vehicle on the image to set a plurality of portrait or landscape window size including the right and left upper and lower ends of the preceding vehicle at a position that is captured, Vertical in all windows of the plurality of a histogram of horizontal edge for each y coordinate in the window, in the horizontal windows and histogram calculating means for calculating a histogram of the vertical edges of each x-coordinate of the horizontal edge detected on the same y-coordinate in said plurality of windows edge detecting means for detecting the x-coordinate position of the vertical edges detected in the y-coordinate position or on the same x-coordinate, and a vector measuring means for measuring the movement vector of the horizontal edge or vertical edge, at the distance and position calculating means it edges showing the movement vector of the change compatible direction and magnitude of the inter-vehicle distance obtained from the parallax を先行車のエッジとして選択するエッジ選択手段と、 を備えたことを特徴とする車間距離計測装置。 Vehicle distance measuring apparatus characterized by comprising a an edge selection means for selecting a preceding vehicle edge.
  2. 【請求項2】車両に搭載され、路面に平行方向と垂直方向の2次元的に光を走査して照射し、照射した方向毎の光の反射強度と、その光の反射面までの距離とを計測する光測距装置と、 前記計測した反射強度の各角度毎の値をデジタル値の配列とした輝度画像と、前記計測した距離の各角度毎の値を前記輝度画像に対応する順序でデジタル値の配列とした距離画像とを記憶するメモリと、 前記距離画像に基づいて先行車までの車間距離を計測し、かつ、前記距離画像上において先行車が計測された位置に基づいて前記輝度画像上で先行車が存在する位置を求める距離・位置演算手段と、 前記距離・位置演算手段で求めた位置と距離に基づいて、輝度画像上に撮像された先行車の左右上下端を含む程度の縦長または横長のウィンドウを複数設 2. A mounted on the vehicle, road surface irradiated by scanning the two-dimensionally light parallel and vertical directions, and the reflection intensity of light for each irradiated direction, and the distance to the reflecting surface of the light an optical distance measuring apparatus for measuring a luminance image and the value for each angle of reflection intensities said measured with the sequence of digital values, the value for each angle of distances the measurement in the order corresponding to the luminance image a memory for storing the distance image to the sequence of digital values, the inter-vehicle distance to the preceding vehicle is measured on the basis of said distance image, and the luminance on the basis of the position where the preceding vehicle is measured on the range image extent comprising a length and position calculating means for calculating a position where the preceding vehicle is present on the image, the distance and position based on the position and distance obtained by the calculation means, the left and right on the lower end of the preceding vehicle picked up on the luminance image multiple set the portrait or landscape of the window of するウィンドウ設定手段と、 前記複数の全てのウィンドウにおいて縦長のウィンドウでは各y座標毎の水平エッジのヒストグラムを、横長のウィンドウでは各x座標毎の垂直エッジのヒストグラムを求めるヒストグラム演算手段と、 前記複数のウインドウにおいて同じy座標上に検出される水平エッジのy座標位置または同じx座標上に検出される垂直エッジのx座標位置を検出するエッジ検出手段と、 前記水平エッジまたは垂直エッジの移動ベクトルを計測するベクトル計測手段と、 前記距離画像から求めた車間距離の変化と適合する方向および大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択するエッジ選択手段と、 を備えたことを特徴とする車間距離計測装置。 And window setting means for, the histogram of the horizontal edge of each y coordinate in the vertical window in the plurality of all windows, a histogram calculating means for calculating a histogram of the vertical edges of each x coordinate in the horizontal window, the plurality edge detecting means for detecting the x-coordinate position of the vertical edges detected on the y-coordinate position or the same x-coordinate of the horizontal edge detected on the same y-coordinate in the window, the movement vector of the horizontal edge or vertical edge wherein the vector measurement means for measuring, by comprising an edge selection means for selecting only a preceding vehicle edge edges showing the movement vector of the change compatible direction and magnitude of the inter-vehicle distance obtained from the distance image vehicle-to-vehicle distance measuring device to.
  3. 【請求項3】車両に搭載され、路面に平行方向と垂直方向の2次元的に光を走査して照射し、照射した方向毎の光の反射強度と、その光の反射面までの距離とを計測する光測距装置と、 前記計測した反射強度の各角度毎の値をデジタル値の配列とした輝度画像と、前記計測した距離の各角度毎の値を前記輝度画像に対応する順序でデジタル値の配列とした距離画像とを記憶するメモリと、 前記光測距装置の走査の中心軸と光軸が平行になる位置および姿勢で車両に搭載された電子式のカメラと、 前記距離画像に基づいて先行車までの車間距離を計測し、かつ、前記距離画像上において先行車が計測された位置に基づいて前記カメラの画像上で先行車が存在する位置を求める距離・位置演算手段と、 前記距離・位置演算手段で求めた位置と距 3. is mounted on the vehicle, road surface irradiated by scanning the two-dimensionally light parallel and vertical directions, and the reflection intensity of light for each irradiated direction, and the distance to the reflecting surface of the light an optical distance measuring apparatus for measuring a luminance image and the value for each angle of reflection intensities said measured with the sequence of digital values, the value for each angle of distances the measurement in the order corresponding to the luminance image a memory for storing the distance image to the sequence of digital values, and the optical distance measuring device electronic camera central axis and the optical axis of the scanning is mounted on the vehicle at a position and orientation becomes parallel, the distance image an inter-vehicle distance to the preceding vehicle is measured on the basis of, and the distance and position calculating means for calculating a position where the preceding vehicle is present on the image of the camera on the basis of the position where the preceding vehicle is measured on the range image the position and distance determined by the distance and position calculating means 離に基づいて、前記カメラの画像上に撮像された先行車の左右上下端を含む程度の縦長または横長のウィンドウを複数設定するウィンドウ設定手段と、 前記複数の全てのウィンドウにおいて縦長のウィンドウでは各y座標毎の水平エッジのヒストグラムを、横長のウィンドウでは各x座標毎の垂直エッジのヒストグラムを求めるヒストグラム演算手段と、 前記複数のウインドウにおいて同じy座標上に検出される水平エッジのy座標位置または同じx座標上に検出される垂直エッジのx座標位置を検出するエッジ検出手段と、 前記水平エッジまたは垂直エッジの移動ベクトルを計測するベクトル計測手段と、 前記距離画像から求めた車間距離の変化と適合する方向および大きさの移動ベクトルを示すエッジだけを先行車のエッジとして選択 Based on the release, and window setting means for setting a plurality of portrait or landscape window extent including left and right on the lower end of the preceding vehicle picked up on the image of the camera, in the vertical window in all windows of the plurality each the histogram of the horizontal edge of each y coordinate, a histogram calculating means for calculating a histogram of the vertical edges of each x coordinate in the horizontal window, y coordinate position of the horizontal edge detected on the same y-coordinate in said plurality of windows or edge detecting means for detecting the x-coordinate position of the vertical edges detected on the same x-coordinate, and a vector measuring means for measuring the movement vector of the horizontal edge or vertical edge, a change in inter-vehicle distance and determined from the range image select only edges showing the movement vector compatible direction and magnitude as a preceding vehicle of the edge するエッジ選択手段と、 を備えたことを特徴とする車間距離計測装置。 Vehicle distance measuring apparatus characterized by comprising an edge selection means, the for.
  4. 【請求項4】前記エッジ選択手段で求めた先行車上のエッジの中から2本ずつを1つの組として複数組選択し、 4. A plurality of sets select two by two from the edge on the preceding vehicle which has been determined by the edge selection means as one set,
    それらの組におけるそれぞれのエッジ間距離を求め、同じ組について二つの時点で求めたエッジ間距離の比、すなわちエッジ間距離の時間的な変化率が同じ値となる組が最も多い組のエッジを先行車上のエッジと再確認する先行車エッジ判断手段を備えたことを特徴とする請求項1乃至請求項3の何れかに記載の車間距離計測装置。 Each seek distance between the edges in their set, the same set of distances between edges calculated in two time ratio, that is, the time rate of change of the distance between the edges is the largest set of edge sets the same value inter-vehicle distance measuring apparatus according to any one of claims 1 to 3, characterized in that with a preceding vehicle boundary determination means for reconfirming the edge on the preceding vehicle.
  5. 【請求項5】前記先行車上のエッジと判断されたものについてのエッジ間距離の変化率に基づいて車間距離の変化率を求める車間距離変化率演算手段を備えたことを特徴とする請求項4に記載の車間距離計測装置。 5. A method according to claim, characterized in that it comprises a vehicle distance change rate calculating means for obtaining the rate of change of the vehicle distance based on the rate of change of the distance between the edges of what is determined that an edge on the preceding vehicle inter-vehicle distance measuring apparatus according to 4.
  6. 【請求項6】前記距離・位置演算手段で求めた車間距離の所定回数前の演算値に前記車間距離の変化率を乗算することによって車間距離を算出する車間距離算出手段を備えたことを特徴とする請求項1乃至請求項5の何れかに記載の車間距離計測装置。 6., comprising the inter-vehicle distance calculating means for calculating an inter-vehicle distance by multiplying the rate of change of the inter-vehicle distance computation value before a predetermined number of inter-vehicle distance obtained by the distance and position calculating means inter-vehicle distance measuring apparatus according to any one of claims 1 to 5 and.
  7. 【請求項7】前記距離・位置演算手段で求めた車間距離と前記車間距離算出手段で求めた車間距離とを照合することにより車間距離演算の確認を行なう車間距離演算確認手段を設けたことを特徴とする請求項6に記載の車間距離変化計測装置。 7. A in that a vehicle distance computation confirmation means for confirmation of the inter-vehicle distance computation by collating the inter-vehicle distance obtained by said distance and position vehicle distance determined by the calculation means and the inter-vehicle distance calculating means vehicle distance change measuring device according to claim 6, wherein.
  8. 【請求項8】前記先行車エッジ判断手段で、先行車以外のエッジと判断された位置に対する計測値は用いずに、 In wherein said preceding vehicle edge determination unit, measured values ​​for the position determination other than the preceding vehicle edges without,
    前記距離・位置演算手段における距離と位置の演算処理を行なうことを特徴とする請求項1乃至請求項3の何れかに記載の車間距離計測装置。 Inter-vehicle distance measuring apparatus according to any one of claims 1 to 3, characterized in that to perform the calculation of the distance between the position of the distance and position calculating means.
  9. 【請求項9】前記光測距装置の輝度画像の値の低い位置の計測値は用いずに、前記距離・位置演算手段における距離と位置の演算処理を行なうことを特徴とする請求項2または請求項3に記載の車間距離計測装置。 9. The measuring values ​​of the position lower value of the luminance image of the optical distance measuring apparatus without, claim 2 and performs arithmetic processing of the distance between the position of the distance and position calculating means or inter-vehicle distance measuring apparatus according to claim 3.
JP6839099A 1999-03-15 1999-03-15 Vehicle-to-vehicle distance measuring device Expired - Fee Related JP3596339B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6839099A JP3596339B2 (en) 1999-03-15 1999-03-15 Vehicle-to-vehicle distance measuring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6839099A JP3596339B2 (en) 1999-03-15 1999-03-15 Vehicle-to-vehicle distance measuring device

Publications (2)

Publication Number Publication Date
JP2000266539A true true JP2000266539A (en) 2000-09-29
JP3596339B2 JP3596339B2 (en) 2004-12-02

Family

ID=13372351

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6839099A Expired - Fee Related JP3596339B2 (en) 1999-03-15 1999-03-15 Vehicle-to-vehicle distance measuring device

Country Status (1)

Country Link
JP (1) JP3596339B2 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006123615A1 (en) * 2005-05-19 2006-11-23 Olympus Corporation Distance measuring apparatus, distance measuring method and distance measuring program
JP2007122507A (en) * 2005-10-28 2007-05-17 Secom Co Ltd Intrusion detection apparatus
JP2007122508A (en) * 2005-10-28 2007-05-17 Secom Co Ltd Intrusion detection apparatus
JP2007121158A (en) * 2005-10-28 2007-05-17 Secom Co Ltd Intrusion detector
JP2007255978A (en) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd Object detection method and object detector
JP2010002326A (en) * 2008-06-20 2010-01-07 Stanley Electric Co Ltd Movement vector detector
JP2010273178A (en) * 2009-05-22 2010-12-02 Konica Minolta Holdings Inc Stereo measurement system and moving image-reproducing system
EP2323098A1 (en) * 2008-10-20 2011-05-18 Honda Motor Co., Ltd. Vehicle periphery monitoring device
JP2013190873A (en) * 2012-03-12 2013-09-26 Nec Software Chubu Ltd Image processing apparatus, image processing method, program, and recording medium
KR101379132B1 (en) 2007-01-18 2014-03-28 삼성전자주식회사 Method for improving quality of 3d image
CN104956400A (en) * 2012-11-19 2015-09-30 株式会社理光 Moving object recognizer
KR20160074212A (en) * 2014-12-18 2016-06-28 현대자동차주식회사 Apparatus and Method for Measuring Distance in Vehicle
US9426364B2 (en) 2011-09-05 2016-08-23 Mitsubishi Electric Corporation Image processing apparatus and image processing method
US9637118B2 (en) 2014-05-19 2017-05-02 Ricoh Company, Ltd. Processing apparatus, processing system, and processing method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009080572A (en) * 2007-09-25 2009-04-16 Toshiba Corp Apparatus and method for detecting moving body
KR101747167B1 (en) 2015-02-23 2017-06-15 부경대학교 산학협력단 Object proximate detection apparatus and method using the rate of negative disparity change in a stereoscopic image

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7656508B2 (en) 2005-05-19 2010-02-02 Olympus Corporation Distance measuring apparatus, distance measuring method, and computer program product
WO2006123615A1 (en) * 2005-05-19 2006-11-23 Olympus Corporation Distance measuring apparatus, distance measuring method and distance measuring program
JP2007122507A (en) * 2005-10-28 2007-05-17 Secom Co Ltd Intrusion detection apparatus
JP2007122508A (en) * 2005-10-28 2007-05-17 Secom Co Ltd Intrusion detection apparatus
JP2007121158A (en) * 2005-10-28 2007-05-17 Secom Co Ltd Intrusion detector
JP4727388B2 (en) * 2005-10-28 2011-07-20 セコム株式会社 Intrusion detection system
JP2007255978A (en) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd Object detection method and object detector
KR101379132B1 (en) 2007-01-18 2014-03-28 삼성전자주식회사 Method for improving quality of 3d image
JP2010002326A (en) * 2008-06-20 2010-01-07 Stanley Electric Co Ltd Movement vector detector
US8139821B2 (en) 2008-10-20 2012-03-20 Honda Motor Co., Ltd. Vehicle periphery monitoring device
EP2323098A1 (en) * 2008-10-20 2011-05-18 Honda Motor Co., Ltd. Vehicle periphery monitoring device
EP2323098A4 (en) * 2008-10-20 2011-09-28 Honda Motor Co Ltd Vehicle periphery monitoring device
JP2010273178A (en) * 2009-05-22 2010-12-02 Konica Minolta Holdings Inc Stereo measurement system and moving image-reproducing system
US9426364B2 (en) 2011-09-05 2016-08-23 Mitsubishi Electric Corporation Image processing apparatus and image processing method
JP2013190873A (en) * 2012-03-12 2013-09-26 Nec Software Chubu Ltd Image processing apparatus, image processing method, program, and recording medium
CN104956400A (en) * 2012-11-19 2015-09-30 株式会社理光 Moving object recognizer
US9607400B2 (en) 2012-11-19 2017-03-28 Ricoh Company, Ltd. Moving object recognizer
US9637118B2 (en) 2014-05-19 2017-05-02 Ricoh Company, Ltd. Processing apparatus, processing system, and processing method
KR20160074212A (en) * 2014-12-18 2016-06-28 현대자동차주식회사 Apparatus and Method for Measuring Distance in Vehicle
KR101655620B1 (en) * 2014-12-18 2016-09-07 현대자동차주식회사 Apparatus and Method for Measuring Distance in Vehicle

Also Published As

Publication number Publication date Type
JP3596339B2 (en) 2004-12-02 grant

Similar Documents

Publication Publication Date Title
US6956469B2 (en) Method and apparatus for pedestrian detection
US7231063B2 (en) Fiducial detection system
US6985075B2 (en) Obstacle detection apparatus and method
US6477260B1 (en) Position measuring apparatus using a pair of electronic cameras
US6658150B2 (en) Image recognition system
US20050232463A1 (en) Method and apparatus for detecting a presence prior to collision
US20040247157A1 (en) Method for preparing image information
US20100017060A1 (en) Road-edge detection
US20020191837A1 (en) System and method for detecting obstacle
US20030011509A1 (en) Method for detecting stationary object on road
US5889582A (en) Image-directed active range finding system
US6873912B2 (en) Vehicle tracking system
US6930593B2 (en) Lane tracking system employing redundant image sensing devices
US20110019243A1 (en) Stereoscopic form reader
US6819779B1 (en) Lane detection system and apparatus
US5424823A (en) System for identifying flat orthogonal objects using reflected energy signals
JP2004032460A (en) Image processing apparatus and method therefor
JP2004053278A (en) Front vehicle tracking system and front vehicle tracking method
JPH10143659A (en) Object detector
JP2001351200A (en) Onboard object detecting device
US20050209748A1 (en) Lane boundary detector
CN102542843A (en) Early warning method for preventing vehicle collision and device
JP2001052171A (en) Surrounding environment recognizing device
US7684590B2 (en) Method of recognizing and/or tracking objects
JP2003302470A (en) Pedestrian detection device and pedestrian detection method

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040830

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080917

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090917

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees