Connect public, paid and private patent data with Google Patents Public Datasets

Obstacle recognition device

Info

Publication number
JP2000329852A
JP2000329852A JP13544599A JP13544599A JP2000329852A JP 2000329852 A JP2000329852 A JP 2000329852A JP 13544599 A JP13544599 A JP 13544599A JP 13544599 A JP13544599 A JP 13544599A JP 2000329852 A JP2000329852 A JP 2000329852A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
distance
picture
position
laser
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP13544599A
Other languages
Japanese (ja)
Other versions
JP3669205B2 (en )
Inventor
Tomoko Shimomura
倫子 下村
Original Assignee
Nissan Motor Co Ltd
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To compensate a defect in accordance with the type of a distance measuring device and improve the certainty of obstacle recognition under a situation of wider scope. SOLUTION: This obstacle recognition device is provided with a picture image processing means processing picture images photographed by two electronic cameras 1, 2 installed in such a way that optical axes are mutually parallel and they face the direction of running by stereo picture images and a laser range finder 7 scanning by laser beam for a two-dimensional plane vertical for the direction of running. Predetermined values are sequentially voted at a surface position corresponding to a distance and a position of a region whose distance is detected by the picture image processing means, values proportional to reflection intensity of a region whose distance is detected by the laser range finder are sequentially voted at the surface position corresponding to the distance and position of the region, a section in which a voted value in a table exceeds a predetermined threshold value is searched concerning the results of voting in which the results of the picture image processing means and the results of the laser range finder are added, and it is judged that an object exists in the section.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】この発明は、種類の異なる2 BACKGROUND OF THE INVENTION The present invention, different types of 2
種類の測距手段、例えばステレオ画像処理による測距装置とレーザレンジファインダ等の測距装置との両方を用いた障害物認識装置に関し、車両等の走行方向に存在する障害物を認識する技術に関するものである。 Type distance measuring means, for example, relates to an obstacle recognition device using both the distance measuring device such as a distance measuring device and the laser range finder according to the stereo image processing relates to a technique for recognizing obstacle present in the traveling direction of the vehicle such it is intended.

【0002】 [0002]

【従来の技術】従来の車両用障害物検知装置としては、 2. Description of the Related Art As a conventional vehicle obstacle detection device,
電子式カメラで撮像した車両前方の画像を画像処理することによって障害物を検出する装置、或いはレーザレンジファインダ、スキャンニングレーザレーダのような光を用いるか、ミリ波レーダのように電波を用いて前方の障害物を検知する装置が提案されている。 Apparatus for detecting an obstacle by processing an image in front of the vehicle captured by an electronic camera, or a laser range finder, or using light, such as a scanning laser radar, using radio waves such as millimeter wave radar apparatus for detecting a front obstacle has been proposed.

【0003】また、種類の異なる2種類の測距装置、例えば画像処理による測距装置とそれ以外の測距装置とを組み合わせた障害物検知装置としては、例えば、特開平8−329393号公報に記載されたものがある。 [0003] different two types of distance measuring device, for example, as the obstacle detection device that combines the distance measuring device and the other of the distance measuring device by image processing, for example, in JP-A-8-329393 there are things that have been described. この装置は、1個のカメラで撮像した画像による単眼画像処理を行なう装置とレーザレーダとを組み合わせたものであり、単眼画像処理で先行車の存在する領域を求め、その存在領域方向から反射されたレーザレーダの測距数値を先行車までの車間距離とするものである。 This device is a combination of an apparatus and a laser radar for performing monocular image processing by the image captured by one camera, seek a region in which the presence of the preceding vehicle monocular image processing, is reflected from the present domain direction and the distance measurement value of the laser radar it is an inter-vehicle distance to the preceding vehicle.

【0004】 [0004]

【発明が解決しようとする課題】前記の各種測距装置において、電子式カメラによる画像処理では、人や立木のような反射の少ない物体でも検出することが出来、かつ分解能が高精細であるという利点があるが、霧中や夜間等のように画像のコントラストが低くなる状況では計測が困難である。 In [0008] the various distance measuring device, that the image processing by the electronic camera, it is possible to detect an object reflecting less like people and trees, and the resolution is high definition there are advantages, it is difficult to measure the contrast of the image is lowered situation the like fog or at night. また、レーザレーダ等のように光の反射を利用する装置では、夜間でも使用可能であり、分解能も高いが、濃い霧や雨天時には使用困難であり、かつ人や立木のような反射の少ない物体の検出にはあまり適していない。 Further, an apparatus that utilizes the reflection of light as such as a laser radar is also available at night, but the resolution is high, it is difficult using the dense fog or rainy weather, and people and objects reflecting less like trees for the detection of not very suitable. また、ミリ波レーダのように電波を利用する装置では、濃霧、雨中や夜間でも使用可能であるが、距離や横方向の分解能が粗いので検出した物体の識別等には不適である。 Further, in the apparatus using a radio wave as millimeter wave radar, heavy fog, but can also be used at night or during rain, the resolution of the distance and the lateral direction is not suitable for the identification or the like of the rough since the detected object. このように従来の測距装置を単体で用いた障害物検知装置においては、それぞれ一長一短があり、全ての状況において十分な効果を上げることは困難であった。 The obstacle detecting device using thus a conventional distance measuring device by itself, there are advantages and disadvantages, it is difficult to raise the sufficient effect in all situations.

【0005】また、前記特開平8−329393号公報に記載されたように、2種類の測距装置を組み合わせた障害物検知装置も提案されているが、この装置では、画像処理で先行車の存在する領域を求め、その存在領域方向から反射されたレーザレーダの測距数値を車間距離とするので、画像処理が適用出来ない霧中や夜間では車間距離計測が不可能になる。 [0005] The as described in JP-A-8-329393 and JP-two have been proposed distance measuring device also obstacle detecting device that combines, but in this apparatus, the preceding vehicle image processing seeking region present, since the distance measurement value of the laser radar reflected from the present domain direction and the inter-vehicle distance, becomes impossible vehicle distance measurement in fog or at night the image processing can not be applied. また、雨中や暗い服の人などのようにレーザレーダの不適な環境では距離計測が困難である。 In addition, it is difficult to distance measurement in unsuitable environment of the laser radar, such as people in and of dark clothes rain. つまり、前記公報に記載の装置は画像処理とレーザレーダの両方が十分機能出来る状態でなければ障害物の検知と測距が出来ないものであり、前記のように従来の測距装置を単体で用いた障害物検知装置における問題点を解消するものではなかった。 In other words, the device described in Japanese are those which can not detect the ranging obstacle if the state in which both of the image processing and laser radar can sufficiently function, the conventional distance measuring device as described above alone It did not solve the problems of the obstacle detection device using.

【0006】本発明は上記のごとき従来技術の問題を解決するためになされたものであり、測距装置の種類に応じた欠点を補い、より広範囲の状況下で障害物認識の確実性を向上させた障害物認識装置を提供することを目的とする。 [0006] The present invention has been made to solve the above-described such prior art problems, compensate the disadvantages according to the type of distance measuring apparatus, improving the reliability of obstacle recognition more under a wide range of conditions and to provide an obstacle recognition device with.

【0007】 [0007]

【課題を解決するための手段】上記の目的を達成するため、本発明においては特許請求の範囲に記載するように構成している。 To achieve the above object, according to an aspect of, and configured as described in the claims in the present invention. すなわち、請求項1に記載の発明においては、車両に搭載され、走行方向に対して垂直で路面に平行な1次元方向または走行方向に垂直な2次元平面に対して計測処理を行なうことにより、前方に存在する物体を検知する、測定原理の異なる少なくとも2種類の測距手段と、z軸方向が自車両からの距離、x軸方向が路面に平行で走行方向を基準とした位置、y軸方向が投票値を示す表と、前記少なくとも2種類の測距手段でそれぞれ計測した結果に基づいて、物体が検知された前記表の該当するそれぞれ位置に投票する投票手段と、前記投票手段による投票結果から、表中の投票値が所定のしきい値以上の個所を探索し、その個所に物体が存在すると判断する判断手段と、を備えるように構成している。 That is, in the invention described in claim 1 is mounted on a vehicle, by performing measurement processing to the vertical two-dimensional plane in a one-dimensional direction or running direction parallel to the road surface normal to the direction of travel, detecting an object existing ahead position and at least two different distance measurement means, the z-axis direction distance from the vehicle, x-axis direction relative to the travel direction parallel to the road surface of the measurement principle, y-axis the table direction indicating the voting value, the at least two distance measuring means based on the result of measurement, respectively, and voting means for voting to the appropriate respective position of the table object is detected, voting by the voting means the results are configured to include a determination unit configured vote value in the table is searched to place more than a predetermined threshold value, it is determined that the object to its location is present, a.

【0008】上記のように本発明においては、測定原理の異なる少なくとも2種類の測距手段を用い、かつ、それぞれの測定結果に基づいて該当する距離と横位置の個所にそれぞれ投票し、その加算された結果を用いて物体の存在と位置(距離と方向)とを判断するように構成しているので、少なくとも何れか一方の測距手段が計測可能であれば、物体の存在と位置とを検知することが出来る。 [0008] In the present invention, as described above, using at least two distance measuring means different measurement principle, and each point of the relevant distance and the lateral position and vote on the basis of the respective measurement results, the addition since configured to determine the presence and location of an object (distance and direction) using the result of the at least one of the distance measuring means measures possible, and the position and presence of an object it can be detected. したがって2種類の測距手段の一方が計測困難な状況下でも正確な計測、判別が可能になる。 Thus two types of one even accurate measurement under difficult circumstances measuring the distance measuring device, it is possible to determine. また、両方の測距手段が多少計測困難な状況でも、両者の結果を合わせることにより、1種の測距手段を用いる場合よりも正確な判断が可能である。 Further, even in both of the distance measuring means is some measure difficult conditions, by combining the two results are possible accurate judgment than with one of the distance measuring means.

【0009】また、請求項2に記載の発明においては、 Further, in the invention described in claim 2,
少なくとも2種類の測距手段の1つとして、光軸が相互に平行で、かつ走行方向を向くように設置された2台の電子式カメラで撮像した画像をステレオ画像処理することにより、画像に設定した各領域毎に距離と輝度とを検出する画像処理手段を用い、他の1つとして、走行方向に対して垂直で路面に平行な1次元方向または走行方向に垂直な2次元平面に対してレーザ光で走査を行ない、 One of at least two distance measuring means, by the optical axis are parallel to each other, and an image captured by the installed two electronic camera to face the direction of travel to the stereo image processing, the image using an image processing means for detecting the distance and the luminance for each region set as one of the other, to the vertical two-dimensional plane in a one-dimensional direction or running direction parallel to the road surface normal to the direction of travel It performs scanning with laser light Te,
走査方向または走査面の各領域ごとに距離と反射強度とを検出するレーザレーダを用いた測距手段を用いたものである。 It is obtained using the distance measuring means using the laser radar for detecting a distance between the reflection intensity for each of the areas in the scanning direction or scanning plane. なお、上記レーザレーダを用いた測距手段とは、例えば1次元方向を走査するものとしてはスキャンニングレーザレーダ、2次元平面を走査するものとしてはレーザレンジファインダがある。 Note that the distance measuring means using the laser radar, for example, scanning laser radar as to scan the one-dimensional direction, there is a laser range finder as to scan a two-dimensional plane.

【0010】上記のように、2種類の測距手段として、 [0010] As described above, the two distance measuring means,
画像処理手段とレーザレーダを用いた測距手段という測距原理の全く異なる装置を用いているので、それぞれの特性に応じた状況下でそれぞれ正確な計測を行なうことが出来る。 Because of the use of completely different device of the distance measuring principle that the distance measuring means using the image processing means and the laser radar, it is possible to perform each accurate measurement under conditions in accordance with respective characteristics. したがって両者の計測結果を加算した結果に基づいて判断することにより、より広い状況下で正確な判断を行なうことが出来る。 Therefore, by determining on the basis of a result of adding both the measurement result, it is possible to perform accurate judgment under broader conditions.

【0011】また、請求項3に記載の発明においては、 Further, in the invention described in claim 3,
各測距手段の特性に応じて、その測距手段毎に周囲状況に応じた信頼性を求め、前記投票手段における投票値に、前記各測距手段毎にそれぞれの信頼性に応じた重み付けを行なうように構成している。 Depending on the characteristics of each distance measuring means obtains the reliability according to the ambient conditions for respective distance measuring means, the vote value in the voting unit, weighted according to the respective reliability the each distance measuring means It is configured to perform. 例えば、前方の障害物の有無と位置が既知な状態で、様々な天候変化などの周囲環境の異なる状況下において、搭載した測距装置毎の計測信頼性を学習し、計測時の天候などの周囲環境に応じて、計測の信頼性の高い測距手段の測定結果には重みを大きくし、信頼性が低い測距手段の測定結果には重みを小さくして表に投票するものである。 For example, in a known state presence and position of the obstacle ahead of, under different circumstances of the surrounding environment, such as various weather changes, learning measurement reliability equipped with distance measuring device each, the weather at the time of measurement depending on the surrounding environment, the measurement result of the high distance measurement means reliable measurement to increase the weight, the measurement result of unreliable distance measuring unit 130 is to vote in the table to reduce the weight. これにより、 As a result,
天候などの周囲環境の変化に対して影響を受けにくくなる。 Less susceptible to changes in the surrounding environment, such as weather.

【0012】また、請求項4に記載の発明においては、 Further, in the invention described in claim 4,
測定原理の異なる少なくとも2種類の測距手段の各計測結果に基づいたそれぞれの投票結果について、予め判明している物体についての投票結果と比較対照することにより、検出された物体の種類を認識するように構成している。 Recognizing each voting results based on the measurement results of at least two different distance measuring means of the measuring principle, by comparison with the result of voting for the object that is known in advance, the type of the detected object It is configured so as. 例えば、測距手段として、ステレオ画像処理とレーザレーダを用いた場合では、それらの両方の装置において検知された角度の幅が共に狭く、かつステレオ画像処理では値が高いがレーザレーダでは反射強度が低い場合には人物や木と判断し、レーザレーダでは広い幅で高い投票値となり、ステレオ画像処理ではその両端が高く間が低い投票値となる場合には車両と判断するなどのように、投票値の分布の形状や反射強度に基づいて判断を行なうことにより、障害物の形状や種類を認識することが出来る。 For example, for measuring the distance, in the case of using the stereo image processing and laser radar, the width of the detected angle in their both devices are both narrow and the reflection intensity of the value is high, but the laser radar in a stereo image processing lower when determined that the person or wood, becomes higher voting value in a wide range in the laser radar, such as determining that the vehicle in the case where during high and both ends of the stereo image processing is low vote value, voting by performing the determination on the basis of the shape and the reflection intensity distribution of values, it is possible to recognize the shape and type of obstacles. これにより、1種類の測距手段では検知不可能な物体でも、2種類の測距手段を用いることによって、広い状況下で正確な認識が可能となる。 Thus, even undetectable object in one of the distance measuring means, by using two kinds of distance measuring means, it is possible to accurately recognize under wide conditions.

【0013】また、請求項5に記載の発明においては、 Further, in the invention described in claim 5,
画像処理手段で求めた距離に基づいた表への投票結果において、物体を計測した位置の投票分布の幅が狭い領域については、ステレオ画像処理の計測結果に基づいた投票値の重みを他の領域または通常値よりも大きくするように構成している。 In voting results to the table based on the distance obtained by the image processing means, for narrow width vote distribution position measuring object region, the weighting of votes value based on the measurement result of the stereo image processing of other areas or it is configured to be larger than the normal value. すなわち、横幅の狭い物体が検知された場合は、その物体は人物など車両以外の縦長の物体である可能性が高く、かつ、路面上の縦長の物体はテクスチャ(表面の模様等)はあるが反射面を持たないのでステレオ画像処理に適した物体である確率が高いことから、ステレオ画像処理で求めた結果に大きな重みを付けて投票するものとした。 That is, when the narrow object of width is detected, the object is likely to be elongated object other than a vehicle such as a person, and, (pattern surface or the like) the elongated object on the road surface texture is but since no reflecting surface because the probability is an object suitable for stereo image processing is high, and as to vote with a large weight to the results obtained by the stereo image processing.

【0014】また、請求項6に記載の発明においては、 Further, in the invention of claim 6,
ステレオ画像処理で求めた画像のコントラスト(輝度分散)が低いときには信頼性が低いことから、画像のコントラストが低い領域では、重みを小さくするか、若しくはステレオ画像処理以外の測距手段の結果に重みを付けて表に投票するものとした。 Weight because the reliability is low when the image obtained by the stereo image processing contrast (luminance variance) is low, the contrast of the image region of low, or to reduce the weight, or the result of the stereo image processing other than the distance measuring means was as to vote to table wearing. これにより、ステレオ画像処理が原因の誤計測を防ぐことができるので、霧、夜間などステレオ画像処理では計測不可能な環境下でも、他の測距手段の結果を活用することによって障害物の検知・計測が可能となる。 This makes it possible to stereo image processing prevents erroneous measurement caused, fog, night, etc. even under measurement impossible environments stereo image processing, the detection of the obstacle by utilizing the results of the other distance measuring means - it is possible to measure.

【0015】また、請求項7に記載の発明においては、 Further, in the invention described in claim 7,
スキャニングレーザレーダやレーザレンジファインダなどのようなレーザ光の反射時間の測定を利用した測距手段を用いた構成において、レーザ光の反射強度が低いときにはその位置での測定値の信頼性は低いことから、その位置での計測結果を表へ投票する際に、重みを減らした値を投票するものとした。 In the configuration using the distance measuring means utilizing measurement of the reflection time of the laser beam such as a scanning laser radar or a laser range finder, is less that the reliability of the measured value at that position when the reflection intensity of the laser light is low from the measurement result at that location during the vote to table, it was assumed to vote value with reduced weight. これにより、レーザレーダよる距離計測が原因の誤計測を防ぐことができる。 This makes it possible to distance measurement by laser radar prevents erroneous measurement caused. さらに、他方の測距手段がステレオ画像処理装置などのカメラを用いた測定装置である場合は、前方物体が反射面を持たない物体である場合も計測が可能であるため、上記のようにレーザレーダよる計測結果への重みを小さくすることにより、ステレオ画像処理の計測にレーザレーダの誤計測が悪影響を及ぼすことなく前方の測定が可能となる。 Furthermore, since the other distance measuring means be a measuring device using a camera such as a stereo image processing device may measure even if the forward object is an object having no reflecting surface, a laser as described above by reducing the weight of the radar by the measurement result, erroneous measurement of the laser radar to measure the stereo image processing can be forward measurement without adversely affecting.

【0016】また、請求項8に記載の発明においては、 Further, in the invention described in claim 8,
測定原理の異なる少なくとも2種類の測距手段の1つとしてミリ波レーダを用いた構成において、ミリ波レーダは霧や反射物体のない暗闇など、カメラやレーザレーダでは計測が困難な悪天候、悪環境下での測定が可能なことから、他の計測装置では測定が困難な悪環境化ではミリ波レーダでの計測結果に基づいた投票値に重みを付ける。 In the configuration using the millimeter wave radar as one of at least two different distance measuring means of the measuring principle, the millimeter-wave radar fog or the like the dark with no reflecting object, are difficult to bad weather measurement camera and a laser radar, adverse environment because it can be measured under, a difficult evil environment of measurements in other measuring device to weight the vote value based on the measurement results of the millimeter-wave radar. また、ミリ波レーダは、悪天候化に強い一方でレーザレーダやステレオ画像処理など他の測距手段と比べて距離および路面に平行な横方向の測定精度が粗いことが多いことから、好天候下ではミリ波レーダでの計測値に基づいた投票値の重みを小さくする。 Further, the millimeter-wave radar, since while strong bad weather of often laser radar or a stereo image processing other distance measuring device as compared to the distance and parallel lateral measurement accuracy on the road surface such as rough is, under favorable weather conditions in reducing the weight of the vote value based on the measurement values ​​of the millimeter-wave radar. このような投票方法により、悪天候に強く、かつ、好天候下では、分解能の粗い測定に影響されることなく高精度な測定が可能となる。 Such voting method, strong bad weather, and, under favorable weather conditions, it is possible to highly accurate measurements without being influenced by the rough measurement resolution. なお、測距手段の一つしてミリ波レーダを用いる場合としては、例えば、画像処理手段とミリ波レーダとの組み合わせ、レーザレーダを用いた測距手段とミリ波レーダとの組み合わせ、および画像処理手段とレーザレーダを用いた測距手段とミリ波レーダとの組み合わせが考えられる。 Incidentally, the combination of the case to use one to millimeter-wave radar distance measuring device, e.g., a combination of image processing means and the millimeter wave radar, the distance measuring means and the millimeter wave radar using laser radar, and an image combination of the distance measuring means and the millimeter wave radar using a processing unit and a laser radar are considered.

【0017】 [0017]

【発明の効果】本発明においては、測定原理の異なる少なくとも2種類の測距手段を用い、かつ、それぞれの測定結果に基づいて該当する距離と横位置の個所にそれぞれ投票し、その加算された結果を用いて物体の存在と位置とを判断するように構成しているので、少なくとも何れか一方の測距手段が計測可能であれば、物体の存在と位置とを検知することが出来る。 In the present invention exhibits, using at least two types of distance measuring means different measurement principle, and each vote to place the appropriate distance and lateral position on the basis of the respective measurement results were the addition since the result by using are configured to determine the position and presence of an object, at least one of the distance measuring means measurement possible, it is possible to detect the position and presence of an object. したがって2種類の測距手段の一方が計測困難な状況下でも正確な計測、判別が可能になる。 Thus two types of one even accurate measurement under difficult circumstances measuring the distance measuring device, it is possible to determine. また、両方の測距手段が多少計測困難な状況でも、両者の結果を合わせることにより、1種の測距手段を用いる場合よりも正確な判断が可能である。 Further, even in both of the distance measuring means is some measure difficult conditions, by combining the two results are possible accurate judgment than with one of the distance measuring means. したがって従来よりも広い状況下で障害物認識の確実性を向上させることが出来る。 Therefore it is possible to improve the reliability of obstacle recognition under wider than conventional conditions.

【0018】また、請求項2においては、2種類の測距手段として、画像処理手段とレーザレーダを用いた測距手段という測距原理の全く異なる装置を用いているので、それぞれの特性に応じた状況下でそれぞれ正確な計測を行なうことが出来る。 [0018] In the second aspect, as the two types of distance measuring means, because of the use of completely different device of the distance measuring principle that the distance measuring means using the image processing means and the laser radar, according to the specifics of each of it is possible to make an accurate measurement, respectively under the circumstances was. したがって両者の計測結果を加算した結果に基づいて判断することにより、より広い状況下で正確な判断を行なうことが出来る。 Therefore, by determining on the basis of a result of adding both the measurement result, it is possible to perform accurate judgment under broader conditions.

【0019】また、請求項3においては、計測時の状況下で信頼性の高い測距手段での計測結果に重みを付けた値を投票することにより、信頼性の高い計測結果が表への投票に大きく影響するため、車両の搭載した装置のうちいずれか一つが計測可能な環境であれば、前方の物体の正確な検知・計測が可能となる。 [0019] In the third aspect, by voting the value to weight the measurement result with high distance measurement means reliability in the context of the time of measurement, a high measurement result reliable to table greatly affects the vote, if any one is capable of measuring environment of mounting the device for a vehicle, it is possible to accurately detect and measure the forward object. また、誤計測値の投票値の割合が減るため、測距手段のうちで誤計測した装置がある場合でも、他の装置の計測結果が活かされ、正確な計測が行われるようになり、全体として天候など周囲環境の影響を受け難いロバストな計測が可能となる。 Moreover, since the proportion of voting values ​​of erroneous measurement value is reduced, even if there is erroneous measurement the apparatus among the distance measuring means, the measurement results of other devices are utilized, become accurate measurement is made, the entire it is possible to affected hardly robust measurement of the surrounding environment, such as weather as.

【0020】また、請求項4においては、測距手段の特性に応じて投票値の分布の形状に異なる特徴が表れることから、投票パターンの形状を学習し、投票値の分布形状を用いた種類別のパターンマッチングを行なうことで、前方の物体の形状および種類の認識が可能となる。 [0020] In the fourth aspect, since the different features appear in the shape of the distribution of voting values ​​according to the characteristics of the distance measuring means to learn the shape of the voting patterns, the type using a distribution shape of vote value by performing another pattern matching, it is possible to shape and type of recognition of an object in front.
また、一方の測距手段では計測不可能な物体であっても、他方の測距手段で計測可能な物体であれば、一方では計測不可能で、他方では計測可能という一つのパターンの特徴が現われるので、一方の装置で計測が不可能な物体でも物体の認識が可能となり、さらに、その計測が不可能という情報も物体認識の有効な情報として使えるため、より幅広くかつ確実な物体認識が可能となる。 Further, even the object impossible measurement at one distance measuring means, as long as the object can be measured at the other distance measurement means, on the one hand impossible measurement, the characteristics of one pattern that can measure in the other appears so, it is possible to recognize objects in an object which can not be measured by one device, further, since used as useful information also object recognition information that impossible the measurement, can be more widely and reliable object recognition to become.

【0021】また、請求項5においては、物体を計測した位置の投票分布の幅が狭い領域については、ステレオ画像処理の計測結果に基づいた投票値の重みを大きくすることにより、レーザレーダなどのように反射面を持たない物体への計測が不安定な測距手段と組み合わせた場合でも、反射面を持たない物体に対する計測が確実であるステレオ画像処理の計測が表への投票に大きく影響するため、より確実な距離測定が可能となる。 Further, in the claim 5, for the narrow width of the vote distribution of position measuring object region, by increasing the weight of the vote value based on the measurement result of the stereo image processing, such as a laser radar even if the measurement of the object having no reflecting surfaces as combined with unstable distance measuring device, the measurement of the stereo image processing greatly affects the vote for the table measured with respect to the object having no reflecting surface is sure Therefore, it is possible to more reliable distance measurements.

【0022】また、請求項6においては、ステレオ画像処理で輝度分散が低い領域では重みを小さくしたことにより、ステレオ画像処理が原因での誤計測を防ぐことができ、ロバストな計測が可能となる。 Further, in claim 6, by which to reduce the weight brightness dispersion in the region of low stereo image processing, it is possible to stereo image processing prevents erroneous measurement of the cause, it is possible to robust measurement .

【0023】また、請求項7においては、レーザ光の反射時間を利用した計測装置においては、反射強度の低い部分での計測結果の信頼性が低いことから、反射強度の低い部分での計測値は重みを小さくする構成としたことにより、レーザ光の反射を利用した測距手段が原因での誤計測を防ぐことができ、ロバストな計測が可能となる。 Further, in claim 7, in the measurement apparatus using a reflection time of the laser beam, since it is unreliable measurement results at the lower part of the reflected intensity, measured values ​​at the lower part of the reflected intensity is with the construction to reduce the weight, distance measuring device utilizing the reflection of the laser beam can be prevented erroneous measurement due, it is possible to robust measurement.

【0024】また、請求項8においては、測距手段の一つをミリ波レーダとした場合において、他の測距手段では計測が困難な悪天候下では、ミリ波レーダでの計測結果に基づいた投票値に重みを大きくし、他の測距手段でも計測可能な好環境下では、ミリ波レーダでの計測結果に基づいた投票値の重みを小さくする構成としたことにより、悪天候下でも計測が可能となり、好天候下では、 Further, in claim 8, in the case where one of the distance measuring means it is a millimeter wave radar, under difficult bad weather measurement at other distance measurement means, based on the measurement results of the millimeter-wave radar increasing the weighting the vote value, under measurable good environment in other distance measurement means, with the construction to reduce the weight of the vote value based on the measurement results of the millimeter-wave radar, it is also measured under bad weather possible and will, under favorable weather,
ミリ波レーダの横分解能の粗さによる悪影響を及ぼされることなく、横方向の分解能の細かい他の測距手段の計測に基づいた高精度な測定が維持可能となる。 Without being adversely affected by the roughness of the lateral resolution of the millimeter-wave radar, precise measurement based on the measurement of the fine other distance measuring means of the transversal resolution becomes possible maintenance.

【0025】 [0025]

【発明の実施の形態】以下、この発明を図面に基づいて説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, will be explained on the basis of this invention with reference to the drawings. 図1は本発明の実施の形態の構成を示すブロック図であり、測距装置として2台の電子式カメラによるステレオ画像処理とレーザレーダを用いた測距装置とを用いた場合を例示する。 Figure 1 is a block diagram showing the configuration of the embodiment of the present invention, illustrating the case of using a distance measuring apparatus using stereo image processing and laser radar two by an electronic camera as a distance measuring device. 図1において、1および2は電子式のカメラであり、自車の前部に前方を向いて設置されており、両カメラの光軸は相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置されている。 In Figure 1, 1 and 2 are electronic cameras, vehicle of the front is installed facing forward, optical axes of the cameras are parallel to each other and vertical axes the same line of the imaging surface It is installed so as to be aligned to the top. なお、撮像面の水平軸が同じライン上に揃うように設置してもよい。 Incidentally, the horizontal axis of the imaging surface may be provided to align on the same line. 3、4はそれぞれカメラ1、2から入力した画像信号を記憶する画像メモリである。 3 and 4 is an image memory for storing image signals input from the cameras 1 and 2, respectively. 5は演算部であり、例えばCPU、RAM、ROM等からなるマイクロコンピュータで構成される。 5 is a computation unit, for example CPU, RAM, configured by a microcomputer comprised of ROM or the like. 6は自車の前方に存在する障害物等の検出対象物であり、図1では先行車を例示している。 6 is a detection object such as an obstacle present ahead of the vehicle, illustrating the preceding vehicle in FIG. また、7はレーザレーダを用いた測距装置であり、例えばスキャンニングレーザレーダまたはレーザレンジファインダであり、自車の前部に前方を向いて設置されている。 Further, 7 is a distance measuring device using a laser radar, for example, a scanning laser radar or laser range finder, is installed facing forward in the front of the vehicle. スキャンニングレーザレーダはレーザレーダの照射を水平方向に走査することで、前方の物体までの距離とその照射対象の反射強度(輝度)を1次元に計測する装置であり、レーザレンジファインダは、 Scanning laser radar is by scanning the irradiation of the laser radar in the horizontal direction, a device for measuring the distance between the reflection intensity of the irradiation target to an object in front (luminance) in a one-dimensional, laser range finder,
レーザレーダの照射を縦および横に走査することで、前方の物体までの距離とその照射対象の反射強度(輝度) By scanning the irradiation of the laser radar in the vertical and horizontal distance between the reflection intensity of the irradiation target to the front of the object (luminance)
を2次元的に計測する装置である。 Which is a two-dimensional measuring devices. また、8はスキャンニングレーザレーダやレーザレンジファインダから入力した画像信号を記憶する画像メモリであり、距離画像と輝度画像(反射強度)を記憶する。 Also, 8 is an image memory for storing image signals input from the scanning laser radar or a laser range finder, the distance image and the luminance image (reflection intensity) stores. なお、カメラ1、2 In addition, the camera 1, 2
とスキャンニングレーザレーダやレーザレンジファインダ7を車両の後部に後方を向けて設置し、車両後方の障害物を検出するように構成することもできる。 And a scanning laser radar or a laser range finder 7 is placed towards the rear to the rear of the vehicle can also be configured to detect a vehicle obstacle behind. また、7 In addition, 7
としては上記のようなレーザ光を用いる装置の他に、電波を放射するミリ波レーダ等を用いることも出来る。 The other devices using laser light as described above, may be used a millimeter wave radar or the like that emits radio waves.

【0026】以下、まずこの実施の形態に用いる種々の演算手段と方法について説明し、それからフローチャートに基づいて全体の演算の流れを説明する。 [0026] Hereinafter, first, describes various computing means and methods used in this embodiment, then explaining the flow of the whole operation based on the flowchart. 図2は、ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図である。 Figure 2 is a diagram for explaining a principle for determining the distance to the detection target from the camera on the principle of triangulation using a stereo image. 図2においては、カメラA(前記カメラ1に相当)で撮像した画像を画像A、カメラB(前記カメラ2に相当)で撮像した画像を画像Bで示し、検出対象の位置を点p(x, In Figure 2, the camera A (the corresponding camera 1) images an image taken by A, shows an image captured by the camera B (corresponding to the camera 2) in the image B, a point the position of the detection object p (x ,
y,z)としている。 y, is set to z).

【0027】図2から判るように、焦点距離f、眼間距離(両カメラ間の距離)Dが既知であり、光軸が互いに平行な2台のカメラA、Bで撮像したステレオ画像において、2枚の画像間のマッチング位置ya、ybを求めることできれば、カメラから対象物pまでの距離zは下記(数1)式より求めることができる。 [0027] As can be seen from Figure 2, the focal length f, the interocular distance (distance between the camera) D are known, the optical axis is parallel to two cameras A one another, in the stereo images captured by B, matching position ya between two images, if it obtains the yb, distance z from the camera to the object p can be determined from the following equation (1) below.

【0028】 z=f・D/(ya−yb)=f・D/S …(数1) ただし、ya−yb=Sは視差であり、図2のように、 [0028] z = f · D / (ya-yb) = f · D / S ... (Equation 1) However, ya-yb = S is parallax, as shown in FIG. 2,
光軸が平行で、所定間隔を隔てて設置された二つのカメラA、Bで一つの物体を撮像した場合に、それぞれのカメラに写った画像の位置の差、すなわち画像Aにおける位置yaと画像Bにおける位置ybとの差である。 A parallel optical axes, two cameras A installed at a predetermined distance, when imaging a single object in B, the difference in position of the reflected image to each camera, that is, the position ya and the image in the image A which is the difference between the position yb of B. なお、この例では、眼間距離Dと距離zの単位はm、焦点距離f、視差Sおよび位置ya、ybの単位は画素である。 In this example, the unit of interocular distance D and the distance z is m, the focal length f, the parallax S and position ya, the unit of yb is a pixel. 例えばカメラA、BはCCDを用いたものであり、 For example, a camera A, B are those with CCD,
画素数を640×480とした場合、1画素の大きさは10μm程度である。 When the number of pixels and 640 × 480, the size of one pixel is about 10 [mu] m.

【0029】上記(数1)式は、両カメラの光軸が相互に平行で、かつ撮像面の垂直軸が同じライン上に揃うように設置した場合であるが、撮像面の水平軸が同じライン上に揃うように設置した場合には、下記(数1')式に示すようになる。 The above equation (1) is parallel to each other the optical axes of the cameras, and to a case where the vertical axis of the imaging plane is placed to align on the same line, the horizontal axis of the imaging surface are the same when installed as aligned on the line is as shown in the following equation (1 ') below. z=f・D/(xa−xb)=f・D/S …(数1') ただし、xa−xb=Sは視差 なお、以後の説明は全て撮像面の垂直軸が同じライン上に揃うように設置した場合を例として説明する。 z = f · D / (xa-xb) = f · D / S ... However (number 1 '), xa-xb = S disparity The vertical axis of the following description, all the imaging surface are aligned on the same line It will be described as an example the case of installing such.

【0030】上記の視差Sを検出するには、一方の画像(例えば画像A)上において点pが撮像されている点(xa、ya)に対応する他方の画像(例えば画像B) [0030] To detect a parallax S of the above, one image (e.g., image A) that the point p is imaged on the (xa, ya) the other image corresponding to the (for example, an image B)
上の点(xb、yb)を検出する必要がある。 It is necessary to detect the point of the upper (xb, yb). その方法としては、画像A上の点(xa、ya)を含む或る範囲の画像(ウィンドウ)と最も類似した範囲を画像B内から探すことで求めることができる。 As the method can be determined by searching a point on the image A (xa, ya) the most similar range as a range of the image (window) including the image B. この類似度の算出には、画像間の差分法や正規化相関法などがある。 The calculation of the similarity, and the like difference method and the normalized correlation method between images. そして距離画像(ウィンドウ毎にその内部に撮像される物体までの視差を求めた画像)は、定義した全てのウィンドウにおいて差分法や正規化相関法により、他方と類似度の高いウィンドウが存在する位置を求めることで作成できる。 The distance image (image obtained parallax to an object to be imaged therein for each window) is the difference method or a normalized correlation method in all windows defined position where there is other the high similarity window It can be created by obtaining.

【0031】図3は、両画像の対応する位置毎の視差を求めた結果を示す図であり、詳しくは、道路前方を撮像した画像において、一方の画像(例えば画像B)をウィンドウ毎に切り、その全てのウィンドウにおいて他方の画像(例えば画像A)からそのウィンドウと最も類似度の高い画像の位置を求めることで、両画像における対応する位置を検出し、それぞれの対応する位置から各ウィンドウ毎の視差を求めた結果を表したものである。 [0031] FIG. 3 is a graph showing a result of determining the corresponding disparity for each position of the images, particularly, in the image captured road ahead, turn one image (e.g., image B) for each window , in all its window from the other image (e.g., image a) by obtaining the position of the highest similarity image and the window, and detecting the corresponding positions in both images, each window for each of the respective corresponding positions It illustrates a result of determining the parallax. 図3 Figure 3
において、(A)は下画像(画像Aに相当)、(B)は上画像(画像Bに相当)、(C)は視差の表、(D)は視差が「15」のウィンドウ部分のみを抜き出した画像、(E)は先行車の存在しない路面の画像を示す。 In the only window portion (A) below the image (corresponding to an image A), (B) (corresponding to the image B) is on the image, (C) the table of parallax, (D) is the disparity is "15" the extracted image, (E) shows an image of a road where there is no preceding vehicle. また、図3(B)、(C)の(1)〜(20)は各ウィンドウの水平方向(以下、横方向と記す)の位置を示す。 Further, FIG. 3 (B), (1) ~ (20) of the (C) indicates the position in the horizontal direction of each window (hereinafter, referred to as lateral direction). ただし、図においては(1)〜(20)を丸付き数字で表している。 However, in the figure represents (1) to a round number (20). また、一つのウィンドウは幅(x方向の長さ)がx Further, a window width (length in the x direction) x
w、高さ(y方向の長さ)がywである。 w, height (length in the y-direction) is yw. 上記のように、各ウィンドウ毎の視差が判れば、前記(数1)式を用いることによって、該当するウィンドウに撮像されている物体までの距離を求めることが出来る。 As described above, if the parallax of each window is known, by using the equation (1) can be determined the distance to the object being imaged in the appropriate window.

【0032】以下、図3(C)のようにウィンドウ毎にその内部に撮像されている物体までの視差を求めた画像を“距離画像”と呼ぶことにする。 [0032] Hereinafter, will be referred to as the inside of the image was determined parallax to the object being imaged "distance image" for each window as shown in FIG. 3 (C). このウィンドウ毎に算出される視差は、当該ウィンドウの内部に撮像されていてエッジ(画像が明から暗または暗から明に変化する点が連続した部分で、画像の端などを示す線分に相当する)などの特徴的な部分を持つ物体までの距離に相当するから、一つの対象物が複数ウィンドウに跨って撮像されていると、隣接するウィンドウで同じ視差が求められる。 Parallax is calculated for each the window, in that it changes inside have been imaged edge (the image light to dark or dark to light of the window is continuous portion corresponding to a line segment indicating, for example, the edges of the image since corresponding to the distance to the object having a characteristic part such as), when one object is imaged across multiple windows, the same disparity in the adjacent window is determined. 例えば、道路前方を撮像した画像における距離画像の場合、先行車と、先行車が存在する真下の路面とは同距離なので、図3(D)に太線のウィンドウで示すように、先行車の下部と同じy座標上にあるウィンドウは先行車と同じ視差で算出される。 For example, if the distance image in the image captured road ahead, and the preceding vehicle, since the preceding vehicle as the distance from the road surface beneath which there is, as indicated by a thick line in the window in FIG. 3 (D), the lower portion of the preceding vehicle window on the same y-coordinate as is calculated in the same parallax and the preceding vehicle. 例えば図3(C)の下から2行目に「15」が横方向に連続しているのが上記の部分に相当する。 For example, FIG. 3, "15" in the second line from the bottom of (C) that are continuous in the horizontal direction is equivalent to the parts. なお、図3(C)において、中央部分に視差「15」が集合している部分が先行車に相当し、 Incidentally, in FIG. 3 (C), the portions of the central portion parallax "15" are set to correspond to the preceding vehicle,
(3)、(4)列に視差「19」が集合している部分が「左方の木」に相当し、(6)列に視差「5」が連続している部分が「中央の木」に相当する。 (3), (4) the portion parallax "19" in the column is set corresponds to the "left of the tree", (6) is part of parallax "5" is continuous in the column "the center of the tree It corresponds to ". また、図3(E)に示すように、先行車の存在しない路面を撮像した場合には、 Further, as shown in FIG. 3 (E), when capturing a nonexistent road preceding vehicle,
画像上のy座標とその位置に撮像される路面上の距離z Distance z on the road surface to be imaged y-coordinate on the image and its position
は、画面の下から上に向けて徐々に遠距離となる。 Gradually becomes a long distance toward the top from the bottom of the screen. つまり画面の下部分には近い場所が撮像され、画面の上になるに従って遠くが撮像される。 That captured is close place to the bottom portion of the screen, away with increasing on the screen is captured.

【0033】上記のように、距離画像は前方に高さのある物体が存在すると、その物体が撮像されているx座標位置のウィンドウでは同じ視差が検出される。 [0033] As described above, the distance image when the object with a height in front of the presence, in the window of the x-coordinate position where the object is imaged same parallax is detected. 一方、車両横にある白線部分のように路面などの高さを持たない位置では、同じx座標上で同じ視差が検出されるウィンドウは一つである。 On the other hand, in a position that does not have the height of the road surface as the white line portion of the vehicle next to a window same disparity is detected on the same x-coordinate is one. すなわち、前方に物体が存在する場合、同一x座標の方向でのウィンドウにおいて同じ視差の個数を数えることにより、物体を検知することができる。 That is, if there is an object in front, by counting the number of the same disparity in window in the direction of the same x-coordinate, it is possible to detect an object. この方法によれば、複数の物体も一つの物体も同じ方法で検出することができ、検出対象や背景の色に左右されずに物体を検知できるようになる。 According to this method, one object is also a plurality of objects can also be detected in the same way, it is possible to detect the object without being influenced by the color of the detection object and the background. また、白線や停止線などの路面表示は、同じ視差を示すウィンドウが同じ方向に現れないため、路面表示と高さをもつ障害物とを誤検出することがなくなるという利点もある。 Further, pavement markings, such as white lines and stop lines is because the window showing the same parallax does not appear in the same direction, the advantage that it is unnecessary to erroneously detect an obstacle with a road surface display and height. 加えて、距離画像だけを利用しているため、検出対象の色や形状および背景色にかかわらず同様の処理で複数物体を検出できる。 In addition, because it utilizes only a distance image can be detected more objects in the same processing regardless of the color, shape and background colors to be detected.

【0034】また、図4は、カメラ1および2で撮像したステレオ画像上に距離画像作成のために切った一つ一つの小領域の画像上の位置と、その領域内に撮像される実空間上の物体との位置関係を示した図であり、(A) Further, FIG. 4, a position on small area images of every single cut in order of the distance image created on the stereo image captured by the camera 1 and 2, the real space to be imaged in the region a view showing the positional relationship between the objects above, (a)
は前方から見た斜視図、(B)は上方から見た平面図、 Perspective view from the front is, (B) is a plan view from above,
(C)は側面図を示す。 (C) shows a side view. なお、(A)および(B)においてはカメラ1と2を一つで示している。 Also shows a single camera 1 and 2 in (A) and (B).

【0035】図4において、画像上に定義した同じx座標上に並ぶ領域は、同じ方向を撮像したものである。 [0035] In FIG. 4, areas arranged on the same x-coordinate defined on the image is obtained by imaging the same direction. 例えば、画像上の中心から3番目の領域に撮像される物体(点P)は、光軸からの角度が約3×α(ただしαは領域1個分の水平方向角度)の位置に存在する物体である。 For example, the object to be imaged from the center of the image in the third region (point P) is (are however alpha horizontal angle of one minute region) angle of approximately 3 × alpha from the optical axis at the position of the it is an object. そしてカメラから該物体までの距離は前記の視差から求めた距離画像によって求められる。 The distance from the camera to said object is determined by the distance image obtained from the parallax. したがって、図5に示すように、路面に平行で、左右方向(x軸方向) Accordingly, as shown in FIG. 5, parallel to the road surface, the left-right direction (x axis direction)
の角度(例えば光軸からの角度)が画像面に定義した領域と対応し、z軸方向が距離に対応する「距離×路面に平行な角度」からなる表を設け、距離画像上の領域の定義位置とその領域の距離とに対応する表の位置に投票することにより、表中の値の高い位置の有無から前方の障害物の有無を、値の高い位置の存在位置から障害物までの距離と横方向の位置およびその物体の横幅を求めることができる。 Angle (e.g., angle from the optical axis) corresponds with the area defined in the image plane, z-axis direction corresponds to the distance provided a table consisting of "parallel angle distance × road", distance image on the area of ​​the by voting defined position and the position of the table corresponding to the distance of the region, from the existence of a high position of the value in the table whether the front obstacle, the location of the position having a high value to the obstacle distance and lateral position and the width of the object can be determined. なお、図5(A)は斜視図、(B)は撮像した画像と先行車に相当する距離z=L2における投票値を示す図、(C)は距離×路面に平行な角度(x軸方向の角度)からなる投票用の表を示す。 Incidentally, FIG. 5 (A) a perspective view, (B) is a diagram showing a voting value of the distance z = L2 corresponding to the preceding vehicle and the image captured, (C) an angle parallel to the length × road (x-axis direction It shows a table for the vote, which consists of an angle). すなわち、図5 That is, FIG. 5
は、z軸方向に距離をとり、x軸を画像のx軸方向として投票した値をy軸方向に示したグラフである。 Takes the distance in the z-axis direction is a graph showing the value obtained by vote x-axis as the x-axis direction of the image in the y-axis direction. このグラフは図3(C)のごとき距離画像の値をもとに、図5 The graph on the basis of the value of such range image FIG. 3 (C), the 5
の対応する位置に投票することによって作成する。 To create by vote of the corresponding position. 投票とは、例えば、x=2上にある画素で距離が3mの点のとき、グラフのx=2、z=3のところにy=1を加算する操作を意味する。 Vote, for example, when the distance in pixels located on x = 2 is point 3m, means an operation of adding y = 1 at the x = 2, z = 3 in the graph.

【0036】このような操作を距離画像全体の値について行なう。 The performing such an operation for the distance of the entire image values. 前方zの位置に物体が存在する場合、その物体が撮像されるx座標の距離zの位置に複数回投票が繰り返されるため、表中のその位置の値が高くなる。 If there is an object at the position of the forward z, since a plurality of times voting is repeated at a distance z of x coordinate the object is imaged, the value of its position in the table is increased. 例えば距離画像の値において同じx=2上に距離3mの値が例えば5個存在する場合はy=5となる。 For example if the value of the distance 3m on the same x = 2 is present five for example, in the value of the distance image becomes y = 5. したがって同じxの位置に背の高い物体が存在すると、その個所の投票値(ヒストグラムの高さ)は大きな値となる。 Thus when tall object present at a position of the same x, voting value of the change (height of the histogram) is a large value. 一方、 on the other hand
物体が存在しないx座標上では、図3(E)に示したように、同じx座標上で同じ距離は計測されないため、表中で値が高くなる位置は存在しない。 On the x-coordinate of the object is not present, as shown in FIG. 3 (E), the same order on the x-coordinate the same distance is not measured, the value in the table is higher position does not exist. このことから、投票結果をもとに、表中の値が大きな位置の存在から物体の有無を求めることが出来る。 Therefore, voting result on the basis of, it can be determined whether the object values ​​in the table are from the presence of a large position. また、その物体の存在する位置は、x軸方向の範囲は投票値が所定のしきい値以上の範囲xl〜xr(xlは存在範囲の左端、xrは右端)のx軸方向の位置により、物体までの距離は表の距離zの値により、それぞれ求めることができる。 The position of presence of the object, the x-axis direction of the range (the left end of the existing range xl, xr right end) range xl~xr vote value is greater than a predetermined threshold value by the x-axis direction of the position of, distance to the object by the value of the distance z of the table, it can be obtained respectively.

【0037】具体的には、例えば、前記図3に示したように先行車の存在する位置には視差15の値が多数集まるので、図5(B)(C)に示すように、視差15に相当する距離L2で左端がxl、右端がxrの範囲に投票値が集まることになる。 [0037] Specifically, for example, the value of the parallax 15 in position in the presence of the preceding vehicle as shown in FIG. 3 gather many, as shown in FIG. 5 (B) (C), the parallax 15 left in the corresponding distance L2 is xl, the right end is the vote value collects in the range of xr in. 同様に、図5(B)の「左方の木」は位置が左端から2領域目で距離がL1、「中央の木」は位置が左端から4領域目で距離がL3の個所に投票値が大きくなる。 Similarly, distance "left tree" is 2 region th position from the left end shown in FIG. 5 (B) is L1, "the center of the tree" vote value in a location in the distance L3 in the four regions th position from the left end It increases.

【0038】次に、図6は、図5と同じ環境下において、路面に平行な方向に1次元的に走査するスキャニングレーザレーダで、周囲の各角度方向の距離を計測したときの計測の状態を示した図であり、(A)は全体の斜視図、(B)は反射強度と1次元方向毎の距離を示す図、(C)は投票状態を示す斜視図、(D)は距離×路面に平行な角度(x軸方向の角度)からなる投票用の表を示す。 Next, FIG. 6, in the same environment as FIG. 5, in a scanning laser radar for one-dimensionally scanned in a direction parallel to the road surface, the state of the measurement when the measured distances for each angular directions around is a diagram showing a, (a) the overall perspective view, (B) is a view showing a distance for each reflection intensity and one-dimensional direction, (C) is a perspective view showing a voting state, (D) is the distance × a table for voting consisting parallel angle (the angle the x-axis direction) on the road surface.

【0039】スキャニングレーザレーダでは、各角度方向に存在する物体までの距離とその物体にレーザを照射したときの反射強度が計測される。 [0039] In the scanning laser radar, reflection intensity when irradiated with laser distance and the object to an object present in each angular direction is measured. 車両は反射面をもつため、前方に車両が存在すると強度の強い反射光が返り、その反射強度は計測結果の信頼性にもつながる。 Since the vehicle with the reflective surface, it is returned strong reflected light intensity when the vehicle in front, the reflection intensity also leads to reliability of the measurement results. つまり、ステレオ画像処理で求めた距離画像と同様の方法で、路面に平行な方向で各角度毎に計測した1次元データより、例えば、その方向毎に計測した距離の表の位置に反射強度に比例した値を加算する処理により、前方の障害物の有無とその物体までの距離および存在する範囲の横方向の範囲角度を計測できる。 That is, the distance image and the same method as determined by the stereo image processing, from the one-dimensional data measured for each angle in a direction parallel to the road surface, for example, the reflection intensity at a distance of the table measured in that direction every the process for adding the proportional value, can be measured whether the lateral extent angular distances and ranges there to the object in front of the obstacle. すなわち、図5 That is, FIG. 5
(A)と図6(C)、図5(C)と図6(D)は殆ど同じであり、同様の処理で進行方向の存在する障害物の位置と距離を検知出来る。 (A) and FIG. 6 (C), the FIG. 5 (C) and FIG. 6 (D) is almost the same, can detect the position and distance of existing obstacles in the traveling direction in a similar process. なお、画像処理ではエッジ部分の値が大きくなるので、図5(A)では先行車の端部分におけるヒストグラムが高くなるが、スキャニングレーザレーダでは物体からの反射によって距離を計測するので、図6(C)では先行車の存在する範囲でヒストグラムの高さがほぼ同じになっている。 Since the value of the edge portion is large in the image processing, although the histogram is increased at the end portion shown in FIG. 5 (A) In the preceding vehicle, since in a scanning laser radar measures the distance by reflection from the object, FIG. 6 ( the height of the histogram are substantially equal to the extent that the presence of C) at the preceding vehicle.

【0040】次に、図7は、図5と同じ環境を、計測面がカメラの撮像面と平行な計測面をもつレーザレンジファインダによって計測する状態を示した図であり、 Next, FIG. 7 is a view the same environment as FIG. 5, showing a state in which the measuring surface is measured by the laser range finder having an imaging surface parallel to the measurement plane of the camera,
(A)は全体の斜視図、(B)は輝度画像(反射強度)、(C)は距離画像、(D)は投票状態を示す斜視図である。 (A) the overall perspective view, (B) luminance image (reflection intensity), (C) a distance image, (D) is a perspective view showing a voting status.

【0041】レーザレンジファインダは、図6に示したレーザレーダの走査を、横方向だけでなく縦方向にも振ることで2次元平面的に前方の距離を測定する装置である。 The laser range finder is a device that the scanning of the laser radar, the two-dimensional plane by shaking in the vertical direction as well laterally to measure the distance of the front shown in FIG. この装置では、図7に示すように、ステレオ画像処理で求めた距離画像同様の、縦横の各角度毎の距離画像が得られる。 In this apparatus, as shown in FIG. 7, the distance image similar as determined by the stereo image processing, the distance image for each angular aspect are obtained. このことから、レーザレンジファインダで計測された距離画像と反射強度とを用いて、図5と同じ方法で表に投票することにより、前方に存在する障害物の有無、位置、距離を計測することが出来る。 Therefore, by using the distance image measured by the laser range finder and reflection intensity, and votes tabulated in the same manner as FIG. 5, to measure the presence or absence of an obstacle present ahead position, the distance It can be.

【0042】図8は、図5(A)に示したステレオ画像処理で得た距離画像に基づいて行った投票結果に加え、 [0042] Figure 8, in addition to FIG. 5 (A) to the voting result was based on the distance image acquired by the stereo image processing illustrated,
図6(C)に示したスキャニングレーザレーダでの計測結果に基づいて行なった投票結果を加算した様子を示した図である。 Is a diagram showing a state obtained by adding the voting results was performed based on the measurement result of the scanning laser radar shown in FIG. 6 (C). 図8において、黒棒の部分は図5(A)に示したステレオ画像処理の投票結果、白抜き棒の部分が図6(C)に示したスキャニングレーザレーダでの投票結果の部分を示す。 8, part of the black bars FIG 5 (A) to the voting result of the stereo image processing illustrated, part of the open bars indicate the portion of the voting result of the scanning laser radar shown in FIG. 6 (C).

【0043】図8では、ステレオ画像処理の結果とスキャニングレーザレーダの結果が1対1程度の割合の重みで加算されるようにスケーリングして加算している。 [0043] In Figure 8, the results of the results and scanning laser radar stereo image processing is added to scaled to be added at a weight ratio of about 1: 1. このように、両者の投票結果を加算することにより、例えば、霧や夜間などでステレオ画像処理では距離画像が得られない環境下でも、対象物がスキャニングレーザレーダで計測可能な物体であれば、表の障害物の存在位置の値が高くなるため物体の検知が可能になる。 Thus, by adding both the voting result, for example, even in an environment in which the range image is not obtained by the stereo image processing, such as in fog or at night, the object if the object can be measured by scanning laser radar, the value of the existing position of the obstacle in the table allows the detection of an object to become higher. また、逆に、反射強度の低い服装の人物など、スキャニングレーザレーダでは計測しにくい物体が存在する場合でも、ステレオ画像処理で計測可能であれば表中の値が高くなるため検知・計測が可能となる。 Conversely, such as people with low reflection intensity clothing, even if there are objects difficult to measure in the scanning laser radar, can be detected and measurement because the value in the measurement if table is high in the stereo image processing to become. もちろん、両者とも計測可能な環境下では、物体の存在位置がより一層値が高くなり、より確実性の高い検知計測が可能となる。 Of course, under Both measurable environment, the location of the object becomes higher even more value, it is possible to more reliably highly detection measurement.

【0044】なお、図8においては、ステレオ画像処理とスキャニングレーザレーダとを組み合わせた場合を例示したが、ステレオ画像処理による投票結果とレーザレンジファインダで得た距離画像と反射強度に基づいた投票結果とを加算してもよい。 [0044] In FIG. 8, a case has been exemplified that combines the stereo image processing and the scanning laser radar, voting results based on the distance image and the reflection intensity obtained in vote and laser range finder by stereo image processing it may be added to the door.

【0045】次に、投票結果の加算の際に重み付けを行なう構成について説明する。 [0045] Next, the configuration for weighting during the addition of the voting results. ステレオ画像処理による計測は、画像全体の輝度コントラストが高い環境では確実性が高いが、霧や夜間など、コントラストの低い環境下では確実性が低い。 Measurement by stereo image processing, which has high reliability in luminance contrast of the entire image is high environment, such as fog or night, less certainty under low contrast environment. また、スキャニングレーザレーダやレーザレンジファインダでは、そのレーダの特性により、例えば、雨天や反射強度の弱い物体では計測の確実性が低いなど、測距装置によって異なる長所、短所がある。 Further, the scanning laser radar or a laser range finder, the characteristics of the radar, for example, less certainty of measurement weak object of rain or reflection intensity, different strengths, there is a disadvantage the distance measuring apparatus. そこで、車両に搭載したステレオカメラと、レーザレーダなどの測距装置の環境に対する特徴を学習し、前記図8における加算の際に、それぞれの特徴に応じて環境に対応した重み付けを行なえば、より広範囲の状況下で障害物検知の確実性を向上させることが出来る。 Therefore, a stereo camera mounted on a vehicle, and learns the feature on the environment of the distance measuring apparatus such as a laser radar, the time of addition in FIG. 8, by performing weighting corresponding to the environment in accordance with their characteristics, and more it can improve the reliability of obstacle detection under a wide range of conditions. 例えば、ステレオ画像処理による測距の確実性の高い環境下では、図8における加算の際に、ステレオ画像処理に基づいた投票値を大きくするように重み付けし、逆に、確実性の低い場面では、小さくするように重み付けする。 For example, at high environment of certainty of the distance measuring by stereo image processing, the time of addition in FIG. 8, and weighted to increase the vote value based on the stereo image processing, on the contrary, the low certainty scenes , it is weighted so as to reduce.
また、レーザレーダの計測値の確実性の高いときにはレーザレーダの計測に基づく値を大きくするように重み付ける。 Also, attached weights as when high reliability of the measurement values ​​of the laser radar increases the value based on the measurement of the laser radar. これにより、確実性の高い値ほど距離計測に大きく反映され、逆に誤計測の可能性のある値の影響が小さくなるため、計測がより確実となる。 This will greatly reflected on the distance measuring higher the reliability value, the influence of the possible values ​​of the erroneous measurement conversely decreases, the measurement becomes more reliable.

【0046】次に、計測結果から検出物体の識別を行なう構成について説明する。 [0046] Next, the configuration of performing the identification of the detected object from the measurement results.

【0047】前記図5、図6、図7では、それぞれ、前方に2本の木と1台の車両がある場合の計測値を表へ投票する様子を示した。 [0047] In FIG. 5, 6, 7, respectively, showing how to vote measurements when there are two trees and one vehicle in front to the table. それらの結果において、車両を計測した場合には、車両のボディは反射強度が比較的強いため、通常、車両に照射したレーザ光は強い反射強度を持つ。 In the results, when measuring the vehicle body of the vehicle is relatively high reflection intensity, typically laser light irradiated on a vehicle has a strong reflection intensity. そのため、スキャニングレーザレーダやレーザレンジファインダでは、車両を撮像する角度内(距離画像上におけるxl〜xrの範囲内)全体において車両までの距離を検知できる。 Therefore, the scanning laser radar or a laser range finder, can detect the distance to the vehicle in whole within an angle for imaging the vehicle (the range of xl~xr on distance image). つまり、表への投票の際には、図6、図7にも示したように、車両の範囲内すべてにおいて同程度の高さのヒストグラムが立つ。 That is, when the vote for the table, FIG. 6, as shown in FIG. 7, a histogram of comparable height stand in all the range of the vehicle. 一方、ステレオ画像処理の場合は、領域内にエッジを含む車両の両端付近(x=xlとx=xr付近)では、確実な距離が求められるが、車両内部では両端に比べると確実な距離が計測される領域の数が少ない。 On the other hand, in the case of a stereo image processing, in the vicinity of both ends of the vehicle including an edge in the region (around x = xl and x = xr), but reliable distance is required, a reliable distance than at both ends inside the vehicle the number of regions to be measured is small. つまり、ステレオ画像処理の結果をもとにした表への投票では、図5のように、車両の両サイドヘの投票値が高く、その内部は両サイドに比べて低い値となる。 That is, in the vote results of the stereo image processing to the table that is based on, as shown in FIG. 5, the voting value of both Saidohe vehicle is high, the inside becomes a lower value than the both sides. また、一般に人物や木などような非人工物は、内部に多くのエッジがあるため、ステレオ画像処理では、それを撮像しているすべての領域において確実に距離を計測できる。 In general non-artificial, such as such as a person or a tree, since there are many edges in the interior, the stereo image processing, can be measured reliably distance in all areas that are imaged it. そのため、木や人物を撮像した位置での表への投票値は高くなる。 Therefore, vote value to the table at the position of the captured trees or people is high. しかし、木や人物などは、レーザレーダでも計測は可能であるが、金属の反射面を持たないため車のボディ面からの反射光より弱いことが多い。 However, such wood or person, although it is possible also measured by the laser radar is often weaker than the light reflected from the body surface of the vehicle because it has no reflective surface of the metal. 前記図6等で説明したように、レーザレーダを用いた装置における投票では、距離の表の位置に反射強度に比例した値を加算する処理を行なうので、 As described in FIG. 6 or the like, in the voting in the apparatus using a laser radar, because the process of adding a value proportional to the reflected intensity at the position of the table of the distance,
反射光の弱い物体に対する投票値は低くなる。 Vote value for weak object reflection light is low. したがって、スキャニングレーザレーダやレーザレンジファインダでの計測結果を用いた木や人を検知した位置の投票値は、車両の場合よりも低く、かつ、ステレオ画像処理の結果に比べても低いことが多い。 Thus, vote value of position sensing trees and human using a measurement result of the scanning laser radar or laser range finder is lower than the case of a vehicle, and often less than the result of the stereo image processing .

【0048】上記の結果を纏めると、スキャニングレーザレーダやレーザレンジファインダの計測結果においては、反射強度が強く(つまり投票値が高く)、かつ投票値が広い領域で同程度の値を有し、ステレオ画像処理の計測結果においては、投票値が両端が高くて中央部分が低い値を示す物体は、車両である可能性が高いと判断出来る。 [0048] In summary of the above results, in the scanning laser radar and measurement results of the laser range finder, reflection intensity is strong (i.e. higher vote value), and has a value of comparable wide vote value region, in the measurement result of the stereo image processing, object indicating the low center portion Vote value is high at both ends, it can be determined that is likely to be a vehicle.

【0049】また、スキャニングレーザレーダやレーザレンジファインダの計測結果においては、反射強度が弱く(つまり投票値が低く)、ステレオ画像処理の計測結果においては、領域全体において投票値が高い物体は人や立木である可能性が高いと判断出来る。 [0049] Further, in the scanning laser radar and measurement results of the laser range finder, reflection intensity is weak (i.e. low vote value), the measurement result of the stereo image processing, object higher vote value in the entire region human Ya it can be determined that there is a high possibility of being a standing trees. また、人や木は一般に車両や建造物などよりも幅が狭いことが多いので、上記投票値に幅の情報も加味して判断することも出来る。 In addition, because the people and trees are generally often width than such as a vehicle or a building is narrow, it can also be determined by taking into account also the information of the width to the vote value. 上記のように、対象物により、計測値毎の表への投票値の分布には特徴がある。 As described above, by an object, it is characterized in the distribution of the vote value in the table for each measurement. このことから、この特徴を統計的に学習することにより、分布の特徴を用いた物体の認識が可能である。 Therefore, by statistically learned this feature, it is possible to recognize an object with a feature of the distribution.

【0050】次に、物体の識別に重み付けを組み合わせた構成について説明する。 [0050] Next, the configuration that combines the weighted identification of the object. 例えば、人物や木は、車両や塀や建築物などの人工物に比べて幅が狭いことが多い。 For example, a person or a tree, is narrow and often width compared to the man-made objects such as a vehicle or a fence or building.
このことから、検出した物体の幅を表のx軸方向の角度から求め、その幅が狭いときには、人や木の検出に優れているステレオ画像処理の計測値に重みを付けて投票を行なう。 Therefore, seeking the width of the detected object from the x-axis direction of the angle of the table, when the width is narrow, to vote with a weighted measurement value of the stereo image processing is excellent in the detection of human or wood. これにより、投票による検知がより確実となる。 This makes it more reliably detected by the vote. すなわち、ノイズなどによる誤計測値がある場合でも、実際に物体を検知した位置に重みを付けることで、 That is, even if there is measurement error due to noise or the like, by attaching the weights to the detected actual object position,
ノイズよりも投票値を高くすることができるため、ノイズによる悪影響も抑えられる。 It is possible to increase the voting value than the noise, adverse effect is suppressed due to noise.

【0051】次に、ステレオ画像処理における物体の誤検知を防止する構成について説明する。 Next, description will be given of a configuration to prevent erroneous detection of an object in the stereo image processing. 図9は物体の誤検知を防止する機能を説明するための図であり、図9 Figure 9 is a diagram for explaining the function of preventing the erroneous detection of an object, Figure 9
(A)は、処理対象画像上に設定した各ウインドウの画像を示す図であり、図9(B)に示すような星型の図形を撮像した場合に、図9(A)の(a)は無地のウインドウ(撮像された図形が無い部分)、(b)は視差と平行な方向にだけエッジを持つウインドウ、(c)はエッジをもつウインドウ、(d)はノイズを含むウインドウを示す。 (A) is a diagram showing an image of each window that is set on the target image, when imaging a star shape such as shown in FIG. 9 (B), FIG. 9 (A) (a) the plain window (partial imaged graphic is not), shows a window containing window, (d) is the noise with a (b) window with only edge parallax in a direction parallel, (c) an edge. そして(a)〜(d)において各図形の下に示したグラフは、差分マッチングによって視差を求め、各画素毎(視差)に求めた差分値を、縦軸を差分値、横軸を視差としてグラフ化し、そのグラフから最小値を探すことによってマッチング位置(差分値最小の位置=類似度が最大の位置)を求める状態を表したものである。 Then (a) the graph shown in ~ (d) under each figure, obtains a parallax by the difference matching, the difference value calculated for each pixel (parallax), the difference value on the vertical axis, the horizontal axis as the parallax graphed, matching position by looking for the minimum value from the graph (difference value minimum position = similarity maximum position) illustrates a state in which the seek. また、図9(B)は、画像上に定義した(a)〜(d)それぞれのウインドウの位置と、それらの定義したウインドウの走査範囲を示す図である。 Further, FIG. 9 (B) is a diagram showing defined on the image and (a) ~ (d) the position of each window, the scanning range of those defined windows. また、図9(C)は、 Further, FIG. 9 (C)
それぞれのウインドウ(a)〜(d)において、視差方向に切った1ライン上の輝度分散を複数個所で求める状態をあらわした図である。 In each window (a) ~ (d), is a diagram showing a state of obtaining a luminance distribution of one line cut in the parallax direction at a plurality of locations. また、図9(D)は、二つのカメラで撮像した対象物とその対象物が画像上に撮像されたときの位置関係を表した図である。 Further, FIG. 9 (D) are diagrams showing the positional relationship when the object and the object captured by the two cameras is imaged on the image.

【0052】なお、図9は、図示の都合上、2台のカメラの光軸が相互に平行で、かつ撮像面の水平軸が同じライン上に揃うように設置した場合(カメラを横方向に並べた構成)における視差検出を示す。 [0052] Incidentally, FIG. 9, for convenience of illustration, the optical axes of the two cameras are parallel to each other, and if the horizontal axis of the imaging plane is placed to align on the same line (the camera in the horizontal direction It shows a parallax detection in side by side configurations). したがって前記図2で説明したように、視差Sは、S=xa−xbであり、かつ、距離zは、前記(数1')式で示すようになる。 Thus, as described in FIG. 2, the parallax S is S = xa-xb, and the distance z is as shown by the equation (1 ') below. なお、前記図2に示したように、二つのカメラを縦方向に並べた場合も、縦方向に視差を求めるので、視差はS=ya−ybになるが、基本的な機能は同じである。 Incidentally, as shown in FIG. 2, also obtained by arranging the two cameras in the vertical direction, since the vertical direction finding parallax, parallax becomes a S = ya-yb, the same basic functions .

【0053】また、上記の差分とは、基準画像と他方の画像の各画素毎の輝度差の総和であり、差分が小さいほど類似度は大となる。 [0053] Further, the above difference, a sum of brightness differences for each pixel of the reference image and the other image, as the difference is smaller similarity becomes larger. 通常、類似度と差分は下記(数2)式で表される。 Usually, the similarity and the difference is expressed by the following equation 2.

【0054】 [0054]

【数2】 [Number 2]

Figure 000003

【0055】なお、上記(数2)式において、xは基準画像(画像A)の輝度、 はxの平均値、yは他方の画像(画像B)の輝度、 はyの平均値である。 [0055] In the above equation 2, x is luminance of the reference image (image A), x is the average value of x, y is the luminance of the other image (image B), y is the mean value of y is there.

【0056】二つのカメラを撮像面の同一ラインが同一直線上に並ぶように設置した場合、互いの画像上でのマッチング位置は同一ライン上にのる。 [0056] If the same line of the imaging surface of two cameras installed so as to be arranged on the same straight line, the matching position on each other image rests on the same line. このことから、類似画像の探索は図9に示したように同じライン上において視差方向に1画素ずつずらしながら行なうことで求められる。 Therefore, the search of the similar image is obtained by performing shifting by one pixel in the parallax direction in the same line as shown in FIG. そしてそのウインドウの視差は、この操作において最も差分値が低いと判断された画像が存在する位置と基準画像のウインドウを定義した位置との差として求められる。 The disparity of the window is determined as the difference between the most image difference value is determined to be low-defined window location and the reference image present position in this operation. また、右画像を基準画像とした場合、右画像上に定義したウインドウとのマッチング位置は、図9 Also, when the right image and the reference image, matching the position of the window defined on the right image is 9
(D)に示すように左画像上では右画像でウインドウを定義した位置よりも右側になる。 Made on the right side of the position defining the window with the right image on the left image, as shown in (D). つまり、画像の探索範囲は、右画像でウインドウを定義した位置から右方向に走査すればよく、視差は走査の始点からマッチング位置までのずれとなる。 That is, the search range of the image may be scanned in the right direction from a position defining the window with the right image, the disparity is the deviation from the starting point of the scan to the matching position. 図9の例では、図9(A)の(c) In the example of FIG. 9, FIG. 9 of (A) (c)
のグラフに示したようになる。 It is as shown in the graph.

【0057】上記のように、図9(A)は四つのウインドウそれぞれにおいて各画素毎に求めた差分値(基準画像と差分を求めた画像との差)と視差(基準画像と差分を求めた画像との位置の差)との関係をグラフ化したものであり、差分マッチングの場合、差分値が最小の位置が類似度の最も高い位置となる。 [0057] As described above, FIG. 9 (A) called for the parallax (the reference image and the difference (difference between the image obtained the reference image and the difference) difference values ​​obtained for each pixel in each of four windows and a graph of the relationship between the difference) between the positions of the image, if the difference matching, the difference value with the lowest position a highest point of the similarity. しかし、例えば図9 However, for example, FIG. 9
(A)の(a)のように、ウインドウもウインドウの探索範囲も共に無地の画像であると、どの位置においても差分が同じ値となるため視差を決めることができない。 As in (A) of (a), when the window is also at the search range even both plain image window, the difference at any position can not be determined parallax for the same value.
実画像では、このようなウインドウでも小さなノイズがあるために、それぞれの位置で異なる値の差分が求められ、最小値の位置も求められてしまうが、このような場合、この位置は物体の視差を検出したものでないため、 In the real image, because there is also a small noise in such windows, prompts the difference of different value at each position, the position also results in a demand for the minimum value, in such a case, the parallax of the position object for not the one that has been detected,
この視差を物体検知に利用すると誤検知の原因となる。 Using this parallax object detection causing erroneous detection.
また、図9(A)の(b)のように視差と平行なエッジしかないウインドウでは、物体の一部と考えられるエッジが撮像されているが、(a)と同様に、差分値は走査範囲内で全て同じ値なので、求められた視差は正確なものでない可能性が高い。 Further, the window only parallax and parallel edges as shown in FIG. 9 (A) (b), although the edge is considered part of the object being imaged, as in (a), the difference value is scanned since all within the same value, the disparity obtained is likely not accurate. すなわち上記(a)、(b)のような場合に求めた視差は誤計測の原因になる可能性が高いため、視差は求めるべきではないと言える。 That is, the (a), it can be said that it is highly possible cause of erroneous measurement disparity determined when such as in (b), however, the disparity should not seek.

【0058】以下、上記のような誤検知の要因を取り除く方法を説明をする。 [0058] Hereinafter, a description how to remove factors of erroneous detection as described above. 図9(C)は、各ウインドウにおいて視差方向に切った横1ライン上の輝度分散を複数箇所で求めた状態を示す図である。 FIG. 9 (C) is a diagram showing a state in which the luminance variance calculated at a plurality of positions of the horizontal 1 on line cut in the parallax direction in each window. 視差と平行に切られた横1ラインのウインドウの輝度分散は、(a)のような無地のウインドウにおいても、(b)のような視差と平行な方向にだけエッジを持つウインドウにおいても、共に小さな値となる。 Luminance distribution of one horizontal line of a window was cut parallel to the parallax, even in plain window, such as (a), even in the window edges only to parallax in a direction parallel such as in (b), however, both It becomes a small value. 逆に、(c)のように視差の算出が可能なウインドウでは分散は大きくなる。 Conversely, the dispersion becomes large in parallax capable window calculating the like (c).

【0059】また、ウインドウ内の全体の輝度分散を計算すると、(a)の無地のウインドウでは分散が小さくなるが、(b)のウインドウの分散は大きくなってしまう。 [0059] Further, when calculating the overall brightness distribution of the window, but the dispersion is reduced in plain window (a), increases the variance of the window (b). しかし、図9(C)に示したように横1ラインの分散を算出すれば、(a)(b)は共に分散が小さくなるので、視差算出が不適なウインドウを正確に検出することができる。 However, by calculating the horizontal one line dispersion as shown in FIG. 9 (C), since both dispersion becomes smaller (a) (b), may be disparity calculated accurately detect unsuitable window . このように複数箇所の1ライン上の分散の合計または平均値に基づいて視差を求めることが適当であるか否かを、マッチングを行なう前に判断すれば、誤検知のウインドウを取り除くことができ、同時に計算量を削減することができる。 Thus whether it is appropriate to determine the parallax based on the sum or average value of the variance of the one line of a plurality of locations, if it is determined prior to performing the matching, it is possible to remove the window erroneous detection , it is possible to reduce the amount of calculation at the same time.

【0060】また、視差の算出は、図9(A)に示した差分値のグラフから最小値の位置を探すことで行なうため、最小値に近い値が複数箇所で見られるものは、無地のウインドウや視差方向と平行なエッジしか持たない画像と同様に、求めた視差の確実性は低いものとなる。 [0060] Further, the calculation of the parallax is to perform by looking for the position of the minimum value from the graph of the difference values ​​shown in FIG. 9 (A), which value close to the minimum value is observed at a plurality of locations, the plain similar to the image which has only windows and parallax direction and parallel edges, the certainty of the obtained parallax becomes low. 例えば、図9(A)の(d)のようにノイズのある画像では、前述の図9(C)の方法で求めた分散は大きくなるが、差分値のグラフは、最小値に非常に近い値が複数箇所で求められるため、その中から視差を断定することは困難である。 For example, in an image with noise as shown in FIG. 9 (A) (d), but the dispersion is increased as determined by the method described above in FIG. 9 (C), the graph of the difference value is very close to the minimum value because the value is determined at a plurality of locations, it is difficult to assert the parallax among them. 仮に、求められた差分値最小位置を視差としても、この位置は誤対応位置である可能性が高い。 Even if parallax the obtained difference value minimum position, this position is likely to be erroneous corresponding positions. したがってこのような場合には視差を求めない方がよい。 Therefore it is better not to seek parallax in such a case.
そのため次のような方法を用いる。 Therefore using the following method.

【0061】図9(A)に示すように、走査範囲内で求めた差分値の平均値とその中の最小差分値を求めると、 [0061] As shown in FIG. 9 (A), when the average value of the difference value obtained in the scanning range and minimum differential value therein,
全体の差分値のうち、最小値に近い値が多く現れる場合にはマッチング範囲内で求めた差分の平均値と差分の最小値との差が小さくなる、つまり、この二つの値の差が或るしきい値より小さい場合には、そのウインドウで求めた視差は誤対応の高いものであると判断することができる。 Of the total of the difference values, the difference between the minimum value of the average value and the difference between the obtained difference in the matching range is reduced if a value close to the minimum value a number appears, that is, the difference between the two values ​​certain it is smaller than threshold at can be determined that the parallax calculated the window is highly erroneous correspondence things. したがって、上記の判断において誤対応の可能性の高いと判断した視差は、この後の処理である表への投票に用いないようにすれば、物体の検知をより確実にすることができる。 Thus, parallax is determined that a high possibility of erroneous correspondence in the above determination, if not to use the voting to the table is a subsequent processing, it is possible to secure the detection of the object. なお、上記図9(A)のグラフは縦軸に差分をとっているが、差分の逆数の類似度をとった場合には、類似度の最大値と類似度の平均値との差が所定のしきい値より小さい場合に誤対応と判断する。 Note that the graph of FIG 9 (A) taking the difference in the vertical axis, but if taking the similarity of the inverse of the difference, the difference between the average value of the similarities between the maximum value of the similarity is predetermined corresponding to the erroneous determination when the smaller than the threshold value.

【0062】上記のように、マッチング領域内画像全体が黒の画像、画像全体が白の画像、或いはエッジや画像内に撮像されるテクスチャ(模様や形状など)に特徴のない領域で求められた視差は、誤計測である可能性が非常に高い。 [0062] As described above, the entire matching area within the image obtained by the area featureless texture (such as a pattern or shape) black image, the entire image to be captured white image, or an edge or image parallax is very likely an erroneous measurement. 車両のボディ面では確実性の高い距離が算出されない原因はこのような原理に基づく。 Causes high reliability distance is not calculated in the body surface of the vehicle is based on such a principle.

【0063】また、ボディ面のような画像中のある一部分の領域だけでなく、霧や街灯のない夜間などの環境によっては、ステレオ画像処理による距離画像自体が正確に求められない場合もある。 [0063] Further, not only the area of ​​a portion with the image, such as the body surface, depending on the environment such as at night without fog and street lights, there is a case where the distance image itself by the stereo image processing can not be accurately determined. そのため、このような計測値を表へ投票することは何も存在しない位置への投票が行われるなどの誤計測につながる。 Therefore, it leads such measurement to erroneous measurement, such as votes for a position that does not exist nothing to vote to a table is performed. したがって、各ウインドウにおいて視差方向に切った横1ライン上の輝度分散が各ラインにおいて小さい場合、およびマッチング範囲内で求めた差分の平均値と差分の最小値との差(類似度の最大値と類似度の平均値との差)が小さい場合には、誤対応の可能性が高いので、その位置で求めた計測値は表への投票に反映させない構成とするのが望ましい。 Therefore, the maximum value of the difference (similarity when the brightness dispersion on the horizontal one line cut in the parallax direction is small in each line, and the average value and the minimum value of the difference between the obtained difference in the matching range and in each window If the difference between the average value of similarity) is low, erroneous because there is a high possibility of the corresponding measured value obtained at that position is desirably a configuration that is not reflected in the vote to the table. 具体的には、上記のような範囲の値は全く用いないか(重み=0)、或いは重み付けの値を大幅に小さな値とする。 Specifically, either (weight = 0) is not used at all values ​​in the range as described above, or a significantly smaller value the value of the weighting.

【0064】上記の画像上の輝度分散の考慮は誤計測の除去につながるため、ステレオ画像処理単体の場合でも誤計測削減のための有効な方法となる。 [0064] Since lead to removal of the considered erroneous measurement of the luminance distribution of the above image, is an effective method for the erroneous measurement reduction even if the stereo image processing alone. しかし、ステレオ画像処理のみを用いる場合は、上記のようにその計測値を用いない場合は計測不可能な状況となるが、ステレオ画像処理とレーザレーダとを組み合わせた装置では、 However, when using only the stereo image processing, the case of not using the measurement value as described above becomes a impossible measurement conditions, an apparatus that combines the stereo image processing and a laser radar,
上記のような環境下では、レーザレーダなどの他の計測値の結果だけを反映させることで、確実な計測を行なうことができる。 In an environment as described above, by reflecting only the results of other measurements, such as laser radar, it is possible to perform a reliable measurement. したがって、計測が不可能になることもなく、誤計測だけを削減することができる。 Thus, without even impossible measurement, it can be reduced only erroneous measurement.

【0065】また、上記の説明は、ステレオ画像処理の計測値を用いないでレーザレーダの計測値のみを用いる場合について説明したが、その逆もあり得る。 [0065] Further, the above description has described the case of using only the measured value of the laser radar without using the measured value of the stereo image processing, and vice versa. すなわち、レーザレーダなどの光の反射時間を利用した測距装置では、計測対象物が光を吸収するような物体の場合には、反射光がなくなるため計測が困難になる。 That is, in the distance measuring device utilizing the reflection time of light such as a laser radar, when the object such as the measurement object absorbs light, becomes difficult measurement the reflected light is eliminated. 通常、道路上などの外界には、光を100%吸収するものはほとんどないため、多少の反射光は計測されるが、反射強度の低い計測値は、信頼性が低く、距離を誤計測する可能性が高い。 Normally, the outside world, such as on the road, because almost none of absorbing light of 100%, although some of the reflected light is measured, a low measured value of reflection intensity, low reliability, erroneously measured distance Probability is high. そこで、スキャニング角度毎に計測距離と同時に強度を計測し、その光の強度が所定値よりも低い場合は、その位置での計測値を表への投票に反映させないようにする。 Therefore, the intensity is measured simultaneously with the scanning angle every measurement distance, when the intensity of the light is lower than a predetermined value, the measured value at the position so as not to reflect the vote to the table. 具体的には、上記のような範囲の値は全く用いないか(重み=0)、或いは重み付けの値を大幅に小さな値とする。 Specifically, either (weight = 0) is not used at all values ​​in the range as described above, or a significantly smaller value the value of the weighting. この場合にはステレオ画像処理の計測値のみがほぼ使用されることになる。 And only the measured value of the stereo image processing is substantially used in this case. これによりレーザレーダによる誤計測を防ぐことができる。 This prevents erroneous measurement by the laser radar.

【0066】次に、これまでの説明は、ステレオ画像処理とレーザレーダとを用いた装置について説明したが、 Next, the description so far has been described apparatus using the stereo image processing and a laser radar,
それらの何れか一方の代わり、もしくはそれらに追加してミリ波レーダを用いる場合について説明する。 Any of those or the other alternative, or if the use of millimeter wave radar in addition to those explained. ミリ波レーダは、濃霧、雨中や暗闇など、ステレオ画像処理やレーザレーダでは測定不可能な場合でも周囲の物体までの測距が可能という特徴がある。 Millimeter wave radar, heavy fog, such as during rain or darkness, there is a feature that enables distance measurement to the object around even impossible measurement in the stereo image processing or laser radar. しかし、一般に、ミリ波レーダは、レーザレーダのような細かい走査は行わないため、スキャニングレーザレーダや走査線のスキャンによりレーザレーダよりも細かい分解能の得られるステレオ画像処理を用いた計測と比べて、横方向の検知角度分解能が粗いという問題がある。 However, in general, the millimeter wave radar, since not performed fine scanning such as laser radar, as compared with measurement using a stereo image processing obtained fine resolution than laser radar by scanning of the scanning laser radar, the scanning lines, sensing angular resolution in the lateral direction is a problem that coarse. そこで、他の装置では計測不可能な悪天候下では、ミリ波レーダでの計測結果に基づいた投票の重みを大きくする。 Therefore, in another device under impossible measurement bad weather, to increase the weight of the votes based on the measurement results of the millimeter-wave radar. 一方、ステレオ画像処理やレーザレーダによる高精度な測定が可能な環境下では、ミリ波レーダの計測値に基づいた投票値の重みは小さくする構成とする。 Meanwhile, in an environment capable of conducting a highly accurate measurement by stereo image processing, laser radar, the weight of the vote value based on the measurement values ​​of the millimeter wave radar is configured to reduce. 組み合わせとしては、ステレオ画像処理とミリ波レーダ、レーザレーダとミリ波レーダ、ステレオ画像処理とレーザレーダとミリ波レーダの3種が考えられる。 As a combination, the stereo image processing and the millimeter wave radar, laser radar and a millimeter-wave radar, a stereo image processing and three laser radar and a millimeter-wave radar is considered. 上記の構成により、悪天候に強く、 According to the above-described configuration, strongly to bad weather,
かつ、好天候下では、分解能の粗い測定に影響されることなく高精度な測定が可能となる。 And, under favorable weather conditions, it is possible to highly accurate measurements without being influenced by the rough measurement resolution.

【0067】次に、これまで説明した種々の方法を用いて前方の物体の位置計測および物体の認識を行なう実施例を説明する。 Next, an example will be described for performing recognition of position measurement and the object in front of the object using a variety of methods described above. 図10は、2台のカメラ1、2と、レーザレンジファインダ7を自車両に搭載した構成を示す側面図である。 Figure 10 is a two cameras 1 and 2, is a side view showing a configuration of a laser range finder 7 is mounted on the vehicle. ここでは、2台のカメラ1、2は路面に対して縦に平行に並べ、2台のカメラの撮像面のy軸が同一ライン上にのるように配置している。 Here, two cameras 1 and 2 are vertical aligned parallel to the road surface, y-axis of the imaging surface of the two cameras are arranged so as to rest on the same line. また、レーザレンジファインダ7は、カメラの光軸とレーザレンジファインダの走査中心軸を平行とし、カメラの撮像面〔図4 The laser range finder 7, an optical axis and the scanning center axis of the laser range finder of the camera as a parallel imaging plane of the camera [4
(A)の撮像面〕とレーザレンジファインダの計測面〔図7(A)の計測面〕が平行になるように搭載した場合を示す。 It shows a case where measurement plane of the laser range finder and the imaging surface] of the (A) [Measurement surface shown in FIG. 7 (A)] is mounted so as to be parallel. なお、図10においては、カメラを1個のみ示しているが、実際には2台(この例では縦方向に)存在する。 Incidentally, in FIG. 10 shows the camera only one, two actually (in this example in the vertical direction) is present. 例えば、2台のカメラの中間にレーザレンジファインダを設置するように構成すれば、両者の画像の位置のずれを少なく出来る。 For example, if constructed of the two cameras intermediate to install a laser range finder, the deviation of the position of both the image less possible.

【0068】図11は、この実施例の処理の流れを示す図である。 [0068] Figure 11 is a diagram showing the flow of processing in this embodiment. 図11において、まず、ステップS101では、2台のカメラ1、2からの画像Aと画像Bを入力する。 11, first, in step S101, the input image A and the image B from the two cameras 1 and 2. 同時に、ステップS102では、レーザレンジファインダ7から距離画像とその位置の反射強度である輝度画像を入力する。 At the same time, in step S102, and inputs the luminance image is a reflection intensity of the position from the laser range finder 7 distance image and.

【0069】次に、ステップS103では、ステレオ画像を用いて距離画像を作成する(前記図3の説明参照)。 Next, in step S103, it creates a distance image using a stereoscopic image (see description of FIG. 3). この距離画像作成では、領域毎の視差を求める前に、まず画像上に定義した領域毎の輝度分散を求め、その分散がしきい値以上の部分だけ視差を算出するようにする(前記図9の説明参照)。 In this distance image creation, before obtaining the parallax for each region, and first obtains the luminance distribution of each defined region on the image, the variance is to calculate the parallax only more portions threshold (FIG. 9 see description). このような前処理を行なうことで、信頼性の高いステレオ画像処理での計測値だけが後の投票に使用されるようにする。 Such pretreatment by performing, so that only the measurement values ​​in a reliable stereo image processing is used to vote after. また、分散がしきい値以上の領域ではステレオ画像間のマッチング位置(視差)を求め、各領域毎の距離を求める。 Moreover, variance determine the matching position between the stereo image (parallax) in the above region threshold, determining a distance for each region. これには、 To do this,
画像間の正規化相関法や差分法などの一般的な方法を用いればよい。 A general method such as a normalized correlation method or the difference method between images may be used.

【0070】次に、ステップS104では、ステレオ画像処理で求めた距離画像とレーザレンジファインダで計測した距離画像とのそれぞれを用いて、距離×水平方向の表への投票を行なう(図5、図8の説明参照)。 Next, in step S104, by using each of the distance image measured by the distance image and the laser range finder determined by stereo image processing, the distance × to vote in the horizontal direction of the table (FIG. 5, FIG. 8 see description of). ここでは、まず、ステレオ画像処理で求めた距離画像を用いた投票を行なう。 Here, first, to vote using a distance image obtained by the stereo image processing. これは、図5で説明したように、距離画像の各領域に着目し、表の横の位置がその領域のx軸方向の角度、縦の位置はその領域で算出された距離zとなる位置に投票値を加算するという処理を繰り返す。 This is because, as described in FIG. 5, focusing on the region of the distance image, the horizontal position of the table x-axis direction of the angle of the region, the vertical position of the distance z calculated by the its area position repeat the process of adding the vote value in. 例えば、水平方向が3の位置に定義された領域において距離がL2と求められた領域に検出値があった場合は、表中の水平方向が3、距離zがL2の位置に投票する。 For example, if the distance in the area where the horizontal direction is defined at the position of 3 there was a detection value in a region determined as L2, the horizontal direction in the table 3, the distance z to vote at the position of L2. ここで表に加算する投票値は、後述する環境に応じた重みを付けてもよいし、+1としてもよい。 Here voting value to be added to the table may be assigned a weight according to the environment to be described later, it may be + 1. このような操作をステレオ画像処理の距離画像作成において距離が算出されている領域すべてにおいて行なう。 Performed in all areas where the distance is calculated such operations at a distance image creation of the stereo image processing.

【0071】また、レーザレンジファインダで計測した距離画像を用いて同じ操作を行なう。 [0071] Further, the same operation using the distance image measured by the laser range finder. ただし、通常、ステレオ画像処理で求めたx軸方向の一つの領域の角度(図4、図5のα)とレーザレンジファインダの1回の計測毎に動く走査角度(図6、図7のθ)は異なるので、表への投票の際には、実空間上において同じ方向を計測した値が表中の同じ位置に投票されるように変換する必要がある。 However, usually, the stereo image angle in the x-axis direction one region of which is obtained by processing the scanning angle (FIG. 6 (FIG. 4, FIG α 5) and moves in one each measurement of the laser range finder, theta in Figure 7 ) because different, when the vote to the table, the value obtained by measuring the same direction in the real space needs to be converted to be voted in the same position in the table. それには次のような計算を施せばよい。 It may be subjected the following calculation is to it.
すなわち、前記図4に示したように、カメラからの距離がz、カメラの光軸からx軸方向への距離がxpの位置にある点Pが撮像される画像上の領域のx方向の位置(これをn番目の領域とする)を求める。 That is, as shown in FIG. 4, the distance from the camera z, the position of the x direction of a region on the image distance is a point P in a position xp is imaged from the optical axis of the camera to the x-axis direction Request (referred to as n-th region). 画像上で一つの領域に撮像される範囲角をα、光軸が撮像される領域を0番目としたときに、点Pが撮像される位置を光軸からn番目の領域とすると、nは、下記(数3)式で求められる。 Range angle that is captured in one area on the image alpha, when the optical axis is set to 0-th region to be imaged, when the position where the point P is picked up from the optical axis and the n-th region, n is , determined by the following equation (3). n=xp/(α×z) …(数3) ただし、αは微小角なので、tanα≒αとする。 n = xp / (α × z) ... (number 3) However, α is so very small angle, and tanα ≒ α.

【0072】また、レーザレンジファインダで計測した輝度画像上において点Pまでの距離および反射強度を計測した画像上の位置とステレオカメラで撮像した画像上に切った領域の位置との対応を求める。 [0072] Further, obtaining a correspondence between the position of the cut on the image captured by the position and the stereo camera of the image that the distance and reflection intensity of the point P on the luminance image measured by the laser range finder to measure the area. 前記図7に示したように、レーザレンジファインダの水平方向の1回のサンプリング毎に動く走査角度をθ、レーザレンジファインダの中心軸の計測値を0番目とする。 As shown in FIG. 7, the once scanning angle to move each sampling of the horizontal direction of the laser range finder theta, a measurement of the central axis of the laser range finder and 0 th. レーザレンジファインダの距離画像において点Pを計測した位置を中心軸からm番目とすると、nとmとの間には下記(数4)式の関係が成り立つ。 When m-th position of measuring the point P from the central axis at a distance image of the laser range finder, the relationship of the following equation (4) between the n and m holds. ただし、θは微小角なので、 However, θ is so very small angle,
tanθ≒θとする。 And tanθ ≒ θ.

【0073】n=m・(θ/α) …(数4) 上記(数4)式は、レーザレンジファインダにおいて、 [0073] n = m · (θ / α) ... (Equation 4) above (number 4), in the laser range finder,
中心軸から水平方向にn番目の位置で計測した点は、ステレオ画像処理ではm番目の領域で計測されることを表す。 Point measured by the n-th position in the horizontal direction from the central axis, the stereo image processing indicates that measured in m-th region. レーザレンジファインダで計測した距離画像を用いた投票においては、この(数4)式による水平方向位置の変換を施した上で表への投票を加算する。 In the vote using the distance image measured by the laser range finder, it adds the vote to the table after applying the transformation in the horizontal direction position by the formula (4) below. 加算する値は、その位置の反射強度に比例した値を加算する。 Value to be added is, adds the value proportional to the reflected intensity of the position. なお、この際、ステレオ画像処理とレーザレンジファインダの両方が計測可能な環境下では、レーザレンジファインダとステレオ画像処理との投票値の割合が1対1となる値でよい。 At this time, under both measurable environmental stereo image processing and laser range finder, the proportion of voting value of the laser range finder and stereo image processing may be a value of 1: 1. すなわち、この場合においては、両者の重みは共に1である。 That is, in this case, the weight of both are both 1.

【0074】ここで、投票値する値の定義方法の例を説明する。 [0074] Here, an example of how to define voting worthy values. 例えば、ステレオ画像の距離画像の一つの領域に撮像される縦方向のなす角(図4のβ)が1度、レーザレンジファインダの一つ分のデータを得るときの縦方向の走査角度(図7のφ)がその2倍にあたる2度のときに、両者の投票の重みを同じにすることを考える。 For example, the vertical angle of which is captured in one area of ​​the distance image of the stereo image (beta in Fig. 4) is 1 °, the vertical scanning angle (Figure in obtaining one of data of the laser range finder when twice the 7 phi) hits twice its, considering that the same weight of vote of both. このとき、縦方向の画角10度の範囲に撮像される物体が前方に存在すると、ステレオ画像処理では表中の同じ位置に最大10回、レーザレンジファインダでは最大5回の投票が行われる。 At this time, when an object to be imaged in a range of the longitudinal angle of 10 degrees is present in the front, up to 10 times in the same position in the table at the stereo image processing, up to five times the voting is performed in the laser range finder. つまり、ステレオ画像処理の結果の投票値を一つの距離につき「1」、レーザレンジファインダの計測結果の投票値を一つの距離につき「2」とすれば、最大の投票値が両者で同じ値となる。 In other words, "1" per one distance voting value of the result of the stereo image processing, if "2" voting value of the laser range finder measurement results per one distance, maximum voting value and the same value in both Become. このように、同じ画角内で計測される物体を対象としたときに投票される最大の値が同じになるような投票値にすれば、 Thus, if the voting value as the maximum value is the same are voted upon target object to be measured in the same angle,
両者の投票値の割合が1対1となる。 The proportion of both voting value is 1: 1.

【0075】次に、ステップS105では、ステレオ画像処理とレーザレンジファインダで計測した距離画像全体の投票結果から、物体の有無とその物体の位置を求める。 Next, in step S105, the voting results of the entire range image measured by the stereo image processing and laser range finder to determine the presence or absence and position of the object of the object. 物体の有無は、表中からしきい値以上の投票値となる位置の有無により判断できる。 Presence or absence of an object can be determined by the presence or absence of a position where the voting value above the threshold value from the table. また、その物体の位置は、(数3)式の逆算により求められる。 The position of the object is determined by inverse operation of equation (3). 例えば、表中において距離zp、水平方向nの位置にしきい値以上の値が投票されたとする。 For example, the distance in the table zp, a value at or above the threshold to the position of the horizontal n found. この位置に検出された物体の距離は表からzpと求められる。 The distance of the detected object in this position is determined to zp from the table. また、その物体の、カメラの光軸に対する水平方向の位置xp(図4参照)は、 Further, of the object, horizontal position xp respect to the optical axis of the camera (see FIG. 4)
(数3)式の逆算により、xp=n×α×zp(α:表に定義した一つの領域に撮像される水平方向の画角)として求めることができる。 The inverse operation of equation (3), xp = n × α × zp: may be obtained as (alpha horizontal angle of view to be imaged in the one region defined in the table). 表中にしきい値以上の点が複数個所存在すれば前方に複数の物体があることがわかり、それぞれの位置は前述と同様の方法で求められる。 Point at or above the threshold in the table if there plurality of positions see that there are multiple objects in front, each position is determined in the same manner as described above.
また、しきい値以上の値が同じ距離上にかたまりとして存在する場合は、それは一つの物体として判断することができ、そのかたまりの両端が物体端となる。 Also, if the above value threshold is present as lumps on the same distance, it can be judged as one object, both ends of the mass is the object end.

【0076】次に、ステップS104の投票における重み付けについて説明する。 [0076] Next, a description will be given of the weighting in the vote of the step S104. なお、図11では、重み付けのステップは記載していないが、ステップS103とS In FIG. 11, the step of weighting is not described, step S103 and S
102の次に、それぞれの計測値に重みを付けるステップを設け、その結果に基づいてステップS104の投票を行なえばよい。 102 next of the steps to weight each measurement value provided may be performed to vote in step S104 based on the result.

【0077】前記の説明では、ステレオ画像処理とレーザレンジファインダの計測値を通常は1対1の重みになるよう定義しているが、装置の特徴に基づいて天候に応じた重みを付ける。 [0077] In the description, although the stereo image processing and measurement value of the laser range finder usually defined to be the weight of the 1-to-1, to weight corresponding to the weather based on the characteristics of the device. 例えば、雨の日、逆光の晴れ、順光の晴れ、曇りの日などの異なる天候下において、既知の位置に存在する物体をレーザレンジファインダとステレオ画像処理の両方で計測し、その計測値の真値に対する誤差の大きさや測定値の分散の大きさなどから、真値に近く分散の小さい計測が可能な装置の方の投票値の重みを大きくし、その逆であれば重みを小さくする。 For example, rainy days, sunny backlit, sunny forward light at different weather under, such as cloudy days, the object existing at a known location measured by both the laser range finder and a stereo image processing, the measured value etc. the size of the dispersion of the size and the measured value of the differences between true values, and increases the weight of the vote value towards small dispersion measuring apparatus capable close to the true value, to reduce the weight, if the reverse. これにより、逆光などステレオ画像処理で誤計測が多い場面では、正確な計測が行われているレーザレンジファインダの計測結果の重みを大きくすることによって正確な結果が得られる。 Thus, in erroneous measurement often scene stereo image processing such as backlighting, accurate results can be obtained by increasing the weight of the measurement results of the laser range finder has been made accurate measurement. 逆にレーザレンジファインダの計測が不安定で誤計測のある環境では、ステレオ画像処理の計測の重みを大きくすることにより、総合して天候の状況に影響を受けにくいロバストな計測が可能となる。 In environments where the measurement of the laser range finder of erroneous measurement unstable Conversely, by increasing the weight of the measurement of the stereo image processing enables Together robust less sensitive to weather conditions measurement. また、投票値の重み付けを求める基準を、天候変化だけでなく、 Also, the reference for determining the weighting of votes value, not only the weather change,
他の環境変化を基準とすることで、同様の方法で他の場面でも影響を受けにくくすることが出来る。 With respect to the other environmental changes it can be hardly affected by other scenes in the same way.

【0078】さらに、ステレオ画像処理とレーザレンジファインダの装置の特徴に基づいた投票の重みの付け方を説明する。 [0078] Further, explaining the method for assigning weights voting based on the characteristics of the stereo image processing and apparatus of the laser range finder. ステレオ画像処理は、画像内が無地(エッジが存在しない)の場合には、原理的に距離を求めることができないため、距離を求める領域画像内の輝度分散の小さい場合は、誤計測の可能性が高い(前記図9の説明参照)。 Stereo image processing, when the image is a solid color (edge ​​does not exist), it is not possible to obtain the principle distance, smaller luminance variance within area image to determine the distance, the possibility of erroneous measurement is high (see description of FIG. 9). このことから、輝度分散がしきい値以下の位置で求められた値については重みを0にするか、または、重みを0.5〜0.1にするなど、計測値の信頼性に応じて重みを小さくする。 Therefore, whether luminance variance is zero the weighting for values ​​obtained by the following positions threshold, or, such as a weight to 0.5 to 0.1, depending on the reliability of the measured values to reduce the weight. これによって誤計測の可能性の高い値は表中に大きく反映されないようにする。 This erroneous likely value of the measurement is prevented from being greatly reflected in the table. また、レーザレンジファインダは、レーザレーダの届かない遠方の場合や光を吸収する物体に照射した場合は計測不可能もしくは誤計測値となる場合が多い。 The laser range finder is often the case of irradiating an object which absorbs or when light far out of reach of the laser radar to be measured impossible or erroneous measurements. このことから、スキャニング方向毎にその方向への反射強度も計測し、その強度の低い位置での計測値では、重みを0にするか、もしくはステレオ画像処理と同様に、重みを0. Therefore, also measured reflection intensity in that direction for each scanning direction, the measured value in the low position of the intensity, or the weight to 0, or like the stereo image processing, the weight 0.
5〜0.1にするなど信頼性に応じた重みを付ける。 Such as the 5 to 0.1 to weight in accordance with the reliability. これにより、誤計測の値が表の投票に大きな影響を及ぼさないようにする。 Thus, the value of the erroneous measurement is prevented significantly affect the voting table.

【0079】以下、重み付けの具体的な方法について説明する。 [0079] The following is a description of the specific method of weighting. なお、通常時の重みを1とする。 It is to be noted that the weight of the normal one. (1)レーザレンジファインダやスキャンニングレーザレーダは雨、霧、雪に弱いことから次のように重みを付ける。 (1) laser range finder and scanning laser radar give rain, fog, the weight as a weak snow follows. (1a)車両のワイパの動作段階に応じてレーザレーダの重みを小さくする。 (1a) to reduce the weight of the laser radar according to the operating phase of the vehicle wiper. 例えば、ワイパ不作動では重み1、低速動作では0.8、中速動作では0.6、最速動作では0.4とする。 For example, the weight 1, the low-speed operation in the wiper inoperative 0.8, the medium-speed operation 0.6, the fastest operation to 0.4. (1b)VICS(Vehicle Information Communicatio (1b) VICS (Vehicle Information Communicatio
n System:道路交通情報通信システム)から得た当該地点および時間での降雨(雪)量によってレーザレーダの重みを小さくする。 n System: to reduce the weight of the laser radar by precipitation (snow) amount in the Vehicle Information and Communication System) the point and time from. 例えば降雨量0では重み1とし、降雨(雪)量があるときは、降雨量に逆比例する値を重みとする。 For example, the weight 1 in rainfall 0, when there is rain (snow) amount is a value inversely proportional to the amount of rainfall and weight. 例えば50mmのときは1/5、100mmの場合は1/10、200mmのときは1/20等の値にする。 For example, in the case of 1 / 5,100mm when the 50mm to a value such as 1/20 when 1 / 10,200mm. (1c)フォグランプのON、OFFに応じてレーザレーダの重みを変える。 (1c) fog lights ON, the changing the weight of the laser radar according to OFF. 例えばフォグランプOFFでは重みを1とし、フォグランプONのときは重みを0.1または0とする。 For example the weight in fog lamp OFF and 1, when the fog lamp ON to the weight and 0.1 or 0. (1d)天候に応じて、既知の位置でレーザレーダの測距の正解率を調べ、その正解率を重みとする。 (1d) according to the weather, examine the accuracy rate of the distance measurement of the laser radar at a known position, to the accuracy rate and weight. 例えば、 For example,
異なる降雨量に応じて正解率を調べ、降雨量の情報をV Examine the accuracy rate according to different amount of rainfall, the information of rainfall V
ICSから求め、その降雨量のときに得られた正解率を重みとする。 Determined from ICS, the success rate obtained when the rainfall and weight. 例えば降雨量100mmのときの正解率が20%、50mmのときの正解率が50%であれば降雨量100mmのときの重みを0.2、50mmのときの重みを0.5とする。 For example accuracy rate when the rainfall 100mm 20% accuracy rate when the 50mm to the weight when the 0.2,50mm weights when the rainfall 100mm if 50% 0.5.

【0080】(2)ステレオ画像処理は、大雨、大雪、 [0080] (2) stereo image processing, heavy rain, heavy snow,
霧、逆光に弱い(ただし雨に対してはレーザレーダよりは良い)ことから次のように重みを付ける。 Fog, be weighted as follows from (better than laser radar for however rain) be weak in backlight. (2a)VICSから得た当該地点および時間での降雨、雪、霧に応じてステレオ画像処理の重みを小さくする。 (2a) rainfall in the point and time from VICS, snow, to reduce the weight of the stereo image processing according to fog. 例えば降雨(雪)がないときは重み1とし、雨のときは、前記レーザレーダと同様の方法で重みを小さくする。 For example, when there is no rain (snow) is is the weight 1, when the rain to reduce the weight by the laser radar and the same method. (2b)ステレオ画像処理とレーザレーダの両方を載せた組み合わせの場合では、降雨時の重みは小さくするが、その重みはレーザレーダよりは大きく(例えばレーザレーダの重み×1.5にするなど)とする。 (2b) in the combination loaded with both stereo image processing and laser radar, but the weight at the time of rainfall is small, (such as the weight × 1.5, for example a laser radar) the weight is greater than laser radar to. このようにすれば、後述するミリ波レーダを加えた装置の場合に、ミリ波レーダの計測結果を有効に活用することが出来る。 Thus, in the case of the device plus the millimeter-wave radar to be described later, it is possible to effectively utilize the measurement result of the millimeter wave radar. (2c)夕方に西に向かう場合や明け方に東へ向かうなどの逆光になる情報を時計とナビゲーションやジャイロなどの方位計測装置などから得て、それに応じて、逆光と予想されるときは、ステレオ画像処理の重みを小さくする。 (2c) evening to obtain the information to be backlit, such as toward the east in the case and dawn toward the west from such direction measurement device, such as a watch and navigation and gyro, according to it, when it is expected to be backlit, stereo to reduce the weight of the image processing. (2d)天候に応じて、既知の位置でステレオ画像処理での計測正解率を調べ、その正解率を重みとする。 (2d) according to the weather, examine the measurement accuracy rate of the stereo image processing in a known position, to the accuracy rate and weight. (2e)前記(1)で述べたレーザレーダと同様に、異なる霧の状態で、降雨量同様に透過率毎の正解率を重みとするものや、霧、雨、雪の異なる天候でのそれぞれの正解率を調べ、VIGSより得た天候に応じて、そのときの正解率を重みとすることも出来る。 (2e) wherein (1) similar to the laser radar described in, different fog condition, and that the weight of the accuracy rate of rainfall similarly transmittance per, fog, rain, each snow different weather the accuracy rate examined, depending on the weather, which was obtained from the VIGS, it is also possible to the accuracy rate of the time and weight.

【0081】(3)ステレオ画像処理やレーザレーダの検知の状態から次のように重みを付ける。 [0081] (3) to weight as from the state of the detection of the stereo image processing and laser radar of the next. (3a)ステレオ画像処理における画像内の分散の値がしきい値以下の部分で計測された距離値は重みを0にする。 (3a) distance value the value of the variance of the image was measured by the following partial threshold in the stereo image processing is the weight to 0. (3b)レーザレーダの反射強度がしきい値以下の部分で計測された距離値は重みを0にする。 (3b) distance value reflection intensity is measured in the following portions threshold of the laser radar is a weight to 0. (3c)画像全体の分散が低い(しきい値以下)のときは、ステレオ画像処理の計測値の重みを0.2などの小さな値にする。 (3c) When the entire image of the dispersion is low (below the threshold), the weight of the measured value of the stereo image processing to a small value such as 0.2. (3d)スキャニングレーザレーダの同じ方向における検出値が時間的に連続して不安定な個所が多い(例えばしきい値の半分程度)場合は、雨などによるノイズの場合が多いので、レーザレーダの重みを小さくする。 (3d) detected value in the same direction of the scanning laser radar is often unstable place sequentially in time (e.g., about half of the threshold), then since often the noise due to rain, the laser radar to reduce the weight. 例えば、ノイズの数/全体のデータ数を重みとする。 For example, the weight of the number of data of the number / total noise. 具体例を示すと、1回の走査で80個のデータを得るスキャニングレーザレーダでノイズと判断されるデータが40個の場合には重みを1/2=0.5とする。 When a specific example, the data is judged as noise in a scanning laser radar to obtain 80 pieces of data in one scan is 1/2 = 0.5 weight in case of 40. 上記の各重み付けは、状況の応じてそれぞれを組み合わせて適用することが出来る。 Each weighting described above, can be applied as a combination of depending circumstances. なお、重み付けは上記の数値を測定値に乗算することによって行なう。 Incidentally, the weighting is performed by multiplying the numerical values ​​to the measured values. 例えば、重み0.5というのは測定値に0.5を乗算した値を投票することを意味する。 For example, because the weight 0.5 is meant to vote a value obtained by multiplying 0.5 to the measured value.

【0082】次に、物体の認識を行なう例について説明する。 [0082] Next, an example of performing object recognition. なお、図11では、物体認識のステップは記載していないが、ステップS105の次に、物体認識のステップを設ければよい。 In FIG. 11, the steps of object recognition is not described, the next step S105, may be provided the steps of object recognition. 前記図5〜図7に示した投票結果からもわかるように、車両を検知した個所での投票値の分布と木を検知した個所での投票値の分布は、エッジの有無や反射強度の強さによってそれぞれ特徴がある。 As can be seen from the voting results shown in FIG. 5 to FIG. 7, the distribution of the voting value of at the point of detecting the distribution and trees voting value at the point of detecting the vehicle, the strength of the presence or reflection intensity of the edge it is characterized respectively by of. このことから、例えば、既知の位置にある異なる対象物を、レーザレンジファインダとステレオ画像処理で計測したときにおける表への投票結果の分布形状を学習し、 Therefore, for example, the different objects in a known position, to learn the voting results of the distribution shape of the table at the time measured by the laser range finder and a stereo image processing,
車両、人物、木など様々な対象物を、投票結果の形状のパターンで表現し、その投票結果のパターンと認識対象画像で計測された表への投票結果とのマッチングを行なうように構成することにより、物体の認識・判別処理が行える。 Vehicle, person, or the like various objects tree, vote expressed by the pattern of the resulting shape, be configured to perform matching with the voting results to the table measured by the recognition target image and pattern of the voting results Accordingly, it performed recognition and discrimination process of the object. パターンマッチングは、投票結果の形状同士の正規化相関や判別分析など、一般的な認識装置でよい。 Pattern matching, etc. normalized correlation and discriminant analysis of the shape between the voting result may be a general perception device.

【0083】さらに、この物体の認識をもとに、より計測を確実にするための投票の重み付けの方法を説明する。 [0083] Further, based on the recognition of the object, a method of weighted voting to ensure more measurements. 通常、木や人物は細長い形状をしていることから、 Usually, from that tree or person that is an elongated shape,
路上に存在し、投票結果の分布の幅が狭い物体は、人物や木である確率が高い。 Present on the road, narrow objects of the distribution of voting results, there is a high probability that a person or wood. 人物や木は反射強度が低いことが多い一方で、エッジを多く含むものが多い。 While person or trees are often low reflection intensity, in many cases, including many edges. このことから、投票の際に、人物や木と認識された位置ではステレオ画像処理の結果に重みを大きくして投票するように構成するとよい。 Therefore, during the voting, it may be configured to poll by increasing the weight on the result of the stereo image processing a recognized position a person and trees.

【0084】次に、ステレオ画像処理やレーザレーダを用いた測距装置で問題となりがちな悪天候下での性能向上方法について説明する。 Next, the performance improvement method under the tend bad weather problems ranging apparatus will be described using the stereo image processing or laser radar. 図1および図11では、ステレオ画像処理とレーザレンジファインダまたはスキャンニングレーザレーダを用いた場合を示しているが、それらの何れかの代りもしくはそれらに追加して、雨、霧や暗闇でも測定可能なミリ波レーダを搭載することで対応が可能となる。 In Figure 1 and Figure 11 shows the case of using the stereo image processing and laser range finder or scanning laser radar, instead of one of them or in addition to them, the rain, even in fog or darkness measurable correspondence is made possible by mounting the millimeter-wave radar. 構成としては、図1の構成にミリ波レーダを追加した構成、図1のステレオカメラ1、2の代わりにミリ波レーダを設けた構成、または図1のレーザレンジファインダ7の代わりにミリ波レーダを設けた構成が考えられる。 As the structure, configuration obtained by adding a millimeter-wave radar to the configuration of FIG. 1, structure in which a millimeter-wave radar instead of the stereo camera 2 in FIG. 1, or a millimeter-wave radar instead of the laser range finder 7 in Fig. 1 structure in which a is considered. また、図11のフローチャートにおいては、ステップS101またはS102の代わりにミリ波レーダからの情報入力のステップとするか、もしくはステップS101、S102と並列にミリ波レーダからの情報入力のステップを設ければよい。 Further, in the flowchart of FIG. 11, or step the information input from the millimeter-wave radar instead of step S101 or S102, or by providing the step of entering information from steps S101, S102 and millimeter wave radar in parallel good.

【0085】レーザレーダやステレオ画像処理は、反射強度や画像内の輝度分散の大きさによって、それらの装置での測距の信頼性を判断することが出来る。 [0085] laser radar and a stereo image processing, the size of the luminance dispersion in the reflection intensity or the image, it is possible to determine the reliability of the distance measurement in those devices. したがって、それらの装置の信頼性が、走査範囲全体において低い場合には、それらの装置では測定が不安定な悪環境下、悪天候下であると判断し、そのような場合は、ミリ波レーダでの測定結果に基づいた投票値に重みを付けるように構成する。 Therefore, the reliability of these devices is lower in the entire scanning range is unstable in extreme environments is measured by these devices, it is determined that the bad conditions, such a case, the millimeter-wave radar constituting the vote value based on the measurement results to be weighted. これにより、悪環境下では測定不可能な装置による誤計測の悪影響を受けることなく、悪環境下でも計測が可能となる。 Thus, without being adversely affected by erroneous measurement by the measuring device not capable under adverse environment, it is possible to measure under adverse environments. ただし、ミリ波レーダには、 However, the millimeter-wave radar,
悪環境下でも測定が可能な一方で、横方向の測定分解能が粗いという問題がある。 While capable of measuring even under adverse environmental, measurement resolution in the lateral direction is a problem that coarse. したがって、ステレオ画像処理とレーザレンジファインダなどの信頼性が高い環境下では、横方向の分解能を高精度に維持するために、ミリ波レーダでの計測値に基づいた投票値の重みは小さくする。 Therefore, the reliability is high environment such as stereo imaging and laser range finder, in order to maintain the resolution in the lateral direction with high precision, the weight of the vote value based on the measurement values ​​of the millimeter wave radar is reduced. これにより、好天候下における高精度な測定を維持したまま、悪天候下での計測にも対応可能となる。 Thus, while maintaining highly accurate measurement under favorable weather conditions, it is possible corresponding to the measurement under bad weather.

【0086】ミリ波レーダを追加した装置における重み付けの具体例としては、次のような構成が考えられる。 [0086] Specific examples of the weighting in the added device millimeter-wave radar, configured as follows can be considered.
すなわち、ミリ波レーダは悪天候には強いが精度が悪いことから、VICSから得た天候に応じて、降雨(雪) In other words, the millimeter-wave radar from strong it is bad accuracy in bad weather, depending on the weather, which was obtained from VICS, rain (snow)
量がしきい値以上の場合(例えば他の測距装置の重みが0.5以下になるような場合)では、ミリ波レーダの計測値の重みを1とする。 In case the amount is more than the threshold value (e.g., if the weights of the other distance measuring device such that 0.5 or less), and 1 weight of the measurement values ​​of the millimeter-wave radar. また、降雨(雪)量が0の場合には、ミリ波レーダの計測値の重みを0.5程度以下の小さな値とする。 Further, when the rainfall (snow) amount is 0, the weight of the measurement values ​​of the millimeter-wave radar to a small value of not more than about 0.5. これにより、好天候では、ミリ波レーダによる分解能の粗い値が結果に反映されることを回避することが出来る。 Thus, the good weather, it is possible to avoid that the coarse value resolution using millimeter-wave radar is reflected in the result.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の一実施例のおける全体構成を示すブロック図。 Block diagram illustrating the overall configuration of definitive an embodiment of the present invention; FIG.

【図2】ステレオ画像を用いて三角測量の原理でカメラから検出対象までの距離を求める原理を説明する図。 FIG. 2 is a diagram illustrating the principle for determining the distance from the camera on the principle of triangulation to the detection target using a stereo image.

【図3】両画像の対応する位置毎の視差を求めた結果を示す図。 FIG. 3 shows a result of determining the parallax of each corresponding position of the two images.

【図4】ステレオ画像上に距離画像作成のために切った一つ一つの小領域の画像上の位置と、その領域内に撮像される実空間上の物体との位置関係を示した図であり、 [4] and position on small area images of every single cut in order on the stereo image of the range image creation, a diagram showing the positional relationship between the object in real space which is imaged in the region Yes,
(A)は前方から見た斜視図、(B)は上方から見た平面図、(C)は側面図。 (A) is a perspective view seen from the front, (B) is a plan view from above, (C) is a side view.

【図5】表への投票状況を示す図であり、(A)は斜視図、(B)は撮像した画像と先行車に相当する距離z= [Figure 5] is a diagram showing the vote status of the table, (A) is a perspective view, (B) a distance corresponding to the preceding vehicle and an image captured z =
L2における投票値を示す図、(C)は距離×路面に平行な角度(x軸方向の角度)からなる投票用の表。 Shows the vote value in L2, (C) the table for voting consisting parallel angle distance × road (angle x-axis direction).

【図6】スキャニングレーザレーダによる計測状態を示した図であり、(A)は全体の斜視図、(B)は反射強度と1次元方向毎の距離を示す図、(C)は投票状態を示す斜視図、(D)は距離×路面に平行な角度(x軸方向の角度)からなる投票用の表。 [Figure 6] is a view showing a measurement state by scanning laser radar, a (A) is a perspective view of the entire, (B) is a diagram showing the distance for each reflection intensity and one-dimensional direction, (C) the vote state perspective view, (D) table for voting consisting parallel angle distance × road (angle x-axis direction) indicated.

【図7】レーザレンジファインダによる計測状態を示した図であり、(A)は全体の斜視図、(B)は輝度画像、(C)は距離画像、(D)は投票状態を示す斜視図。 [Figure 7] is a view showing a measurement state by the laser range finder, (A) the overall perspective view, (B) the luminance image, (C) a distance image, (D) is a perspective view showing a voting state .

【図8】ステレオ画像処理での投票結果に加え、スキャニングレーザレーダでの投票結果を加算した様子を示した図。 [8] In addition to the voting result in the stereo image processing, showing a state obtained by adding the result of voting in a scanning laser radar FIG.

【図9】物体の誤検知を防止する機能を説明するための図であり、(A)は処理対象画像上に設定した各ウインドウの画像を示す図、(B)は画像上に定義したウインドウの位置と、それらの定義したウインドウの走査範囲を示す図、(C)はそれぞれのウインドウにおいて、視差方向に切った1ライン上の輝度分散を複数個所で求める状態をあらわした図、(D)は二つのカメラで撮像した対象物とその対象物が画像上に撮像されたときの位置関係を表した図。 [Figure 9] is a diagram for explaining the function of preventing the erroneous detection of an object, (A) is a diagram showing an image of each window that is set on the target image, (B) the window defined on the image shows the position of the scanning range of those defined windows, (C) in the respective windows, diagram represents the state of obtaining the luminance distribution of one line cut in the parallax direction at a plurality of locations, (D) figure showing the positional relationship when the object and the object captured by the two cameras is imaged on the image.

【図10】2台のカメラ1、2と、レーザレンジファインダ7を自車両に搭載した構成を示す側面図。 [10] and the two cameras 1 and 2, a side view of a laser range finder 7 shows a structure mounted on the vehicle.

【図11】一実施例における処理の流れを示す図。 11 is a diagram showing the flow of processing in an embodiment.

【符号の説明】 DESCRIPTION OF SYMBOLS

1、2…電子式のカメラ 3、4…画像メモリ 5…演算部 6…先行車 7…スキャンニングレーザレーダまたはレーザレンジファインダ 8…画像メモリ 1,2 ... electronic cameras 3,4 ... image memory 5 ... calculator 6 ... preceding vehicle 7 ... scanning laser radar or laser range finder 8 ... image memory

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl. 7識別記号 FI テーマコート゛(参考) G08G 1/16 G01S 17/88 A Fターム(参考) 2F112 AC03 BA06 CA05 CA20 FA03 FA21 FA36 FA38 FA41 FA45 GA10 5H180 AA01 CC03 CC04 CC12 CC14 CC30 LL01 LL04 5J070 AB24 AC02 AE01 AF03 AK22 BD06 BD08 5J084 AA02 AA05 AB01 AC02 AD05 BA03 BA11 BA32 CA65 CA70 DA01 DA09 EA04 ────────────────────────────────────────────────── ─── of the front page continued (51) Int.Cl. 7 identification mark FI theme Court Bu (reference) G08G 1/16 G01S 17/88 a F-term (reference) 2F112 AC03 BA06 CA05 CA20 FA03 FA21 FA36 FA38 FA41 FA45 GA10 5H180 AA01 CC03 CC04 CC12 CC14 CC30 LL01 LL04 5J070 AB24 AC02 AE01 AF03 AK22 BD06 BD08 5J084 AA02 AA05 AB01 AC02 AD05 BA03 BA11 BA32 CA65 CA70 DA01 DA09 EA04

Claims (8)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】車両に搭載され、走行方向に対して垂直で路面に平行な1次元方向または走行方向に垂直な2次元平面に対して計測処理を行なうことにより、前方に存在する物体を検知する、測定原理の異なる少なくとも2種類の測距手段と、 z軸方向が自車両からの距離、x軸方向が路面に平行で走行方向を基準とした位置、y軸方向が投票値を示す表と、 前記少なくとも2種類の測距手段でそれぞれ計測した結果に基づいて、物体が検知された前記表の該当するそれぞれ位置に投票する投票手段と、 前記投票手段による投票結果から、表中の投票値が所定のしきい値以上の個所を探索し、その個所に物体が存在すると判断する判断手段と、 を備えたことを特徴とする障害物認識装置。 1. A mounted on the vehicle, by performing measurement processing to the vertical two-dimensional plane in a one-dimensional direction or running direction parallel to the road surface normal to the direction of travel, detecting an object existing ahead to a table that shows the different at least two distance measuring means of the measuring principle, the distance in the z-axis direction from the vehicle, x-axis direction relative to the running direction is parallel to the road surface position, y-axis direction of the voted value When the at least two distance measuring means based on the result of measurement, respectively, and voting means for voting to the appropriate respective position of the table object is detected, the voting result of the voting unit, voting in the table value searches the locations of more than a predetermined threshold value, the obstacle recognition apparatus characterized by comprising determination means for determining that the object to its location is present, a.
  2. 【請求項2】前記測距手段の1つは、光軸が相互に平行で、かつ走行方向を向くように設置された2台の電子式カメラで撮像した画像をステレオ画像処理することにより、画像に設定した各領域毎に距離と輝度とを検出する画像処理手段であり、 前記測距手段の他の1つは、走行方向に対して垂直で路面に平行な1次元方向または走行方向に垂直な2次元平面に対してレーザ光で走査を行ない、走査方向または走査面の各領域ごとに距離と反射強度とを検出するレーザレーダを用いた測距手段であり、 前記投票手段は、前記画像処理手段で距離が検出された領域の距離と位置に対応する前記表の位置に順次所定値を投票し、かつ、前記レーザレーダを用いた測距手段で距離が検出された領域の距離と位置に対応する前記表の位置に、その領 Wherein one of said distance measuring means, by the optical axis are parallel to each other, and an image captured by the installed two electronic camera to face the direction of travel to the stereo image processing, an image processing means for detecting the distance and the luminance for each area set in the image, one of the other of said distance measuring means, a one-dimensional direction or running direction parallel to the road surface normal to the direction of travel performs scanning with the laser beam with respect to the vertical two-dimensional plane, a distance measuring device using a laser radar for detecting the distance between the reflection intensity for each of the areas in the scanning direction or scanning plane, said voting means, the Vote sequentially predetermined value to the position of the table corresponding to the distance and the distance of the detection area located by the image processing means, and the distance of the region distance is detected by the distance measuring means using the laser radar the position of the table corresponding to the position, the Ryo の反射強度に比例する値を順次投票するものであり、 前記判断手段は、前記画像処理手段の結果と前記レーザレーダを用いた測距手段の結果とが加算された投票の結果について、表中の投票値が所定のしきい値以上の個所を探索し、その個所に物体が存在すると判断するものである、ことを特徴とする請求項1に記載の障害物認識装置。 Is intended to vote a value proportional to the reflection intensity of sequential, the determining means, for the result of the result of voting of the addition the distance measurement means using the laser radar and the result of said image processing means, in the table vote value searches the locations of more than a predetermined threshold value, in which it is determined that the object to the location exists, the obstacle recognition device according to claim 1, characterized in that.
  3. 【請求項3】前記各測距手段の特性に応じて、その測距手段毎に周囲状況に応じた信頼性を求め、前記投票手段における投票値に、前記各測距手段毎にそれぞれの信頼性に応じた重み付けを行なうことを特徴とする請求項1 3. Depending on the characteristics of the respective distance measuring means obtains the reliability according to the ambient conditions for respective distance measuring means, the vote value in the voting means, each trust the each distance measuring means claim and performing weighting according to the sex 1
    または請求項2に記載の障害物認識装置。 Or obstacle recognition device according to claim 2.
  4. 【請求項4】前記測定原理の異なる少なくとも2種類の測距手段の各計測結果に基づいたそれぞれの投票結果について、予め判明している物体についての投票結果と比較対照することにより、検出された物体の形状と種類の少なくとも一方を認識することを特徴とする請求項1乃至請求項3の何れかに記載の障害物認識装置。 About wherein each voting results based on the measurement results of at least two different distance measurement means of the measuring principle, by comparison with the result of voting for the object that is known in advance, is detected obstacle recognition device according to any one of claims 1 to 3, characterized in that to recognize at least one of the shape and type of the object.
  5. 【請求項5】前記画像処理手段で求めた距離に基づいた前記表への投票結果において、物体を計測した位置の投票分布の幅が狭い領域については、ステレオ画像処理の計測結果に基づいた投票値の重みを他の領域または通常値よりも大きくすることを特徴とする請求項2乃至請求項4の何れかに記載の前方障害物認識装置。 5. A voting results to the table based on the distance obtained by the image processing means, for narrow region vote distribution positions measured object, votes based on the measurement result of the stereo image processing forward obstacle recognition apparatus according to any one of claims 2 to 4, characterized in that the weight value greater than other regions or normal values.
  6. 【請求項6】前記画像処理手段で求めた輝度について、 For 6. luminance obtained by the image processing means,
    輝度分散が低い領域においては前記画像処理手段の計測結果に基づいた投票値の重みを他の領域よりも小さくするか、若しくは前記画像処理手段以外の測距手段の計測結果に基づく投票値の重みを前記画像処理手段における重みよりも大きくすることを特徴とする請求項2乃至請求項5の何れかに記載の障害物認識装置。 Weight of voting value in the luminance variance is low region based on the image a weight of voting value based on the measurement results of the processing means or smaller than the other areas, or the measurement result of the distance measurement means other than the image processing means the obstacle recognition system according to any one of claims 2 to 5, characterized in that larger than the weight in the image processing unit.
  7. 【請求項7】前記レーザレーダを用いた測距手段で求めた反射強度ついて、反射強度が低い領域については、その領域の投票値の重みを他の領域または他の測距手段における重みよりも小さくすることを特徴とする請求項2 7. For reflection intensity determined by the distance measuring means using the laser radar, the reflected intensity is low region, than the weight of the weight of the voting value of the area in the other regions, or other distance measurement means claim 2, characterized in that to reduce
    乃至請求項6の何れかに記載の障害物認識装置。 Or obstacle recognition device according to claim 6.
  8. 【請求項8】前記測定原理の異なる少なくとも2種類の測距手段の1つとしてミリ波レーダを用い、悪天候時では前記ミリ波レーダの測定結果に基づく投票値の重みを他の測距手段における重みよりも大きくし、好天候時には前記ミリ波レーダの測定結果に基づく投票値の重みを他の測距手段における重みよりも小さくすることを特徴とする請求項1乃至請求項7の何れかに記載の障害物認識装置。 8. Using millimeter wave radar as one of at least two different distance measurement means of the measuring principle, in bad weather in other distance measurement means the weight of voting value based on the measurement results of the millimeter-wave radar larger than the weight, in any one of claims 1 to 7 during good weather, characterized in that less than the weight of the other distance measuring means weights the vote value based on the measurement results of the millimeter-wave radar obstacle recognition device according.
JP13544599A 1999-05-17 1999-05-17 Obstacle recognition device Expired - Fee Related JP3669205B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13544599A JP3669205B2 (en) 1999-05-17 1999-05-17 Obstacle recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13544599A JP3669205B2 (en) 1999-05-17 1999-05-17 Obstacle recognition device

Publications (2)

Publication Number Publication Date
JP2000329852A true true JP2000329852A (en) 2000-11-30
JP3669205B2 JP3669205B2 (en) 2005-07-06

Family

ID=15151897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13544599A Expired - Fee Related JP3669205B2 (en) 1999-05-17 1999-05-17 Obstacle recognition device

Country Status (1)

Country Link
JP (1) JP3669205B2 (en)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002050568A1 (en) * 2000-12-20 2002-06-27 Fujitsu Ten Limited Method for detecting stationary object on road
WO2005022083A1 (en) * 2003-08-28 2005-03-10 Olympus Corporation Object recognition device
WO2006123615A1 (en) * 2005-05-19 2006-11-23 Olympus Corporation Distance measuring apparatus, distance measuring method and distance measuring program
JP2007015676A (en) * 2005-05-13 2007-01-25 Honda Motor Co Ltd Apparatus and method for predicting collision
US7221789B2 (en) 2002-09-19 2007-05-22 Fujitsu Ten Limited Method for processing an image captured by a camera
JP2007218738A (en) * 2006-02-16 2007-08-30 Kumamoto Univ Calibration device, target detection device, and calibration method
JP2007240276A (en) * 2006-03-07 2007-09-20 Olympus Corp Distance measuring device/imaging device, distance measuring method/imaging method, distance measuring program/imaging program, and storage medium
JP2007255979A (en) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd Object detection method and object detector
JP2007288460A (en) * 2006-04-17 2007-11-01 Nissan Motor Co Ltd Object detecting method and object detecting device
JP2007315814A (en) * 2006-05-23 2007-12-06 Nissan Motor Co Ltd Object detection method and object detecting device
JP2008008679A (en) * 2006-06-27 2008-01-17 Toyota Motor Corp Object detecting apparatus, collision predicting apparatus and vehicle controlling apparatus
JP2008304344A (en) * 2007-06-08 2008-12-18 Kumamoto Univ Target detector
JP2009168751A (en) * 2008-01-18 2009-07-30 Toyota Motor Corp Obstacle detection system and obstacle detection method
WO2010070701A1 (en) * 2008-12-15 2010-06-24 トヨタ自動車株式会社 Object measuring device and method used for the device
JP2011134226A (en) * 2009-12-25 2011-07-07 Ihi Aerospace Co Ltd Method and device for recognizing remote environment of mobile robot
JP2013140515A (en) * 2012-01-05 2013-07-18 Toyota Central R&D Labs Inc Solid object detection device and program
JP2013205354A (en) * 2012-03-29 2013-10-07 Denso Wave Inc Method for detecting target moving object
JP2015087211A (en) * 2013-10-30 2015-05-07 川崎重工業株式会社 Object position detector and object position detection method
EP2889641A1 (en) 2013-12-27 2015-07-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, program and image processing system
WO2015129907A1 (en) * 2014-02-25 2015-09-03 Ricoh Company, Ltd. Distance measuring device and parallax calculation system
EP2927710A2 (en) 2014-03-13 2015-10-07 Ricoh Company, Ltd. Ranging system, information processing apparatus, information processing method and program thereof
WO2016092796A1 (en) 2014-12-12 2016-06-16 Sony Corporation Automatic driving control device and automatic driving control method, and program
WO2016103464A1 (en) * 2014-12-26 2016-06-30 三菱電機株式会社 Obstacle detection device and obstacle detection method
JP2016223872A (en) * 2015-05-29 2016-12-28 三菱電機株式会社 Object identification device
WO2017090410A1 (en) * 2015-11-25 2017-06-01 日立オートモティブシステムズ株式会社 Stereo camera device

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002050568A1 (en) * 2000-12-20 2002-06-27 Fujitsu Ten Limited Method for detecting stationary object on road
US6670912B2 (en) 2000-12-20 2003-12-30 Fujitsu Ten Limited Method for detecting stationary object located above road
EP1881345A1 (en) 2000-12-20 2008-01-23 Fujitsu Ten Limited Method for detecting stationary object located above road
US7221789B2 (en) 2002-09-19 2007-05-22 Fujitsu Ten Limited Method for processing an image captured by a camera
US7499638B2 (en) 2003-08-28 2009-03-03 Olympus Corporation Object recognition apparatus
WO2005022083A1 (en) * 2003-08-28 2005-03-10 Olympus Corporation Object recognition device
US8068134B2 (en) 2005-05-13 2011-11-29 Honda Motor Co., Ltd. Apparatus and method for predicting collision
JP2007015676A (en) * 2005-05-13 2007-01-25 Honda Motor Co Ltd Apparatus and method for predicting collision
JP4598653B2 (en) * 2005-05-13 2010-12-15 本田技研工業株式会社 Collision prediction system
US7656508B2 (en) 2005-05-19 2010-02-02 Olympus Corporation Distance measuring apparatus, distance measuring method, and computer program product
WO2006123615A1 (en) * 2005-05-19 2006-11-23 Olympus Corporation Distance measuring apparatus, distance measuring method and distance measuring program
JP2007218738A (en) * 2006-02-16 2007-08-30 Kumamoto Univ Calibration device, target detection device, and calibration method
JP2007240276A (en) * 2006-03-07 2007-09-20 Olympus Corp Distance measuring device/imaging device, distance measuring method/imaging method, distance measuring program/imaging program, and storage medium
JP2007255979A (en) * 2006-03-22 2007-10-04 Nissan Motor Co Ltd Object detection method and object detector
JP2007288460A (en) * 2006-04-17 2007-11-01 Nissan Motor Co Ltd Object detecting method and object detecting device
JP2007315814A (en) * 2006-05-23 2007-12-06 Nissan Motor Co Ltd Object detection method and object detecting device
JP2008008679A (en) * 2006-06-27 2008-01-17 Toyota Motor Corp Object detecting apparatus, collision predicting apparatus and vehicle controlling apparatus
JP2008304344A (en) * 2007-06-08 2008-12-18 Kumamoto Univ Target detector
JP2009168751A (en) * 2008-01-18 2009-07-30 Toyota Motor Corp Obstacle detection system and obstacle detection method
US7973911B2 (en) 2008-12-15 2011-07-05 Toyota Jidosha Kabushiki Kaisha Object measuring device and method for use in the device
JP5187319B2 (en) * 2008-12-15 2013-04-24 トヨタ自動車株式会社 Object measuring apparatus and methods used in the apparatus
WO2010070701A1 (en) * 2008-12-15 2010-06-24 トヨタ自動車株式会社 Object measuring device and method used for the device
JP2011134226A (en) * 2009-12-25 2011-07-07 Ihi Aerospace Co Ltd Method and device for recognizing remote environment of mobile robot
JP2013140515A (en) * 2012-01-05 2013-07-18 Toyota Central R&D Labs Inc Solid object detection device and program
JP2013205354A (en) * 2012-03-29 2013-10-07 Denso Wave Inc Method for detecting target moving object
JP2015087211A (en) * 2013-10-30 2015-05-07 川崎重工業株式会社 Object position detector and object position detection method
EP2889641A1 (en) 2013-12-27 2015-07-01 Ricoh Company, Ltd. Image processing apparatus, image processing method, program and image processing system
WO2015129907A1 (en) * 2014-02-25 2015-09-03 Ricoh Company, Ltd. Distance measuring device and parallax calculation system
EP2927710A3 (en) * 2014-03-13 2015-12-30 Ricoh Company, Ltd. Ranging system, information processing apparatus, information processing method and program thereof
EP2927710A2 (en) 2014-03-13 2015-10-07 Ricoh Company, Ltd. Ranging system, information processing apparatus, information processing method and program thereof
WO2016092796A1 (en) 2014-12-12 2016-06-16 Sony Corporation Automatic driving control device and automatic driving control method, and program
WO2016103464A1 (en) * 2014-12-26 2016-06-30 三菱電機株式会社 Obstacle detection device and obstacle detection method
JPWO2016103464A1 (en) * 2014-12-26 2017-05-25 三菱電機株式会社 Obstacle detection device and obstacle detection method
JP2016223872A (en) * 2015-05-29 2016-12-28 三菱電機株式会社 Object identification device
WO2017090410A1 (en) * 2015-11-25 2017-06-01 日立オートモティブシステムズ株式会社 Stereo camera device

Also Published As

Publication number Publication date Type
JP3669205B2 (en) 2005-07-06 grant

Similar Documents

Publication Publication Date Title
Huertas et al. Detecting buildings in aerial images
Toulminet et al. Vehicle detection by means of stereo vision-based obstacles features extraction and monocular pattern analysis
Stein et al. A robust method for computing vehicle ego-motion
US7231063B2 (en) Fiducial detection system
US6963661B1 (en) Obstacle detection system and method therefor
US20070165910A1 (en) Vehicle surroundings monitoring apparatus, method, and program
US6670912B2 (en) Method for detecting stationary object located above road
Baillard et al. Automatic reconstruction of piecewise planar models from multiple views
US20010031068A1 (en) Target detection system using radar and image processing
US6658150B2 (en) Image recognition system
US20070154068A1 (en) Estimating Distance To An Object Using A Sequence Of Images Recorded By A Monocular Camera
US7046822B1 (en) Method of detecting objects within a wide range of a road vehicle
US20090169052A1 (en) Object Detector
US7349582B2 (en) System and method for detecting obstacle
Hautiére et al. Automatic fog detection and estimation of visibility distance through use of an onboard camera
US6205242B1 (en) Image monitor apparatus and a method
US20030112449A1 (en) Method for the extraction of image features caused by structure light using image reconstruction
US6477260B1 (en) Position measuring apparatus using a pair of electronic cameras
US6873912B2 (en) Vehicle tracking system
US20050024492A1 (en) Obstacle detection and terrain classification method
US5910817A (en) Object observing method and device
EP0738872A2 (en) Stereo matching method and disparity measuring method
JPH06266828A (en) Outside monitoring device for vehicle
Lu et al. Detection and localization of curbs and stairways using stereo vision
US20050008220A1 (en) Method, apparatus, and program for processing stereo image

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041012

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050404

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090422

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100422

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110422

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120422

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130422

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130422

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140422

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees