JPH07225126A - On-road object recognizing device for vehicle - Google Patents
On-road object recognizing device for vehicleInfo
- Publication number
- JPH07225126A JPH07225126A JP6017698A JP1769894A JPH07225126A JP H07225126 A JPH07225126 A JP H07225126A JP 6017698 A JP6017698 A JP 6017698A JP 1769894 A JP1769894 A JP 1769894A JP H07225126 A JPH07225126 A JP H07225126A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- vehicle
- data
- range
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 claims description 43
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 abstract description 32
- 238000010586 diagram Methods 0.000 description 17
- 101100328519 Caenorhabditis elegans cnt-2 gene Proteins 0.000 description 15
- 101100328518 Caenorhabditis elegans cnt-1 gene Proteins 0.000 description 8
- 230000009977 dual effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 101100328887 Caenorhabditis elegans col-34 gene Proteins 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 241000006416 Notata Species 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 241000981595 Zoysia japonica Species 0.000 description 1
- RRLHMJHRFMHVNM-BQVXCWBNSA-N [(2s,3r,6r)-6-[5-[5-hydroxy-3-(4-hydroxyphenyl)-4-oxochromen-7-yl]oxypentoxy]-2-methyl-3,6-dihydro-2h-pyran-3-yl] acetate Chemical compound C1=C[C@@H](OC(C)=O)[C@H](C)O[C@H]1OCCCCCOC1=CC(O)=C2C(=O)C(C=3C=CC(O)=CC=3)=COC2=C1 RRLHMJHRFMHVNM-BQVXCWBNSA-N 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
Landscapes
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、道路上の物体を認識し
て車両の自動操舵を行なう自動操舵車両に用いて好適
の、車両用路上物体認識装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle road object recognition device suitable for use in an automatic steering vehicle that recognizes an object on a road and automatically steers the vehicle.
【０００２】[0002]
【従来の技術】近年、自動車の操舵機構において、車両
に種々のセンサを設け、これらのセンサからの情報に基
づいて操舵角制御信号を設定し、油圧や電動モータ等に
より操舵機構を積極的、且つ自動的に操舵させるような
自動操舵機構が多数提案されている。2. Description of the Related Art In recent years, in a steering mechanism of an automobile, various sensors are provided on the vehicle, a steering angle control signal is set based on information from these sensors, and the steering mechanism is positively operated by hydraulic pressure or an electric motor. In addition, many automatic steering mechanisms that automatically steer have been proposed.
【０００３】このような自動操舵車両のなかには、例え
ば上述のセンサの１つとして車両にステレオＣＣＤカメ
ラ（以下、ステレオカメラという）をそなえ、このステ
レオカメラの画像情報から車両前方（側方を含む）の物
体を認識するとともに、この物体までの距離や物体の大
きさを判断して、これに応じて所要の操舵や制動を行な
うような車両が提案されている。In such an automatic steering vehicle, for example, a stereo CCD camera (hereinafter referred to as a stereo camera) is provided in the vehicle as one of the above-mentioned sensors, and the vehicle front side (including the side) is obtained from the image information of the stereo camera. There is proposed a vehicle that recognizes the object, determines the distance to the object and the size of the object, and performs necessary steering and braking according to the determination.
【０００４】[0004]
【発明が解決しようとする課題】しかしながら、このよ
うなステレオカメラの画像情報は、路面状態や太陽光等
の微妙な変化に影響されやすく、又路面上の白線等も物
体と同様に距離測定をしてしまうため、物体の存在の正
確な把握が困難であり、このため物体の位置や大きさの
認識についても困難なものとなっているという課題があ
る。However, the image information of such a stereo camera is easily affected by subtle changes such as the road surface condition and sunlight, and the white line on the road surface can be measured in the same manner as an object. Therefore, there is a problem that it is difficult to accurately grasp the existence of the object, which makes it difficult to recognize the position and size of the object.
【０００５】本発明は、このような課題に鑑み創案され
たもので、ステレオカメラからの画像情報に各種の補正
処理を施して、車両前方の物体を正しく認識できるよう
にした、車両用路上物体認識装置を提供することを目的
とする。The present invention was devised in view of the above problems, and various kinds of correction processing are applied to image information from a stereo camera so that an object in front of a vehicle can be correctly recognized. An object is to provide a recognition device.
【０００６】[0006]
【課題を解決するための手段】このため、請求項１記載
の本発明の車両用路上物体認識装置は、車両の走行路面
上を撮影する横置きステレオカメラと、該横置きステレ
オカメラにより得られる画像情報に基づいて、該走行路
面上の物体を認識する物体認識手段とをそなえ、該物体
認識手段が、該横置きステレオカメラにより得られる撮
影画面を上下方向に複数の行レンジに分割し左右方向に
複数の列に分割することで多数のウインドゥに区画した
上で、該横置きステレオカメラの左右２つのカメラの各
画像情報から、上記の各ウインドゥ毎に、被写体までの
距離を測定する距離測定手段と、上記の各行レンジ毎に
決まるレンジ対応基準距離と該距離測定手段で検出され
た被写体までの距離とを比較して、該被写体までの距離
が該レンジ対応基準距離以内であればこの被写体を物体
又は物体候補として認識し、該被写体までの距離が該レ
ンジ対応基準距離よりも大きければこの被写体について
は物体でないものとして物体データから除外する、レン
ジ対応物体データ除外手段とをそなえていることを特徴
としている。Therefore, the on-vehicle object recognition device for a vehicle according to the first aspect of the present invention is obtained by a horizontal stereo camera for photographing the traveling road surface of the vehicle, and the horizontal stereo camera. An object recognition means for recognizing an object on the road surface based on image information, and the object recognition means divides a photographing screen obtained by the horizontal stereo camera into a plurality of line ranges in the vertical direction, A distance for measuring the distance to the subject for each of the above-mentioned windows from the image information of the left and right two cameras of the horizontal stereo camera after being divided into a plurality of windows in the direction The measuring means is compared with the range-corresponding reference distance determined for each row range and the distance to the subject detected by the distance measuring means, and the distance to the subject is the range-corresponding base. If the distance is within the distance, the subject is recognized as an object or an object candidate, and if the distance to the subject is larger than the reference distance corresponding to the range, the subject is excluded from the object data as a non-object. It is characterized by having means.
【０００７】また、請求項２記載の本発明の車両用路上
物体認識装置は、上記請求項１記載の構成に加えて、該
距離測定手段が、該横置きステレオカメラの左右の画像
情報から得られる同一被写体の左右方向へのずれ量に基
づいて、被写体までの距離を測定することを特徴として
いる。また、請求項３記載の本発明の車両用路上物体認
識装置は、上記請求項２記載の構成に加えて、該距離測
定手段が、該被写体までの距離Ｒを、該左右の２つのカ
メラのレンズの焦点距離ｆと、該左右２つのカメラの光
軸間の距離Ｌと、画像の画素ピッチＰと、左右の画像が
整合するまでに左右どちらか一方の画像をシフトした画
素数ｎと、に基づいて、Ｒ＝（ｆ・Ｌ）／（ｎ・Ｐ）の
式により算出することを特徴としている。Further, in the on-vehicle object recognizing device for a vehicle according to a second aspect of the present invention, in addition to the configuration of the first aspect, the distance measuring means obtains the left and right image information of the horizontal stereo camera. The feature is that the distance to the subject is measured based on the amount of shift of the same subject in the left-right direction. Further, in the on-vehicle object recognition device for a vehicle according to a third aspect of the present invention, in addition to the configuration according to the second aspect, the distance measuring means determines a distance R to the subject from the two left and right cameras. The focal length f of the lens, the distance L between the optical axes of the two left and right cameras, the pixel pitch P of the images, and the number n of pixels obtained by shifting one of the left and right images until the left and right images are aligned, It is characterized in that it is calculated by the formula of R = (fL) / (nP) based on
【０００８】また、請求項４記載の本発明の車両用路上
物体認識装置は、上記請求項１記載の構成に加えて、該
物体認識手段の処理対称とする画像領域が、該車両から
遠い部分では左右の端部領域を除去されて左右方向の中
央部の領域のみに限定されていることを特徴としてい
る。また、請求項５記載の本発明の車両用路上物体認識
装置は、上記請求項４記載の構成に加えて、該物体認識
手段が、処理対象とする画像領域を、該車両から遠い部
分で左右の端部領域を除去された左右方向の中央部分に
相当する第１の画像領域と、該車両から近い部分の左半
部分に相当する第２の画像領域と、該車両から近い部分
の右半部分に相当する第３の画像領域と、に区分して、
画像処理を行なうことを特徴としている。According to a fourth aspect of the present invention, there is provided an on-vehicle object recognition device for a vehicle, in which, in addition to the configuration of the first aspect, an image area which is a processing symmetry of the object recognition means is far from the vehicle. Is characterized in that the left and right end regions are removed and limited to only the central region in the left and right direction. Further, in the on-vehicle object recognizing device for a vehicle according to a fifth aspect, in addition to the configuration according to the fourth aspect, the object recognizing means sets the left and right sides of an image area to be processed in a portion far from the vehicle. A first image area corresponding to the central portion in the left-right direction with the edge area removed, a second image area corresponding to the left half of the portion near the vehicle, and a right half of the portion near the vehicle. It is divided into a third image area corresponding to a part,
It is characterized by performing image processing.
【０００９】また、請求項６記載の本発明の車両用路上
物体認識装置は、上記請求項１記載の構成に加えて、該
レンジ対応基準距離が、各レンジの最下部に映し出され
るべき該走行路の部分までの距離であることを特徴とし
ている。Further, in the on-vehicle object recognizing device for a vehicle according to a sixth aspect of the present invention, in addition to the configuration according to the first aspect, the reference distance corresponding to the range is to be displayed at the bottom of each range. It is characterized by the distance to the road part.
【００１０】[0010]
【作用】上述の請求項１記載の本発明の車両用路上物体
認識装置では、車両に設置された横置きステレオカメラ
により走行路面上が撮影されると、この横置きステレオ
カメラからの画像情報に基づいて、物体認識手段により
走行路面上の物体が認識される。In the on-vehicle object recognizing device for a vehicle according to the first aspect of the present invention, when an image of the traveling road surface is taken by the horizontal stereo camera installed in the vehicle, the image information from the horizontal stereo camera is displayed. Based on this, the object recognition means recognizes the object on the road surface.
【００１１】そして、物体認識手段における距離測定手
段により、横置きステレオカメラにからの撮影画面が上
下方向に複数の行レンジに分割されるとともに、左右方
向に複数の列に分割されることで多数のウインドゥに区
画された上で、横置きステレオカメラの左右２つのカメ
ラの各画像情報から、上記の各ウインドゥ毎に被写体ま
での距離が測定される。The distance measuring means in the object recognizing means divides the photographic screen from the horizontal stereo camera into a plurality of row ranges in the vertical direction and a plurality of columns in the horizontal direction. Then, the distance to the subject is measured for each of the above windows from the image information of the left and right cameras of the horizontal stereo camera.
【００１２】この後、上記の各行レンジ毎にレンジ対応
基準距離が設定される。そして、物体認識手段のレンジ
対応物体データ除外手段により、レンジ対応基準距離と
距離測定手段で検出された被写体までの距離とが比較さ
れて、被写体までの距離がレンジ対応基準距離以内であ
ればこの被写体が物体又は物体候補として認識され、被
写体までの距離がレンジ対応基準距離よりも大きければ
この被写体については物体でないものとして物体データ
から除外される。After that, the range-corresponding reference distance is set for each row range. Then, the range corresponding object data excluding means of the object recognizing means compares the range corresponding reference distance with the distance to the subject detected by the distance measuring means, and if the distance to the subject is within the range corresponding reference distance, If the subject is recognized as an object or an object candidate and the distance to the subject is larger than the range-corresponding reference distance, this subject is excluded from the object data as a non-object.
【００１３】また、上述の請求項２記載の本発明の車両
用路上物体認識装置では、横置きステレオカメラの左右
の画像情報から得られる同一被写体の左右方向へのずれ
量に基づいて、距離測定手段により、被写体までの距離
が測定される。また、上述の請求項３記載の本発明の車
両用路上物体認識装置では、距離測定手段により、被写
体までの距離Ｒは、左右の２つのカメラのレンズの焦点
距離ｆと、左右２つのカメラの光軸間の距離Ｌと、画像
の画素ピッチＰと、左右の画像が整合するまでに左右ど
ちらか一方の画像をシフトした画素数ｎと、に基づい
て、Ｒ＝（ｆ・Ｌ）／（ｎ・Ｐ）の式により算出され
る。Further, in the on-vehicle object recognizing device for a vehicle according to the second aspect of the invention, the distance measurement is performed based on the shift amount in the left and right direction of the same subject obtained from the left and right image information of the horizontal stereo camera. The means measures the distance to the subject. In the on-vehicle object recognition device for a vehicle according to the third aspect of the present invention, the distance R to the subject is determined by the distance measuring means as to the focal length f of the left and right cameras and the left and right cameras. Based on the distance L between the optical axes, the pixel pitch P of the images, and the number of pixels n in which one of the left and right images is shifted until the left and right images are aligned, R = (fL) / ( n · P).
【００１４】また、請求項４記載の本発明の車両用路上
物体認識装置では、物体認識手段の処理対称とする画像
領域が、車両から遠い部分では左右の端部領域を除去さ
れて左右方向の中央部の領域のみに限定される。また、
請求項５記載の本発明の車両用路上物体認識装置では、
物体認識手段により、処理対象とする画像領域が、車両
から遠い部分で左右の端部領域を除去された左右方向の
中央部分に相当する第１の画像領域と、車両から近い部
分の左半部分に相当する第２の画像領域と、車両から近
い部分の右半部分に相当する第３の画像領域と、に区分
されて、画像処理が行なわれる。Further, in the on-vehicle object recognizing device for a vehicle according to the present invention, the left and right end regions of the image area which is the processing symmetry of the object recognizing means are removed in the left and right direction from the vehicle. Limited to the central area only. Also,
In the on-vehicle object recognizing device for a vehicle according to claim 5,
The first image area corresponding to the central portion in the left-right direction in which the image area to be processed by the object recognizing means is removed from the left and right end areas in the portion far from the vehicle, and the left half portion near the vehicle. The image processing is performed by being divided into a second image area corresponding to the second image area and a third image area corresponding to the right half portion near the vehicle.
【００１５】また、請求項６記載の本発明の車両用路上
物体認識装置では、各レンジの最下部に映し出される走
行路の部分までの距離が、レンジ対応基準距離として設
定される。Further, in the on-road object recognizing device for a vehicle according to the present invention, the distance to the portion of the traveling road imaged at the bottom of each range is set as the range corresponding reference distance.
【００１６】[0016]
【実施例】以下、図面により、本発明の一実施例につい
て説明すると、図１はその全体構成を示す模式的なブロ
ック図、図２はその画像情報処理の概要を説明するため
のアルゴリズム、図３はその処理画像を示す模式図、図
４はその作用を説明するためのフローチャートであって
不正確データを削除するための処理について説明するた
めのフローチャート、図５はその作用を説明するための
フローチャートであってレンジカット処理について説明
するためのフローチャート、図６はレンジカット処理に
ついて説明するための模式図、図７はその作用を説明す
るためのフローチャートであってウインドゥ間の縦方向
処理について説明するためのフローチャート、図８はそ
の作用を説明するためのフローチャートであってウイン
ドゥ間の横方向処理について説明するためのフローチャ
ート、図９〜図１１はともにウインドゥ間の横方向処理
についての処理画像の一例を示す模式図、図１２はその
作用を説明するためのフローチャートであって物体まで
の距離の算出処理について説明するためのフローチャー
ト、図１３はその横置きステレオカメラ（ＣＣＤカメ
ラ）の外観を示す模式図、図１４はその横置きステレオ
カメラ（ＣＣＤカメラ）により撮像された画像を示す模
式図であって（ａ）はその横置きステレオカメラの左側
のカメラで撮像された車両を示す図（ｂ）はその横置き
ステレオカメラの右側のカメラで撮像された車両を示す
図、図１５はその横置きステレオカメラ（ＣＣＤカメ
ラ）の左右の画像から物体までの距離の算出を説明する
図である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic block diagram showing the overall structure thereof, and FIG. 2 is an algorithm for explaining the outline of image information processing. 3 is a schematic diagram showing the processed image, FIG. 4 is a flow chart for explaining the action thereof, a flow chart for explaining the process for deleting inaccurate data, and FIG. 5 is a flow chart for explaining the action. FIG. 6 is a flowchart for explaining the range cut processing, FIG. 6 is a schematic diagram for explaining the range cut processing, and FIG. 7 is a flowchart for explaining the operation thereof, which describes vertical processing between windows. FIG. 8 is a flowchart for explaining the operation, and FIG. 8 is a flowchart for explaining the operation. 9 to 11 are schematic diagrams each showing an example of a processed image of the lateral processing between windows, and FIG. 12 is a flowchart for explaining the action thereof, showing the distance to the object. 13 is a flow chart for explaining the calculation process, FIG. 13 is a schematic diagram showing the appearance of the horizontal stereo camera (CCD camera), and FIG. 14 is a schematic diagram showing an image taken by the horizontal stereo camera (CCD camera). FIG. 15A is a diagram showing a vehicle imaged by the left camera of the horizontal stereo camera, and FIG. 15B is a diagram showing a vehicle imaged by the right camera of the horizontal stereo camera, and FIG. It is a figure explaining calculation of the distance to the object from the image on either side of a stationary stereo camera (CCD camera).
【００１７】図１に示すように、車両１には、横置きス
テレオカメラ２が設置されている。このステレオカメラ
２は、図１３に示すように、水平方向に左右各１つずつ
のカメラ（ＣＣＤカメラ）２Ｌ，２Ｒをそなえており、
これらの２つのカメラ２Ｌ，２Ｒから車両１の走行する
路面状況が撮像されると、この画像情報が物体認識手段
５の前方測距コントローラ３に取り込まれるようになっ
ている。As shown in FIG. 1, a horizontal stereo camera 2 is installed in a vehicle 1. As shown in FIG. 13, this stereo camera 2 has one left and one right camera (CCD cameras) 2L and 2R in the horizontal direction.
When the road condition of the vehicle 1 is imaged by these two cameras 2L and 2R, this image information is taken into the front distance measuring controller 3 of the object recognition means 5.
【００１８】また、この前方測距コントローラ３には、
距離測定手段７が接続されており、この距離測定手段７
において、ステレオカメラ２により撮像された物体と自
車両１との間の距離測定（測距）を行なうようになって
いる。そして、ここでは、物体の端部（エッジ部）を認
識して、このエッジ部までの距離を測定することによ
り、物体までの距離を測定するようになっている。Further, the front distance measuring controller 3 includes
The distance measuring means 7 is connected, and the distance measuring means 7 is connected.
In, the distance measurement (distance measurement) between the object imaged by the stereo camera 2 and the host vehicle 1 is performed. Then, here, the distance to the object is measured by recognizing the end portion (edge portion) of the object and measuring the distance to the edge portion.
【００１９】つまり、図１に示すように、距離測定手段
７には、物体のエッジ部に認識するエッジ認識手段１０
が接続されており、実際には、エッジ認識手段１０おい
て物体のエッジ部を認識する作業と、距離測定手段７に
おいて物体までの距離を測定する作業は同一のものであ
る。また、このステレオカメラ２は隣接する車両レーン
の道路状況を完全に把握できるような画角（ここでは４
６°）が確保されている。That is, as shown in FIG. 1, the distance measuring means 7 has an edge recognizing means 10 for recognizing the edge portion of the object.
Are connected, and in reality, the work of recognizing the edge portion of the object by the edge recognizing means 10 and the work of measuring the distance to the object by the distance measuring means 7 are the same. In addition, this stereo camera 2 has an angle of view (4 in this case) that can completely grasp the road condition of the adjacent vehicle lane.
6 °) is secured.
【００２０】ところで、このステレオカメラ２から前方
測距コントローラ３に入力された画像情報は、図３に示
すような３つの画像領域（これをエリアという）に分割
される。第１の画像領域としてのエリアＩは、車両１か
ら比較的離れた前方の画像情報である。また、第２，第
３の画像領域としてのエリアII，III は、車両１の手前
側の画像情報であって、エリアIIは車両１側から見て前
方左側、エリアIII は前方右側である。このように車両
１の手前側の画像領域を広く採り、車両１から遠い画像
領域を狭く採っているのは、同じ大きさの物体でも遠く
離れる程小さく見え、狭い視野でも画像情報が得られる
からである。By the way, the image information input from the stereo camera 2 to the front distance measuring controller 3 is divided into three image areas (this is called an area) as shown in FIG. Area I as the first image area is image information in front of the vehicle 1 which is relatively distant from the vehicle 1. Areas II and III as the second and third image areas are image information on the front side of the vehicle 1. Area II is the front left side when viewed from the vehicle 1 side, and area III is the front right side. In this way, the image area on the near side of the vehicle 1 is wide, and the image area far from the vehicle 1 is narrow, because even an object of the same size looks smaller at a distance, and image information can be obtained even in a narrow field of view. Is.
【００２１】エリアＩ〜III は、図３に示すように、上
下方向（縦方向）の線と左右方向（横方向）の線とによ
り細かい区画（以下、ウインドゥという）に分割されて
いる。 図３に示すように、各ウインドゥには、それぞ
れに番号が付与されており、ウインドゥ〔ｘ〕〔ｙ〕と
いう形で各ウインドゥの位置を示すようになっている。
〔ｘ〕は画像領域の一番上のウインドゥ行（左右方向へ
のウインドゥの一列並び）の番号を０として、下に向か
って番号が大きくなるように設定されている。また、
〔ｙ〕は画像領域の左端のウインドゥ列（上下方向への
ウインドゥの一列並び）の番号を０として、図中右方向
に向かって番号が大きくなるように設定されている。As shown in FIG. 3, the areas I to III are divided into fine sections (hereinafter referred to as windows) by vertical (vertical) lines and horizontal (horizontal) lines. As shown in FIG. 3, each window is given a number to indicate the position of each window in the form of windows [x] [y].
[X] is set so that the number of the top window row (a row of windows in the left-right direction) of the image area is 0, and the numbers increase downward. Also,
[Y] is set so that the number of the window row at the left end of the image area (a row of windows in the vertical direction) is 0, and the number increases toward the right in the drawing.
【００２２】そして、エッジ認識手段１０では、ステレ
オカメラ２からの画像情報に基づいて、各ウインドゥ列
毎に、画像が互いに異なるパターンの境界部として形成
される縦エッジ部分を認識して、この縦エッジ部分まで
の距離を測定するようになっている。なお、縦エッジと
は、具体的には、主に物体の左右端の部分である。そし
て、本装置は、これらのエリアＩ〜III 内の画像情報に
基づいて物体を認識するように構成されているものであ
る。Then, the edge recognizing means 10 recognizes a vertical edge portion, which is formed as a boundary portion of patterns different from each other, for each window row based on the image information from the stereo camera 2, and the vertical edge portion is recognized. It is designed to measure the distance to the edge. The vertical edges are specifically the left and right ends of the object. The present apparatus is configured to recognize an object based on the image information in these areas I to III.
【００２３】図１に示すように、認識処理手段５には、
デュアルポートＲＡＭ４とコンピュータ６とが設けられ
ており、各エリアＩ〜III の画像情報は、デュアルポー
トＲＡＭ４に入力されるようになっている。そして、こ
のデュアルポートＲＡＭ４からの情報がコンピュータ６
に入力されるようになっている。このコンピュータ６
は、物体認識のための各種の処理を行なうものであっ
て、コンピュータ６内には、図１に示すように、レンジ
対応物体データ除外手段８と物体推定手段１１とが設け
られている。As shown in FIG. 1, the recognition processing means 5 includes:
A dual port RAM 4 and a computer 6 are provided, and the image information of each area I to III is input to the dual port RAM 4. Information from the dual port RAM 4 is transferred to the computer 6
It is designed to be input to. This computer 6
Performs various kinds of processing for object recognition. As shown in FIG. 1, the computer 6 is provided with range corresponding object data excluding means 8 and object estimating means 11.
【００２４】レンジ対応物体データ除外手段８は、画像
情報の各ウインドゥ行（又は、レンジという）毎に決ま
るレンジカット距離（レンジ対応基準距離）と距離測定
手段７で検出された被写体までの距離とを比較して、被
写体までの距離がレンジ対応基準距離よりも大きければ
この被写体については物体データから除外（これをレン
ジカット処理という）し、被写体までの距離が該レンジ
対応基準距離以内であればこの被写体を物体として認識
するものである。The range-corresponding object data excluding means 8 determines the range cut distance (range-corresponding reference distance) determined for each window line (or range) of the image information and the distance to the object detected by the distance measuring means 7. If the distance to the subject is larger than the range-corresponding reference distance, this subject is excluded from the object data (this is called range cut processing), and if the distance to the subject is within the range-corresponding reference distance. This object is recognized as an object.
【００２５】また、物体推定手段１１は、前述したエッ
ジ認識手段１０の認識情報に基づいて、画像情報の各ウ
インドゥ列単位で、縦エッジ部分の存在の有無を認識し
て、縦エッジ部分が存在する際にはその距離を追跡し
て、予め設定された左右の離隔範囲内のウインドゥ列間
に、縦エッジが一対存在し、且つこの対をなす各縦エッ
ジ部分までの距離がほぼ等しい場合に、この対をなす各
縦エッジ部分で規定される領域に、この縦エッジ部分ま
での距離だけ離れて物体が存在していると推定するもの
である。Further, the object estimating means 11 recognizes the presence or absence of the vertical edge portion for each window row unit of the image information based on the recognition information of the edge recognizing means 10 described above, and the vertical edge portion exists. If there is a pair of vertical edges between the window rows within the preset left and right separation range, and the distance to each vertical edge part forming this pair is almost equal, It is estimated that an object exists in the area defined by the vertical edge portions forming the pair and is separated by the distance to the vertical edge portions.
【００２６】以下、認識処理手段５の各機能について説
明していく。距離測定手段７は、上述したように、ステ
レオカメラ２の左右２つのカメラの各画像情報から、各
ウインドゥ毎に距離測定していくものである。このステ
レオカメラ２による測距は、次のようにして行なわれ
る。すなわち、ステレオカメラ２の２つのカメラ２Ｌ，
２Ｒからは、図１４（ａ），（ｂ）に示すように２つの
画像が得られる。右側の画像のウインドゥで囲まれた画
像と同じ画像は、左側の画像の中に少し横方向にずれた
位置にある。そこで、ウインドゥで囲んだ右側の画像
を、左側の画像のサーチ領域内で１画素ずつシフトしな
がら、最も整合する画の位置を求めるのである。このと
き、図１５に示すように、カメラ２Ｌ，２Ｒのレンズの
焦点距離をｆ、左右カメラ１１，１２の光軸間の距離を
Ｌとし、ＣＣＤの画素ピッチ（画像の画素ピッチ）を
Ｐ、図１４（ａ），（ｂ）において左右の画像が整合す
るまでに右画像をシフトした画素数をｎとすると、ステ
レオカメラ２により撮像された物体までの距離Ｒは、三
角測量の原理により、次式により算出される。 Ｒ＝（ｆ・Ｌ）／（ｎ・Ｐ） そして、このような距離測定を行なうことにより、物体
のエッジ部が認識されるのである。The functions of the recognition processing means 5 will be described below. As described above, the distance measuring means 7 measures the distance for each window from the image information of the left and right two cameras of the stereo camera 2. The distance measurement by the stereo camera 2 is performed as follows. That is, the two cameras 2L of the stereo camera 2,
Two images are obtained from 2R as shown in FIGS. 14 (a) and 14 (b). The same image as the image surrounded by the window in the right image is slightly laterally offset in the left image. Therefore, the image on the right side surrounded by the window is shifted pixel by pixel in the search area of the image on the left side, and the position of the image that is most matched is obtained. At this time, as shown in FIG. 15, the focal lengths of the lenses of the cameras 2L and 2R are f, the distance between the optical axes of the left and right cameras 11 and 12 is L, and the pixel pitch of the CCD (pixel pitch of the image) is P, In FIGS. 14A and 14B, if the number of pixels shifted in the right image until the left and right images are matched is n, the distance R to the object imaged by the stereo camera 2 is calculated by the triangulation principle. It is calculated by the following formula. R = (f · L) / (n · P) Then, by performing such distance measurement, the edge portion of the object is recognized.
【００２７】ここで、コンピュータ６内の画像情報処理
の流れについて図２のアルゴリズムを用いて簡単に説明
する。まず、ステップＳＡ１においてデュアルポートＲ
ＡＭ４から画像データが読み込まれる。このとき、画像
データは、図３に示すようなウインドゥに分割されてお
り、距離測定手段７により測定された各ウインドゥ毎の
距離データも取り込まれる。Here, the flow of image information processing in the computer 6 will be briefly described using the algorithm of FIG. First, in step SA1, dual port R
Image data is read from AM4. At this time, the image data is divided into windows as shown in FIG. 3, and the distance data for each window measured by the distance measuring means 7 is also captured.
【００２８】次に、ステップＳＡ２で測距性能外のデー
タを排除して不正確なデータをカットする。そして、ス
テップＳＡ３で路面上の白線や文字等の測距値を削除す
るレンジカット処理が行なわれる。これにより、路面上
の模様（白線や文字等）の測距値か削除されるようにな
っている。Next, in step SA2, data outside the distance measuring performance is excluded to cut inaccurate data. Then, in step SA3, range cut processing is performed to delete distance measurement values such as white lines and characters on the road surface. As a result, the distance measurement value of the pattern (white line, character, etc.) on the road surface is deleted.
【００２９】この後、ステップＳＡ４で各ウインドゥ間
の縦方向処理が行なわれる。この縦方向処理により、ス
テレオカメラ２により撮像された被写体を物体候補とす
るか、物体データから除外するかが判断される。なお、
縦方向処理は図３に示すような、上下方向に処理してい
くものである。これらステップＳＡ１〜ステップＳＡ４
が、レンジ対応物体データ除外手段８により処理される
ようになっている。After this, in step SA4, vertical processing between windows is performed. Through this vertical processing, it is determined whether the subject imaged by the stereo camera 2 is an object candidate or is excluded from the object data. In addition,
The vertical processing is processing in the vertical direction as shown in FIG. These steps SA1 to SA4
Are processed by the range corresponding object data excluding means 8.
【００３０】そして、ステップＳＡ５において各ウイン
ドゥ間の横方向処理が行なわれ、これにより、物体の認
識や物体の大きさの判別が行なわれるのである。この横
方向処理は、上述の縦方向処理とは逆に、縦方向のウイ
ンドゥ列を図３に示すように左右方向に処理していくも
のである。そして、この各ウインドゥ間の横方向処理
は、エッジ認識手段１０と物体推定手段１１とより処理
されるようになっている。Then, in step SA5, horizontal processing is performed between the windows, thereby recognizing the object and determining the size of the object. In the horizontal direction processing, contrary to the vertical direction processing described above, the vertical window sequence is processed in the horizontal direction as shown in FIG. The horizontal processing between the windows is performed by the edge recognition means 10 and the object estimation means 11.
【００３１】以下、上述のアルゴリズムの各ステップ毎
に説明する。 〔不正確データのカット〕まず、デュアルポートＲＡＭ
４からコンピュータ６に取り込まれた画像情報は、レン
ジ対応物体データ除外手段８により不正確データカット
の処理が行なわれる。The steps of the above algorithm will be described below. [Cut of inaccurate data] First, dual port RAM
The image information taken into the computer 6 from 4 is subjected to inaccurate data cut processing by the range corresponding object data excluding means 8.
【００３２】この不正確データのカット処理について説
明する。通常、カメラによる距離測定では、距離が大き
くなるほど（すなわち物体が小さく見えるほど）、デー
タの値は不正確なものとなる。そこで、本装置では、あ
る一定値（Ｌｃ）以上前方のデータ（ここでは、例えば
画角４６°の場合Ｌｃ＝３５ｍ）を予め排除するように
なっている。The cut processing of this inaccurate data will be described. Usually, in the distance measurement by the camera, the larger the distance (that is, the smaller the object appears), the more inaccurate the data value. Therefore, in this apparatus, data ahead of a certain fixed value (Lc) or more (here, for example, when the angle of view is 46 °, Lc = 35 m) is eliminated in advance.
【００３３】これを図４のフローチャートを用いて説明
すると、各ウインドゥの距離データがステップＳＢ１に
入力されると、この距離データが所定値Ｌｃよりも大き
いかどうかを判定する。各ウインドゥ〔ｘ〕〔ｙ〕の距
離データをｄａｔａ〔ｘ〕〔ｙ〕で示すと、この判定は
次式（１）により行なわれる。This will be described with reference to the flowchart of FIG. 4. When the distance data of each window is input to step SB1, it is determined whether or not this distance data is larger than a predetermined value Lc. When the distance data of each window [x] [y] is represented by data [x] [y], this determination is made by the following equation (1).
【００３４】 ｄａｔａ〔ｘ〕〔ｙ〕＞Ｌｃ ・・・（１） そして、ｄａｔａ〔ｘ〕〔ｙ〕がＬｃよりも大きいと、
Ｙｅｓルートを通ってステップＳＢ２に進み、ｄａｔａ
〔ｘ〕〔ｙ〕＝０として距離データが削除される。ま
た、ｄａｔａ〔ｘ〕〔ｙ〕が所定値Ｌｃよりも小さいと
Ｎｏルートを通って距離データは削除されずに、次のス
テップに進むのである。Data [x] [y]> Lc (1) When data [x] [y] is larger than Lc,
Go to Step SB2 through the Yes route and data
Distance data is deleted with [x] [y] = 0. If data [x] [y] is smaller than the predetermined value Lc, the distance data is not deleted through the No route and the process proceeds to the next step.
【００３５】なお、図３に示すように、エリアＩの方が
エリアII，III よりも横方向のウインドゥがそれぞれ３
行ずつ少なくなっているので、必然的にエリアＩの
〔ｙ〕は３〜１４までとなる。 〔レンジカット処理〕次に、レンジ対応物体データ除外
手段８では、ステップＳＡ３のレンジカット処理を行な
う。このレンジカット処理は、路面上の白線や文字等の
測距値を削除して、不必要なデータを除外していく処理
である。As shown in FIG. 3, the area I has three horizontal windows than the areas II and III.
Since the number of lines decreases, the area y [y] inevitably becomes 3 to 14. [Range Cut Processing] Next, the range corresponding object data excluding unit 8 performs the range cut processing in step SA3. This range cut processing is processing for deleting unnecessary data by deleting distance measurement values such as white lines and characters on the road surface.
【００３６】ここで、レンジカット処理の考え方につい
て、図６を用いて説明する。車両前方の路面状況は、車
両１に設置されたステレオカメラ２により撮像される
が、図３に示すような画像情報をウインドゥ行毎にどの
程度前方までのデータを取り込むかを決定するものであ
る。例えば、図６では、ステレオカメラ２により撮像さ
れる領域が〜の領域（各領域はウインドゥ行に対応
するものである）に分割されており、この各領域〜
毎にそれぞれにレンジカット距離が設定されている。そ
して、設定されたレンジカット距離よりも画像情報の距
離データが遠方であると、このデータを削除するのであ
る。例えば、図６に示すの領域では、Ａ地点より遠方
は測距しないようになっている。これと同様にの領域
ではＢ地点よりも遠方、の領域ではＣ地点よりも遠方
は測距しないようになっている。Here, the concept of range cut processing will be described with reference to FIG. The road surface condition in front of the vehicle is captured by the stereo camera 2 installed in the vehicle 1, and determines how much data up to the front the image information as shown in FIG. 3 is fetched for each window. . For example, in FIG. 6, the area imaged by the stereo camera 2 is divided into areas (each area corresponds to a window row), and each area
A range cut distance is set for each. Then, if the distance data of the image information is farther than the set range cut distance, this data is deleted. For example, in the area shown in FIG. 6, distance measurement is not performed at a distance from point A. In the same manner as this, distance measurement is not performed in a region farther than the point B and in a region farther than the point C in the region.
【００３７】これにより、図６に示すような状況では、
車両１の前方の物体（障害物）９はの領域で測距され
るようになっており、物体９の下方の道路上の模様や白
線等がの領域で測距されることがなく、物体９だけを
正しく認識できるようになっているのである。このレン
ジカット処理を図５のフローチャートを用いて説明する
と、各ウインドゥ行〔ｉ〕毎に、路面上の被写体を拾わ
ない距離Ｌ(i) が設定されており、この距離Ｌ(i) 以上
のデータを削除（レンジカット）するようになってい
る。なお、各ウインドゥ行〔ｉ〕のｉの値は、上記のウ
インドゥ番号のｘ値に相当するものであって、例えば一
番上のウインドゥ行（ｘ＝０）の距離データは、ｄａｔ
ａAs a result, in the situation as shown in FIG.
The object (obstacle) 9 in front of the vehicle 1 is designed to be distance-measured in the area of, and the pattern or white line on the road below the object 9 is not measured in the area of Only 9 can be recognized correctly. This range cut processing will be described with reference to the flowchart of FIG. 5. A distance L (i) at which a subject on the road is not picked up is set for each window row [i], and the distance L (i) or more is set. It is designed to delete data (range cut). The value i of each window row [i] corresponds to the x value of the above window number. For example, the distance data of the uppermost window row (x = 0) is dat.
a
〔０〕〔ｙ〕で示される。It is represented by [0] [y].
【００３８】そして、各ウインドゥ行〔ｉ〕の距離デー
タは、ステップＳＣ１で以下の式（２）により判断され
る。 ｄａｔａ〔ｉ〕〔ｙ〕＞Ｌ(i) ・・・（２） そして、上記の式（２）が成り立つ場合は、ステップＳ
Ｃ２に進んでｄａｔａ〔ｉ〕〔ｙ〕＝０と設定される。
つまりウインドゥ列の距離データが削除されるのであ
る。Then, the distance data of each window [i] is judged by the following equation (2) in step SC1. data [i] [y]> L (i) (2) If the above expression (2) is satisfied, step S
Proceeding to C2, data [i] [y] = 0 is set.
That is, the distance data of the window sequence is deleted.
【００３９】また、ｄａｔａ〔ｉ〕〔ｙ〕がＬ(i) より
も小さいときは、次の処理に進む。そして、このような
レンジカット処理を全ての列について行なう。 〔ウインドゥ間縦方向処理〕次に、物体推定手段１１で
は、各ウインドゥ間の縦方向処理（図２に示すステップ
ＳＡ４）を行なう。この縦方向処理は、各ウインドゥの
各列毎に行なわれるものである。そして、この縦方向処
理により、ウインドゥの各縦列毎の物体の距離が決定さ
れる。If data [i] [y] is smaller than L (i), the process proceeds to the next step. Then, such range cut processing is performed for all columns. [Longitudinal Processing Between Windows] Next, the object estimation unit 11 performs vertical processing between windows (step SA4 shown in FIG. 2). This vertical processing is performed for each column of each window. By this vertical processing, the distance of the object for each column of the window is determined.
【００４０】この処理は各列〔ｊ〕毎に行なわれるが、
各ウインドゥ列〔ｊ〕のｊの値は、上記のウインドゥ番
号のｙ値に相当するものであって、この実施例の場合、
ｊ＝１〜１７となる。また、図３中左端のウインドゥ行
（ｙ＝０）の距離データは、ｄａｔａThis processing is performed for each column [j],
The value of j of each window sequence [j] corresponds to the y value of the above window number. In the case of this embodiment,
j = 1 to 17. The distance data of the window row (y = 0) at the left end in FIG. 3 is data.
〔０〕〔ｙ〕で示
される。そして、このウインドゥ間の縦方向処理は、図
７に示すフローチャートにしたがって行なわれる。It is represented by [0] [y]. The vertical processing between windows is performed according to the flowchart shown in FIG.
【００４１】まず、最初にｊ＝１の時について説明す
る。ステップＳＤ１において、初期値がｘ＝５，ｃ：ｄ
ａｔａ〔ｊ〕＝０と設定される。なお、ｃ：ｄａｔａ
〔ｊ〕は各縦列の距離データである。次に、ステップＳ
Ｄ２に進んで、その時のウインドゥ〔ｘ〕〔ｊ〕の距離
データが、その真上のウインドゥ〔ｘ−１〕〔ｊ〕の距
離データに近い（±２０％以内）かどうかが下式
（３），（４）にしたがって判断される。First, the case of j = 1 will be described. In step SD1, the initial value is x = 5, c: d
ata [j] = 0 is set. Note that c: data
[J] is distance data of each column. Next, step S
Proceeding to D2, it is determined whether the distance data of the window [x] [j] at that time is close (within ± 20%) to the distance data of the window [x-1] [j] immediately above (3). ), (4).
【００４２】 ｄａｔａ〔ｘ〕〔ｊ〕＜ｋ1 ×ｄａｔａ〔ｘ−１〕〔ｊ〕 ・・・（３） ａｎｄ ｄａｔａ〔ｘ〕〔ｊ〕＞ｋ2 ×ｄａｔａ〔ｘ−１〕〔ｊ〕 ・・・（４） （ただし、ｋ2 ＜ｋ1 ） なお、ｋ1 ，ｋ2 は、距離データのばらつき度合いによ
り設定される固定値である。Data [x] [j] <k 1 × data [x-1] [j] (3) and data [x] [j]> k 2 × data [x-1] [j] (4) (where k 2 <k 1 ) Note that k 1 and k 2 are fixed values set according to the degree of variation in the distance data.
【００４３】ここでは、ｘ＝５，ｊ＝１なので、図３の
左端の縦列において、一番したのウインドゥ（ｘ＝５）
の距離データが、その上に位置するウインドゥ（ｘ＝
４）の距離データに近いかどうかが判断されるのであ
る。そして、これが成り立つ場合、即ちその時のウイン
ドゥ〔ｘ〕〔ｊ〕と、この真上に位置するウインドゥ
〔ｘ−１〕〔ｊ〕との距離データが近いと判断できる場
合、ステップＳＤ３に進んで、ｃ：ｄａｔａ〔ｊ〕＝ｄ
ａｔａ〔ｘ〕〔ｊ〕と設定する。Since x = 5 and j = 1 here, the window (x = 5) that has been the best in the leftmost column in FIG. 3 is used.
Distance data of the window (x =
It is determined whether the distance data is close to the distance data of 4). If this is true, that is, if it can be determined that the distance data between the window [x] [j] at that time and the window [x-1] [j] located immediately above this are close, the process proceeds to step SD3, c: data [j] = d
It is set as ata [x] [j].
【００４４】つまり、この時比較された上下２つのウイ
ンドゥのうち、下側のウインドゥ〔ｘ〕〔ｊ〕の距離デ
ータが、その縦列の距離データｃ：ｄａｔａ〔ｊ〕とし
て設定されるのである。また、ステップＳＤ２で、式
（３）又は（４）のどちらか一方でも成り立たない場合
は、Ｎｏルートを通ってステップＳＤ４に進み、ｃ：ｄ
ａｔａ〔ｊ〕が０かどうかが判断される。That is, of the upper and lower windows compared at this time, the distance data of the lower window [x] [j] is set as the distance data c: data [j] of the column. In step SD2, if either one of the expressions (3) and (4) is not satisfied, the process proceeds to the step SD4 through the No route, and c: d.
It is determined whether or not ata [j] is 0.
【００４５】各列の最初の処理時（ｘ＝５の時）は、ス
テップＳＤ１でｃ：ｄａｔａ〔ｊ〕＝０と設定されてい
るので、ステップＳＤ５に進む。そして、この時のウイ
ンドゥの距離データが所定値Ｌｆよりも大きいかどうか
が下式（５）により判断される。 ｄａｔａ〔ｘ〕〔ｊ〕＞Ｌｆ ・・・・（５） そして、このウインドゥの距離データがＬｆよりも大き
い場合は、ステップＳＤ６に進んで、ｃ：ｄａｔａ
〔ｊ〕＝ｄａｔａ〔ｘ〕〔ｊ〕と設定する。At the time of the first processing of each column (when x = 5), since c: data [j] = 0 is set in step SD1, the process proceeds to step SD5. Then, whether or not the window distance data at this time is larger than the predetermined value Lf is determined by the following equation (5). data [x] [j]> Lf (5) If the distance data of the window is larger than Lf, the process proceeds to step SD6 and c: data.
Set [j] = data [x] [j].
【００４６】つまり、ステップＳＤ２で、式（３），
（４）を満足する距離データが得られなかった場合であ
っても、その距離データが所定値Ｌｆ以上の場合に限
り、下位行のデータを優先的に縦列データとして採用し
ているのである。これは、遠方の小さな物体の場合、１
つのウインドゥ内に収まってしまうことが考えられるか
らである。そして、どの程度の高さの物体までを認識す
るかでＬｆの値を設定する。例えば、本実施例の場合
は、車両程度の高さの物体を認識しようとするものであ
って、Ｌｆ＝１０ｍに設定されている。That is, in step SD2, equations (3),
Even when the distance data satisfying (4) is not obtained, the data in the lower row is preferentially adopted as the column data only when the distance data is equal to or larger than the predetermined value Lf. This is 1 for small objects in the distance
This is because it is possible that they will fit in one window. Then, the value of Lf is set depending on the height of the object to be recognized. For example, in the case of the present embodiment, the object is to recognize an object as high as a vehicle, and Lf = 10 m is set.
【００４７】そして、ステップＳＤ６で、ｃ：ｄａｔａ
〔ｊ〕が設定されると、ステップＳＤ７に進む。また、
ステップＳＤ４で、ｃ：ｄａｔａ〔ｊ〕≠０の場合、又
ステップＳＤ５でｄａｔａ〔ｘ〕〔ｊ〕がＬｆよりも小
さい場合は、ともにＮｏルートを通ってステップＳＤ７
に進む。このステップＳＤ７では、ｘの大きさが判定さ
れる。ここで、ｊが０〜２又は１５〜１７にある時は、
ｘ＞３かどうかを判断し、ｊが３〜１４にある時は、ｘ
＞１かどうかを判断する。つまり、図３に示すように、
左側３列（ｊ＝０〜２）と右側３列（ｊ＝１５〜１７）
は、ウインドゥがｘ＝３〜５の範囲でしか存在しないか
らである。Then, in step SD6, c: data
When [j] is set, the process proceeds to step SD7. Also,
If c: data [j] ≠ 0 in step SD4, or if data [x] [j] is smaller than Lf in step SD5, both steps go through the No route to step SD7.
Proceed to. In step SD7, the magnitude of x is determined. Here, when j is 0 to 2 or 15 to 17,
It is determined whether x> 3, and when j is 3 to 14, x
> 1 is judged. That is, as shown in FIG.
3 columns on the left side (j = 0 to 2) and 3 columns on the right side (j = 15 to 17)
Is because the window exists only in the range of x = 3 to 5.
【００４８】そして、これが成り立つとステップＳＤ７
からステップＳＤ８に進んで、ｘの数を１つ減じてから
ステップＳＤ２に戻るようになっている。また、ステッ
プＳＤ７で上記の条件が成り立たない場合はＮｏルート
を通って、このウインドゥ間の縦方向処理を終了する。
このように、各縦方向の列毎に、一番下のウインドゥ
（ｘ＝５）から順次その真上にあるウインドゥと距離デ
ータの比較を行なっていき、各列毎に物体までの距離を
設定することにより、単発的に現れる不正確なデータを
取り除くことができるのである。When this is established, step SD7
To SD8, the number of x is decremented by 1, and the process returns to SD2. If the above condition is not satisfied in step SD7, the No route is taken and the vertical processing between windows is completed.
In this way, for each column in the vertical direction, the window data at the bottom (x = 5) is sequentially compared with the window immediately above and the distance data is compared, and the distance to the object is set for each column. By doing so, it is possible to remove the inaccurate data that appears one by one.
【００４９】〔ウインドゥ間横方向処理〕そして、さら
に物体推定手段１１においては、各ウインドゥ間の横方
向処理が行なわれる。各ウインドゥ間の横方向処理は、
図３に示すように画像領域の左右方向への処理であり、
各縦列の距離データに応じて、その縦列が物体の端部か
どうかの認識が行なわれるものである。[Horizontal processing between windows] Further, the object estimating means 11 further performs horizontal processing between windows. The horizontal processing between windows is
As shown in FIG. 3, the processing is in the left-right direction of the image area.
According to the distance data of each column, whether the column is the end of the object is recognized.
【００５０】そして、この横方向処理では、各ウインド
ゥ列毎の距離データに応じて閾値が設定される。各縦列
データの側方に、その閾値以上の縦列データが現れない
（データ＝０）場合、そこで物体が分かれていると判断
する。なお、縦列データに応じて閾値を変える理由は以
下である。 ・測距が可能となるのは縦方向に物体の縁部（縦エッ
ジ）がある部分のみで、物体の内部（左右の縦エッジの
中間部）は測距できないことが多い。 ・物体の内部では縦列データが現れなくなる場合、その
ウインドゥ数は、物体の大きさが同じであれば距離が近
くなる程、また、距離が同じであれば大きさ物体が大き
くなる程多くなる。In this horizontal processing, a threshold value is set according to the distance data for each window row. When no column data equal to or more than the threshold value appears on the side of each column data (data = 0), it is determined that the object is divided there. The reason why the threshold value is changed according to the column data is as follows. -The distance can be measured only in the part where the edge (vertical edge) of the object is in the vertical direction, and it is often not possible to measure the distance inside the object (the middle part between the left and right vertical edges). When the column data does not appear inside the object, the number of windows increases as the distance between the objects is the same, and as the size is the same, the window size increases.
【００５１】したがって、どの程度の小さな物体までを
認識するかを決めれば閾値は決まる。この実施例では、
車両程度の大きさの物体までを認識できるように、以下
のように閾値Ｗｓを設定している。 縦列データ５ｍ以下・・・・・閾値Ｗｓ＝６ 同 ５ｍ〜７ｍ・・・・・閾値Ｗｓ＝５ 同 ７ｍ〜９ｍ・・・・・閾値Ｗｓ＝４ 同 ９ｍ〜１４ｍ・・・・閾値Ｗｓ＝３ 同 １４ｍ以上・・・・・閾値Ｗｓ＝２ なお、この閾値は、認識する物体の大きさやウインドゥ
の大きさにによって変わるものである。Therefore, the threshold is determined by deciding how small an object is to be recognized. In this example,
The threshold value Ws is set as follows so that an object as small as a vehicle can be recognized. Column data 5 m or less ... Threshold value Ws = 6 same 5 m to 7 m ... threshold value Ws = 5 same 7 m to 9 m ... threshold value Ws = 4 same 9 m to 14 m ... threshold value Ws = 3 same 14 m or more ... Threshold value Ws = 2 This threshold value changes depending on the size of the object to be recognized and the size of the window.
【００５２】そして、上記閾値に従い分かれた各物体に
ついて２番目に小さい縦列データを見つけ、その縦列デ
ータに近い最も左側と右側のウインドゥ間を物体として
認識するようになっている。また、縦列データが１つし
かない場合は、物体としては認識しない。以下、図８〜
図１１を用いて横方向の処理を説明する。Then, the second smallest column data is found for each object divided according to the above threshold, and the space between the leftmost and right windows close to the column data is recognized as an object. If there is only one column data, it is not recognized as an object. Below, FIG.
Processing in the horizontal direction will be described with reference to FIG.
【００５３】例えば図９に示すように、ウインドゥ列
〔ｙ＝０，２，６，９〕にほぼ同じ距離データが現れた
場合、物体位置としては図９に示すもの以外に図１０
（ａ）や図１０（ｂ）に示すような物体として認識して
しまうことが考えられる。そこで、本装置ではこの横方
向処理により認識する物体の大きさの範囲を限定するこ
とで、正確な物体認識を行なえるようになっている。For example, as shown in FIG. 9, when almost the same distance data appears in the window sequence [y = 0, 2, 6, 9], the object positions other than those shown in FIG.
It may be recognized as an object as shown in (a) or FIG. 10 (b). Therefore, in the present apparatus, by limiting the range of the size of the object to be recognized by this lateral processing, accurate object recognition can be performed.
【００５４】例えば、図９に示すウインドゥ２で測距さ
れた物体の距離データが大きい場合、図１０（ａ）や図
１０（ｂ）のように物体を認識することは、非常に大き
な物体が認識されたことを意味している。そこで、物体
の大きさを例えば車両程度の大きさに限定することによ
り、ウインドゥ〔ｙ＝２〕の距離データからウインドゥ
〔ｙ＝２〕とウインドゥ〔ｙ＝６〕と物体のデータが、
同一の物体のデータか否かが判断可能となるのである。For example, when the distance data of the object measured by the window 2 shown in FIG. 9 is large, it is difficult to recognize the object as shown in FIGS. 10 (a) and 10 (b). It means being recognized. Therefore, by limiting the size of the object to, for example, the size of a vehicle, the data of the window [y = 2], the window [y = 6], and the object can be obtained from the distance data of the window [y = 2].
It is possible to determine whether or not the data is for the same object.
【００５５】そこで、図１１に示すように、ウインドゥ
ａ，ｂ，ｃのみに距離データが現れ、それ以外のデータ
が全て０の場合について、図８に示すフローチャートに
したがってその処理を説明する。まず、図８のステップ
ＳＥ１において、ｊ＝０，ｎ＝０，ｍｉｎTherefore, as shown in FIG. 11, when the distance data appears only in the windows a, b, and c and all the other data are 0, the processing will be described with reference to the flowchart shown in FIG. First, in step SE1 of FIG. 8, j = 0, n = 0, min
〔０〕＝０と
設定する。ｊはウインドゥ列の番号、ｎは画像情報にお
ける被写体の数−１、ｍｉｎ〔ｎ〕は物体候補の存在の
する可能性がある左端の位置（ウインドゥ列番号）であ
る。Set [0] = 0. j is the window sequence number, n is the number of subjects in the image information −1, and min [n] is the leftmost position (window sequence number) where the object candidate may exist.
【００５６】次にステップＳＥ２に進んでカウンタがｋ
＝０と設定される。そして、ステップＳＥ３で、ｃ：ｄ
ａｔａ〔ｊ〕＝０かどうかが判断される。ｊの最初の値
は０であり、図１１の場合、ｃ：ｄａｔａNext, in step SE2, the counter is set to k.
= 0 is set. Then, in step SE3, c: d
It is determined whether or not ata [j] = 0. The first value of j is 0, and in the case of FIG. 11, c: data
〔０〕＝０で
あるので、Ｙｅｓルートを通って図８のステップＳＥ１
０に進んでｊが１つ加算され、ｊ＝となる。次に、ステ
ップＳＥ１１に進んで、ｊ＞１７かどうかが判定され
る。ここで、ｊ＝１なので、Ｎｏルートを通ってステッ
プＳＥ２に戻る。Since [0] = 0, the step SE1 in FIG. 8 is performed through the Yes route.
The process proceeds to 0, j is incremented by 1, and j =. Next, in step SE11, it is determined whether j> 17. Here, since j = 1, the process returns to step SE2 through the No route.
【００５７】そして、図１１の場合、このルートをｊ＝
４になるまで繰り返し、ｊ＝４の時ステップＳＥ３で
ｃ：ｄａｔａ〔４〕＝ａ（≠０）となり、Ｎｏルートを
通ってステップＳＥ４に進む。このステップＳＥ４で
は、距離データａに応じて、閾値Ｗｓが設定され、図８
のステップＳＥ５に進む。ステップＳＥ５では、ｋが１
つ加算されｋ（＝ｋ＋１）＝１と設定され、ステップＳ
Ｅ６に進む。ステップＳＥ６ではｊ＋ｋが算出され、こ
の値が１７より大きいかどうかが判定される。この場合
ｊ＋ｋ＝４＋１（≦１７）であるので、Ｎｏルートによ
りステップＳＥ９に進む。In the case of FIG. 11, this route is j =
4 is repeated, and when j = 4, in step SE3, c: data [4] = a (≠ 0), and the process proceeds to step SE4 through the No route. In step SE4, the threshold value Ws is set according to the distance data a,
Go to step SE5. In step SE5, k is 1
Are added and k (= k + 1) = 1 is set, and step S
Proceed to E6. In step SE6, j + k is calculated, and it is determined whether this value is larger than 17. In this case, j + k = 4 + 1 (≦ 17), so the process proceeds to step SE9 by No route.
【００５８】ステップＳＥ９では、ｃ：ｄａｔａ〔ｊ＋
ｋ〕＝０かどうかが判定されるが、この場合、ｃ：ｄａ
ｔａ〔５〕＝ｂ（≠０）となるので、Ｎｏルートを通っ
てステップＳＥ１０に進み、このステップＳＥ１０でｊ
が１つ加算され（ｊ＝５）、ステップＳＥ１１を通っ
て、ステップＳＥ２に戻る。そして、ステップＳＥ２で
ｋの値が０にリセットされた後、ステップＳＥ３に進
み、ここでｃ：ｄａｔａ〔ｊ〕の値が判定される。今度
はｊ＝５となっているので、ｃ：ｄａｔａ〔５〕＝ｂと
なり、ＹｅｓルートでステップＳＥ４に進み、距離デー
タｂに応じた閾値Ｗｓが再び設定される。At step SE9, c: data [j +
It is determined whether or not k] = 0. In this case, c: da
Since ta [5] = b (≠ 0), the No route is taken to step SE10, and at step SE10, j
Is incremented by 1 (j = 5), the process returns to step SE2 through step SE11. Then, after the value of k is reset to 0 in step SE2, the process proceeds to step SE3, where the value of c: data [j] is determined. Since j = 5 this time, c: data [5] = b holds, and the process proceeds to step SE4 along the Yes route, and the threshold value Ws corresponding to the distance data b is set again.
【００５９】次にステップＳＥ５でｋ＝１に設定された
後ステップＳＥ６に進む。ステップＳＥ６ではｊ＋ｋ
（＝５＋１）＝６≦１７となるので、Ｎｏルートを通っ
てステップＳＥ９に進む。そして、図１１に示すよう
に、ｃ：ｄａｔａ〔６〕＝０であるので、Ｙｅｓルート
を通ってステップＳＥ１２に進む。そして、このステッ
プＳＥ１２で、カウントｋと閾値Ｗｓとが比較される。
そしてｋ≦Ｗｓの間は、ステップＳＥ１２からＮｏルー
トを通ってステップＳＥ５に戻る。Next, at step SE5, k = 1 is set, and then the routine proceeds to step SE6. J + k in step SE6
Since (= 5 + 1) = 6 ≦ 17, the process proceeds to step SE9 through the No route. Then, as shown in FIG. 11, since c: data [6] = 0, the process proceeds to the step SE12 through the Yes route. Then, in step SE12, the count k is compared with the threshold value Ws.
Then, while k≤Ws, the process returns from step SE12 to step SE5 through the No route.
【００６０】図１１に示す例の場合、ｃ：ｄａｔａ
〔６〕〜ｃ：ｄａｔａIn the case of the example shown in FIG. 11, c: data
[6] to c: data
〔９〕＝０であるので、距離デー
タｂに応じた閾値Ｗｓにしたがって、ステップＳＥ５，
ステップＳＥ６，ステップＳＥ９，ステップＳＥ１２の
ループを回る。例えば、距離データｂがｂ＝１０ｍだっ
たとすると、閾値Ｗｓ＝３となり、上記のループを３度
回る。Since [9] = 0, step SE5 is performed according to the threshold value Ws corresponding to the distance data b.
The loop of steps SE6, SE9, and SE12 is repeated. For example, if the distance data b is b = 10 m, the threshold value Ws = 3, and the above loop is repeated 3 times.
【００６１】そして、ｋ＝４の時、ステップＳＥ１２で
ｋ＞Ｗｓが成り立ち、Ｙｅｓルートを通ってステップＳ
Ｅ１３に進む。このステップＳＥ１３では、ｊ＝ｊ＋ｋ
により新たｊが設定される。したがって、ここではｊ＝
５＋４＝９となり、ステップＳＥ１４に進む。ステップ
ＳＥ１４では、ｍａｘ〔ｎ〕＝ｊ，ｍｉｎ〔ｎ＋１〕＝
ｊ＋１と設定される。なお、ｍａｘ〔ｎ〕は、画像情報
の左側から数えてｎ−１番目の物体候補の存在のする可
能性がある右端のウインドゥ列の位置である。Then, when k = 4, k> Ws holds in step SE12, and the step S is performed through the Yes route.
Go to E13. In this step SE13, j = j + k
Sets a new j. Therefore, j =
Since 5 + 4 = 9, the process proceeds to step SE14. In step SE14, max [n] = j, min [n + 1] =
It is set as j + 1. It should be noted that max [n] is the position of the rightmost window row in which there is a possibility that the (n-1) th object candidate exists from the left side of the image information.
【００６２】この場合は、ｊ＝９であるのでｍａｘ
In this case, since j = 9, max
〔０〕＝９，ｍｉｎ〔１〕＝１０となる。また、ステッ
プＳＥ１で、初期値としてｍｉｎ[0] = 9, min [1] = 10. In step SE1, the initial value is min
〔０〕＝０と設定され
ているので、左側から数えて最初の（即ちｎ＝０番目
の）物体候補が、ｊ＝０からｊ＝９までの間のウインド
ゥ列に存在する可能性があることを示し、次の２番目
（ｎ＝１）の物体候補がｊ＝１０以降のウインドゥ列に
存在する可能性があることを示している。Since [0] = 0 is set, the first (ie, n = 0) th object candidate counting from the left side may be present in the window sequence between j = 0 and j = 9. This indicates that the next second (n = 1) object candidate may exist in the window sequence after j = 10.
【００６３】この後ステップＳＥ１５でｎ＝ｎ＋１と設
定され、ｎが１つ加算される（ｎ＝１）。そして、次に
ステップＳＥ１０に進んで、ｊが１つ加算されてｊ＝１
０となり、ステップＳＥ１１からステップＳＥ２に戻
り、上述したような処理を繰り返すのである。ところ
で、上述の距離データｂが６ｍの場合にはどうなるかを
説明する。ｂ＝６ｍだとすると、閾値Ｗｓ＝５となる。
したがって、上記のループを４度回ってｋ＝５となった
後、ステップＳＥ９でｃ：ｄａｔａ〔１０〕＝ｃである
ので、ステップＳＥ１０へ進む。Thereafter, at step SE15, n = n + 1 is set, and n is incremented by 1 (n = 1). Then, in step SE10, j is incremented by 1 and j = 1.
The value becomes 0, the process returns from step SE11 to step SE2, and the above-described processing is repeated. By the way, what happens when the distance data b is 6 m will be described. If b = 6 m, the threshold value Ws = 5.
Therefore, after the above loop is rotated 4 times and k = 5 is reached, since c: data [10] = c in step SE9, the process proceeds to step SE10.
【００６４】したがって、ｍａｘTherefore, max
〔０〕は決まらなくな
り、ｊ＝５＋１＝６としてステップＳＥ２に戻りｍａｘ
[0] cannot be decided, j = 5 + 1 = 6 is set, and the process returns to step SE2 to max.
〔０〕を引き続き検索する。以上のような処理をｊ＞１
７又はｊ＋ｋ＞１７になるまで続け、最終的にｎ＝（物
体数−１），ｍｉｎ〔０〜ｎ〕，ｍａｘ〔０〜ｎ〕が得
られ、ステップＳＥ８の物体（ここでは障害物としてい
る）までの距離の算出の処理に移るのである。Continue searching for [0]. The above processing is performed as j> 1.
7 or j + k> 17 until n = (number of objects-1), min [0-n], max [0-n] is finally obtained, and the object in step SE8 (here, it is an obstacle) ) To the calculation of the distance.
【００６５】次に、物体までの距離の算出処理につい
て、説明する。まず、上述のウインドゥ間横方向処理で
得られた、物体存在可能性の左端位置ｍｉｎNext, the process of calculating the distance to the object will be described. First, the left end position min of the object existence possibility obtained by the above-described horizontal processing between windows.
〔０〕，右
端位置ｍａｘ[0], right end position max
〔０〕の間で、２番目に小さい距離データ
を見つけだし、その距離データに近いウインドゥ距離デ
ータのみを有効データとして取り出す。In [0], the second smallest distance data is found, and only window distance data close to the distance data is taken out as valid data.
【００６６】そして、上述の有効データの左端ウインド
ゥ及び右端ウインドゥを物体の左右端と見なす。Then, the left end window and the right end window of the above valid data are regarded as the left and right ends of the object.
【００６７】ここで、ｍｉｎWhere min
〔０〕とｍａｘ[0] and max
〔０〕との
間で２番目に小さい距離データを探す理由は、ノイズ除
去のためである。物体の距離は、物体の左右端の様に縦
エッジが明確にあるところでは、正確に得られるが、こ
の左右の縦エッジの間では、誤測距が発生する可能性も
ある。したがって、２番目に小さいデータを利用するこ
とにより、物体の左右端のどちらか一方のデータに誤測
距があった場合でも、これを除去し、正確な距離データ
を得ることができるようにしている。The reason for searching for the second smallest distance data with respect to [0] is to remove noise. The distance of the object can be accurately obtained where there is a clear vertical edge such as the left and right ends of the object, but erroneous distance measurement may occur between the left and right vertical edges. Therefore, by using the second smallest data, it is possible to obtain accurate distance data even if there is an erroneous distance measurement in either one of the left and right data of the object. There is.
【００６８】また、ｍｉｎAlso, min
〔０〕，ｍａｘ[0], max
〔０〕の間で
測距データが１つしか得られない場合は、このデータを
ノイズと見なして無視する。以上の処理を物体の数（ｎ
−１）分繰り返す。つまり、次にはｍｉｎ〔１〕，ｍａ
ｘ〔１〕の間で、２番目に小さい距離データを見つけ
て、以下、上述と同様の処理が繰り返されるのである。When only one distance measurement data is obtained during [0], this data is regarded as noise and ignored. The above processing is performed by the number of objects (n
-1) Repeat for minutes. That is, next, min [1], ma
The second smallest distance data is found in x [1], and the same processing as described above is repeated thereafter.
【００６９】このような物体距離の算出処理をフローチ
ャートに示すと、図１２のようになる。まず、ステップ
ＳＦ１でｃｎｔ１＝０と設定される。次にステップＳＦ
２に進んでｃｎｔ１＞ｎかどうかが判定される。ここで
は、ステップＳＦ１でｃｎｔ１＝０と設定された直後で
あるので、ＮｏルートによりステップＳＦ３に進む。FIG. 12 is a flow chart showing the calculation processing of such an object distance. First, in step SF1, cnt1 = 0 is set. Next step SF
The routine proceeds to 2 and it is determined whether or not cnt1> n. Here, since it is immediately after setting cnt1 = 0 in step SF1, the process proceeds to step SF3 by No route.
【００７０】そして、ステップＳＦ３では、ｍｉｎ
〔ｎ〕〜ｍａｘ〔ｎ〕のウインドゥ列内に測距データが
２個以上あるかどうかが判断される。もし、測距データ
が２個未満であれば、Ｎｏルートを通ってステップＳＦ
１５に進み、ここでｃｎｔ１＝ｃｎｔ１＋１と設定され
てステップＳＦ２に戻る。また、測距データが２個以上
あれば、ステップＳＦ４に進み、ｍｉｎ〔ｎ〕〜ｍａｘ
〔ｎ〕のウインドゥ列の中で、２番目に小さい測距デー
タをｏｂｓｔ：ｄａｔａ〔ｎ〕と設定し、ステップＳＦ
５に進む。Then, in step SF3, min
It is determined whether or not there are two or more distance measurement data in the window sequence of [n] to max [n]. If there are less than two pieces of distance measurement data, go through the No route to step SF
The process proceeds to step 15, where cnt1 = cnt1 + 1 is set, and the process returns to step SF2. If there are two or more pieces of distance measurement data, the process proceeds to step SF4 and min [n] -max
In the window sequence of [n], the second smallest distance measurement data is set as obst: data [n], and step SF
Go to 5.
【００７１】そして、ステップＳＦ５においてｃｎｔ２
＝ｍｉｎ〔ｎ〕と設定される。つま、り物体存在可能性
の左端のウインドゥ列番号がｃｎｔ２と設定されるので
ある。次にステップＳＦ６に進んで、下式（６）及び
（７）により、ｏｂｓｔ：ｄａｔａ〔ｎ〕の値がｃ：ｄ
ａｔａ〔ｃｎｔ２〕に近いデータかどうかが判定され
る。 ｏｂｓｔ：ｄａｔａ〔ｎ〕＜ｋ3 ×ｃ：ｄａｔａ〔ｃｎｔ２〕 ・・（７） ａｎｄ ｏｂｓｔ：ｄａｔａ〔ｎ〕＞ｋ4 ×ｃ：ｄａｔａ〔ｃｎｔ２〕 ・・（８） （ただし、ｋ4 ＜ｋ3 ） ここで、ｋ3 ，ｋ4 は、距離データのばらつき度合いに
より設定される固定値である。Then, in step SF5, cnt2
= Min [n] is set. In other words, the window sequence number at the left end of the possibility of existence of a bite object is set to cnt2. Next, in step SF6, the value of obst: data [n] is changed to c: d by the following equations (6) and (7).
It is determined whether the data is close to ata [cnt2]. obst: data [n] <k 3 × c: data [cnt2] ··· (7) and obst: data [n]> k 4 × c: data [cnt2] ·· (8) (however, k 4 <k 3 ) Here, k 3 and k 4 are fixed values set by the degree of dispersion of the distance data.
【００７２】つまり、ｍｉｎ〔ｎ〕〜ｍａｘ〔ｎ〕のウ
インドゥ列の中で２番目に小さい測距データが、物体存
在可能性の左端測距データに近いかどうかが判定される
のである。ここで、この２番目に小さい測距データが左
端測距データに近い値でないと判断されると、ステップ
ＳＦ７に進んでｃｎｔ２＝ｃｎｔ２＋１と設定され、再
びステップＳＦ６に進む。そして、ステップＳＦ６の式
（６），（７）が成り立つまで、ステップＳＦ６，ステ
ップＳＦ７のルーチンを繰り返す。この間ステップＳＦ
７でｃｎｔ２の値が１ずつ増加していくので、この処理
は、２番目に小さい測距データとの比較を、図３に示す
ウインドゥ列の左側から順次行なっているのである。That is, it is determined whether or not the second smallest distance measurement data in the window sequence of min [n] to max [n] is close to the left edge distance measurement data of the possibility of existence of an object. If it is determined that the second smallest distance measurement data is not close to the left end distance measurement data, the process proceeds to step SF7, cnt2 = cnt2 + 1 is set, and the process proceeds to step SF6 again. Then, the routines of step SF6 and step SF7 are repeated until the expressions (6) and (7) of step SF6 are satisfied. During this period step SF
Since the value of cnt2 is incremented by 1 at 7, this process sequentially compares the distance measurement data with the second smallest one from the left side of the window sequence shown in FIG.
【００７３】ステップＳＦ６で式（６），（７）が成り
立つと、次にステップＳＦ８に進んで、ｍｉｎ：ｗｉｎ
〔ｎ〕＝ｃｎｔ２と設定される。そして、ステップＳＦ
９で新たにｍａｘ〔ｎ〕をｃｎｔ２と設定し、ステップ
ＳＦ１０で、ｏｂｓｔ：ｄａｔａ〔ｎ〕の値がｃ：ｄａ
ｔａ〔ｃｎｔ２〕に近いデータかどうかが判定される。When equations (6) and (7) are established in step SF6, the process proceeds to step SF8, where min: win
[N] = cnt2 is set. And step SF
In step 9, max [n] is newly set to cnt2, and in step SF10, the value of obst: data [n] is c: da.
It is determined whether the data is close to ta [cnt2].
【００７４】つまり、ここでは、２番目に小さい測距デ
ータが、物体存在可能性の右端測距データに近い値かど
うかが判定されるのである。ここで、この２番目に小さ
い測距データが右端測距データに近い値でないと判断さ
れると、ステップＳＦ１１に進んでｃｎｔ２＝ｃｎｔ２
−１と設定され、再びステップＳＦ１０に戻る。そし
て、ステップＳＦ１０の条件式〔ステップＳＦ６内の式
（６），（７）と同じ〕が成り立つまで、ステップＳＦ
１０，ステップＳＦ１１のルーチンを繰り返す。That is, here, it is determined whether or not the second smallest distance measurement data is a value close to the right edge distance measurement data of the possibility of object existence. If it is determined that the second smallest distance measurement data is not close to the right edge distance measurement data, the process proceeds to step SF11 and cnt2 = cnt2.
-1 is set, and the process returns to step SF10 again. Then, until the conditional expression of step SF10 [same as expressions (6) and (7) in step SF6] is satisfied, step SF
10. The routine of step SF11 is repeated.
【００７５】このルーチンを繰り返す間に、ステップＳ
Ｆ１１においてｃｎｔ２の値が１ずつ減算されていくの
で、この処理は、２番目に小さい測距データとの比較
を、図３に示すウインドゥ列の右側から順次行なってい
ることになる。そして、ステップＳＦ１０の条件が成り
立つと、ステップＳＦ１２に進み、このステップＳＦ１
２において、このときのｃｎｔ２をｍａｘ：ｗｉｎ
〔ｎ〕と置く。While repeating this routine, step S
Since the value of cnt2 is decremented by 1 in F11, this processing means that the comparison with the second smallest distance measurement data is sequentially performed from the right side of the window sequence shown in FIG. When the condition of step SF10 is satisfied, the process proceeds to step SF12, and this step SF1
2, cnt2 at this time is max: win
Put [n].
【００７６】次にステップＳＦ１３に進んで、ステップ
ＳＦ８で設定されたｍｉｎ：ｗｉｎ〔ｎ〕と上記ｍａ
ｘ：ｗｉｎ〔ｎ〕とが等しいかどうかが判定される。ｍ
ｉｎ：ｗｉｎ〔ｎ〕＝ｍａｘ：ｗｉｎ〔ｎ〕の時は、Ｙ
ｅｓルートを通ってステップＳＦ１４に進む。そして、
ステップＳＦ１４で、ｍｉｎ：ｗｉｎ〔ｎ〕とｍａｘ：
ｗｉｎ〔ｎ〕との測距データを０に設定して、このデー
タを削除した後、ステップＳＦ１５に進む。これは、ｍ
ｉｎ：ｗｉｎ〔ｎ〕＝ｍａｘ：ｗｉｎ〔ｎ〕が成り立つ
時は、左側から検索した縦エッジと右側から検索した縦
エッジとの測距データが等しい場合であり、このような
棒状の距離データをノイズとして消去しているのであ
る。Next, in step SF13, the min: win [n] set in step SF8 and the above ma are set.
It is determined whether x: win [n] is equal. m
When in: win [n] = max: win [n], Y
Go to step SF14 through the es route. And
In step SF14, min: win [n] and max:
After setting the distance measurement data with win [n] to 0 and deleting this data, the process proceeds to step SF15. This is m
When in: win [n] = max: win [n] is satisfied, it means that the vertical edge searched from the left side and the vertical edge searched from the right side have the same distance measurement data. It is erased as noise.
【００７７】また、ステップＳＦ１３でｍｉｎ：ｗｉｎ
〔ｎ〕≠ｍａｘ：ｗｉｎ〔ｎ〕の時は、ステップＳＦ１
５に進む。そして、このステップＳＦ１５で、ｃｎｔ１
が１つ加算されて、ステップＳＦ２に戻る。以降、ステ
ップＳＦ２でｃｎｔ１＞ｎとなるまでは、ステップＳＦ
２からステップＳＦ１５のルーチンを繰り返す。In step SF13, min: win
When [n] ≠ max: win [n], step SF1
Go to 5. Then, in this step SF15, cnt1
Is incremented by one and the process returns to step SF2. Thereafter, step SF2 is performed until cnt1> n in step SF2.
The routine from step 2 to step SF15 is repeated.
【００７８】そして、ステップＳＦ２でｃｎｔ１＞ｎの
とき、Ｙｅｓルートを通って物体の距離算出処理が終了
する。なお、本装置では物体が重なり合っている場合に
は、近い距離の物体のみが認識される。但し、距離デー
タは得られているので、物体が存在していることは判断
できるのである。When cnt1> n in step SF2, the distance calculation process of the object is completed through the Yes route. It should be noted that in the present apparatus, when objects overlap each other, only objects at a short distance are recognized. However, since the distance data is obtained, it can be determined that the object exists.
【００７９】本発明の一実施例としての車両用路上物体
認識装置は、上述のように構成されているので、車両１
に設置された横置きステレオカメラ２により走行路面上
が撮影されると、この横置きステレオカメラ２からの画
像情報は、物体認識手段５の前方測距コントローラ３に
取り込まれるようになっている。そして、この前方測距
コントローラ３でステレオカメラ２により撮像された画
面がエリアＩ〜III に分割されるとともに、さらに各エ
リアＩ〜III 内が細かなウインドゥに分割される。Since the on-vehicle object recognition device for a vehicle as one embodiment of the present invention is constructed as described above, the vehicle 1
When the laterally mounted stereo camera 2 photographs the traveling road surface, the image information from the laterally mounted stereo camera 2 is taken into the front distance measurement controller 3 of the object recognition means 5. Then, the screen imaged by the stereo camera 2 by the front distance measuring controller 3 is divided into areas I to III, and the areas I to III are further divided into fine windows.
【００８０】そして、エッジ認識手段１０で、ステレオ
カメラ２からの画像情報に基づいて、各ウインドゥ列毎
に、縦エッジ部分を認識して、この縦エッジ部分までの
距離が測定され、これらの情報がデュアルポートＲＡＭ
４を介してコンピュータ６に入力される。そして、この
コンピュータ６のレンジ対応物体データ除外手段８によ
り、ステレオカメラ２で撮像された被写体を物体又は物
体候補として認識するか、この被写体を物体でないもの
として物体データから除外する処理が行なわれる。Then, the edge recognition means 10 recognizes the vertical edge portion for each window row based on the image information from the stereo camera 2 and measures the distance to this vertical edge portion. Has dual port RAM
It is input to the computer 6 via 4. Then, the range corresponding object data excluding means 8 of the computer 6 recognizes the subject imaged by the stereo camera 2 as an object or an object candidate, or excludes the subject from the object data as a non-object.
【００８１】この後、物体推定手段１１において、前述
のエッジ認識手段１０の認識情報に基づいて、画像情報
の各ウインドゥ列単位で、縦エッジ部分が存在する際に
はその距離を追跡して、予め設定された左右の離隔範囲
内のウインドゥ列間に、縦エッジが一対存在し、且つこ
の対をなす各縦エッジ部分までの距離がほぼ等しい場合
に、この対をなす各縦エッジ部分で規定される領域に、
この縦エッジ部分までの距離だけ離れて物体が存在して
いると推定する。After that, in the object estimating means 11, the distances of the vertical edge portions, if any, are tracked for each window row unit of the image information based on the recognition information of the above-mentioned edge recognizing means 10, If there is a pair of vertical edges between the window rows within the preset left and right separation range, and if the distance to each vertical edge portion of this pair is approximately equal, then the vertical edge portion of this pair defines In the area
It is estimated that an object exists at a distance to the vertical edge portion.
【００８２】したがって、路面上の文字や白線等を画像
データから除去することができ、物体の距離や位置を認
識することができる。また、縦エッジが、設定された画
像範囲内に１つしか表れない場合に、この縦エッジがノ
イズとして消去されるので、より正確な物体認識を行な
うことができるのである。Therefore, it is possible to remove the characters and white lines on the road surface from the image data, and to recognize the distance and position of the object. Further, when only one vertical edge appears in the set image range, this vertical edge is erased as noise, so that more accurate object recognition can be performed.
【００８３】また、前方測距コントローラ３によりステ
レオカメラ２により撮像された画面をエリアＩ〜III に
分割し、各エリアＩ〜III 毎に処理を行なうことで物体
認識を迅速に行なうことができる。さらに、各エリアＩ
〜III をほぼ同等の大きさに分割することにより、ほぼ
同様な小型の処理系を３つ用いて処理を行なうことがで
きる。Further, by dividing the screen imaged by the stereo camera 2 by the front distance measuring controller 3 into areas I to III and performing the processing for each of the areas I to III, it is possible to quickly recognize the object. Furthermore, each area I
By dividing ~ III into substantially equal sizes, it is possible to perform processing by using three similar processing systems of small size.
【００８４】[0084]
【発明の効果】以上詳述したように、請求項１記載の本
発明の車両用路上物体認識装置によれば、車両の走行路
面上を撮影する横置きステレオカメラと、該横置きステ
レオカメラにより得られる画像情報に基づいて、該走行
路面上の物体を認識する物体認識手段とをそなえ、該物
体認識手段が、該横置きステレオカメラにより得られる
撮影画面を上下方向に複数の行レンジに分割し左右方向
に複数の列に分割することで多数のウインドゥに区画し
た上で、該横置きステレオカメラの左右２つのカメラの
各画像情報から、上記の各ウインドゥ毎に、被写体まで
の距離を測定する距離測定手段と、上記の各行レンジ毎
に決まるレンジ対応基準距離と該距離測定手段で検出さ
れた被写体までの距離とを比較して、該被写体までの距
離が該レンジ対応基準距離以内であればこの被写体を物
体又は物体候補として認識し、該被写体までの距離が該
レンジ対応基準距離よりも大きければこの被写体につい
ては物体でないものとして物体データから除外する、レ
ンジ対応物体データ除外手段とをそなえているという構
成により、路面上の文字や白線等を画像データから除去
することができ、物体の距離や位置を正しく認識するこ
とができる。As described in detail above, according to the on-vehicle object recognition device for a vehicle of the first aspect of the present invention, the horizontal stereo camera for photographing the traveling road surface of the vehicle and the horizontal stereo camera are used. An object recognition means for recognizing an object on the traveling road surface based on the obtained image information, and the object recognition means divides a photographing screen obtained by the horizontal stereo camera into a plurality of line ranges in the vertical direction. After dividing into multiple windows by dividing into multiple rows in the left-right direction, measure the distance to the subject for each of the above windows from the image information of the left and right two cameras of the horizontal stereo camera Distance measuring means and the range-corresponding reference distance determined for each row range and the distance to the subject detected by the distance measuring means are compared, and the distance to the subject corresponds to the range. If the object is within the quasi-distance, the object is recognized as an object or an object candidate, and if the distance to the object is larger than the reference distance corresponding to the range, the object is excluded from the object data as being not an object. With the configuration including the excluding means, it is possible to remove characters and white lines on the road surface from the image data, and correctly recognize the distance and position of the object.
【００８５】また、請求項２記載の本発明の車両用路上
物体認識装置によれば、上記請求項１記載の構成に加え
て、該距離測定手段が、該横置きステレオカメラの左右
の画像情報から得られる同一被写体の左右方向へのずれ
量に基づいて、被写体までの距離を測定するという構成
により、被写体までの距離を簡単に測定することができ
る。According to the on-vehicle object recognizing device for a vehicle of the second aspect, in addition to the configuration of the first aspect, the distance measuring means has left and right image information of the horizontal stereo camera. The distance to the subject can be easily measured by the configuration in which the distance to the subject is measured based on the shift amount of the same subject in the left-right direction obtained from the above.
【００８６】また、請求項３記載の本発明の車両用路上
物体認識装置によれば、上記請求項２記載の構成に加え
て、該距離測定手段が、該被写体までの距離Ｒを、該左
右の２つのカメラのレンズの焦点距離ｆと、該左右２つ
のカメラの光軸間の距離Ｌと、画像の画素ピッチＰと、
左右の画像が整合するまでに左右どちらか一方の画像を
シフトした画素数ｎと、に基づいて、Ｒ＝（ｆ・Ｌ）／
（ｎ・Ｐ）の式により算出するという構成により、被写
体までの距離を簡単、且つ正確に測定することができ
る。Further, according to the on-vehicle object recognizing device for a vehicle of the third aspect, in addition to the configuration of the second aspect, the distance measuring means determines the distance R to the subject from the left and right sides. The focal lengths f of the lenses of the two cameras, the distance L between the optical axes of the two left and right cameras, and the pixel pitch P of the image,
Based on the number of pixels n obtained by shifting one of the left and right images until the left and right images match, R = (f · L) /
With the configuration of (n · P), the distance to the subject can be measured easily and accurately.
【００８７】また、請求項４記載の本発明の車両用路上
物体認識装置によれば、上記請求項１記載の構成に加え
て、該物体認識手段の処理対称とする画像領域が、該車
両から遠い部分では左右の端部領域を除去されて左右方
向の中央部の領域のみに限定されるという構成により、
物体認識が必要ではない部分では、画像処理が行なわれ
ず、画像処理の情報量を必要最小限にすることができ
る。これにより、必要な部分での画像処理を素早く行な
うことができる。According to the on-vehicle object recognizing device for a vehicle of the present invention, the image area to be processed symmetrically by the object recognizing means can be seen from the vehicle in addition to the structure of the first aspect. With the configuration that the left and right end regions are removed in the distant part and it is limited to only the central region in the left and right direction,
The image processing is not performed in the portion where the object recognition is not necessary, and the information amount of the image processing can be minimized. As a result, it is possible to quickly perform image processing in a necessary part.
【００８８】また、請求項５記載の本発明の車両用路上
物体認識装置によれば、上記請求項４記載の構成に加え
て、該物体認識手段が、処理対象とする画像領域を、該
車両から遠い部分で左右の端部領域を除去された左右方
向の中央部分に相当する第１の画像領域と、該車両から
近い部分の左半部分に相当する第２の画像領域と、該車
両から近い部分の右半部分に相当する第３の画像領域
と、に区分して、画像処理を行なうという構成により、
全体の画像処理領域を略同じ大きさの３つの領域に区分
でき、それぞれの画像領域毎に画像処理を行なうことに
より、全体が広い画像領域であっても画像処理を素早く
行なうことができる。According to the on-vehicle object recognition device for a vehicle of the fifth aspect of the present invention, in addition to the configuration of the fourth aspect, the object recognition means defines the image area to be processed by the vehicle. From the vehicle, a first image area corresponding to the central portion in the left-right direction in which the left and right end areas are removed at a portion far from the vehicle, a second image area corresponding to the left half portion near the vehicle, and the vehicle. With the configuration in which the image processing is performed by dividing into a third image area corresponding to the right half portion of the near portion,
The entire image processing area can be divided into three areas having substantially the same size, and by performing image processing for each image area, it is possible to quickly perform image processing even if the entire image processing area is large.
【００８９】また、請求項６記載の本発明の車両用路上
物体認識装置によれば、上記請求項１記載の構成に加え
て、該レンジ対応基準距離が、各レンジの最下部に映し
出されるべき該走行路の部分までの距離であるという構
成により、路面上の白線，文字等を物体として誤認識す
ることがなくなり、より正確な物体認識を行なうことが
できる。According to the on-vehicle object recognizing device for a vehicle of the sixth aspect of the invention, in addition to the configuration of the first aspect, the reference distance corresponding to the range should be displayed at the bottom of each range. With the configuration of the distance to the portion of the traveling road, white lines, characters, etc. on the road surface are not erroneously recognized as objects, and more accurate object recognition can be performed.
【図１】本発明の一実施例としての車両用路上物体認識
装置における全体構成を示す模式的なブロック図であ
る。FIG. 1 is a schematic block diagram showing an overall configuration of a vehicle road object recognition device as an embodiment of the present invention.
【図２】本発明の一実施例としての車両用路上物体認識
装置における画像情報処理の概要を説明するためのアル
ゴリズムである。FIG. 2 is an algorithm for explaining an outline of image information processing in the on-road object recognizing device for a vehicle as one embodiment of the present invention.
【図３】本発明の一実施例としての車両用路上物体認識
装置における処理画像を示す模式図である。FIG. 3 is a schematic diagram showing a processed image in the on-vehicle object recognizing device for a vehicle as an embodiment of the present invention.
【図４】本発明の一実施例としての車両用路上物体認識
装置における作用を説明するためのフローチャートであ
って不正確データを削除するための処理について説明す
るためのフローチャートである。FIG. 4 is a flowchart for explaining the operation of the on-road object recognizing device for a vehicle as one embodiment of the present invention, which is a flowchart for explaining a process for deleting inaccurate data.
【図５】本発明の一実施例としての車両用路上物体認識
装置における作用を説明するためのフローチャートであ
ってレンジカット処理について説明するためのフローチ
ャートである。FIG. 5 is a flowchart for explaining the operation in the on-road object recognizing device for a vehicle as one embodiment of the present invention, which is a flowchart for explaining range cut processing.
【図６】本発明の一実施例としての車両用路上物体認識
装置におけるレンジカット処理について説明するための
模式図である。FIG. 6 is a schematic diagram for explaining range cut processing in a vehicle road object recognition device as one embodiment of the present invention.
【図７】本発明の一実施例としての車両用路上物体認識
装置における作用を説明するためのフローチャートであ
ってウインドゥ間の縦方向処理について説明するための
フローチャートである。FIG. 7 is a flowchart for explaining the operation of the on-vehicle object recognizing device for a vehicle as one embodiment of the present invention, which is a flowchart for explaining a vertical direction process between windows.
【図８】本発明の一実施例としての車両用路上物体認識
装置における作用を説明するためのフローチャートであ
ってウインドゥ間の横方向処理について説明するための
フローチャートである。FIG. 8 is a flowchart for explaining the operation of the on-vehicle object recognizing device for a vehicle as one embodiment of the present invention, which is a flowchart for explaining lateral processing between windows.
【図９】本発明の一実施例としての車両用路上物体認識
装置におけるウインドゥ間の横方向処理についての処理
画像の一例を示す模式図である。FIG. 9 is a schematic diagram showing an example of a processed image for lateral processing between windows in the vehicle road object recognition device as one embodiment of the present invention.
【図１０】本発明の一実施例としての車両用路上物体認
識装置におけるウインドゥ間の横方向処理についての処
理画像の一例を示す模式図である。FIG. 10 is a schematic diagram showing an example of a processed image for lateral processing between windows in the vehicle road object recognition device as one embodiment of the present invention.
【図１１】本発明の一実施例としての車両用路上物体認
識装置におけるウインドゥ間の横方向処理についての処
理画像の一例を示す模式図である。FIG. 11 is a schematic diagram showing an example of a processed image of lateral processing between windows in the vehicle road object recognition device as one embodiment of the present invention.
【図１２】本発明の一実施例としての車両用路上物体認
識装置における作用を説明するためのフローチャートで
あって物体までの距離の算出処理について説明するため
のフローチャートである。FIG. 12 is a flowchart for explaining the operation of the on-road object recognizing device for a vehicle as an embodiment of the present invention, and is a flowchart for explaining a process of calculating a distance to an object.
【図１３】本発明の一実施例としての車両用路上物体認
識装置における横置きステレオカメラ（ＣＣＤカメラ）
の外観を示す模式図である。FIG. 13 is a horizontal stereo camera (CCD camera) in a vehicle on-road object recognition apparatus according to an embodiment of the present invention.
It is a schematic diagram which shows the external appearance.
【図１４】本発明の一実施例としての車両用路上物体認
識装置における横置きステレオカメラ（ＣＣＤカメラ）
により撮像された画像を示す模式図であって（ａ）はそ
の横置きステレオカメラの左側のカメラで撮像された車
両を示す図（ｂ）はその横置きステレオカメラの右側の
カメラで撮像された車両を示す図である。FIG. 14 is a horizontal stereo camera (CCD camera) in a vehicle on-road object recognition apparatus according to an embodiment of the present invention.
FIG. 6A is a schematic diagram showing an image taken by the camera, and FIG. 8A is a diagram showing a vehicle taken by a camera on the left side of the horizontal stereo camera, and FIG. 8B is an image taken by a camera on the right side of the horizontal stereo camera. It is a figure which shows a vehicle.
【図１５】本発明の一実施例としての車両用路上物体認
識装置における横置きステレオカメラ（ＣＣＤカメラ）
の左右の画像から物体までの距離の算出を説明するため
の図である。FIG. 15 is a horizontal stereo camera (CCD camera) in the on-road object recognition device for a vehicle according to an embodiment of the present invention.
It is a figure for demonstrating calculation of the distance to the object from the image on either side of.
１ 車両 ２ 横置きステレオカメラ（ＣＣＤカメラ） ２Ｌ 左側カメラ ２Ｒ 右側カメラ ３ 前方測距コントローラ ４ デュアルポートＲＡＭ ５ 物体認識手段 ６ コンピュータ ７ 距離測定手段 ８ レンジ対応物体データ除外手段 ９ 物体（障害物） １０ エッジ認識手段 １１ 物体推定手段 1 Vehicle 2 Horizontal Stereo Camera (CCD Camera) 2L Left Camera 2R Right Camera 3 Forward Distance Controller 4 Dual Port RAM 5 Object Recognition Means 6 Computer 7 Distance Measuring Means 8 Range Compatible Object Data Excluding Means 9 Objects (Obstacles) 10 Edge recognition means 11 Object estimation means
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 7/18 Ｄ // Ｇ０５Ｄ 1/02 Ｋ (72)発明者 早舩 一弥 東京都港区芝五丁目33番８号 三菱自動車 工業株式会社内 (72)発明者 山田 喜一 東京都港区芝五丁目33番８号 三菱自動車 工業株式会社内─────────────────────────────────────────────────── ─── Continuation of front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical display location H04N 7/18 D // G05D 1/02 K (72) Inventor Kazuya Hayafune Shibago, Minato-ku, Tokyo 33-8, Mitsubishi Motors Co., Ltd. (72) Inventor, Kiichi Yamada 5-33-8, Shiba, Minato-ku, Tokyo Inside Mitsubishi Motors Co., Ltd.
Claims (6)
レオカメラと、 該横置きステレオカメラにより得られる画像情報に基づ
いて、該走行路面上の物体を認識する物体認識手段とを
そなえ、 該物体認識手段が、 該横置きステレオカメラにより得られる撮影画面を上下
方向に複数の行レンジに分割し左右方向に複数の列に分
割することで多数のウインドゥに区画した上で、該横置
きステレオカメラの左右２つのカメラの各画像情報か
ら、上記の各ウインドゥ毎に、被写体までの距離を測定
する距離測定手段と、 上記の各行レンジ毎に決まるレンジ対応基準距離と該距
離測定手段で検出された被写体までの距離とを比較し
て、該被写体までの距離が該レンジ対応基準距離以内で
あればこの被写体を物体又は物体候補として認識し、該
被写体までの距離が該レンジ対応基準距離よりも大きけ
ればこの被写体については物体でないものとして物体デ
ータから除外する、レンジ対応物体データ除外手段とを
そなえていることを特徴とする、車両用路上物体認識装
置。1. A horizontal stereo camera for photographing the traveling road surface of a vehicle, and an object recognizing means for recognizing an object on the traveling road surface based on image information obtained by the lateral stereo camera. The object recognition means divides the photographic screen obtained by the horizontal stereo camera into a plurality of row ranges in the vertical direction and a plurality of columns in the horizontal direction to divide the screen into a large number of windows, and then the horizontal stereo system. From each image information of the two cameras on the left and right of the camera, the distance measuring means for measuring the distance to the subject for each of the above windows, the reference distance corresponding to the range determined for each row range, and the distance measuring means are detected. If the distance to the subject is within the range-corresponding reference distance, the subject is recognized as an object or an object candidate, and the object is detected. If the distance is greater than the range corresponding reference distance for the object to exclude from the object data as not object, range characterized in that it includes a corresponding object data eliminating means, vehicle road object recognition device.
メラの左右の画像情報から得られる同一被写体の左右方
向へのずれ量に基づいて、被写体までの距離を測定する
ことを特徴とする、請求項１記載の車両用路上物体認識
装置。2. The distance measuring means measures the distance to the subject based on a shift amount in the left-right direction of the same subject obtained from left and right image information of the horizontal stereo camera. The vehicle on-road object recognition device according to claim 1.
Ｒを、該左右の２つのカメラのレンズの焦点距離ｆと、
該左右２つのカメラの光軸間の距離Ｌと、画像の画素ピ
ッチＰと、左右の画像が整合するまでに左右どちらか一
方の画像をシフトした画素数ｎと、に基づいて、Ｒ＝
（ｆ・Ｌ）／（ｎ・Ｐ）の式により算出することを特徴
とする、請求項２記載の車両用路上物体認識装置。3. The distance measuring means sets the distance R to the subject to the focal lengths f of the lenses of the left and right two cameras,
Based on the distance L between the optical axes of the two left and right cameras, the pixel pitch P of the images, and the number of pixels n in which one of the left and right images is shifted until the left and right images match, R =
The on-vehicle object recognizing device for a vehicle according to claim 2, which is calculated by the formula (fL) / (nP).
域が、該車両から遠い部分では左右の端部領域を除去さ
れて左右方向の中央部の領域のみに限定されていること
を特徴とする、請求項１記載の車両用路上物体認識装
置。4. The image region which is the processing symmetry of the object recognizing means is limited to only the central region in the left-right direction by removing the left and right end regions in the portion far from the vehicle. The roadside object recognition device for a vehicle according to claim 1.
領域を、該車両から遠い部分で左右の端部領域を除去さ
れた左右方向の中央部分に相当する第１の画像領域と、
該車両から近い部分の左半部分に相当する第２の画像領
域と、該車両から近い部分の右半部分に相当する第３の
画像領域と、に区分して、画像処理を行なうことを特徴
とする、請求項４記載の車両用路上物体認識装置。5. A first image area corresponding to a central portion in the left-right direction in which the object recognition means processes an image area to be processed, the left and right end areas being removed from a portion far from the vehicle,
Image processing is performed by dividing into a second image area corresponding to a left half portion of a portion near the vehicle and a third image area corresponding to a right half portion of a portion near the vehicle. The roadside object recognition device for a vehicle according to claim 4.
下部に映し出されるべき該走行路の部分までの距離であ
ることを特徴とする、請求項１記載の車両用路上物体認
識装置。6. The on-vehicle object recognizing apparatus for a vehicle according to claim 1, wherein the range-corresponding reference distance is a distance to a portion of the traveling road to be displayed at the bottom of each range.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6017698A JPH07225126A (en) | 1994-02-14 | 1994-02-14 | On-road object recognizing device for vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6017698A JPH07225126A (en) | 1994-02-14 | 1994-02-14 | On-road object recognizing device for vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07225126A true JPH07225126A (en) | 1995-08-22 |
Family
ID=11951023
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6017698A Withdrawn JPH07225126A (en) | 1994-02-14 | 1994-02-14 | On-road object recognizing device for vehicle |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07225126A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07294251A (en) * | 1994-04-22 | 1995-11-10 | Nippon Soken Inc | Obstacle detector |
| JPH10206118A (en) * | 1997-01-23 | 1998-08-07 | Naldec Kk | Object recognizing device |
| WO2003015411A1 (en) * | 2001-08-06 | 2003-02-20 | Sumitomo Osaka Cement Co.,Ltd. | Monitoring system using stereoscopic image and monitoring method |
| US6658137B1 (en) | 1999-04-19 | 2003-12-02 | Honda Giken Kogyo Kabushiki Kaisha | Road sensor system |
| US6775395B2 (en) | 2000-03-27 | 2004-08-10 | Honda Giken Kogyo Kabushiki Kaisha | Object recognition system |
| US6963657B1 (en) | 1999-09-24 | 2005-11-08 | Honda Giken Kogyo Kabushiki Kaisha | Object recognition system |
| US7277559B2 (en) * | 2002-11-19 | 2007-10-02 | Honda Motor Co., Ltd. | Mobile apparatus |
| WO2007129382A1 (en) * | 2006-04-28 | 2007-11-15 | Panasonic Corporation | Navigation device and method |
| WO2016063545A1 (en) * | 2014-10-24 | 2016-04-28 | 京セラ株式会社 | Stereo camera apparatus and vehicle provided with stereo camera apparatus |
| US10180318B2 (en) | 2014-05-28 | 2019-01-15 | Kyocera Corporation | Stereo camera apparatus, vehicle provided with stereo camera apparatus, and non-transitory recording medium |
| US10354148B2 (en) | 2014-05-28 | 2019-07-16 | Kyocera Corporation | Object detection apparatus, vehicle provided with object detection apparatus, and non-transitory recording medium |
-
1994
- 1994-02-14 JP JP6017698A patent/JPH07225126A/en not_active Withdrawn
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07294251A (en) * | 1994-04-22 | 1995-11-10 | Nippon Soken Inc | Obstacle detector |
| JPH10206118A (en) * | 1997-01-23 | 1998-08-07 | Naldec Kk | Object recognizing device |
| US6658137B1 (en) | 1999-04-19 | 2003-12-02 | Honda Giken Kogyo Kabushiki Kaisha | Road sensor system |
| US6963657B1 (en) | 1999-09-24 | 2005-11-08 | Honda Giken Kogyo Kabushiki Kaisha | Object recognition system |
| US6775395B2 (en) | 2000-03-27 | 2004-08-10 | Honda Giken Kogyo Kabushiki Kaisha | Object recognition system |
| WO2003015411A1 (en) * | 2001-08-06 | 2003-02-20 | Sumitomo Osaka Cement Co.,Ltd. | Monitoring system using stereoscopic image and monitoring method |
| US7277559B2 (en) * | 2002-11-19 | 2007-10-02 | Honda Motor Co., Ltd. | Mobile apparatus |
| WO2007129382A1 (en) * | 2006-04-28 | 2007-11-15 | Panasonic Corporation | Navigation device and method |
| US8103442B2 (en) | 2006-04-28 | 2012-01-24 | Panasonic Corporation | Navigation device and its method |
| US10180318B2 (en) | 2014-05-28 | 2019-01-15 | Kyocera Corporation | Stereo camera apparatus, vehicle provided with stereo camera apparatus, and non-transitory recording medium |
| US10354148B2 (en) | 2014-05-28 | 2019-07-16 | Kyocera Corporation | Object detection apparatus, vehicle provided with object detection apparatus, and non-transitory recording medium |
| WO2016063545A1 (en) * | 2014-10-24 | 2016-04-28 | 京セラ株式会社 | Stereo camera apparatus and vehicle provided with stereo camera apparatus |
| JPWO2016063545A1 (en) * | 2014-10-24 | 2017-06-29 | 京セラ株式会社 | Stereo camera device and vehicle equipped with stereo camera device |
| US10595003B2 (en) | 2014-10-24 | 2020-03-17 | Kyocera Corporation | Stereo camera apparatus and vehicle comprising the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3169483B2 (en) | Road environment recognition device | |
| US11670087B2 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
| US8406472B2 (en) | Method and system for processing image data | |
| JPH09319872A (en) | Road white line detector, curvature radium calculator, and navigation device | |
| JPH06107096A (en) | Forward monitoring method for vehicle | |
| JP2015207281A (en) | Solid detector, solid detection method, solid detection program, and mobile body equipment control system | |
| JP3562751B2 (en) | Forward vehicle detection method and device | |
| JP2002352225A (en) | Obstacle detector and its method | |
| JP2000357233A (en) | Body recognition device | |
| JP2003067752A (en) | Vehicle periphery monitoring device | |
| JP2008168811A (en) | Traffic lane recognition device, vehicle, traffic lane recognition method, and traffic lane recognition program | |
| JP4407920B2 (en) | Obstacle recognition method and obstacle recognition device | |
| JP2009053818A (en) | Image processor and method thereof | |
| JP2003123197A (en) | Recognition device for road mark or the like | |
| JP3961584B2 (en) | Lane marking detector | |
| JPH07225126A (en) | On-road object recognizing device for vehicle | |
| CN111046719A (en) | Apparatus and method for converting image | |
| JP2002334330A (en) | Vehicle recognition device | |
| JP6548312B2 (en) | Image processing device | |
| JP3326988B2 (en) | Road environment recognition device | |
| JPH0935198A (en) | Traveling road detector for vehicle | |
| JPH07225127A (en) | On-road object recognizing device for vehicle | |
| JPH07294251A (en) | Obstacle detector | |
| JP2007286724A (en) | Onboard information processing method, onboard information processing program, onboard information processor and onboard information processing system | |
| JP3856798B2 (en) | Navigation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20010508 |