JP2001330665A - On-vehicle object detector using radar and image processing - Google Patents
On-vehicle object detector using radar and image processingInfo
- Publication number
- JP2001330665A JP2001330665A JP2000152695A JP2000152695A JP2001330665A JP 2001330665 A JP2001330665 A JP 2001330665A JP 2000152695 A JP2000152695 A JP 2000152695A JP 2000152695 A JP2000152695 A JP 2000152695A JP 2001330665 A JP2001330665 A JP 2001330665A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- flag
- image recognition
- edge
- road surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、車両に搭載され、
レーダと画像処理を用いて車両の前方にある物体の検出
を行う車載用物体検出装置に関するものである。The present invention relates to a vehicle mounted on a vehicle,
The present invention relates to an in-vehicle object detection device that detects an object in front of a vehicle using radar and image processing.
【０００２】[0002]
【従来の技術】従来より、レーダと画像処理を用いた渋
滞走行支援システムを車両に搭載して、車両の前方にあ
る物体を検出することが行われている。画像処理では、
複眼カメラを用いて物体の測距を行う。まず、一方のカ
メラから取得した画像からエッジ抽出をし、その抽出し
たエッジに対応するエッジをもう一方のカメラから取得
した画像から検出し、両エッジの視差を算出することに
より測距を行う。画像処理は、広い幅で測距が可能であ
るが、遠距離の物体検出は精度が低くなるという特徴が
ある。2. Description of the Related Art Conventionally, a traffic jam support system using radar and image processing is mounted on a vehicle to detect an object in front of the vehicle. In image processing,
The distance of the object is measured using a compound-eye camera. First, an edge is extracted from an image acquired from one camera, an edge corresponding to the extracted edge is detected from an image acquired from the other camera, and distance measurement is performed by calculating a parallax of both edges. In image processing, distance measurement can be performed in a wide range, but detection of a long-distance object has a characteristic that accuracy is low.
【０００３】レーダは、電波を用いて前方の物体の測距
を行い、遠距離まで精度の高い測距ができるが、近距離
の物体の測距精度は低いという特徴がある。レーダは、
近距離で物体を検出したときは、近距離に何か物体があ
るということを示す近距離フラグを出力する。図１は、
車載用物体検出装置１における検知エリア区分を示す。[0003] The radar measures the distance of a forward object by using radio waves, and can measure the distance with high accuracy up to a long distance, but has the characteristic that the accuracy of distance measurement of an object at a short distance is low. Radar is
When an object is detected at a short distance, a short distance flag indicating that there is an object at a short distance is output. FIG.
2 shows a detection area division in the on-vehicle object detection device 1.
【０００４】画像処理により物体検出が可能なエリア２
は幅が広く、ミリ波レーダにより物体検出が可能なエリ
ア３は、遠距離まで達する。また、画像処理とミリ波レ
ーダの両方で物体検出が可能なエリアでは、レーダの出
力データと画像処理の出力データとの融合（フュージョ
ン）処理により物体の認識を行い、このエリアをフュー
ジョンエリア４という。Area 2 where an object can be detected by image processing
Is wide, and the area 3 where the object can be detected by the millimeter wave radar reaches a long distance. Further, in an area where object detection can be performed by both image processing and millimeter wave radar, object recognition is performed by fusion (fusion) processing of the output data of the radar and the output data of the image processing, and this area is called a fusion area 4. .
【０００５】[0005]
【発明が解決しようとする課題】画像処理による物体の
測距には以下の問題がある。 １．（誤認識）エッジ抽出処理は、単純に縦方向のエッ
ジを抽出する処理であるため、ターゲット以外の路面文
字や影等の立体物ではない物についても濃淡差によりエ
ッジを抽出する場合がある。この場合、物体が存在して
いないのにエッジを出力することとなる。There are the following problems in object distance measurement by image processing. 1. (Misrecognition) Since the edge extraction process is a process of simply extracting a vertical edge, edges other than a target, such as road surface characters and shadows, which are not three-dimensional objects, may be extracted based on differences in shading. In this case, an edge is output even though no object exists.
【０００６】２．（誤測距）エッジを見つけたときは、
２つのカメラから取得した画像についてパターンマッチ
ング処理により測距を行う。この処理では、偶然でも似
たパターンが存在すると対応を間違えることがある。 本発明は、レーダからの出力データと画像認識部からの
出力データとに基づいて、処理部にて物体の検出を行う
車載用物体検出装置において、画像認識における誤認
識、誤測距を防止することで、信頼性を向上させること
を目的とする。[0006] 2. (Incorrect distance measurement) When you find an edge,
Distance measurement is performed on the images acquired from the two cameras by pattern matching processing. In this processing, if a similar pattern exists by chance, the correspondence may be mistaken. The present invention prevents erroneous recognition and ranging in image recognition in an in-vehicle object detection device that detects an object in a processing unit based on output data from a radar and output data from an image recognition unit. Thus, the object is to improve reliability.
【０００７】[0007]
【課題を解決するための手段】本発明は、上記目的を達
成するためになされたものである。本発明は、レーダか
らの出力データと、画像認識部からの出力データとに基
づいて、処理部にて物体の検出を行う車載用物体検出装
置において、レーダの近距離フラグ、画像認識部の文字
フラグ、路面フラグを用いることにより、上記の画像認
識部の誤認識、誤測距を融合処理の前段階で防止する。SUMMARY OF THE INVENTION The present invention has been made to achieve the above object. The present invention relates to an in-vehicle object detection device that detects an object in a processing unit based on output data from a radar and output data from an image recognition unit. By using the flag and the road surface flag, the above-described erroneous recognition and erroneous distance measurement by the image recognition unit are prevented before the fusion processing.
【０００８】本発明においては、画像認識部が近距離で
物体を検知しても、レーダの近距離フラグの状態によっ
ては、画像認識部が検知したエッジデータを融合処理に
使用しない。また、画像認識部が路面上の文字などの濃
度差を検知した場合は、路面フラグ又は文字フラグを付
して、そのエッジデータを融合処理に使用しないように
する。In the present invention, even if the image recognition unit detects an object at a short distance, the edge data detected by the image recognition unit is not used for the fusion processing depending on the state of the short distance flag of the radar. When the image recognition unit detects a density difference of a character or the like on a road surface, a road surface flag or a character flag is added to prevent the edge data from being used in the fusion processing.
【０００９】[0009]
【発明の実施の形態】図２は、本発明を適用した車載用
物体検出装置の基本的なシステム構成を示す。車載用物
体検出装置１は、ミリ波レーダ１１と、左カメラ１２と
右カメラ１３と、画像処理用ＥＣＵ１４とから構成され
る。ＥＣＵ１４は、２つのカメラ１２，１３から入力さ
れる画像を処理してエッジデータを出力する画像認識部
１５と、ミリ波レーダ１１と画像認識部１５から入力さ
れるエッジデータを融合処理して物体の存在検知と測距
を行う処理部１６を含む。FIG. 2 shows a basic system configuration of an on-vehicle object detecting apparatus to which the present invention is applied. The on-vehicle object detection device 1 includes a millimeter wave radar 11, a left camera 12, a right camera 13, and an image processing ECU 14. The ECU 14 processes an image input from the two cameras 12 and 13 and outputs edge data. The ECU 14 integrates the edge data input from the millimeter wave radar 11 and the image recognition unit 15 to perform an object processing. And a processing unit 16 for detecting the presence of the object and measuring the distance.
【００１０】以上説明した構成は、従来の物体検出装置
と同様である。ただし、従来の物体検出装置では、画像
認識部１５から処理部１６へ結果を出力するだけの単方
向通信であったが、図２に示す物体検出装置では、処理
部１６と画像認識部１５とが双方向通信となる場合があ
る点が従来と異なる。ミリ波レーダ１１は、ミリ波の電
波を車両の前方に向けて放射し、物体により反射された
電波から物体の存在の検知と測距を行う。ミリ波レーダ
１１は、近距離での測距の精度は低く、近距離で物体を
検出した場合は、近距離フラグを出力する。近距離フラ
グは、ターゲットが至近距離（例えば５ｍ以下）に存在
する場合、時系列的に安定した状態で出力され、近距離
（例えば５〜１０ｍ程度）に存在する場合は不安定な状
態で間欠的に出力される。また、遠距離（例えば１０ｍ
以上）に存在する場合は出力されないという特性を持
つ。The configuration described above is the same as that of a conventional object detection device. However, in the conventional object detection device, one-way communication was performed only to output a result from the image recognition unit 15 to the processing unit 16. However, in the object detection device illustrated in FIG. Is different from the conventional one in that there is a case where two-way communication is performed. The millimeter wave radar 11 radiates a millimeter wave radio wave toward the front of the vehicle, and detects the presence of the object and measures the distance from the radio wave reflected by the object. The millimeter wave radar 11 has a low distance measurement accuracy at a short distance, and outputs a short distance flag when detecting an object at a short distance. The short distance flag is output in a time-series stable state when the target is at a close distance (for example, 5 m or less), and is in an unstable state when the target is at a short distance (for example, about 5 to 10 m). Is output. In addition, a long distance (for example, 10 m
Above) does not output.
【００１１】図３を用いて画像認識部１５の処理につい
て説明する。画像認識部１５では、まず、一方のカメラ
１２の入力画像（図３（Ａ））についてエッジ抽出を行
う。その結果、図３（Ｂ）に示すエッジが得られる。次
にそのエッジ抽出の結果から、縦に連続しているエッジ
を強い順にＮ個（例、１６個）抽出する（ピーク抽出、
図３（Ｃ））。The processing of the image recognition unit 15 will be described with reference to FIG. The image recognition unit 15 first performs edge extraction on the input image (FIG. 3A) of one camera 12. As a result, an edge shown in FIG. 3B is obtained. Next, from the result of the edge extraction, N (eg, 16) vertically consecutive edges are extracted in order of strength (peak extraction,
(FIG. 3 (C)).
【００１２】Ｎ個のエッジのそれぞれから、図３（Ｅ）
に示すように、Ｍ×Ｍ（例、９×９）の画素から構成さ
れるマッチングパターン１７を取り出し、もう一方のカ
メラ１３からの入力画像（図３（Ｄ））に対し、パター
ンマッチングを行い、対応するエッジを検出する。そし
て、両方のエッジの視差から、各エッジまでの距離を算
出し、その結果をエッジデータとして処理部１６に出力
する。From each of the N edges, FIG.
As shown in (1), a matching pattern 17 composed of M × M (eg, 9 × 9) pixels is extracted, and pattern matching is performed on an input image (FIG. 3D) from the other camera 13. , Detect the corresponding edge. Then, the distance to each edge is calculated from the parallax of both edges, and the result is output to the processing unit 16 as edge data.
【００１３】図３（Ｂ）にも示したように、画像認識部
１５では、ターゲット以外の白線等の路面上の立体物で
はない濃度差に対してもエッジを抽出し、距離を出力し
てしまうことがある。また、パターンマッチングに用い
るパターンは図３（Ｅ）に示したように、Ｍ×Ｍ画素の
大きさのパターン１７を用いるのであるが、偶然にマッ
チングエリアにそのパターンに似たパターンが存在する
と、対応を間違い、誤測距してしまうことがある。As shown in FIG. 3B, the image recognizing unit 15 also extracts edges for a density difference that is not a three-dimensional object on the road surface such as a white line other than the target, and outputs a distance. Sometimes. As shown in FIG. 3 (E), a pattern 17 having a size of M × M pixels is used as a pattern used for pattern matching. However, if a pattern similar to the pattern exists in the matching area by accident, There is a case where the correspondence is wrong and the distance is erroneously measured.
【００１４】そこで、本発明では、ミリ波レーダ１１が
出力する近距離フラグ、画像認識部１５が出力する文字
フラグ、路面フラグを用いることにより、フュージョン
エリアに関して上記の画像認識システムの誤認識、誤測
距を処理部１６による融合処理の前段階で防止する。 （実施例１）以下に、各実施例ごとに、具体的な処理に
ついて示す。なお、以下の各図においては、同一機能の
部分については同一の参照符号を付して、重複する説明
は省略する。Therefore, in the present invention, by using the short-range flag output by the millimeter-wave radar 11, the character flag output by the image recognition unit 15, and the road surface flag, the above-described image recognition system of the above-described image recognition system Distance measurement is prevented before the fusion process by the processing unit 16. (Embodiment 1) Specific processing will be described below for each embodiment. In the following drawings, parts having the same function are denoted by the same reference numerals, and redundant description will be omitted.
【００１５】図４は、本発明の第１の実施例の構成を示
す。なお、前述の図２を用いて説明済みの部分について
は説明を省略する。画像認識部１５からエッジデータが
出力されると、処理部１６では、前段階処理部１８で、
ミリ波レーダ１１から出力される近距離フラグにより、
エッジデータを選択処理する。そして、有効であると判
定したエッジデータを採用して融合処理部１９へ出力す
る。FIG. 4 shows the configuration of the first embodiment of the present invention. The description of the parts already described with reference to FIG. 2 will be omitted. When the edge data is output from the image recognition unit 15, the processing unit 16 performs
By the short distance flag output from the millimeter wave radar 11,
Selects edge data. Then, the edge data determined to be valid is adopted and output to the fusion processing unit 19.
【００１６】図５のフローチャートを用いて、上記処理
の詳細を説明する。画像認識部１５では、カメラ１２，
１３から画像を入力し（ステップＳ１）、一方の画像か
らエッジを抽出する（ステップＳ２）。抽出したエッジ
の中から、強いピークのエッジを所定数抽出（ステップ
Ｓ３）する。各エッジごとに他方の画像についてパター
ンマッチングを行い（ステップＳ４）、測距を行う（ス
テップＳ５）。The above processing will be described in detail with reference to the flowchart of FIG. In the image recognition unit 15, the camera 12,
13 (step S1), and an edge is extracted from one of the images (step S2). A predetermined number of strong peak edges are extracted from the extracted edges (step S3). Pattern matching is performed for the other image for each edge (step S4), and distance measurement is performed (step S5).
【００１７】処理部１６の前段階処理部１８では、ミリ
波レーダ１１から近距離フラグが出力されているか否か
を判定し（ステップＳ６）、出力されていれば近距離フ
ラグが安定して出力されているか否かを判定する（ステ
ップＳ７）。その結果、近距離フラグが安定して（時系
列的に連続して）出力されていると判断した場合は、物
体が至近距離（例、０〜５ｍ）に存在すると判断し、至
近距離（例、５ｍ以下）の距離情報を持つエッジデータ
を採用する（ステップＳ８）。また、近距離フラグが不
安定に（間欠的に）出力されていると判断した場合、物
体が近距離（例、５〜１０ｍ）に存在すると判定し、近
距離（例、５〜１０ｍ）の距離情報を持つエッジを採用
する（ステップＳ９）。さらに、近距離フラグが出力さ
れていない場合は、遠距離（例、１０ｍ以上）にあると
判定し、フュージョンエリア４にある遠距離（例、１０
ｍ以上）の距離情報を持つエッジを採用する（ステップ
Ｓ１０）。The pre-processing unit 18 of the processing unit 16 determines whether or not the short-range flag is output from the millimeter wave radar 11 (step S6). If the short-range flag is output, the short-range flag is output stably. It is determined whether or not it has been performed (step S7). As a result, when it is determined that the short distance flag is output stably (continuously in time series), it is determined that the object exists at a close distance (for example, 0 to 5 m), and the close distance flag (for example, 0 to 5 m) is determined. (5 m or less) is adopted (step S8). When it is determined that the short distance flag is output unstable (intermittently), it is determined that the object exists at a short distance (e.g., 5 to 10 m). An edge having distance information is adopted (step S9). Further, if the short distance flag is not output, it is determined that the vehicle is at a long distance (eg, 10 m or more), and a long distance (eg, 10 m) in the fusion area 4 is determined.
An edge having distance information of m or more is adopted (step S10).
【００１８】融合処理部１９では、採用されたエッジデ
ータとミリ波レーダ１１からの出力データに基づいて、
融合処理を実行して、物体の存在の認識と測距を行い
（ステップＳ１１）、結果を出力する（ステップＳ１
２）。本例によれば、エッジデータを画像認識部１５が
誤認識又は誤測距した場合であっても、誤測距したエリ
アでミリ波レーダ１１が物体を検出しなければ、そのエ
ッジデータは除去される。したがって、物体の誤認識又
は誤測距を防止できる。また、融合処理を行う前に無効
なエッジデータが除去されるので、処理時間を短縮する
ことができる。In the fusion processing unit 19, based on the adopted edge data and the output data from the millimeter wave radar 11,
The fusion process is executed to recognize the presence of the object and measure the distance (step S11), and output the result (step S1).
2). According to this example, even if the image recognition unit 15 misrecognizes or incorrectly measures the distance of the edge data, if the millimeter wave radar 11 does not detect an object in the incorrectly measured area, the edge data is removed. Is done. Therefore, erroneous recognition or erroneous distance measurement of the object can be prevented. Further, since invalid edge data is removed before performing the fusion process, the processing time can be reduced.
【００１９】（実施例２）図６は、本発明の第２の実施
例の構成を示す。処理部１６の連続性判定部２０で、ミ
リ波レーダ１１から出力される近距離フラグの状態を判
定し、その結果のデータを画像認識部１５の無効エッジ
除去部２１に送る。無効エッジ除去部２１では、近距離
フラグの状態に応じて無効なエッジデータを除去した上
で、エッジデータを融合処理部１９に出力する。(Embodiment 2) FIG. 6 shows the configuration of a second embodiment of the present invention. The continuity determination unit 20 of the processing unit 16 determines the state of the short distance flag output from the millimeter wave radar 11 and sends the data to the invalid edge removal unit 21 of the image recognition unit 15. The invalid edge removing unit 21 removes invalid edge data according to the state of the short distance flag, and outputs the edge data to the fusion processing unit 19.
【００２０】図７のフローチャートを用いて、上記処理
の詳細を説明する。画像認識部１５において、上記実施
例１のステップＳ１〜３と同様に、画像入力（ステップ
Ｓ２１）と、エッジ抽出（ステップＳ２２）と、ピーク
抽出（２３）が行われる。画像認識部１５は、除去され
なかったエッジデータを用いて、上記実施例のステップ
Ｓ４、５と同様に、パターンマッチングを行い（ステッ
プＳ２４）、測距を行う（ステップＳ２５）。The above processing will be described in detail with reference to the flowchart of FIG. In the image recognizing unit 15, image input (step S21), edge extraction (step S22), and peak extraction (23) are performed as in steps S1 to S3 of the first embodiment. The image recognition unit 15 performs pattern matching (step S24) and performs distance measurement (step S25) using the edge data that has not been removed in the same manner as in steps S4 and S5 in the above embodiment.
【００２１】続いて、連続性判定部２０で、上記実施例
１のステップＳ６，７と同様に、ミリ波レーダ１１から
の近距離フラグの出力の有無が判定（ステップＳ２６）
され、近距離フラグが安定しているか否かが判定され
（ステップＳ２７）、その結果が無効エッジ除去部２１
に出力される。無効エッジ除去部２１では、近距離フラ
グが安定して出力されていれば、至近距離以外の距離情
報を持つエッジデータを除去する（ステップＳ２８）。
また、不安定に出力されているというデータを受ける
と、近距離以外の距離情報を持つエッジを除去する（ス
テップＳ２９）。さらに、近距離フラグが出力されてい
ない場合は、遠距離以外の距離情報を持つエッジデータ
を除去する（ステップＳ３０）。Subsequently, the continuity determination unit 20 determines whether or not the short-range flag is output from the millimeter wave radar 11 as in steps S6 and S7 of the first embodiment (step S26).
It is determined whether or not the short distance flag is stable (step S27), and the result is determined by the invalid edge removing unit 21.
Is output to If the short distance flag is stably output, the invalid edge removing unit 21 removes edge data having distance information other than the close distance (step S28).
When receiving data indicating that the data is output unstable, edges having distance information other than short distances are removed (step S29). Further, when the short distance flag is not output, edge data having distance information other than long distance is removed (step S30).
【００２２】そして、その結果のエッジデータを融合処
理部１９に出力する。融合処理部１９では、上記実施例
１のステップＳ１１、１２と同様に、融合処理を実行し
て（ステップＳ３１）、結果を出力する（ステップＳ３
２）。本例においても、前述の実施例１と同様の効果が
得られる。 （実施例３）図８は、本発明の第３の実施例の構成を示
す。Then, the resulting edge data is output to the fusion processing unit 19. The fusion processing unit 19 executes the fusion processing as in steps S11 and S12 of the first embodiment (step S31), and outputs the result (step S3).
2). In this embodiment, the same effects as those of the first embodiment can be obtained. (Embodiment 3) FIG. 8 shows the configuration of a third embodiment of the present invention.
【００２３】処理部１６の連続性判定部２０でミリ波レ
ーダ１１から出力される近距離フラグの状態を判定し、
その結果のデータを画像認識部１５に送る。画像認識部
１５では、エリア優先付け部２２により、入力された結
果のデータに対応するパターンマッチングエリアを優先
付けし、そのエリアを優先してパターンマッチング処理
を行う。The continuity determining unit 20 of the processing unit 16 determines the state of the short distance flag output from the millimeter wave radar 11,
The resulting data is sent to the image recognition unit 15. In the image recognizing unit 15, the area matching unit 22 prioritizes the pattern matching area corresponding to the input result data, and performs the pattern matching process with priority given to the area.
【００２４】図９は、パターンマッチングを行うエリア
を示す。一方の画像でエッジが抽出されると、前述の図
３（Ａ）に示したように、エッジ部に対応してマッチン
グパターンを取り出して、図３（Ｄ）に示すように、他
方の画像についてパターンマッチングを行う。このと
き、連続性判定部２０から入力されたデータに基づい
て、エッジ抽出位置を基準として、エリアの優先付けを
行う。FIG. 9 shows an area for performing pattern matching. When an edge is extracted from one image, a matching pattern corresponding to the edge portion is extracted as shown in FIG. 3A, and the matching pattern is extracted from the other image as shown in FIG. Perform pattern matching. At this time, based on the data input from the continuity determination unit 20, the area is prioritized based on the edge extraction position.
【００２５】画像認識部１５では、近距離フラグが安定
して出力されているというデータを受けると、例えば、
エッジ抽出位置から第２６〜第８０画素のエリアを至近
距離エリアとして、他のエリアに優先してパターンマッ
チングを行う。近距離フラグが不安定に出力されている
というデータを受けると、例えば、第１０〜第２５画素
のエリアを近距離エリアとして優先してパターンマッチ
ングを行う。さらに、近距離フラグが出力されないとい
うデータを受けると、例えば、第０〜第９画素のエリア
を遠距離エリアとして優先してパターンマッチングを行
う。When the image recognizing unit 15 receives data indicating that the short distance flag is stably output, for example,
The area of the 26th to 80th pixels from the edge extraction position is set as a close distance area, and pattern matching is performed prior to other areas. When receiving data indicating that the short distance flag is output in an unstable manner, for example, pattern matching is performed with priority given to the area of the 10th to 25th pixels as the short distance area. Further, upon receiving data indicating that the short distance flag is not output, for example, pattern matching is performed with priority given to the area of the 0th to ninth pixels as the long distance area.
【００２６】図１０のフローチャートを用いて、上記処
理の詳細を説明する。画像認識部１５で、画像入力（ス
テップＳ４１）と、エッジ抽出（ステップＳ４２）と、
ピーク抽出（４３）が行われ、連続性判定部２０で、近
距離フラグの出力の有無の判定（ステップＳ４４）と近
距離フラグが安定しているか否かが判定される（ステッ
プＳ４５）。その結果がエッジ優先付け部２２に出力さ
れる。The above processing will be described in detail with reference to the flowchart of FIG. The image recognition unit 15 performs image input (step S41), edge extraction (step S42),
Peak extraction (43) is performed, and the continuity determination unit 20 determines whether or not the short distance flag is output (step S44) and determines whether or not the short distance flag is stable (step S45). The result is output to the edge prioritizing section 22.
【００２７】エッジ優先付け部２２では、近距離フラグ
が安定して出力されていれば、パターンマッチングエリ
アを至近距離に優先付けする（ステップＳ４６）。ま
た、不安定に出力されているというデータを受けると、
近距離に優先付けする（ステップＳ４７）。さらに、近
距離フラグが出力されていない場合は、遠距離に優先付
けをする（ステップＳ４８）。If the short distance flag is stably output, the edge priority assigning section 22 prioritizes the pattern matching area to the closest distance (step S46). Also, if you receive data that the output is unstable,
Priority is given to a short distance (step S47). If the short distance flag is not output, priority is given to the long distance (step S48).
【００２８】画像認識部１５は、優先付けされたエリア
についてパターンマッチングを行い（ステップＳ４
９）、測距を行う（ステップＳ５０）。そして、その結
果のエッジデータを融合処理部１９に出力する。融合処
理部１９では、上記実施例１のステップＳ１１、１２と
同様に、融合処理を実行して（ステップＳ５１）、結果
を出力する（ステップＳ５２）。The image recognition unit 15 performs pattern matching on the prioritized area (step S4).
9) Distance measurement is performed (step S50). Then, the resulting edge data is output to the fusion processing unit 19. The fusion processing unit 19 executes the fusion processing as in steps S11 and S12 of the first embodiment (step S51), and outputs the result (step S52).
【００２９】本例によれば、パターンマッチングを行う
際、最もマッチングする可能性の高いエリアから開始を
するので、マッチングが得られるまでの時間を短縮する
ことができる。また、偶然に似たマッチングパターンに
対応する可能性を低下させて、誤測距を防止できる。 （実施例４）図１１は、本発明の第４の実施例の構成を
示す。According to this example, when performing pattern matching, the pattern matching is started from the area having the highest possibility of matching, so that the time until matching is obtained can be shortened. In addition, it is possible to reduce the possibility of corresponding to a matching pattern that happens to be similar, thereby preventing erroneous distance measurement. (Embodiment 4) FIG. 11 shows the configuration of a fourth embodiment of the present invention.
【００３０】画像認識部１５の路面、文字エッジ判定部
２３で、抽出したエッジが路面上のものか、又は路面上
の文字であるか否かを判定して、その結果を、処理部１
６の無効エッジ除去部２４に出力する。無効エッジ除去
部２４は、画像認識部１５から入力されたエッジデータ
から、無効エッジを除去して、残りのエッジデータを融
合処理部１９に出力する。The road surface and character edge determination unit 23 of the image recognition unit 15 determines whether the extracted edge is on the road surface or a character on the road surface, and the result is processed by the processing unit 1.
6 to the invalid edge removing unit 24. The invalid edge removing unit 24 removes invalid edges from the edge data input from the image recognizing unit 15 and outputs the remaining edge data to the fusion processing unit 19.
【００３１】画像認識部１５では、画像上の濃度差によ
りエッジを抽出する。したがって、路面上の文字、影な
どは、物体ではないが、濃度差によりエッジが抽出され
てしまう。路面、文字エッジ判定部２３は、抽出した濃
度差の距離情報と高さ情報から、路面上の濃度差か物体
かを判定する。そして、路面上の濃度差であると判定す
ると、その濃度差に対応するエッジデータに、路面フラ
グを付与して無効エッジ除去部２４に出力する。The image recognizing unit 15 extracts an edge based on a density difference on the image. Therefore, characters, shadows, and the like on the road surface are not objects, but edges are extracted due to density differences. The road surface / character edge determination unit 23 determines whether the object is a density difference or an object on the road surface from the extracted distance information and height information of the density difference. When it is determined that the density difference is on the road surface, a road surface flag is added to the edge data corresponding to the density difference and the edge data is output to the invalid edge removing unit 24.
【００３２】また、路面上に描かれた路面文字は、エッ
ジの近辺で、路面の色から白又は黄色に、若しくは、白
又は黄色から路面の色に変化する。路面、文字エッジ判
定部２３は、抽出したエッジの近辺の濃度情報を用い
て、上述の変化があれば路面文字が検出されたと判定す
る。そして、路面文字であると判定すると、そのエッジ
データに文字フラグを付与して無効エッジ除去部２４に
出力する。The road surface character drawn on the road surface changes from the road surface color to white or yellow or from white or yellow to the road surface color near the edge. The road surface / character edge determination unit 23 determines that a road surface character has been detected if there is the above change using the density information around the extracted edge. If it is determined that the character is a road surface character, a character flag is added to the edge data and output to the invalid edge removing unit 24.
【００３３】無効エッジ除去部２４では、エッジデータ
に路面フラグ又は文字フラグが付与されており、距離情
報が近距離（例、１０ｍ以下）を示していれば、ミリ波
レーダ１１からの近距離フラグの有無を判定する。そし
て、近距離フラグが出力されていなければそのエッジは
路面上の濃度差又は文字として除去して、残りのエッジ
データを融合処理部１６に出力する。In the invalid edge removing unit 24, a road surface flag or a character flag is added to the edge data. If the distance information indicates a short distance (for example, 10 m or less), a short distance flag from the millimeter wave radar 11 is output. Is determined. If the short distance flag is not output, the edge is removed as a density difference or a character on the road surface, and the remaining edge data is output to the fusion processing unit 16.
【００３４】図１２のフローチャートを用いて、上記処
理の詳細を説明する。画像認識部１５は、上記実施例１
のステップＳ１〜５と同様に、画像を入力し（ステップ
Ｓ６１）、エッジを抽出し（ステップＳ６２）、ピーク
を抽出し（ステップＳ６３）、パターンマッチングを行
い（ステップＳ６４）、測距を行う（ステップＳ６
５）。そして、上述の手法にて、所定のエッジデータに
路面フラグ又は文字フラグを付与する（ステップＳ６
６）。The above processing will be described in detail with reference to the flowchart of FIG. The image recognizing unit 15 is configured as described in the first embodiment.
As in steps S1 to S5, an image is input (step S61), edges are extracted (step S62), peaks are extracted (step S63), pattern matching is performed (step S64), and distance measurement is performed (step S64). Step S6
5). Then, a road surface flag or a character flag is added to the predetermined edge data by the above-described method (step S6).
6).
【００３５】無効エッジ除去部２４では、路面フラグ又
は文字フラグの有無を判定し（ステップＳ６７）、エッ
ジの距離情報が近距離を示すか否かを判定し（ステップ
Ｓ６８）、ミリ波レーダ１１からの近距離フラグが出力
されているか否かを判定する（ステップＳ６９）。そし
て、路面フラグ又は文字フラグが付与され、エッジの距
離情報が近距離を示し、近距離フラグが出力されていな
い場合は、路面フラグ又は文字フラグありのエッジデー
タを除去し（ステップＳ７０）、残りのエッジデータを
融合処理部１９に渡す。The invalid edge removing unit 24 determines the presence or absence of a road surface flag or a character flag (step S67), determines whether or not the edge distance information indicates a short distance (step S68). It is determined whether or not the short distance flag has been output (step S69). If the road surface flag or the character flag is added, the edge distance information indicates the short distance, and if the short distance flag is not output, the edge data with the road surface flag or the character flag is removed (step S70), and the remaining Is passed to the fusion processing unit 19.
【００３６】融合処理部１９では、上記実施例４のステ
ップＳ５１、５２と同様に、融合処理を実行して（ステ
ップＳ７１）、結果を出力する（ステップＳ７２）。本
実施例４は、以下の変形が可能である。路面、文字エッ
ジ判定部２３は、路面の濃度差の距離及び高さから路面
フラグのみを出力するようにしても良いし、逆に、路面
の濃度差の変化から文字フラグのみを出力するようにし
ても良い。The fusion processing section 19 executes the fusion processing (step S71) and outputs the result (step S72), similarly to steps S51 and S52 in the fourth embodiment. The fourth embodiment can be modified as follows. The road surface and character edge determination unit 23 may output only the road surface flag based on the distance and height of the density difference of the road surface, or may output only the character flag based on the change in the density difference of the road surface. May be.
【００３７】また、図１３のフローチャートに示すよう
に変更することができる。すなわち、無効エッジ除去部
２４は、エッジデータに路面フラグ又は文字フラグが付
与されており、かつ、ステップＳ６８で、距離情報が遠
距離（例、１０ｍ以上）を示しているか否かを判定し、
示していれば、ステップＳ６９で、ミリ波レーダ１１か
ら出力される距離データが、エッジデータの距離情報の
許容誤差範囲内にあるか否かを判定する。そして、許容
誤差範囲内になければ、ステップＳ７０で、その路面フ
ラグ又は文字フラグが付与されたエッジデータを除去す
る。Further, it can be changed as shown in the flowchart of FIG. That is, the invalid edge removing unit 24 determines whether a road surface flag or a character flag is added to the edge data, and in step S68, the distance information indicates a long distance (eg, 10 m or more).
If so, in step S69, it is determined whether or not the distance data output from the millimeter wave radar 11 is within the allowable error range of the distance information of the edge data. If it is not within the allowable error range, the edge data to which the road surface flag or the character flag is added is removed in step S70.
【００３８】本実施例では、画像認識システムの文字フ
ラグ、路面フラグを用いることにより、画像認識システ
ムの誤認識、誤測距を、融合処理の前段階で防止するこ
とができる。In this embodiment, erroneous recognition and erroneous distance measurement of the image recognition system can be prevented before the fusion processing by using the character flag and the road surface flag of the image recognition system.
【００３９】[0039]
【発明の効果】本発明によれば、レーダからの出力デー
タと画像認識部からの出力データとに基づいて、処理部
にて物体の検出を行う車載用物体検出装置において、レ
ーダからの近距離フラグ又は、画像認識部からの路面フ
ラグ若しくは文字フラグを用いることにより、画像認識
における誤認識、誤測距を防止することで、信頼性を向
上させることができる。According to the present invention, in a vehicle-mounted object detection apparatus for detecting an object in a processing unit based on output data from a radar and output data from an image recognition unit, a short distance from the radar By using a flag or a road surface flag or a character flag from the image recognition unit, it is possible to prevent erroneous recognition and erroneous distance measurement in image recognition, thereby improving reliability.
【図１】車載用物体検出装置における検知エリア区分を
示す図。FIG. 1 is a diagram showing detection area divisions in a vehicle-mounted object detection device.
【図２】本発明を適用した車載用物体検出装置の基本シ
ステム構成を示す図。FIG. 2 is a diagram showing a basic system configuration of an on-vehicle object detection device to which the present invention is applied.
【図３】図２における画像認識部の処理を説明する図。FIG. 3 is a view for explaining processing of an image recognition unit in FIG. 2;
【図４】本発明の第１の実施例の構成を示す図。FIG. 4 is a diagram showing a configuration of a first exemplary embodiment of the present invention.
【図５】図４の装置の動作を示すフローチャート。FIG. 5 is a flowchart showing the operation of the apparatus of FIG.
【図６】本発明の第２の実施例の構成を示す図。FIG. 6 is a diagram showing a configuration of a second exemplary embodiment of the present invention.
【図７】図６の装置の動作を示すフローチャート。FIG. 7 is a flowchart showing the operation of the apparatus shown in FIG. 6;
【図８】本発明の第３の実施例の構成を示す図。FIG. 8 is a diagram showing a configuration of a third exemplary embodiment of the present invention.
【図９】図８におけるパターンマッチングエリアを示す
図。FIG. 9 is a view showing a pattern matching area in FIG. 8;
【図１０】図８の装置の動作を示すフローチャート。FIG. 10 is a flowchart showing the operation of the device of FIG. 8;
【図１１】本発明の第４の実施例の構成を示す図。FIG. 11 is a diagram showing a configuration of a fourth embodiment of the present invention.
【図１２】図１１の装置の動作を示すフローチャート
（その１）。FIG. 12 is a flowchart showing the operation of the apparatus shown in FIG. 11 (part 1);
【図１３】図１１の装置の動作を示すフローチャート
（その２）。FIG. 13 is a flowchart (part 2) illustrating the operation of the apparatus in FIG. 11;
１…車載用物体検出装置 ２…画像処理で検出可能なエリア ３…レーダで検出可能なエリア ４…フュージョンエリア １１…ミリ波レーダ １２，１３…カメラ １４…画像処理用ＥＣＵ １５…画像認識部 １６…処理部 １７…パターン １８…前段階処理部 １９…融合処理部 ２０…連続性判定部 ２１…無効エッジ除去部 ２２…エリア優先付け部 ２３…路面、文字エッジ判定部 ２４…無効エッジ除去部 DESCRIPTION OF SYMBOLS 1 ... In-vehicle object detection apparatus 2 ... Area detectable by image processing 3 ... Area detectable by radar 4 ... Fusion area 11 ... Millimeter wave radar 12, 13 ... Camera 14 ... ECU for image processing 15 ... Image recognition unit 16 ... Processing unit 17 ... Pattern 18 ... Pre-stage processing unit 19 ... Fusion processing unit 20 ... Continuity determining unit 21 ... Invalid edge removing unit 22 ... Area prioritizing unit 23 ... Road surface / character edge determining unit 24 ... Invalid edge removing unit
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ３３０ Ｇ０６Ｔ 1/00 ３３０Ａ ５Ｌ０９６ 7/60 １８０ 7/60 １８０Ｂ ３００ ３００Ａ Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ Ｆターム(参考） 2F065 AA02 AA06 AA12 BB15 FF05 JJ03 JJ05 JJ26 QQ23 QQ32 QQ38 RR05 2F112 AC06 BA01 CA05 CA12 FA03 FA21 FA31 FA38 FA45 5B057 AA16 BA02 DC02 DC16 DC22 DC32 5H180 AA01 CC04 CC12 CC14 LL01 LL08 5J070 AB24 AC02 AE01 AF03 AK22 BD08 5L096 AA06 BA04 CA05 FA06 FA66 GA08 GA17 HA08 JA16 JA25──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06T 1/00 330 G06T 1/00 330A 5L096 7/60 180 7/60 180B 300 300A G08G 1/16 G08G 1 / 16 CF term (reference) 2F065 AA02 AA06 AA12 BB15 FF05 JJ03 JJ05 JJ26 QQ23 QQ32 QQ38 RR05 2F112 AC06 BA01 CA05 CA12 FA03 FA21 FA31 FA38 FA45 5B057 AA16 BA02 DC02 DC16 DC22 DC32 5H180 AA01 CC01 AF01 CC02 AF01 AK22 BD08 5L096 AA06 BA04 CA05 FA06 FA66 GA08 GA17 HA08 JA16 JA25
Claims (9)
からの出力データとに基づいて、処理部にて物体の検出
を行う車載用物体検出装置において、 前記レーダは、既定された近距離領域においてターゲッ
トが存在すると判断すると近距離フラグを出力し、 前記処理部は、前記近距離フラグの状態を判定し、前記
画像認識部から出力されるエッジデータの中から、前記
状態に応じた距離範囲にあるエッジデータを採用して前
記物体検出処理を行うことを特徴とする車載用物体検出
装置。1. An on-vehicle object detection device that detects an object in a processing unit based on output data from a radar and output data from an image recognition unit, wherein the radar is provided in a predetermined short-range area. When it is determined that the target is present, a short distance flag is output. The processing unit determines the state of the short distance flag, and from the edge data output from the image recognition unit, a distance range corresponding to the state. An object detection apparatus for a vehicle, wherein the object detection processing is performed by using the edge data according to the above.
からの出力データとに基づいて、処理部にて物体の検出
を行う車載用物体検出装置において、 前記レーダは、既定された近距離領域においてターゲッ
トが存在すると判断すると近距離フラグを出力し、 前記処理部は、前記近距離フラグの状態を判定し、その
結果を前記画像認識部に出力し、 前記画像認識部は、画像処理により取得したエッジデー
タの中から、前記状態に応じた距離範囲にあるエッジデ
ータを除去して前記物体検出処理を行うことを特徴とす
る車載用物体検出装置。2. An in-vehicle object detection device that detects an object in a processing unit based on output data from a radar and output data from an image recognition unit, wherein the radar includes a predetermined short-range area. When the target is determined to exist, a short distance flag is output, the processing unit determines the state of the short distance flag, and outputs the result to the image recognition unit. An object detection apparatus for a vehicle, wherein the object detection processing is performed by removing edge data within a distance range corresponding to the state from the obtained edge data.
からの出力データとに基づいて、処理部にて物体の検出
を行う車載用物体検出装置において、 前記レーダは、既定された近距離領域においてターゲッ
トが存在すると判断すると近距離フラグを出力し、 前記処理部は、前記近距離フラグの状態を判定し、その
結果を前記画像認識部に出力し、 前記画像認識部は、前記状態に応じた距離範囲を優先し
てパターンマッチング処理を行うことを特徴とする車載
用物体検出装置。3. An on-vehicle object detection device that detects an object in a processing unit based on output data from a radar and output data from an image recognition unit, wherein the radar is a predetermined short-distance region When it is determined that the target is present, the processing unit outputs a short distance flag, the processing unit determines the state of the short distance flag, and outputs the result to the image recognition unit. A vehicle-mounted object detection device for performing a pattern matching process with priority given to a distance range.
からの出力データとに基づいて、処理部にて物体の検出
を行う車載用物体検出装置において、 前記レーダは、既定された近距離領域においてターゲッ
トが存在すると判断すると近距離フラグを出力し、 前記画像認識部は、画像から得られる高さ情報及び距離
情報から路面上のエッジを識別し、路面上のエッジであ
ると識別するエッジデータに路面フラグを付与し、 前記処理部は、前記近距離フラグの状態に応じて距離範
囲を判定し、前記画像認識部からのエッジデータに前記
路面フラグが付与され、かつ、そのエッジデータの距離
情報が近距離を示し、かつ、前記判定した距離範囲が遠
距離を示しているときは、そのエッジデータを無効とし
て前記物体検出処理を行うことを特徴とする車載用物体
検出装置。4. An on-vehicle object detection device that detects an object in a processing unit based on output data from a radar and output data from an image recognition unit, wherein the radar is a predetermined short-distance region In the case where it is determined that the target exists, a short distance flag is output, and the image recognition unit identifies an edge on a road surface from height information and distance information obtained from an image, and edge data for identifying an edge on the road surface. The processing unit determines the distance range according to the state of the short distance flag, the road surface flag is added to the edge data from the image recognition unit, and the distance of the edge data When the information indicates a short distance and the determined distance range indicates a long distance, the edge data is invalidated and the object detection process is performed. In-vehicle object detection device.
からの出力データとに基づいて、処理部にて物体の検出
を行う車載用物体検出装置において、 前記画像認識部は、画像から得られる高さ情報及び距離
情報から路面上のエッジを識別し、路面上のエッジであ
ると識別するエッジデータに路面フラグを付与し、 前記処理部は、前記画像認識部からのエッジデータに前
記路面フラグが付与され、かつ、そのエッジデータの距
離情報が遠距離を示すときは、その距離情報が、前記レ
ーダから取得した距離情報の許容誤差範囲内にあるか否
かを判定し、範囲内にないときは、そのエッジデータを
無効として前記物体検出処理を行うことを特徴とする車
載用物体検出装置。5. An in-vehicle object detection device that detects an object in a processing unit based on output data from a radar and output data from an image recognition unit, wherein the image recognition unit is obtained from an image. An edge on a road surface is identified from the height information and the distance information, and a road surface flag is added to edge data for identifying the edge on the road surface, wherein the processing unit includes the road surface flag to the edge data from the image recognition unit. Is given, and when the distance information of the edge data indicates a long distance, it is determined whether or not the distance information is within an allowable error range of the distance information acquired from the radar. In some cases, the edge data is invalidated to perform the object detection processing.
からの出力データとに基づいて、処理部にて物体の検出
を行う車載用物体検出装置において、 前記レーダは、既定された近距離領域においてターゲッ
トが存在すると判断すると近距離フラグを出力し、 前記画像認識部は、画像から得られる濃度情報から路面
上の文字を識別し、路面文字であると識別するエッジデ
ータに文字フラグを付与し、 前記処理部は、前記近距離フラグの状態に応じて距離範
囲を判定し、前記画像認識部からのエッジデータに前記
文字フラグが付与され、かつ、そのエッジデータが近距
離を示し、かつ、前記判定した距離範囲が遠距離を示し
ているときは、そのエッジデータを無効として前記物体
検出処理を行うことを特徴とする車載用物体検出装置。6. An on-vehicle object detection device that detects an object in a processing unit based on output data from a radar and output data from an image recognition unit, wherein the radar is provided in a predetermined short-range area. When it is determined that the target exists, a short distance flag is output.The image recognition unit identifies a character on the road surface from density information obtained from the image, and adds a character flag to edge data for identifying the character as a road surface character. The processing unit determines a distance range according to the state of the short distance flag, the character flag is added to the edge data from the image recognition unit, and the edge data indicates a short distance, and When the determined distance range indicates a long distance, the object detection processing is performed by invalidating the edge data.
からの出力データとに基づいて、処理部にて物体の検出
を行う車載用物体検出装置において、 前記画像認識部は、画像から得られる濃度情報から路面
上の文字を識別し、路面文字であると識別するエッジデ
ータに文字フラグを付与し、 前記処理部は、前記画像認識部からのエッジデータに前
記文字フラグが付与され、かつ、そのエッジデータの距
離情報が遠距離を示すときは、その距離情報が、前記レ
ーダから取得した距離データの許容誤差範囲内にあるか
否かを判定し、範囲内にないときは、そのエッジデータ
を無効として前記物体検出処理を行うことを特徴とする
車載用物体検出装置。7. An in-vehicle object detection device that detects an object in a processing unit based on output data from a radar and output data from an image recognition unit, wherein the image recognition unit is obtained from an image. Characters on the road surface are identified from the density information, and a character flag is assigned to edge data that identifies the character as a road surface character.The processing unit is provided with the character flag to edge data from the image recognition unit, and When the distance information of the edge data indicates a long distance, it is determined whether or not the distance information is within an allowable error range of the distance data acquired from the radar, and when the distance information is not within the range, the edge data is determined. A vehicle-mounted object detection apparatus, wherein the object detection processing is performed while the object detection processing is disabled.
からの出力データとに基づいて、処理部にて物体の検出
を行う車載用物体検出装置において、 前記レーダは、既定された近距離領域においてターゲッ
トが存在すると判断すると近距離フラグを出力し、 前記画像認識部は、画像から得られる高さ情報及び距離
情報から路面上のエッジを判定したエッジデータに路面
フラグを付与し、また、濃度情報から路面上の文字を識
別したエッジデータに文字フラグを付与し、 前記処理部は、前記近距離フラグの状態に応じて距離範
囲を判定し、前記画像認識部からのエッジデータに前記
路面フラグと文字フラグの少なくとも一方が付与され、
かつ、そのエッジデータの距離情報が近距離を示しか
つ、前記判定した距離範囲が遠距離を示しているとき
は、そのエッジデータを無効として前記物体検出処理を
行うことを特徴とする車載用物体検出装置。8. An on-vehicle object detection device that detects an object in a processing unit based on output data from a radar and output data from an image recognition unit, wherein the radar is provided in a predetermined short-range area. When it is determined that a target exists, a short distance flag is output, and the image recognition unit assigns a road surface flag to edge data that has determined an edge on the road surface from height information and distance information obtained from the image, A character flag is assigned to edge data that identifies a character on the road surface from the information, the processing unit determines a distance range according to the state of the short distance flag, and the road surface flag is added to the edge data from the image recognition unit. And at least one of character flags,
When the distance information of the edge data indicates a short distance and the determined distance range indicates a long distance, the edge data is invalidated to perform the object detection processing, Detection device.
からの出力データとに基づいて、処理部にて物体の検出
を行う車載用物体検出装置において、 前記画像認識部は、画像から得られる高さ情報及び距離
情報から路面上のエッジを判定したエッジデータに路面
フラグを付与し、また、濃度情報から路面上の文字を識
別したエッジデータに文字フラグを付与し、 前記処理部は、前記画像認識部からのエッジデータに前
記路面フラグと文字フラグの少なくとも一方が付与さ
れ、かつ、そのエッジデータの距離情報が遠距離を示す
ときは、その距離情報が、前記レーダから取得した距離
データの許容誤差範囲内にあるか否かを判定し、範囲内
にないときは、そのエッジデータを無効として前記物体
検出処理を行うことを特徴とする車載用物体検出装置。9. An in-vehicle object detection device that detects an object in a processing unit based on output data from a radar and output data from an image recognition unit, wherein the image recognition unit is obtained from an image. A road surface flag is added to edge data that determines an edge on a road surface from height information and distance information, and a character flag is added to edge data that identifies characters on the road surface from density information. At least one of the road surface flag and the character flag is added to the edge data from the image recognition unit, and when the distance information of the edge data indicates a long distance, the distance information is the distance data obtained from the radar. It is determined whether or not the object is within an allowable error range, and if not, the edge data is invalidated and the object detection process is performed, wherein the object detection processing is carried out. Location.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000152695A JP4311861B2 (en) | 2000-05-18 | 2000-05-18 | Vehicle object detection device |
| US09/834,403 US20010031068A1 (en) | 2000-04-14 | 2001-04-13 | Target detection system using radar and image processing |
| US11/188,160 US7376247B2 (en) | 2000-04-14 | 2005-07-21 | Target detection system using radar and image processing |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000152695A JP4311861B2 (en) | 2000-05-18 | 2000-05-18 | Vehicle object detection device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2001330665A true JP2001330665A (en) | 2001-11-30 |
| JP2001330665A5 JP2001330665A5 (en) | 2007-06-21 |
| JP4311861B2 JP4311861B2 (en) | 2009-08-12 |
Family
ID=18658084
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000152695A Expired - Fee Related JP4311861B2 (en) | 2000-04-14 | 2000-05-18 | Vehicle object detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4311861B2 (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004117071A (en) * | 2002-09-24 | 2004-04-15 | Fuji Heavy Ind Ltd | Vehicle surroundings monitoring apparatus and traveling control system incorporating the same |
| JP2006258507A (en) * | 2005-03-15 | 2006-09-28 | Omron Corp | Apparatus for recognizing object in front |
| WO2006123615A1 (en) * | 2005-05-19 | 2006-11-23 | Olympus Corporation | Distance measuring apparatus, distance measuring method and distance measuring program |
| US7463184B2 (en) | 2003-05-13 | 2008-12-09 | Fujitsu Limited | Object detection apparatus, object detection method, object detection program, and distance sensor |
| JP2009019914A (en) * | 2007-07-10 | 2009-01-29 | Toyota Motor Corp | Object detecting device |
| JP2011027457A (en) * | 2009-07-22 | 2011-02-10 | Fujitsu Ten Ltd | Object detecting device, information processing method and information processing system |
| JP2014059734A (en) * | 2012-09-18 | 2014-04-03 | Denso Corp | Vehicle detector and warning device |
| JP2015510586A (en) * | 2012-01-23 | 2015-04-09 | マイクロソフト コーポレーション | 3D zoom imaging device |
| JP2015143979A (en) * | 2013-12-27 | 2015-08-06 | 株式会社リコー | Image processor, image processing method, program, and image processing system |
| JP2015175644A (en) * | 2014-03-13 | 2015-10-05 | 株式会社リコー | Ranging system, information processing device, information processing method, and program |
| KR101907875B1 (en) * | 2017-03-16 | 2018-10-15 | 주식회사 만도 | Fusion detection system, detection processor, radar device, and object detection method |
| WO2021193103A1 (en) * | 2020-03-26 | 2021-09-30 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing method, and program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05205199A (en) * | 1992-01-29 | 1993-08-13 | Mazda Motor Corp | Obstacle detection device for vehicle |
| JPH06508946A (en) * | 1991-03-22 | 1994-10-06 | トムソン−セーエスエフ | Road image sequence analysis method and device for detecting obstacles |
| JPH07182484A (en) * | 1993-12-24 | 1995-07-21 | Nissan Motor Co Ltd | Recognition device for front of moving vehicle and vehicle travel controller |
| JPH07192117A (en) * | 1993-12-24 | 1995-07-28 | Nissan Motor Co Ltd | Obstacle detector for vehicle |
| JPH09264954A (en) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | Image processing system using radar |
| JP2000501835A (en) * | 1995-12-13 | 2000-02-15 | ダイムラー―ベンツ アクチエンゲゼルシャフト | Signal processing method for vehicle navigation system |
| JP2000266539A (en) * | 1999-03-15 | 2000-09-29 | Nissan Motor Co Ltd | Inter-vehicle distance measuring apparatus |
| JP2001296357A (en) * | 2000-04-14 | 2001-10-26 | Fujitsu Ten Ltd | Object detecting apparatus |
-
2000
- 2000-05-18 JP JP2000152695A patent/JP4311861B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06508946A (en) * | 1991-03-22 | 1994-10-06 | トムソン−セーエスエフ | Road image sequence analysis method and device for detecting obstacles |
| JPH05205199A (en) * | 1992-01-29 | 1993-08-13 | Mazda Motor Corp | Obstacle detection device for vehicle |
| JPH07182484A (en) * | 1993-12-24 | 1995-07-21 | Nissan Motor Co Ltd | Recognition device for front of moving vehicle and vehicle travel controller |
| JPH07192117A (en) * | 1993-12-24 | 1995-07-28 | Nissan Motor Co Ltd | Obstacle detector for vehicle |
| JP2000501835A (en) * | 1995-12-13 | 2000-02-15 | ダイムラー―ベンツ アクチエンゲゼルシャフト | Signal processing method for vehicle navigation system |
| JPH09264954A (en) * | 1996-03-29 | 1997-10-07 | Fujitsu Ten Ltd | Image processing system using radar |
| JP2000266539A (en) * | 1999-03-15 | 2000-09-29 | Nissan Motor Co Ltd | Inter-vehicle distance measuring apparatus |
| JP2001296357A (en) * | 2000-04-14 | 2001-10-26 | Fujitsu Ten Ltd | Object detecting apparatus |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004117071A (en) * | 2002-09-24 | 2004-04-15 | Fuji Heavy Ind Ltd | Vehicle surroundings monitoring apparatus and traveling control system incorporating the same |
| US7463184B2 (en) | 2003-05-13 | 2008-12-09 | Fujitsu Limited | Object detection apparatus, object detection method, object detection program, and distance sensor |
| JP2006258507A (en) * | 2005-03-15 | 2006-09-28 | Omron Corp | Apparatus for recognizing object in front |
| WO2006123615A1 (en) * | 2005-05-19 | 2006-11-23 | Olympus Corporation | Distance measuring apparatus, distance measuring method and distance measuring program |
| JP2009019914A (en) * | 2007-07-10 | 2009-01-29 | Toyota Motor Corp | Object detecting device |
| JP2011027457A (en) * | 2009-07-22 | 2011-02-10 | Fujitsu Ten Ltd | Object detecting device, information processing method and information processing system |
| US9720089B2 (en) | 2012-01-23 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D zoom imager |
| JP2015510586A (en) * | 2012-01-23 | 2015-04-09 | マイクロソフト コーポレーション | 3D zoom imaging device |
| JP2014059734A (en) * | 2012-09-18 | 2014-04-03 | Denso Corp | Vehicle detector and warning device |
| JP2015143979A (en) * | 2013-12-27 | 2015-08-06 | 株式会社リコー | Image processor, image processing method, program, and image processing system |
| JP2015175644A (en) * | 2014-03-13 | 2015-10-05 | 株式会社リコー | Ranging system, information processing device, information processing method, and program |
| KR101907875B1 (en) * | 2017-03-16 | 2018-10-15 | 주식회사 만도 | Fusion detection system, detection processor, radar device, and object detection method |
| WO2021193103A1 (en) * | 2020-03-26 | 2021-09-30 | ソニーセミコンダクタソリューションズ株式会社 | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4311861B2 (en) | 2009-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7376247B2 (en) | Target detection system using radar and image processing | |
| US6670912B2 (en) | Method for detecting stationary object located above road | |
| JP2000357233A (en) | Body recognition device | |
| JP3230642B2 (en) | Vehicle ahead detection device | |
| JP2001351200A (en) | Onboard object detecting device | |
| JP2001004368A (en) | Object recognizing apparatus | |
| JP2003098424A (en) | Range finder based on image processing | |
| JP2003099762A (en) | Precedent vehicle recognition device and recognition method | |
| JP2001330665A (en) | On-vehicle object detector using radar and image processing | |
| JP2007179386A (en) | Method and apparatus for recognizing white line | |
| JP4052291B2 (en) | Image processing apparatus for vehicle | |
| JPH08156723A (en) | Vehicle obstruction detecting device | |
| JP4308405B2 (en) | Object detection device | |
| JP2003281700A (en) | Cutting-in vehicle detecting device and method | |
| JP2000331148A (en) | Obstacle detector | |
| JP2002296350A (en) | Object detector | |
| JP2003308599A (en) | Traveling route environment detector | |
| JP3319401B2 (en) | Roadway recognition device | |
| JPH07244717A (en) | Travel environment recognition device for vehicle | |
| JP2001082954A (en) | Image processing device and image processing distance- measuring method | |
| JP3757500B2 (en) | Leading vehicle following device | |
| JP2000259997A (en) | Height of preceding vehicle and inter-vehicle distance measuring device | |
| JPH07162846A (en) | Follow-up recognizing device for object | |
| JPH0979821A (en) | Obstacle recognizing device | |
| JP3120648B2 (en) | Environment recognition device for vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070509 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070509 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080701 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080901 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090512 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120522 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130522 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140522 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |