JP2006133125A - Object detection system and its method - Google Patents

Object detection system and its method Download PDF

Info

Publication number
JP2006133125A
JP2006133125A JP2004323791A JP2004323791A JP2006133125A JP 2006133125 A JP2006133125 A JP 2006133125A JP 2004323791 A JP2004323791 A JP 2004323791A JP 2004323791 A JP2004323791 A JP 2004323791A JP 2006133125 A JP2006133125 A JP 2006133125A
Authority
JP
Japan
Prior art keywords
image data
image
template
photographing
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004323791A
Other languages
Japanese (ja)
Inventor
Hiroshi Sato
宏 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2004323791A priority Critical patent/JP2006133125A/en
Publication of JP2006133125A publication Critical patent/JP2006133125A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an object detection system which can perform template matching on an object to be detected by means of simple processings, with high precision and can surely detect the object to be detected. <P>SOLUTION: The preceding vehicle detection system 10 determines the time-to-collision (TTC), with respect to the preceding vehicle, using an image of the preceding vehicle on image data by a TTC calculation section 13. On the basis of the ratio of the TTC when a template is generated by a template generating section 12, to the TTC in an image to be matched, the expansion or reduction of the template is performed by an expansion-reduction processing section 14. A pattern matching processing section 15 performs matching on the image data by using a template with its size adjusted. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、例えば先行車両等の車両進行方向の物体を画像処理によって検出する物体検出装置及び物体検出方法に関する。   The present invention relates to an object detection apparatus and an object detection method for detecting an object in a vehicle traveling direction such as a preceding vehicle by image processing.

従来、カメラ等により車両進行方向の情景を撮像し、得られた画像から先行車両等の物体を検出する装置が知られている。このような物体の検出結果に基づいて、車両の走行制御や警報音等による注意の喚起等を行うことにより、例えば先行車両との衝突の回避や、適正な車間距離を維持した走行が行われるようになっている。   2. Description of the Related Art Conventionally, an apparatus that captures a scene in a vehicle traveling direction with a camera or the like and detects an object such as a preceding vehicle from the obtained image is known. Based on the detection result of such an object, for example, avoidance of a collision with a preceding vehicle or traveling while maintaining an appropriate inter-vehicle distance is performed by performing vehicle travel control, alerting by an alarm sound, or the like. It is like that.

そのような装置の好適な例としては、例えば、特許文献１に開示されている先行車両追従装置が知られている。この先行車両追従装置においては、まず、自車両前方の情景を２台の撮像手段により撮像し、撮像した画像に基づいて先行車両との距離を求め、過去数回分の先行車両との距離から先行車両との相対速度を算出し、算出した相対速度に基づいてマッチング処理時の先行車両との距離を予測する。次に、予測した距離に先行車両がある時に車両前方の情景を撮像した場合の画像中の先行車両の大きさに、テンプレート画像中の先行車両の大きさが一致するように、テンプレートとする画像をスケーリングしてテンプレートを作成する。   As a suitable example of such a device, for example, a preceding vehicle following device disclosed in Patent Document 1 is known. In this preceding vehicle follow-up device, first, a scene in front of the host vehicle is imaged by two imaging means, the distance from the preceding vehicle is obtained based on the captured image, and the preceding vehicle is determined from the distance from the preceding vehicle for the past several times. A relative speed with the vehicle is calculated, and a distance from the preceding vehicle at the time of the matching process is predicted based on the calculated relative speed. Next, an image as a template so that the size of the preceding vehicle in the template image matches the size of the preceding vehicle in the image when the scene ahead of the vehicle is imaged when there is a preceding vehicle at the predicted distance To create a template.

そして、そのテンプレートを用いて新たに撮像した画像に対してマッチング処理を行うことにより画像中の先行車両を検出し、これにより先行車両を追従する。
なお、先行車両との距離は、２台の撮像手段で撮影した画像から各々切り出した先行車両を含む画像領域（ウィンドウ）の位置と２台の撮像手段の位置の差とに基づいて検出する。また、スケーリング対象のテンプレートとする画像は、前回のマッチング処理の時に、撮像した画像から切り出した先行車両を含む領域の画像を用いる。
特開１０−１４３７９９号公報 Then, a preceding vehicle in the image is detected by performing a matching process on the newly captured image using the template, thereby following the preceding vehicle.
The distance from the preceding vehicle is detected based on the position of the image area (window) including the preceding vehicle cut out from the images captured by the two imaging units and the difference between the positions of the two imaging units. In addition, as an image to be used as a template to be scaled, an image of an area including a preceding vehicle cut out from a captured image at the time of the previous matching process is used.
JP 10-143799 A

しかしながら、画像処理に基づいて先行車両と自車両との相対速度を検出し、これによりテンプレートとなる画像のスケーリングを行う方法においては、検出される相対速度の精度が十分でないために、スケーリングに誤差が生じ、的確なテンプレートを作成することができない可能性があるという問題がある。
また、撮像した複数の画像の各々から先行車両を含む画像領域（ウィンドウ）をテンプレートマッチングにより抽出し、その位置の差に基づいて先行車両との距離を算出し、この距離に基づいて相対速度を検出し、その相対速度に基づいてスケーリングの際の倍率を決定する処理は、複雑で時間がかかるという問題もある。
また、そのような精度や処理効率とも関係して、先行車両が急接近して画像中の先行車両のサイズが大きく変化した場合等には、適切にこれを検出して追従できない場合があるという問題もある。 However, in the method of detecting the relative speed between the preceding vehicle and the host vehicle based on the image processing and thereby scaling the image as a template, since the accuracy of the detected relative speed is not sufficient, there is an error in scaling. Occurs, and there is a problem that an accurate template may not be created.
In addition, an image region (window) including the preceding vehicle is extracted from each of the plurality of captured images by template matching, and the distance from the preceding vehicle is calculated based on the difference in position, and the relative speed is calculated based on the distance. The process of detecting and determining the scaling factor based on the relative speed also has the problem of being complicated and time consuming.
Also, in relation to such accuracy and processing efficiency, when the preceding vehicle suddenly approaches and the size of the preceding vehicle in the image changes greatly, it may not be possible to properly detect and follow this There is also a problem.

本発明は、このような問題に鑑みてなされたものであって、簡単な処理により高精度に検出対象の物体のテンプレートマッチングを行うことができ、検出対象の物体が急接近するような状況においても、これを見失うことなく確実に検出できるような物体検出装置及び物体検出方法を提供することにある。   The present invention has been made in view of such a problem, and can perform template matching of a detection target object with high accuracy by a simple process, and in a situation where the detection target object approaches rapidly. It is another object of the present invention to provide an object detection apparatus and an object detection method that can reliably detect this without losing sight.

前記課題を解決するために、本発明に係る物体検出装置は、検出対象の物体を含む所望の情景を撮影する撮影手段と、前記検出対象の物体の画像を含む画像データをテンプレートとして用いて前記撮影して得られた画像データに対してマッチング処理を行い、当該撮影して得られた画像データから前記テンプレートに相当する画像を検出するマッチング手段とを有する物体検出装置であって、前記撮影して得られた画像データ上において、前記物体が所定の基準位置に達するまでの余裕時間を検出する余裕時間検出手段と、前記検出された余裕時間と、前記テンプレートに含まれる前記物体の画像と同じサイズの当該物体の画像が前記撮影して得られた画像データ中に観察された場合に、当該物体が前記画像データ上の前記所定の基準位置に達するまでの余裕時間とに基づいて、前記撮影して得られた画像に含まれる前記物体のサイズと前記テンプレートに含まれる前記物体のサイズとの比率を検出し、前記サイズが等しくなるように、前記テンプレート又は前記撮影して得られた画像データのサイズを調整するサイズ調整手段とをさらに有し、前記マッチング手段は、前記サイズの調整された前記テンプレート又は前記撮影して得られた画像データを用いて前記マッチング処理を行い、前記撮影して得られた画像データから前記テンプレートに相当する画像を検出する。   In order to solve the above-described problem, an object detection apparatus according to the present invention uses a photographing unit that captures a desired scene including an object to be detected and image data including an image of the object to be detected as a template. An object detection apparatus comprising: a matching unit that performs matching processing on image data obtained by photographing and detects an image corresponding to the template from the image data obtained by photographing. In the image data obtained in the above, margin time detecting means for detecting a margin time until the object reaches a predetermined reference position, the detected margin time, and the same as the image of the object included in the template When an image of the object of the size is observed in the image data obtained by shooting, the object is placed at the predetermined reference position on the image data. Based on the margin time until the detection, the ratio of the size of the object included in the image obtained by the shooting and the size of the object included in the template is detected, so that the size becomes equal, Size adjustment means for adjusting the size of the template or the image data obtained by taking the image, and the matching means takes the template having the adjusted size or the image data obtained by taking the image. And performing the matching process to detect an image corresponding to the template from the image data obtained by photographing.

このような物体検出装置によれば、物体までの正確な距離や物体との相対速度の絶対値が不明でも、画像データから余裕時間を算出することが可能である。そして、テンプレートに係る余裕時間と、その時に撮影した画像データにおける余裕時間との比から、対象物までの距離の変化に比例した指標が得られる。すなわち、対象物の像上の大きさに比例する指標が得られる。この値を用いてテンプレートあるいは画像データを拡大又は縮小し、マッチング処理を行うことにより、移動する物体に対しても確実なマッチング処理を行うことができる。   According to such an object detection device, it is possible to calculate the allowance time from the image data even if the exact distance to the object and the absolute value of the relative speed with the object are unknown. Then, an index proportional to the change in the distance to the object is obtained from the ratio between the margin time related to the template and the margin time in the image data photographed at that time. That is, an index proportional to the size of the object on the image is obtained. By using this value to enlarge or reduce the template or image data and perform matching processing, it is possible to perform reliable matching processing even on a moving object.

また、本発明に係る物体検出方法は、検出対象の物体を含む所望の情景を撮影し、前記検出対象の物体の画像を含む画像データをテンプレートとして用いて前記撮影して得られた画像データに対してマッチング処理を行い、当該撮影して得られた画像データから前記テンプレートに相当する画像を検出する物体検出方法であって、前記撮影して得られた画像データ上において、前記物体が所定の基準位置に達するまでの余裕時間を検出し、前記検出された余裕時間と、前記テンプレートに含まれる前記物体の画像と同じサイズの当該物体の画像が前記撮影して得られた画像データ中に観察された場合に、当該物体が前記画像データ上の前記所定の基準位置に達するまでの余裕時間とに基づいて、前記撮影して得られた画像に含まれる前記物体のサイズと前記テンプレートに含まれる前記物体のサイズとの比率を検出し、前記撮影して得られた画像に含まれる前記物体のサイズと前記テンプレートに含まれる前記物体のサイズとが等しくなるように、前記テンプレート又は前記撮影して得られた画像データのサイズを調整し、前記サイズの調整された前記テンプレート又は前記撮影して得られた画像データを用いて前記マッチング処理を行い、前記撮影して得られた画像データから前記テンプレートに相当する画像を検出する。   In addition, the object detection method according to the present invention shoots a desired scene including an object to be detected, and uses the image data including the image of the object to be detected as a template as the image data obtained by the shooting. An object detection method for performing matching processing on the image and detecting an image corresponding to the template from the image data obtained by the photographing, wherein the object is a predetermined image on the image data obtained by the photographing. The margin time until reaching the reference position is detected, and the detected margin time and the image of the object having the same size as the image of the object included in the template are observed in the image data obtained by the photographing. The object included in the image obtained by photographing based on a margin time until the object reaches the predetermined reference position on the image data. A ratio between the size and the size of the object included in the template is detected, and the size of the object included in the image obtained by photographing is equal to the size of the object included in the template. The size of the template or the image data obtained by photographing is adjusted, the matching process is performed using the template having the adjusted size or the image data obtained by photographing, and the image data obtained by photographing. An image corresponding to the template is detected from the obtained image data.

本発明によれば、簡単な処理により高精度に検出対象の物体のテンプレートマッチングを行うことができ、検出対象の物体が急接近するような状況においても、これを見失うことなく確実に検出できるような物体検出装置及び物体検出方法を提供することができる。   According to the present invention, template matching of a detection target object can be performed with high accuracy by a simple process, and even in a situation where the detection target object suddenly approaches, it can be reliably detected without losing sight. Object detection apparatus and object detection method can be provided.

本発明の第１の実施形態の先行車両検出装置について図１〜図４を参照して説明する。
図１は、その先行車両検出装置１０の構成を示すブロック図である。
また、図２は、先行車両検出装置１０の使用状態を説明するための図である。
先行車両検出装置１０は、撮像部１１、テンプレート生成部１２、ＴＴＣ算出部１３、拡大縮小処理部１４及びパターンマッチング処理部１５を有する。 A preceding vehicle detection device according to a first embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a block diagram showing the configuration of the preceding vehicle detection device 10.
FIG. 2 is a diagram for explaining a usage state of the preceding vehicle detection device 10.
The preceding vehicle detection device 10 includes an imaging unit 11, a template generation unit 12, a TTC calculation unit 13, an enlargement / reduction processing unit 14, and a pattern matching processing unit 15.

撮影部１１は、車両（自車両１（図２（Ａ）参照））の前方の情景を撮影するカメラ装置であり、撮影した画像を画像データとしてテンプレート生成部１２、ＴＴＣ算出部１３及びパターンマッチング処理部１５に出力する。撮像部１１は、図示せぬ制御部から入力される制御信号に基づいて、所定の時間間隔で、あるいは所望のタイミングで自車両前方の画像データを順次生成し出力する。撮像部１１は、レンズ及び撮像素子を有する。また、その撮像素子は、複数の２次元に配置された受光素子及びそれぞれの受光素子の出力電圧を読み出す読み出し回路を有するＣＭＯＳ構造によって作られた素子である。
本実施形態において撮像部１１は、図２（Ａ）に示すように、自車両１の運転席の頭上付近で、運転者の目線とほぼ同じ視野で車両前方が観察できるような位置に設置される。そして、図２（Ｂ）に示すように、検出対象の物体たる先行車両２の像を含むような情景を撮影し、その画像データ３を生成し出力する。 The imaging unit 11 is a camera device that captures a scene in front of the vehicle (the host vehicle 1 (see FIG. 2A)), and uses the captured image as image data for the template generation unit 12, the TTC calculation unit 13, and the pattern matching. Output to the processing unit 15. The imaging unit 11 sequentially generates and outputs image data ahead of the host vehicle at predetermined time intervals or at a desired timing based on a control signal input from a control unit (not shown). The imaging unit 11 includes a lens and an imaging element. The imaging element is an element made of a CMOS structure having a plurality of light receiving elements arranged two-dimensionally and a readout circuit for reading out the output voltage of each light receiving element.
In this embodiment, as shown in FIG. 2A, the imaging unit 11 is installed near the overhead of the driver's seat of the host vehicle 1 at a position where the front of the vehicle can be observed with substantially the same field of view as the driver's line of sight. The Then, as shown in FIG. 2B, a scene including an image of the preceding vehicle 2 that is an object to be detected is photographed, and the image data 3 is generated and output.

なお、撮像部１１としては、静止画像を撮影するカメラ装置あるいは動画像（映像）を撮影するカメラ装置のいずれであってもよい。前者の場合には、撮像部１１は、所定のタイミングで適宜撮影を行い、得られた画像信号を出力する。後者の場合は、撮像部１１は、常時撮影される映像信号より所定のタイミングで１フレームの画像データをサンプリングし、その画像データを出力する。   The imaging unit 11 may be either a camera device that captures a still image or a camera device that captures a moving image (video). In the former case, the imaging unit 11 appropriately captures images at a predetermined timing and outputs the obtained image signal. In the latter case, the imaging unit 11 samples one frame of image data at a predetermined timing from a video signal that is constantly photographed, and outputs the image data.

テンプレート生成部１２は、検出対象の物体である先行車両の画像を含み、マッチングの際にテンプレートとなる画像データを生成し、拡大縮小処理部１４に出力する。テンプレート生成部１２は、撮像部１１から入力される画像データから先行車両の画像を含む領域の画像データを切り出し、これをテンプレートとして出力する。
なお、テンプレート生成部１２は、予め検出対象とする先行車両の画像を記憶しておき、それをテンプレートとして出力する構成であってもよい。 The template generation unit 12 includes an image of a preceding vehicle that is an object to be detected, generates image data that serves as a template during matching, and outputs the image data to the enlargement / reduction processing unit 14. The template generation unit 12 cuts out image data of a region including the image of the preceding vehicle from the image data input from the imaging unit 11, and outputs this as a template.
The template generation unit 12 may be configured to store an image of a preceding vehicle to be detected in advance and output it as a template.

衝突余裕時間（ＴＴＣ:Time To Collision）算出部（ＴＴＣ算出部）１３は、撮像部１１から入力される画像データに基づいて、自車両が先行車両と衝突するまでの時間を検出し、拡大縮小処理部１４に出力する。ＴＴＣ算出部１３においては、撮像部１１において新たな画像データが生成された時に、これに対してＴＴＣを算出する。
このＴＴＣ算出の処理について、図２及び図３を参照して説明する。
図３は、ＴＴＣ算出の処理の流れを示すフローチャートである。 A collision margin time (TTC: Time To Collision) calculation unit (TTC calculation unit) 13 detects the time until the host vehicle collides with a preceding vehicle based on the image data input from the imaging unit 11, and enlarges / reduces it. Output to the processing unit 14. When new image data is generated in the imaging unit 11, the TTC calculation unit 13 calculates TTC for the new image data.
This TTC calculation process will be described with reference to FIGS.
FIG. 3 is a flowchart showing a flow of TTC calculation processing.

まず、ＴＴＣ算出部１３は、撮像部１１から順次画像データを取り込み（ステップＳ１１）、取り込んだ画像データの中から先行車両に係る所定の画像を抽出し、その位置を検出する（ステップＳ１２）。この先行車両に係る所定の画像は、テンプレート生成部１２で作成したテンプレートとして用いる画像データと同一の画像であってもよいし、先行車両の画像の中の特徴的な一部の画像であってもよい。また、その抽出方法は、テンプレートマッチングを用いた方法であってもよいし、特徴的な構造を画像上から検出する特徴抽出による方法であってもよい。本実施形態においては、図２（Ｂ）に示すように、先行車両２を含む画像データ３から、先行車両２の後部バンパー付近４（先行車両２のボディーの最下辺）の位置を検出し、その位置ｙを求めるものとする。   First, the TTC calculation unit 13 sequentially captures image data from the imaging unit 11 (step S11), extracts a predetermined image related to the preceding vehicle from the captured image data, and detects its position (step S12). The predetermined image relating to the preceding vehicle may be the same image as the image data used as the template created by the template generation unit 12, or may be a characteristic part of the image of the preceding vehicle. Also good. The extraction method may be a method using template matching, or a feature extraction method for detecting a characteristic structure from an image. In the present embodiment, as shown in FIG. 2B, the position of the rear bumper vicinity 4 (the lowermost side of the body of the preceding vehicle 2) is detected from the image data 3 including the preceding vehicle 2, The position y is obtained.

次に、ＴＴＣ算出部１３は、画像データ上に設定してある所定の基準位置としての衝突位置と、検出した先行車両の所定の画像の位置との差（距離）を検出する（ステップＳ１３）。本実施形態においては、図２（Ｂ）に示すように、画像データ３の最下辺５（観察した画像の中で最も手前の位置）の位置を所定の衝突位置として設定する。また、画像データ上での上下方向の位置は、その最下辺の位置５を基準位置（位置０）として上方向が正方向となるような座標（Ｙ座標）により表すものとする。このようにしておけば、ステップＳ１２において検出した先行車両２の所定の画像の位置４の座標値ｙを、そのまま、その位置４と衝突位置５との差の値として使用することができる。   Next, the TTC calculation unit 13 detects a difference (distance) between the collision position as a predetermined reference position set on the image data and the position of the predetermined image of the detected preceding vehicle (step S13). . In the present embodiment, as shown in FIG. 2B, the position of the lowermost side 5 of the image data 3 (the position closest to the observed image) is set as a predetermined collision position. Further, the position in the vertical direction on the image data is expressed by coordinates (Y coordinate) in which the upper direction is the positive direction with the position 5 of the lowermost side as the reference position (position 0). In this way, the coordinate value y of the position 4 of the predetermined image of the preceding vehicle 2 detected in step S12 can be used as the value of the difference between the position 4 and the collision position 5 as it is.

次に、その先行車両の所定の画像の、画像データ上における前述した衝突位置に対する移動速度を検出する（ステップＳ１４）。図２を参照して前述したように、本実施形態においては、衝突位置５は画像データ３上の最下辺に設定してあるので、ここでは、その画像の上下方向（Ｙ方向）の移動速度を検出する。移動速度を求めるために、まず、先行車両２の所定の画像の位置４、又は、その位置４と衝突位置５との差（距離）のいずれかについて、前回入力された画像データ（図２（Ａ）において、自車両１が位置１−１にある時に撮像部１１で撮影した画像データ）から検出した値と今回入力された画像データ（図２（Ａ）において、自車両１が位置１−２にある時に撮像部１１で撮影した画像データ）から検出した値との差を検出し、先行車両３の所定の画像４（図２（Ｂ）参照）の画像データ３上での移動距離を求める。そして、その移動距離と、前回と今回の撮像部１１における撮像時間の間隔とに基づいて、先行車両の所定の画像の画像データ上における移動速度を検出する。 Next, the moving speed of the predetermined image of the preceding vehicle with respect to the aforementioned collision position on the image data is detected (step S14). As described above with reference to FIG. 2, in the present embodiment, the collision position 5 is set to the lowest side on the image data 3, and here, the moving speed of the image in the vertical direction (Y direction) is here. Is detected. In order to obtain the moving speed, first, image data (FIG. 2 (FIG. 2)) is input for either the position 4 of the predetermined image of the preceding vehicle 2 or the difference (distance) between the position 4 and the collision position 5. In A), the value detected from the image data captured by the imaging unit 11 when the host vehicle 1 is at the position 1-1 and the image data input this time (in FIG. 2A), the host vehicle 1 is positioned at the position 1 −. 2 is detected, and the moving distance of the predetermined image 4 of the preceding vehicle 3 on the image data 3 (see FIG. 2B) is detected. Ask. Then, based on the moving distance and the interval between the previous and current imaging times of the imaging unit 11, the moving speed on the image data of the predetermined image of the preceding vehicle is detected.

そして、先行車両の所定の画像の画像データ上における移動速度を検出したら、前述したように求めた先行車両の所定の画像の衝突位置との差と、その移動速度に基づいて、衝突するまでの時間（衝突余裕時間）を算出する（ステップＳ１５）。前述したように、本実施形態においては先行車両の所定の画像の位置ｙがそのまま衝突位置との差の値となっているため、移動速度をＶimage とすると、衝突余裕時間Ｔは、次式（１）により算出される。   And if the moving speed on the image data of the predetermined image of the preceding vehicle is detected, the time until the collision occurs based on the difference between the collision position of the predetermined image of the preceding vehicle obtained as described above and the moving speed. The time (collision margin time) is calculated (step S15). As described above, in the present embodiment, since the position y of the predetermined image of the preceding vehicle is the value of the difference from the collision position as it is, assuming that the moving speed is Vimage, the collision margin time T is expressed by the following equation ( It is calculated by 1).

（数１）
Ｔ ＝ ｙ ／ Ｖimage …（１） (Equation 1)
T = y / Vimage (1)

ＴＴＣ算出部１３は、このようにして算出した衝突余裕時間Ｔを、拡大縮小処理部１４に出力する。   The TTC calculation unit 13 outputs the collision margin time T calculated in this way to the enlargement / reduction processing unit 14.

拡大縮小処理部１４は、ＴＴＣ算出部１３から出力された衝突余裕時間Ｔを用いて、テンプレート生成部１２で作成されたテンプレート画像の拡大あるいは縮小を行う。
拡大縮小処理部１４は、予め、テンプレート生成部１２においてテンプレートが生成された場合の衝突余裕時間を記憶しておく。テンプレート生成部１２において、撮像部１１から入力される画像に基づいてテンプレートが作成された場合には、撮像部１１からの同じ画像に対してＴＴＣ算出部１３において算出された衝突余裕時間を、テンプレート作成時の衝突余裕時間として記憶しておく。また、テンプレート生成部１２において、予め所定の画像を用いてテンプレートが作成された場合には、その画像に対応して入力される、あるいは予め記憶されている衝突余裕時間を、テンプレート作成時の衝突余裕時間として記憶しておく。 The enlargement / reduction processing unit 14 uses the collision margin time T output from the TTC calculation unit 13 to enlarge or reduce the template image created by the template generation unit 12.
The enlargement / reduction processing unit 14 stores in advance the collision allowance time when the template generation unit 12 generates a template. When the template generation unit 12 creates a template based on the image input from the imaging unit 11, the collision margin time calculated by the TTC calculation unit 13 for the same image from the imaging unit 11 is used as the template. It is memorized as a collision margin time at the time of creation. Further, when a template is created in advance using a predetermined image in the template generation unit 12, the collision margin time input corresponding to the image or stored in advance is used as the collision at the time of template creation. Remember it as a spare time.

その上で、拡大縮小処理部１４は、ＴＴＣ算出部１３から新たな衝突余裕時間が入力された場合に、予め記憶しているテンプレート作成時の衝突余裕時間と、新たに入力される衝突余裕時間とに基づいて、テンプレート生成部１２で生成されたテンプレート画像の拡大又は縮小を行う。拡大及び縮小の比率は、テンプレート作成時の衝突余裕時間と新たに入力される衝突余裕時間との比に基づいて設定する。   In addition, when the new collision margin time is input from the TTC calculation unit 13, the enlargement / reduction processing unit 14 stores the previously stored collision margin time when creating the template and the newly input collision margin time. Based on the above, the template image generated by the template generation unit 12 is enlarged or reduced. The ratio of enlargement and reduction is set based on the ratio between the collision margin time at the time of template creation and the newly input collision margin time.

図４に具体例を示す。先行車両との衝突余裕時間が変化しない時には、図４（Ａ）に示すようにテンプレートの画像を変化させないが、図４（Ｂ）に示すように、衝突余裕時間が大きくなる場合には、テンプレートの画像を衝突余裕時間の比に応じて縮小する。また、図示を省略するが、衝突余裕時間が小さくなる場合には、テンプレートの画像を衝突余裕時間の比に応じて拡大する。
拡大縮小処理部１４は、このようにして縮小又は拡大したテンプレート画像を、パターンマッチング処理部１５に出力する。 A specific example is shown in FIG. When the collision margin time with the preceding vehicle does not change, the image of the template is not changed as shown in FIG. 4A, but when the collision margin time becomes large as shown in FIG. The image is reduced according to the ratio of the collision margin time. Although illustration is omitted, when the collision margin time becomes small, the template image is enlarged according to the ratio of the collision margin time.
The enlargement / reduction processing unit 14 outputs the template image reduced or enlarged in this way to the pattern matching processing unit 15.

パターンマッチング処理部１５は、撮像部１１から入力される画像データと拡大縮小処理部１４から入力されるテンプレートを用いてパターンマッチングを行い、テンプレートの画像とほぼ同一の画像が入力される画像データに存在している場合に、対象物検出信号を出力する。この際、必要に応じて、画像を検出した位置（例えば、先行車両の位置）の情報も出力する。なお、パターンマッチング処理は、従来より知られている任意の手法を適用すればよい。   The pattern matching processing unit 15 performs pattern matching using the image data input from the image capturing unit 11 and the template input from the enlargement / reduction processing unit 14, and converts the image data into an image data in which an image substantially the same as the template image is input. If it exists, an object detection signal is output. At this time, if necessary, information on the position where the image is detected (for example, the position of the preceding vehicle) is also output. In addition, what is necessary is just to apply the arbitrary methods conventionally known for pattern matching processing.

このように、本実施形態の先行車両検出装置１０においては、テンプレートを設定した時刻での衝突余裕時間を算出し、その時の衝突余裕時間と現時刻の衝突余裕時間との比を用いてテンプレートを拡大縮小し、それを新たなテンプレートとしてマッチング処理を行っている。従って、移動する物体や、急に接近したり離れたりする物体に対しても確実なマッチング処理を行うことができる。   Thus, in the preceding vehicle detection device 10 of the present embodiment, the collision margin time at the time when the template is set is calculated, and the template is determined using the ratio between the collision margin time at that time and the collision margin time at the current time. Enlargement / reduction is performed, and matching processing is performed using this as a new template. Therefore, reliable matching processing can be performed on a moving object or an object that suddenly approaches or leaves.

また、テンプレートを拡大あるいは縮小するための比率は、対象物までの実際の距離を算出することなく、さらに、対象物との相対速度の絶対値をも必要とせずに、単に、対象物の画像の画像データ上での位置及び移動速度を用いて算出した衝突余裕時間に基づいて決定している。従って、処理を簡単にすることができる。また、誤差が生じる可能性が低くなり、テンプレートの拡大あるいは縮小を適切に行うことができる。また、その結果、テンプレートマッチングを適切に行うことができ、画像データから対象物を高精度に検出することができる。   Moreover, the ratio for enlarging or reducing the template does not calculate the actual distance to the object, and also does not require the absolute value of the relative speed with the object, and simply calculates the image of the object. It is determined based on the collision margin time calculated using the position on the image data and the moving speed. Therefore, processing can be simplified. In addition, the possibility of an error is reduced, and the template can be appropriately enlarged or reduced. As a result, template matching can be performed appropriately, and an object can be detected from image data with high accuracy.

本発明の第２の実施形態の先行車両検出装置について図５を参照して説明する。
図５は、その先行車両検出装置１０ｂの構成を示すブロック図である。
図５に示す先行車両検出装置１０ｂは、撮像部１１、テンプレート生成部１２、ＴＴＣ算出部１３、拡大縮小処理部１４ｂ及びパターンマッチング処理部１５ｂを有する。
撮像部１１、テンプレート生成部１２及びＴＴＣ算出部１３における処理は、前述した第１の実施形態の先行車両検出装置１０の対応する各部における処理と同じである。従って、これらの各部については説明を省略する。
先行車両検出装置１０ｂにおいては、拡大縮小処理部１４ｂ及びパターンマッチング処理部１５ｂにおける処理が、第１の実施形態の先行車両検出装置１０と異なるので、以下、これら相違する構成部の処理について説明する。 A preceding vehicle detection apparatus according to a second embodiment of the present invention will be described with reference to FIG.
FIG. 5 is a block diagram showing a configuration of the preceding vehicle detection device 10b.
The preceding vehicle detection device 10b illustrated in FIG. 5 includes an imaging unit 11, a template generation unit 12, a TTC calculation unit 13, an enlargement / reduction processing unit 14b, and a pattern matching processing unit 15b.
The processes in the imaging unit 11, the template generation unit 12, and the TTC calculation unit 13 are the same as the processes in corresponding units of the preceding vehicle detection device 10 of the first embodiment described above. Therefore, description of these parts will be omitted.
In the preceding vehicle detection device 10b, the processes in the enlargement / reduction processing unit 14b and the pattern matching processing unit 15b are different from those in the preceding vehicle detection device 10 of the first embodiment. .

第２の実施形態の先行車両検出装置１０ｂの拡大縮小処理部１４ｂにおいては、ＴＴＣ算出部１３から出力された衝突余裕時間Ｔを用いて、撮像部１１から入力される新たに撮影された画像データの拡大あるいは縮小を行う。
拡大縮小処理部１４ｂは、第１の実施形態の拡大縮小処理部１４と同様に、まず、テンプレート生成部１２においてテンプレートが生成された場合の衝突余裕時間を記憶する。その上で、拡大縮小処理部１４ｂは、撮像部１１から新たな画像データが入力された場合に、ＴＴＣ算出部１３から入力されるこの新たな画像データに対して検出された衝突余裕時間と、予め記憶しているテンプレート作成時の衝突余裕時間とに基づいて、その新たな画像データの拡大縮小を行う。拡大及び縮小の比率は、テンプレート作成時の衝突余裕時間と新たに入力される衝突余裕時間との比に基づいて設定する。 In the enlargement / reduction processing unit 14b of the preceding vehicle detection device 10b of the second embodiment, newly captured image data input from the imaging unit 11 using the collision margin time T output from the TTC calculation unit 13 is used. Zoom in or out.
Similar to the enlargement / reduction processing unit 14 of the first embodiment, the enlargement / reduction processing unit 14b first stores a collision margin time when a template is generated by the template generation unit 12. In addition, the enlargement / reduction processing unit 14b, when new image data is input from the imaging unit 11, a collision margin time detected for the new image data input from the TTC calculation unit 13, The new image data is enlarged / reduced based on the preliminarily stored collision margin time at the time of template creation. The ratio of enlargement and reduction is set based on the ratio between the collision margin time at the time of template creation and the newly input collision margin time.

例えば、先行車両との衝突余裕時間が変化しない時には、入力される画像データを変化させないが、衝突余裕時間が大きくなる場合には、入力される画像データを衝突余裕時間の比に応じて拡大する。また、衝突余裕時間が小さくなる場合には、入力される画像データを衝突余裕時間の比に応じて縮小する。
拡大縮小処理部１４ｂは、このようにして縮小又は拡大した画像データを、パターンマッチング処理部１５ｂに出力する。 For example, when the collision allowance time with the preceding vehicle does not change, the input image data is not changed, but when the collision allowance time becomes large, the input image data is enlarged according to the ratio of the collision allowance time. . Further, when the collision margin time becomes small, the input image data is reduced in accordance with the ratio of the collision margin time.
The enlargement / reduction processing unit 14b outputs the image data reduced or enlarged in this way to the pattern matching processing unit 15b.

先行車両検出装置１０ｂのパターンマッチング処理部１５ｂは、拡大縮小処理部１４ｂから入力される拡大又は縮小された画像データとテンプレート生成部１２から入力されるテンプレートを用いてパターンマッチングを行い、入力される画像データにテンプレートの画像とほぼ同一の画像が存在している場合に、対象物検出信号を出力する。この際、必要に応じて、画像を検出した位置（例えば、先行車両の位置）の情報も出力する。   The pattern matching processing unit 15b of the preceding vehicle detection device 10b performs pattern matching using the enlarged or reduced image data input from the enlargement / reduction processing unit 14b and the template input from the template generation unit 12, and is input. When the image data includes an image that is substantially the same as the template image, an object detection signal is output. At this time, if necessary, information on the position where the image is detected (for example, the position of the preceding vehicle) is also output.

このように、第２の実施形態の先行車両検出装置１０ｂにおいては、テンプレートを設定した時刻での衝突余裕時間を算出し、その時の衝突余裕時間と現時刻の衝突余裕時間との比を用いて入力された画像データを拡大又は縮小し、検出対象の物体の画像のサイズがテンプレートにおけるその物体の画像のサイズと同じになるようにして、マッチング処理を行っている。従って、移動する物体や、急に接近したり離れたりする物体に対しても確実なマッチング処理を行うことができる。   Thus, in the preceding vehicle detection device 10b of the second embodiment, the collision margin time at the time when the template is set is calculated, and the ratio between the collision margin time at that time and the collision margin time at the current time is used. The input image data is enlarged or reduced, and matching processing is performed so that the size of the image of the object to be detected becomes the same as the size of the image of the object in the template. Therefore, reliable matching processing can be performed on a moving object or an object that suddenly approaches or leaves.

また、先行車両検出装置１０ｂにおいても、画像データを拡大あるいは縮小するための比率は、対象物までの実際の距離を算出することなく、さらに、対象物との相対速度の絶対値をも必要とせずに、単に、対象物の画像の画像データ上での位置及び移動速度を用いて決定している。従って、処理を簡単にすることができる。また、誤差が生じる可能性が低くなり、画像データの拡大あるいは縮小を適切に行うことができる。また、その結果、テンプレートマッチングを適切に行うことができ、画像データから対象物を高精度に検出することができる。   Also in the preceding vehicle detection device 10b, the ratio for enlarging or reducing the image data does not calculate the actual distance to the object, and also requires the absolute value of the relative speed with the object. Instead, it is determined simply using the position and moving speed of the image of the object on the image data. Therefore, processing can be simplified. In addition, the possibility of an error is reduced, and image data can be appropriately enlarged or reduced. As a result, template matching can be performed appropriately, and an object can be detected from image data with high accuracy.

なお、第１及び第２の実施形態は、本発明の理解を容易にするために記載されたものであって本発明を何ら限定するものではない。本実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含み、また任意好適な種々の改変が可能である。   The first and second embodiments are described for facilitating the understanding of the present invention, and do not limit the present invention. Each element disclosed in the present embodiment includes all design changes and equivalents belonging to the technical scope of the present invention, and various suitable modifications can be made.

例えば、前述した先行車両検出装置１０及び先行車両検出装置１０ｂにおいては、先行車両と自車両が衝突する時の先行車両の画像データ中の位置を基準の位置として設定し、観察される画像データ中の先行車両の位置をこの基準の位置（衝突位置）と比較することにより、その差を検出し、衝突余裕時間として検出するようにしていた。しかしながら、この基準の位置は、衝突する位置に限られるものではなく、任意の位置を設定してよい。例えば、自車両前方の所定距離離れた位置に相当する画像データ中の位置を基準の位置としてもよいし、あるいは、単に画像データ中において所定の画素の位置を基準の位置とするようにしてもよい。   For example, in the preceding vehicle detection device 10 and the preceding vehicle detection device 10b described above, the position in the image data of the preceding vehicle when the preceding vehicle collides with the host vehicle is set as the reference position, and the observed image data By comparing the position of the preceding vehicle with the reference position (collision position), the difference is detected and detected as a collision margin time. However, the reference position is not limited to the collision position, and an arbitrary position may be set. For example, a position in the image data corresponding to a position a predetermined distance away in front of the host vehicle may be used as the reference position, or a predetermined pixel position may be simply used as the reference position in the image data. Good.

また、先行車両検出装置１０及び先行車両検出装置１０ｂにより画像データ中から検出した先行車両の情報は、任意に使用してよい。すなわち、この検出結果を警報装置や制動制御装置に入力するようにして、先行車両との衝突を回避するための警報の発生あるいは減速等を行うようにしてもよい。また、自動的に先行車両に追従する装置に適用してもよい。   Moreover, you may use arbitrarily the information of the preceding vehicle detected from the image data by the preceding vehicle detection apparatus 10 and the preceding vehicle detection apparatus 10b. In other words, the detection result may be input to an alarm device or a braking control device to generate an alarm or decelerate to avoid a collision with a preceding vehicle. Moreover, you may apply to the apparatus which tracks a preceding vehicle automatically.

また、前述した先行車両検出装置１０及び先行車両検出装置１０ｂは、本発明を、先行する車両を検出する装置に適用した場合を説明したが、対象物が移動する画像処理装置であれば他の用途、例えば、物体の位置を検出するロボット用の装置としても適用可能である。   Further, the preceding vehicle detection device 10 and the preceding vehicle detection device 10b described above have been described in the case where the present invention is applied to a device that detects a preceding vehicle, but any other image processing device that moves an object may be used. The present invention can also be applied to a use, for example, a device for a robot that detects the position of an object.

図１は、本発明の第１の実施形態の先行車両検出装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a preceding vehicle detection device according to the first embodiment of the present invention. 図２は、図１に示した先行車両検出装置を説明するための図である。FIG. 2 is a diagram for explaining the preceding vehicle detection apparatus shown in FIG. 図３は、図１に示した先行車両検出装置のＴＴＣ算出部の処理の流れを示すフローチャートである。FIG. 3 is a flowchart showing a process flow of the TTC calculation unit of the preceding vehicle detection apparatus shown in FIG. 図４は、図１に示した先行車両検出装置の拡大縮小処理部の処理を説明するための図である。FIG. 4 is a diagram for explaining processing of the enlargement / reduction processing unit of the preceding vehicle detection device shown in FIG. 1. 図５は、本発明の第２の実施形態の先行車両検出装置の構成を示すブロック図である。FIG. 5 is a block diagram showing the configuration of the preceding vehicle detection device of the second exemplary embodiment of the present invention.

符号の説明Explanation of symbols

１…自車両（車両）
２…先行車両
３…画像データ
４…画像データ中の移動速度検出対象部
５…画像データ中の衝突位置
１０…先行車両検出装置
１１…撮像部
１２…テンプレート生成部
１３…ＴＴＣ算出部
１４，１４ｂ…拡大縮小処理部
１５，１５ｂ…パターンマッチング処理部 1 ... Own vehicle (vehicle)
2 ... Leading vehicle 3 ... Image data 4 ... Moving speed detection target part 5 in image data ... Collision position 10 in image data ... Preceding vehicle detection device 11 ... Imaging part 12 ... Template generating part 13 ... TTC calculating part 14, 14b ... Enlargement / reduction processing unit 15, 15b ... Pattern matching processing unit

Claims (14)

検出対象の物体を含む所望の情景を撮影する撮影手段と、前記検出対象の物体の画像を含む画像データをテンプレートとして用いて前記撮影して得られた画像データに対してマッチング処理を行い、当該撮影して得られた画像データから前記テンプレートに相当する画像を検出するマッチング手段とを有する物体検出装置であって、
前記撮影して得られた画像データ上において、前記物体が所定の基準位置に達するまでの余裕時間を検出する余裕時間検出手段と、
前記検出された余裕時間と、前記テンプレートに含まれる前記物体の画像と同じサイズの当該物体の画像が前記撮影して得られた画像データ中に観察された場合に、当該物体が前記画像データ上の前記所定の基準位置に達するまでの余裕時間とに基づいて、前記撮影して得られた画像に含まれる前記物体のサイズと前記テンプレートに含まれる前記物体のサイズとの比率を検出し、前記サイズが等しくなるように、前記テンプレート又は前記撮影して得られた画像データのサイズを調整するサイズ調整手段とをさらに有し、
前記マッチング手段は、前記サイズの調整された前記テンプレート又は前記撮影して得られた画像データを用いて前記マッチング処理を行い、前記撮影して得られた画像データから前記テンプレートに相当する画像を検出する
物体検出装置。 A photographing unit for photographing a desired scene including the object to be detected, and a matching process on the image data obtained by photographing using the image data including the image of the object to be detected as a template, An object detection device having matching means for detecting an image corresponding to the template from image data obtained by photographing,
On the image data obtained by photographing, margin time detecting means for detecting margin time until the object reaches a predetermined reference position;
When the detected margin time and an image of the object having the same size as the image of the object included in the template are observed in the image data obtained by shooting, the object is displayed on the image data. Detecting a ratio between the size of the object included in the image obtained by photographing and the size of the object included in the template, based on a margin time until the predetermined reference position is reached, Size adjustment means for adjusting the size of the template or the image data obtained by photographing so that the sizes are equal;
The matching means performs the matching process using the template having the adjusted size or the image data obtained by photographing, and detects an image corresponding to the template from the image data obtained by photographing. Yes Object detection device. 前記撮影して得られた画像データに基づいて前記テンプレートを作成するテンプレート作成手段をさらに有し、
前記サイズ調整手段は、前記検出された余裕時間と、前記テンプレートを作成した前記画像データ上において前記物体が所定の基準位置に達するまでの余裕時間とに基づいて、前記比率を検出する
請求項１に記載の物体検出装置。 It further has a template creation means for creating the template based on the image data obtained by photographing,
The size adjustment unit detects the ratio based on the detected margin time and the margin time until the object reaches a predetermined reference position on the image data on which the template is created. The object detection apparatus described in 1. 前記余裕時間検出手段は、
前記撮影して得られた画像データから前記物体に係る所定の画像を抽出し、
前記抽出された所定の画像の当該画像データ上の位置と、当該画像データ上の所定の基準位置との当該画像データ上における距離を検出し、
前記撮影して得られた画像データに基づいて検出された前記距離と、以前に撮影して得られた前記画像データに基づいて検出された前記距離とに基づいて、前記物体に係る所定の画像の当該画像データ中における移動速度を検出し、
前記撮影して得られた画像データに基づいて検出された前記距離と、前記検出された移動速度とに基づいて、前記画像データ上において、前記物体に係る所定の画像が前記所定の基準位置に達するまでの時間を前記余裕時間として検出する
請求項１又は２に記載の物体検出装置。 The margin time detecting means includes
Extracting a predetermined image relating to the object from the image data obtained by photographing,
Detecting a distance on the image data between a position on the image data of the extracted predetermined image and a predetermined reference position on the image data;
A predetermined image relating to the object based on the distance detected based on the image data obtained by photographing and the distance detected based on the image data obtained by photographing previously. Detects the movement speed in the image data,
Based on the distance detected based on the image data obtained by the photographing and the detected moving speed, a predetermined image related to the object is located at the predetermined reference position on the image data. The object detection device according to claim 1, wherein a time until the time is reached is detected as the margin time. 前記サイズ調整手段は、前記検出された比率に基づいて前記テンプレートのサイズを調整し、
前記マッチング手段は、前記サイズの調整されたテンプレートを用いて、前記撮影して得られた画像データに対してマッチング処理を行い、当該撮影して得られた画像データから前記テンプレートに相当する画像を検出する
請求項１〜３のいずれかに記載の物体検出装置。 The size adjusting means adjusts the size of the template based on the detected ratio,
The matching unit performs a matching process on the image data obtained by the photographing using the template having the adjusted size, and an image corresponding to the template is obtained from the image data obtained by the photographing. It detects. The object detection apparatus in any one of Claims 1-3. 前記サイズ調整手段は、前記検出された比率に基づいて前記撮影された画像データのサイズを調整し、
前記マッチング手段は、前記サイズの調整された前記撮影して得られた画像データに対して前記テンプレートを用いてマッチング処理を行い、前記撮影して得られた画像データから前記テンプレートに相当する画像を検出する
請求項１〜４のいずれかに記載の物体検出装置。 The size adjusting means adjusts the size of the captured image data based on the detected ratio,
The matching unit performs a matching process using the template on the image data obtained by taking the image whose size has been adjusted, and an image corresponding to the template is obtained from the image data obtained by taking the image. Detecting The object detection device according to claim 1. 車両に搭載される物体検出装置であって、
前記検出対象の物体は先行車両であり、
前記撮像手段は、車両の進行方向の情景を撮像する
請求項１〜５のいずれかに記載の物体検出装置。 An object detection device mounted on a vehicle,
The object to be detected is a preceding vehicle;
The object detection apparatus according to claim 1, wherein the imaging unit images a scene in a traveling direction of the vehicle. 前記余裕時間検出手段は、前記撮影して得られた車両の進行方向の情景の画像データ上において、前記先行車両の像が、自車両と先行車両との衝突に係る所定の位置に達するまでの時間を検出する
請求項６に記載の物体検出装置。 The allowance time detecting means until the image of the preceding vehicle reaches a predetermined position related to a collision between the host vehicle and the preceding vehicle on the image data of the scene in the traveling direction of the vehicle obtained by the photographing. The object detection device according to claim 6 which detects time. 検出対象の物体を含む所望の情景を撮影し、前記検出対象の物体の画像を含む画像データをテンプレートとして用いて前記撮影して得られた画像データに対してマッチング処理を行い、当該撮影して得られた画像データから前記テンプレートに相当する画像を検出する物体検出方法であって、
前記撮影して得られた画像データ上において、前記物体が所定の基準位置に達するまでの余裕時間を検出し、
前記検出された余裕時間と、前記テンプレートに含まれる前記物体の画像と同じサイズの当該物体の画像が前記撮影して得られた画像データ中に観察された場合に、当該物体が前記画像データ上の前記所定の基準位置に達するまでの余裕時間とに基づいて、前記撮影して得られた画像に含まれる前記物体のサイズと前記テンプレートに含まれる前記物体のサイズとの比率を検出し、
前記撮影して得られた画像に含まれる前記物体のサイズと前記テンプレートに含まれる前記物体のサイズとが等しくなるように、前記テンプレート又は前記撮影して得られた画像データのサイズを調整し、
前記サイズの調整された前記テンプレート又は前記撮影して得られた画像データを用いて前記マッチング処理を行い、前記撮影して得られた画像データから前記テンプレートに相当する画像を検出する
物体検出方法。 A desired scene including the object to be detected is photographed, image data including the image of the object to be detected is used as a template, matching processing is performed on the image data obtained by the photographing, and the photograph is taken. An object detection method for detecting an image corresponding to the template from obtained image data,
On the image data obtained by shooting, the margin time until the object reaches a predetermined reference position is detected,
When the detected margin time and an image of the object having the same size as the image of the object included in the template are observed in the image data obtained by shooting, the object is displayed on the image data. Detecting a ratio between the size of the object included in the image obtained by the image capturing and the size of the object included in the template, based on a margin time until the predetermined reference position is reached,
Adjusting the size of the template or the image data obtained by photographing so that the size of the object contained in the image obtained by photographing is equal to the size of the object contained in the template;
An object detection method that performs the matching process using the template having the adjusted size or the image data obtained by photographing, and detects an image corresponding to the template from the image data obtained by photographing. 前記テンプレートは、前記撮影して得られた画像データに基づいて作成し、
前記撮影して得られた画像に含まれる前記物体のサイズと前記テンプレートに含まれる前記物体のサイズとの比率は、前記検出された余裕時間と、前記テンプレートを作成した前記画像データ上において前記物体が所定の基準位置に達するまでの余裕時間とに基づいて検出する
請求項８に記載の物体検出方法。 The template is created based on the image data obtained by the shooting,
The ratio between the size of the object included in the image obtained by photographing and the size of the object included in the template is determined based on the detected margin time and the object on the image data that created the template. The object detection method according to claim 8, wherein detection is performed based on a margin time until the motor reaches a predetermined reference position. 前記余裕時間の検出は、
前記撮影して得られた画像データから前記物体に係る所定の画像を抽出し、
前記抽出された所定の画像の当該画像データ上の位置と、当該画像データ上の所定の基準位置との当該画像データ上における距離を検出し、
前記撮影して得られた画像データに基づいて検出された前記距離と、以前に撮影して得られた前記画像データに基づいて検出された前記距離とに基づいて、前記物体に係る所定の画像の当該画像データ中における移動速度を検出し、
前記撮影して得られた画像データに基づいて検出された前記距離と、前記検出された移動速度とに基づいて、前記画像データ上において、前記物体に係る所定の画像が前記所定の基準位置に達するまでの時間を前記余裕時間として検出する
ことにより行う請求項８又は９に記載の物体検出方法。 The detection of the margin time is
Extracting a predetermined image relating to the object from the image data obtained by photographing,
Detecting a distance on the image data between a position on the image data of the extracted predetermined image and a predetermined reference position on the image data;
A predetermined image relating to the object based on the distance detected based on the image data obtained by photographing and the distance detected based on the image data obtained by photographing previously. Detects the movement speed in the image data,
Based on the distance detected based on the image data obtained by the photographing and the detected moving speed, a predetermined image related to the object is located at the predetermined reference position on the image data. The object detection method according to claim 8, wherein the object detection method is performed by detecting a time until it reaches the margin time. 前記検出された比率に基づいて前記テンプレートのサイズを調整し、
前記サイズの調整されたテンプレートを用いて、前記撮影して得られた画像データに対してマッチング処理を行い、当該撮影して得られた画像データから前記テンプレートに相当する画像を検出する
請求項８〜１０のいずれかに記載の物体検出方法。 Adjusting the size of the template based on the detected ratio;
9. A matching process is performed on the image data obtained by photographing using the template having the adjusted size, and an image corresponding to the template is detected from the image data obtained by photographing. The object detection method in any one of 10-10. 前記検出された比率に基づいて前記撮影された画像データのサイズを調整し、
前記サイズの調整された前記撮影して得られた画像データに対して前記テンプレートを用いてマッチング処理を行い、前記撮影して得られた画像データから前記テンプレートに相当する画像を検出する
請求項８〜１１のいずれかに記載の物体検出方法。 Adjusting the size of the captured image data based on the detected ratio;
9. The matching processing is performed using the template on the image data obtained by taking the image whose size is adjusted, and an image corresponding to the template is detected from the image data obtained by taking the image. The object detection method in any one of -11. 前記検出対象の物体は先行車両であり、車両の進行方向の情景を撮像した画像データから先行車両を検出する
請求項８〜１２のいずれかに記載の物体検出方法。 The object detection method according to claim 8, wherein the object to be detected is a preceding vehicle, and the preceding vehicle is detected from image data obtained by capturing a scene in the traveling direction of the vehicle. 前記余裕時間の検出は、前記撮影して得られた車両の進行方向の情景の画像データ上において、前記先行車両の像が、自車両と先行車両との衝突に係る所定の位置に達するまでの時間を検出する
請求項１３に記載の物体検出方法。 The margin time is detected until the image of the preceding vehicle reaches a predetermined position related to the collision between the host vehicle and the preceding vehicle on the image data of the scene in the traveling direction of the vehicle obtained by the photographing. The object detection method according to claim 13, wherein time is detected.
JP2004323791A 2004-11-08 2004-11-08 Object detection system and its method Pending JP2006133125A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004323791A JP2006133125A (en) 2004-11-08 2004-11-08 Object detection system and its method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004323791A JP2006133125A (en) 2004-11-08 2004-11-08 Object detection system and its method

Publications (1)

Publication Number Publication Date
JP2006133125A true JP2006133125A (en) 2006-05-25

Family

ID=36726788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004323791A Pending JP2006133125A (en) 2004-11-08 2004-11-08 Object detection system and its method

Country Status (1)

Country Link
JP (1) JP2006133125A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311711B2 (en) 2014-03-24 2016-04-12 Toshiba Alpine Automotive Technology Corporation Image processing apparatus and image processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9311711B2 (en) 2014-03-24 2016-04-12 Toshiba Alpine Automotive Technology Corporation Image processing apparatus and image processing method

Similar Documents

Publication Publication Date Title
JP2007172035A (en) Onboard image recognition device, onboard imaging device, onboard imaging controller, warning processor, image recognition method, imaging method and imaging control method
KR20170014168A (en) Camera device for vehicle
JP2005300315A (en) Object detection device
US20120219183A1 (en) 3D Object Detecting Apparatus and 3D Object Detecting Method
JP6032034B2 (en) Object detection device
JP6065629B2 (en) Object detection device
JP6299651B2 (en) Image processing device
JP2012252501A (en) Traveling path recognition device and traveling path recognition program
JP2014130429A (en) Photographing device and three-dimensional object area detection program
JP2009146153A (en) Moving object detection device, moving object detection method and moving object detection program
JP2010003253A (en) Motion estimation device
JP2007087203A (en) Collision determination system, collision determination method, and computer program
JP2018201146A (en) Image correction apparatus, image correction method, attention point recognition apparatus, attention point recognition method, and abnormality detection system
JP4321410B2 (en) Object detection apparatus and method
JP6174884B2 (en) Outside environment recognition device and outside environment recognition method
JP4469980B2 (en) Image processing method for tracking moving objects
JP2006133125A (en) Object detection system and its method
JP2012185555A (en) Object detecting device and method, and program
KR102485318B1 (en) System and Method for Recognizing Cut-in Vehicle on the basis of Monocular Image
JP6396840B2 (en) Object detection device
JP2004271250A (en) Vehicle following distance detector
JP2007317128A (en) Device and method for detecting moving distance
KR102051324B1 (en) Surround view monitoring system
JP2011095846A (en) Device, method and program for detection of vehicle position
JP2010205039A (en) Obstacle detection device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081209

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090407