JP2011180020A - Distance recognition device - Google Patents

Distance recognition device Download PDF

Info

Publication number
JP2011180020A
JP2011180020A JP2010045493A JP2010045493A JP2011180020A JP 2011180020 A JP2011180020 A JP 2011180020A JP 2010045493 A JP2010045493 A JP 2010045493A JP 2010045493 A JP2010045493 A JP 2010045493A JP 2011180020 A JP2011180020 A JP 2011180020A
Authority
JP
Japan
Prior art keywords
distance
vehicle
captured image
calculated
reg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010045493A
Other languages
Japanese (ja)
Inventor
Shiho Tanaka
志歩 田中
Kenichi Yamada
憲一 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihatsu Motor Co Ltd
Original Assignee
Daihatsu Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihatsu Motor Co Ltd filed Critical Daihatsu Motor Co Ltd
Priority to JP2010045493A priority Critical patent/JP2011180020A/en
Publication of JP2011180020A publication Critical patent/JP2011180020A/en
Withdrawn legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To provide such a technology that can improve the recognition accuracy of distance between own vehicle and an object when a photographed image includes the object at a position far from the own vehicle. <P>SOLUTION: A distance between own vehicle and an object is recognized by a recognizer 6e on the basis of a distance Z between own vehicle and an object that is calculated by a distance calculator according to each of edges hEG, lEG and rEG. When an object at a position far from the own vehicle is included in a photographed image F, the distance Z between the own vehicle and the object is recognized based on each of the distances Z calculated by different methods, even when each of the distances Z calculated by a distance calculator 6d according to each of the edges hEG, lEG and rEG may vary from the actual distance between the own vehicle and the object. Accordingly, the recognized distance is prevented from varying greatly from the actual distance Z and the recognition accuracy of the distance Z between the own vehicle and the object can be improved. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

この発明は、車載カメラにより撮影された撮影画像に基づいて自車から物体までの距離を認識する技術に関する。   The present invention relates to a technique for recognizing a distance from an own vehicle to an object based on a photographed image photographed by an in-vehicle camera.

従来、車載カメラにより撮影された撮影画像に含まれる物体の水平エッジに基づいて自車から物体までの距離を認識する技術が知られている(例えば、特許文献1参照)。すなわち、撮影画像が処理されることにより撮影画像に含まれる物体の水平エッジが検出され、撮影画像の下端から検出された水平エッジまでの垂直距離に基づいて自車から物体までの距離が算出される。   2. Description of the Related Art Conventionally, a technique for recognizing a distance from an own vehicle to an object based on a horizontal edge of an object included in a captured image captured by an in-vehicle camera is known (for example, see Patent Document 1). That is, the horizontal edge of the object included in the captured image is detected by processing the captured image, and the distance from the vehicle to the object is calculated based on the vertical distance from the lower end of the captured image to the detected horizontal edge. The

特開平3−273500号公報(第3頁右上欄〜第3頁左下欄、第7図など)JP-A-3-273500 (page 3, upper right column to page 3, lower left column, FIG. 7, etc.)

ところで、車載カメラの撮影画像の上部(奥側:自車から遠い位置)では、撮影画像の下部(手前側:自車から近い位置)比べて、奥行き方向の距離が圧縮されて撮影されている。すなわち、撮影画像を形成する各画素に割当てられた自車から物体までの距離の範囲が、撮影画像の奥側の方が撮影画像の手前側に比べて大きくなる。そのため、撮影画像の奥側において物体の水平エッジが検出された場合、検出された水平エッジの位置が撮影画像内で上下方向(奥行き方向)に1画素ずれるだけで、認識される自車から物体までの距離が大きく変化する。したがって、撮影画像の奥側において水平エッジが検出された場合には、検出された水平エッジに基づいて認識された自車から物体までの距離と、実際の自車から物体までの距離との間に大きなずれが生じるおそれがあった。   By the way, in the upper part of the captured image of the in-vehicle camera (the back side: a position far from the own vehicle), the distance in the depth direction is compressed and compared with the lower part of the captured image (the near side: a position close to the own vehicle). . That is, the range of the distance from the vehicle to the object assigned to each pixel forming the captured image is larger on the back side of the captured image than on the near side of the captured image. Therefore, when a horizontal edge of an object is detected on the back side of the captured image, the object from the recognized vehicle can be detected only by shifting the position of the detected horizontal edge by one pixel in the vertical direction (depth direction) in the captured image. The distance up to changes greatly. Therefore, if a horizontal edge is detected on the far side of the captured image, the distance between the vehicle and the object recognized based on the detected horizontal edge and the actual distance from the vehicle to the object There was a risk that a large deviation would occur.

本発明は、上記課題に鑑みてなされたものであり、自車から遠い位置の物体が撮影画像に含まれている場合に、自車から物体までの距離の認識精度の向上を図ることができる技術を提供することを目的とする。   The present invention has been made in view of the above problems, and when an object far from the host vehicle is included in the captured image, the recognition accuracy of the distance from the host vehicle to the object can be improved. The purpose is to provide technology.

上記した目的を達成するために、本発明の距離認識装置は、車載カメラにより撮影された撮影画像に基づいて自車から物体までの距離を認識する距離認識装置において、前記撮影画像に含まれる前記物体の下端を示す水平エッジの位置に基づき前記自車から前記物体までの距離を算出する第1距離算出手段と、前記撮影画像が射影変換された上方視画像に含まれる前記物体の左右端を示す垂直エッジが為す角度を二等分する中心軸を求め、前記両垂直エッジの少なくともいずれか一方において、前記中心軸から当該垂直エッジの下端までの長さと、前記中心軸に対する当該垂直エッジの角度とに基づいて前記自車から前記物体までの距離を算出する第2距離算出手段と、前記第1距離算出手段による第1の距離と前記第2距離算出手段による第2の距離とに基づいて前記自車から前記物体までの距離を認識する認識手段とを備えることを特徴としている(請求項1)。   In order to achieve the above-described object, a distance recognition device according to the present invention includes a distance recognition device that recognizes a distance from an own vehicle to an object based on a photographed image photographed by an in-vehicle camera. First distance calculating means for calculating a distance from the own vehicle to the object based on a position of a horizontal edge indicating a lower end of the object; and left and right ends of the object included in the upper-view image obtained by projectively converting the captured image. A central axis that bisects the angle formed by the vertical edge is obtained, and at least one of the two vertical edges, the length from the central axis to the lower end of the vertical edge, and the angle of the vertical edge with respect to the central axis Second distance calculating means for calculating a distance from the own vehicle to the object based on the first distance by the first distance calculating means and the second distance calculating means. It is characterized in that the said vehicle on the basis of the second distance and a recognition means for recognizing the distance to the object (claim 1).

また、請求項1に記載の距離認識装置において、前記認識手段は、前記第1の距離および前記第2の距離を平均することにより前記物体までの距離を認識するようにしてもよい(請求項2)。   In the distance recognition device according to claim 1, the recognition unit may recognize a distance to the object by averaging the first distance and the second distance. 2).

また、請求項1または2に記載の距離認識装置において、前記第1距離算出手段および前記第2距離算出手段の少なくともいずれか一方は、前記撮影手段による複数フレームの前記撮影画像のうち、前記自車から前記物体までの距離を算出するときの前記物体の基準位置が前記各撮影画像の同一画素に位置するフレームの数と、当該同一画素に割当てられた前記自車から前記物体までの割当距離とに基づき、前記割当距離を前記フレームの数により均等に分割することで前記物体の移動量を導出し、導出された前記移動量に基づいて前記自車から前記物体までの距離を算出するとよい(請求項3)。   The distance recognition apparatus according to claim 1 or 2, wherein at least one of the first distance calculation unit and the second distance calculation unit is the self-image among a plurality of frames of the captured image by the imaging unit. The number of frames in which the reference position of the object when calculating the distance from the vehicle to the object is located in the same pixel of each captured image, and the assigned distance from the own vehicle assigned to the same pixel to the object Based on the above, it is preferable to derive the movement amount of the object by equally dividing the allocated distance by the number of frames, and to calculate the distance from the host vehicle to the object based on the derived movement amount. (Claim 3).

請求項1に記載の発明によれば、車載カメラにより撮影された撮影画像に基づいて自車から物体までの距離を認識するときに、撮影画像に含まれる物体の下端を示す水平エッジの位置に基づき自車から物体までの距離が第1距離算出手段により算出される。   According to the first aspect of the present invention, when the distance from the own vehicle to the object is recognized based on the captured image captured by the in-vehicle camera, the horizontal edge position indicating the lower end of the object included in the captured image is set. Based on this, the distance from the vehicle to the object is calculated by the first distance calculating means.

そして、第2距離算出手段により、撮影画像が射影変換された上方視画像に含まれる物体の左右端を示す垂直エッジが為す角度を二等分する中心軸が求められ、両垂直エッジの少なくともいずれか一方において、中心軸から当該垂直エッジの下端までの長さと、中心軸に対する当該垂直エッジの角度とに基づいて自車から物体までの距離が算出され、第1距離算出手段による第1の距離と第2距離算出手段による第2の距離とに基づいて自車から物体までの距離が認識手段により認識される。   Then, the second distance calculating means obtains a central axis that bisects the angle formed by the vertical edges indicating the left and right ends of the object included in the upper-view image obtained by projective transformation of the captured image, and at least one of the two vertical edges. On the other hand, the distance from the vehicle to the object is calculated based on the length from the central axis to the lower end of the vertical edge and the angle of the vertical edge with respect to the central axis, and the first distance is calculated by the first distance calculating means. And the distance from the own vehicle to the object is recognized by the recognition means based on the second distance by the second distance calculation means.

したがって、自車から遠い位置の物体が撮影画像に含まれているときに、第1距離算出手段により算出される第1の距離が自車と物体との実際の距離とずれるおそれがある場合であっても、それぞれ異なる方法で算出される第1の距離と第2の距離とに基づいて自車から物体までの距離が認識されるため、認識される距離が実際の距離から大きくずれることが防止され、自車から物体までの距離の認識精度の向上を図ることができる。   Therefore, when an object at a position far from the own vehicle is included in the captured image, the first distance calculated by the first distance calculating unit may be shifted from the actual distance between the own vehicle and the object. Even in such a case, since the distance from the vehicle to the object is recognized based on the first distance and the second distance calculated by different methods, the recognized distance may greatly deviate from the actual distance. Thus, the recognition accuracy of the distance from the vehicle to the object can be improved.

請求項2の発明によれば、撮影画像内の無限遠点を基準とした各領域において1画素の表す距離がそれぞれ異なるため、水平エッジに基づく第1の距離および垂直エッジに基づく第2の距離のいずれもが誤差を含むおそれがあるが、認識手段は、第1の距離および第2の距離を平均することにより自車から物体までの距離を認識することにより、認識される自車から物体までの距離の認識精度のさらなる向上を図ることができる。   According to the invention of claim 2, since the distance represented by one pixel is different in each region based on the infinity point in the captured image, the first distance based on the horizontal edge and the second distance based on the vertical edge However, the recognition means recognizes the distance from the own vehicle to the object by averaging the first distance and the second distance, thereby recognizing the object from the recognized own vehicle. Can be further improved.

請求項3の発明によれば、自車と物体との距離が相対的に移動しているのも関わらず、複数フレームの撮影画像において、自車から物体までの距離を算出するときの物体の基準位置が移動していない場合であっても、第1距離算出手段および第2距離算出手段の少なくともいずれか一方は、撮影手段による複数フレームの撮影画像のうち、前記基準位置が各撮影画像の同一画素に位置するフレームの数と、当該同一画素に割当てられた自車から物体までの割当距離とに基づき、割当距離をフレームの数により均等に分割してフレームごとの物体の移動量を導出し、導出された移動量に基づいて自車から物体までの距離を算出するため、実際の自車から物体までの距離をより精度よく認識することができる。   According to the invention of claim 3, the object when calculating the distance from the own vehicle to the object in a plurality of frames of the captured image, even though the distance between the own vehicle and the object is relatively moving. Even when the reference position is not moved, at least one of the first distance calculation unit and the second distance calculation unit is configured such that the reference position of each of the captured images is a plurality of frames of the captured images. Based on the number of frames located at the same pixel and the assigned distance from the vehicle to the object assigned to the same pixel, the assigned distance is divided equally by the number of frames to derive the amount of movement of the object for each frame. Since the distance from the own vehicle to the object is calculated based on the derived movement amount, the actual distance from the own vehicle to the object can be recognized with higher accuracy.

本発明の物体認識装置の一実施形態のブロック図である。It is a block diagram of one embodiment of an object recognition device of the present invention. 撮影画像の一例を示す図である。It is a figure which shows an example of a picked-up image. 算出された自車から物体までの距離を示す図である。It is a figure which shows the distance from the calculated own vehicle to an object. フレームごとの物体の移動量を示す図である。It is a figure which shows the moving amount | distance of the object for every flame | frame. 図1の動作説明用のフローチャートである。It is a flowchart for operation | movement description of FIG.

本発明の一実施形態について、図1〜図5を参照して説明する。   An embodiment of the present invention will be described with reference to FIGS.

図1は本発明の物体認識装置2の一実施形態のブロック図である。図2は単眼カメラ3の撮影画像Fの一例を示す図であって、(a)はカメラ視点の撮影画像F、(b)は撮影画像Fが射影変換された上方視画像tFに含まれる水平エッジhEGが強調された例を示し、(c)は撮影画像Fが射影変換された上方視画像tFに含まれる垂直エッジlEG,rEGが強調された例を示す。図3は各時刻における算出された自車1から物体までの距離を示す図であって、(a)は物体の下端を示す水平エッジhEGに基づく自車1から物体までの距離Z、(b)は物体の左端を示す垂直エッジlEGに基づく自車1から物体までの距離Z、(c)は物体の右端を示す垂直エッジrEGに基づく自車1から物体までの距離Zを示す。図4はフレームごとの物体の移動量を示す図である。図5は図1の動作説明用のフローチャートである。   FIG. 1 is a block diagram of an embodiment of an object recognition apparatus 2 of the present invention. 2A and 2B are diagrams illustrating an example of a captured image F of the monocular camera 3. FIG. 2A is a captured image F taken from the camera viewpoint, and FIG. 2B is a horizontal view included in the upper-view image tF obtained by projective transformation of the captured image F. An example in which the edge hEG is emphasized is shown, and (c) shows an example in which the vertical edges lEG and rEG included in the upper view image tF obtained by projective transformation of the captured image F are emphasized. FIG. 3 is a diagram showing the calculated distance from the own vehicle 1 to the object at each time. FIG. 3A shows the distance Z from the own vehicle 1 to the object based on the horizontal edge hEG indicating the lower end of the object. ) Indicates the distance Z from the own vehicle 1 to the object based on the vertical edge lEG indicating the left end of the object, and (c) indicates the distance Z from the own vehicle 1 to the object based on the vertical edge rEG indicating the right end of the object. FIG. 4 is a diagram showing the amount of movement of the object for each frame. FIG. 5 is a flowchart for explaining the operation of FIG.

1.構成
図1に示す物体認識装置2は、自車1に搭載された単眼カメラ3(本発明の「車載カメラ」に相当)により撮影された撮影画像Fに基づいて自車1から物体(他車両12)までの距離Zを認識するものであって、単眼カメラ3と、単眼カメラ3の撮影画像Fや種々のデータを記憶する記憶手段4と、単眼カメラ3の撮影画像Fを処理するマイクロコンピュータ構成のECU6と、例えばインストルメントパネルなどに取付けられたCRT、液晶ディスプレイなどの走行モニタ7と、警報用のスピーカ8とを備えている。
1. Configuration An object recognition device 2 shown in FIG. 1 is an object (another vehicle) from the own vehicle 1 on the basis of a photographed image F photographed by a monocular camera 3 (corresponding to an “on-vehicle camera” of the present invention) mounted on the own vehicle 1. 12), and a microcomputer for processing the captured image F of the monocular camera 3, the storage means 4 for storing the captured image F of the monocular camera 3 and various data, and the like. An ECU 6 having a configuration, a travel monitor 7 such as a CRT attached to an instrument panel or the like, a liquid crystal display, and an alarm speaker 8 are provided.

単眼カメラ3は、この実施形態では自車1の前方の撮影が可能なモノクロあるいはカラー撮影が可能なカメラから成り、連続的に時々刻々と撮影した撮影画像Fの信号を出力する(図2(a)参照)。また、自車1の前方の路面撮影を行なうため、単眼カメラ3は、自車1の車内の前方の上部位置に、上方から適当な角度で斜め下の路面をねらうように設けられている。   In this embodiment, the monocular camera 3 includes a monochrome or color camera capable of shooting in front of the host vehicle 1 and outputs a signal of a captured image F that is continuously and momentarily captured (FIG. 2 ( a)). Further, in order to perform road surface photography in front of the host vehicle 1, the monocular camera 3 is provided at an upper position in front of the host vehicle 1 in the vehicle so as to aim at an obliquely lower road surface from above.

記憶手段4は、各種メモリやハードディスクドライブなどを備え、単眼カメラ3から時々刻々と出力される撮影画像Fに対してECU6により種々の処理を施す際に使用される各種データ、撮影画像Fに対してECU6により種々の処理が施されることにより得られた各種データなどを格納する。   The storage unit 4 includes various memories, a hard disk drive, and the like. For the captured image F, various data used when the ECU 6 performs various processes on the captured image F output from the monocular camera 3 every moment. The ECU 6 stores various data obtained by performing various processes by the ECU 6.

ECU6は、例えばイグニッションキーのオンにより、予め設定された物体認識のプログラムを実行することにより以下の各手段を備えている。   The ECU 6 includes the following units by executing a preset object recognition program, for example, when the ignition key is turned on.

(1)取得手段6a
取得手段6aは、単眼カメラ3により時々刻々と撮影された撮影画像Fを取得する。例えば、図2(a)に示すように、単眼カメラ3により撮影された撮影画像Fには、走行車線の自車1の前方に先行車として走行する他車両12が撮影されており、取得手段6aはこの撮影画像Fを取得する。なお、この実施形態の撮影画像Fは、例えば480本のライン画像により形成されており、各ライン画像は例えば640画素により形成されている。
(1) Acquisition means 6a
The acquisition unit 6a acquires a captured image F captured by the monocular camera 3 every moment. For example, as shown in FIG. 2 (a), the captured image F captured by the monocular camera 3 captures the other vehicle 12 traveling as a preceding vehicle in front of the vehicle 1 in the traveling lane, and obtaining means. 6a acquires this captured image F. Note that the captured image F of this embodiment is formed by, for example, 480 line images, and each line image is formed by, for example, 640 pixels.

(2)検出手段6b
検出手段6bは、図2(a)に示す撮影画像Fから、水平エッジヒストグラムなどを利用した周知のエッジ検出処理により走行路上の物体の下端を示す水平エッジhEGを検出する下端エッジ検出部、垂直エッジヒストグラムなどを利用した周知のエッジ検出処理により走行路上の物体の左右端を示す垂直エッジlEG,rEGを検出する左端エッジ検出部および右端エッジ検出部としての機能を備え、撮影画像Fに含まれる物体(他車両12)下端の水平エッジhEG、左端の垂直エッジlEG、右端の垂直エッジrEGをそれぞれ検出する。
(2) Detection means 6b
The detection means 6b is a vertical edge detection unit that detects a horizontal edge hEG that indicates the lower edge of an object on the road from a captured image F shown in FIG. 2A by a known edge detection process using a horizontal edge histogram or the like. A function as a left edge detection unit and a right edge detection unit for detecting vertical edges lEG and rEG indicating the left and right edges of an object on the road by a known edge detection process using an edge histogram or the like is included in the photographed image F. A horizontal edge hEG at the lower end of the object (other vehicle 12), a vertical edge lEG at the left end, and a vertical edge rEG at the right end are detected.

(3)変換手段6c
変換手段6cは、単眼カメラ3により時々刻々と撮影された各時刻における撮影画像Fを、路面に仮想面を設定し、図2(b),(c)に示す上方視画像tFに射影変換する。そして、単眼カメラ3により時系列に撮影されて変換手段6cにより射影変換される各フレームの撮影画像Fに関する種々のデータは記憶手段4に記憶される。なお、この実施形態では、図2(a)に示すように、撮影画像Fに含まれる物体の下端を示す水平エッジhEG、左端を示す垂直エッジlEG、右端を示す垂直エッジrEGが検出された状態の撮影画像Fが変換手段6cにより射影変換される。また、単眼カメラ3の撮影画像Fが路面に設定された仮想面に射影変換された上方視画像tFでは物体(他車両12)の上端側が歪んだ画像となる。
(3) Conversion means 6c
The conversion means 6c sets a virtual plane on the road surface and captures the captured image F taken at every time by the monocular camera 3 into a top view image tF shown in FIGS. 2 (b) and 2 (c). . Various data relating to the captured image F of each frame that is captured in time series by the monocular camera 3 and is projectively converted by the conversion unit 6 c is stored in the storage unit 4. In this embodiment, as shown in FIG. 2A, a horizontal edge hEG indicating the lower end of the object included in the captured image F, a vertical edge lEG indicating the left end, and a vertical edge rEG indicating the right end are detected. The photographed image F is projectively converted by the converting means 6c. In addition, in the upper-view image tF obtained by projecting the captured image F of the monocular camera 3 onto the virtual plane set on the road surface, the upper end side of the object (the other vehicle 12) is distorted.

(4)距離算出手段6d
距離算出手段6dは、図12(b)に示す水平エッジhEGが強調された上方視画像tFと、同図(c)に示す垂直エッジlEG,rEGが強調された上方視画像tFとに基づいて、自車1から物体までの距離Zを算出するものであって、この実施形態では以下の機能を備えている。
(4) Distance calculation means 6d
The distance calculation means 6d is based on the upward view image tF in which the horizontal edge hEG shown in FIG. 12B is emphasized and the upward view image tF in which the vertical edges lEG and rEG shown in FIG. The distance Z from the vehicle 1 to the object is calculated, and in this embodiment, the following functions are provided.

a)第1距離算出手段
第1距離算出手段は、図2(b)に示す上方視画像tFに含まれる物体の下端を示す水平エッジhEGの位置に基づき自車1から物体までの距離Z(第1の距離)を算出する(図3(a)参照)。
a) First distance calculation means The first distance calculation means is based on the position of the horizontal edge hEG indicating the lower end of the object included in the upper view image tF shown in FIG. First distance) is calculated (see FIG. 3A).

b)第2距離算出手段
第2距離算出手段は、上方視画像tFに含まれる物体の左右端を示す垂直エッジlEG,rEGの上方視画像tFの下端に対する角度θl,θrを導出することにより、両垂直エッジlEG,rEGが為す角度を二等分する中心軸CAを求め、物体左端を示す垂直エッジlEGの下端が物体の左下端と推定し、中心軸CAから垂直エッジlEGの下端までの長さLと、中心軸CAに対する垂直エッジlEGの角度とに基づいて、幾何学的な演算を行うことにより自車1から物体までの距離Z(第2の距離)を算出する(図3(b)参照)。
b) Second distance calculation means The second distance calculation means derives angles θl and θr of the vertical edges lEG and rEG indicating the left and right ends of the object included in the upper view image tF with respect to the lower end of the upper view image tF. A central axis CA that bisects the angle formed by both vertical edges lEG and rEG is obtained, the lower end of the vertical edge lEG indicating the left end of the object is estimated as the lower left end of the object, and the length from the central axis CA to the lower end of the vertical edge lEG is estimated. Based on the length L and the angle of the vertical edge lEG with respect to the central axis CA, a distance Z (second distance) from the vehicle 1 to the object is calculated by performing a geometric calculation (FIG. 3B). )reference).

また、第2距離算出手段は、物体右端を示す垂直エッジrEGの下端が物体の右下端と推定し、中心軸CAから垂直エッジrEGの下端までの長さと、中心軸CAに対する垂直エッジrEGの角度とに基づいて、幾何学的な演算を行うことにより自車1から物体までの距離Z(第3の距離)を算出する(図3(c)参照)。   Further, the second distance calculation means estimates that the lower end of the vertical edge rEG indicating the right end of the object is the lower right end of the object, the length from the central axis CA to the lower end of the vertical edge rEG, and the angle of the vertical edge rEG with respect to the central axis CA. Based on the above, a geometric calculation is performed to calculate a distance Z (third distance) from the vehicle 1 to the object (see FIG. 3C).

以上のように、距離算出手段6dは、図3(a),(b),(c)に示すように、水平エッジhEGおよび両垂直エッジlEG,rEGに基づく、自車1から物体までの距離Z(第1の距離〜第3の距離)を算出する。なお、両垂直エッジlEG,rEGの延長線の交点Oは単眼カメラ3の位置に相当する。また、上記中心軸は、上方視画像tFにおける単眼カメラ3の位置を通る垂直方向の軸である。   As described above, the distance calculation means 6d is configured to measure the distance from the vehicle 1 to the object based on the horizontal edge hEG and the two vertical edges lEG and rEG as shown in FIGS. 3 (a), (b), and (c). Z (first distance to third distance) is calculated. Note that the intersection point O of the extended lines of the two vertical edges lEG and rEG corresponds to the position of the monocular camera 3. The central axis is a vertical axis passing through the position of the monocular camera 3 in the upper-view image tF.

また、図3(a),(b),(c)は、それぞれ、時刻t0,t1,t2,t3,t4,t5,t6に単眼カメラ3により撮影された各フレームの撮影画像Fに含まれる各エッジhEG,lEG,rEGに基づいて距離算出手段6dにより算出された自車1から物体までの距離Z(第1の距離〜第3の距離)を示す。また、同じフレームの撮影画像Fに含まれる各エッジhEG,lEG,rEGに基づいて距離算出手段6dにより算出された距離Zの大きさが異なる場合があるのは、撮影画像Fの奥側(上部)においては、奥行き方向の距離が圧縮された圧縮画像となっているため、各画素に割当てられている自車1から物体までの距離の範囲が撮影画像Fの手前側(下部)に比べて大きいからである。   3A, 3B, and 3C are included in the captured image F of each frame captured by the monocular camera 3 at times t0, t1, t2, t3, t4, t5, and t6, respectively. A distance Z (first distance to third distance) from the vehicle 1 to the object calculated by the distance calculation means 6d based on each edge hEG, lEG, rEG is shown. The distance Z calculated by the distance calculation means 6d based on the edges hEG, lEG, and rEG included in the captured image F of the same frame may differ from the back side (upper part of the captured image F). ) Is a compressed image in which the distance in the depth direction is compressed, and therefore the range of the distance from the vehicle 1 to the object assigned to each pixel is compared to the near side (lower part) of the captured image F. Because it is big.

すなわち、図2(a)に示すように、自車1から遠い距離の景色が含まれる撮影画像Fの奥側では、撮影画像Fの手前側に比べて同じ大きさに割当てられる画素数が少なく、景色が圧縮された圧縮画像となっている。したがって、撮影画像Fの奥側では、撮影画像Fの手前側に比べると奥行き方向の同じ距離範囲に対して割当てられるライン画像の数が少ないため、検出手段6bにより検出される各エッジhEG,lEG,rEGの位置が前後方向(撮影画像Fの上下方向)に一画素分ずれるだけで、大きく異なる距離Zが距離算出手段6dにより算出される。また、圧縮画像となっている撮影画像Fの奥側において、検出手段6bにより検出される各エッジhEG,lEG,rEGの位置に微妙なずれが生じることが多く、これにより、図3(a),(b),(c)に示すように、同じフレームの撮影画像Fに含まれる各エッジhEG,lEG,rEGに基づいて距離算出手段6dにより算出される距離Zがそれぞれ異なる場合が生じる。   That is, as shown in FIG. 2A, the number of pixels assigned to the same size is smaller on the back side of the captured image F including the scenery far from the host vehicle 1 than on the near side of the captured image F. , The compressed image is a compressed landscape. Therefore, since the number of line images assigned to the same distance range in the depth direction is smaller on the far side of the photographed image F than on the near side of the photographed image F, each edge hEG, lEG detected by the detection unit 6b. , REG is calculated by the distance calculation means 6d only by shifting the position of rEG by one pixel in the front-rear direction (vertical direction of the captured image F). In addition, on the back side of the captured image F that is a compressed image, there is often a slight shift in the position of each edge hEG, lEG, rEG detected by the detection means 6b, and as a result, FIG. , (B), (c), the distance Z calculated by the distance calculation means 6d based on the edges hEG, lEG, rEG included in the captured image F of the same frame may be different.

そこで、この実施形態では、距離算出手段6d(第1距離算出手段、第2距離算出手段)は、以下の処理を行うことで、各エッジhEG,lEG,rEGに基づいて算出される自車1から物体までの距離Zの算出精度の向上を図っている。すなわち、距離算出手段6dは、単眼カメラ3による複数フレームの撮影画像Fのうち、自車1から物体までの距離Zを算出するときの物体の基準位置(水平エッジhEG、両垂直エッジlEG,rEGの下端)が各撮影画像Fの同一画素に位置するフレームの数と、当該画素に割当てられた自車1から物体までの割当距離とに基づき、割当距離をフレームの数により均等に分割することでフレームごとの物体の移動量dを導出し、導出された移動量dに基づいて自車1から物体までの距離Zを算出する。   Therefore, in this embodiment, the distance calculation means 6d (first distance calculation means, second distance calculation means) performs the following processing to calculate the own vehicle 1 calculated based on the edges hEG, lEG, rEG. The calculation accuracy of the distance Z from the object to the object is improved. That is, the distance calculation means 6d is the reference position of the object (horizontal edge hEG, both vertical edges lEG, rEG) when calculating the distance Z from the own vehicle 1 to the object among a plurality of frames of captured images F by the monocular camera 3. The allocated distance is equally divided by the number of frames based on the number of frames where the lower end of each captured image F is located at the same pixel and the allocated distance from the vehicle 1 to the object allocated to the pixel. Then, the movement amount d of the object for each frame is derived, and the distance Z from the vehicle 1 to the object is calculated based on the derived movement amount d.

例えば、図4に示す例では、距離算出のための物体の基準位置が、距離Zβに対応する画素に位置するフレームが4フレームあるため、当該画素に割当てられた自車1から物体までの割当距離Zβγ〜Zαβを均等に4つに分割することにより、1フレームあたりの物体の移動量dを導出する。そして、導出された移動量dに基づいて各時刻t0〜t5における自車1から物体までの距離Zを算出する。   For example, in the example shown in FIG. 4, since there are four frames in which the reference position of the object for calculating the distance is located at the pixel corresponding to the distance Zβ, the assignment from the own vehicle 1 assigned to the pixel to the object is performed. By dividing the distances Zβγ to Zαβ into four equally, the amount of movement d of the object per frame is derived. Then, the distance Z from the vehicle 1 to the object at each time t0 to t5 is calculated based on the derived movement amount d.

この実施形態では、距離算出手段6dは、以下の算出式により距離Zを算出する。
Z=Zβγ−Dβ・(N−Nβ−1)/Nβ
Z:自車1から物体までの距離
Zβγ:距離Zβが割当てられている画素が有する自車1から物体までの割当距離の一番小さい値
Dβ:割当距離Zβγ〜Zαβの距離範囲
Nβ:距離Zβが割当てられている画素に距離算出のための物体の基準位置(水平エッジhEG、両垂直エッジlEG,rEGの下端)が位置するフレームの数
N:物体の基準位置が距離Zβが割当てられている画素に位置する最初のフレームから距離Zを算出するフレームまでの数(例えば、時刻t4における単眼カメラ3の撮影画像Fに基づいて距離Zを算出するのであればN=4)
In this embodiment, the distance calculation means 6d calculates the distance Z by the following calculation formula.
Z = Zβγ-Dβ · (N-Nβ-1) / Nβ
Z: distance from own vehicle 1 to object Zβγ: smallest value of assigned distance from own vehicle 1 to object possessed by pixel to which distance Zβ is assigned Dβ: distance range of assigned distances Zβγ to Zαβ Nβ: distance Zβ The number of frames in which the reference position of the object (horizontal edge hEG, lower end of both vertical edges lEG and rEG) is located for the distance calculation to the pixel to which N is assigned N: The reference position of the object is assigned the distance Zβ Number from the first frame located at the pixel to the frame for calculating the distance Z (for example, N = 4 if the distance Z is calculated based on the captured image F of the monocular camera 3 at time t4)

なお、各画素に割当てられた自車1から物体までの割当距離は予め記憶手段4に記憶された値であり、単眼カメラ3の自車1への取付位置に依存する値である。また、上記した算出式に用いられる割当距離は、距離算出のための物体の基準位置の撮影画像F内での位置に対応する画素に割当られた割当距離を用いるとよい。   The assigned distance from the own vehicle 1 to the object assigned to each pixel is a value stored in the storage unit 4 in advance, and is a value depending on the attachment position of the monocular camera 3 to the own vehicle 1. Further, as the allocation distance used in the above-described calculation formula, an allocation distance allocated to a pixel corresponding to a position in the captured image F of the reference position of the object for calculating the distance may be used.

すなわち、物体の基準位置が距離Zβが割当てられた画素から距離Zγが割当てられた画素に移動した場合に、物体の基準位置が距離Zγが割当てられた画素に位置する間は、上記したように割当距離Zβγ〜Zαβに基づいて自車1から物体までの距離Zを算出し、物体の基準位置が距離Zγが割当てられた画素に隣接する画素に移動すれば、距離Zγが割当てられた画素に割当てられた割当距離に基づいて自車1から物体までの距離を算出するとよい。   That is, as described above, when the reference position of the object is moved from the pixel assigned the distance Zβ to the pixel assigned the distance Zγ, while the reference position of the object is located at the pixel assigned the distance Zγ, as described above. If the distance Z from the vehicle 1 to the object is calculated based on the assigned distances Zβγ to Zαβ and the reference position of the object moves to a pixel adjacent to the pixel to which the distance Zγ is assigned, the pixel to which the distance Zγ is assigned is calculated. The distance from the vehicle 1 to the object may be calculated based on the assigned distance.

(5)認識手段6e
認識手段6eは、距離算出手段6dの第1距離算出手段および第2距離算出手段による第1の距離〜第3の距離に基づいて自車1から物体までの距離Zを認識する。この実施形態では、認識手段6eは、第1の距離〜第3の距離を平均することにより自車1から物体までの距離Zを認識する。
(5) Recognition means 6e
The recognizing unit 6e recognizes the distance Z from the host vehicle 1 to the object based on the first to third distances by the first distance calculating unit and the second distance calculating unit of the distance calculating unit 6d. In this embodiment, the recognition unit 6e recognizes the distance Z from the own vehicle 1 to the object by averaging the first distance to the third distance.

また、認識手段6eは、複数フレームの撮影画像Fから上記したようにして認識された自車1から物体(他車両12)までの距離Zの変化を監視する。   The recognizing unit 6e monitors a change in the distance Z from the own vehicle 1 to the object (another vehicle 12) recognized as described above from the captured images F of a plurality of frames.

(6)報知手段6f
報知手段6fは、認識手段6eにより監視される、自車1から物体(他車両12)までの距離Zの変化に基づき、例えば走行モニタ7に表示中のカーナビゲーション用の地図に警告表示を重畳して表示したりして、物体の存在を視覚的にドライバに報知する。また、スピーカ8から、認識結果の音声メッセージ、警告音を発生して物体の存在を聴覚的にドライバに報知する。これらの視覚的または聴覚的なドライバに対する報知により、ドライバの運転支援を行う。
(6) Notification means 6f
Based on the change in the distance Z from the host vehicle 1 to the object (other vehicle 12) monitored by the recognition unit 6e, the notification unit 6f superimposes a warning display on a map for car navigation being displayed on the travel monitor 7, for example. Or visually displaying the presence of an object to the driver. In addition, the speaker 8 generates a voice message and a warning sound as a recognition result to audibly notify the driver of the presence of the object. The driver's driving assistance is performed by the visual or auditory notification to the driver.

2.動作
次に、上記したように構成された物体認識装置2の動作について図5を参照して説明する。なお、この実施形態では、図2(a)に示すように、走行車線の自車1の前方を先行車として他車両12(物体)が走行している状態を例に挙げて説明する。また、記憶手段4には、時系列で撮影された過去の撮影画像Fが射影変換されることによる上方視画像tFに基づいて検出手段6bにより検出された物体候補としての各エッジhEG,lEG,rEGの各画像内での位置に関する情報や、認識手段6eにより認識される自車1から物体までの距離Zの変化などに関する情報などが格納されるものとする。
2. Operation Next, the operation of the object recognition apparatus 2 configured as described above will be described with reference to FIG. In this embodiment, as shown in FIG. 2A, a description will be given by taking as an example a state in which another vehicle 12 (object) is traveling with the front of the host vehicle 1 in the traveling lane as the preceding vehicle. Further, in the storage means 4, each edge hEG, lEG, as an object candidate detected by the detection means 6b based on the upper-view image tF obtained by projective transformation of the past captured image F captured in time series. Information on the position of each rEG in each image, information on a change in the distance Z from the vehicle 1 recognized by the recognition unit 6e to the object, and the like are stored.

図5に示す処理は、自車1の走行中に実行される処理であって、まず、自車1のイグニッションキーのオンにより単眼カメラ3による撮影が開始されると、図2(a)に示すような、単眼カメラ3による自車1の前方の撮影画像Fの信号が時々刻々とECU6に取得手段6aにより取込まれる(ステップS1)。そして、図2(a)に示すように、検出手段6bにより他車両12の下端を示す水平エッジhEG、他車両12の左右端を示す垂直エッジlEG,rEGが検出され(ステップS2)、図2(b),(c)に示すように、各エッジhEG,lEG,rEGが検出された撮影画像Fが変換手段6cにより上方視画像tFに射影変換される(ステップS3)。   The process shown in FIG. 5 is a process executed while the host vehicle 1 is traveling. First, when shooting with the monocular camera 3 is started by turning on the ignition key of the host vehicle 1, the process shown in FIG. As shown, the signal of the captured image F in front of the vehicle 1 by the monocular camera 3 is taken into the ECU 6 by the acquisition means 6a every moment (step S1). 2A, the detection means 6b detects the horizontal edge hEG indicating the lower end of the other vehicle 12, and the vertical edges lEG and rEG indicating the left and right ends of the other vehicle 12 (step S2). As shown in (b) and (c), the photographed image F from which the edges hEG, lEG, and rEG are detected is projectively transformed into the upper view image tF by the converting means 6c (step S3).

次に、上方視画像tFに含まれる水平エッジhEG、垂直エッジlEG,rEGに基づく自車1から他車両12までの距離Zがそれぞれ距離算出手段6dにより算出されて、算出された各距離Zに基づいて自車1から物体までの距離Zが認識手段6eにより認識されて、認識された自車1と物体との距離Zの時系列的な変化が監視される(ステップS4)。   Next, the distance Z from the own vehicle 1 to the other vehicle 12 based on the horizontal edge hEG and the vertical edges lEG and rEG included in the upper view image tF is calculated by the distance calculation unit 6d, and the calculated distances Z are calculated. Based on this, the distance Z from the own vehicle 1 to the object is recognized by the recognition means 6e, and the time-series change of the recognized distance Z between the own vehicle 1 and the object is monitored (step S4).

そして、他車両12が自車1に異常接近するものであれば、走行モニタ7による警告表示が行われたり、スピーカ8から音声メッセージや警報音が出力されたりすることにより、他車両12の存在がドライバに報知手段6fにより報知される(ステップS5)。すなわち、この実施形態では、ECU6がプログラムを実行することにより備える機能により、他車両12が自車1に異常接近すると判断されれば、報知手段6fによる報知が行われる。   If the other vehicle 12 is abnormally close to the host vehicle 1, a warning message is displayed on the travel monitor 7, or a voice message or warning sound is output from the speaker 8. Is notified to the driver by the notification means 6f (step S5). That is, in this embodiment, if it is determined that the other vehicle 12 is abnormally approaching the host vehicle 1 by the function provided by the ECU 6 executing the program, the notification by the notification unit 6f is performed.

以上のように、この実施形態によれば、単眼カメラ3により撮影された撮影画像Fに基づいて自車1から物体(他車両12)までの距離を認識するときに、上方視画像tFに含まれる物体の下端を示す水平エッジhEGの位置に基づき自車1から物体までの距離Zが距離算出手段6d(第1距離算出手段)により算出される。   As described above, according to this embodiment, when the distance from the vehicle 1 to the object (another vehicle 12) is recognized based on the captured image F captured by the monocular camera 3, it is included in the upward view image tF. The distance Z from the vehicle 1 to the object is calculated by the distance calculation means 6d (first distance calculation means) based on the position of the horizontal edge hEG indicating the lower end of the object to be detected.

そして、距離算出手段6d(第2距離算出手段)により、撮影画像Fが射影変換された上方視画像tFに含まれる物体の左右端を示す垂直エッジlEG,rEGが為す角度を二等分する中心軸CAが求められ、両垂直エッジlEG,rEGの下端から中心軸CAまでの長さと、中心軸CAに対する両垂直エッジlEG,rEGの角度とに基づいて自車1から物体までの距離Zが算出され、各エッジhEG,lEG,rEGに基づいて距離算出手段6dにより算出された自車1から物体までの距離Zに基づいて自車1から物体までの距離が認識手段6eにより認識される。   Then, by the distance calculation means 6d (second distance calculation means), the center that bisects the angle formed by the vertical edges lEG and rEG indicating the left and right ends of the object included in the upper-view image tF obtained by projective transformation of the captured image F The axis CA is obtained, and the distance Z from the vehicle 1 to the object is calculated based on the length from the lower end of both vertical edges lEG, rEG to the central axis CA and the angle of the vertical edges lEG, rEG with respect to the central axis CA. Then, the distance from the vehicle 1 to the object is recognized by the recognition unit 6e based on the distance Z from the vehicle 1 to the object calculated by the distance calculation unit 6d based on the edges hEG, lEG, rEG.

したがって、自車1から遠い位置の物体が撮影画像Fに含まれているときに、各エッジhEG,lEG,rEGに基づいて距離算出手段6dにより算出される各距離Zが自車1と物体との実際の距離とずれるおそれがある場合であっても、それぞれ異なる方法で算出される各距離Zに基づいて自車1から物体までの距離Zが認識されるため、認識される距離が実際の距離Zから大きくずれることが防止され、自車1から物体までの距離Zの認識精度の向上を図ることができる。   Therefore, when an object far from the host vehicle 1 is included in the captured image F, the distances Z calculated by the distance calculation means 6d based on the edges hEG, lEG, rEG are the same as the host vehicle 1 and the object. Even if there is a possibility of deviating from the actual distance of the vehicle, the distance Z from the vehicle 1 to the object is recognized based on the distances Z calculated by different methods. It is possible to prevent the distance Z from greatly deviating and to improve the recognition accuracy of the distance Z from the vehicle 1 to the object.

また、撮影画像F内の無限遠点を基準とした各領域において1つの画素の表す距離がそれぞれ異なるため、水平エッジhEGに基づく第1の距離および垂直エッジlEG,rEGに基づく第2および第3の距離のいずれもが誤差を含むおそれがあるが、認識手段6eは、第1の距離〜第3の距離を平均することにより自車1から物体までの距離Zを認識することにより、認識される自車1から物体までの距離Zの認識精度のさらなる向上を図ることができる。   In addition, since the distance represented by one pixel is different in each region based on the infinity point in the captured image F, the first distance based on the horizontal edge hEG and the second and third distances based on the vertical edges lEG and rEG. Any of the distances may include an error, but the recognition means 6e is recognized by recognizing the distance Z from the vehicle 1 to the object by averaging the first distance to the third distance. The recognition accuracy of the distance Z from the vehicle 1 to the object can be further improved.

また、自車1と物体との距離Zが相対的に移動しているのも関わらず、複数フレームの撮影画像Fにおいて、自車1から物体までの距離Zを算出するときの物体の基準位置が移動していない場合であっても、距離算出手段6dは、単眼カメラ3による複数フレームの撮影画像Fのうち、物体の基準位置が各撮影画像Fの同一画素に位置するフレームの数と、当該同一画素に割当てられた自車1から物体までの割当距離とに基づき、割当距離をフレームの数により均等に分割してフレームごとの物体の移動量dを導出し、導出された移動量dに基づいて自車1から物体までの距離Zを算出するため、実際の自車1から物体までの距離Zをより精度よく認識することができる。   In addition, the reference position of the object when calculating the distance Z from the vehicle 1 to the object in the captured image F of a plurality of frames, although the distance Z between the vehicle 1 and the object is relatively moving. Even when the distance is not moved, the distance calculation means 6d includes the number of frames in which the reference position of the object is located in the same pixel of each captured image F among the captured images F of the plurality of frames by the monocular camera 3. Based on the allocated distance from the own vehicle 1 to the object allocated to the same pixel, the allocated distance is divided equally by the number of frames to derive the moving amount d of the object for each frame, and the derived moving amount d Since the distance Z from the own vehicle 1 to the object is calculated based on the above, the actual distance Z from the own vehicle 1 to the object can be recognized more accurately.

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能であり、例えば、単眼カメラ3を、後方を撮影可能に自車1の後部に取付けてもよい。このように構成すると、自車1の後方から異常接近する他車両が存在するかどうかを監視することができる。   The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention. For example, the monocular camera 3 is photographed rearward. You may attach to the rear part of the own vehicle 1 as possible. If comprised in this way, it can be monitored whether the other vehicle which approaches abnormally from the back of the own vehicle 1 exists.

また、撮影画像F内の物体の下端を示す水平エッジhEGに基づいて、自車1から物体までの距離Zを算出してもよく、撮影画像Fを射影変換した上方視画像tFに基づいて物体の下端を示す水平エッジhEGを検出してもよい。   Further, the distance Z from the own vehicle 1 to the object may be calculated based on the horizontal edge hEG indicating the lower end of the object in the captured image F, and the object based on the upper-view image tF obtained by projectively converting the captured image F. A horizontal edge hEG indicating the lower end of the image may be detected.

また、距離Zを算出する際に、物体の基準位置が同一画素に留まっている場合の物体のフレームごとの移動量dの導出は必ずしも行わなくともよく、また、物体の下端を示す水平エッジhEGに基づく距離Zおよび物体の左右端を示す垂直エッジlEG,rEGに基づく距離Zの、少なくともいずれか一方の距離Zを算出するときに物体のフレームごとの移動量dを算出するようにしてもよい。また、距離算出手段6dは、物体の左右端を示す垂直エッジlEG,rEGの少なくともいずれか一方の垂直エッジに基づいて自車1から物体までの距離Zを算出するようにすればよい。   Further, when calculating the distance Z, it is not always necessary to derive the movement amount d for each frame of the object when the reference position of the object remains at the same pixel, and the horizontal edge hEG indicating the lower end of the object. The distance d of the object for each frame may be calculated when calculating at least one of the distance Z based on the above and the distance Z based on the vertical edges lEG and rEG indicating the left and right ends of the object. . The distance calculating means 6d may calculate the distance Z from the own vehicle 1 to the object based on at least one of the vertical edges lEG and rEG indicating the left and right ends of the object.

また、本発明は種々の車両の物体認識に適用することができる。   Further, the present invention can be applied to various vehicle object recognition.

1 自車
2 物体認識装置
3 単眼カメラ(車載カメラ)
6d 距離算出手段(第1距離算出手段、第2距離算出手段)
12 他車両(物体)
F 撮影画像
tF 上方視画像
hEG 水平エッジ
lEG,rEG 垂直エッジ
CA 中心軸
d 移動量
DESCRIPTION OF SYMBOLS 1 Own vehicle 2 Object recognition apparatus 3 Monocular camera (vehicle camera)
6d Distance calculation means (first distance calculation means, second distance calculation means)
12 Other vehicles (objects)
F Captured image tF Top-view image hEG Horizontal edge lEG, rEG Vertical edge CA Center axis d Movement amount

Claims (3)

車載カメラにより撮影された撮影画像に基づいて自車から物体までの距離を認識する距離認識装置において、
前記撮影画像に含まれる前記物体の下端を示す水平エッジの位置に基づき前記自車から前記物体までの距離を算出する第1距離算出手段と、
前記撮影画像が射影変換された上方視画像に含まれる前記物体の左右端を示す垂直エッジが為す角度を二等分する中心軸を求め、前記両垂直エッジの少なくともいずれか一方において、前記中心軸から当該垂直エッジの下端までの長さと、前記中心軸に対する当該垂直エッジの角度とに基づいて前記自車から前記物体までの距離を算出する第2距離算出手段と、
前記第1距離算出手段による第1の距離と前記第2距離算出手段による第2の距離とに基づいて前記自車から前記物体までの距離を認識する認識手段と
を備えることを特徴とする距離認識装置。
In the distance recognition device that recognizes the distance from the vehicle to the object based on the captured image captured by the in-vehicle camera,
First distance calculating means for calculating a distance from the own vehicle to the object based on a position of a horizontal edge indicating a lower end of the object included in the captured image;
A central axis that bisects the angle formed by the vertical edges indicating the left and right ends of the object included in the upper-view image obtained by projective transformation of the captured image is obtained, and the central axis is at least one of the two vertical edges. Second distance calculating means for calculating a distance from the vehicle to the object based on a length from the vertical edge to the lower end of the vertical edge and an angle of the vertical edge with respect to the central axis;
Recognizing means for recognizing a distance from the own vehicle to the object based on a first distance by the first distance calculating means and a second distance by the second distance calculating means. Recognition device.
請求項1に記載の距離認識装置において、
前記認識手段は、前記第1の距離および前記第2の距離を平均することにより前記物体までの距離を認識することを特徴とする距離認識装置。
The distance recognition device according to claim 1,
The distance recognition apparatus characterized in that the recognition means recognizes a distance to the object by averaging the first distance and the second distance.
請求項1または2に記載の距離認識装置において、
前記第1距離算出手段および前記第2距離算出手段の少なくともいずれか一方は、
前記撮影手段による複数フレームの前記撮影画像のうち、前記自車から前記物体までの距離を算出するときの前記物体の基準位置が前記各撮影画像の同一画素に位置するフレームの数と、当該同一画素に割当てられた前記自車から前記物体までの割当距離とに基づき、前記割当距離を前記フレームの数により均等に分割することで前記物体の移動量を導出し、導出された前記移動量に基づいて前記自車から前記物体までの距離を算出することを特徴とする距離認識装置。
The distance recognition device according to claim 1 or 2,
At least one of the first distance calculating means and the second distance calculating means is
Among the captured images of the plurality of frames by the imaging means, the same number of frames where the reference position of the object is calculated at the same pixel of each captured image when calculating the distance from the vehicle to the object Based on the allocated distance from the host vehicle to the object allocated to a pixel, the movement distance of the object is derived by equally dividing the allocated distance by the number of frames, and the derived movement distance is A distance recognition apparatus that calculates a distance from the vehicle to the object based on the vehicle.
JP2010045493A 2010-03-02 2010-03-02 Distance recognition device Withdrawn JP2011180020A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010045493A JP2011180020A (en) 2010-03-02 2010-03-02 Distance recognition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010045493A JP2011180020A (en) 2010-03-02 2010-03-02 Distance recognition device

Publications (1)

Publication Number Publication Date
JP2011180020A true JP2011180020A (en) 2011-09-15

Family

ID=44691667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010045493A Withdrawn JP2011180020A (en) 2010-03-02 2010-03-02 Distance recognition device

Country Status (1)

Country Link
JP (1) JP2011180020A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114585A (en) * 2011-11-30 2013-06-10 C Micro:Kk Collision detector
JP2016149611A (en) * 2015-02-10 2016-08-18 株式会社デンソー Optical axis deviation detection device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013114585A (en) * 2011-11-30 2013-06-10 C Micro:Kk Collision detector
JP2016149611A (en) * 2015-02-10 2016-08-18 株式会社デンソー Optical axis deviation detection device

Similar Documents

Publication Publication Date Title
JP4832321B2 (en) Camera posture estimation apparatus, vehicle, and camera posture estimation method
JP6379779B2 (en) Vehicle display device
JP6278222B2 (en) Display device for vehicle and display method for vehicle
JP5143235B2 (en) Control device and vehicle surrounding monitoring device
US10099617B2 (en) Driving assistance device and driving assistance method
US20130002861A1 (en) Camera distance measurement device
JP6450294B2 (en) Object detection apparatus, object detection method, and program
JP6171593B2 (en) Object tracking method and system from parallax map
JPWO2011007484A1 (en) Driving support device, driving support method and program
JP2011119917A (en) Display device for vehicle
JPWO2010146695A1 (en) Image processing apparatus and image processing method
US9798936B2 (en) System and method for detecting obstacles using a single camera
JP2009014445A (en) Range finder
WO2015186294A1 (en) Vehicle-mounted image-processing device
JP6515704B2 (en) Lane detection device and lane detection method
WO2011013813A1 (en) In-vehicle device and image processing program
JP5695000B2 (en) Vehicle periphery monitoring device
JP6610994B2 (en) Obstacle detection device and obstacle detection method
JP2012159470A (en) Vehicle image recognition device
JP5832850B2 (en) Lane monitoring system and lane monitoring method
JP2011180020A (en) Distance recognition device
JP2005170290A (en) Obstacle detecting device
JP2006163569A (en) Object detector and object detection method
JP6274936B2 (en) Driving assistance device
JP2011203766A (en) Image processing apparatus for vehicle

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130507