JP2003329439A - Distance detecting device - Google Patents

Distance detecting device

Info

Publication number
JP2003329439A
JP2003329439A JP2002140729A JP2002140729A JP2003329439A JP 2003329439 A JP2003329439 A JP 2003329439A JP 2002140729 A JP2002140729 A JP 2002140729A JP 2002140729 A JP2002140729 A JP 2002140729A JP 2003329439 A JP2003329439 A JP 2003329439A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
object
parallax
step
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002140729A
Other languages
Japanese (ja)
Inventor
Hiroshi Hattori
Shinji Nagaoka
Takayuki Tsuji
Masato Watanabe
弘 服部
正人 渡辺
孝之 辻
伸治 長岡
Original Assignee
Honda Motor Co Ltd
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To provide a distance detecting device capable of automatically correcting the error of parallax difference utilized when a distance between a self-vehicle and an object is determined.
SOLUTION: In a case when the extracted object is a road structure (YES of S19), an parallax offset value to the object is calculated (S21), and stored in a memory (S22). On the other hand, a movement average of a group of parallax difference offset values to the past N-pieces of different static objects from the present is determined to be used as an parallax difference correction value for correcting the disagreement of optical axes of two infrared ray cameras 2R, 2L (S24). Whether the determined parallax difference is more than a threshold value of the parallax difference correction value of one time or not is determined (S25), and when it is more than the threshold value of the parallax difference correction value of one time (YES of S25), for example, a camera image of the circumference of the vehicle is displayed on an image display device, and the warning is displayed to request a driver to correct the disagreement of the optical axes of two infrared ray cameras 2R, 2L, as a fail-safe function.
COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】 【0001】 【発明の属する技術分野】この発明は、撮像手段により撮影された画像から車両周辺の対象物の距離を検出する距離検出装置に関する。 BACKGROUND OF THE INVENTION [0001] [Technical Field of the Invention The present invention relates to a distance detecting apparatus for detecting a distance to the object around a vehicle from the photographed image by the imaging means. 【0002】 【従来の技術】従来、赤外線カメラ等の撮像手段により捉えられた自車両周辺の画像から、自車両との衝突の可能性がある他車両や歩行者等の対象物を抽出し、対象物と自車両との距離等の情報を自車両の運転者に提供する装置には、例えば特開2001−169310号公報に記載のものがある。 [0002] Conventionally, an image of the vehicle periphery captured by the imaging means such as an infrared camera, to extract the object of the other vehicles and pedestrians and the like where there is a possibility of collision with the vehicle, the apparatus for providing information such as the distance between the object and the vehicle driver of the vehicle, is disclosed in, for example, JP-2001-169310. 同公報によれば、この装置は、例えば基線長と焦点距離が同一の2台の撮像手段を、2台の撮像手段の光軸が平行になるように光軸を調整したステレオカメラを備えている。 According to the publication, the apparatus, for example, the base length and the focal length is the same two imaging means, the optical axes of two imaging means comprises a stereo camera adjusting the optical axis to be parallel there. この装置は、この左右一組のステレオカメラが撮影した自車両周辺の画像について、 The device for the vehicle periphery image the right and left pair of stereo cameras have taken,
例えば右側の撮像手段が撮影した画像を2値化処理することにより、これを基準画像とする第1の対象物画像を抽出する。 For example, by the right image pickup means for binarizing an image taken, it extracts the first object image as a reference image it. 次に、左側の撮像手段が撮影したグレースケール画像上に、第1の対象物画像に対応する画像(対応画像)を探索する探索領域を設定し、第1の対象物画像と探索領域中の物体画像との相関演算を実行することにより、第1の対象物画像に対する対応画像を第2の対象物画像として抽出する。 Then, on the grayscale image left imaging means photographed, and sets a search area for searching an image (corresponding image) corresponding to the first object image, in the search area and the first object image by performing a correlation operation between the object image, and extracts the corresponding image for a first object image as a second image of the object. 【0003】そして、右側の赤外線カメラが撮影した画像中に第1の対象物画像の重心位置と、左側の赤外線カメラが撮影した画像中に第2の対象物画像の重心位置との差から、視差Δd(画素数)を求め、これから自車両と対象物との距離zを算出する。 [0003] Then, from the difference between the center of gravity position of the first object image in the image the right of the infrared camera is taken, the center of gravity of the second object image in an image left infrared cameras have taken, obtains a parallax [Delta] d (number of pixels), it is now calculates the distance z between the vehicle and the object. なお、この装置では、 It should be noted that, in this apparatus,
求められた自車両と対象物との距離の変化から、対象物の相対移動ベクトルを求め、これにより自車両と歩行者等の対象物との相対距離や相対速度を判断し、自車両との衝突の可能性が判定される。 From the change in the distance between the vehicle and the object determined, determine the relative movement vector of the object, thereby to determine the relative distance and relative speed of the object such as vehicle and pedestrian, the vehicle possibility of collision is determined. そして、自車両と衝突する可能性があると判定された対象物は、画像表示装置に強調表示を伴う実映像として表示され、運転者に通知される。 Then, the object is determined that there is a possibility of collision with the own vehicle is displayed as a real image with a highlighted image display device, is notified to the driver. 【0004】 【発明が解決しようとする課題】従来の装置では、上述のステレオカメラの光軸調整は、車両への組付け時に機械的な調整機構を作業者の手動により作動させ、無限遠(遠方の背景)か、距離が既知の基準対象物を用いて行われている。 [0004] [0006] Conventional devices, optical axis adjustment of the aforementioned stereo camera, a mechanical adjustment mechanism during assembly of the vehicle is operated by a manual operator, infinity ( distant background) or the distance is performed using the known reference object. この場合、ステレオカメラの2台の撮像手段の光軸を正確に調整するか、あるいはステレオカメラの2台の撮像手段の取り付け角度差を補正値として利用することで、自車両と対象物との距離を正確に算出する。 In this case, by utilizing accurately adjust either the optical axis of the two imaging means of the stereo camera, or the mounting angle difference of the two image pickup means of the stereo camera as the correction value, the vehicle and the object distance to accurately calculate the. しかし、ステレオカメラの2台の撮像手段の光軸を平行になるように正確に調整した場合、あるいはステレオカメラの2台の撮像手段の取り付け角度差を正確に検出してこれを補正値として利用した場合のいずれにおいても、車両が走行する間に振動や衝撃等の外的要因や季節毎の気温変化、更には経年変化等により、ステレオカメラの取り付け部分が変形することにより、ステレオカメラの光軸の平行度や取り付け角度差は、調整時あるいは検出時の値からずれてしまうため、自車両と対象物との距離が正確に算出できなくなる可能性があるという問題があった。 However, use of this case was adjusted accurately to be parallel to the optical axis of the two imaging means of the stereo camera, or the mounting angle difference of the two image pickup means of the stereo camera to accurately detect a correction value in any case of, external factors and seasonal temperature changes in the vibration or shock or the like while the vehicle is traveling, even by aging or the like, by attaching portions of the stereo camera is deformed, the stereo camera light parallelism and the mounting angle difference of the shaft, since deviates from the value at the time of adjustment or during detection, there is a problem that the distance between the vehicle and the object may become impossible to accurately calculated. 【0005】すなわち、図11に示すように、例えば光軸21aと光軸22aを備えたステレオカメラの右側カメラ21(右側の撮像手段)の光軸22aがずれている場合、図12に示すように、ステレオカメラの右側カメラ21及び左側カメラ22(左側の撮像手段)による視差dは、(視差d=光軸平行視差d0+視差オフセットΔd)となる。 Namely, as shown in FIG. 11, for example when the optical axis 22a of the right camera 21 of the stereo camera including the optical axis 21a and the optical axis 22a (the right side of the image pickup means) is shifted, as shown in FIG. 12 the parallax d according to the right camera 21 and left camera 22 (the left side of the image pickup means) of the stereo camera is (disparity d = optical axis parallel parallax d0 + parallax offset [Delta] d). 視差オフセットΔdは、ステレオカメラの光軸ずれによる相対カメラパン角ずれθに基づいて測定される視差上の誤差であって、このためにステレオカメラの左右の撮像手段から得られた視差を利用して対象物までの距離を正確に求めることができなかった。 Parallax offset Δd is a error in the disparity to be measured based on the relative camera pan angle displacement θ of the stereo camera by the optical axis deviation, using parallax obtained from the left and right image pickup means of the stereo camera to this the distance to the object could not be accurately determined Te. 【0006】本発明は、上記課題に鑑みてなされたもので、自車両と対象物との距離を求める場合に利用する視差の誤差を、自動的に補正することができる距離検出装置を提供することを目的とする。 [0006] The present invention has been made in view of the above problems, the error of parallax utilized when determining the distance between the vehicle and the object, automatically provide a distance measuring apparatus which can correct and an object thereof. 【0007】 【課題を解決するための手段】上記課題を解決するために、請求項1の発明に係る距離検出装置は、左右一組のカメラ(例えば実施の形態の赤外線カメラ2R、2L) [0007] In order to solve the above problems SUMMARY OF THE INVENTION, the distance detecting apparatus according to the invention of claim 1, the left and right pair of cameras (e.g., infrared cameras 2R embodiment, 2L)
を備え、左右のカメラによりそれぞれ撮影された対象物画像の視差から、該対象物までの距離を計算する距離検出装置において、複数の異なる静止物体を対象にして求められた複数の視差オフセット値から、該視差オフセット値を補正するための視差オフセット修正量(例えば実施の形態の視差補正値)を算出する視差補正値算出手段(例えば第1の実施の形態のステップS17〜ステップS22、ステップS24〜ステップS28、または第2 The provided, from the parallax of each photographed object image by the right and left cameras, the distance detecting apparatus for calculating the distance to the object, from a plurality of parallax offset values ​​obtained by targeting multiple different stationary objects , parallax correction value calculating means (e.g., the first embodiment of step S17~ step S22 of calculating the parallax offset correction amount for correcting the parallax offset values ​​(e.g., parallax correction value embodiment), step S24~ step S28 or the second,
の実施の形態のステップS17〜ステップS22、ステップS26〜ステップS28、ステップS35〜ステップS36)を備えたことを特徴とする。 Embodiment of step S17~ step S22, step S26~ step S28, and comprising the steps S35~ step S36). 以上の構成を備えた距離検出装置は、視差補正値算出手段により、車両の走行中でも、複数の異なる静止対象物について測定した対象物までの距離と自車両の移動距離との関係から複数の視差オフセットを求め、この複数の視差オフセットから、左右のカメラの光軸ずれに起因する視差オフセット修正量を求めて補正することにより、対象物までの距離を正確に測定することができる。 Above configuration distance detecting apparatus having a can, by the parallax correction value calculating means, even during running of the vehicle, a plurality of parallax from the relationship between the distance and the moving distance of the vehicle to the object of measurement for a plurality of different stationary object obtains an offset from the plurality of parallax offset by correcting seeking parallax offset correction amount due to optical axis deviation of the right and left cameras, it is possible to accurately measure the distance to the object. 【0008】請求項2の発明に係る距離検出装置は、請求項1に記載の距離検出装置において、前記視差オフセット修正量が所定値以上の場合、警告を発することを特徴とする。 [0008] The distance detecting apparatus according to the invention of claim 2 is the distance detecting apparatus according to claim 1, wherein the parallax offset correction amount is equal to or larger than the predetermined value, characterized in that a warning. 以上の構成を備えた距離検出装置は、左右のカメラの光軸ずれ等に起因して発生する視差オフセット修正量が所定値以上の場合、ソフトウェア上での修正では対応しきれない問題として警告を発し、該警告により、車両の運転者に左右のカメラの光軸ずれ修正等、ハードウェアの修理を喚起することができる。 More distance detecting device having the configuration, if the parallax offset correction amount generated due to optical axis misalignment or the like of the left and right cameras is equal to or higher than a predetermined value, a warning is a problem that can not be supported with modification in software emitted by the warning, such as the left and right camera of the optical axis deviation modifying the driver of the vehicle, it is possible to stimulate repair of hardware. 【0009】請求項3の発明に係る距離検出装置は、請求項1に記載の距離検出装置において、前記カメラにより撮影されたカメラ画像を表示可能な表示手段(例えば実施の形態の画像表示装置7)を備え、前記視差オフセット修正量が所定値以上の場合、前記表示手段に前記カメラにより撮影されたカメラ画像と警告表示とを表示することを特徴とする。 [0009] The distance detecting apparatus according to the invention of claim 3, wherein the distance detecting apparatus according to claim 1, the image display of the display can display means of the camera image captured by a camera (e.g. Embodiment 7 ) wherein the parallax offset correction amount is equal to or larger than the predetermined value, and displaying the camera image captured by the camera and a warning display on the display means. 以上の構成を備えた距離検出装置は、左右のカメラの光軸ずれ等に起因して発生する視差オフセット修正量が所定値以上の場合、ソフトウェア上での修正では対応しきれない問題として表示手段に警告を表示し、該警告により、車両の運転者に左右のカメラの光軸ずれ修正等、ハードウェアの修理を喚起することができると共に、車両の周囲の状況は、表示手段に表示したカメラ画像によって、車両の運転者に判断させることができる。 More distance detecting device having the configuration, if the parallax offset correction amount generated due to optical axis misalignment or the like of the left and right cameras is greater than a predetermined value, the display means as a problem which can not be supported with modification in software to a warning by the warning, a camera like the left and right camera of the optical axis deviation modifying the driver of the vehicle, it is possible to stimulate repair of hardware, the situation in the vicinity of the vehicle, which is displayed on the display means the image can be determined to the driver of the vehicle. 【0010】 【発明の実施の形態】以下、図面を参照して本発明の実施の形態について説明する。 DETAILED DESCRIPTION OF THE INVENTION Hereinafter, with reference to the drawings will be described embodiments of the present invention. (第1の実施の形態)図1は、本発明の第1の実施の形態の距離検出装置の構成を示すブロック図である。 (First Embodiment) FIG. 1 is a block diagram showing a configuration of a first embodiment of the distance measuring apparatus of the present invention. 図1 Figure 1
において、符号1は、本実施の形態の距離検出装置を制御するCPU(中央演算装置)を備えた画像処理ユニットであって、遠赤外線を検出可能な2つの赤外線カメラ2R、2Lと当該車両のヨーレートを検出するヨーレートセンサ3、更に、当該車両の走行速度(車速)を検出する車速センサ4とブレーキの操作を検出するためのブレーキセンサ5が接続される。 In, reference numeral 1 is an image processing unit including a CPU (central processing unit) for controlling the distance detection apparatus of this embodiment, the far infrared radiation detectable two infrared cameras 2R, 2L and the vehicle a yaw rate sensor 3 which detects the yaw rate, further, a brake sensor 5 for detecting the operation of the vehicle speed sensor 4 and the brake for detecting a running speed of the vehicle (vehicle speed) is connected. これにより、画像処理ユニット1は、車両の周辺の赤外線画像と車両の走行状態を示す信号から、車両前方の歩行者や動物等の動く物体を検出し、衝突の可能性が高いと判断したときに警報を発する。 Thus, the image processing unit 1, a signal indicating the running state of the infrared images and the vehicle around the vehicle, detecting a moving object with such a pedestrian or animal vehicle front, when it is determined that there is a high possibility of a collision issue a warning to. 【0011】また、画像処理ユニット1には、音声で警報を発するためのスピーカ6と、検出された対象物と自車両との衝突する危険性が高いと判定された場合のみ、 [0011] The image processing unit 1, a speaker 6 for generating an alarm by voice, when it is determined that the high risk of collision with the detected object and the vehicle only,
赤外線カメラ2R、2Lにより撮影された画像を強調表示された対象物画像と共に表示し、衝突の危険性が高い対象物を車両の運転者に認識させるための、例えば自車両の走行状態を数字で表すメータと一体化されたメータ一体Displayや自車両のコンソールに設置されるNAVIDisplay、更にフロントウィンドウの運転者の前方視界を妨げない位置に情報を表示するHUD Infrared cameras 2R, displayed together with the object image that is highlighted images taken by 2L, a high risk object collision to recognize the driver of the vehicle, for example, the numeric running state of the vehicle NAVIDisplay installed in integrated meter integrated display and the vehicle console and meter representing, HUD for displaying further information in a position that does not interfere with the forward visibility of the driver of the front window
(Head Up Display )7a等を含む画像表示装置7が接続されている。 The image display device 7 comprising (Head Up Display) 7a and the like are connected. なお、画像表示装置7は、通常時はOF The image display device 7, when normally OF
Fされており、検出された対象物が自車両と衝突する危険性があると判定された場合のみ、画像表示装置7に車両周辺の画像が表示され、更に対象物が強調表示を伴う実映像として表示されて運転者に通知される。 Are F, only if the detected object is determined to be at risk of collision with the vehicle, displays the image around the vehicle to the image display device 7, the real picture further object involves highlighting is displayed is notified to the driver as. 【0012】また、画像処理ユニット1は、入力アナログ信号をディジタル信号に変換するA/D変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うCPU(中央演算装置)、CPUが演算途中のデータを記憶するために使用するRAM(Random A Further, the image processing unit 1 includes an input A / D converter circuit for converting an analog signal into a digital signal, an image memory for storing the image signal obtained by digitizing, CPU for performing various computations (central processing unit), CPU RAM (Random a but used to store the data in the middle of operation
ccess Memory)、CPUが実行するプログラムやテーブル、マップなどを記憶するROM(Read Only Memor ccess Memory), programs executed by the CPU, tables, ROM that stores a map (Read Only Memor
y)、スピーカ6の駆動信号、画像表示装置7の表示信号などを出力する出力回路を備えており、赤外線カメラ2R、2L及びヨーレートセンサ3、車速センサ4、ブレーキセンサ5の各出力信号は、ディジタル信号に変換されてCPUに入力されるように構成されている。 y), the drive signal of the speaker 6, and an output circuit for outputting a display signal of the image display device 7, an infrared camera 2R, 2L and the yaw rate sensor 3, a vehicle speed sensor 4, the output signal of the brake sensor 5, It is converted into a digital signal and is configured to be inputted to the CPU. 【0013】また、図2に示すように、赤外線カメラ2 [0013] In addition, as shown in FIG. 2, the infrared camera 2
R、2Lは、自車両10の前部に、自車両10の車幅方向中心部に対してほぼ対称な位置に配置されており、2 R, 2L is the front of the vehicle 10, are arranged in substantially symmetrical positions with respect to the vehicle width direction center portion of the vehicle 10, 2
つの赤外線カメラ2R、2Lの光軸が互いに平行であって、かつ両者の路面からの高さが等しくなるように固定されている。 One of the infrared cameras 2R, a parallel optical axis of 2L each other, and are fixed such that heights from the road surface is equal. なお、赤外線カメラ2R、2Lは、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。 Incidentally, the infrared cameras 2R, 2L is, the higher the temperature of the object is high, its output signal level becomes (brightness increases) high has a characteristic. また、HUD7a In addition, HUD7a
は、自車両10のフロントウインドウの運転者の前方視界を妨げない位置に表示画面が表示されるように設けられている。 Is a display screen in a position which does not interfere with the forward visibility of the driver of the front window of the vehicle 10 is provided so as to be displayed. 【0014】次に、本実施の形態の距離検出装置の動作について図面を参照して説明する。 [0014] will be described with reference to the drawings, the operation of the distance detection apparatus of this embodiment. 図3及び図4は、本実施の形態の距離検出装置の画像処理ユニット1における歩行者等の対象物検出・警報動作を示すフローチャートである。 3 and 4 are flowcharts illustrating an object detection and warning operation such as a pedestrian in the image processing unit 1 of the distance detection apparatus of this embodiment. まず、画像処理ユニット1は、赤外線カメラ2R、2Lの出力信号である赤外線画像を取得して(ステップS1)、A/D変換し(ステップS2)、グレースケール画像を画像メモリに格納する(ステップS First, the image processing unit 1, infrared cameras 2R, obtains infrared images which are output signals of 2L (step S1), A / D conversion (step S2), and stores the gray scale image into the image memory (step S
3)。 3). なお、ここでは赤外線カメラ2Rにより右画像が得られ、赤外線カメラ2Lにより左画像が得られる。 Here, the right image is obtained by the infrared camera 2R is left image is obtained by the infrared camera 2L. また、右画像と左画像では、同一の対象物の表示画面上の水平位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。 Further, in the right image and the left image, since the horizontal position on the display screen of the same object is misaligned, this displacement (parallax) can be calculated the distance to the object. 【0015】ステップS3においてグレースケール画像が得られたら、次に、赤外線カメラ2Rにより得られた右画像を基準画像とし、その画像信号の2値化処理、すなわち、輝度閾値ITHより明るい領域を「1」(白) [0015] When the gray-scale image is obtained in step S3, then the right image obtained by the infrared camera 2R and the reference image, binarization processing of the image signal, i.e., the brighter than the brightness threshold ITH region " 1 "(white)
とし、暗い領域を「0」(黒)とする処理を行う(ステップS4)。 And then performs the process of "0" (black) dark areas (step S4). 図5(a)は、赤外線カメラ2Rにより得られたグレースケール画像を示し、これに2値化処理を行うことにより、図5(b)に示すような画像を得る。 5 (a) shows a gray scale image obtained by the infrared camera 2R, by performing the binarization processing to obtain the image shown in Figure 5 (b).
なお、図5(b)において、例えばP1からP4の枠で囲った物体を、表示画面上に白色として表示される対象物(以下「高輝度領域」という)とする。 Incidentally, in FIG. 5 (b), for example, the enclosed object in the frame from P1 P4, and the object to be displayed as white on the display screen (hereinafter referred to as "high-luminance region"). 赤外線画像から2値化された画像データを取得したら、2値化した画像データをランレングスデータに変換する処理を行う(ステップS5)。 After obtaining the binarized image data from the infrared image, it performs a process of converting the binary image data into run length data (step S5). ランレングスデータにより表されるラインは、2値化により白となった領域を画素レベルで示したもので、いずれもy方向には1画素の幅を有しており、またx方向にはそれぞれランレングスデータを構成する画素の長さを有している。 Line represented by the run-length data, the space made by the binarization and white ones shown at the pixel level, both have a width of one pixel in the y direction and the x direction respectively It has a length of pixels constituting the run-length data. 【0016】次に、ランレングスデータに変換された画像データから、対象物のラベリングをする(ステップS Next, the image data converted into run-length data, the labeling of the object (step S
6)ことにより、対象物を抽出する処理を行う(ステップS7)。 6) By executes a process of extracting an object (step S7). すなわち、ランレングスデータ化したラインのうち、y方向に重なる部分のあるラインを1つの対象物とみなすことにより、例えば図5(b)に示す高輝度領域P1からP4が、それぞれ対象物(2値化対象物) That is, of the run-length data to the line, by regarding as one object a line with a partial overlapping in the y direction, the P4 from the high luminance region P1 shown in FIG. 5 (b) for example, each object (2 binary object)
として把握されることになる。 It is being made to be recognized as. 対象物の抽出が完了したら、次に、抽出した対象物の重心G、面積S及び外接四角形の縦横比ASPECTを算出する(ステップS After completing the extraction of the object, then, the center of gravity G of the extracted object, calculates the aspect ratio ASPECT of the area S and the circumscribed quadrangle (step S
8)。 8). 【0017】ここで、面積Sは、ラベルAの対象物のランレングスデータを(x[i]、y[i]、run [0017] Here, the area S is, the run-length data of the object of label A (x [i], y [i], run
[i]、A)(i=0,1,2,・・・N−1)とすると、ランレングスデータの長さ(run[i]−1)を同一対象物(N個のランレングスデータ)について積算することにより算出する。 [I], A) (i = 0,1,2, When ··· N-1), the length of the run-length data (run [i] -1) of the same object (N pieces of run-length data ) is calculated by integrating about. また、対象物Aの重心Gの座標(xc、yc)は、各ランレングスデータの長さ(r Further, the coordinates (xc, yc) of the center of gravity G of the object A, the length of each run length data (r
un[i]−1)と各ランレングスデータの座標x un [i] -1) and the coordinate x of the respective run-length data
[i]、またはy[i]とをそれぞれ掛け合わせ、更にこれを同一対象物について積算したものを、面積Sで割ることにより算出する。 [I], or multiplying y [i] and respectively, a material obtained by integrating the further the same object it is calculated by dividing the area S. 更に、縦横比ASPECTは、 In addition, the aspect ratio ASPECT is,
対象物の外接四角形の縦方向の長さDyと横方向の長さDxとの比Dy/Dxとして算出する。 Calculated as the ratio Dy / Dx of the vertical length Dy and horizontal length Dx of the circumscribed quadrangle of the object. なお、ランレングスデータは画素数(座標数)(=run[i])で示されているので、実際の長さは「−1」する必要がある(=run[i]−1)。 Since run-length data is shown by the number of pixels (the number of coordinates) (= run [i]), the actual length must "-1" (= run [i] -1). また、重心Gの位置は、外接四角形の重心位置で代用してもよい。 The position of the center of gravity G may be substituted by the position of the center of gravity of the circumscribed quadrangle. 【0018】対象物の重心、面積、外接四角形の縦横比が算出できたら、次に、対象物の時刻間追跡、すなわちサンプリング周期毎の同一対象物の認識を行う(ステップS9)。 [0018] When you calculate the center of gravity, area, aspect ratio of the circumscribed rectangle of the object, then, time tracking of the object, i.e. it performs the same object is recognized in each sampling period (step S9). 時刻間追跡は、アナログ量としての時刻tをサンプリング周期で離散化した時刻をkとし、例えば時刻kで対象物A、Bを抽出したら、時刻(k+1)で抽出した対象物C、Dと対象物A、Bとの同一性判定を行う。 Time tracking is a time obtained by discretizing time t as an analog quantity in the sampling period and k, For example, if the object A, extracts the B at time k, the time (k + 1) object C extracted in, D and target It performs the same determination of the object a, B. そして、対象物A、Bと対象物C、Dとが同一であると判定されたら、対象物C、Dをそれぞれ対象物A、 Then, the object A, B and the object C, if it is determined that the the D are identical, the object C, respectively D object A,
Bというラベルに変更することにより、時刻間追跡が行われる。 By changing the label B, time tracking is performed. また、このようにして認識された各対象物の(重心の)位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。 Also, (the center of gravity) position coordinates of the thus each object which is recognized is stored in the memory as time series position data is used for processing later. 【0019】なお、以上説明したステップS4〜S9の処理は、2値化した基準画像(本実施の形態では、右画像)について実行する。 [0019] Incidentally, the processing of step S4~S9 described above, (in this embodiment, the right image) binarized reference image is executed for. 次に、車速センサ4により検出される車速VCAR及びヨーレートセンサ3より検出されるヨーレートYRを読み込み、ヨーレートYRを時間積分することより、自車両10の回頭角θrを算出する(ステップS10)。 Next, read the yaw rate YR that is detected from the vehicle speed VCAR and the yaw rate sensor 3 is detected by the vehicle speed sensor 4, from integrating the yaw rate YR time, it calculates the turning angle θr of the vehicle 10 (step S10). 【0020】一方、ステップS9とステップS10の処理に平行して、ステップS11〜S13では、対象物と自車両10との距離zを算出する処理を行う。 Meanwhile, in parallel to the processing of step S9 and step S10, step S11 to S13, processing for calculating the distance z between the object and the vehicle 10. この演算はステップS9、及びステップS10より長い時間を要するため、ステップS9、S11より長い周期(例えばステップS1〜S10の実行周期の3倍程度の周期)で実行される。 This operation it takes a longer time than the step S9, and step S10, is executed in step S9, S11 longer period (e.g., period of about three times the execution cycle of steps S1 to S10). まず、基準画像(右画像)の2値化画像によって追跡される対象物の中の1つを選択することにより、右画像から探索画像R1(ここでは、外接四角形で囲まれる領域全体を探索画像とする)を抽出する(ステップS11)。 First, by selecting one of the objects tracked by the binarized image of the reference image (right image), the search image R1 (here from the right image, the search image the entire area enclosed by the circumscribed quadrangle extracting the to) (step S11). 【0021】次に、左画像中から探索画像R1に対応する画像(以下「対応画像」という)を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する(ステップS12)。 Next, set the search region for searching an image (hereinafter referred to as "corresponding image") corresponding to the search image R1 from the left in the image, it extracts a corresponding image by performing a correlation calculation (step S12). 具体的には、探索画像R1の各頂点座標に応じて、左画像中に探索領域R2を設定し、探索領域R2内で探索画像R1との相関の高さを示す輝度差分総和値C(a,b)を算出し、この総和値C(a,b) Specifically, according to the vertex coordinates of the search image R1, and sets a search area R2 in the left image, the luminance difference sum value indicates the height of the correlation between the search image R1 in the search area R2 C (a , b) it is calculated, and this sum value C (a, b)
が最小となる領域を対応画像として抽出する。 There extracts an area having a minimum as the corresponding image. なお、この相関演算は、2値化画像ではなくグレースケール画像を用いて行う。 Incidentally, the correlation operation is performed using the grayscale image instead of a binary image. また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域R2より狭い領域R2aを探索領域として設定する。 Also when there is a past location data for the same object, it sets a narrow region R2a than the search region R2 on the basis of the positional data as a search area. 【0022】ステップS12の処理により、基準画像(右画像)中に探索画像R1と、左画像中にこの対象物に対応する対応画像R4とが抽出されるので、次に、探索画像R1の重心位置と対応画像R4の重心位置と視差Δd(画素数)を求め、これから自車両10と対象物との距離zを算出する(ステップS13)。 [0022] By the processing in step S12, a reference image (right image) search image R1 in, since the corresponding image R4 is extracted that corresponds to the object in the left image, then the center of gravity of the search image R1 position and obtains the center of gravity position and the parallax Δd corresponding image R4 (number of pixels), is now calculates the distance z between the vehicle 10 and the object (step S13). 次に、ステップS10における回頭角θrの算出と、ステップS13 Next, the calculation of the turning angle θr in step S10, step S13
における対象物との距離算出が完了したら、次に、自車両10が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う(ステップS14)。 After calculation of the distance to the object is completed in, then, performs turning angle correction for correcting the positional deviation in the image due to the vehicle 10 is turning round (step S14). 回頭角補正は、時刻kから(k+1)までの期間中に自車両1 Turning angle correction, the vehicle during the period from time k to (k + 1) 1
0が例えば左方向に回頭角θrだけ回頭すると、カメラによって得られる画像上では、画像の範囲がΔxだけx 0 For example, when only turning turning angle θr to the left, on the image obtained by the camera, the range of the image only [Delta] x x
方向にずれるので、これを補正する処理である。 Since shifts in direction, it is a process to correct this. 【0023】また、回頭角補正を終了したら、画像内の座標(x,y)及び距離zを実空間座標(X,Y,Z) Further, when finished the turning angle correction, the coordinates (x, y) in the image and the distance z real space coordinates (X, Y, Z)
に変換する(ステップS15)。 It converted to (step S15). ここで、実空間座標(X,Y,Z)は、図2に示すように、赤外線カメラ2 Here, the real space coordinates (X, Y, Z), as shown in FIG. 2, the infrared camera 2
R、2Lの取り付け位置の中点の位置(自車両10に固定された位置)を原点Oとして、図示のように定め、画像内の座標は、画像の中心を原点として水平方向をx、 R, as (fixed position on the vehicle 10) the origin O position of the midpoint of the mounting position of 2L, defined as shown, the coordinates in the image, the horizontal center of the image as the origin x,
垂直方向をyと定めている。 The vertical stipulates as y. なお、以下の説明では、回頭角補正後の座標を(X,Y,Z)と表示する。 In the following description, displaying the coordinates after turning angle correction (X, Y, Z) and. 次に、 next,
実空間座標に対する回頭角補正が完了したら、同一対象物について、ΔTのモニタ期間内に得られた、回頭角補正後のN個(例えばN=10程度)の実空間位置データ、すなわち時系列データから、対象物と自車両10との相対移動ベクトルに対応する近似直線LMVを求める。 After completing the turning angle correction for the real space coordinates, for the same object, it was obtained within the monitoring period [Delta] T, the real space position data of the N after turning angle correction (e.g. N = 10), i.e. time-series data from obtain an approximate straight line LMV corresponding to a relative movement vector between the object and the vehicle 10. 【0024】次いで、最新の位置座標P(0)=(X [0024] Subsequently, the latest position coordinates P (0) = (X
(0),Y(0),Z(0))と、(N−1)サンプル前(時間ΔT前)の位置座標P(Nー1)=(X(N− (0), Y (0), and Z (0)), (N-1) coordinates of the sample before (time ΔT before) P (N over 1) = (X (N-
1),Y(N−1),Z(N−1))を近似直線LMV 1), Y (N-1), approximate straight line LMV the Z (N-1))
上の位置に補正し、補正後の位置座標Pv(0)=(X Correcting the position of the upper, the position coordinates Pv (0) after correction = (X
v(0),Yv(0),Zv(0))及びPv(N− v (0), Yv (0), Zv (0)) and Pv (N-
1)=(Xv(N−1),Yv(N−1),Zv(N− 1) = (Xv (N-1), Yv (N-1), Zv (N-
1))を求める。 Seek 1)). これにより、位置座標Pv(N−1) Accordingly, the position coordinates Pv (N-1)
からPv(0)に向かうベクトルとして、相対移動ベクトルが得られる(ステップS16)。 From a vector directed to Pv (0), the relative movement vector is obtained (step S16). このようにモニタ期間ΔT内の複数(N個)のデータから対象物の自車両10に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。 By thus by calculating the approximate straight line approximating the relative moving locus with respect to the vehicle 10 of the object from data of a plurality of (N) within the monitoring period ΔT determine the relative movement vector, reduce the influence of position detection errors it is possible to predict the likelihood of a collision with the object more accurately by. 【0025】また、対象物の相対移動ベクトルが求められたら、次に、静止対象物に対する視差オフセットを求める。 Further, when the relative movement vector of the object is determined, then, it obtains the parallax offset with respect to the stationary object. ここで、視差オフセットは、図6に示すように、 Here, the parallax offset, as shown in FIG. 6,
自車両10が直線路を走行している場合に、A点において2つの赤外線カメラ2R、2Lにより測定した静止対象物11までの距離Z[t]と、B点において2つの赤外線カメラ2R、2Lにより測定した静止対象物11までの距離Z[t+1]と、自車両10の移動距離とから求めることができる。 When the vehicle 10 is traveling on a straight road, two infrared cameras 2R at the point A, the distance Z [t] to the stationary object 11 as measured by 2L, two infrared cameras 2R point B, 2L the distance Z [t + 1] to the stationary object 11 as measured by, can be obtained from the moving distance of the vehicle 10. すなわち、自車両10がA点からB点まで移動した自車移動量Lは、上述の距離Z[t] In other words, the vehicle moving amount L that moves the vehicle 10 from the point A to the point B, the above-mentioned distance Z [t]
と距離Z[t+1]との差分として求めることができる。 It can be obtained as a difference between the distance Z [t + 1] and. 自車移動量Lは、自車両10に搭載される積算距離計やGPSを利用したナビゲーションシステム等(いずれも図示せず)から取得することが可能なので、実際に自車両10が走行した自車移動量Lと、2つの赤外線カメラ2R、2Lの視差により求めた距離測定値ZL=Z Vehicle movement amount L, since it can be obtained from the navigation system using the integrated rangefinder and GPS mounted on the vehicle 10 (both not shown), the vehicle was actually the vehicle 10 is traveling a moving amount L, 2 two infrared cameras 2R, distance measurement values ​​ZL obtained by the parallax of 2L = Z
[t]−Z[t+1]とを比較することにより、距離測定値ZLとの誤差として視差オフセットを求めることができる。 [T] by comparing the -Z [t + 1], it is possible to obtain the parallax offset as the error between the distance measurement values ​​ZL. 【0026】しかし、図7に示すように、自車両10がカーブを走行している場合は、自車両10がC点からD [0026] However, as shown in FIG. 7, when the vehicle 10 is traveling on a curve, D vehicle 10 from point C
点まで移動した自車移動量LLは、C点において2つの赤外線カメラ2R、2Lにより測定した静止対象物11 Vehicle movement amount LL moved to the point, the two infrared cameras 2R at the point C, the stationary object determined by 2L 11
までの距離ZZ[t]と、D点において2つの赤外線カメラ2R、2Lにより測定した静止対象物11までの距離ZZ[t+1]とからは求めることができない。 A distance ZZ [t] up, two infrared cameras 2R, a distance ZZ [t + 1] to the stationary object 11 as measured by 2L color can not be obtained at point D. 従って、自車両10がカーブを走行している場合は、視差オフセットを求めることができないので、自車両10が直線路を走行しているのか、カーブを走行しているのかを検出して対応する必要がある。 Therefore, when the vehicle 10 is traveling on a curve, it is not possible to determine the parallax offset, the vehicle 10 whether running on a straight road, the corresponding detecting whether running on a curve There is a need. 【0027】そこで、まず、車輪速センサ(図示せず) [0027] Therefore, first, (not shown) wheel speed sensor
の検出した自車両10の車輪(タイヤ)の回転速度と、 The rotational speed of the wheel (tire) of the detected vehicle 10,
車速センサ4の検出した自車両10の車速との比較から、自車両10のいずれかのタイヤがスリップしているか否かの判定を行うタイヤスリップ判定を行う(ステップS17)。 Comparison with the vehicle speed detected vehicle 10 of the vehicle speed sensor 4 performs tire slip determination any of the tires of the vehicle 10 makes a determination of whether or not slipping (step S17). 次に、ステップS17において、自車両1 Next, in step S17, the vehicle 1
0のいずれのタイヤもスリップしていない場合(ステップS17のNO)、更に、ヨーレートセンサ3により得られたヨーレートを判定することにより、自車両10が直線道路を走行しているか否かを判定する(ステップS If none of the tires 0 not slipping (NO in step S17), further, by determining the yaw rate obtained by the yaw rate sensor 3, and determines the vehicle 10 whether running on a straight road (step S
18)。 18). ステップS18において、自車両10が直線道路を走行している場合(ステップS18のYES)、次に、相対移動ベクトルを算出した対象物が道路構造物であるか否かを判定する(ステップS19)。 In step S18, when the vehicle 10 is traveling on a straight road (YES in step S18), and then, the object of calculation of the relative movement vector is determined whether the road structures (step S19) . 【0028】ここで、道路構造物であるか否かの判定は、例えば、対象物が予め記憶してある所定の形状であるか否か、または、対象物が人間や動物にはあり得ない直線部位を持っているか、更には、対象物が人間や動物にはあり得ない同一の形状を持つ複数の物体から構成されているか等の条件を判定することにより行う。 [0028] Here, determination of whether the road structure, for example, whether a predetermined shape object has been stored in advance, or the object is not available in humans and animals either have linear part, furthermore, it performed by determining conditions such as whether the object is composed of a plurality of objects having the same shape impossible to humans and animals. また、 Also,
道路構造物であるか否かの判定は、例えば図8に示す標識101のように、車両走行中に検知される可能性が高く、且つ確実に静止している静止対象物11を検出することが目的であって、以下のような条件を満たすものも「静止対象物」として形状パターンを登録してある。 Determination of whether the road structure, for example, as label 101 shown in FIG. 8, the possibility of being detected while the vehicle is running is high, detects the stationary object 11 which is stationary and reliably there a purpose, are registered also the shape pattern as "still object" satisfies the following conditions. 1)円形の同一サイズの対象物が並んで存在する。 1) there alongside the object of a circular of the same size. 2)長方形の対象物。 2) a rectangular object. 具体的には、標識以外に信号機、電柱、樹木、壁、その他人工構造物等が静止対象物11として挙げられる。 Specifically, traffic in addition to labeling, utility poles, trees, walls, and other man-made structures and the like as a still object 11. 【0029】次に、ステップS19において、相対移動ベクトルを算出した対象物が道路構造物であった場合(ステップS19のYES)、視差オフセット値の算出回数が規定値N回以上であるか否か(移動平均を行う際の母集団の数N個以上のデータがあるか否か)を判定する(ステップS20)。 Next, in step S19, if the object of calculating the relative movement vector is a road structures (YES in step S19), whether or not calculated number of parallax offset value is less than the prescribed value N times determining (moving average whether there is a number more than N data population in performing) (step S20). ステップS20において、視差オフセット値の算出回数が規定値N回以上でなかった場合(ステップS20のNO)、この対象物に対する視差オフセット値を算出し(ステップS21)、求めた視差オフセット値をメモリに記憶する(ステップS22)。 In step S20, if the calculated number of parallax offset value is not equal to or greater than a prescribed value N times (NO in step S20), and calculates the parallax offset values ​​for the object (step S21), and the parallax offset value determined in the memory stored (step S22).
そして、ステップS22において、求めた視差オフセットをメモリに記憶したら、次に、自車両10が検出した対象物と衝突する可能性があるか否かを判定する警報判定処理を行う(ステップS23)。 Then, in step S22, After storing the parallax offset determined in the memory, then it performs the determining warning determination process of determining whether there is a possibility of collision with an object that the vehicle 10 has been detected (step S23). 【0030】ここで、視差オフセット値の求め方について説明すると、視差オフセット値を求める際の対象物時系列データ(視差の時系列データ)は、 1)離散的であること。 [0030] Here, to describe the method of obtaining the parallax offset value, the object at the time-series data for obtaining the parallax offset value (time-series data of the disparity) is 1) it is discrete. 2)視差にはランダムノイズが加わること。 2) the random noise is applied to the disparity. という点から、式(1)のように自車移動量Lと、2つの赤外線カメラ2R、2Lの視差により求めた距離測定値ZL(=Z[t]−Z[t+1])との自乗誤差Eを考え、この自乗誤差Eが最小となる解として視差オフセット値Δdを求める。 Terms, the square error of the vehicle moving amount L by the equation (1), and two infrared cameras 2R, distance measurement values ​​ZL obtained by the parallax of 2L (= Z [t] -Z [t + 1]) consider the E, obtains the parallax offset value Δd as solutions the square error E is minimized. 【数1】 [Number 1] 【0031】なお、式(1)の自乗誤差Eを最小にするΔdは、例えば最急降下法を用いることで算出することができる。 It should be noted, [Delta] d of the square error E of equation (1) to a minimum can be calculated by using the steepest descent method, for example. また、式(1)において、Bは基線長、すなわち赤外線カメラ2Rの撮像素子の中心位置と、赤外線カメラ2Lの撮像素子の中心位置との水平方向の距離(両赤外線カメラの光軸の間隔)、Fは赤外線カメラ2 Further, in the equation (1), B is a base length, i.e. (distance of the optical axes of both infrared cameras) horizontal distance and the center position of the imaging element of the infrared cameras 2R, the center position of the image sensor of the infrared camera 2L , F is the infrared camera 2
R、2Lのレンズの焦点距離、pは赤外線カメラ2R、 R, the focal length of 2L of the lens, p is the infrared cameras 2R,
2Lの撮像素子内の画素間隔であり、(d[j]−Δ A pixel spacing of the imaging elements of 2L, (d [j] -Δ
d)及び(d[i]−Δd)が視差量である。 d) and (d [i] -Δd) is the amount of parallax. 従って、 Therefore,
図9に示すように、例えば自車移動量Lの区間に存在する複数の視差データに対して視差オフセット値Δd1を求めるので、自車移動量Lに対応する2点のみの視差データから算出するよりも、精度良く安定して視差オフセット値を求めることができる。 As shown in FIG. 9, for example, since obtaining the parallax offset value Δd1 for a plurality of parallax data present on the vehicle movement amount L section of, calculated from the parallax data only two points corresponding to vehicle movement amount L than can be obtained accurately and stably by parallax offset value. 【0032】更に、図9に示すように、自車移動量Lの区間をずらしてΔdnを求めて平均化することで、視差時系列データを広範囲に利用して、精度良く安定して視差オフセット値Δdを求めることができる。 Furthermore, as shown in FIG. 9, by averaging seeking Δdn shifting the vehicle movement amount L section of, by utilizing the parallax time-series data extensively, accurately and stably by parallax offset it is possible to find the value Δd. ここで、静止対象物1個に対して算出された視差オフセット値は、 1)撮影された対象物画像には重なりが発生している場合があること。 Here, the parallax offset values ​​calculated for one stationary object, 1) overlap the photographed object image in some cases has occurred. 2)グレースケールデータでの相関演算において左右のカメラによる対象物画像のミスマッチが発生すること。 2) the mismatch of the object image by the right and left cameras in the correlation calculation in the gray scale data is generated. により、正確な視差オフセット値が算出できていない場合がある。 Accordingly, there may not be possible to calculate an accurate parallax offset value. そこで、ステップS20において、視差オフセット値の算出回数が規定値N回以上であった場合(ステップS20のYES)、図13に示すように、現在から過去N個の視差オフセット値を1組とした移動平均を求め、これを2つの赤外線カメラ2R、2Lの光軸のずれを修正するための視差補正値とする(ステップS2 Therefore, in step S20, it calculates the number of parallax offset value if equal to or larger than the prescribed value N times (YES in step S20), as shown in FIG. 13, and the current past the N parallax offset values ​​set with the moving average calculated, which two infrared cameras 2R, and parallax correction value for correcting the deviation of the optical axis of 2L (step S2
4)。 4). 但し、現在から過去N個の視差オフセット値は、 However, the past N number of parallax offset value from the current,
それぞれ別個の静止対象物について算出された視差オフセット値とする。 Each parallax offset value calculated for a separate stationary object. 【0033】次に、求められた視差補正値が1回の視差補正値の閾値以上か否かを判定する(ステップS2 Next, the parallax correction value obtained is equal to or greater than or equal to the threshold value of the parallax correction value of one (step S2
5)。 5). ステップS25において、求められた視差補正値が1回の視差補正値の閾値以上であった場合(ステップS25のYES)、フェールセーフ機能として、例えば画像表示装置7に車両周辺のカメラ画像を表示すると共に、ワーニング(警告)を表示して2つの赤外線カメラ2R、2Lの光軸のずれの修理を運転者に求め、以降の対象物の強調表示を中止する(ステップS26)。 In step S25, if the parallax correction value obtained is greater than or equal to the threshold of the parallax correction value of one (YES in step S25), and a fail-safe function, and displays the camera image around the vehicle, for example, in the image display device 7 together, determined warnings view and two infrared cameras 2R and repair of deviation of the optical axis of 2L to the driver to stop the highlighting subsequent object (step S26). 図1 Figure 1
0に、画像表示装置7に表示された車両周辺のカメラ画像とワーニングメッセージの一例を示す。 0 shows an example of a camera image and warning messages around the vehicle displayed on the image display device 7. 【0034】また、ステップS25において、求められた視差補正値が1回の視差補正値の閾値以上でなかった場合(ステップS25のNO)、次に、過去からの視差補正値の積算値が、視差補正積算値の閾値以上か否かを判定する(ステップS27)。 Further, in step S25, if the parallax correction value determined is not greater than or equal to the threshold of the parallax correction value of one (NO in step S25), and then, the accumulated value of the parallax correction values ​​from the past, determines whether or larger than the threshold of the parallax correction integrated value (step S27). ステップS27において、過去からの視差補正値の積算値が、視差補正積算値の閾値以上であった場合(ステップS27のYES)、 In step S27, if the integrated value of the parallax correction value from the past, was more than the threshold value of the parallax correction integrated value (YES in step S27),
ステップS26へ進み、上述のように、フェールセーフ機能として、例えば画像表示装置7に車両周辺のカメラ画像を表示すると共に、ワーニング(警告)を表示して2つの赤外線カメラ2R、2Lの光軸のずれの修理を運転者に求め、以降の対象物の強調表示を中止する(ステップS26)。 The process proceeds to step S26, as described above, as a fail-safe function, for example, to the image display device 7 displays an camera image around the vehicle, Warnings view and two infrared cameras 2R, of 2L of the optical axis It obtains a deviation repairs to the driver to stop the highlighting subsequent object (step S26). 【0035】なお、ステップS25において、求められた視差補正値が1回の視差補正値の閾値以上という状況は、一般道走行中に軽衝突等の外的要因に対して、2つの赤外線カメラ2R、2L間の光軸ずれが瞬時に大きく起こることを想定している。 [0035] Note that, in step S25, the context of more than the threshold value of the parallax correction value is one of the parallax correction values ​​determined are in general road traveling to external factors such as light collision, two infrared cameras 2R it is assumed that the optical axis misalignment between 2L occurs largely instantaneously. この場合は、距離検出装置の動作保証が行なえないため、フェールセーフ機能としてワーニングを表示する。 In this case, since guaranteed operating distance detecting device can not be performed, and displays a warning as a fail-safe function. また、季節間による外気温変化、経年変化に対しては視差補正値が1回の視差補正値の閾値以内で緩やかに変化するので、この場合は視差補正値を更新することで距離検出装置の動作保証を行なう。 Also, outside air temperature change due to inter-seasonal, since parallax correction value is gradually varied within the threshold of the parallax correction value once for aging, in this case, the distance detection device by updating the disparity correction value perform an operation guarantee. 【0036】また、視差補正値に偏り(+補正値のみや−補正値のみ)があると、1回の視差補正値の閾値以内で視差補正値を更新していても、ある時点から、2つの赤外線カメラ2R、2Lの取り付け位置が初期カメラ取付位置に対して大きくずれてしまっている可能性がある。 Further, the parallax correction value deviations (+ correction value only and - correction value only) there is, also be updated parallax correction value within the threshold of one of the parallax correction values, from a certain point of time, 2 One of the infrared cameras 2R, mounting position of 2L there is a possibility that deviates significantly from the initial camera attachment position. そのため、ステップS27において、過去からの視差補正値の積算値が、視差補正積算値の閾値以上であった場合も、距離検出装置の動作保証が行なえないためフェールセーフを行なう。 Therefore, in step S27, the integrated value of the parallax correction value from the past, even the case of equal to or more than the threshold value of the parallax correction integrated value, operation assurance of the distance detecting apparatus performs a fail-safe for not be performed. 【0037】また、ステップS27において、過去からの視差補正値の積算値が、視差補正積算値の閾値以上でなかった場合(ステップS27のNO)、求められた視差補正値を新たな視差補正値として視差補正値の更新を行い(ステップS28)、ステップS21へ進み、この対象物に対する視差オフセットを算出し(ステップS2 Further, in step S27, the integrated value of the parallax correction value from the past, if not greater than or equal to the threshold value of the parallax correction integrated value (NO in step S27), the parallax correction value determined new parallax correction value updates the parallax correction value as (step S28), the process proceeds to step S21, and calculates the parallax offset for this object (step S2
1)、求めた視差オフセットをメモリに記憶する(ステップS22)。 1), and stores the parallax offset determined in the memory (step S22). そして、次に、ステップS23の警報判定処理を行う。 Then, then, it performs a warning determination process in step S23. なお、ステップS28において更新された新しい視差補正値は、次の対象物抽出処理における視差補正値として、ステップS13における視差算出演算処理に適用される。 Incidentally, a new disparity correction value updated in the step S28, as the parallax correction value at the next object extraction processing is applied to the parallax calculation processing in step S13. 【0038】一方、ステップS17において、自車両1 On the other hand, in step S17, the vehicle 1
0のいずれかのタイヤがスリップしている場合(ステップS17のYES)、あるいは、ステップS18において、自車両10が直線道路を走行していない場合(ステップS18のNO)、あるいは、相対移動ベクトルを算出した対象物が道路構造物でなかった場合(ステップS If any of the tires of 0 is slipping (YES in step S17), or, in step S18, when the vehicle 10 is not traveling on a straight road (NO in step S18), and or, the relative movement vector If the calculated object is not a road structures (step S
19のNO)のいずれかの場合は、自車両10が視差オフセットを求められる状態ではないと判断し、ステップS23の警報判定処理を行う。 For any of the 19 NO in), it is determined that the vehicle 10 is not in a state obtained parallax offset, an alarm determination process in step S23. 【0039】ステップS23の警報判定処理は、前述のように、自車両10が検出した対象物と衝突する可能性があるか否かを判定する処理であって、ステップS23 The warning determination process in step S23, as described above, a process of determining whether or not there is a possibility of collision with an object that the vehicle 10 has been detected, step S23
において、自車両10と検出した対象物との衝突の可能性がないと判定された場合(ステップS23のNO)、 In the case where it is determined that there is no possibility of collision with the detected object and the vehicle 10 (NO in step S23),
画像表示装置7には何も表示せず、ステップS1へ戻り、上述の処理を繰り返す。 Nothing is displayed on the image display device 7, the flow returns to step S1, and the above processing is repeated. また、ステップS23において、自車両10と検出した対象物との衝突の可能性があると判定された場合(ステップS23のYES)、ステップS29の警報出力判定処理へ進む。 Further, in step S23, if it is determined that there is a possibility of collision with the detected object and the vehicle 10 (YES in step S23), the process proceeds to the alarm output determination process in step S29. 【0040】ステップS29では、ブレーキセンサ5の出力BRから自車両10の運転者がブレーキ操作を行っているか否かを判別することにより、警報出力判定処理、すなわち警報出力を行うか否かの判定を行う(ステップS29)。 In step S29, by the driver of the vehicle 10 from the output BR of the brake sensor 5 determines whether operating the brake, warning output determination processing, namely determines whether an alarm output is carried out (step S29). もし、自車両10の運転者がブレーキ操作を行っている場合には、それによって発生する加速度Gs(減速方向を正とする)を算出し、この加速度Gs If the driver of the vehicle 10 is performing a braking operation, thereby (a deceleration direction positive) acceleration Gs for generating calculates, this acceleration Gs
が所定閾値GTHより大きいときは、ブレーキ操作により衝突が回避されると判定して警報出力判定処理を終了し(ステップS29のNO)、画像表示装置7には何も表示せず、ステップS1へ戻り、上述の処理を繰り返す。 When There greater than a predetermined threshold GTH, it is determined that the collision by braking operation can be avoided by terminating the alarm output determination process (NO in step S29), nothing is displayed on the image display device 7, to the step S1 return, repeat the process described above. これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。 Thus, when the proper brake operation is being performed, so as not an alarm, it is possible to avoid giving unnecessary annoyance to the driver. 【0041】また、加速度Gsが所定閾値GTH以下であるとき、または自車両10の運転者がブレーキ操作を行っていなければ、直ちにステップS30の処理へ進み(ステップS29のYES)、対象物と接触する可能性が高いので、スピーカ6を介して音声による警報を発する(ステップS30)と共に、画像表示装置7に対して、例えば赤外線カメラ2Rにより得られる画像を出力し、接近してくる対象物を自車両10の運転者に対する強調映像として表示する(ステップS31)。 Further, when the acceleration Gs is equal to or less than a predetermined threshold value GTH, or if the driver of the vehicle 10 has not operating the brake immediately proceeds to step S30 (YES in step S29), the contact with the object there is a high possibility that, issue a warning by voice via the speaker 6 (step S30), the image display device 7, for example, outputs an image obtained by the infrared camera 2R, objects approaching displayed as highlighted image to the driver of the vehicle 10 (step S31). なお、所定閾値GTHは、ブレーキ操作中の加速度Gsがそのまま維持された場合に、現在の対象物と自車両10との間の距離以下の走行距離で自車両10が停止する条件に対応する値である。 The predetermined threshold GTH is a value acceleration Gs during braking operation when it is maintained, the vehicle 10 in the following travel distance distance between the current object and the vehicle 10 corresponds to the condition for stopping it is. 【0042】以上、第1の実施の形態として、視差補正値を求める際に、N個以上の視差オフセット値に対し、 The above, as a first embodiment, when obtaining the disparity correction value with respect to N or more parallax offset value,
現在から過去N個の異なる静止対象物に対する視差オフセット値の移動平均を求め、これを2つの赤外線カメラ2R、2Lの光軸のずれを修正するための視差補正値とする距離検出装置について説明した。 Obtains a moving average of the parallax offset value for the current from the past N different stationary objects, described this two infrared cameras 2R, the distance detecting device according to the parallax correction value for correcting the deviation of the optical axis of 2L . このように、第1 In this way, the first
の実施の形態の距離検出装置では、視差補正値を求める際に、現在から過去N個の視差オフセット値の移動平均を求め、これを2つの赤外線カメラ2R、2Lの光軸のずれを修正するための視差補正値とすることで、ランダムノイズの影響を受け易い視差補正値を精度良く安定して求めることができる。 In the embodiment of the distance detecting device, when determining the parallax correction value, it obtains the moving average of the past N number of parallax offset value from the current, which two infrared cameras 2R, corrects the deviation of the optical axis of 2L by the parallax correction value for it can be determined by the prone parallax correction value affected by random noise accurately and stably. 【0043】また、静止対象物の重なり等により発生する視差オフセット値の誤差が、複数の静止対象物に対する複数の視差オフセット値の移動平均を求めることにより排除され、正確に視差補正値を算出することができる。 [0043] Further, the error of parallax offset value generated by the overlapping or the like of a stationary object, is eliminated by calculating the moving average of a plurality of parallax offset values ​​for a plurality of stationary objects, to accurately calculate the parallax correction value be able to. 更に、1回あたりの視差補正値、または累積した視差補正値が、所定の閾値を超えた場合には、左右のカメラの光軸ずれ等に起因して発生する視差補正値がソフトウェア上での修正では対応しきれない問題として認識し、警告を表示することより、車両の運転者に左右のカメラの光軸ずれ修正等、ハードウェアの修理を喚起することで、ハードウェアの大きな故障を見逃さないようにすることができる。 Further, the parallax correction value per one time or cumulative parallax correction value, if it exceeds a predetermined threshold, the disparity correction value caused by the optical axis deviation or the like of the right and left cameras on the software in modified confirmed problem that can not be compatible, from displaying a warning, such as the left and right camera of the optical axis deviation modifying the driver of the vehicle, by evoking repair hardware, miss a large hardware failure it can be so no. 【0044】なお、上述の第1の実施の形態では、画像処理ユニット1が、視差補正値算出手段を含んでいる。 [0044] In the first embodiment described above, the image processing unit 1 includes a parallax correction value calculation means.
より具体的には、図4のステップS17〜ステップS2 More specifically, step S17~ step S2 of FIG. 4
2、ステップS24〜ステップS28が視差補正値算出手段に相当する。 2, step S24~ step S28 corresponds to the disparity correction value calculation means. 【0045】(第2の実施の形態)次に、本発明の第2 [0045] (Second Embodiment) Next, the second invention
の実施の形態について説明する。 It is described embodiment. 本発明の第1の実施の形態では、視差補正値を求める際に、N個以上の視差オフセット値に対し、現在から過去N個の異なる静止対象物に対する視差オフセット値の移動平均を求め、これを2つの赤外線カメラ2R、2Lの光軸のずれを修正するための視差補正値とする場合を説明したが、本発明の第2の実施の形態では、X個以上の視差オフセット値が算出された場合(平均値を求める際の母集団に、信頼性の得られるX個以上のデータがある場合)、異なる静止対象物に対して過去に記憶した全ての視差オフセット値の平均値を求め、これを2つの赤外線カメラ2R、2Lの光軸のずれを修正するための視差補正値とする場合を説明する。 In the first embodiment of the present invention, when determining the parallax correction value with respect to N or more parallax offset value, obtains the moving average of the parallax offset values ​​for past N different stationary object from the current, which the two infrared cameras 2R, a case has been described where a disparity correction value for correcting the deviation of the optical axis of 2L, in the second embodiment of the present invention, X or more parallax offset value is calculated If (the population for obtaining the average value, if there are X or more data obtained reliable), the average value of all the parallax offset value stored in the past for different stationary object, This two infrared cameras 2R, illustrating a case where the parallax correction value for correcting the deviation of the optical axis of 2L. なお、第2の実施の形態における制御フロー以外の構成については、第1の実施の形態と同様であるので、ここでは説明を省略する。 The configuration other than the control flow in the second embodiment is the same as the first embodiment, here it will be omitted. 【0046】図15及び図16は、本実施の形態の距離検出装置の画像処理ユニット1における歩行者等の対象物検出・警報動作を示すフローチャートである。 [0046] FIGS. 15 and 16 are flowcharts illustrating an object detection and warning operation such as a pedestrian in the image processing unit 1 of the distance detection apparatus of this embodiment. まず、 First of all,
図15及び図16において、画像処理ユニット1が、赤外線カメラ2R、2Lの出力信号である赤外線画像を取得するステップS1の処理から、自車両10との相対移動ベクトルを算出した対象物が道路構造物であるか否かを判定するステップS19までの処理は、図3及び図4 15 and 16, the image processing unit 1, infrared cameras 2R, from the process of the step S1 for acquiring the infrared image which is the output signal of 2L, the object of calculating the relative movement vector of the vehicle 10 is a road structure processing up determining step S19 whether the either ones, 3 and 4
に示した第1の実施の形態における距離検出装置の画像処理ユニット1の対象物検出・警報動作と同一であるので、ここでは説明を省略する。 Since the first is the same as the object detection and alarm operation of the image processing unit 1 of the distance detection apparatus according to the embodiment shown in, the description thereof is omitted here. 【0047】ステップS19以降の動作について、図面を参照して説明すると、ステップS19において、相対移動ベクトルを算出した対象物が道路構造物であった場合(ステップS19のYES)、視差オフセット値の算出回数が規定値X回以上であるか否か(平均値を求める際の母集団に、信頼性の得られるX個以上のデータがあるか否か)を判定する(ステップS35)。 [0047] The step S19 and subsequent operation, with reference to the drawings, in step S19, if the object of calculating the relative movement vector is a road structures (YES in step S19), the calculation of the parallax offset value number is equal to or less than the prescribed value X times (the population for obtaining the average value, whether there is X or more data obtained reliable) (step S35). ステップS Step S
35において、視差オフセット値の算出回数が規定値X In 35, calculation number of parallax offset is the specified value X
回以上でなかった場合(ステップS35のNO)、この対象物に対する視差オフセット値を算出し(ステップS If not have been more times (NO in step S35), and calculates the parallax offset values ​​for the object (step S
21)、求めた視差オフセット値をメモリに記憶する(ステップS22)。 21), it stores the disparity offset value determined in the memory (step S22). そして、ステップS22において、求めた視差オフセットをメモリに記憶したら、次に、自車両10が検出した対象物と衝突する可能性があるか否かを判定する警報判定処理を行う(ステップS2 Then, in step S22, After storing the parallax offset determined in the memory, then performs the determining warning determination process of determining whether there is a possibility of collision with an object that the vehicle 10 has been detected (step S2
3)。 3). 【0048】ここで視差オフセット値は、第1の実施の形態において説明した求め方により求める。 [0048] Here, the parallax offset value is determined by Determination described in the first embodiment. 更に、精度良く安定して視差オフセット値Δdを求めために、ステップS35において、視差オフセット値の算出回数が規定値X回以上であった場合(ステップS35のYE Furthermore, accurately and stably to determine the parallax offset value Δd, in step S35, if the calculated number of parallax offset value is equal to or larger than the prescribed value X times (step S35 YE
S)、図14に示すように、過去に記憶した全ての視差オフセット値の平均値を求め、これを2つの赤外線カメラ2R、2Lの光軸のずれを修正するための視差補正値とする(ステップS36)。 S), as shown in FIG. 14, the average value of all the parallax offset values ​​stored in the past, this two infrared cameras 2R, and parallax correction value for correcting the deviation of the optical axis of 2L ( step S36). 但し、過去に記憶した全ての視差オフセット値は、それぞれ別個の静止対象物について算出された視差オフセット値とする。 However, all the parallax offset value stored in the past, the parallax offset values ​​calculated for each separate stationary object. 【0049】次に、求められた視差補正値が1回の視差補正値の閾値以上か否かを判定する(ステップS2 Next, the parallax correction value obtained is equal to or greater than or equal to the threshold value of the parallax correction value of one (step S2
5)。 5). ステップS25において、求められた視差補正値が1回の視差補正値の閾値以上であった場合(ステップS25のYES)、フェールセーフ機能として、例えば画像表示装置7に車両周辺のカメラ画像を表示すると共に、ワーニング(警告)を表示して2つの赤外線カメラ2R、2Lの光軸のずれの修理を運転者に求め、以降の対象物の強調表示を中止する(ステップS26)。 In step S25, if the parallax correction value obtained is greater than or equal to the threshold of the parallax correction value of one (YES in step S25), and a fail-safe function, and displays the camera image around the vehicle, for example, in the image display device 7 together, determined warnings view and two infrared cameras 2R and repair of deviation of the optical axis of 2L to the driver to stop the highlighting subsequent object (step S26). 図1 Figure 1
0に、画像表示装置7に表示された車両周辺のカメラ画像とワーニングメッセージの一例を示す。 0 shows an example of a camera image and warning messages around the vehicle displayed on the image display device 7. 【0050】また、ステップS25において、求められた視差補正値が1回の視差補正値の閾値以上でなかった場合(ステップS25のNO)、次に、過去からの視差補正値の積算値が、視差補正積算値の閾値以上か否かを判定する(ステップS27)。 [0050] Further, in step S25, if the parallax correction value determined is not greater than or equal to the threshold of the parallax correction value of one (NO in step S25), and then, the accumulated value of the parallax correction values ​​from the past, determines whether or larger than the threshold of the parallax correction integrated value (step S27). ステップS27において、過去からの視差補正値の積算値が、視差補正積算値の閾値以上であった場合(ステップS27のYES)、 In step S27, if the integrated value of the parallax correction value from the past, was more than the threshold value of the parallax correction integrated value (YES in step S27),
ステップS26へ進み、上述のように、フェールセーフ機能として、例えば画像表示装置7に車両周辺のカメラ画像を表示すると共に、ワーニング(警告)を表示して2つの赤外線カメラ2R、2Lの光軸のずれの修理を運転者に求め、以降の対象物の強調表示を中止する(ステップS26)。 The process proceeds to step S26, as described above, as a fail-safe function, for example, to the image display device 7 displays an camera image around the vehicle, Warnings view and two infrared cameras 2R, of 2L of the optical axis It obtains a deviation repairs to the driver to stop the highlighting subsequent object (step S26). 【0051】また、ステップS27において、過去からの視差補正値の積算値が、視差補正積算値の閾値以上でなかった場合(ステップS27のNO)、求められた視差補正値を新たな視差補正値として視差補正値の更新を行い(ステップS28)、ステップS21へ進み、この対象物に対する視差オフセットを算出し(ステップS2 [0051] Further, in step S27, the integrated value of the parallax correction value from the past, if not greater than or equal to the threshold value of the parallax correction integrated value (NO in step S27), the parallax correction value determined new parallax correction value updates the parallax correction value as (step S28), the process proceeds to step S21, and calculates the parallax offset for this object (step S2
1)、求めた視差オフセットをメモリに記憶する(ステップS22)。 1), and stores the parallax offset determined in the memory (step S22). そして、次に、ステップS23の警報判定処理を行う。 Then, then, it performs a warning determination process in step S23. なお、ステップS28において更新された新しい視差補正値は、次の対象物抽出処理における視差補正値として、ステップS13における視差算出演算処理に適用される。 Incidentally, a new disparity correction value updated in step S28, as the parallax correction value at the next object extraction processing is applied to the parallax calculation processing in step S13. 【0052】一方、ステップS17において、自車両1 [0052] On the other hand, in step S17, the vehicle 1
0のいずれかのタイヤがスリップしている場合(ステップS17のYES)、あるいは、ステップS18において、自車両10が直線道路を走行していない場合(ステップS18のNO)、あるいは、相対移動ベクトルを算出した対象物が道路構造物でなかった場合(ステップS If any of the tires of 0 is slipping (YES in step S17), or, in step S18, when the vehicle 10 is not traveling on a straight road (NO in step S18), and or, the relative movement vector If the calculated object is not a road structures (step S
19のNO)のいずれかの場合は、自車両10が視差オフセットを求められる状態ではないと判断し、ステップS23の警報判定処理を行う。 For any of the 19 NO in), it is determined that the vehicle 10 is not in a state obtained parallax offset, an alarm determination process in step S23. 【0053】なお、ステップS23の警報判定処理以降、ステップS29からステップS31までの抽出した対象物に関する警報を発するか否かの制御は、図3及び図4に示した第1の実施の形態における距離検出装置の画像処理ユニット1の対象物検出・警報動作と同一であるので、ここでは説明を省略する。 [0053] Incidentally, the warning determination process subsequent step S23, whether the control issues a warning about the extracted object from step S29 to step S31, in the first embodiment shown in FIGS. 3 and 4 the distance detecting device is the same as the object detection and alarm operation of the image processing unit 1, and a description thereof will be omitted. 【0054】以上、第2の実施の形態として、視差補正値を求める際に、X個以上の視差オフセット値に対し、 [0054] or, as a second embodiment, when obtaining the disparity correction value with respect to X or more parallax offset value,
異なる静止対象物に対して過去に記憶した全ての視差オフセット値の平均値を求め、これを2つの赤外線カメラ2R、2Lの光軸のずれを修正するための視差補正値とする距離検出装置について説明した。 The distance detecting device according to the parallax correction values ​​for different stationary object the average value of all the parallax offset value stored in the past with respect to which the two infrared cameras 2R, corrects the deviation of the optical axis of 2L explained. このように、第2 In this way, the second
の実施の形態の距離検出装置では、視差補正値を求める際に、異なる静止対象物に対して過去に記憶した全ての視差オフセット値の平均値を求め、これを2つの赤外線カメラ2R、2Lの光軸のずれを修正するための視差補正値とすることで、ランダムノイズの影響を受け易い視差補正値を精度良く安定して求めることができる。 In the embodiment of the distance detecting device, when determining the parallax correction value, different the average value of all the parallax offset value stored in the past with respect to the stationary object, which of the two infrared cameras 2R, the 2L by the parallax correction value for correcting the deviation of the optical axis can be determined by the prone parallax correction value affected by random noise accurately and stably. 【0055】また、第1の実施の形態と同様に、静止対象物の重なり等により発生する視差オフセット値の誤差が、複数の静止対象物に対する複数の視差オフセット値の平均値を求めることにより排除され、正確に視差補正値を算出することができる。 [0055] Also, as in the first embodiment, eliminated by the error of parallax offset value generated by the overlapping or the like of a stationary object, the average value of the plurality of parallax offset values ​​for a plurality of still objects is, it is possible to accurately calculate the parallax correction value. なお、1回の視差補正値または視差補正値の累積値と、各補正値の閾値との比較により警告表示の有無を判断し、各補正値が閾値を上まわる場合には警告表示を行うことで、第1の実施の形態と同様に、左右のカメラの光軸ずれ等に起因して発生する視差補正値がソフトウェア上での修正では対応しきれない問題として認識し、ハードウェアの修理を喚起することで、ハードウェアの大きな故障を見逃さないようにすることができる。 Incidentally, by performing a cumulative value of one parallax correction value or disparity correction value, to determine a warning whether to display the comparison with the threshold value of each correction value, a warning display if the correction value exceed the threshold in, as in the first embodiment, recognized as a problem that disparity correction value generated due to optical axis misalignment or the like of the left and right cameras are not fully compatible with modification in software, hardware repairs by evoked, it is possible to avoid missing a large hardware failure. 【0056】なお、上述の第2の実施の形態では、画像処理ユニット1が、視差補正値算出手段を含んでいる。 [0056] In the second embodiment described above, the image processing unit 1 includes a parallax correction value calculation means.
より具体的には、図16のステップS17〜ステップS More specifically, step S17~ step S in FIG. 16
22、ステップS26〜ステップS28、ステップS3 22, step S26~ step S28, step S3
5〜ステップS36が視差補正値算出手段に相当する。 5 step S36 corresponds to the disparity correction value calculation means. 【0057】 【発明の効果】以上の如く、請求項1から請求項3に記載の距離検出装置によれば、視差補正値算出手段により、車両の走行中でも、複数の異なる静止対象物について測定した複数の視差オフセット値を移動平均あるいは平均して視差オフセット修正量を求めて補正することにより、左右一組のカメラの光軸ずれに影響を受けることなく、対象物までの距離を正確に測定することができる。 [0057] As above, according to the present invention, according to the distance detecting device according to claim 1 to claim 3, by the parallax correction value calculating means, even during running of the vehicle was measured for a plurality of different stationary object by correcting seeking parallax offset correction amount plurality of parallax offset value to moving average or mean, without being affected by the optical axis shift of the left and right pair of cameras, to accurately measure the distance to the object be able to. 従って、検出した距離の誤差から警報を発する必要のない対象物に警報を発することを防止し、本当に注意を払うことが必要な警報対象物を正確に運転者に把握させることができるという効果が得られる。 Therefore, the effect of that alert the unnecessary object for issuing an alarm from the error of the detected distance to prevent really can be grasped accurately driver that alarm object necessary to pay attention can get. 【0058】特に、請求項2及び請求項3に記載の距離検出装置によれば、警告を表示して運転者にハードウェアの修理を喚起することで、ソフトウェア制御がハードウェア動作の大きな故障をカバーすることによる故障発見の遅延を防止し、問題を早期に解決できるという効果が得られる。 [0058] In particular, according to the distance detecting apparatus according to claim 2 and claim 3, warning by evoking repair hardware view and driver's software control a large hardware failure operation preventing a delay fault finding due to cover, there is an advantage that it solves the problems early. 更に、請求項3に記載の距離検出装置では、この時、カメラで撮影した車両周辺のカメラ画像を表示手段に表示することで、少しでもハードウェアが修理されるまでの運転者の利便性を保つようにすることができる。 Further, the distance detection apparatus according to claim 3, this time, by displaying the camera image around the vehicle captured by the camera on the display means, the driver of the convenience to be repaired even slightly hardware it is possible to keep.

【図面の簡単な説明】 【図1】 本発明の一実施の形態の距離検出装置の構成を示すブロック図である。 Is a block diagram showing the configuration of the distance detection apparatus according to an embodiment of the BRIEF DESCRIPTION OF THE DRAWINGS [Figure 1] present invention. 【図2】 車両における赤外線カメラやセンサ、ディスプレイ等の取り付け位置を示す図である。 [2] Infrared cameras and sensors in the vehicle, is a diagram showing a mounting position, such as a display. 【図3】 同実施の形態の距離検出装置の対象物検出・ [3] object distance detecting apparatus of the embodiment detects and
警報動作を示すフローチャートである。 Is a flow chart showing an alarm operation. 【図4】 同実施の形態の距離検出装置の対象物検出・ [4] object distance detecting apparatus of the embodiment detects and
警報動作を示すフローチャートである。 Is a flow chart showing an alarm operation. 【図5】 赤外線カメラにより得られるグレースケール画像とその2値化画像を示す図である。 5 is a diagram showing a gray-scale image and the binarized image thereof obtained by the infrared camera. 【図6】 車両が直線路を走行している場合の自車移動量と静止対象物までの測定距離の関係を示す図である。 [6] the vehicle is a diagram showing a relationship between the measurement distance to the vehicle movement amount and the stationary object when the vehicle is traveling on a straight road. 【図7】 車両がカーブを走行している場合の自車移動量と静止対象物までの測定距離の関係を示す図である。 [7] the vehicle is a diagram showing a relationship between the measurement distance to the vehicle movement amount and the stationary object when the vehicle is traveling on a curve. 【図8】 同実施の形態の距離検出装置の視差オフセット算出に利用された静止対象物の一例を示す図である。 8 is a diagram showing an example of a stationary object which is used in the parallax offset calculation of the distance detecting apparatus of the embodiment. 【図9】 同実施の形態の距離検出装置の視差オフセット算出の方法を示す図である。 9 is a diagram illustrating a method of parallax offset calculation of the distance detecting apparatus of the embodiment. 【図10】 同実施の形態の距離検出装置の画像表示装置に表示された車両周辺のカメラ画像とワーニングメッセージの一例を示す図である。 10 is a diagram showing an example of the same embodiment of the distance measuring device the image display apparatus the displayed vehicle surroundings of the camera image and the warning message. 【図11】 取り付け位置のずれにより、光軸のずれたステレオカメラの一例を示す図である。 [11] The mounting position is a diagram illustrating an example of a stereo camera that deviation of the optical axis. 【図12】 光軸のずれた左右のカメラにより撮影されたカメラ画像の視差について示す図である。 It is a diagram showing a disparity of the captured camera image by FIG. 12 left and right of a camera optical axis alignment. 【図13】 同実施の形態の距離検出装置の視差オフセットの移動平均の算出方法を示す図である。 13 is a diagram showing the moving average method of calculating the parallax offset to the embodiment of the distance measuring apparatus. 【図14】 同実施の形態の距離検出装置の視差オフセットの平均値の算出方法を示す図である。 14 is a diagram showing a method of calculating the average value of the disparity offset distance detecting apparatus of the embodiment. 【図15】 第2の実施の形態の距離検出装置の対象物検出・警報動作を示すフローチャートである。 15 is a flowchart illustrating an object detection and warning operation of the distance detection apparatus of the second embodiment. 【図16】 第2の実施の形態の距離検出装置の対象物検出・警報動作を示すフローチャートである。 16 is a flowchart illustrating an object detection and warning operation of the distance detection apparatus of the second embodiment. 【符号の説明】 1 画像処理ユニット2R、2L 赤外線カメラ3 ヨーレートセンサ4 車速センサ5 ブレーキセンサ6 スピーカ7 画像表示装置10 自車両11 静止対象物S17〜S22、S24〜S28 第1の実施の形態の視差補正値算出手段S17〜S22、S26〜S28、S35〜S36 [Reference Numerals] 1 image processing unit 2R, 2L infrared camera 3 a yaw rate sensor 4 a vehicle speed sensor 5 brake sensor 6 speaker 7 image display apparatus 10 vehicle 11 stationary object S17~S22, S24~S28 the first embodiment parallax correction value calculating means S17~S22, S26~S28, S35~S36
第2の実施の形態の視差補正値算出手段 Parallax correction value calculation unit of the second embodiment

───────────────────────────────────────────────────── フロントページの続き (72)発明者 辻 孝之 埼玉県和光市中央1丁目4番1号 株式会 社本田技術研究所内(72)発明者 服部 弘 埼玉県和光市中央1丁目4番1号 株式会 社本田技術研究所内Fターム(参考) 2F112 AC06 BA20 CA05 DA28 FA03 FA08 FA21 FA36 FA38 FA41 FA50 5H180 AA01 CC02 CC04 CC30 LL01 LL04 LL07 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Tsuji, Takayuki, Wako, Saitama central 1-chome No. 4 No. 1 stock company Honda intra-technology Research Institute (72) inventor Hiroshi Hattori Wako, Saitama central 1-chome No. 4 No. 1 stock Company Honda technical Research Institute in the F-term (reference) 2F112 AC06 BA20 CA05 DA28 FA03 FA08 FA21 FA36 FA38 FA41 FA50 5H180 AA01 CC02 CC04 CC30 LL01 LL04 LL07

Claims (1)

  1. 【特許請求の範囲】 【請求項1】 左右一組のカメラを備え、左右のカメラによりそれぞれ撮影された対象物画像の視差から、該対象物までの距離を計算する距離検出装置において、 複数の異なる静止物体を対象にして求められた複数の視差オフセット値から、該視差オフセット値を補正するための視差オフセット修正量を算出する視差補正値算出手段を備えたことを特徴とする距離検出装置。 Comprising a [Claims 1. A lateral pair of cameras, the parallax of each photographed object image by the right and left cameras, the distance detecting apparatus for calculating the distance to the object, a plurality of a plurality of parallax offset values ​​obtained by targeting different stationary object, the distance detecting device characterized by comprising a parallax correction value calculating means for calculating the parallax offset correction amount for correcting the parallax offset value. 【請求項2】 前記視差オフセット修正量が所定値以上の場合、警告を発することを特徴とする請求項1に記載の距離検出装置。 Wherein when the parallax offset correction amount is a predetermined value or more, the distance detecting apparatus according to claim 1, characterized in that a warning. 【請求項3】 前記カメラにより撮影されたカメラ画像を表示可能な表示手段を備え、 前記視差オフセット修正量が所定値以上の場合、前記表示手段に前記カメラにより撮影されたカメラ画像と警告表示とを表示することを特徴とする請求項1に記載の距離検出装置。 3. A comprising a display unit capable of displaying a camera image captured by the camera, if the parallax offset correction amount is a predetermined value or more, and the display unit in the camera image captured by the camera warning display and the distance detecting apparatus according to claim 1, characterized in that displaying the.
JP2002140729A 2002-05-15 2002-05-15 Distance detecting device Pending JP2003329439A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002140729A JP2003329439A (en) 2002-05-15 2002-05-15 Distance detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002140729A JP2003329439A (en) 2002-05-15 2002-05-15 Distance detecting device

Publications (1)

Publication Number Publication Date
JP2003329439A true true JP2003329439A (en) 2003-11-19

Family

ID=29701530

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002140729A Pending JP2003329439A (en) 2002-05-15 2002-05-15 Distance detecting device

Country Status (1)

Country Link
JP (1) JP2003329439A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005225447A (en) * 2004-02-16 2005-08-25 Daihatsu Motor Co Ltd Braking method for vehicle and braking device for vehicle
JP2007037011A (en) * 2005-07-29 2007-02-08 Toyota Motor Corp Image processing apparatus
WO2007049266A1 (en) * 2005-10-28 2007-05-03 Hi-Key Limited A method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset
JP2008524673A (en) * 2004-12-06 2008-07-10 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute Distortion correction apparatus of the stereo camera of the image, and method
WO2008155961A1 (en) * 2007-06-21 2008-12-24 Konica Minolta Holdings, Inc. Distance measuring device
JP2010146494A (en) * 2008-12-22 2010-07-01 Honda Motor Co Ltd Vehicle surroundings monitoring device
WO2012035983A1 (en) * 2010-09-13 2012-03-22 Ricoh Company, Ltd. A calibration apparatus, a distance measurement system, a calibration method and a calibration program
JP2012083330A (en) * 2010-09-14 2012-04-26 Ricoh Co Ltd Stereo camera device, calibration method and program
CN103322983A (en) * 2012-03-21 2013-09-25 株式会社理光 Calibration device, range-finding system including the calibration device and stereo camera, and vehicle mounting the range-finding system
WO2014033922A1 (en) * 2012-08-31 2014-03-06 富士通株式会社 Image processing device, image processing method, and image processing program
US9150155B2 (en) 2010-01-13 2015-10-06 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera
WO2015182068A1 (en) * 2014-05-28 2015-12-03 パナソニックIpマネジメント株式会社 Information presentation device, stereo camera system, and information presentation method
JP2017198710A (en) * 2012-03-21 2017-11-02 株式会社リコー Calibration apparatus, the distance measuring apparatus and the vehicle
JP2017201334A (en) * 2010-09-14 2017-11-09 株式会社リコー Image processing apparatus, imaging device, moving body, and program

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005225447A (en) * 2004-02-16 2005-08-25 Daihatsu Motor Co Ltd Braking method for vehicle and braking device for vehicle
JP2008524673A (en) * 2004-12-06 2008-07-10 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートElectronics And Telecommunications Research Institute Distortion correction apparatus of the stereo camera of the image, and method
JP2007037011A (en) * 2005-07-29 2007-02-08 Toyota Motor Corp Image processing apparatus
JP4556798B2 (en) * 2005-07-29 2010-10-06 トヨタ自動車株式会社 Image processing apparatus
WO2007049266A1 (en) * 2005-10-28 2007-05-03 Hi-Key Limited A method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset
WO2008155961A1 (en) * 2007-06-21 2008-12-24 Konica Minolta Holdings, Inc. Distance measuring device
JP2010146494A (en) * 2008-12-22 2010-07-01 Honda Motor Co Ltd Vehicle surroundings monitoring device
US9296337B2 (en) 2010-01-13 2016-03-29 Magna Electronics Inc. Method of calibrating a vehicular camera
US9150155B2 (en) 2010-01-13 2015-10-06 Magna Electronics Inc. Vehicular camera and method for periodic calibration of vehicular camera
WO2012035983A1 (en) * 2010-09-13 2012-03-22 Ricoh Company, Ltd. A calibration apparatus, a distance measurement system, a calibration method and a calibration program
JP2012058188A (en) * 2010-09-13 2012-03-22 Ricoh Co Ltd Calibration device, distance measurement system, calibration method, and calibration program
CN102612634A (en) * 2010-09-13 2012-07-25 株式会社理光 A calibration apparatus, a distance measurement system, a calibration method and a calibration program
US9299153B2 (en) 2010-09-13 2016-03-29 Ricoh Company, Ltd. Calibration apparatus, a distance measurement system, a calibration method and a calibration program
JP2017201334A (en) * 2010-09-14 2017-11-09 株式会社リコー Image processing apparatus, imaging device, moving body, and program
JP2012083330A (en) * 2010-09-14 2012-04-26 Ricoh Co Ltd Stereo camera device, calibration method and program
JP2017198710A (en) * 2012-03-21 2017-11-02 株式会社リコー Calibration apparatus, the distance measuring apparatus and the vehicle
US9148657B2 (en) 2012-03-21 2015-09-29 Ricoh Company, Ltd. Calibration device, range-finding system including the calibration device and stereo camera, and vehicle mounting the range-finding system
CN103322983A (en) * 2012-03-21 2013-09-25 株式会社理光 Calibration device, range-finding system including the calibration device and stereo camera, and vehicle mounting the range-finding system
JP2013224919A (en) * 2012-03-21 2013-10-31 Ricoh Co Ltd Calibration device, distance measuring apparatus, and vehicle
JP5892254B2 (en) * 2012-08-31 2016-03-23 富士通株式会社 Image processing apparatus, image processing method and image processing program
CN104584092A (en) * 2012-08-31 2015-04-29 富士通株式会社 Image processing device, image processing method, and image processing program
WO2014033922A1 (en) * 2012-08-31 2014-03-06 富士通株式会社 Image processing device, image processing method, and image processing program
WO2015182068A1 (en) * 2014-05-28 2015-12-03 パナソニックIpマネジメント株式会社 Information presentation device, stereo camera system, and information presentation method
US10083513B2 (en) 2014-05-28 2018-09-25 Panasonic Intellectual Property Management Co., Ltd. Information presentation device, stereo camera system, and information presentation method

Similar Documents

Publication Publication Date Title
US6683969B1 (en) Object detection system
US20070154068A1 (en) Estimating Distance To An Object Using A Sequence Of Images Recorded By A Monocular Camera
US20030083790A1 (en) Vehicle information providing apparatus
US20110128138A1 (en) On-vehicle device and recognition support system
US6531959B1 (en) Position detecting device
US7233233B2 (en) Vehicle surroundings monitoring apparatus
JP2008219063A (en) Apparatus and method for monitoring vehicle's surrounding
US20090046151A1 (en) Vehicle zone monitoring apparatus
US20020183929A1 (en) Vehicle environment monitoring system
CN102542843A (en) Early warning method for preventing vehicle collision and device
US6327536B1 (en) Vehicle environment monitoring system
US20030091228A1 (en) Image recognition apparatus
US20060115119A1 (en) Vehicle surroundings monitoring apparatus
US20060115115A1 (en) Vehicle surroundings monitoring apparatus
US7671725B2 (en) Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
US20070206833A1 (en) Obstacle detection system
JP2000030197A (en) Device for detecting warm body
US20120027258A1 (en) Object detection device
US20140285667A1 (en) Vehicle periphery monitoring device
US20060115121A1 (en) Abnormality detecting apparatus for imaging apparatus
JP2003216937A (en) Night vision system
JPH06293236A (en) Travel environment monitoring device
JP2007163258A (en) Apparatus and method for compensating onboard sensor
US20070230800A1 (en) Visibility range measuring apparatus for vehicle and vehicle drive assist system
US20060126899A1 (en) Vehicle surroundings monitoring apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070122

A131 Notification of reasons for refusal

Effective date: 20070206

Free format text: JAPANESE INTERMEDIATE CODE: A131

A521 Written amendment

Effective date: 20070404

Free format text: JAPANESE INTERMEDIATE CODE: A523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070508