JP2007129560A - Object detector - Google Patents

Object detector Download PDF

Info

Publication number
JP2007129560A
JP2007129560A JP2005321047A JP2005321047A JP2007129560A JP 2007129560 A JP2007129560 A JP 2007129560A JP 2005321047 A JP2005321047 A JP 2005321047A JP 2005321047 A JP2005321047 A JP 2005321047A JP 2007129560 A JP2007129560 A JP 2007129560A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
image
object
difference
region
based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005321047A
Other languages
Japanese (ja)
Other versions
JP4899424B2 (en )
Inventor
Toshihiko Suzuki
敏彦 鈴木
Original Assignee
Toyota Motor Corp
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To accurately detect an object with small movements such as a walker without being affected by the noise of a sensor or the like. <P>SOLUTION: On the basis of the moving amount of a feature region, a change amount between a first image and a second image, that is the change amount of an image due to the movement of a moving object, is estimated. By applying the estimated change amount of the image to the entire first image, a converted image is generated. The converted image indicates a position where each object probably exists at the time when the second image is imaged in the case of assuming that all the objects included in the image exist on a road plane. A region with the presence of a difference in a differential image indicates an object which actually does not exist on the road plane, and the object is detected on the basis of the region. <P>COPYRIGHT: (C)2007,JPO&INPIT

Description

本発明は、カメラなどの撮像装置により撮像された画像に基づいて、画像に含まれる物体を検出する装置に関する。 The present invention is based on the image captured by the imaging device such as a camera, an apparatus for detecting an object included in the image.

車両に搭載した赤外線カメラやステレオカメラなどにより車両の進行方向における画像を撮影し、得られた画像に基づいて先行車両、歩行者などの物体を検出する方法が提案されている。 Capturing an image in the traveling direction of the vehicle by an infrared camera or a stereo camera mounted on a vehicle, the preceding vehicle based on the obtained image, a method for detecting an object such as a pedestrian has been proposed. しかし、赤外線カメラを使用する方法は、夜間にのみ有効であり、また、赤外線カメラ自体が高価である。 However, a method of using the infrared camera is only effective at night, also is expensive infrared camera itself. また、ステレオカメラは搭載する際の制約が多く、高価である。 In addition, the stereo camera many constraints when mounting, is expensive.

一方、単眼カメラにより時間間隔をおいて複数の画像を撮像し、それらの画像から移動体を検出する方法が特許文献1に記載されている。 Meanwhile, a method of at time intervals by the monocular camera captures a plurality of images, detecting a moving object from the images is described in Patent Document 1. 特許文献1の方法は、一定時間の前後の2枚の画像の差分に基づいて移動体を検出する際、その一定時間における画像の動きを車載センサの情報に基づいて推定する。 The method of Patent Document 1, when detecting the moving object based on the difference between the two images before and after the predetermined time is estimated based on the motion of an image in the predetermined time information of the in-vehicle sensors. そして、推定により得られた画像の動きの情報を用いて一方の画像を変換し、他方の画像との差分を得ることにより移動体を検出する。 Then, by using the information of the motion of an image obtained by the estimated converting one image to detect the moving object by obtaining a difference with the other image.

特許第3463858号公報 Patent No. 3463858 Publication

しかし、特許文献1の方法では、一定時間における画像の動きを車載センサの出力に基づいて推定するため、センサの計測ノイズの影響を受けやすい。 However, in the method of Patent Document 1, for estimating on the basis of the motion of the image at a given time the output of the in-vehicle sensor, susceptible to measurement noise of the sensor. このため、差分画像に多くのノイズが発生してしまい、歩行者などの動きの小さい移動体の検出が難しいという問題がある。 Therefore, would be much noise in the difference image is generated, there is a problem that it is difficult to detect a small motion moving body such as a pedestrian.

本発明は、このような問題点を解決するためになされたもので、その目的とするところは、センサのノイズなどの影響を受けることなく、歩行者のような動きの小さい物体を精度良く検出することが可能な物体検出装置を提供することにある。 The present invention has been made to solve the above problems, and an object, without being affected by noise sensor, accurately detect the motion of small objects, such as pedestrians to provide an object detecting apparatus capable of.

本発明の1つの観点では、時間間隔をおいて撮像した複数の画像に基づいて物体を検出する物体検出装置は、時間間隔をおいて第1画像と第2画像とを撮像する撮像手段と、第1画像と第2画像に共通する道路表面上の特徴領域の移動量に基づいて、第1画像と第2画像との間の画像の変化量を推定する推定手段と、画像に含まれる被写体が道路平面上にあると仮定して前記画像の変化量に基づいて前記第1画像を変換し、変換画像を生成する画像変換手段と、前記変換画像と前記第2画像との差分画像を生成する差分画像生成手段と、前記差分画像における差分の存在する領域に基づいて物体を検出する物体検出手段と、を備える。 In one aspect of the present invention, an object detecting apparatus for detecting an object based on a plurality of images captured at a time interval, imaging means for imaging the first image and the second image at a time interval, based on the amount of movement of the feature region on the road surface which is common to the first and second images, and estimating means for estimating an amount of change in the image between the first image and the second image, an object included in the image generating a difference image but assuming are on the road plane said first image converting based on a change amount of the image, an image conversion means for generating a converted image, and the converted image and the second image It comprises a difference image generation means for, and a object detecting means for detecting an object based on the presence region of the difference in the difference image.

上記の物体検出装置は、例えば車両などの移動体に搭載され、当該移動体の前方などに位置する物体を検出する。 The above object detection apparatus, for example, is mounted on a moving body such as a vehicle, detects an object located such in front of the moving object. 物体検出装置は、例えばCCDカメラなどの撮像手段を備え、時間間隔をおいて道路平面などの画像を撮像する。 Object detecting apparatus, for example, it includes an imaging unit such as a CCD camera, for capturing images, such as road plane at time intervals. 時間間隔をおいて異なる時刻に撮像された画像を第1画像及び第2画像とする。 The images captured at different times at a time interval between the first image and the second image. 次に、第1画像と第2画像に共通して含まれる道路平面上の特徴領域の移動量に基づいて、第1画像と第2画像との間の変化量が推定される。 Then, based on the amount of movement of the feature region on the road plane including common to the first and second images, the change amount between the first image and the second image is estimated. 特徴領域は、道路平面上に固定配置された斜線、標識などを含む。 Feature region includes fixedly disposed on the road plane hatched, labeling and the like. 特徴領域の移動量は道路平面に対する移動体、即ち撮像手段の相対的な移動量を示すので、特徴領域の移動量に基づいて、第1画像と第2画像との間の変化量、即ち、移動体の移動に起因する画像の変化量が推定される。 Mobile relative movement amount road plane characteristic region, that is, showing the relative movement amount of the imaging unit, based on the amount of movement of the feature region, the change amount between the first image and the second image, i.e., change of the image due to the movement of the moving body is estimated.

次に、画像に含まれる被写体が道路平面上にあると仮定し、推定された画像の変化量を第1の画像全体に適用することにより、変換画像が生成される。 Then, the object included in the image is assumed to be on the road plane, by applying the variation of the estimated image the entire first image is converted image is generated. この変換画像は、画像に含まれる全ての被写体が道路平面上にあったとした場合に、第2画像が撮像された時刻において各被写体が存在したであろう位置を示している。 The transformed image, when all of a subject included in the images is that there on the road plane, the second image indicates the position that will each subject was present at the time captured. そこで、変換画像と、実際に撮像された第2画像との差分画像を生成する。 Therefore, the converted image, actually generates a difference image between the second image captured. 個々の被写体が実際に道路平面上に存在している場合、その被写体に関しては変換画像と差分画像は一致するはずである。 If individual subject is actually present on the road plane, with respect to the subject transformed image and the difference image should coincide. 一方、被写体が実際に道路平面上に存在していない場合、その被写体に関しては変換画像と差分画像とは一致せず、差分が生じることになる。 On the other hand, when the subject is not actually present on the road plane, it does not match the converted image and the difference image with respect to the subject, so that the difference occurs. 即ち、差分画像における差分の存在する領域は、実際には道路平面上に存在していなかった物体を示していることとなり、その領域に基づいて物体が検出される。 That is, the region in the presence of a difference in the difference image is actually becomes that shows the object that did not exist on the road plane, the object is detected based on the region. 詳しくは、検出される物体は、道路平面より高い位置に存在する立体物、道路平面に対して移動している移動物体などを含む。 Specifically, the object to be detected, three-dimensional object present in higher road plane position, including moving object is moving relative to the road plane.

この手法では、全ての被写体が道路平面上にあると仮定して画像の変換量を決定するため、道路平面上に存在するが高さがゼロ又は低い静止物の差分を正確にゼロに近づけることができるので、移動量の少ない歩行者などを確実に検出することが可能となる。 In this approach, since all of the subject to determine the conversion of the image on the assumption that are on the road plane, precisely it is brought close to zero the difference that the height is zero or less stationary object existing on the road plane since it is, it is possible to reliably detect a moving amount less pedestrians.

上記の物体検出装置の一態様は、前記差分画像における差分の存在する領域の形状に基づいて前記物体を識別する物体識別手段を備える。 One aspect of the above object detecting apparatus comprises an object identification unit for identifying the object based on the shape of the region where the presence of the difference is in the difference image. また、好適な例では、前記領域の形状は、前記差分画像の差分の存在する領域が形成する閉領域の形状、又は、差分画像の差分の存在する領域の形状である。 Further, in a preferred embodiment, the shape of the region, the shape of the closed region that is present areas of difference of the difference image is formed, or a shape of the region in the presence of the difference of the difference image. 差分の存在する領域の形状は、静止立体物や移動物体などの輪郭形状に対応するため、その形状を抽出し、パターン認識などを行うことにより、物体を識別することができる。 Shape of the region in the presence of the difference, in order to correspond to the contour shape, such as still solid object and the moving object, and extracts its shape, by performing such pattern recognition, it is possible to identify the object. 例えば、抽出した形状を、車両の形状、人間の身体の部位の形状などとパターンマッチングすることにより、車両、歩行者などを識別することができる。 For example, the extracted shape, the shape of the vehicle, by such a pattern matching the shape of the site of the human body, it is possible to identify a vehicle, a pedestrian.

上記の物体検出装置の他の一態様は、複数の時間間隔の差分画像間での前記差分画像の差分の存在する領域の変化に基づいて、検出した物体を識別する物体識別手段を備える。 Another embodiment of the object detection apparatus, based on a change in the existing area of ​​the difference of the difference image between the difference image of a plurality of time intervals comprises object identification means for identifying a detected object. 時間間隔を変更して差分画像を検討すると、物体が移動物体である場合と静止立体物である場合とでは、差分の存在する領域が変形する様子が異なる。 Considering the difference image by changing the time interval, in the case the object is a stationary three-dimensional object as if it is moving object, how the areas in the presence of difference deformation is different. よって、この変形の仕方に基づいて、検出された物体が移動物体であるか、静止立体物であるかを識別することができる。 Therefore, based on how this variation, whether the detected object is a moving object, it is possible to identify whether a still three-dimensional object. 好適な例では、前記物体識別手段は、前記差分画像の差分の存在する領域の形状が前記撮像手段の撮像方向の主軸へ向かって変形する場合に、検出された物体を道路平面に対して高さを有する静止物であると識別することができる。 In a preferred example, the object identification unit, when the shape of the existing area of ​​the difference of the difference image is deformed toward the imaging direction of the main axis of the imaging means, the high the detected object with respect to the road plane it is can be identified as a stationary object having.

上記の物体検出装置の他の一態様は、前記差分画像における差分の存在する領域に基づいて検出された物体の動きを検出する物体動き検出手段を備える。 Another embodiment of the object detection apparatus includes a body motion detecting means for detecting a movement of the detected object based on the region in which the presence of differences in the difference image. この態様では、時間間隔をおいて差分の存在する領域の形状を分析することにより、その物体の動きを算出することができる。 In this manner, by analyzing the shape of the existing area of ​​the difference at intervals of time, it is possible to calculate the motion of the object. また、この場合、物体動き検出手段により検出された物体の動きの量に基づいて、当該物体が静止物であるか移動物体であるかを識別することができる。 In this case, it is possible to identify whether based on the amount of movement of the detected object by object motion detection means, a moving object or the object is a still object.

以下、図面を参照して本発明の好適な実施の形態について説明する。 Hereinafter, a description will be given of a preferred embodiment of the present invention with reference to the drawings.

[物体検出装置] [Object Detection Apparatus]
図1に本発明に係る物体検出装置の概略構成を示す。 It shows a schematic configuration of an object detecting apparatus according to the present invention in FIG. 図1(a)は物体検出装置1のブロック図であり、図1(b)は物体検出装置を搭載した車両を示す図である。 1 (a) is a block diagram of the object detection device 1, FIG. 1 (b) is a diagram showing a vehicle equipped with an object detection apparatus. 本実施形態では物体検出装置1は車両に搭載される。 Object detection apparatus 1 in the present embodiment is mounted on a vehicle. 図1(a)に示すように、物体検出装置1は、CCDカメラ3(以下、単に「カメラ」とも呼ぶ。)、画像認識ECU4、表示装置5、スピーカ6、及び、アクチュエータ7を備える。 As shown in FIG. 1 (a), the object detecting device 1, CCD camera 3 (hereinafter, simply referred to as "camera".), Image recognition ECU 4, the display device 5, a speaker 6, and includes an actuator 7. カメラ3は、図1(b)に示すように車両10の頂部前方位置などに取り付けられ、主として車両10の前方の道路平面(以下、「路面」とも呼ぶ。)15の画像を撮像する。 Camera 3 is mounted on such a top front position of the vehicle 10 as shown in FIG. 1 (b), primarily of the road ahead of the plane of the vehicle 10 (hereinafter also referred to as a "road surface".) Capturing an 15 image. よって、路面15上に物体50が存在する場合、物体50を含む路面15の画像が撮像される。 Therefore, if there is an object 50 on the road surface 15, the image of the road surface 15 containing the object 50 is imaged.

画像認識ECU4は、カメラ3が時間間隔をおいて撮像した複数の画像に基づいて画像処理を行い、物体を検出する。 Image recognition ECU4 performs image processing based on a plurality of images the camera 3 is picked at time intervals, to detect objects. 画像認識ECU4は、例えば前方車両、歩行者などの物体が検出されると、その物体を含む画像を表示装置5へ送り、表示装置5上に表示させる。 Image recognition ECU4, for example when the vehicle in front, an object such as a pedestrian is detected, the image sent to the display device 5 including the object, and displays it on the display device 5. また、必要に応じて、表示装置5上に警告などを表示させる。 If necessary, to display with a warning on the display device 5. 表示装置5は、例えば車両の運転席前方に位置する表示パネルとすることができる。 Display device 5 may be, for example, a display panel positioned in front of the driver's seat in the vehicle. また、画像認識ECU4は、物体が検出されると、必要に応じて信号をスピーカ6へ送り、スピーカ6からその旨を運転者に伝える音声メッセージなどを出力させる。 The image recognition ECU4, when an object is detected, the signal feed to the speaker 6 as necessary, to output the voice message telling the speaker 6 to that effect to the driver. さらに、画像認識ECU4は、物体が検出されると、必要に応じて危険回避などのために、車両に搭載されている各種アクチュエータに信号を供給して、エンジン、ブレーキ、ステアリングなどの出力を制御する。 Further, the image recognition ECU4, when an object is detected, for danger avoidance as required, and supplies the signal to various actuators mounted on a vehicle, engine, brake, controls the output such as the steering to.

[物体検出原理] [Object Detection Principle]
まず、本発明による物体検出の基本原理について説明する。 First, a description will be given of the basic principle of object detection according to the present invention. 本発明では、路面に対して移動する移動物体及び路面に対して高さを有する物体を検出できる点に一つの特徴を有する。 In the present invention has one feature in that it can detect an object having a height with respect to the moving object and the road surface moves relative to the road surface. 時間を変えて撮像した2枚の画像に対して、この間の車両運動を考慮して1枚目の画像を修正すると、路面上及び路面から高さの低い位置の点は、2枚の画像において同一座標、同一輝度となり、差分がゼロとなる。 Against two images captured at different times, modifying the first image taking into account the meantime the vehicle motion, the lower position of the point heights from the road surface and on the road, in the two images same coordinates, become the same luminance, the difference becomes zero. 一方、路面に対して移動したもの、及び、路面からの高さが大きい点は2枚の画像における座標位置が変わるため、輝度差が発生する。 Meanwhile, those moving to a road surface, and the point is greater height from the road surface for the coordinate position in the two images is changed, the brightness difference is generated. よって、この差分に基づいて、物体を検出することができる。 Therefore, based on this difference, it is possible to detect the object.

図2に車両の移動に伴ってカメラ3が路面に対して移動する様子を模式的に示す。 Figure 2 how the camera 3 is moved relative to the road surface shown schematically with the movement of the vehicle. なお、図示の便宜上、車両10は図示を省略している。 For convenience of illustration, the vehicle 10 is not shown. 図2は、ある時刻tから、Δt経過後の時刻(t+Δt)までの間に移動する様子を示す。 2, from a certain time t, showing how to move until time after Delta] t has elapsed (t + Δt). 時刻tにおけるカメラの画像は、カメラ3の撮像方向の主軸(カメラの光軸)をZ軸方向とし、Z軸に垂直なカメラ下方をY軸方向とし、Z軸に垂直な水平方向をX軸方向とするXYZ座標系(「カメラ座標系」とも呼ぶ。)により示される。 Camera image at time t, the imaging direction of the camera 3 main axis (optical axis of the camera) and a Z-axis direction, perpendicular camera downward Z axis and Y-axis direction, X-axis perpendicular horizontal to the Z axis indicated by XYZ coordinate system with the direction (also referred to as a "camera coordinate system".). 一方、時刻(t+Δt)におけるカメラの画像は、図示のようにX'Y'Z'座標系により示される。 On the other hand, the camera image at time (t + Δt) is represented by the X'Y'Z 'coordinate system as shown.

いま、路面15上の物体50が、時刻tにおいてはXYZ座標系における点M(x、y、z)に位置し、時刻(t+Δt)においてはX'Y'Z'座標系における点M t+Δt (x'、y'、z')に位置したとする。 Now, the object 50 on the road surface 15, the point M in the XYZ coordinate system at time t (x, y, z) located, time point in X'Y'Z 'coordinate system in (t + Δt) M t + Δt ( x ', y', and located in z '). この場合、点Mから点M t+Δtへの写像は、路面15に対するカメラ3の相対的な移動に対応する。 In this case, the mapping from the point M to the point M t + Delta] t, corresponding to the relative movement of the camera 3 with respect to the road surface 15.

図3(a)に時刻tにおいて撮像された画像の例を示し、図3(b)に時刻(t+Δt)において撮像された画像の例を示す。 FIGS. 3 (a) represent an example of an image imaged at time t, showing an example of an image imaged at time (t + Δt) in FIG. 3 (b). 路面15上に特徴領域(例えば、路面上の白線、標識など)M1〜M4が存在する場合、撮像された画像上における各特徴領域M1〜M4の位置は、カメラ3の移動に応じて、図3(a)及び3(b)に示すように移動する。 Feature region on the road surface 15 (e.g., white line on the road surface, etc. labeled) If M1~M4 is present, the position of each characteristic region M1~M4 on the captured image in response to movement of the camera 3, FIG. 3 moving as shown in (a) and 3 (b). そこで、本発明では、路面上に存在する特徴領域の移動量に基づいて画像処理により、路面に対するカメラの相対的な動きを推定する。 Therefore, in the present invention, the image processing based on the amount of movement of the feature region that is present on the road surface, and estimates the relative motion of the camera relative to the road surface. 理論上、特徴領域を路面上に4点設定することにより、路面に対するカメラの相対的な動きを算出することができる。 In theory, the feature region by setting four points on the road surface, it is possible to calculate the relative movement of the camera relative to the road surface. なお、特徴領域としては、路面上にある車線、標識などを用いることができる。 As the feature region can be used lanes present on the road surface, label or the like. また、その代わりに、路面上に存在する特徴的な模様などを特徴領域とし、画像処理によりその模様の明暗などを強調して推定を行うこともできる。 Also, instead, such as the characteristic region the characteristic pattern present on the road surface, the image processing can be performed estimated to emphasize like brightness of the pattern.

そして、推定されたカメラの動きに基づいて、時刻(t+Δt)の撮像画像から、時刻tの撮像画像に対応する変換後の画像(以下、「変換画像」と呼ぶ。)を生成する。 Then, based on the motion of the estimated camera, from the captured image at time (t + Delta] t), the converted image corresponding to the captured image at time t (hereinafter, referred to as "converted image".) To generate a. この変換画像は、時刻(t+Δt)の撮像画像に含まれている被写体(撮像された画像に含まれる全ての要素)が全て路面上に存在していると仮定した場合に、それらの被写体が時刻tにおいて存在していたであろう位置を示す。 The transformed image, assuming that the time (t + Delta] t) subject included in the captured image (all elements included in the captured image) are all present on the road surface, they subject the time shows that would have been present position at t. よって、変換画像と、実際の時刻tにおける撮像画像とを比較した場合、路面上に存在する全ての静止物体は同じ位置に存在するはずである。 Thus, a converted image, when comparing the captured image in real time t, all the stationary objects present on the road surface should be in the same position. 言い換えれば、変換画像と実際の時刻tにおける撮像画像とに差分が生じている領域は、路面上に存在しない静止物体、又は、移動物体であるということができる。 In other words, a region where the difference in the captured image is generated in the actual time t and the transformed image, a stationary object that does not exist on the road surface, or can be said to be moving objects. そこで、本発明では、この差分に基づいて、物体を検出する。 Therefore, in the present invention, based on the difference, to detect objects. この手法では、路面に対するカメラの相対的な移動を、車載センサによる車両の移動から推定するのではなく、撮像された画像から画像処理により推定するので、センサの計測ノイズにより推定精度が低下する恐れはなく、高精度の物体検出が可能となる。 In this approach, the relative movement camera relative to the road surface, instead of estimating the movement of the vehicle by the vehicle sensor, the estimated by image processing from the captured image, a possibility that the estimation accuracy is degraded by the measurement noise of the sensor rather, it is possible to object detection with high accuracy.

[物体検出処理] [Object Detection Processing]
図4に、本実施形態による物体検出処理のフローチャートを示す。 Figure 4 shows a flowchart of object detection process according to the present embodiment. なお、この物体検出処理は、図1に示した画像認識ECU4が、カメラ3から取得した撮像画像を処理することにより実行される。 Note that this object detection process, the image recognition ECU4 shown in FIG. 1, is performed by processing the captured image acquired from the camera 3.

まず、車両10の走行中にカメラ3が車両前方の画像を撮像し、撮像画像を生成する(ステップS1)。 First, the camera 3 during traveling of the vehicle 10 captures an image in front of the vehicle, generates a captured image (step S1). カメラ3は所定の時間間隔で画像を撮像するので、カメラ3は所定の時間間隔において撮像した複数の画像を生成することになる。 Because the camera 3 captures an image at a predetermined time interval, the camera 3 will generate a plurality of images captured at predetermined time intervals.

次に、画像認識ECU4は、得られた撮像画像に基づいて、フローパラメータを算出し、さらにフローパラメータに基づいて車両運動パラメータ及び平面パラメータを算出する(ステップS2)。 Next, the image recognition ECU4, based on the captured image obtained, to calculate the flow parameters, and calculates the vehicle motion parameters and plane parameters based on more flow parameters (step S2). なお、フローパラメータは、路面上の平面のオプティカルフローを示すパラメータである。 Note that the flow parameter is a parameter indicating the optical flow of the plane of the road surface. また、車両運動パラメータは所定時間(例えばΔt秒)における車両の運動を規定するパラメータであり、平面パラメータは路面上に規定される平面のカメラ座標に対するパラメータである。 The vehicle motion parameters is a parameter that defines the motion of the vehicle in a predetermined time (for example Δt in seconds), the plane parameter is a parameter for the camera coordinate plane defined on the road surface. この処理に関しては詳細は後述する。 For more information about this process will be described later.

次に、画像認識ECU4は、得られた車両運動パラメータ及び平面パラメータに基づいて、平面画像変換式を生成する(ステップS3)。 Next, the image recognition ECU4, based on the obtained vehicle motion parameters and plane parameters, to generate a planar image conversion equation (step S3). 平面画像変換式は、前述のように、路面上に存在する特徴領域の移動量に基づいて画像処理により生成されるものであり、路面に対するカメラの相対的な動き量を示すものである。 Planar image conversion equation, as described above, which is generated by the image processing based on the amount of movement of the feature region that is present on the road surface shows a relative movement amount of the camera relative to the road surface. この処理に関しても詳細は後述する。 Also details will be described below with respect to this process.

次に、画像認識ECU4は、得られた平面画像変換式を用いて、画像の変換を行う(ステップS4)。 Next, the image recognition ECU4, using the planar image conversion formula obtained, to convert the image (step S4). 具体的に、ステップS1において、ある時刻tにおける撮像画像(以下、「第1画像」と呼ぶ。)と、それからΔt(秒)経過した時刻(t+Δt)における撮像画像(以下、「第2画像」と呼ぶ。)が取得されたとする。 Specifically, in step S1, the captured image at a certain time t (hereinafter, referred. To as "first image") and, then Delta] t (in seconds) elapsed time (t + Delta] t) captured in the image (hereinafter, "second image" and call.) and has been acquired. 画像認識ECU4は、時間的に新しい第2画像に対して、平面画像変換式を用いて変換を行い、変換後の画像(即ち、変換画像)を生成する。 Image recognition ECU4, to the time the new second image, to perform the conversion using the planar image conversion equation to generate a converted image (i.e., transformed image). 前述のように、平面画像変換式は路面に対するカメラの相対的な動きを示す式であるので、変換画像は、第2画像に含まれる全ての被写体が路面上にあると仮定した場合に、時刻tにおいてそれらの被写体が存在したであろう位置を示す画像となる。 As described above, since the planar image conversion formula is a formula showing the relative movement of the camera relative to the road surface, the transformed image, when all the subject included in the second image is assumed to be on the road surface, the time the image showing the position that would those subject is present in t.

そして、画像認識ECU4は、変換画像と、時刻tにおける実際の撮像画像、即ち第1画像との差分を演算する(ステップS5)。 Then, the image recognition ECU4 computes a transformed image, the actual captured image at time t, i.e. the difference between the first image (step S5). 路面上にある静止物体の場合、その時刻tにおける位置から時刻(t+Δt)における位置への移動は、前述の路面に対するカメラの相対的な動きによるものとなる。 For stationary objects located on the road surface, the movement from the position in the time t to the position at time (t + Delta] t) is a by relative movement of the camera relative to the road surface described above. よって、路面上にある静止物体(以下、「路面上静止物体」については、ステップS4で得られた変換画像における当該物体の位置と、ステップS1で撮像された第1画像における当該物体の位置とは一致する。 Therefore, stationary object (hereinafter which is on the road surface, the "road surface on the stationary object" is set to the position of the object in the transformed image obtained in step S4, the position of the object in the first image captured in step S1 It is consistent.

一方、路面上に存在するが、高さを有する静止物体(以下、「静止立体物」とも呼ぶ。)については、その物体が高さ成分を有するため、時刻tにおける位置から時刻(t+Δt)における位置への移動は路面に対するカメラの相対的な移動のみで表すことができない。 On the other hand, is present on the road surface, in a still object having a height (hereinafter, also referred to as "stationary solid object.") For, since the object has a height component, the time from the position at time t (t + Delta] t) move to position can not be represented only by a relative movement camera relative to the road surface. よって、ステップS4で得られた変換画像における当該物体の位置と、ステップS1で撮像された第1画像における当該物体の位置とは一致しない。 Therefore, the position of the object in the transformed image obtained in step S4, does not coincide with the position of the object in the first image captured at step S1. また、路面上に存在するが移動している物体(以下、「移動物体」とも呼ぶ。)については、当該移動物体自体の移動成分を有するため、時刻tにおける位置から時刻(t+Δt)における位置への移動は路面に対するカメラの相対的な移動のみで表すことができない。 Further, an object is present on the road surface is moving (hereinafter, also referred to as a "moving object".) For, since it has a movement component of the moving object itself, from the position at time t to the position at time (t + Delta] t) the movement can not be expressed by only the relative movement camera relative to the road surface. よって、ステップS4で得られた変換画像における当該物体の位置と、ステップS1で撮像された第1画像における当該物体の位置とは一致しない。 Therefore, the position of the object in the transformed image obtained in step S4, does not coincide with the position of the object in the first image captured at step S1.

従って、変換画像と第1画像との差分を演算することにより、撮像画像に含まれる静止立体物及び移動物体を検出することができる。 Therefore, by calculating the difference between the converted image and the first image, it is possible to detect the stationary solid object and the moving object included in the captured image. 具体的には、画像認識ECU4は、画像中に含まれる各画素毎に、ステップS5で得られた差分を所定の閾値と比較する。 Specifically, the image recognition ECU4, for each pixel included in the image, comparing the difference obtained in step S5 and a predetermined threshold value. 閾値以上の差分が発生した画素の位置は、静止立体物又は移動物体の一部と判断することができる。 Positions of the pixels above the threshold value difference occurs, it can be determined that a portion of the stationary solid object or moving objects. よって、閾値を超える差分が検出された画素の集合により形成される形状を物体の輪郭形状と検出することができる。 Therefore, a shape difference exceeding a threshold value is formed by a set of pixels detected can be detected with an object contour. こうして、本実施例では、所定の時間間隔を有する複数の画像から、静止立体物及び移動物体を含む物体を検出することができる。 Thus, in this embodiment, a plurality of images having a predetermined time interval, it is possible to detect an object including a stationary solid object and the moving object.

[平面画像変換式の導出] [Planar image conversion formula derived]
次に、ステップS2〜S3における平面画像変換式の導出方法について詳しく説明する。 It will now be described in detail a method of deriving a planar image conversion equation in step S2 and S3. フローパラメータはオプティカルフローモデルを用いて算出される。 Flow parameters are calculated using the optical flow model. このモデルは、既知の2次のフローモデルにおける8個のフローパラメータを用いて表現される。 This model is expressed using eight flow parameters in the known second order flow model. これらのパラメータは、画像中の個々の位置に対応付けられている。 These parameters are associated with individual positions in the image. 本例では、路面が平面であるとの前提のもとで、2つの画像中の同一点を結ぶベクトルを識別する。 In this example, under the assumption that the road surface is flat, identifying the vector connecting the same point in the two images.

3次元空間では、車両の動きは図5(a)及び5(b)に示すように9個のパラメータを用いて表現される。 The 3-dimensional space, the motion of the vehicle is expressed using a nine parameters as shown in FIG. 5 (a) and 5 (b). ここで、9個の物理的パラメータは、3方向における車速「a」、「b」、「c」、3つの軸に対する角速度「w1」、「w2」、「w3」、並びに、カメラのピッチ「θ」、ロール「φ」及び高さ「H」である。 Here, the nine physical parameters, the vehicle speed "a" in three directions, "b", "c", the angular velocity "w1" for the three axes, "w2", "w3", as well as camera pitch " θ ", it is a roll" φ "and height" H ".

例えばカメラの高さHなど、9個の物理的パラメータのうちの1つを得れば、オプティカルフローパラメータを用いて他の8個の物理的パラメータを算出し、カメラの動きを決定することができる。 For example, a camera of the height H, if you get one of the nine physical parameters, that by using the optical flow parameters to calculate the eight other physical parameters, determining the motion of the camera it can. 例えば拡張カルマンフィルタ(Extended Kalman Filter)を用いてカメラの動きを決定することができる。 For example it is possible to determine the movement of the camera using an extended Kalman filter (Extended Kalman Filter).

具体的には、3次元座標における動きパラメータ(変化率)を積算することにより、路面に対する車両の動き及び方向を決定する。 Specifically, by integrating the motion parameters (rate of change) in the three-dimensional coordinates, to determine the motion and orientation of the vehicle relative to the road surface. 3次元空間における動き及び方向をオプティカルフローベクトルに基づいて推定する。 Estimated based movement and direction in the optical flow vector in three-dimensional space. オプティカルフローベクトルとは、複数の画像中の同一点を結んだベクトルである。 The optical flow vector is a vector connecting the same point in the plurality of images.

図6に、パラメータの算出方法の一例を示す。 6 shows an example of a method of calculating the parameters. 複数の画像(例えば時刻t及び時刻(t+Δt)をカメラ3により撮像する。一方、車載センサにより、車速、ヨーレート及びピッチレートが検出される。撮像された複数の画像に基づいて、画像処理により、オプティカルフローの8個のパラメータ及び2次元フローモデルが計算される。8個のパラメータから、カルマンフィルタを用いてオプティカルフローが処理され、車両の動き及びカメラの方向が計算される。なお、車速及びヨーレートを画像処理において使用することにより、推定精度が向上する。以下、動きの検出について詳細に説明する。 A plurality of images (for example, time t and time (t + Delta] t) is captured by the camera 3. On the other hand, the vehicle sensor, vehicle speed, yaw rate and pitch rate can be detected. Based on the captured plurality of images, by image processing, from .8 amino parameters eight parameters and two-dimensional flow model of the optical flow is calculated, the optical flow by using a Kalman filter are processed, the direction of vehicle movement and camera are calculated. Incidentally, the vehicle speed and the yaw rate by using the image processing, the estimation accuracy is improved. will be described in detail for the detection of motion.

(1)座標系及びパラメータの定義 図7及び図8は本実施例で使用される3つの座標系、即ち画像座標系、カメラ座標系及び車両座標系を示す。 (1) coordinate system and parameters definitions 7 and 8 three coordinate system used in the present embodiment, showing i.e. image coordinate system, the camera coordinate system and the vehicle coordinate system. 画像座標系はカメラの画像平面上に設定される。 Image coordinate system is set on the image plane of the camera. カメラ座標系の原点は、カメラの撮像方向の主軸(カメラの光軸)が画像平面と交差する点である。 The origin of the camera coordinate system, the imaging direction of the camera main axis (optical axis of the camera) is a point which intersects the image plane. 車両座標系は、カメラ座標系を回転することにより得られる。 Vehicle coordinate system is obtained by rotating the camera coordinate system. これらの座標系はカメラの動きに伴って移動する。 These coordinate systems move along with the movement of the camera. なお、画像中に現れる路面は基本的に平面であることを前提とする。 Incidentally, it is assumed that the road surface appearing in the image is essentially planar.

(2)平面フロー 路上を走行する車両に搭載されるカメラの動きは、6つの自由度を有する:垂直方向速度a camera 、横方向速度b camera 、前後方向速度c camera 、ヨーレートw1、ピッチレートw2、ロールレートw3。 (2) camera motion to be mounted on a vehicle traveling plane flow path has six degrees of freedom: the vertical velocity a camera, lateral velocity b camera, the front-rear direction velocity c camera, yaw rate w1, pitch rate w2 , roll rate w3. これらの動きパラメータはカメラ座標系に関して測定される。 These motion parameters are measured with respect to the camera coordinate system.

路面が平坦であると仮定すると、カメラ座標系に関して平面式が成り立つ。 If the road surface is assumed to be flat, planar equation holds with respect to the camera coordinate system.

ここで、p、q、rは平面パラメータである。 Here, p, q, r is a plane parameter.

画像面中の平面画像により生成されるオプティカルフローベクトルは、以下のようになる。 Optical flow vectors generated by the planar image in the image plane is as follows.

ここで、u及びvは、それぞれ画像座標系(x,y)におけるフローベクトルの水平及び垂直成分である。 Here, u and v are the horizontal and vertical components of the flow vectors in each image coordinate system (x, y). fはカメラの焦点距離である。 f is the focal length of the camera. U、V,A、B、C、D、E、Fは、平面に対するカメラの動き及び方向について決定されたフローパラメータである。 U, V, A, B, C, D, E, F is the flow parameters determined for camera motion and direction to the plane. フローパラメータは以下の式で与えられる。 Flow parameters are given by the following equation. なお、tdは画像のサンプリング時間である。 Incidentally, td is the sampling time of the image.

平面パラメータは、路面に対するカメラの方向各及び位置、即ち、ピッチ各θ、ロール各φ及びカメラ高さHにより示すことができる。 Plane parameter, the direction each and position of the camera relative to the road surface, i.e., can be indicated by the pitch each theta, roll each φ and camera height H. 一般的に、ほとんどの車両において、θ、φ及びΔH(Hの変化)はゼロに等しい。 Generally, in most vehicles, theta, (change in H) phi and ΔH is equal to zero. よって、 Thus,

となる。 To become. 上記の近似を用いると、カメラと路面との間の地理的関係から、以下の式が得られる。 With approximation described above, the geographical relationship between the camera and the road surface, the following equation is obtained.

図8に示すように、カメラ座標系は、車両座標系に対してθ及びφだけ回転している。 As shown in FIG. 8, the camera coordinate system is rotated by θ and φ to the vehicle coordinate system. よって、カメラの並進速度a camera 、b camera 、c cameraは、車両の並進速度a、b、cにより以下のように示される。 Thus, the translational speed a camera of the camera, b camera, c camera is shown as follows translational speed a vehicle, b, a c.

カメラを搭載する際、カメラの軸を、ステアリングをニュートラル位置にした状態における車両の走行方向と正確に一致させることは困難である。 When mounting the camera, the axis of the camera, it is difficult to exactly match the travel direction of the vehicle in a state where the steering to the neutral position. よって、カメラと車両の水平方向差を考慮して、パラメータγを導入する。 Therefore, in consideration of the horizontal difference between the camera and the vehicle, introducing a parameter gamma. 水平方向差はカメラ及び車両の縦方向速度を測定するために使用される。 Horizontal difference is used to measure the longitudinal speed of the camera and the vehicle.

以上より、車両座標系に関して得られるフローベクトルは以下のようになる。 Thus, the flow vector obtained for the vehicle coordinate system is as follows.

こうして得られた車両運動パラメータ(a、b、c、w1、w2、w3)及び平面パラメータ(p、q、r)に基づいて、以下の平面画像変換式が得られる。 Thus obtained vehicle motion parameters based on (a, b, c, w1, w2, w3), and the plane parameters (p, q, r), the planar image conversion formula is obtained.

座標(x'、y')は第2画像の座標であり、座標(x、y)は変換画像の座標である。 Coordinates (x ', y') are coordinates of the second image, the coordinates (x, y) are coordinates of the converted image. また、各変数T11〜T33は以下の式で与えられる。 Further, each variable T11~T33 is given by the following equation.

ここで、kは未定の比例定数であり、最終的に上記の式(1)に代入して数値が得られる時点で分母・分子で相殺される。 Here, k is pending proportionality constant, numbers into the final above equation (1) is offset by the denominator and molecules when the resulting.

R11〜R33は2つの平面の回転を表す回転行列の9個の要素であり、撮像時間差tが小さい時には図8のw1〜w3を用いて、 R11~R33 are nine elements of the rotation matrix representing the rotation of the two planes, when the imaging time difference t is small with w1~w3 8,
R11≒w1 R11 ≒ w1
R22≒w2 R22 ≒ w2
R33≒w3 R33 ≒ w3
R12=R13=R21=R23=R31=R32=0 R12 = R13 = R21 = R23 = R31 = R32 = 0
と近似することができる。 It can be approximated with. 「a」、「b」、「c」はそれぞれ図8に示す通り3軸方向の車両並進速度成分である。 "A", "b", "c" is the vehicle translational velocity component of the street 3-axis direction shown in FIG. 8, respectively. こうして得られた平面画像変換式を用いて、ステップS4における画像の変換が行われる。 Using the thus obtained planar image conversion formula, conversion of the image is performed in step S4.

[移動物体識別処理] [Moving object identification processing]
次に、移動物体識別処理について説明する。 Next, a description will be given of a mobile object identification processing. 前述のように物体検出処理では、静止立体物及び移動物体を含む物体が検出される。 In the object detection process as described above, an object including a stationary solid object and the moving object is detected. 移動物体識別処理は、物体検出処理により検出された静止立体物と移動物体とを識別、即ち区別する。 Moving object identification processing, it identifies the mobile and stationary three-dimensional object detected by the object detection process object, i.e., distinguished.

図9に、歩行者、車両及び静止立体物の差分画像の例を示す。 9 shows a pedestrian, an example of a difference image of the vehicle and stationary three-dimensional object. 本発明の移動物体識別処理は、時間差の異なる複数の差分画像を用いて物体を識別する点に特徴を有する。 Moving object identification processing of the present invention is characterized by the point that identifies the object using a plurality of difference images having different time differences. 例えば、図9に示すように、差分画像として、時間差Δtの差分画像と、時間差(Δt×10)の差分画像とを生成する。 For example, as shown in FIG. 9, as the difference image to generate a difference image of the time difference Delta] t, and the difference image time difference (Δt × 10). 時間差Δtの差分画像は、時間差が小さいので、図9(a)、図9(c)などに示すように物体の直接的な輪郭線が現れる。 Difference image time difference Δt, since the time difference is small, FIG. 9 (a), the appears direct contour of the object as shown in such FIG. 9 (c). よって、時間差の小さい差分画像を用いて輪郭線など、差分の存在する領域の形状を抽出し、パターン認識することにより、歩行者や車両など既知の特定の輪郭を有する物体を識別することができる。 Thus, such contour lines with a small difference image time difference, to extract the shape of the region in the presence of the difference, by pattern recognition, it is possible to identify an object having a known specific contour pedestrians, vehicles . 特に歩行者や車両などの場合、差分の存在する領域は閉領域となるので、差分の存在する閉領域を抽出してパターン認識を行うこととすれば、効率よく物体を識別することができる。 Especially in the case of pedestrians, vehicles, since there is a region of the difference becomes closed region, if performing pattern recognition by extracting closed regions in the presence of the difference, it is possible to identify efficiently the object. 例えば、歩行者は人間の頭部の円形輪郭線、車両は水平/垂直線分などに基づいてパターン認識を行うことができる。 For example, a pedestrian circular contour of the human head, the vehicle can perform a pattern recognition on the basis of such horizontal / vertical line.

時間差(Δt×10)の差分画像では、時間差が長いため、移動物体については図9(b)、図9(d)などに示すように分離した2個の移動物体の輪郭線が現れる。 The difference image time difference (Δt × 10), since a long time difference, the moving object FIG. 9 (b), the appears contours of two moving objects which were separated as shown in such FIG. 9 (d). そこで、2個の輪郭線の分布パターン自体を対象としてパターン認識を行うことができる。 Therefore, it is possible to perform pattern recognition with two distribution pattern itself of the contour line as a target. 即ち、時間差Δtの小さい差分画像を用いて輪郭線のパターン認識を行うとともに、時間差Δtの大きい差分画像を用いて輪郭線の分布パターン自体のパターン認識を行うことにより、物体をより正確に識別することが可能となる。 That is, performs pattern recognition of the contour line with a small difference image time difference Delta] t, by performing pattern recognition of the distribution pattern itself of the contour line with greater difference image time difference Delta] t, more precisely identify the object it becomes possible.

一方、静止立体物は移動体ではないため複数の輪郭線が得られることはない。 On the other hand, the stationary solid object is not a plurality of contours not a moving body is obtained. 静止立体物の場合、例えば図9(e)及び9(f)に示すように、静止立体物のうち高さの低い部分90(即ち路面に近い部分)には差分は発生しない又は非常に小さいが。 For stationary solid object, such as shown in FIG. 9 (e) and 9 (f), the difference is not generated or very small in the lower part of the height 90 (i.e. a portion close to the road surface) of the stationary solid object But. 高い部分91は差分が発生する。 High part 91 is the difference occurs. 即ち、静止立体物は、時間差の大きい差分画像を観察すると、その物体の一部には差分が発生しない又は非常に小さく、他の部分には差分が発生する。 That is, the stationary solid object, when observing a large difference image time difference, some of the object or a very small difference is not generated, the difference is generated in the other portions. また、この差分は、静止立体物の高さが高いほど大きくなる。 Also, the difference increases as the height of the stationary solid object is high. さらに、この差分の存在する領域の形状は、図9(e)及び9(f)に示すように、カメラの撮像方向(光軸方向)に向かって変形することになる。 Furthermore, the shape of the region existing in the difference, as shown in FIG. 9 (e) and 9 (f), will be deformed toward the imaging direction of the camera (optical axis direction). よって、時間差の異なる複数の差分画像を検討することにより、静止立体物を識別することが可能となる。 Therefore, by considering a plurality of difference images having different time differences, it is possible to identify a stationary solid object.

また、上記のような静止立体物の差分画像の特徴を利用できない場合でも、物体の動きを予測することにより、静止立体物と移動物体とを区別することができる。 Also, even if you can not use the characteristics of the difference image of stationary solid object, as described above, by predicting the movement of an object, it is possible to distinguish between moving objects and stationary three-dimensional object. 前述の物体検出処理で述べたように、路面に対するカメラの相対的な動きは平面画像変換式として得ることができる。 As noted object detection process described above, the relative movement of the camera relative to the road surface can be obtained as a planar image conversion formula. 従って、例えば時刻tにおける撮像画像及び平面画像変換式を用いて、それ以前の時刻(t−Δt×10)及び時刻(t−Δt×20)の変換画像を生成する。 Thus, for example, by using the captured image and the plane image conversion equation at time t, to generate a transformed image of the previous time (t-Δt × 10) and time (t-Δt × 20). そして、時刻(t−Δt×10)の変換画像と、時刻(t−Δt×10)の実際の撮像画像から時刻(t−Δt×10)の差分を算出する。 Then, to calculate the difference between the time (t-Δt × 10) and the conversion image, the time (t-Δt × 10) time from the actual captured image (t-Δt × 10). 同様に、時刻(t−Δt×20)の変換画像と、時刻(t−Δt×20)の実際の撮像画像から時刻(t−Δt×20)の差分を算出する。 Similarly, to calculate the difference between the time (t-Δt × 20) and converting the image of the time (t-Δt × 20) time from the actual captured image (t-Δt × 20).

物体が静止立体物である場合、図9(f)に示すように時間差(Δt×10)により差分が発生するが、時間差が同一でありかつ物体自体は移動していないため、時刻(t−Δt×10)の差分と、時刻(t−Δt×20)の差分とは一致する。 If the object is a stationary solid object, because the time difference as shown in FIG. 9 (f) the difference is by (Δt × 10) is generated, which is not moving is and object itself same time difference, the time (t- a difference of Δt × 10), the difference between the time (t-Δt × 20) coincide. 一方、物体が移動物体である場合には、時間差が同一であっても、物体自体が移動しているため、時刻(t−Δt×10)の差分と、時刻(t−Δt×20)の差分とは一致しない。 On the other hand, if the object is a moving object may be the same time difference, because the object itself is moving, the difference in time (t-Δt × 10), the time of (t-Δt × 20) the difference and do not match. よって、平面画像変換式を用いて複数の時刻における差分を算出し、それらを比較することにより、検出された物体が静止立体物であるか、移動物体であるかを識別することができる。 Thus, by using the planar image conversion formula to calculate the difference at a plurality of times, by comparing them, can be detected object is either a stationary solid object, to identify whether the moving object.

図10に、移動物体識別処理の一例を示す。 10 shows an example of a moving object identification processing. なお、この処理も、図1に示す画像認識ECU4により実行される。 This process is also executed by the image recognition ECU4 shown in FIG. まず、画像認識ECU4は、前述の平面画像変換式などに基づいて、物体の動きを予測し(ステップS21)、その予測に基づいて、異なる時刻における複数の動き予測画像を生成する。 First, the image recognition ECU4, based on such flat image conversion formula described above, to predict the movement of the object (step S21), and based on the prediction, to generate a plurality of motion prediction image at different times. そして、それらの時刻における動き予測画像と、それらの時刻において実際に撮像された撮像画像との差分を計算する(ステップS22)。 Then, the motion prediction image in their time, actually calculate the difference between the imaged captured images in their time (step S22). そして、それらの差分を評価し、移動物体を識別する(ステップS23)。 Then, to assess their differences, identify the moving object (step S23). 例えば、上述のように、2つの差分が同一又は近ければその物体は静止立体物であると判定し、差分が所定以上の差を有すればその物体は移動物体であると判定する。 For example, as discussed above, it determines that if two of the difference is the same or closer the object is determined to be a stationary solid object, the object is a moving object if the difference is you have a difference greater than a predetermined.

さらに、上記のようにして識別された静止立体物については、その位置、高さなどを検出することができる。 Further, for the stationary solid object identified as described above, it is possible to detect the position, and height. また、移動物体については、その移動物体と車両との距離、移動物体の移動速度などを検出することができる。 As for the moving object can be detected and the moving object and the distance between the vehicle, the moving speed of the moving object.

具体的には、上記のように静止立体物と移動物体とを識別した後、各々を画像上で追跡(トラッキング)する。 Specifically, after identifying a stationary solid object and the moving object as described above, respectively tracked on an image (tracking). 静止立体物については、自車両の路面に対する運動と、自車両の動きを勘案した画像上の動き情報の複合から、その物体の位置、高さを判定する。 The stationary solid object, and motion with respect to the road surface of the vehicle, a composite motion information on an image in consideration of the movement of the vehicle, the position of the object, determines the height.

移動物体についても追跡処理を行う。 To track processing for moving objects. 静止立体物と自車両との相対位置関係が既知であるため、移動物体についてはその画像中の存在位置から車両との相対位置を推定する。 Since the relative positional relationship between the stationary solid object and the vehicle are known, for moving objects to estimate the relative position of the vehicle from the present position in the image. 移動物体の高さについては、追跡処理された移動物体の部分のうち、最も高い部分を一体として追跡した後、その物体の自車両との相対位置と画像上での高さ方向の大きさから移動物体の高さを推定する。 The height of the moving object, among the portions of the tracking process has been moving object, after the track highest part integrally, the size in the height direction on the relative position and the image of the vehicle of the object estimating the height of the moving object. これにより、車両前方の全般的な状況に関するマップの作成が可能となる。 This allows the creation of maps about the general condition of the vehicle ahead.

本発明に係る物体検出装置の概略構成を示す図である。 Is a diagram showing a schematic configuration of an object detecting apparatus according to the present invention. 車両の移動に伴ってカメラが移動する様子を模式的に示す図である。 How the camera moves with the movement of the vehicle is a diagram schematically illustrating. 車両の移動中に撮像された画像の例を示す。 It shows an example of an image imaged during movement of the vehicle. 物体検出処理のフローチャートである。 It is a flowchart of the object detection processing. オプティカルフローモデルの説明図である。 It is an explanatory view of the optical flow model. 車両運動パラメータの導出方法を説明する図である。 It is a diagram for explaining a method for deriving the vehicle motion parameters. 座標系の関係を示す図である。 It is a diagram showing the relationship of the coordinate system. 車両座標系及びカメラ座標系を示す図である。 Is a diagram illustrating a vehicle coordinate system and the camera coordinate system. 物体識別処理で使用する差分画像の例を示す。 An example of the difference image to be used in the object identification process. 物体識別処理のフローチャートである。 Is a flow chart of an object identification process.

符号の説明 DESCRIPTION OF SYMBOLS

1 物体検出装置 3 CCDカメラ 4 画像認識ECU 1 object detecting device 3 CCD camera 4 image recognition ECU
5 表示装置宇 6 スピーカ 7 アクチュエータ 10 車両 15 路面(道路平面) 5 display woo 6 speaker 7 actuator 10 vehicle 15 the road (road plane)

Claims (7)

  1. 時間間隔をおいて撮像した複数の画像に基づいて物体を検出する物体検出装置であって、 A object detecting apparatus for detecting an object based on a plurality of images captured at time intervals,
    時間間隔をおいて第1画像と第2画像とを撮像する撮像手段と、 Imaging means for imaging the first image and the second image at a time interval,
    第1画像と第2画像に共通する道路表面上の特徴領域の移動量に基づいて、第1画像と第2画像との間の画像の変化量を推定する推定手段と、 Based on the amount of movement of the feature region on the road surface which is common to the first and second images, and estimating means for estimating an amount of change in the image between the first image and the second image,
    画像に含まれる被写体が道路平面上にあると仮定して前記画像の変化量に基づいて前記第1画像を変換し、変換画像を生成する画像変換手段と、 An image converting unit that subjects are assumed to be at the road plane by converting the first image based on a change amount of the image to generate a converted image included in the image,
    前記変換画像と前記第2画像との差分画像を生成する差分画像生成手段と、 A differential image generating means for generating a difference image between the second image and the converted image,
    前記差分画像における差分の存在する領域に基づいて物体を検出する物体検出手段と、を備えることを特徴とする物体検出装置。 Object detecting apparatus comprising: a, an object detecting means for detecting an object based on the region in the presence of differences in the difference image.
  2. 前記差分画像における差分の存在する領域の形状に基づいて前記物体を識別する物体識別手段を備えることを特徴とする請求項1に記載の物体検出装置。 Object detection apparatus according to claim 1, characterized in that it comprises an object identification unit for identifying the object based on the shape of the region where the presence of the difference is in the difference image.
  3. 前記領域の形状は、前記差分画像の差分の存在する領域が形成する閉領域の形状、又は、差分画像の差分の存在する領域の形状であることを特徴とする請求項2に記載の物体検出装置。 The shape of the region, the shape of the closed region that is present areas of difference of the difference image is formed, or, object detection according to claim 2, characterized in that the shape of the region in the presence of the difference of the difference image apparatus.
  4. 複数の時間間隔の差分画像間での前記差分画像の差分の存在する領域の変化に基づいて、検出した物体を識別する物体識別手段を備えることを特徴とする請求項1に記載の物体検出装置。 Based on a change in the presence of the difference of the difference image areas between the difference image of a plurality of time intervals, the object detecting apparatus according to claim 1, characterized in that it comprises an object identification means for identifying a detected object .
  5. 前記物体識別手段は、前記差分画像の差分の存在する領域の形状が前記撮像手段の撮像方向の主軸へ向かって変形する場合に、検出された物体を道路平面に対して高さを有する静止物であると識別することを特徴とする請求項4に記載の物体検出装置。 The object identification means, wherein when the shape of the area present in the difference of the difference image is deformed toward the imaging direction of the main axis of the imaging means, still having a height detected object with respect to the road plane object detection apparatus according to claim 4, wherein the identifying the at.
  6. 前記差分画像における差分の存在する領域に基づいて検出された物体の動きを検出する物体動き検出手段を備えることを特徴とする請求項1乃至5のいずれか一項に記載の物体検出装置。 The object detection apparatus according to any one of claims 1 to 5, characterized in that it comprises an object movement detection means for detecting a motion of the detected object based on the region in which the presence of differences in the difference image.
  7. 前記物体動き検出手段により検出された物体の動きの量に基づいて、当該物体が静止物であるか移動物体であるかを識別する手段を備えることを特徴とする請求項6に記載の物体検出装置。 Based on the amount of movement of the detected object by the object movement detection means, object detection according to claim 6, characterized in that it comprises means for identifying whether the object is a moving object or a stationary object apparatus.
JP2005321047A 2005-11-04 2005-11-04 Object detecting device Active JP4899424B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005321047A JP4899424B2 (en) 2005-11-04 2005-11-04 Object detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005321047A JP4899424B2 (en) 2005-11-04 2005-11-04 Object detecting device

Publications (2)

Publication Number Publication Date
JP2007129560A true true JP2007129560A (en) 2007-05-24
JP4899424B2 JP4899424B2 (en) 2012-03-21

Family

ID=38151847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005321047A Active JP4899424B2 (en) 2005-11-04 2005-11-04 Object detecting device

Country Status (1)

Country Link
JP (1) JP4899424B2 (en)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219063A (en) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd Apparatus and method for monitoring vehicle's surrounding
WO2009005025A1 (en) * 2007-07-03 2009-01-08 Konica Minolta Holdings, Inc. Moving object detection device
WO2009011458A1 (en) * 2007-07-17 2009-01-22 Toyota Jidosha Kabushiki Kaisha On-vehicle image processing device
JP2009076076A (en) * 2007-09-24 2009-04-09 Delphi Technologies Inc Method for recognizing obstacle
JP2009110168A (en) * 2007-10-29 2009-05-21 Fuji Heavy Ind Ltd Object detector and contact avoidance system
JP2009135663A (en) * 2007-11-29 2009-06-18 Clarion Co Ltd Vehicle perimeter monitoring system
JP2009157943A (en) * 2009-04-02 2009-07-16 Toyota Motor Corp Onboard image processor
JP2009210286A (en) * 2008-02-29 2009-09-17 Toshiba Teli Corp Apparatus and program for image processing
JP2010085240A (en) * 2008-09-30 2010-04-15 Mazda Motor Corp Image processing device for vehicle
JP2010286963A (en) * 2009-06-10 2010-12-24 Nissan Motor Co Ltd Moving object detection device and moving object detection method
JP2011014148A (en) * 2009-07-06 2011-01-20 Valeo Vision Obstacle detection method for motor vehicle
JP2011023002A (en) * 2009-07-06 2011-02-03 Valeo Vision Obstacle detection procedure for motor vehicle
WO2011018999A1 (en) * 2009-08-12 2011-02-17 日本電気株式会社 Obstacle detection device and method and obstacle detection system
WO2011065181A1 (en) * 2009-11-24 2011-06-03 株式会社トヨタマップマスター Travelling image data processing device and a method therefor, as well as computer program for processing travelling image data and recording media recording the computer program
EP2492871A1 (en) 2011-02-24 2012-08-29 Alpine Electronics, Inc. 3D object detecting apparatus and 3D object detecting method
WO2012115009A1 (en) 2011-02-21 2012-08-30 日産自動車株式会社 Periodic stationary object detection device and periodic stationary object detection method
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
JP2013239143A (en) * 2011-12-06 2013-11-28 Mobileye Technologies Ltd Road vertical contour detection
CN103434352A (en) * 2013-09-09 2013-12-11 厦门大学 Accompanying flight system arranged on land vehicle
JPWO2013111229A1 (en) * 2012-01-23 2015-05-11 日本電気株式会社 Camera calibration device, a camera calibration method, and a camera calibration program
WO2018101455A1 (en) * 2016-12-02 2018-06-07 東日本旅客鉄道株式会社 Facility patrol system and facility patrol method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000074645A (en) * 1998-08-27 2000-03-14 Yazaki Corp Device and method for monitoring periphery
JP2001187553A (en) * 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd Parking support system
JP2003044996A (en) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd Obstacle detecting device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000074645A (en) * 1998-08-27 2000-03-14 Yazaki Corp Device and method for monitoring periphery
JP2001187553A (en) * 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd Parking support system
JP2003044996A (en) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd Obstacle detecting device

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008219063A (en) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd Apparatus and method for monitoring vehicle's surrounding
WO2009005025A1 (en) * 2007-07-03 2009-01-08 Konica Minolta Holdings, Inc. Moving object detection device
WO2009011458A1 (en) * 2007-07-17 2009-01-22 Toyota Jidosha Kabushiki Kaisha On-vehicle image processing device
US8526681B2 (en) 2007-07-17 2013-09-03 Toyota Jidosha Kabushiki Kaisha On-vehicle image processing device for vehicular control
JP2009076076A (en) * 2007-09-24 2009-04-09 Delphi Technologies Inc Method for recognizing obstacle
JP2009110168A (en) * 2007-10-29 2009-05-21 Fuji Heavy Ind Ltd Object detector and contact avoidance system
JP2009135663A (en) * 2007-11-29 2009-06-18 Clarion Co Ltd Vehicle perimeter monitoring system
JP2009210286A (en) * 2008-02-29 2009-09-17 Toshiba Teli Corp Apparatus and program for image processing
JP2010085240A (en) * 2008-09-30 2010-04-15 Mazda Motor Corp Image processing device for vehicle
JP4702569B2 (en) * 2008-09-30 2011-06-15 マツダ株式会社 The image processing apparatus for a vehicle
JP2009157943A (en) * 2009-04-02 2009-07-16 Toyota Motor Corp Onboard image processor
JP2010286963A (en) * 2009-06-10 2010-12-24 Nissan Motor Co Ltd Moving object detection device and moving object detection method
JP2011014148A (en) * 2009-07-06 2011-01-20 Valeo Vision Obstacle detection method for motor vehicle
JP2011023002A (en) * 2009-07-06 2011-02-03 Valeo Vision Obstacle detection procedure for motor vehicle
WO2011018999A1 (en) * 2009-08-12 2011-02-17 日本電気株式会社 Obstacle detection device and method and obstacle detection system
JP5299513B2 (en) * 2009-08-12 2013-09-25 日本電気株式会社 Obstacle detecting device and method, and an obstacle detection system
US8755634B2 (en) 2009-08-12 2014-06-17 Nec Corporation Obstacle detection device and method and obstacle detection system
WO2011065181A1 (en) * 2009-11-24 2011-06-03 株式会社トヨタマップマスター Travelling image data processing device and a method therefor, as well as computer program for processing travelling image data and recording media recording the computer program
JP5512697B2 (en) * 2009-11-24 2014-06-04 株式会社トヨタマップマスター Running the image data processing apparatus and method and a computer program for processing the traveling image data and a recording medium recording the computer program,
US8903133B2 (en) 2011-02-21 2014-12-02 Nissan Motor Co., Ltd. Periodic stationary object detection system and periodic stationary object detection method
WO2012115009A1 (en) 2011-02-21 2012-08-30 日産自動車株式会社 Periodic stationary object detection device and periodic stationary object detection method
US8594378B2 (en) 2011-02-24 2013-11-26 Alpine Electronics, Inc. 3D object detecting apparatus and 3D object detecting method
EP2492871A1 (en) 2011-02-24 2012-08-29 Alpine Electronics, Inc. 3D object detecting apparatus and 3D object detecting method
US10043082B2 (en) 2011-04-25 2018-08-07 Magna Electronics Inc. Image processing method for detecting objects using relative motion
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
US9547795B2 (en) 2011-04-25 2017-01-17 Magna Electronics Inc. Image processing method for detecting objects using relative motion
JP2013239143A (en) * 2011-12-06 2013-11-28 Mobileye Technologies Ltd Road vertical contour detection
JPWO2013111229A1 (en) * 2012-01-23 2015-05-11 日本電気株式会社 Camera calibration device, a camera calibration method, and a camera calibration program
CN103434352A (en) * 2013-09-09 2013-12-11 厦门大学 Accompanying flight system arranged on land vehicle
WO2018101455A1 (en) * 2016-12-02 2018-06-07 東日本旅客鉄道株式会社 Facility patrol system and facility patrol method

Also Published As

Publication number Publication date Type
JP4899424B2 (en) 2012-03-21 grant

Similar Documents

Publication Publication Date Title
US7050908B1 (en) Lane marker projection method for a motor vehicle vision system
US20070165910A1 (en) Vehicle surroundings monitoring apparatus, method, and program
US7379564B2 (en) Movable body circumstance monitoring apparatus
US20030091228A1 (en) Image recognition apparatus
US20040183906A1 (en) Device for monitoring around vehicle
US6734787B2 (en) Apparatus and method of recognizing vehicle travelling behind
US20040125207A1 (en) Robust stereo-driven video-based surveillance
US6327536B1 (en) Vehicle environment monitoring system
US20090015675A1 (en) Driving Support System And Vehicle
US20060115115A1 (en) Vehicle surroundings monitoring apparatus
Sehestedt et al. Efficient lane detection and tracking in urban environments
US20050276447A1 (en) Vehicle surroundings monitoring apparatus
JP2004056763A (en) Monitoring apparatus, monitoring method, and program for monitor
US20050276450A1 (en) Vehicle surroundings monitoring apparatus
JP2010198552A (en) Driving state monitoring device
Gandhi et al. Parametric ego-motion estimation for vehicle surround analysis using an omnidirectional camera
US20060115119A1 (en) Vehicle surroundings monitoring apparatus
JP2003329411A (en) Camera calibration device
JP2004198212A (en) Apparatus for monitoring vicinity of mobile object
US20080231835A1 (en) Divergence ratio distance mapping camera
JP2004354257A (en) Calibration slippage correction device, and stereo camera and stereo camera system equipped with the device
CN101256073A (en) Apparatus and method for monitoring a vehicle&#39;s surroundings
JP2006072495A (en) Three-dimensional object monitoring device
US20060204039A1 (en) Vehicle periphery monitoring apparatus
JP2007213561A (en) Vehicle periphery supervisory unit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110920

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111206

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111219

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3