JP5430213B2 - Vehicle periphery monitoring device - Google Patents
Vehicle periphery monitoring device Download PDFInfo
- Publication number
- JP5430213B2 JP5430213B2 JP2009106629A JP2009106629A JP5430213B2 JP 5430213 B2 JP5430213 B2 JP 5430213B2 JP 2009106629 A JP2009106629 A JP 2009106629A JP 2009106629 A JP2009106629 A JP 2009106629A JP 5430213 B2 JP5430213 B2 JP 5430213B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- determination
- alarm
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車両に搭載された撮像手段により撮像された画像に基づいて、車両の周辺を監視する車両周辺監視装置に関する。 The present invention relates to a vehicle periphery monitoring device that monitors the periphery of a vehicle based on an image captured by an imaging unit mounted on the vehicle.
従来より、車両に搭載された1台のカメラにより撮像された時系列画像から、同一の対象物の画像部分を抽出し、各画像間における画像部分の変化率から対象物の実空間位置を求めて、対象物と車両との接触可能性を判断するようにした車両周辺監視装置が知られている(例えば、特許文献1参照)。
特許文献1に記載された車両周辺監視装置においては、対象物と車両との接触可能性が高いと判断されたときに、ブザーによる警報音の出力やディスプレイへの警報表示等を行って、運転者に注意を促すようにしている。
Conventionally, an image part of the same object is extracted from a time-series image captured by a single camera mounted on a vehicle, and the real space position of the object is obtained from the rate of change of the image part between the images. A vehicle periphery monitoring device is known that determines the possibility of contact between an object and a vehicle (see, for example, Patent Document 1).
In the vehicle periphery monitoring device described in
特許文献1に記載された車両周辺監視装置は、車両の速度が対象物の速度よりも十分に高いとみなして、対象物の画像部分の変化率から対象物の実空間位置を求めている。そのため、対象物が静止物や歩行者等であって、対象物の速度が車両の速度よりも極めて小さく、対象物と車両の相対速度が車両の速度とほぼ一致するときには、対象物の実空間位置を精度良く求めることができる。
The vehicle periphery monitoring device described in
しかし、図10に示したように、対象物が、例えば対向車線81を走行する他車両Bであるときには、走行車線80を走行中の自車両Aと他車両B間の相対速度と自車両Aの速度との速度差が大きくなる。そして、時系列画像90,91間の対象物の画像部分95,94の変化率から算出した他車両Bの実空間位置が、実際の位置よりも自車両Aに近くなる。
However, as shown in FIG. 10, when the object is, for example, another vehicle B traveling on the
図10において、t=t91は画像91の撮像時点(現在の制御周期)t=t90は画像90の撮像時点(1つ前の制御周期)を示している。また、X90は現在の他車両Bの横方向(自車両Aの車幅方向)の実位置を示し、Z90は現在の他車両Bの縦方向(自車両Aの進行方向)の実位置を示している。また、X91は現在の他車両Bの横方向の算出位置を示し、Z91は現在の他車両Bの縦方向の算出位置を示している。さらに、Cは他車両Bの算出位置を仮想的に示したものである。 In FIG. 10, t = t 91 indicates the time when the image 91 was captured (current control cycle), and t = t 90 indicates the time when the image 90 was captured (the previous control cycle). X 90 indicates the actual position of the other vehicle B in the horizontal direction (the vehicle width direction of the own vehicle A), and Z 90 indicates the actual position of the other vehicle B in the vertical direction (the traveling direction of the own vehicle A). Is shown. X 91 indicates the current calculated position of the other vehicle B in the horizontal direction, and Z 91 indicates the current calculated position of the other vehicle B in the vertical direction. Further, C indicates the calculated position of the other vehicle B virtually.
図10に示した例では、対向車線81を走行していているために接触する可能性がない他車両Bの算出位置(X=X91,Z=Z91)が、実位置(X=X90,Z=Z90)よりも自車両Aに近付いて、他車両Bと自車両Aが接触する可能性が高いと判断されて、誤った警報がなされてしまう。
In the example shown in FIG. 10, the calculated position (X = X 91 , Z = Z 91 ) of the other vehicle B that has no possibility of contact because it is traveling in the
そこで、本発明は、車両に搭載された1台のカメラにより撮像された時系列画像から抽出された同一の対象物の画像部分の大きさの変化率に基いて、対象物に対する警報処理を行うか否かを判断するときに、誤った警報がなされることを抑制した車両周辺監視装置を提供することを目的とする。 Therefore, the present invention performs an alarm process for an object based on the rate of change in the size of the image portion of the same object extracted from a time-series image captured by a single camera mounted on the vehicle. It is an object of the present invention to provide a vehicle periphery monitoring device that suppresses an erroneous alarm when determining whether or not.
本発明は上記目的を達成するためになされたものであり、車両に搭載された単一の撮像手段により撮像された画像を用いて車両の周辺を監視する車両周辺監視装置であって、前記撮像手段により撮像された画像から、対象物の画像部分を抽出する対象物抽出手段と、所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記対象物抽出手段により抽出された同一の対象物の画像部分の大きさの変化率を算出する変化率算出手段と、前記変化率に基づいて、前記対象物を所定の警報処理の対象とするか否かを判断する警報判断手段とを備えた車両周辺監視装置に関する。 The present invention has been made to achieve the above object, and is a vehicle periphery monitoring device that monitors the periphery of a vehicle using an image captured by a single imaging means mounted on the vehicle, the imaging An object extraction means for extracting an image portion of the object from the image captured by the means, and the same object extracted by the object extraction means from a plurality of images captured by the imaging means at predetermined time intervals A rate-of-change calculating unit that calculates a rate of change in the size of the image portion of the object, and an alarm determining unit that determines whether or not the object is to be subjected to a predetermined alarm process based on the rate of change. The present invention relates to a vehicle periphery monitoring device.
そして、前記車両の左右に前記車両の進行方向に沿って設定された一対の区分線に挟まれた領域として予め設定された実空間上の接近判定領域を、前記撮像手段による撮像画像上に透視変換することによって、該撮像画像上に前記車両の走行車線の画像領域に応じた判定画像領域を設定する判定画像領域設定手段と、前記撮像画像上の前記対象物の画像部分が前記判定画像領域外に位置しているときに、前記対象物を前記警報判断手段による前記警報処理の対象とするか否かの判断対象から除外する警報判断除外手段とを備えたことを特徴とする。 Then, an approach determination area in the real space preset as an area sandwiched between a pair of lane markings set along the traveling direction of the vehicle on the left and right sides of the vehicle is seen through the captured image by the imaging unit A determination image region setting unit configured to set a determination image region corresponding to an image region of the travel lane of the vehicle on the captured image by conversion; and an image portion of the object on the captured image is the determination image region And an alarm determination excluding unit that excludes the object from a determination target as to whether or not the object is to be subjected to the alarm processing by the alarm determination unit when located outside.
かかる本発明によれば、前記対象物が前記判定画像領域外に位置しているときには、前記対象物が対向車線を走行している他車両である可能性がある。そして、この場合に、前記変化率に基づいて、例えば前記対象物が前記車両に到達するまでの時間や、前記対象物の実空間位置の変化等を、前記対象物が静止物であるとして算出すると、他車両の速度の影響により算出誤差が大きくなる。そのため、前記対象物を警報処理の対象とするか否かの判断を正しく行うことができない。 According to the present invention, when the object is located outside the determination image area, the object may be another vehicle traveling in the oncoming lane. In this case, based on the rate of change, for example, the time until the object reaches the vehicle, the change in the real space position of the object, and the like are calculated as the object is a stationary object. Then, the calculation error increases due to the influence of the speed of the other vehicle. Therefore, it is not possible to correctly determine whether or not the object is a target for alarm processing.
そこで、判定画像領域設定手段により、予め設定された実空間上の接近判定領域から判定画像領域を設定し、警報判断手段により、対象物の画像部分が判定画像領域外に位置しているときに対象物を前記警報判断手段による警報処理の対象とするか否かの判断対象から除外することによって、対象物が他車両であるときのように移動速度が高い場合に誤った警報処理がなされることを防止することができる。また、かかる本発明によれば、車線の区分線が消失していて、画像から車線の区分線を検出することが困難な場合であっても、前記判定画像領域を設定することができる。
Therefore, by determining the image area setting means sets a preset determination image area from the approach determination region in the real space which, by the warning determination unit, when the image portion of the object is located outside the determination image area by excluding target material from determining whether or not a subject of interest of the alarm process by the alarm determination means, the alarm processing is the object is Tsu erroneous when the moving speed such as when it is another vehicle is high Can be prevented. In addition, according to the present invention, the determination image region can be set even when the lane marking is lost and it is difficult to detect the lane marking from the image.
また、前記警報判断除外手段は、前記対象物の画像部分の垂直方向の最下部が前記判定画像領域外にあるときに、前記対象物の画像部分が前記判定画像領域外に位置していると判断することを特徴とする。 In addition, the warning determination exclusion unit may be configured such that the image portion of the object is located outside the determination image region when the vertical lowermost portion of the image portion of the object is outside the determination image region. It is characterized by judging.
かかる本発明によれば、前記対象物の画像部分の垂直方向の最下部は、実空間における対象物と路面との交点位置に対応した画像上の位置となる。そのため、前記対象物の画像部分の最下部を用いることで、前記対象物が前記車両の走行車線の外側に存在するか否かをより確実に判断することができる。 According to the present invention, the lowest part in the vertical direction of the image portion of the object is the position on the image corresponding to the intersection position of the object and the road surface in the real space. Therefore, by using the lowermost part of the image portion of the object, it can be more reliably determined whether or not the object exists outside the traveling lane of the vehicle.
本発明の実施の形態について、図1〜図9を参照して説明する。図1を参照して、本実施の形態の車両周辺監視装置は画像処理ユニット1により構成されている。画像処理ユニット1には、遠赤外線を検出可能な赤外線カメラ2(本発明の撮像手段に相当する)、車両のヨーレートを検出するヨーレートセンサ3、車両の走行速度を検出する車速センサ4(本発明の車速検出手段に相当する)、運転者によるブレーキの操作量を検出するブレーキセンサ5、音声により注意喚起を行うためのスピーカ6、及び、赤外線カメラ2により得られた画像を表示すると共に、接触する可能性が高い対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ(Head Up Display、以下、HUDという)7が接続されている。
Embodiments of the present invention will be described with reference to FIGS. Referring to FIG. 1, the vehicle periphery monitoring device of the present embodiment is configured by an
図2を参照して、赤外線カメラ2は、車両10の前部に配置され、撮像物の温度が高い程出力レベルが高くなる(輝度が大きくなる)特性を有している。また、HUD7は、車両10のフロントウィンドウの運転者側の前方位置に画面7aが表示されるように設けられている。
Referring to FIG. 2, the
また、図1を参照して、画像処理ユニット1は、マイクロコンピュータ(図示しない)等により構成された電子ユニットであり、赤外線カメラ2から出力されるアナログの映像信号をデジタルデータに変換して画像メモリ(図示しない)に取り込み、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。
Referring to FIG. 1, an
そして、該マイクロコンピュータに、車両監視用プログラムを実行させることによって、該マイクロコンピュータが、赤外線カメラ2により撮像された画像から、実空間上の対象物の画像部分を抽出する対象物抽出手段20、赤外線カメラ2により所定時間間隔をもって撮像された画像間における同一の対象物の画像部分の大きさの変化率を算出する変化率算出手段21、この変化率を用いて対象物が車両10に到達するまでの時間を推定する到達時間推定手段22、対象物の実空間位置を算出する実空間位置算出手段23、実空間における対象物の移動ベクトルを算出する移動ベクトル算出手段24、この移動ベクトルに基づいて対象物を警報の対象とするか否かを判断する警報判断手段25、画像上に車両10の走行車線に応じた判定画像領域を設定する判定画像領域設定手段26、及び対象物を警報判断手段による警報の対象とするか否かの判断対象から除外する警報判断除外手段27を備えている。
Then, by causing the microcomputer to execute the vehicle monitoring program, the microcomputer extracts an object portion of the object in real space from the image captured by the
次に、図3に示したフローチャートに従って、画像処理ユニット1による一連の対象物の監視処理について説明する。画像処理ユニット1は、所定の制御周期毎に図3に示したフローチャートによる処理を実行して車両10の周辺を監視する。
Next, a series of object monitoring processes by the
画像処理ユニット1は、先ずSTEP1で赤外線カメラ2から出力されるアナログの映像信号を入力し、この映像信号をデジタルの諧調(輝度)データに変換したグレースケール画像を画像メモリに取り込む。
The
続くSTEP2は対象物抽出手段20による処理である。対象物抽出手段20は、グレースケール画像の各画素について、輝度が所定の閾値以上である画素を「1」(白)とし、輝度が閾値よりも小さい画素を「0」(黒)とする2値化処理を行って2値画像を取得する。そして、対象物抽出手段20は、2値画像中の白の各領域のランレングスデータを算出し、ラベリング処理等を行って対象物の画像部分を抽出する。
The
次のSTEP3は、変化率算出手段21による処理である。変化率算出手段21は、図4に示したように、前回の制御周期(撮像時点t11)で撮像された画像Im1と、今回の制御周期(撮像時点t12)で撮像された画像Im2との間で、同一の対象物の画像部分を追跡する処理を行う。なお、この追跡の処理については、上掲した特開2007−213561号公報に詳説されているので、ここでは説明を省略する。
The
そして、変化率算出手段21は、以下の式(1)により、画像Im1における画像部分31の幅w11を画像Im2における画像部分32の幅w12で除して、変化率Rateを算出する。なお、車両10と対象物間の相対速度Vsは、車速センサ4により検出される車両10の走行速度で近似される。
Then, the change rate calculation means 21 calculates the change rate Rate by dividing the width w11 of the
但し、w11:前回の撮像時(撮像時点t11)における対象物の画像部分の幅、w12:今回の撮像時(撮像時点t12)における対象物の画像部分の幅、f:f=F(赤外線カメラ2の焦点距離)/p(撮像画像の画素ピッチ)、W:実空間における対象物の幅、Z1:前回の撮像時(撮像時点t11)における車両10から対象物までの距離、Z2:今回の撮像時(撮像時点t12)における車両10から対象物までの距離、Vs:車両と対象物間の相対速度、dT:撮像間隔、Tr:自車両到達時間(対象物が車両10に到達するまでの推定時間)。
However, w 11 : the width of the image portion of the object at the time of previous imaging (imaging time t 11 ), w 12 : the width of the image portion of the object at the time of current imaging (imaging time t 12 ), f: f = F (focal length of the infrared camera 2) / p (pixel pitch of the captured image), W: width of the object in real space, Z 1 : from the
続く、STEP4は実空間位置算出手段23による処理である。実空間位置算出手段23は、STEP4で、上記式(1)において、車両10と対象物間の相対速度Vs(=車両10の走行速度Vj+対象物の移動速度Vd)が、車両10の走行速度Vjが対象物の移動速度Vdよりも十分に高いとみなして、車両10の走行速度Vjに置き換えて変形した以下の式(2)により、今回の撮像時における車両10から対象物までの距離Z2を算出する。
Subsequently, STEP 4 is processing by the real space position calculation means 23. The real space position calculation means 23 is STEP4, and in the above equation (1), the relative speed Vs between the
但し、Z2:今回の撮像時における車両10から対象物までの距離、Rate:変化率、Vj:車両10の走行速度、dT:撮像間隔。
However, Z 2 : distance from the
また、実空間位置算出手段23は、以下の式(3)により、前回の撮像時における車両10から対象物までの距離Z1を算出する。
Moreover, the real space position calculation means 23 calculates the distance Z 1 from the
但し、Z1:前回の撮像時における車両10から対象物までの距離、Z2:今回の撮像時における車両10から対象物までの距離、Vj:車両10の走行速度、dT:撮像間隔。
Where Z 1 is the distance from the
続くSTEP5は実空間位置算出手段23による処理である。実空間位置算出手段23は、今回及び前回の2値画像における対象物の画像部分の位置から、今回及び前回の撮像時における対象物の実空間位置を算出する。
The
ここで、図5(a)は、2値画像Im5上の今回の対象物の画像部分の位置Pi_2(x12,y12)と、前回の対象物の画像部分の位置Pi_1(x11,y11)を示しており、縦軸y
が画像の垂直方向に設定され、横軸xが画像の水平方向に設定されている。
Here, FIG. 5A shows the position Pi_2 (x12, y12) of the image portion of the current object on the binary image Im5 and the position Pi_1 (x11, y11) of the image portion of the previous object. Vertical axis y
Is set in the vertical direction of the image, and the horizontal axis x is set in the horizontal direction of the image.
また、図5(b)は実空間上の対象物の移動状況を示しており、Z軸が車両10の進行方向に設定され、X軸がZ軸と直交する方向に設定されている。そして、図中Pr_2(X12,Y12,Z12)は今回の撮像時における対象物の位置を示し、Pr_1(X11,Y11,Z11)は前回の撮像時における対象物の位置を示している。また、Vmは、Pr_2とPr_1から推定した実空間上の対象物の移動ベクトルである。
FIG. 5B shows the movement of the object in real space, where the Z axis is set in the traveling direction of the
実空間位置算出手段23は、以下の式(4)により今回の撮像時における対象物の実空間座標Pr_2(X12,Y12,Z12)を算出し、以下の式(5)により前回の撮像時における監視対象物の実空間座標Pr_1(X11,Y11,Z11)を算出する。なお、Z11=Z1、Z12=Z2である。 The real space position calculation means 23 calculates the real space coordinates Pr_2 (X 12 , Y 12 , Z 12 ) of the object at the time of the current imaging by the following formula (4), and the previous formula (5) The real space coordinates Pr_1 (X 11 , Y 11 , Z 11 ) of the monitored object at the time of imaging are calculated. Note that Z 11 = Z 1 and Z 12 = Z 2 .
但し、X12,Y12:今回の撮像時における対象物の実空間座標値、x12,y12:今回の2値画像における対象物の画像部分の座標値、Z2:今回の撮像時における車両から対象物までの距離、f:f=F(赤外線カメラの焦点距離)/p(撮像画像の画素ピッチ)。 Where X 12 , Y 12 are real space coordinate values of the object at the time of the current imaging, x 12 , y 12 are coordinate values of the image portion of the object in the current binary image, and Z 2 is at the time of the current imaging. Distance from vehicle to object, f: f = F (focal length of infrared camera) / p (pixel pitch of captured image).
但し、X11,Y11:前回の撮像時における対象物の実空間座標値、x11,y11:前回の2値画像における対象物の画像部分の座標値、Z1:前回の撮像時における車両から対象物までの距離、f:f=F(赤外線カメラの焦点距離)/p(撮像画像の画素ピッチ)。 However, X 11 , Y 11 : Real space coordinate value of the object at the previous imaging, x 11 , y 11 : Coordinate value of the image part of the object in the previous binary image, Z 1 : At the previous imaging Distance from vehicle to object, f: f = F (focal length of infrared camera) / p (pixel pitch of captured image).
また、実空間位置算出手段23は、車両10が回頭することによる画像上の位置ずれを、ヨーレートセンサ3の検出信号YRから認識される回頭角に基づいて補正する回頭角補正を行う。具体的には、前回の撮像時から今回の撮像時までの間における車両10の回頭角がθrであったときに、以下の式(6)により実空間座標値を補正する。
Further, the real space position calculation means 23 performs a turning angle correction for correcting a positional shift on the image due to the turning of the
但し、Xr,Yr,Zr:回頭角補正後の実空間座標値、θr:回頭角、Xo,Yo,Zo:回頭角補正前の実空間座標値。 However, Xr, Yr, Zr: real space coordinate value after turning angle correction, θr: turning angle, Xo, Yo, Zo: real space coordinate value before turning angle correction.
続くSTEP6は移動ベクトル算出手段24による処理である。移動ベクトル算出手段24は、図5(b)に示したように、同一の対象物についての前回の撮像時の実空間位置Pr_1と今回の撮像時の実空間位置Pr_2から、対象物と自車両10との相対移動ベクトルに対応する近似直線Vmを求める。 The subsequent STEP 6 is processing by the movement vector calculation means 24. As shown in FIG. 5B, the movement vector calculation means 24 calculates the target and the vehicle from the real space position Pr_1 at the time of previous imaging and the real space position Pr_2 at the time of current imaging of the same object. An approximate straight line Vm corresponding to the relative movement vector with respect to 10 is obtained.
なお、過去の複数時点における対象物の実空間位置を用いて、相対移動ベクトルを求めるようにしてもよい。また、近時直線の具体的な算出処理は、例えば特開2001−6096号公報に記載された手法による。 Note that the relative movement vector may be obtained using the real space position of the object at a plurality of past time points. Moreover, the concrete calculation process of a recent straight line is based on the method described in Unexamined-Japanese-Patent No. 2001-6096, for example.
続くSTEP7は判定画像領域設定手段26による処理である。判定画像領域設定手段26は、対象物が車両10の走行車線の位置に応じた判定画像領域を、画像上に設定する処理を行う。
The subsequent STEP 7 is processing by the determination image region setting means 26. The determination image
図6(a)は、後述する警報判断手段25により、対象物と車両10との接触可能性を判断するために設定される実空間上の接近判定領域Ar1と、接近判定領域Ar1の左右に設定された侵入判定領域Ar2,Ar3を、車両10の進行方向をZ、Zと直交する方向(車両10の車幅方向)をXとして示したものである。また、Lr1は車両10の走行車線の右側の区分線、Lr2は車両10の走行車線の左側の区分線、Wは車両10が走行車線の中央を走行しているときの車両10と区分線Lr1,Lr2との間隔である。
FIG. 6A shows an approach determination area Ar1 in the real space set to determine the possibility of contact between the object and the
警報判断手段25は、対象物が接近判定領域Ar1内に存在するか、対象物が侵入判定領域Ar2又はAr3に存在して対象物の移動ベクトルが接近判定領域Ar1内に向かっているときに、この対象物を警報の対象とする。 The alarm determination means 25 is configured to detect when the object is in the approach determination area Ar1, or when the object is in the intrusion determination area Ar2 or Ar3 and the movement vector of the object is in the approach determination area Ar1. This object is set as an alarm target.
ここで、図6(b)に示したように、図6(a)に示した区分線(直線)Lr1,Lr2を、赤外線カメラ2の取付パラメータ(取付高さH、取付パン角θ、取付ピッチ角φ)を用いた透視変換により図6(b)の画像Im6上に投影すると、直線Li1,Li2となる。そして、判定画像領域設定手段26は、図6(b)の直線Li1とLi2で挟まれた領域ar1を、判定画像領域として設定する。
Here, as shown in FIG. 6 (b), the dividing lines (straight lines) Lr1 and Lr2 shown in FIG. 6 (a) are used as the mounting parameters (mounting height H, mounting pan angle θ, mounting position of the infrared camera 2). When projected onto the image Im6 in FIG. 6B by perspective transformation using the pitch angle φ), straight lines Li1 and Li2 are obtained. Then, the determination image
なお、図6(b)に示したような透視変換によらずに、画像上で実空間上の接近判定領域に相当する位置を想定して、判定画像領域を設定するようにしてもよい。また、画像から走行車線の区分線の画像部分を検出して走行車線の画像領域を認識し、走行車線の画像領域に応じて判定画像領域を設定するようにしてもよい。 Note that the determination image region may be set assuming a position corresponding to the approach determination region in the real space on the image without using the perspective transformation as illustrated in FIG. Alternatively, the image portion of the lane marking of the travel lane may be detected from the image to recognize the travel lane image area, and the determination image area may be set according to the travel lane image area.
続くSTEP8及びSTEP9は警報判断除外手段27による処理である。警報判断除外手段27は、図7(a)に示した今回の対象物のグレースケール画像の画像部分と、図7(b)に示した前回の対象物のグレースケール画像の画像部分との間で、相関演算を行うことによって、実空間における対象物と路面との交点に対応する画像上での位置を認識する。 Subsequent STEP 8 and STEP 9 are processes by the alarm judgment exclusion means 27. The alarm judgment exclusion means 27 is provided between the image portion of the gray scale image of the current object shown in FIG. 7A and the image portion of the gray scale image of the previous object shown in FIG. Thus, by performing correlation calculation, the position on the image corresponding to the intersection of the object and the road surface in the real space is recognized.
警報判断除外手段27は、先ず、図7(a)の今回の対象物の画像部分の一部A1の周囲に、マトリックス状に50個のマスク領域M1(M1(0,0)、M1(1.0)、…、M1(5,8))を設定する。なお、各マスク領域における黒点は各マスク領域の重心位置を示している。 First, the alarm judgment excluding means 27 includes 50 mask areas M1 (M1 (0,0), M1 (1.0) in a matrix around the part A1 of the image portion of the current object in FIG. ),..., M1 (5,8)). Note that the black dot in each mask area indicates the position of the center of gravity of each mask area.
そして、警報対象除外手段27は、前回のグレースケール画像から、対象物の画像部分を抽出する。具体的には、図7(a)に示した各マスク領域M1(0,0)〜M1(5,8)を、変化率Rateでアフィン変換した比較パターンについて、前記のグレースケール画像に対してパターンマッチング処理を実行する。
Then, the alarm
図7(b)は、パターンマッチングの結果を示したものであり、図7(a)の歩行者の胴部及び脚部の画像B1に対応するB2を含む12個の領域M2(1,3)、M2(2,3)、M2(3,3)、M2(4,3)、M2(1,4)、M2(2,4)、M2(3,4)、M2(4,4)、M2(2,5)、M2(3,5)、M2(2,6)、M2(3,6)が抽出されている。例えば、図7(b)のM2(1,3)は図7(a)のM1(1,3)をアフィン変換した比較パターンにより抽出された領域を示しており、図7(b)のM2(4,3)は図7(a)のM1(4,3)をアフィン変換した比較パターンにより抽出された領域を示している。 FIG. 7B shows the result of pattern matching. Twelve regions M2 (1,3 including B2 corresponding to the image B1 of the trunk and legs of the pedestrian in FIG. 7A are shown. ), M2 (2,3), M2 (3,3), M2 (4,3), M2 (1,4), M2 (2,4), M2 (3,4), M2 (4,4) , M2 (2,5), M2 (3,5), M2 (2,6), and M2 (3,6) are extracted. For example, M2 (1,3) in FIG. 7B shows a region extracted by a comparison pattern obtained by affine transformation of M1 (1,3) in FIG. 7A, and M2 in FIG. 7B. (4,3) indicates a region extracted by a comparison pattern obtained by affine transformation of M1 (4,3) in FIG.
図7(b)中の黒点は、図7(a)におけるマスク領域M1(1,3)、M1(2,3)、M1(3,3)、M1(4,3)、M1(1,4)、M1(2,4)、M1(3,4)、M1(4,4)、M1(2,5)、M1(3,5)、M1(2,6)、M1(3,6)の各重心位置に対応した位置(A2に対して、マスク領域M1を変化率Rateで縮小した領域の重心位置)を示している。また、図7(b)中の×点は、パターンマッチングにより抽出された各領域M2の重心位置を示している。 The black dots in FIG. 7B are the mask regions M1 (1,3), M1 (2,3), M1 (3,3), M1 (4,3), M1 (1, 4), M1 (2,4), M1 (3,4), M1 (4,4), M1 (2,5), M1 (3,5), M1 (2,6), M1 (3,6 ) Corresponding to each centroid position (the centroid position of the area obtained by reducing the mask area M1 at the rate of change Rate with respect to A2). Further, the x point in FIG. 7B indicates the barycentric position of each region M2 extracted by pattern matching.
対象物抽出手段20は、以下の式(7)により、パターンマッチングにより抽出された各領域の重心位置(xm(i,j),ym(i,j))と、マスク領域に対応した重心位置(xb(i,j),yb(i,j))とのずれ量Dが、閾値THよりも小さいか否かを判断する。なお、i,jはマスク領域のインデックスを示している。 The object extraction means 20 uses the following equation (7) to extract the centroid position (xm (i, j), ym (i, j)) of each area extracted by pattern matching and the centroid position corresponding to the mask area. It is determined whether or not the deviation amount D from (xb (i, j), yb (i, j)) is smaller than the threshold value TH. Here, i and j indicate the index of the mask area.
但し、D:マスク領域に対応した重心位置とパターンマッチングにより抽出された領域の重心位置とのずれ量、TH:閾値。 However, D: deviation | shift amount of the gravity center position corresponding to a mask area | region and the gravity center position of the area | region extracted by pattern matching, TH: threshold value.
そして、警報判断除外手段27は、ずれ量Dが閾値THよりも小さい領域を対象物の画像部分の一部として抽出する。図7(b)の例では、歩行者の胴部及び脚部の画像B2を含む12個の領域が対象物の画像部分の一部として抽出されている。そのため、図7(b)の例では、A2,M2(1,3),M2(2,3),M2(3,3),M2(4,3),M2(1,4),M2(2,4),M2(3,4),M2(4,4),M2(2,5),M2(3,5),M2(2,6),M2(3,6)を含む領域S2が、対象物の画像部分として抽出される。
Then, the warning
警報判断除外手段27は、このようにして抽出した対象物の画像部分S2の最下部の位置Pobjを、実空間上の対象物と路面との交点位置に対応する画像上の位置として認識する。なお、最下部の位置Popjは、厳密に垂直方向の最も下側の画素の位置を採用する必要はなく、最も下側の画素付近に設定すればよい。 The alarm judgment exclusion means 27 recognizes the lowest position Pobj of the image portion S2 of the object extracted in this way as the position on the image corresponding to the intersection position between the object and the road surface in the real space. Note that the position of the lowermost pixel Popj does not have to be strictly the position of the lowermost pixel in the vertical direction, and may be set near the lowermost pixel.
そして、続くSTEP9で、警報判断除外手段27は、図8に示したように、対象物の画像部分S2の最下部の位置Pobjが、判定画像領域ar1の外にあるか否かを判断する。図8では、対象物が反対車線を走行する他車両である場合を示しており、対象物の画像部分S2の最下部の位置Pobjが判定画像領域ar1の外にある。 Then, in subsequent STEP 9, the alarm determination exclusion means 27 determines whether or not the lowest position Pobj of the image portion S2 of the object is outside the determination image area ar1, as shown in FIG. FIG. 8 shows a case where the object is another vehicle traveling in the opposite lane, and the lowest position Pobj of the image portion S2 of the object is outside the determination image area ar1.
そして、この場合には、車両10と対象物(反対車線を走行する他車両)が接触する可能性が低いため、警報判断除外手段27は、対象物を警報判断手段25による警報の対象であるか否かの判断対象から除外してSTEP11に進む。そして、これにより、車両10と対象物との相対速度と車両10の走行速度との相違が大きく、変化率Rateに基づいて対象物の実空間位置を算出したときの誤差が大きくなるときに、対象物を警報の対象から除外して、誤った警報がなされることを防止している。
In this case, since there is a low possibility that the
一方、対象物の画像部分S2の最下部の位置Pobjが、判定画像領域ar1内となるときには、対象物は車両10の走行車線内に存在する歩行者等であって、その移動速度は車両10の走行速度よりに対して無視できる程度であると想定される。そこで、この場合にはSTEP9からSTEP10に進む。
On the other hand, when the lowermost position Pobj of the image portion S2 of the object is in the determination image area ar1, the object is a pedestrian or the like existing in the travel lane of the
STEP10,STEP20,STEP30〜STEP31は、警報判断手段25による処理である。
警報判断手段25は、STEP10で、(a)対象物が接近判定領域内に存在する、又は(b)対象物が侵入判定領域に存在して対処物の移動ベクトルが接近判定領域に向かっている、という条件が成立しているときは、対象物が警報の対象であると判断してSTEP20に分岐する。一方、上記(a),(b)の条件がいずれも成立していないときにはSTEP11に進む。
In
STEP20で、警報判断手段25は、ブレーキセンサ5の出力から運転者によるブレーキ操作が行われているか否かを判断する。そして、ブレーキ操作が行われ、且つ、車両10の加速度(ここでは減速方向を正とする9が予め設定された加速度閾値よりも大きいとき(運転者により適切なブレーキ操作がなされていると想定される)は、警報出力は不要であると判断して、STEP11に進む。
In
それに対して、ブレーキ操作が行われていないか、或いは車両10の加速度が加速度閾値以下であるときには、STEP30に分岐する。そして、警報判断手段20は、STEP30でスピーカ6から警報音を出力すると共に、STEP31でHUD7に対象物の強調画像を表示して、STEP11に進む。
On the other hand, if the brake operation is not performed or the acceleration of the
なお、本実施の形態において、変化率算出手段21は、図5に示した2値画像間の同一対象物の画像部分の時間追跡処理により変化率Rateを算出したが、図9に示した対象物の画像部分の相間演算により変化率Rateを算出するようにしてもよい。図9を参照して、Im8は前回の撮像時におけるグレースケール画像であり、51は対象物の画像部分を示している。また、Im9は今回の撮像時におけるグレースケール画像であり、52は対象物の画像部分を示している。 In the present embodiment, the change rate calculation means 21 calculates the change rate Rate by the time tracking process of the image portion of the same object between the binary images shown in FIG. 5, but the target shown in FIG. You may make it calculate change rate Rate by the calculation of the phase of the image part of a thing. Referring to FIG. 9, Im8 is a gray scale image at the time of previous imaging, and 51 indicates an image portion of the object. Im9 is a grayscale image at the time of the current imaging, and 52 indicates an image portion of the object.
そして、変化率算出手段21は、今回のグレースケール画像Im8における対象物の画像部分50の大きさをアフィン変換により縮小(対象物が自車両に近づいている場合)又は拡大(対象物が自車両から遠ざかっている場合)して、前回の撮像時における対象物の画像部分51との相間度を算出する。具体的には、図示したように、画像部分50を1.5倍した画像60,1.25倍した画像61、1.0倍した画像62、0.75倍した画像63、0.5倍した画像64と、画像部分51との相間度を算出する。そして、変化率算出手段21は、相間度が最も高くなったときの画像部分50の倍率を変化率Rateとして決定する。
Then, the change rate calculation means 21 reduces or enlarges the size of the image portion 50 of the target object in the current grayscale image Im8 (when the target object approaches the host vehicle) or enlarges the target object (the target object is the host vehicle). And the degree of correlation with the
また、本実施の形態においては、移動ベクトル算出手段24により対象物の実空間における移動ベクトルを求めて、対象物を警報の対象とするか否かを判断したが、以下の式(7)により車両が対象物に到達するまでの時間(自車両到達時間)Trを算出し、自車両到達時間Trが予め設定された余裕時間以下となったときに、対象物を警報の対象とするようにしてもよい。 In the present embodiment, the movement vector calculation means 24 obtains the movement vector in the real space of the object and determines whether or not the object is to be alarmed. The following equation (7) The time (vehicle arrival time) Tr until the vehicle reaches the object is calculated, and when the vehicle arrival time Tr is equal to or less than a preset margin time, the object is set as an alarm target. May be.
但し、Tr:自車両到達時間、dT:撮像間隔、Rate:変化率。 However, Tr: own vehicle arrival time, dT: imaging interval, Rate: rate of change.
また、本実施の形態では、警報判断除外手段27により、対象物の画像部分が判定画像領域外に位置しているときに、その対象物を警報の対象とするか否かの判断対象から除外したが、他の手法により警報の対象とするか否かを別途判断するようにしてもよい。例えば、対象物の移動速度を検出し、対象物の移動速度を考慮して対象物の実空間位置を算出して、車両と対象物との接触可能性を判断するようにしてもよい。
Further, in the present embodiment, when the image portion of the target object is located outside the determination image area, the alarm
なお、本実施の形態においては、本発明の撮像手段として赤外線カメラ2を用いたが、可視光のみを検出可能な通常のビデオカメラを用いてもよい。
In the present embodiment, the
また、本実施の形態においては、車両前方を撮像する構成を示したが、車両の後方や側方等、他の方向を撮像して監視対象物との接触可能性を判断するようにしてもよい。 Further, in the present embodiment, the configuration in which the front of the vehicle is imaged is shown, but it is also possible to determine the possibility of contact with the monitoring object by imaging other directions such as the rear and side of the vehicle. Good.
1…画像処理ユニット、2…赤外線カメラ(撮像手段)、3…ヨーレートセンサ、4…車速センサ、5…ブレーキセンサ、6…スピーカ、7…HUD、20…対象物抽出手段、21…変化率算出手段、22…到達時間推定手段、23…実空間位置算出手段、24…移動ベクトル算出手段、25…警報判断手段、26…判定画像領域設定手段、27…警報判断除外手段。
DESCRIPTION OF
Claims (2)
前記撮像手段により撮像された画像から、対象物の画像部分を抽出する対象物抽出手段と、
所定時間間隔をもって前記撮像手段により撮像された複数の画像から、前記対象物抽出手段により抽出された同一の対象物の画像部分の大きさの変化率を算出する変化率算出手段と、
前記変化率に基づいて、前記対象物を所定の警報処理の対象とするか否かを判断する警報判断手段とを備えた車両周辺監視装置において、
前記車両の左右に前記車両の進行方向に沿って設定された一対の区分線に挟まれた領域として予め設定された実空間上の接近判定領域を、前記撮像手段による撮像画像上に透視変換することによって、該撮像画像上に前記車両の走行車線の画像領域に応じた判定画像領域を設定する判定画像領域設定手段と、
前記撮像画像上の前記対象物の画像部分が前記判定画像領域外に位置しているときに、前記対象物を前記警報判断手段による前記警報処理の対象とするか否かの判断対象から除外する警報判断除外手段とを備えたことを特徴とする車両周辺監視装置。 A vehicle periphery monitoring device that monitors the periphery of a vehicle using an image captured by a single imaging means mounted on the vehicle,
Object extraction means for extracting an image portion of the object from the image captured by the imaging means;
A change rate calculating means for calculating a change rate of the size of the image portion of the same object extracted by the object extracting means from a plurality of images taken by the imaging means at a predetermined time interval;
In a vehicle periphery monitoring device comprising alarm judgment means for judging whether or not the object is a target of a predetermined alarm process based on the rate of change,
An approach determination area in a real space preset as an area sandwiched between a pair of dividing lines set along the traveling direction of the vehicle on the left and right of the vehicle is perspective-transformed on a captured image by the imaging unit. A determination image region setting means for setting a determination image region corresponding to the image region of the travel lane of the vehicle on the captured image,
When the image portion of the target object on the captured image is located outside the determination image area, the target object is excluded from the determination target as to whether or not the alarm determination unit performs the alarm processing. A vehicle periphery monitoring apparatus comprising: an alarm determination exclusion unit.
前記警報判断除外手段は、前記対象物の画像部分の垂直方向の最下部が前記判定画像領域外にあるときに、前記対象物の画像部分が前記判定画像領域外に位置していると判断することを特徴とする車両周辺監視装置。 The vehicle periphery monitoring device according to claim 1,
The warning determination excluding means determines that the image portion of the object is located outside the determination image region when the lowest vertical portion of the image portion of the object is outside the determination image region. The vehicle periphery monitoring apparatus characterized by the above-mentioned.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009106629A JP5430213B2 (en) | 2009-04-24 | 2009-04-24 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009106629A JP5430213B2 (en) | 2009-04-24 | 2009-04-24 | Vehicle periphery monitoring device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010257229A JP2010257229A (en) | 2010-11-11 |
JP5430213B2 true JP5430213B2 (en) | 2014-02-26 |
Family
ID=43318057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009106629A Expired - Fee Related JP5430213B2 (en) | 2009-04-24 | 2009-04-24 | Vehicle periphery monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5430213B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5603835B2 (en) | 2011-06-27 | 2014-10-08 | クラリオン株式会社 | Vehicle perimeter monitoring device |
JP6353881B2 (en) * | 2016-08-25 | 2018-07-04 | 株式会社Subaru | Vehicle display device |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2817594B2 (en) * | 1993-11-15 | 1998-10-30 | トヨタ自動車株式会社 | Headlight device for vehicles |
JP3424334B2 (en) * | 1994-06-21 | 2003-07-07 | 日産自動車株式会社 | Roadway detection device |
JPH1123291A (en) * | 1997-07-04 | 1999-01-29 | Nissan Motor Co Ltd | Picture processing device for car |
JP4182665B2 (en) * | 2002-02-08 | 2008-11-19 | 日産自動車株式会社 | Approaching object detection device |
JP3904988B2 (en) * | 2002-06-27 | 2007-04-11 | 株式会社東芝 | Image processing apparatus and method |
JP2006254318A (en) * | 2005-03-14 | 2006-09-21 | Omron Corp | Vehicle-mounted camera, vehicle-mounted monitor and forward road area imaging method |
JP4970926B2 (en) * | 2006-01-16 | 2012-07-11 | 本田技研工業株式会社 | Vehicle periphery monitoring device |
JP4793324B2 (en) * | 2007-05-30 | 2011-10-12 | 株式会社日立製作所 | Vehicle monitoring apparatus and vehicle monitoring method |
-
2009
- 2009-04-24 JP JP2009106629A patent/JP5430213B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010257229A (en) | 2010-11-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4267657B2 (en) | Vehicle periphery monitoring device | |
JP5687702B2 (en) | Vehicle periphery monitoring device | |
US8766816B2 (en) | System for monitoring the area around a vehicle | |
US8810653B2 (en) | Vehicle surroundings monitoring apparatus | |
JP4970926B2 (en) | Vehicle periphery monitoring device | |
JP4173901B2 (en) | Vehicle periphery monitoring device | |
US20050276450A1 (en) | Vehicle surroundings monitoring apparatus | |
JP4173902B2 (en) | Vehicle periphery monitoring device | |
WO2011108217A1 (en) | Vehicle perimeter monitoring device | |
US8189868B2 (en) | Vehicle periphery monitoring device | |
JP2014085920A (en) | Vehicle surroundings monitoring device | |
US20110109739A1 (en) | Vehicle periphery monitoring device | |
US7885430B2 (en) | Automotive environment monitoring device, vehicle with the automotive environment monitoring device, and automotive environment monitoring program | |
JP5502149B2 (en) | Vehicle periphery monitoring device | |
JP5430213B2 (en) | Vehicle periphery monitoring device | |
JP4176558B2 (en) | Vehicle periphery display device | |
US9030560B2 (en) | Apparatus for monitoring surroundings of a vehicle | |
JP5098981B2 (en) | Face detection device | |
JP5904927B2 (en) | Vehicle periphery monitoring device | |
JP4975776B2 (en) | Vehicle periphery monitoring device | |
JP5907849B2 (en) | Vehicle periphery monitoring device | |
JP2007168547A (en) | Obstacle collision determining system, obstacle collision determining method, and computer program | |
JP2008257398A (en) | Unit, method and program for monitoring vehicle periphery | |
JP2010128800A (en) | Vehicle periphery monitoring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111125 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120522 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130108 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130308 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130521 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130722 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131203 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |