JP2010070127A - Vehicle periphery monitoring device - Google Patents

Vehicle periphery monitoring device Download PDF

Info

Publication number
JP2010070127A
JP2010070127A JP2008241405A JP2008241405A JP2010070127A JP 2010070127 A JP2010070127 A JP 2010070127A JP 2008241405 A JP2008241405 A JP 2008241405A JP 2008241405 A JP2008241405 A JP 2008241405A JP 2010070127 A JP2010070127 A JP 2010070127A
Authority
JP
Japan
Prior art keywords
vehicle
image
left turn
reference value
side image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008241405A
Other languages
Japanese (ja)
Inventor
Shigeya Sasane
成哉 笹根
Keisuke Kaminan
恵資 上南
Takashi Shimizu
貴士 清水
Taku Okaya
拓 岡谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Priority to JP2008241405A priority Critical patent/JP2010070127A/en
Publication of JP2010070127A publication Critical patent/JP2010070127A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle periphery monitoring device for improving safety by preventing a driver from paying little attention to the opposite side of a steering wheel turning direction while driving at an intersection. <P>SOLUTION: The vehicle periphery monitoring device includes a vehicle speed detection means 4 for detecting a vehicle speed, a steering wheel angle detection means 5 for detecting a steering wheel angle θst, a direction indicator 6 for outputting a right/left turn signal Tsg, nose view cameras 1 and 2 for imaging a vehicle widthwise direction Y, a monitor 3 for displaying right and left side images Gr and Gl side by side on one screen, a right/left turn start determination means 15 for determining a right/left turn start time ts of the vehicle based on the steering wheel angle, the vehicle speed, and the right/left turn signal, a pixel number changing means 16 for increasing the number of pixels of the other side image on the opposite side to one left- or right-side image corresponding to the right/left turn signal to be larger than a reference value at the right/left turn start time, and an image display control means 14 for controlling to display the other side image in which the number of pixels is increased to be larger than the reference value and one side image side by side on one screen. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、車両の前部において側方を撮像した左右側方画像を車室内のモニタに並べて表示する車両用周辺監視装置に関する。   The present invention relates to a vehicle periphery monitoring device that displays side-by-side images obtained by imaging the sides at the front of a vehicle side by side on a monitor in a vehicle compartment.

車両が道幅の狭い道路を走行中に交差点に進入した場合、運転席からは交差道路方向である左右側方域の見通しが悪いことが多い。そこで、車両が交差点に進入する際に、安全確認のため、車両の前部に組み込んだカメラ(ノーズビューカメラ)により車両前位置で左右側方領域の情景を撮像し、その左右側方画像を車両の運転席に設けたモニタに並列表示する車両用周辺監視装置が知られている。   When a vehicle enters an intersection while traveling on a narrow road, the left and right side areas, which are the direction of the intersection road, often have poor visibility from the driver's seat. Therefore, when the vehicle enters the intersection, for safety confirmation, a camera (nose view camera) built in the front of the vehicle is used to capture a scene in the left and right side area at the front position of the vehicle, and the left and right side images are captured. 2. Description of the Related Art A vehicle periphery monitoring device that displays in parallel on a monitor provided in a driver's seat of a vehicle is known.

例えば、特許文献1に開示されるノーズビューモニタ装置は、左右側方画像を車両の運転席に設けたモニタにて表示すると共に、側方画像より抽出した特徴点に対してオプティカルフローを計算している。ここでは、左右側方画像中における特徴点から、接近方向のベクトルをもつものだけを接近特徴点とし、これにより車両への接近物体を検出し、乗員に接近物体情報を報知する技術が開示される。   For example, the nose view monitor device disclosed in Patent Document 1 displays the left and right side images on a monitor provided in the driver's seat of the vehicle, and calculates the optical flow for the feature points extracted from the side images. ing. Here, a technique is disclosed in which only those having a vector in the approach direction among the feature points in the left and right side images are set as approach feature points, thereby detecting an approaching object to the vehicle and notifying the occupant of the approaching object information. The

更に、特許文献2に開示されるノーズビューモニタシステムは、車両に接近する移動物体が該車両の前方を通過する通過予想時間を算出するとともに、求めた通過予想時刻および自車速度に応じた適切な接近物体の表示(警報)を行う。ここでは、ノーズビューカメラが撮像した側方画像から接近車両や接近歩行者等が自車正面を通過する時刻を高精度に予測し、予想通過時刻に応じて警報音等により接近移動物体の接近を通知する表示制御部や警報器を駆動し、監視を容易化した技術が開示される。   Furthermore, the nose view monitor system disclosed in Patent Document 2 calculates an estimated passing time for a moving object approaching the vehicle to pass in front of the vehicle, and appropriately determines the estimated passing time and the own vehicle speed. Display (warning) of an approaching object. Here, the time when an approaching vehicle or approaching pedestrian passes the front of the host vehicle is predicted with high accuracy from the side image captured by the nose view camera, and the approaching moving object approaches by an alarm sound or the like according to the expected passing time. Disclosed is a technology that facilitates monitoring by driving a display control unit and an alarm device for notifying the user.

特開2005−276056号公報JP 2005-276056 A 特開2006−253932号公報JP 2006-253932 A

このように従来の車両用周辺監視装置では、左右の側方画像をモニタの1画面に並べて表示すると共に、側方画像中より特徴点を抽出し、その特徴点の中から接近方向のベクトルをもつものを用いて自車両への接近物体としてモニタに表示して乗員が意識し易いようにしている。
ところで、ドライバーが交差点で交差道路側に右左折するにあたり、ドライバーはハンドル切り方向に意識が行き、反対側の意識が薄れる傾向にある。即ち、たとえ、左右の側方画像を車両のモニタに並列表示する場合でも、ハンドル切り方向と反対の他方側の側方画面を注視しようとする意識が薄れる傾向にある。この場合、曲がりたい方向と逆となる他方側の交差道路より自車両に接近する移動物体があると、安全性が低下することとなり、改善が望まれている。
Thus, in the conventional vehicle periphery monitoring device, the left and right side images are displayed side by side on one screen of the monitor, feature points are extracted from the side images, and a vector in the approach direction is extracted from the feature points. It is displayed on the monitor as an approaching object to the host vehicle using what it has so that the occupant can easily recognize it.
By the way, when the driver turns right or left on the crossing road side at the intersection, the driver tends to become conscious in the direction of turning the steering wheel and lose consciousness on the opposite side. That is, even when the left and right side images are displayed in parallel on the monitor of the vehicle, there is a tendency that the consciousness of gazing at the side screen on the other side opposite to the steering direction is weakened. In this case, if there is a moving object that approaches the host vehicle from the other crossing road that is opposite to the direction in which the vehicle wants to bend, the safety will be lowered, and improvement is desired.

なお、このように、ハンドル切り方向と反対の他方側の側方画面を注視しようとする意識が薄れること、及び、それを解決する点は上述の特許文献1、2には開示されていない。
本発明は、以上のような課題に基づきなされたもので、目的とするところは、ドライバーが交差点でハンドル切り方向と反対の他方側の意識が薄れることを防止して、ハンドル切り方向と反対の他方側の側方画面を注視し易くして、安全性を向上できる車両周辺監視装置を提供することにある。
It should be noted that the above-described Patent Documents 1 and 2 do not disclose that the consciousness of gazing at the side screen on the other side opposite to the steering direction of the steering wheel is reduced.
The present invention has been made on the basis of the above-described problems. The object of the present invention is to prevent the driver from losing consciousness on the other side opposite to the steering direction of the steering wheel at the intersection. An object of the present invention is to provide a vehicle periphery monitoring device that makes it easier to watch the side screen on the other side and improve safety.

本願請求項1に係る発明は、車両の速度を検出する車両速度検出手段と、前記車両のハンドル角を検出するハンドル角検出手段と、前記車両の右左折信号を発する方向指示器と、前記車両の前部に取り付けられて車幅方向の視界を撮像するノーズビューカメラと、前記ノーズビューカメラにより撮像された左右の側方画像を1画面に並べて表示するモニタと、検出された前記ハンドル角と前記車速と前記右左折信号とに基づき上記車両の右左折開始時を判断する右左折開始判定手段と、前記右左折開始時には前記右左折信号に応じた左右一方と反対となる他方側の側方画像の画素数を基準値より増変更処理する画素数変更手段と、前記画素数が基準値より増変更処理された他方側の側方画像を一方側の側方画像と前記1画面に並べて表示するよう制御する画像表示制御手段と、を備えることを特徴とする。   The invention according to claim 1 of the present invention includes a vehicle speed detecting means for detecting a vehicle speed, a handle angle detecting means for detecting a handle angle of the vehicle, a direction indicator for generating a right / left turn signal of the vehicle, and the vehicle A nose view camera that is attached to the front of the camera and images the field of view in the vehicle width direction, a monitor that displays the left and right side images captured by the nose view camera side by side on one screen, and the detected handle angle Right / left turn start determining means for determining when the vehicle starts turning right / left based on the vehicle speed and the right / left turn signal, and the other side opposite to the right / left turn signal according to the right / left turn signal when starting the right / left turn A pixel number changing means for performing a process of increasing and changing the number of pixels of the image from the reference value, and displaying the other side image in which the number of pixels is increased and changed from the reference value side by side on the one side image and the one screen Do And image display control means for cormorants control, characterized in that it comprises a.

本願請求項2に係る発明は、請求項1に記載の車両用周辺監視装置において、前記画素数変更手段は、前記右左折開始時には前記他方側の側方画像の視野角を基準値より広く修正する視野角修正手段と、前記右左折開始時には前記他方側の側方画像の解像度を基準値より精細に修正する解像度修正手段と、の少なくとも一つを有し、前記画像表示制御手段は、視野角を基準値より広く又は解像度を基準値より精細となるよう少なくとも一つの修正処理を行った前記他方の側方画像を一方の側方画像と並べて前記左右の分割画面に表示するよう制御することを特徴とする。   The invention according to claim 2 of the present application is the vehicle periphery monitoring device according to claim 1, wherein the pixel number changing means corrects the viewing angle of the side image on the other side wider than a reference value at the start of the right / left turn. At least one of a viewing angle correction unit that corrects the resolution of the side image on the other side more precisely than a reference value at the start of the right or left turn, and the image display control unit includes: Controlling the other side image, which has been subjected to at least one correction process so that the corner is wider than the reference value or the resolution is finer than the reference value, to be displayed side by side with the one side image on the left and right divided screens. It is characterized by.

本願請求項3に係る発明は、請求項1又は2に記載の車両用周辺監視装置において、前記画像表示制御手段は車両の右左折開始時には前記画素数が増変更処理された他方の側方画像と画素数が基準値以下に修正された一方の側方画像とを並べて前記1画面に表示することを特徴とする。   The invention according to claim 3 of the present application is the vehicle periphery monitoring device according to claim 1 or 2, wherein the image display control means is the other side image in which the number of pixels is increased and changed at the start of turning of the vehicle. And one side image whose number of pixels is corrected to a reference value or less are displayed side by side on the one screen.

本願請求項4に係る発明は、請求項1、2又は3に記載の車両用周辺監視装置において、右左折開始時には前記右左折信号に応じた左右一方と反対となる他方側の側方画像に基づきオプティカルフローベクトルを算出するオプティカルフローベクトル算出手段と、算出された前記オプティカルフローベクトルのうち前記他方側の側方画像中における車両の進行方向へのベクトル成分を有するオプティカルフローベクトルに基づいて接近物体を検出する接近物体検出手段と、前記接近物体の検出を報知する報知手段とを備えたことを特徴とする。   The invention according to claim 4 of the present application is the vehicle periphery monitoring device according to claim 1, 2, or 3, wherein the left and right side images corresponding to the right and left turn signals at the start of the right and left turn are displayed on the other side image. An optical flow vector calculating means for calculating an optical flow vector based on the optical flow vector, and an approaching object based on the optical flow vector having a vector component in the traveling direction of the vehicle in the side image on the other side of the calculated optical flow vector An approaching object detection means for detecting the approaching object and an informing means for informing the detection of the approaching object are provided.

請求項1の発明によれば、ドライバーが交差点で交差道路側に曲がるにあたり、曲がりたい方向と逆となる他方側の側方画像の画素数を基準値より増変更する。このため、ここでは意識が低下し易い曲がりたい方向と逆となる他方側の側方画像を意識し易くでき、即ち、交差点等での曲がりたい方向と逆となる他方側の接近移動物体を監視し易くなり、安全性が向上する。   According to the first aspect of the present invention, when the driver turns to the intersection road side at the intersection, the number of pixels of the side image on the other side opposite to the direction in which the driver wants to turn is increased from the reference value. For this reason, it is possible to easily recognize the side image on the other side that is opposite to the direction in which the person wants to bend, where the consciousness is likely to be lowered, that is, to monitor the approaching moving object on the other side that is opposite to the direction to bend in an intersection or the like This improves safety.

請求項2の発明によれば、画像表示制御手段が、右左折開始時には右左折方向と反対となる他方側の側方画像の視野角を基準値より広くするか、又は、解像度をより精細とするか、少なくとも一つの修正処理を行って画素数を基準値より増変更する処理を確実に行うので、運転者が曲がりたい方向と逆となる他方側の側方画像を意識し易くなり、即ち、交差点等での接近移動物体を監視し易くなり、安全性が向上する。   According to the invention of claim 2, the image display control means makes the viewing angle of the side image on the other side opposite to the right / left turn direction wider than the reference value at the start of the right / left turn, or makes the resolution finer. In other words, since the process of increasing the number of pixels more than the reference value by performing at least one correction process is surely performed, it becomes easier for the driver to be aware of the side image on the other side opposite to the direction in which he wants to bend, This makes it easier to monitor moving objects approaching intersections and the like, improving safety.

請求項3の発明によれば、運転者が曲がりたい方向と逆となる他方側の側方画像の画素数を基準値より増変更する際に、他側の側方画像の画素数が基準値以下に修正されるので、逆となる側の側方画像の画素数の増変更が容易となる。   According to the invention of claim 3, when the number of pixels of the other side image opposite to the direction in which the driver wants to bend is increased from the reference value, the number of pixels of the other side image is the reference value. Since the correction is made below, it is easy to increase and change the number of pixels of the opposite side image.

請求項4の発明によれば、右左折開始時には右左折信号に応じた左右一方と反対となる他方側の側方画像中の自車両への接近移動物体を検出して、接近移動物体の検出時に報知するので交差点等での他方側の接近移動物体を監視し易くなり、容易に認識でき、安全性が向上する。   According to the invention of claim 4, at the start of the right / left turn, the approaching moving object is detected by detecting the approaching moving object to the own vehicle in the side image on the other side opposite to the left / right one according to the right / left turn signal. Since notification is sometimes made, it becomes easier to monitor the approaching moving object on the other side at an intersection or the like, which can be easily recognized, and safety is improved.

以下、本発明の一実施形態に係る車両用周辺監視装置について説明する。
図1、2はこの実施形態に係る車両用周辺監視装置を搭載する車両の概略図と機能ブロック図を示している。
この車両用周辺監視装置は、車両Cの前部に取り付けられて車幅方向Yの視界を撮像して、例えば、図3に示すような左右側方画像Gr、Glを取り込むノーズビューカメラ1,2と、自車両Cの左右側方画像Gr、Glを1画面(全画面)3fに並べて表示可能なモニタ3と、車両Cに搭載された画像制御装置ECUと、車両の速度Vcを検出する車両速度検出手段(以後単に車速センサ4と記す)と、車両Cのハンドル角θstを検出するハンドル角検出手段(以後単にハンドル角センサ5と記す)と、車両の右左折信号Tsgを発する方向指示器6と、メインスイッチ7とを備える。ここで、図1には、車両Cが道路9より交差点11で交差道路12に向かう直前の状態を示している。
Hereinafter, a vehicle periphery monitoring device according to an embodiment of the present invention will be described.
1 and 2 are a schematic diagram and a functional block diagram of a vehicle equipped with a vehicle periphery monitoring device according to this embodiment.
This vehicle periphery monitoring device is attached to the front portion of the vehicle C, images the field of view in the vehicle width direction Y, and captures, for example, left and right side images Gr and Gl as shown in FIG. 2, the monitor 3 capable of displaying the left and right side images Gr, Gl of the host vehicle C side by side on one screen (full screen) 3 f, the image control device ECU mounted on the vehicle C, and the vehicle speed Vc are detected. Vehicle speed detection means (hereinafter simply referred to as a vehicle speed sensor 4), handle angle detection means (hereinafter simply referred to as the handle angle sensor 5) for detecting the steering angle θst of the vehicle C, and direction indication for issuing a vehicle right / left turn signal Tsg And a main switch 7. Here, FIG. 1 shows a state immediately before the vehicle C heads for the intersection road 12 at the intersection 11 from the road 9.

画像制御装置ECUはマイクロコンピュータを主体とする電子制御ユニットにより構成され、車載されたナビゲーション装置13とモニタ3の表示機能を兼用すると共に、図2に示すように、画像表示制御手段(以後単にモニタ制御手段14と記す)の機能と、右左折開始判定手段15と、画素数変更手段16と、オプティカルフローベクトル算出手段21と、接近物体検出手段22と、報知手段23との各機能を備える。ここで、オプティカルフローベクトル算出手段21と、接近物体検出手段22と、報知手段23とがノーズビュー接近車両警報システムとして機能する。なお、モニタ3は車室前部に設けられ、ノーズビューカメラ1,2により撮像された左右側方画像Gr、Glを1画面(全画面)3fに並べ、乗員に向けて表示するとともに、ナビゲーション装置13に所定モードで駆動される場合には、ナビ画像をモニタの1画面(全画面)3fに表示する機能を有する。   The image control unit ECU is composed of an electronic control unit having a microcomputer as its main body. The image control unit ECU combines the display function of the on-board navigation device 13 and the monitor 3, and as shown in FIG. And a function of control unit 14), right / left turn start determination unit 15, pixel number changing unit 16, optical flow vector calculation unit 21, approaching object detection unit 22, and notification unit 23. Here, the optical flow vector calculation means 21, the approaching object detection means 22, and the notification means 23 function as a nose view approaching vehicle warning system. The monitor 3 is provided in the front part of the passenger compartment, and the left and right side images Gr and Gl taken by the nose view cameras 1 and 2 are arranged on a single screen (full screen) 3f and displayed to the passengers, and navigation. When the device 13 is driven in a predetermined mode, it has a function of displaying a navigation image on one screen (full screen) 3f of the monitor.

モニタ制御手段14は車両の直進時に、図3に示すように、自車両Cの左右側方画像Gr、Glをモニタ3の左右2分割した、即ち、1画面3fを1/2の分割画面3r、3lにした状態のモニタ3に並べて表示する。
左右側方画像Gr、Glを撮影するノーズビューカメラ1,2は、図4(a)に示すように、機能としては180度に近い比較的大きな視野角αmを確保でき、不図示の全角の側方画像を撮影可能であり、例えば、魚眼レンズを用いて形成される。
As shown in FIG. 3, the monitor control means 14 divides the left and right side images Gr and Gl of the host vehicle C into two parts on the left and right of the monitor 3, that is, one screen 3f is divided into half divided screens 3r. 3 l are displayed side by side on the monitor 3.
As shown in FIG. 4 (a), the nose view cameras 1 and 2 that shoot the left and right side images Gr and Gl can secure a relatively large viewing angle αm close to 180 degrees as a function. A side image can be taken and formed using, for example, a fisheye lens.

画像表示制御手段であるモニタ制御手段14は上述のように基本的には、不図示の全角側方画像のうちの基準の視野角αbの部分を左右の側方画像Gr、Glとして採用して、図4(b)に示すようにモニタ3の1/2の各分割画面3r、3lに左右並べて表示する。   As described above, the monitor control means 14 that is an image display control means basically adopts the reference viewing angle αb of the full-angle side image (not shown) as the left and right side images Gr and Gl. As shown in FIG. 4B, the images are displayed side by side on the divided screens 3r and 3l which are ½ of the monitor 3.

一方、後述の視野角変更時には、例えば、図5(a)、(b)に示すように、右側の視野角が基準値αbより所定量広い広角視野角α1に切換わる際に、広角側方画像Grwが撮像され、これを右方の1/2より大きな分割比で区分した分割画面3rに表示する。同時に、図5(a)、(b)に示すように、左側の視野角が基準値αbより所定量狭い狭角視野角α1−1に切換わる際に、狭角側方画像Gleが撮像され、これを左方の1/2より小さい分割比で区分した分割画面3lに表示する。
右左折開始判定手段15は、ハンドル角センサ5で検出されたハンドル角θstと、車速センサ4で検出された車速Vcと、方向指示器6で発せられた右左折信号Tsgを取り込む。その際、ハンドル角θstが車両の右左折操作に入ったか否かを判断する右左折操舵判定値である操舵判定値θst1を上回るか否かを判断する。更に、車速Vcが交差点11で低速走行に入ったか否か判断する。更に、右左折信号Tsgがハンドル角θstの操舵方向と一致するか否か判断する。
On the other hand, when changing the viewing angle described later, for example, as shown in FIGS. 5A and 5B, when the right viewing angle is switched to the wide viewing angle α1 that is a predetermined amount wider than the reference value αb, An image Grw is picked up and displayed on a divided screen 3r divided by a division ratio larger than 1/2 on the right side. At the same time, as shown in FIGS. 5A and 5B, the narrow-angle side image Gle is captured when the left-side viewing angle is switched to the narrow-angle viewing angle α1-1 narrower than the reference value αb by a predetermined amount. This is displayed on the divided screen 3l divided by the division ratio smaller than ½ on the left side.
The right / left turn start determining means 15 takes in the steering wheel angle θst detected by the steering wheel angle sensor 5, the vehicle speed Vc detected by the vehicle speed sensor 4, and the right / left turn signal Tsg generated by the direction indicator 6. At this time, it is determined whether or not the steering wheel angle θst exceeds a steering determination value θst1 that is a right / left turn steering determination value for determining whether the vehicle has entered a right / left turn operation. Further, it is determined whether or not the vehicle speed Vc has entered low speed travel at the intersection 11. Further, it is determined whether the right / left turn signal Tsg matches the steering direction of the steering wheel angle θst.

これらの3つの各判断で、ドライバーの右左折の意志及び車両の実際の右左折移動開始が確認されると、車両Cの右左折開始時tsに達したと判断し、確認することとなる。
画素数変更手段16は右左折開始時tsを確認すると、検出された右左折信号Tsgに応じた左右一方と反対となる他方側の側方画像Gr又はGlの画素数を基準値より増変更処理する、即ち、画素数の修正処理を行う。具体的には、視野角修正手段17と解像度修正手段18として機能する。
ここで、視野角修正手段17は検出された右左折信号Tsgに応じた左右一方と反対となる他方側の側方画像Gr又はGlの視野角α1(図5(a)、(b)参照)を予め設定される基準値αbより所定量広くなるように、即ち、画素数を基準値より増変更処理する修正制御機能を有する。
When each of these three determinations confirms the driver's intention to make a right / left turn and the vehicle's actual right / left turn start, it is determined that the vehicle C has reached the right / left turn start time ts.
When the right / left turn start time ts is confirmed, the pixel number changing means 16 increases the number of pixels of the side image Gr or Gl on the other side opposite to the left or right according to the detected right / left turn signal Tsg from the reference value. That is, a process for correcting the number of pixels is performed. Specifically, it functions as a viewing angle correction means 17 and a resolution correction means 18.
Here, the viewing angle correcting means 17 is the viewing angle α1 of the other side image Gr or Gl opposite to the left or right side according to the detected right / left turn signal Tsg (see FIGS. 5A and 5B). Has a correction control function for processing to increase the number of pixels by a predetermined amount larger than the preset reference value αb, that is, to increase the number of pixels from the reference value.

ここで、画素数を基準値より増変更処理する場合、図5(a)、(b)に示すように、左右一方の側方画像Gr又はGlの視野角が、例えば一方の右側方画像Grwの視野角α1を基準値αbより広くし、他方の左側方画像Gleの視野角α−1を基準値αbより狭く設定する。この場合、モニタ3の1画面3fを予め設定される1/2の分割画面3l、3rより表示比率を変更する。即ち、図5(a)、(b)に示すように、モニタ3の1画面3fのうち、右側の分割画面3rは拡大し、他方の左側の分割画面3lはその分縮小し、これらが並べて1画面3f内に表示される。
次に、解像度修正手段18は、検出された右左折信号Tsgに応じた左右一方と反対となる他方側の側方画像Gr又はGlの解像度N1を予め設定される基準値Nbより精細(N1>Nb)になるように、即ち、画素数を基準値より増変更処理する修正制御機能を備える。
Here, when increasing the number of pixels from the reference value, the viewing angle of one of the left and right side images Gr or Gl is, for example, one right side image Grw, as shown in FIGS. Is set to be wider than the reference value αb, and the viewing angle α-1 of the other left side image Gle is set to be narrower than the reference value αb. In this case, the display ratio of the one screen 3f of the monitor 3 is changed from the half divided screens 3l and 3r set in advance. That is, as shown in FIGS. 5A and 5B, among the one screen 3f of the monitor 3, the right divided screen 3r is enlarged, and the other left divided screen 3l is reduced accordingly, and these are arranged side by side. It is displayed within one screen 3f.
Next, the resolution correcting means 18 sets the resolution N1 of the other side image Gr or Gl opposite to the left or right according to the detected right / left turn signal Tsg to a finer value than the preset reference value Nb (N1>). Nb), that is, a correction control function for changing the number of pixels from the reference value is provided.

例えば、1/2の各分割画面3l、3rに一方と他方の側方画像Gr又はGlを表示する。この際、図4(a)、(b)に示すように、一方の右側方画像Grの解像度N1を基準値Nbより精細(N1>Nb)にし、他方の左側方画像Glの解像度N1を基準値Nbのままに設定する。
この場合、図4(b)に示すように、モニタ3の1画面3fのうち、一方の右側方画像Grの解像度N1を拡大し、他方の左側方画像Glの解像度Nbを基準値のままに保持し、これらを1画面3fに並べて表示することとなる。
For example, one and the other side images Gr or Gl are displayed on each of the 1/2 divided screens 3l and 3r. At this time, as shown in FIGS. 4A and 4B, the resolution N1 of one right side image Gr is made finer (N1> Nb) than the reference value Nb, and the resolution N1 of the other left side image Gl is set as a reference. The value Nb is set as it is.
In this case, as shown in FIG. 4B, the resolution N1 of one right side image Gr in one screen 3f of the monitor 3 is enlarged, and the resolution Nb of the other left side image Gl is kept at the reference value. These are held and displayed side by side on one screen 3f.

次に、ノーズビュー接近車両警報システムを構成するオプティカルフローベクトル算出手段21は、右左折開始時tsには右左折信号Gr又はGlに応じた左右一方と反対となる他方側で、画素数が基準値より増変更処理された、例えば、図4や図5の各側方画像Gr、Grwに基づきオプティカルフローベクトル‘v’を算出する。
例えば、右側の側方画像Gr中の画像信号レベル(輝度)や色相が、その周辺部と大きく異なるような特徴点Pを抽出する。なお、特徴点Pの選択の手法は、特開2004−198211号公報に開示される手法、等、を用いることが出来る。
Next, the optical flow vector calculation means 21 constituting the nose view approaching vehicle warning system has a pixel count on the other side opposite to the left and right according to the right / left turn signal Gr or Gl at the start of right / left turn ts. For example, the optical flow vector “v” is calculated based on the side images Gr and Grw of FIG. 4 and FIG.
For example, a feature point P is extracted such that the image signal level (luminance) and hue in the right side image Gr are significantly different from the peripheral portion. As a method for selecting the feature point P, a method disclosed in Japanese Patent Application Laid-Open No. 2004-198211 can be used.

次いで抽出した複数の特徴点P(例えば、図6中の記号p1、p2、p3参照)に対して、それぞれ、図6に示すようなオプティカルフローベクトル‘v’(図6には記号aで示す)を計算し、時間経過による特徴点の位置の変化を調整する。なお、オプティカルフロー計算は多重解像度法を用いている。
ここで多重解像度法とは、一枚の画像に対して解像度の異なる何枚もの画像を階層的に準備し、粗い解像度の画像から順番にパターンマッチングを行い、オプティカルフローを求め、最終的には解像度の細かい画像でのオプティカルフローベクトルである速度ベクトル‘v’を求める手法であり、例えば、特開2004−56763号公報等に記載されるとおりのものである。
Next, for each of the extracted feature points P (see, for example, symbols p1, p2, and p3 in FIG. 6), an optical flow vector 'v' (shown by symbol a in FIG. 6) as shown in FIG. ) And adjust the change in the position of the feature point over time. The optical flow calculation uses a multi-resolution method.
Here, the multi-resolution method is to hierarchically prepare multiple images with different resolutions for one image, perform pattern matching in order from the image with coarse resolution, find the optical flow, and finally This is a method for obtaining a velocity vector 'v' that is an optical flow vector in an image with a fine resolution, and is, for example, as described in JP 2004-56763 A.

ノーズビュー接近車両警報システムを構成する接近物体検出手段22は、算出されたオプティカルフローベクトル‘v’(図6には記号aで示す)のうち、例えば、図7に示すような、右側方画像Gr中における車両C0の進行方向へのベクトル成分a1を有するものを選択し、その選択されたオプティカルフローベクトル‘v’(図7には記号a1で示す)に基づいて接近物体を検出する。即ち、右左折信号Gr又はGlに応じた左右一方と反対となる他方側である右側方画像Gr中で自車両Cに接近してくる複数の特徴点(p1,p2,p3・・・)のまとまりを接近移動物体として検出し、その接近移動物体の右側方画像Gr中での検出画像領域Epを設定する。   The approaching object detection means 22 constituting the nose view approaching vehicle warning system uses, for example, a right side image as shown in FIG. 7 among the calculated optical flow vectors 'v' (indicated by symbol a in FIG. 6). An object having a vector component a1 in the traveling direction of the vehicle C0 in Gr is selected, and an approaching object is detected based on the selected optical flow vector 'v' (indicated by symbol a1 in FIG. 7). That is, a plurality of feature points (p1, p2, p3...) Approaching the host vehicle C in the right side image Gr which is the other side opposite to the left or right side according to the right / left turn signal Gr or Gl. A group is detected as an approaching moving object, and a detection image region Ep in the right side image Gr of the approaching moving object is set.

ノーズビュー接近車両警報システムを構成する報知手段23は検出された接近物体を報知する機能を備える。
具体的には、図8に示すように、他方側である右側の側方画像Gr中におけるオプティカルフローベクトル‘v’(図6には記号aで示す)のまとまりである検出画像領域Epのすべて、あるいは、検出画像領域Epの外郭部分を赤色表示すると共に、照度を一定周期で増減切換え、これにより運転者による接近移動物体の報知を容易化する。
The informing means 23 constituting the nose view approaching vehicle warning system has a function of informing the detected approaching object.
Specifically, as shown in FIG. 8, all of the detected image region Ep that is a group of optical flow vectors 'v' (indicated by symbol a in FIG. 6) in the right side image Gr that is the other side. Alternatively, the outer portion of the detection image area Ep is displayed in red, and the illuminance is increased or decreased at a constant cycle, thereby facilitating the driver's notification of an approaching moving object.

なお、上述のところではオプティカルフローベクトル算出手段21、接近物体検出手段22、報知手段23からなるノーズビュー接近車両警報システムの機能を左操舵時において、左折信号Glに応じた左右一方と反対となる他方側である右側方画像Grについて説明したが、逆に、右操舵時において、左右一方と反対となる他方側となる左側の左側方画像Glの場合も左右切換えて、同様な処理が成される。
次に、図1の車両用周辺監視装置の画像制御装置ECUが行う表示制御処理を図9の画像表示制御ルーチンのフローチャートと共に説明する。ここで行う表示制御処理では、解像度N1を基準値Nbより精細(N1>Nb)になるように処理する解像度修正手段18を用いている。
In the above description, the function of the nose view approaching vehicle warning system including the optical flow vector calculation means 21, the approaching object detection means 22, and the notification means 23 is opposite to the left and right according to the left turn signal Gl during left steering. Although the right side image Gr which is the other side has been described, conversely, in the case of right steering, the left side image Gl on the left side which is the other side opposite to the left and right sides is also switched to the left and right, and the same processing is performed. The
Next, a display control process performed by the image control device ECU of the vehicle periphery monitoring device of FIG. 1 will be described together with a flowchart of the image display control routine of FIG. In the display control process performed here, the resolution correction means 18 is used to process the resolution N1 so that the resolution N1 is finer (N1> Nb) than the reference value Nb.

ここで、基本的に画像制御装置ECUはナビゲーション装置13のモニタ3を兼用しており、メインスイッチ7のオンによりステップs1に達する。
ステップs1ではナビゲーション装置13からのナビ画像の表示を行い、ステップs2に進む。ここで、車速Vcが徐行速度Vc1、例えば、10Km/H以下か判断し、Noでは定常走行時と見做して、そのまま、ステップs1にリターンする。一方、徐行速度Vc1以下では、交差点11に接近の可能性ありと見做し、ステップs3に進む。ステップs3ではハンドル角θstが操舵判定値θst1を上回るか否か、即ち、ドライバーの右左折の意志の有無を判断し、右左折の意志があるとYesでステップs4に、そうでなく交差点11を徐行直進する場合はステップs5に進む。
Here, basically, the image control device ECU also serves as the monitor 3 of the navigation device 13, and reaches step s1 when the main switch 7 is turned on.
In step s1, the navigation image from the navigation device 13 is displayed, and the process proceeds to step s2. Here, it is determined whether the vehicle speed Vc is equal to or less than the slow speed Vc1, for example, 10 Km / H, and in No, it is considered that the vehicle is traveling normally, and the process returns to step s1 as it is. On the other hand, if the traveling speed is Vc1 or less, it is assumed that the intersection 11 may be approached, and the process proceeds to step s3. In step s3, it is determined whether or not the steering wheel angle .theta.st exceeds the steering determination value .theta.st1, that is, whether or not the driver is willing to turn left or right. If the vehicle travels slowly, the process proceeds to step s5.

ステップs5では、車内のモニタ3の画面を切換え、モニタ3の1/2の各分割画面3r、3lにノーズビューカメラ1,2が撮像した左右の側方画像VL、VR(例えば、図3参照)を画素数変更処理することなく、そのまま左右並べて表示させ、ステップs2にリターンする。
ステップs4で車両の方向指示器6よりの右左折信号Tsgが入力され、その右左折信号Tsgがハンドル角θstの操舵方向と一致するか否か判断し、一致するとステップs6に、不一致の場合は、そのままステップs1にリターンする。
交差点11に入り、ドライバーの右左折の意志及び車両の実際の右左折移動開始が確認されたとの判断により、ステップs6では車両Cの右左折開始時tsに達していると判定し、ステップs7に進む。
In step s5, the screen of the monitor 3 in the vehicle is switched, and the left and right side images VL and VR imaged by the nose view cameras 1 and 2 on each of the half screens 3r and 3l of the monitor 3 (for example, see FIG. 3). ) Are displayed side by side without changing the number of pixels, and the process returns to step s2.
In step s4, the right / left turn signal Tsg is input from the direction indicator 6 of the vehicle, and it is determined whether or not the right / left turn signal Tsg matches the steering direction of the steering wheel angle θst. Return to step s1 as it is.
Entering the intersection 11, it is determined that the driver's intention to make a right / left turn and the actual start of the vehicle's right / left turn start have been confirmed. In step s6, it is determined that the vehicle C's right / left turn start time ts has been reached. move on.

ステップs7では確認された右左折信号Tsgに応じた左右一方と反対となる他方側の側方画像Gr又はGlの画素数を基準値より増変更するため、解像度変更処理をする。
ここでは、例えば、左右一方側である左折走行中にあるとし、図4に示したように、他方側である右の側方画像Grの解像度N1を基準値Nbより、精細(N1>Nb)に設定し(図4(b)参照)、左右一方の左の側方画像Glの解像度N1を基準値Nbのままに設定する。この設定処理に応じて、モニタ3の1/2の分割画面3r、3lのうち、他方側である右の側方画像Grの解像度N1を拡大し、左右一方である左の側方画像Glの解像度Nbを基準値に修正し、これらをモニタ3に並べて表示することとなる。
In step s7, resolution change processing is performed in order to increase the number of pixels of the other side image Gr or Gl opposite to the left or right according to the confirmed right / left turn signal Tsg from the reference value.
Here, for example, it is assumed that the vehicle is in a left turn on one of the left and right sides, and the resolution N1 of the right side image Gr on the other side is finer than the reference value Nb (N1> Nb) as shown in FIG. (See FIG. 4B), the resolution N1 of one of the left and right side images Gl is set to the reference value Nb. In accordance with this setting process, the resolution N1 of the right side image Gr on the other side of the half divided screens 3r and 3l of the monitor 3 is enlarged, and the left side image Gl on the left and right side is enlarged. The resolution Nb is corrected to the reference value, and these are displayed side by side on the monitor 3.

この解像度修正手段18の機能である解像度修正処理では、操舵方向とは左右反対となる他方側の側方画像Gr又はGlの画素数を基準値より増変更するため、解像度が上がり、本来、ドライバーの注意が散漫となる、操舵方向とは左右反対となる他方側の側方画像Gr又はGlの認識を容易に行えることとなり、集中監視が容易となり、交差点での右左折時の安全性が向上する。
ステップs7のあと、ステップs8に達する。ここではノーズビュー接近車両警報システムとしての処理を行う。
In the resolution correction process which is a function of the resolution correction means 18, the number of pixels of the other side image Gr or Gl opposite to the steering direction is increased and changed from the reference value. The side image Gr or Gl on the other side, which is opposite to the steering direction, can be easily recognized, making centralized monitoring easier and improving safety when turning right or left at the intersection To do.
Step s8 is reached after step s7. Here, processing as a nose view approaching vehicle warning system is performed.

即ち、操舵方向とは左右反対となり、画素数を基準値より増変更した他方側の側方画像Gr又はGlに基づき、まず特徴点P(p1、p2、p3・・・)を抽出し、特徴点Pに対してオプティカルフローを計算し、複数のオプティカルフローベクトル‘v’(図6には記号aで示す)を求める。次いで、ステップs9では、車両Cの進行方向へのベクトル成分を有するもの(図7の符号a1参照)より、それらのまとまりを接近移動物体と見做し、その接近移動物体の他方側の左右側方画像Gr又はGl中での検出画像領域Epを設定する。次いで、ステップs10では、検出画像領域Epのすべて、あるいは、検出画像領域Epの外郭部分を赤色表示すると共に、照度を一定周期で増減切換え(図8参照)、報知作動処理し、ステップs2にリターンする。   That is, the feature point P (p1, p2, p3...) Is first extracted based on the other side image Gr or Gl in which the number of pixels is increased and changed from the reference value. An optical flow is calculated for the point P to obtain a plurality of optical flow vectors 'v' (indicated by symbol a in FIG. 6). Next, in step s9, the group having vector components in the traveling direction of the vehicle C (see reference numeral a1 in FIG. 7) is regarded as an approaching moving object, and the left and right sides on the other side of the approaching moving object. A detection image region Ep in the side image Gr or Gl is set. Next, in step s10, all of the detected image region Ep or the outer portion of the detected image region Ep is displayed in red, and the illuminance is increased / decreased at a constant cycle (see FIG. 8), a notification operation process is performed, and the process returns to step s2. To do.

これにより運転者に対する接近移動物体の報知をより確実に容易化でき、本来ドライバーの注意が散漫となる、操舵方向とは左右反対となる他方側の側方画像Gr又はGlの認識が促進化され、集中監視が容易となり、交差点での右左折時の安全性がより向上する。 図10には図9の画像表示制御ルーチンのフローチャートに代えて採用される、他の実施形態における画像表示制御ルーチンのフローチャートを示した。ここで行う表示制御処理では、右左折信号Tsgに応じた左右一方と反対となる他方側の側方画像Gr又はGlの視野角α1を広くなるよう処理する視野角修正手段17を用いている。   As a result, it is possible to more easily facilitate the notification of the approaching moving object to the driver, and the recognition of the side image Gr or Gl on the other side, which is distracting from the driver and is opposite to the steering direction, is promoted. Centralized monitoring becomes easier, and safety when turning left or right at an intersection is further improved. FIG. 10 shows a flowchart of an image display control routine in another embodiment, which is employed instead of the flowchart of the image display control routine of FIG. In the display control processing performed here, the viewing angle correction means 17 is used for processing to widen the viewing angle α1 of the other side image Gr or Gl opposite to the left or right according to the right / left turn signal Tsg.

この図10の画像表示制御ルーチンの処理は、図9の画像表示制御ルーチンの処理と比較し、ステップs1〜ステップs6の右左折開始時tsの確認までの処理が同一であり、ここでの重複説明を略す。
ステップs6よりステップs7aに進むと、ここでは確認された右左折信号Tsgに応じた左右一方と反対となる他方側の側方画像Gr又はGlの画素数を基準値より増変更するため、視野角変更処理を行う。
ここでは、例えば、左右一方側である左折走行中にあるとし、図5(a)、(b)に示すように、他方側の側方画像Gr又はGlの視野角α1を基準値αbより広く、即ち、画素数を基準値より増変更処理し、他方の左側方画像Glの視野角α−1を基準値αbより狭く設定する。ここでは、図5(b)に示すように、モニタ3の右側の広角側方画像Grwは拡大し、他方の左側の狭角側方画像Gleはその分縮小し、これらがモニタ3に並べて表示される。
The processing of the image display control routine of FIG. 10 is the same as the processing of the image display control routine of FIG. 9 until the confirmation of the right / left turn start time ts in steps s1 to s6. The explanation is omitted.
When the process proceeds from step s6 to step s7a, the number of pixels of the side image Gr or Gl on the other side opposite to the left or right side according to the confirmed right / left turn signal Tsg is increased and changed from the reference value. Perform the change process.
Here, for example, assuming that the vehicle is in a left turn on the left and right sides, and the viewing angle α1 of the side image Gr or Gl on the other side is wider than the reference value αb, as shown in FIGS. That is, the number of pixels is increased and changed from the reference value, and the viewing angle α-1 of the other left side image Gl is set to be narrower than the reference value αb. Here, as shown in FIG. 5B, the wide-angle side image Grw on the right side of the monitor 3 is enlarged, and the other narrow-angle side image Gle on the left side is reduced accordingly, and these are displayed side by side on the monitor 3. Is done.

この視野角切換え処理により、操舵方向に応じた左右一方と反対となる他方側、例えば、図5(b)では右側の側方画像Grwの画素数を基準値より増変更することとなる。このため、視野角α1が大きくなり、本来、ドライバーはハンドル切り方向に意識が行き、反対の他方側の意識(注意)が散漫となるのであるが、ここでは、操舵方向とは左右反対側の他方側の広角側方画像Grw(側方画像)の認識が容易化され、特に、図1からも明らかなように、視野角切換え処理により対向道路12における歩道の歩行者md等を集中監視することが容易となり、交差点11での右左折時の安全性がより向上する。   By this viewing angle switching process, the number of pixels of the other side opposite to the left and right sides corresponding to the steering direction, for example, the right side image Grw in FIG. 5B is increased from the reference value. For this reason, the viewing angle α1 is increased, and the driver is conscious in the direction of turning the steering wheel and the consciousness (attention) on the other side is distracted. Recognition of the wide-angle side image Grw (side image) on the other side is facilitated. In particular, as is apparent from FIG. 1, the pedestrian md on the sidewalk on the opposite road 12 is centrally monitored by the viewing angle switching process. And the safety at the time of turning left and right at the intersection 11 is further improved.

しかも、ここでは、他方側の広角側方画像Grw(側方画像Grの一例)の視野角α1を広くし、左右一方の狭角側方画像Gle(側方画像Glの一例)の視野角α−1を基準値αbより狭く設定した。このため、画像制御装置ECUが行う、基準時の左右側方画像Gr、Glの演算を5:5の比率で処理すると仮定した場合、視野角α1が広い側の広角側方画像Grwと他方の狭い側の狭角側方画像Gleの演算を、例えば7:3の比率で処理するように演算処理機能を振り分けることが出来、画像制御装置ECUの高性能化を図る必要がなく、コスト増を抑制することができる。   In addition, here, the viewing angle α1 of the wide-angle side image Grw (an example of the side image Gr) on the other side is widened, and the viewing angle α of the narrow-angle side image Gle (an example of the side image Gl) on the left and right sides is widened. −1 was set narrower than the reference value αb. For this reason, assuming that the calculation of the left and right side images Gr and Gl at the time of reference performed by the image control apparatus ECU is performed at a ratio of 5: 5, the wide angle side image Grw on the side with the wider viewing angle α1 and the other side The calculation processing function can be distributed so that the calculation of the narrow-angle side image Gle on the narrow side is processed at a ratio of 7: 3, for example. Can be suppressed.

ステップs7aのあと、ステップs8に達する。ここではノーズビュー接近車両警報システムとしての処理を行う。即ち、操舵方向とは左右反対となる他方側で基準値αbより視野角α1が大きくなった一方の側方画像Gr又はGlに基づき、複数の特徴点Pを抽出し、各特徴点Pに対してオプティカルフローベクトル‘v’を計算する。次いで、ステップs9において、複数のオプティカルフローベクトル‘v’のうちで、車両Cの進行方向へのベクトル成分を有するものより、それらのまとまりを接近移動物体と見做し設定し、その接近移動物体の左右側方画像Gr又はGl中での検出画像領域Epを設定する。次いで、ステップs10において、基準値αbより視野角α1が大きくなっている側方画像Gr又はGl中での検出画像領域Epのすべて、あるいは、検出画像領域Epの外郭部分を赤色表示すると共に、照度を一定周期で増減切換え、報知作動処理し、ステップs2にリターンする。   Step s8 is reached after step s7a. Here, processing as a nose view approaching vehicle warning system is performed. That is, a plurality of feature points P are extracted based on one side image Gr or Gl having a viewing angle α1 larger than the reference value αb on the other side opposite to the steering direction. To calculate an optical flow vector 'v'. Next, in step s9, among the plurality of optical flow vectors 'v' having a vector component in the traveling direction of the vehicle C, the set is regarded as an approaching moving object, and the approaching moving object is set. The detection image region Ep in the left and right side images Gr or Gl is set. Next, in step s10, the entire detected image area Ep in the side image Gr or Gl whose viewing angle α1 is larger than the reference value αb or the outer portion of the detected image area Ep is displayed in red, and the illuminance Are increased / decreased at regular intervals, the notification operation process is performed, and the process returns to step s2.

これにより視野角α1が大きくなった他方側の、例えば、右の広角側方画像Grwにより、接近移動物体の報知をより確実に容易に行え、操舵方向とは左右反対となる他方側の、例えば広角側方画像Grwの認識が促進化され、集中監視が容易となり、交差点11での右左折時の安全性がより向上する。
なお、上述した、図9、図10の各画像表示制御ルーチンのステップs6とステップs6aを連続して行うような構成をとっても良い。この場合、たとえば、図5(c)に示すように、視野角α1及び解像度N1が共に拡大し、ドライバーの注意が散漫となる、操舵方向とは左右反対となる他方側の側方画像Grを認識し易くなり、他方側の接近移動物体を監視し易くなり、交差点11での右左折時の安全性をより向上させることができる。
Accordingly, for example, the right wide-angle side image Grw on the other side where the viewing angle α1 is increased can be more easily and easily notified of the approaching moving object, for example, on the other side which is opposite to the steering direction. Recognition of the wide-angle side image Grw is promoted, centralized monitoring is facilitated, and safety at the time of turning right and left at the intersection 11 is further improved.
Note that a configuration may be adopted in which steps s6 and s6a of the image display control routines of FIGS. 9 and 10 described above are continuously performed. In this case, for example, as shown in FIG. 5C, the viewing angle α1 and the resolution N1 are both enlarged, and the driver's attention is distracted, and the side image Gr on the other side opposite to the steering direction is displayed. It becomes easy to recognize, it becomes easy to monitor the approaching moving object on the other side, and the safety at the time of turning right and left at the intersection 11 can be further improved.

以上、本発明の車両用周辺監視装置を説明したが、具体的な構成については、実施の形態に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。   The vehicle periphery monitoring device of the present invention has been described above, but the specific configuration is not limited to the embodiment, and unless it departs from the gist of the invention according to each claim of the claims, Design changes and additions are allowed.

本発明の一実施形態としての車両用周辺監視装置を備えた車両の概略構成図である。1 is a schematic configuration diagram of a vehicle including a vehicle periphery monitoring device as one embodiment of the present invention. 図1の車両用周辺監視装置の制御機能部を表すブロック図である。It is a block diagram showing the control function part of the vehicle periphery monitoring apparatus of FIG. 図1の車両用周辺監視装置のモニタの画面に表示される左右の側方画像の一例の概略図である。It is the schematic of an example of the left and right side image displayed on the monitor screen of the vehicle periphery monitoring apparatus of FIG. 図1の車両用周辺監視装置のノーズビューカメラの視野角と、モニタが表示する側方画像の関連を説明する図で、視野角同一で、解像度を拡大して画素数を増加した場合の図である。FIG. 2 is a diagram for explaining the relationship between the viewing angle of the nose view camera of the vehicle periphery monitoring device of FIG. 1 and a side image displayed on the monitor, in which the viewing angle is the same, the resolution is increased, and the number of pixels is increased. It is. 図1の車両用周辺監視装置のノーズビューカメラの視野角と、モニタが表示する側方画像の関連を説明する図で、(a)、(b)は視野角を広げて画素数を拡大した場合の図で(c)は変形例を示す。It is a figure explaining the relationship between the viewing angle of the nose view camera of the vehicle periphery monitoring apparatus of FIG. 1 and the side image displayed on the monitor, (a), (b) expanded the viewing angle and expanded the number of pixels. In the figure, (c) shows a modification. 図1の車両用周辺監視装置のモニタが表示する側方画像に特徴点ごとのオプティカルフローベクトルを記載した画像を示す。The image which described the optical flow vector for every feature point in the side image which the monitor of the vehicle periphery monitoring apparatus of FIG. 1 displays is shown. 図1の車両用周辺監視装置のモニタが表示する側方画像に接近車両のオプティカルフローベクトルのみを記載した画像を示す。The image which described only the optical flow vector of an approaching vehicle is shown in the side image which the monitor of the vehicle periphery monitoring apparatus of FIG. 1 displays. 図1の車両用周辺監視装置のモニタが表示する側方画像に接近車両の報知を行う場合の画像を示す。The image in the case of alert | reporting an approaching vehicle to the side image which the monitor of the vehicle periphery monitoring apparatus of FIG. 1 displays is shown. 図1の車両用周辺監視装置が行う画像表示制御ルーチンのフローチャートである。It is a flowchart of the image display control routine which the vehicle periphery monitoring apparatus of FIG. 1 performs. 図1の車両用周辺監視装置が行う他の画像表示制御ルーチンのフローチャートである。7 is a flowchart of another image display control routine performed by the vehicle periphery monitoring device of FIG. 1.

符号の説明Explanation of symbols

1、2 ノーズビューカメラ
3 モニタ
3f 1画面(全画面)
3r、3l 分割画面
4 速度センサ
5 ハンドル角検出手段
6 方向指示器
7 メインスイッチ
9 道路
11 交差点
12 交差道路
14 画像表示制御手段
15 右左折開始判定手段
16 画素数変更手段
17 視野角修正手段
18 解像度修正手段
21 オプティカルフローベクトル算出手段
22 接近物体検出手段
23 報知手段
θst ハンドル角
ts 右左折開始時
‘v’ 特徴点の速度ベクトル
C 車両
ECU 画像制御装置
Gr、Gl 側方画像
N1 解像度
Nb 基準値
P 特徴点
Vc 車速
Tsg 右左折信号
Y 車幅方向
1, 2 Nose view camera 3 Monitor 3f 1 screen (full screen)
3r, 3l split screen 4 speed sensor 5 handle angle detection means 6 direction indicator 7 main switch 9 road 11 intersection 12 intersection road 14 image display control means 15 right / left turn start determination means 16 pixel number change means 17 view angle correction means 18 resolution Correction means 21 Optical flow vector calculation means 22 Approaching object detection means 23 Notification means θst Handle angle ts Right and left turn start 'v' Feature point velocity vector C Vehicle ECU Image controller Gr, Gl Side image N1 Resolution Nb Reference value P Features Vc Vehicle speed Tsg Right / left turn signal Y Vehicle width direction

Claims (4)

車両の速度を検出する車両速度検出手段と、
前記車両のハンドル角を検出するハンドル角検出手段と、
前記車両の右左折信号を発する方向指示器と、
前記車両の前部に取り付けられて車幅方向の視界を撮像するノーズビューカメラと、
前記ノーズビューカメラにより撮像された左右の側方画像を1画面に並べて表示するモニタと、
検出された前記ハンドル角と前記車速と前記右左折信号とに基づき上記車両の右左折開始時を判断する右左折開始判定手段と、
前記右左折開始時には前記右左折信号に応じた左右一方と反対となる他方側の側方画像の画素数を基準値より増変更処理する画素数変更手段と、
前記画素数が基準値より増変更処理された他方側の側方画像を一方側の側方画像と前記1画面に並べて表示するよう制御する画像表示制御手段と、
を備えることを特徴とする車両用周辺監視装置。
Vehicle speed detecting means for detecting the speed of the vehicle;
A handle angle detecting means for detecting a handle angle of the vehicle;
A direction indicator for emitting a right / left turn signal of the vehicle;
A nose view camera that is attached to the front of the vehicle and images a field of view in the vehicle width direction;
A monitor that displays the left and right side images captured by the nose view camera side by side on a single screen;
A right / left turn start determining means for determining a start time of a right / left turn of the vehicle based on the detected steering wheel angle, the vehicle speed, and the right / left turn signal;
A pixel number changing means for increasing and changing the number of pixels of the side image on the other side opposite to the right or left side according to the right or left turn signal at the start of the right or left turn from a reference value;
Image display control means for controlling the side image on the other side in which the number of pixels is increased and changed from the reference value to be displayed side by side on the one side image and the one screen;
A vehicle periphery monitoring device comprising:
請求項1に記載の車両用周辺監視装置において、
前記画素数変更手段は、前記右左折開始時には前記他方側の側方画像の視野角を基準値より広く修正する視野角修正手段と、
前記右左折開始時には前記他方側の側方画像の解像度を基準値より精細に修正する解像度修正手段と、の少なくとも一つを有し、
前記画像表示制御手段は、視野角を基準値より広く又は解像度を基準値より精細となるよう少なくとも一つの修正処理を行った前記他方の側方画像を一方の側方画像と並べて前記左右の分割画面に表示するよう制御することを特徴とする車両用周辺監視装置。
The vehicle periphery monitoring device according to claim 1,
The pixel number changing means, at the start of the right or left turn, viewing angle correction means for correcting the viewing angle of the side image on the other side wider than a reference value;
At least one of resolution correction means for correcting the resolution of the side image on the other side more finely than a reference value at the start of the right / left turn,
The image display control means arranges the other side image, which has been subjected to at least one correction process so that the viewing angle is wider than the reference value or the resolution becomes finer than the reference value, along with the one side image, and the left and right divisions. A vehicle periphery monitoring device, characterized by being controlled so as to be displayed on a screen.
請求項1又は2に記載の車両用周辺監視装置において、
前記画像表示制御手段は車両の右左折開始時には前記画素数が増変更処理された他方の側方画像と画素数が基準値以下に修正された一方の側方画像とを並べて前記1画面に表示することを特徴とする車両用周辺監視装置。
In the vehicle periphery monitoring device according to claim 1 or 2,
The image display control means displays the other side image in which the number of pixels has been increased and the one side image in which the number of pixels has been corrected to a reference value or more side by side on the one screen at the start of a vehicle left / right turn. A vehicle periphery monitoring device characterized in that:
請求項1、2又は3に記載の車両用周辺監視装置において、
右左折開始時には前記右左折信号に応じた左右一方と反対となる他方側の側方画像に基づきオプティカルフローベクトルを算出するオプティカルフローベクトル算出手段と、
算出された前記オプティカルフローベクトルのうち前記他方側の側方画像中における車両の進行方向へのベクトル成分を有するオプティカルフローベクトルに基づいて接近物体を検出する接近物体検出手段と、
前記接近物体の検出を報知する報知手段とを備えたことを特徴とする車両用周辺監視装置。
In the vehicle periphery monitoring device according to claim 1, 2, or 3,
An optical flow vector calculating means for calculating an optical flow vector based on a side image on the other side opposite to the left or right side according to the right / left turn signal at the start of a right / left turn;
An approaching object detection means for detecting an approaching object based on an optical flow vector having a vector component in a traveling direction of a vehicle in the side image on the other side of the calculated optical flow vector;
A vehicle periphery monitoring apparatus comprising: an informing means for informing detection of the approaching object.
JP2008241405A 2008-09-19 2008-09-19 Vehicle periphery monitoring device Pending JP2010070127A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008241405A JP2010070127A (en) 2008-09-19 2008-09-19 Vehicle periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008241405A JP2010070127A (en) 2008-09-19 2008-09-19 Vehicle periphery monitoring device

Publications (1)

Publication Number Publication Date
JP2010070127A true JP2010070127A (en) 2010-04-02

Family

ID=42202300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008241405A Pending JP2010070127A (en) 2008-09-19 2008-09-19 Vehicle periphery monitoring device

Country Status (1)

Country Link
JP (1) JP2010070127A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015115103A1 (en) * 2014-01-29 2017-03-23 京セラ株式会社 Image processing apparatus, camera system, and image processing method
DE112017001632T5 (en) 2016-03-29 2018-12-20 Denso Corporation VEHICLE VEHICLE MONITORING AND COMPUTER PROGRAM
CN110316077A (en) * 2018-03-30 2019-10-11 比亚迪股份有限公司 Emergency work condition prompt system and vehicle based on vehicle-mounted display terminal
CN110386066A (en) * 2018-04-16 2019-10-29 Jvc 建伍株式会社 Vehicle display control unit and method, vehicle display system and storage medium
CN111251997A (en) * 2020-03-13 2020-06-09 北京汽车集团越野车有限公司 Method, device and system for switching and controlling video image display modes of forward-looking camera
US20210405651A1 (en) * 2020-06-26 2021-12-30 Tusimple, Inc. Adaptive sensor control
US11877066B2 (en) 2018-09-10 2024-01-16 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325249A (en) * 2001-04-25 2002-11-08 Sumitomo Electric Ind Ltd Vehicle sideway image generation device
JP2003081014A (en) * 2001-09-14 2003-03-19 Auto Network Gijutsu Kenkyusho:Kk Vehicle periphery monitoring device
JP2005276056A (en) * 2004-03-26 2005-10-06 Mitsubishi Motors Corp Nose view monitoring device
JP2007076452A (en) * 2005-09-13 2007-03-29 Denso Corp Glare-shielding device for vehicle and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002325249A (en) * 2001-04-25 2002-11-08 Sumitomo Electric Ind Ltd Vehicle sideway image generation device
JP2003081014A (en) * 2001-09-14 2003-03-19 Auto Network Gijutsu Kenkyusho:Kk Vehicle periphery monitoring device
JP2005276056A (en) * 2004-03-26 2005-10-06 Mitsubishi Motors Corp Nose view monitoring device
JP2007076452A (en) * 2005-09-13 2007-03-29 Denso Corp Glare-shielding device for vehicle and program

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2015115103A1 (en) * 2014-01-29 2017-03-23 京セラ株式会社 Image processing apparatus, camera system, and image processing method
DE112017001632T5 (en) 2016-03-29 2018-12-20 Denso Corporation VEHICLE VEHICLE MONITORING AND COMPUTER PROGRAM
US10427693B2 (en) 2016-03-29 2019-10-01 Denso Corporation Vehicle-surrounding monitoring device and non-transitory computer readable storage medium
CN110316077A (en) * 2018-03-30 2019-10-11 比亚迪股份有限公司 Emergency work condition prompt system and vehicle based on vehicle-mounted display terminal
CN110316077B (en) * 2018-03-30 2021-02-23 比亚迪股份有限公司 Emergency condition prompt system based on vehicle-mounted display terminal and vehicle
CN110386066A (en) * 2018-04-16 2019-10-29 Jvc 建伍株式会社 Vehicle display control unit and method, vehicle display system and storage medium
CN110386066B (en) * 2018-04-16 2023-10-27 Jvc 建伍株式会社 Vehicle display control device and method, vehicle display system, and storage medium
US11877066B2 (en) 2018-09-10 2024-01-16 Tusimple, Inc. Adaptive illumination for a time-of-flight camera on a vehicle
CN111251997A (en) * 2020-03-13 2020-06-09 北京汽车集团越野车有限公司 Method, device and system for switching and controlling video image display modes of forward-looking camera
US20210405651A1 (en) * 2020-06-26 2021-12-30 Tusimple, Inc. Adaptive sensor control
US11932238B2 (en) 2020-06-29 2024-03-19 Tusimple, Inc. Automated parking technology

Similar Documents

Publication Publication Date Title
JP2010070127A (en) Vehicle periphery monitoring device
JP5316550B2 (en) Rear view support system
US10166922B2 (en) On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device
WO2010058821A1 (en) Approaching object detection system
US10268905B2 (en) Parking assistance apparatus
EP3367366B1 (en) Display control method and display control device
JP4134939B2 (en) Vehicle periphery display control device
US10737611B2 (en) Road surface display device
JP5704902B2 (en) Driving support device and driving support method
US9691283B2 (en) Obstacle alert device
WO2014162835A1 (en) Driving assistance device
JP2009146217A (en) Stereo camera device
JP2007221200A (en) Vehicle periphery monitoring system
JP2006051850A (en) Drive assisting device and drive assisting method
JP4259368B2 (en) Nose view monitor device
JP4193740B2 (en) Nose view monitor device
JP2018081363A (en) Driving support device
JP2008285105A (en) Information display device
JP2011150475A (en) Periphery monitor
JP2008068827A (en) Rear lateral side confirmation device
JP4930432B2 (en) Vehicle periphery monitoring device
US8384779B2 (en) Display device for vehicle
JP2010073036A (en) Vehicle surroundings monitoring device
JP2006264574A (en) Car-mounted camera and car-mounted camera system
JP5831331B2 (en) Rear side photographing device for vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101108

A977 Report on retrieval

Effective date: 20120530

Free format text: JAPANESE INTERMEDIATE CODE: A971007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120806

A02 Decision of refusal

Effective date: 20130122

Free format text: JAPANESE INTERMEDIATE CODE: A02