JP2005316746A

JP2005316746A - Approaching object notification device

Info

Publication number: JP2005316746A
Application number: JP2004134192A
Authority: JP
Inventors: Takahiro Maemura; 高広前村; Masahiro Ikeyama; 将弘池山; Emrullah Durucan; ドゥルカンエムルラー
Original assignee: Mitsubishi Motors Corp
Current assignee: Mitsubishi Motors Corp
Priority date: 2004-04-28
Filing date: 2004-04-28
Publication date: 2005-11-10

Abstract

<P>PROBLEM TO BE SOLVED: To provide an approaching object detector capable of exhibiting an excellent electric power consumption saving characteristic without causing any annoyance of a driver and an occupant by detection and notification of an approaching object in response to a vehicle condition. <P>SOLUTION: This approaching object detector is provided with an approaching object detection means 12, which defines the fact that a vehicle 2 is traveling or stopping in a startable condition as an approaching object detection starting condition, starts detection of the approaching object approaching to the vehicle 2 when the approaching object detection starting condition is established, and carries out no detection of the approaching object when the approaching object detection starting condition is not established, and a notification means 5 notifying detection of the approaching object. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、自動車等において自車両へ接近する物体を検出して運転者や乗員へ報知する接近物体報知装置に関する。 The present invention relates to an approaching object notification device that detects an object approaching a host vehicle and notifies a driver or an occupant of the object in an automobile or the like.

従来より、自動車等の安全性を向上させるために、様々な技術が開発されている。例えば、車両のノーズ（前端）部に左右側方を撮像する撮像カメラを設け、撮像した画像（いわゆるノーズビュー画像）をモニタ装置等に表示して、運転者や乗員の肉眼目視の補助を行う技術が開発されている。このような技術においては、一般に、撮像画像を表示するモニタ装置がテレビ画像やカーナビゲーション画像（ナビ画像）等を表示する車載モニタと兼用されるようになっており、車両の走行時にはテレビ画像やナビ画像が表示され、車両が交差点やＴ字路に差し掛かって一時停止したときには自動的にノーズビュー画像の表示に切り換わるようになっている。 Conventionally, various techniques have been developed to improve the safety of automobiles and the like. For example, an imaging camera that captures the left and right sides is provided at the nose (front end) of the vehicle, and the captured image (so-called nose view image) is displayed on a monitor device or the like to assist the driver or the occupant with the naked eye. Technology has been developed. In such a technique, generally, a monitor device that displays a captured image is also used as an in-vehicle monitor that displays a television image, a car navigation image (navigation image), and the like. A navigation image is displayed, and when the vehicle approaches an intersection or a T-junction and stops temporarily, the display is automatically switched to a nose view image display.

また、特許文献１には、車両前部に取り付けられて左右側方の画像を撮像しそれを車室内のモニタ装置（ディスプレイ）に表示する車両用カメラ装置において、車両の停止以前又は所定の低速度走行になる以前に、車速や減速度の大きさに応じて、装置を自動的にオン作動させる構成が記載されている。このような構成によれば、例えば、車両が交差点に差し掛かり運転者が左右確認を行おうとしたときには、一時停止するより以前に装置をオン作動させてノーズ部からの左右側方の撮像画面をディスプレイに映し出すことができ、運転者は余裕を持ってスピーディかつスムーズに左右確認を行うことができ、一方、渋滞によるノロノロ運転時には装置をオン作動させず、テレビ画像やナビ画像等を妨げないようにすることができるようになっている。 Patent Document 1 discloses a vehicle camera device that is attached to a front portion of a vehicle, captures left and right side images, and displays them on a monitor device (display) in a vehicle compartment, before the vehicle stops or at a predetermined low level. A configuration is described in which the apparatus is automatically turned on according to the vehicle speed and the magnitude of deceleration before traveling at a high speed. According to such a configuration, for example, when the vehicle approaches an intersection and the driver tries to check the left and right, the device is turned on before the temporary stop and the left and right imaging screens from the nose portion are displayed. The driver can quickly and smoothly check the left and right with plenty of time, while the device is not turned on when driving in a noro-roo manner due to traffic jams, so as not to disturb the TV image, navigation image, etc. Can be done.

一方、このようなモニタ装置の撮像画像において、撮像画像内における移動物体をオプティカルフローを利用して検出する技術も開発されている。オプティカルフローとは、画像上の２次元速度ベクトル場、すなわち、動画像中の運動物体の見かけの速度場のことである。このような技術では、例えば、所定周期で撮像された連続する２枚の画像間において、同一の対象物として認識可能な点を特徴点として設定（演算処理によって検出）し、この特徴点の移動（移動方向と移動距離）をベクトル（このベクトルがオプティカルフローベクトルであり、単にフローベクトルとも称され、また、このベクトルのことがオプティカルフローと称されることもある）として算出する。そして、撮像した画像内の全領域において、この特徴点とフローベクトルとを算出することで、画像内の移動物体の位置，移動方向等の情報を認識できるようになっている。 On the other hand, a technique for detecting a moving object in a captured image using an optical flow in a captured image of such a monitor device has been developed. The optical flow is a two-dimensional velocity vector field on an image, that is, an apparent velocity field of a moving object in a moving image. In such a technique, for example, a point that can be recognized as the same object is set as a feature point (detected by arithmetic processing) between two consecutive images captured in a predetermined cycle, and the feature point is moved. (Moving direction and moving distance) is calculated as a vector (this vector is an optical flow vector, also simply referred to as a flow vector, and this vector may also be referred to as an optical flow). Then, by calculating the feature points and flow vectors in the entire area in the captured image, information such as the position and moving direction of the moving object in the image can be recognized.

また、例えば、特許文献２には、車両の走行方向（車両の進行方向である前方）の撮像画像のオプティカルフローを求める演算処理において、画像上における道路外の風景に相当する領域を省いて演算を行う構成が記載されている。具体的には、画像上の無限遠点から画面の下方両隅部に引いた直線によって囲まれる下方部分と無限遠点の周辺の部分とを含む領域についてのみ、オプティカルフローを求めるようになっている。これにより、画像内の全領域においてオプティカルフローを求めるのに比較して、演算量を削減することができ、処理時間を短縮して高速化することができるようになっている。 Further, for example, in Patent Document 2, calculation is performed by omitting an area corresponding to a landscape outside the road on the image in the calculation process for obtaining the optical flow of the captured image in the traveling direction of the vehicle (the forward direction that is the traveling direction of the vehicle). The structure which performs is described. Specifically, the optical flow is obtained only for an area including a lower part surrounded by straight lines drawn from the infinity point on the image to the lower corners of the screen and a part around the infinity point. Yes. As a result, the amount of calculation can be reduced compared to obtaining the optical flow in the entire region in the image, and the processing time can be shortened and the processing speed can be increased.

また、車両の左右側方を撮像したノーズビュー画像から、オプティカルフローを利用して自車両へ接近する車両等の移動物体を認識したときに、移動物体が接近していることを乗員へ報知するとともに、車両を自動的に制動して、衝突を回避する技術が開発されている。
例えば、特許文献３には、ノーズビューカメラの撮像画像から検出された自車両へ接近する移動物体（移動体）が、自車両が現状のまま走行を継続したときに衝突する恐れがあるか否かを判断する判断手段と、自車両と移動物体との衝突を回避するための措置（衝突回避措置）を自動的に採る衝突回避指令手段とを備えた車両用衝突回避装置において、衝突回避指令手段が、予め設定された車速閾値に基づいて車速を弁別し、その弁別結果に応じて自動的に車両を制動したり、あるいは、自車両の加速を一時的に抑制するといった異なる内容の制御を実施する構成が記載されている。 In addition, when a moving object such as a vehicle approaching the host vehicle is recognized from the nose view image obtained by imaging the left and right sides of the vehicle using an optical flow, the passenger is notified that the moving object is approaching. At the same time, a technology for automatically braking the vehicle to avoid a collision has been developed.
For example, Patent Document 3 discloses whether or not a moving object (moving body) approaching the host vehicle detected from a captured image of a nose view camera may collide when the host vehicle continues to travel as it is. In a collision avoidance device for a vehicle, comprising a determination means for determining whether or not and a collision avoidance command means for automatically taking a measure for avoiding a collision between the host vehicle and a moving object (collision avoidance measure) The means discriminates the vehicle speed based on a preset vehicle speed threshold and automatically brakes the vehicle according to the discrimination result, or controls different contents such as temporarily suppressing the acceleration of the own vehicle. The configuration to be implemented is described.

このような構成によって、例えば交差点への進入時に、自車両に衝突する恐れのある他の車両を事前に検出して、乗員や運転者が衝突回避措置を講じる余裕を生じさせることができ、また、そのときの車速に応じて装置自ら衝突回避のための適切な措置を行って運転をアシストすることで、安全性を向上させることができるようになっている。
特許第３２８７８１７号公報特許第３３９８９３４号公報特開２００１−１０１５９２号公報 With such a configuration, for example, when entering an intersection, it is possible to detect in advance other vehicles that may collide with the host vehicle, and allow a passenger or driver to take a collision avoidance measure. The safety can be improved by assisting the driving by taking appropriate measures for collision avoidance according to the vehicle speed at that time.
Japanese Patent No. 3287817 Japanese Patent No. 3398934 JP 2001-101582 A

ところで、特許文献２や特許文献３に記載の技術では、接近する移動物体の検出がノーズビューカメラの作動時に常に行われるようになっている。そして、ノーズビューカメラは、特許文献１に記載の技術のように、車速や減速度に応じて作動するようになっている。
したがって、上述のような交差点への進入時等だけでなく車両が駐車している状態であっても、ノーズビューカメラが作動して接近物体の検出を開始してしまうことがあり、例えば、駐車場での駐車中に、自車両の前方を通過する歩行者を接近物体と捉えて、報知を開始したり衝突回避措置を採ってしまい、このような車両の状態にそぐわない報知や接近物体の認識が運転者や乗員に対して煩わしさを感じさせることがある。 By the way, in the techniques described in Patent Document 2 and Patent Document 3, detection of a moving object that approaches is always performed when the nose view camera is activated. The nose view camera operates according to the vehicle speed and the deceleration as in the technique described in Patent Document 1.
Therefore, not only when entering the intersection as described above, but also when the vehicle is parked, the nose view camera may operate and start detecting an approaching object. While parking in the parking lot, pedestrians passing in front of the host vehicle are regarded as approaching objects, and notifications are started or collision avoidance measures are taken. However, it may be annoying to the driver and passengers.

また、このような車両の状態にそぐわない報知や接近物体の認識制御によって、必要のないバッテリ電力が浪費されてしまうという課題もある。
本発明はこのような課題に鑑み案出されたもので、車両の状態に応じた接近物体の検出及び報知によって運転者や乗員に対して煩わしさを感じさせず、省電力性に優れた接近物体報知装置を提供することを目的とする。 In addition, there is a problem that unnecessary battery power is wasted due to such a notification that does not match the state of the vehicle and recognition control of an approaching object.
The present invention has been devised in view of such problems, and does not make the driver and passengers feel bothered by detecting and notifying an approaching object according to the state of the vehicle, and approaching with excellent power saving performance. An object is to provide an object notification device.

上記目的を達成するため、本発明の接近物体報知装置（請求項１）は、車両が走行中又は発進可能な停止中であることを接近物体検出開始条件とし、該接近物体検出開始条件が成立すると、車両へ接近する接近物体の検出を開始し、該接近物体検出開始条件が成立しなければ、該接近物体の検出を開始しない接近物体検出手段と、該接近物体の検出を報知する報知手段とを備えたことを特徴としている。 In order to achieve the above object, the approaching object notification device according to the present invention (Claim 1) sets the approaching object detection start condition that the vehicle is traveling or is in a stopable state, and the approaching object detection start condition is satisfied. Then, detection of an approaching object approaching the vehicle is started, and if the approaching object detection start condition is not satisfied, an approaching object detection unit that does not start detection of the approaching object, and a notification unit that notifies the detection of the approaching object It is characterized by having.

また、該車両の変速段を検出する変速段検出手段を備え、該接近物体検出手段は、該変速段検出手段によって検出された該変速段が走行段であるときに、該接近物体検出開始条件として該車両が走行中であると判定することが好ましい（請求項２）。
また、該車両の乗員の操作により、該車両が発進可能な停止中であると判定する該変速段を選択する開始条件設定手段を備えることが好ましい（請求項３）。 Further, the vehicle includes a shift speed detection means for detecting a shift speed of the vehicle, and the approaching object detection means is configured to detect the approaching object detection start condition when the shift speed detected by the shift speed detection means is a travel speed. It is preferable to determine that the vehicle is traveling.
In addition, it is preferable to include a start condition setting unit that selects the gear position that is determined to be a stop where the vehicle can be started by an operation of a passenger of the vehicle.

また、該接近物体検出手段は、該車両の変速段が中立段であるときに、該接近物体検出開始条件として該車両が発進可能な停止中であると判定することが好ましく（請求項４）、又は、接近物体検出手段は、該車両の変速段が中立段又は駐車段であるときに、該接近物体検出開始条件として該車両が発進可能な停止中であると判定することが好ましい（請求項５）。 Preferably, the approaching object detection means determines that the vehicle is in a stopable start state as the approaching object detection start condition when the speed of the vehicle is a neutral stage. Alternatively, the approaching object detection means preferably determines that the approaching object detection start condition is that the vehicle is in a stop where the vehicle can start when the shift stage of the vehicle is a neutral stage or a parking stage. Item 5).

また、該車両に設けられて該車両の周囲の画像を撮像する撮像手段を備え、該接近物体検出手段は、該撮像手段により撮像された該画像に基づいて該接近物体を検出することが好ましい（請求項６）。
また、該撮像手段により撮像された該画像に基づきオプティカルフローベクトルを算出するオプティカルフローベクトル算出手段を備え、該接近物体検出手段は、該オプティカルフローベクトル算出手段によって算出されたオプティカルフローベクトルに基づいて接近物体を検出することが好ましい（請求項７）。 Further, it is preferable that the vehicle further includes an imaging unit that captures an image around the vehicle, and the approaching object detection unit detects the approaching object based on the image captured by the imaging unit. (Claim 6).
In addition, an optical flow vector calculating unit that calculates an optical flow vector based on the image captured by the imaging unit is provided, and the approaching object detecting unit is based on the optical flow vector calculated by the optical flow vector calculating unit. It is preferable to detect an approaching object (claim 7).

また、該接近物体検出手段は、該オプティカルフローベクトル算出手段によって算出されたオプティカルフローベクトルのうち該画像中における該車両の進行方向へのベクトル成分を有するオプティカルフローベクトルに基づいて該接近物体を検出することが好ましい（請求項８）。
また、該報知手段は、該車両の進行方向へのベクトル成分を有するオプティカルフローベクトルの数及び大きさに応じた複数の報知態様を切り換えて、該接近物体の検出を報知することが好ましい（請求項９）。 The approaching object detection means detects the approaching object based on an optical flow vector having a vector component in the moving direction of the vehicle in the image among the optical flow vectors calculated by the optical flow vector calculation means. (Claim 8).
Further, it is preferable that the notifying means notifies the detection of the approaching object by switching a plurality of notification modes according to the number and magnitude of optical flow vectors having vector components in the traveling direction of the vehicle (claim). Item 9).

本発明の接近物体報知装置（請求項１）によれば、予め設定された接近物体検出開始条件として、車両が走行中又は発進可能な停止中であるときに、車両へ接近する接近物体の検出，報知を行い、車両が走行中又は発進可能な停止中でないときにはこのような制御を行わないため、不必要な制御によって、運転者や乗員に対して煩わしさを感じさせることがない。また、接近物体の検出に係る演算量及び消費電力量を低減させることができる。 According to the approaching object notification device of the present invention (Claim 1), as a preset approaching object detection start condition, detection of an approaching object approaching the vehicle when the vehicle is traveling or is in a stopable state where it can start. , Notification is made, and such control is not performed when the vehicle is running or is not in a stop where the vehicle can be started. Therefore, unnecessary control does not cause the driver or passengers to feel bothered. In addition, it is possible to reduce the amount of calculation and power consumption related to detection of an approaching object.

また、本発明の接近物体報知装置（請求項２）によれば、車両の変速段が走行段であるとき以外では、車両へ接近する接近物体の検出を行わず、接近物体の誤報知や誤認識を防止することができる。
また、本発明の接近物体報知装置（請求項３〜５）によれば、運転者や乗員の好みに応じて、車両へ接近する接近物体を検出する接近物体検出開始条件としての変速段情報を選択することができる。 Further, according to the approaching object notification device of the present invention (Claim 2), the approaching object approaching the vehicle is not detected except when the shift stage of the vehicle is the traveling stage, and the approaching object is erroneously notified or erroneously detected. Recognition can be prevented.
Further, according to the approaching object notification device of the present invention (claims 3 to 5), the gear position information as the approaching object detection start condition for detecting the approaching object approaching the vehicle according to the preference of the driver or the occupant. You can choose.

また、本発明の接近物体報知装置（請求項６）によれば、一般的な撮像カメラを用いて自車両への接近物体を検出することができる。
また、本発明の接近物体報知装置（請求項７）によれば、撮像画像に基づきオプティカルフローベクトルを算出することで、自車両への接近物体を正確に検出することができる。 According to the approaching object notification device of the present invention (claim 6), an approaching object to the host vehicle can be detected using a general imaging camera.
Moreover, according to the approaching object notification device of the present invention (claim 7), the approaching object to the host vehicle can be accurately detected by calculating the optical flow vector based on the captured image.

また、本発明の接近物体報知装置（請求項８）によれば、接近物体を容易に検出することができる。
また、本発明の接近物体報知装置（請求項９）によれば、接近物体のオプティカルフローベクトルの数及び大きさに応じた複数の報知態様を切り換えることによって、自車両への接近物体の危険度を判定することができ、危険度に応じた効果的な報知を行うことができるようになり、安全性を向上させることができる。 Moreover, according to the approaching object notification device (claim 8) of the present invention, an approaching object can be easily detected.
According to the approaching object notification device of the present invention (Claim 9), the degree of risk of the approaching object to the host vehicle is switched by switching a plurality of notification modes according to the number and magnitude of the optical flow vectors of the approaching object. Can be determined, and effective notification according to the degree of danger can be performed, and safety can be improved.

以下、図面により、本発明の実施の形態について説明する。
図１〜図６は、本発明の一実施形態としての接近物体報知装置を示すもので、図１は本装置を備えた車両を示す模式的構成図、図２は本装置によるモニタ表示例としての表示画面内容の模式図、図３（ａ）〜（ｃ）は本装置の接近物体検出手段における演算処理を説明するための模式図（いずれも左半分は車両の左側方のノーズビュー及びフローベクトル、右半分は車両の右側方のノーズビュー及びフローベクトルを示すもの）であり、また、図４は本装置における制御を説明するためのフローチャート、図５は本装置におけるノーズビューカメラの撮像領域を示す模式的平面図、図６は本装置を備えた駐車時の車両を示す模式的平面図である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
1 to 6 show an approaching object notification device as one embodiment of the present invention. FIG. 1 is a schematic configuration diagram showing a vehicle equipped with the device, and FIG. 2 shows a monitor display example by the device. FIGS. 3A to 3C are schematic diagrams for explaining calculation processing in the approaching object detection means of this apparatus (both left half is a nose view and a flow on the left side of the vehicle) 4, the right half shows the nose view and flow vector on the right side of the vehicle), FIG. 4 is a flowchart for explaining the control in this apparatus, and FIG. 5 is the imaging region of the nose view camera in this apparatus FIG. 6 is a schematic plan view showing the vehicle at the time of parking provided with the present apparatus.

図１には、本発明の一実施形態としての接近物体報知装置１を搭載した車両２が示されており、本接近物体報知装置１は運転者や乗員へノーズビュー画像を提供して運転者や乗員の肉眼目視の補助を行うノーズビューモニタ装置として備えられている。
すなわち、車両２は、車両２の左右側方を撮像するノーズビューカメラ（撮像手段）３，車両２の走行速度信号を検出する車速センサ４，ノーズビューカメラ３の作動スイッチとしてのノーズビューカメラスイッチ６，運転者による変速レバー１８の操作状態を検出するシフトポジションセンサ（変速段検出手段）８，運転者の操作によって接近物体の検出条件を変更する条件設定スイッチ（開始条件設定手段）９，電子制御ユニット（ＥＣＵ）１０，ノーズビューカメラ３によって撮像された画像を表示するためのモニタ（報知手段）５を備えて構成されている。 FIG. 1 shows a vehicle 2 equipped with an approaching object notification device 1 according to an embodiment of the present invention. The approaching object notification device 1 provides a nose view image to a driver and an occupant to provide a driver. And a nose view monitor device for assisting the occupant with the naked eye.
That is, the vehicle 2 includes a nose view camera (imaging means) that images the left and right sides of the vehicle 2, a vehicle speed sensor 4 that detects a travel speed signal of the vehicle 2, and a nose view camera switch as an operation switch of the nose view camera 3. 6, a shift position sensor (shift stage detection means) 8 for detecting the operation state of the shift lever 18 by the driver, a condition setting switch (start condition setting means) 9 for changing the detection condition of the approaching object by the driver's operation, electronic A control unit (ECU) 10 and a monitor (notification means) 5 for displaying an image captured by the nose view camera 3 are provided.

ノーズビューカメラ３は、車両２のノーズ（前端）部の左右端部に一対設けられており、車両の左側方と右側方とを同時に撮像することができるようになっている。
また、モニタ５は、ノーズビューカメラ３で撮像された左右側方の画像を表示するようになっている。本実施形態では、図２に示すように、車両２の右側方の画像をモニタ画面における右半分の領域に表示すると同時に、車両２の左側方の画像をモニタ画面における左半分の領域に表示するようになっている。これにより、乗員は車両の左右側方を同時に確認することができるようになっている。 A pair of nose view cameras 3 are provided at the left and right end portions of the nose (front end) portion of the vehicle 2 so that the left side and the right side of the vehicle can be imaged simultaneously.
The monitor 5 displays left and right side images taken by the nose view camera 3. In the present embodiment, as shown in FIG. 2, the image on the right side of the vehicle 2 is displayed in the right half area on the monitor screen, and at the same time, the image on the left side of the vehicle 2 is displayed in the left half area on the monitor screen. It is like that. As a result, the occupant can check the left and right sides of the vehicle at the same time.

左右各々のノーズビューカメラ３によって撮像される領域は、本実施形態においては、図５に示すように、車両２の車幅方向の左右側方であって、車両２の進行方向に対して垂直な方向よりも僅かに前方を指向するようになっている。これにより、車両２の左側方の画像内においては、車両の進行方向が画像上の右側方向となり、一方、右側方の画像内においては、車両の進行方向が画像上の左側方向となる。また、図２に示すように、左側方の画像内において車両２の前方道路を車両２に接近しつつある車両２１は、画像上では右方向へ移動しながら拡大するように表示されることになり、一方、右側方の画像内において車両２の前方道路を車両２に接近しつつある車両２２は、画像上では左方向へ移動しながら拡大するように表示されることになる。 In this embodiment, the regions imaged by the left and right nose view cameras 3 are on the left and right sides in the vehicle width direction of the vehicle 2 and are perpendicular to the traveling direction of the vehicle 2, as shown in FIG. It is designed to point slightly forward rather than the correct direction. Thereby, in the left side image of the vehicle 2, the traveling direction of the vehicle is the right side direction on the image, while in the right side image, the traveling direction of the vehicle is the left side direction on the image. Further, as shown in FIG. 2, the vehicle 21 approaching the vehicle 2 on the road ahead of the vehicle 2 in the image on the left side is displayed so as to expand while moving in the right direction on the image. On the other hand, the vehicle 22 approaching the vehicle 2 on the road ahead of the vehicle 2 in the image on the right side is displayed so as to expand while moving in the left direction on the image.

車速センサ４は、車輪の回転数情報を検出して、その回転数情報をＥＣＵ１０へ入力するようになっている。なお、ＥＣＵ１０は、入力された車輪の回転数情報に基づいて車両２の走行速度Ｖを算出するようになっている。
ノーズビューカメラスイッチ６は、ノーズビューカメラ３の作動のオン／オフを切り換えるスイッチになっており、ノーズビューカメラスイッチ６がオフに操作されているときにはノーズビューカメラ３が作動しないようになっている。また、ノーズビューカメラスイッチ６がオンに操作されているときには、所定の条件（接近物体検出開始条件）が成立するとノーズビューカメラ３が作動するようになっている。 The vehicle speed sensor 4 detects the rotational speed information of the wheel and inputs the rotational speed information to the ECU 10. The ECU 10 calculates the traveling speed V of the vehicle 2 based on the input wheel speed information.
The nose view camera switch 6 is a switch for switching on / off the operation of the nose view camera 3, and the nose view camera 3 is not operated when the nose view camera switch 6 is turned off. . Further, when the nose view camera switch 6 is turned on, the nose view camera 3 is activated when a predetermined condition (approaching object detection start condition) is satisfied.

接近物体検出開始条件は、本実施形態においては、ＥＣＵ１０で算出された車両２の走行速度Ｖが予め設定された所定速度Ｖ₀（低速の状態に対応する過度に大きくない速度であり、例えば１０ｋｍ／ｈ）よりも小さく、かつ、変速段の状態が、条件設定スイッチ９によって選択された変速段の条件を満たすこと、である。なお、この変速段の条件については後述する。 In this embodiment, the approaching object detection start condition is that the traveling speed V of the vehicle 2 calculated by the ECU 10 is a predetermined speed V ₀ (a speed that is not excessively large corresponding to a low speed state, for example, 10 km). / H) and the state of the shift speed satisfies the condition of the shift speed selected by the condition setting switch 9. The conditions for this gear position will be described later.

なお、モニタ５は、ノーズビューカメラ３が作動しているときにはその撮像画像を表示するが、ノーズビューカメラ３が作動していないときには別の画像、例えばテレビ画像やカーナビゲーション画像を表示する、一般的な車載モニタとして機能するようになっている。
通常の走行時において、テレビ画像やカーナビゲーション画像を継続的に表示させた状態で、ノーズビューカメラスイッチ６がオンになっていれば、車両２が交差点やＴ字路へ進入しようとするとき、所定速度Ｖ₀より車両の速度が減速した時点で、自動的にノーズビューカメラ３が作動し、左右側方の画像がモニタ５に表示されるようになっている。つまり、乗員が意識しなくても、自動的に画像がテレビ画像やカーナビゲーション画像から左右側方の画像に切り換わるようになっている。また、走行速度Ｖが所定速度Ｖ₀以上のときには、ノーズビューカメラ３が作動せず、一般的な車載モニタとしてテレビ画像やカーナビゲーション画像の表示を継続するようになっている。 The monitor 5 displays the captured image when the nose view camera 3 is operating, but displays another image, such as a television image or a car navigation image, when the nose view camera 3 is not operating. It functions as an in-vehicle monitor.
When the vehicle 2 is about to enter an intersection or a T-junction when the nose view camera switch 6 is turned on with the TV image or car navigation image continuously displayed during normal driving, When the speed of the vehicle is decelerated from the predetermined speed V ₀ , the nose view camera 3 is automatically operated, and left and right side images are displayed on the monitor 5. In other words, the image is automatically switched from the TV image or the car navigation image to the left and right side images without being conscious of the passenger. Further, when the traveling speed V is equal to or higher than the predetermined speed V ₀ , the nose view camera 3 does not operate, and the display of the television image and the car navigation image is continued as a general in-vehicle monitor.

また、ノーズビューカメラスイッチ６をオフにしておけば、上述のノーズビューカメラ作動条件が成立したとしても、ノーズビューカメラ３を作動させないことができるようになっている。
シフトポジションセンサ８は、運転者による変速レバー１８の操作状態を検出し、検出結果をＥＣＵ１０へ出力するようになっている。なお、本実施形態では、車両２が自動変速機を備えており、シフトポジションセンサ８が自動変速機の変速レバー１８によって選択されている変速段を検出するようになっている。 Further, if the nose view camera switch 6 is turned off, the nose view camera 3 can be prevented from operating even if the above-described nose view camera operating conditions are satisfied.
The shift position sensor 8 detects the operation state of the shift lever 18 by the driver and outputs the detection result to the ECU 10. In the present embodiment, the vehicle 2 is provided with an automatic transmission, and the shift position sensor 8 detects the shift speed selected by the shift lever 18 of the automatic transmission.

ＥＣＵ１０は、ノーズビューカメラ３で撮像された左右側方の各々の撮像画像のオプティカルフローを算出して、自車両２へ接近する移動物体を検出するとともに、それを運転者や乗員へ報知し、接近する移動物体の危険度に応じて車両２を自動的に制動することができるようになっている。まず、ＥＣＵ１０は、撮像画像のオプティカルフローベクトルを算出するオプティカルフロー算出部（オプティカルフローベクトル算出手段）１１と、オプティカルフロー算出部１１で算出されたオプティカルフローベクトルに基づいて自車両への接近物体を検出する接近物体検出部（接近物体検出手段）１２と、これらの算出，検出結果を出力する出力部１３とを備えて構成されている。なお、以下の説明では、各オプティカルフローベクトルについては、単にフローベクトルと呼び、これらのフローベクトルの集合体については、オプティカルフローと呼ぶことにする。 ECU10 calculates the optical flow of each captured image of the right and left sides imaged with the nose view camera 3, detects the moving object which approaches the own vehicle 2, and notifies it to a driver and a passenger | crew, The vehicle 2 can be automatically braked according to the danger level of the moving object approaching. First, the ECU 10 calculates an optical flow vector (optical flow vector calculation means) 11 for calculating an optical flow vector of a captured image, and an approaching object to the host vehicle based on the optical flow vector calculated by the optical flow calculation unit 11. An approaching object detection unit (approaching object detection means) 12 for detection and an output unit 13 for outputting these calculation and detection results are provided. In the following description, each optical flow vector is simply referred to as a flow vector, and a set of these flow vectors is referred to as an optical flow.

オプティカルフロー算出部１１は、ノーズビューカメラ３が撮像した左右側方の各々の画像のオプティカルフローを個別に算出することができるようになっており、左側方の画像（すなわち、図２における左半分の領域の画像）のオプティカルフローと、右側方の画像（すなわち、図２における右半分の領域の画像）のオプティカルフローとを、それぞれ算出するようになっている。なお、オプティカルフローの算出については、ノーズビューカメラ３が撮像した画像のうち連続する２枚の画像間において、同一の対象物に対応する点を特徴点として算出（演算処理によって検出）し、この特徴点の移動方向と移動距離とをフローベクトルとして算出する方法が用いられるようになっている。また、撮像した画像内の全領域においてフローベクトルが算出されて、画像内の移動物体の位置，移動方向等の情報を認識できるようになっている。 The optical flow calculation unit 11 can individually calculate the optical flows of the left and right side images captured by the nose view camera 3, and the left side image (that is, the left half in FIG. 2). The optical flow of the image on the right side and the optical flow of the image on the right side (that is, the image on the right half in FIG. 2) are respectively calculated. Regarding the calculation of the optical flow, a point corresponding to the same object is calculated (detected by arithmetic processing) between two consecutive images among the images captured by the nose view camera 3, and this is detected. A method of calculating a moving direction and a moving distance of a feature point as a flow vector is used. In addition, a flow vector is calculated in the entire area in the captured image, and information such as the position and moving direction of the moving object in the image can be recognized.

接近物体検出部１２は、オプティカルフロー算出部１１で算出されたフローベクトルに基づいて、車両２へ接近する物体を検出するようになっている。具体的には、左右側方の画像中において、車両２の進行方向側への勾配を有するフローベクトルに基づいて、自車両２への接近物体を検出するようになっている。例えば、左側方の画像では、画像上で右方向のベクトル成分を有するフローベクトルを抽出し、一方、右側方の画像では、画像上で左方向のベクトル成分を有するフローベクトルを抽出する。そして、抽出されたフローベクトルが、車両２に接近する接近物体（すなわち、フローベクトルを有する移動物体のうち、自車両２に接近する物体）によるフローベクトルであると判断し、接近物体を認識するようになっている。 The approaching object detection unit 12 detects an object approaching the vehicle 2 based on the flow vector calculated by the optical flow calculation unit 11. Specifically, an approaching object to the host vehicle 2 is detected based on a flow vector having a gradient toward the traveling direction side of the vehicle 2 in the left and right side images. For example, in the left side image, a flow vector having a vector component in the right direction on the image is extracted, while in the right side image, a flow vector having a vector component in the left direction on the image is extracted. Then, it is determined that the extracted flow vector is a flow vector due to an approaching object approaching the vehicle 2 (that is, an object approaching the host vehicle 2 among moving objects having the flow vector), and the approaching object is recognized. It is like that.

つまり、単にオプティカルフローを利用して移動物体を認識しただけでは、その移動物体が自車両２に接近しているかどうかを判断することが困難であるが、本実施形態においては、接近物体検出部１２が、オプティカルフロー算出部１１で認識された移動物体のうち、自車両２へ接近する物体のフローベクトルを、それが存在する領域とその方向とに基づいて抽出，選別して認識することで、自車両２に対して接近している、ひいては、自車両２にとって危険である可能性のある移動物体を認識するようになっているのである。 That is, it is difficult to determine whether or not the moving object is approaching the host vehicle 2 simply by recognizing the moving object using the optical flow, but in the present embodiment, the approaching object detection unit 12 extracts and selects a flow vector of an object approaching the host vehicle 2 among moving objects recognized by the optical flow calculation unit 11 based on a region where the vehicle exists and its direction, and recognizes the flow vector. A moving object that is approaching the host vehicle 2 and that may be dangerous for the host vehicle 2 is recognized.

ただし、接近物体検出部１２における接近物体の検出は、上述の接近物体検出開始条件が成立する場合にのみ実施されるようになっている。
本実施形態においては、接近物体検出開始条件のうち、変速段の条件が複数設定されており、それらの複数の変速段の条件から条件設定スイッチ９の操作状態に応じていずれか１つの条件が選択されて、変速段の条件が判定されるようになっている。 However, the approaching object detection unit 12 detects the approaching object only when the approaching object detection start condition is satisfied.
In the present embodiment, among the approaching object detection start conditions, a plurality of gear speed conditions are set, and any one of the conditions according to the operation state of the condition setting switch 9 is determined from the plurality of gear speed conditions. When selected, the speed condition is determined.

条件設定スイッチ９は、図１に示すように、第１の変速段条件に対応する第１スイッチ９１と、第２の変速段条件に対応する第２スイッチ９２と、第３の変速段条件に対応する第３スイッチ９３とを備えている。つまり、条件設定スイッチ９の第１スイッチ９１がオンに操作されている状態では、接近物体検出部１２において、変速段の条件として第１の変速段条件が選択され、第２スイッチ９２がオンに操作されている状態では、変速段の条件として第２の変速段条件が選択され、第３スイッチ９３がオンに操作されている状態では、変速段の条件として第３の変速段条件が選択されるようになっている。 As shown in FIG. 1, the condition setting switch 9 includes a first switch 91 corresponding to the first shift speed condition, a second switch 92 corresponding to the second shift speed condition, and a third shift speed condition. A corresponding third switch 93 is provided. That is, in the state where the first switch 91 of the condition setting switch 9 is turned on, the approaching object detection unit 12 selects the first shift speed condition as the shift speed condition, and the second switch 92 is turned on. In the operated state, the second shift speed condition is selected as the shift speed condition, and in the state where the third switch 93 is turned on, the third shift speed condition is selected as the shift speed condition. It has become so.

なお、これらのスイッチ９１〜９３は、互いに排他的に選択されるよう構成されており、運転者や乗員に操作されると、いずれか１つのスイッチのみがオンの状態となるようになっている。つまり、条件設定スイッチ９は、予め設定された複数の接近物体検出開始条件のうちからいずれか一つを接近物体検出開始条件として設定する開始条件設定手段として機能しており、乗員の操作に応じて、車両が発進可能な停止中であると判定する変速段を選択して設定するようになっている。 These switches 91 to 93 are configured to be selected exclusively from each other, and when operated by a driver or a passenger, only one of the switches is turned on. . In other words, the condition setting switch 9 functions as a start condition setting unit that sets any one of a plurality of preset approaching object detection start conditions as the approaching object detection start condition. Thus, the gear position for determining that the vehicle is in a stopable state is selected and set.

第１の変速段条件は、変速段が走行段であることとなっており、第２の変速段条件は、変速段が走行段又は中立段であることとなっており、第３の変速段条件は、変速段が走行段又は中立段又は駐車段であること、となっている。
つまり、第１スイッチ９１がオンに操作されている状態では、車速Ｖが所定速度Ｖ₀よりも小さく、かつ、変速段の状態が走行段であるときに、接近物体検出部１２において接近物体の検出が開始されるようになっており、仮に変速段の状態が中立段，駐車段であるときには接近物体の検出が開始されないようになっている。この場合、変速レバー１８が走行段であるときは、車両が走行中又は発進可能な停止中であると判定されて、接近物体検出開始条件が満たされることになる。 The first shift speed condition is that the shift speed is the travel speed, and the second shift speed condition is that the shift speed is the travel speed or the neutral speed, and the third shift speed is The condition is that the gear stage is a traveling stage, a neutral stage, or a parking stage.
That is, in the state where the first switch 91 is turned on, the approaching object detection unit 12 detects the approaching object when the vehicle speed V is lower than the predetermined speed V ₀ and the shift stage is in the traveling stage. Detection is started, and detection of an approaching object is not started if the speed stage is a neutral stage or a parking stage. In this case, when the speed change lever 18 is in the travel stage, it is determined that the vehicle is traveling or is stopped so that the approaching object detection start condition is satisfied.

一方、第２スイッチ９２がオンに操作されている状態では、車速Ｖが所定速度Ｖ₀よりも小さく、変速段の状態が走行段又は中立段であるときに、接近物体の検出が開始され、また、第３スイッチ９３がオンに操作されている状態では、車速Ｖが所定速度Ｖ₀より小さければ、変速段の状態が走行段，中立段及び駐車段のいずれの状態であっても、接近物体の検出が開始されるようになっている。 On the other hand, in the state where the second switch 92 is turned on, the detection of the approaching object is started when the vehicle speed V is smaller than the predetermined speed V ₀ and the shift stage is in the traveling stage or the neutral stage, Further, in the state where the third switch 93 is turned on, if the vehicle speed V is smaller than the predetermined speed V ₀ , the vehicle is approached regardless of whether the speed stage is a traveling stage, a neutral stage or a parking stage. Object detection is started.

このように、運転者によるスイッチ操作によって変速段の条件が変更されるようになっているのは、以下の理由による。すなわち、一般に車両の駐車時には、自車両への接近物体を検出・報知する必要がなく、また、駐車時に接近物体の検出や報知を行うことで、却って運転者や乗員に対して煩わしさを感じさせてしまうことがある。そのため、接近物体検出開始条件として、車両の変速段が走行段であることを判定するように構成することで、駐車時の接近物体の検出や報知を防止することができる。 As described above, the speed condition is changed by the switch operation by the driver for the following reason. In other words, it is generally not necessary to detect and notify an approaching object to the host vehicle when the vehicle is parked, and to detect and notify the approaching object at the time of parking, the driver and passengers feel annoyed. I might let you. For this reason, detection and notification of an approaching object at the time of parking can be prevented by determining that the shift stage of the vehicle is a traveling stage as the approaching object detection start condition.

しかし、運転者によっては、走行中の一時停止時において、変速レバー１８を走行段から中立段や停車段へ操作する場合がある。例えば、アイドリング時の燃費を向上させる目的で、駆動輪への動力伝達が不必要な状態では変速レバー１８をニュートラル（中立段）に操作する運転者や、一時停止時においてクリープや路面の傾斜による前進を防止するために変速レバー１８をパーキング（停車段）に操作する運転者にとっては、変速レバー１８が走行段でなくても、接近物体の検出を行いたいという状況が想定されうる。したがって、運転者の操作の癖や好みに応じて、接近物体の検出を行う変速段の条件を選択できるように、条件設定スイッチ９が設けられているのである。 However, depending on the driver, the shift lever 18 may be operated from the travel stage to the neutral stage or the stop stage when the vehicle is temporarily stopped. For example, for the purpose of improving fuel efficiency during idling, it may be caused by a driver who operates the shift lever 18 in a neutral (neutral stage) state when power transmission to the drive wheels is unnecessary, or by a creep or slope of the road surface during a temporary stop. For a driver who operates the speed change lever 18 to park (stop) in order to prevent the vehicle from moving forward, a situation may be assumed in which an approaching object is desired to be detected even if the speed change lever 18 is not at the travel speed. Therefore, the condition setting switch 9 is provided so that the speed condition for detecting the approaching object can be selected according to the habit and preference of the driver's operation.

なお、第２スイッチ９２がオンに操作されている場合、変速レバー１８が中立段であるときには、接近物体検出部１２において、車両２が発進可能な停止中であると判定されて、接近物体検出開始条件が成立すると判定されることになる。また、第３スイッチ９３がオンに操作されている場合は、変速レバー１８が中立段又は駐車段であるときに、接近物体検出部１２において、車両２が発進可能な停止中であると判定されて、接近物体検出開始条件が成立すると判定されることになるのである。 When the second switch 92 is turned on and the speed change lever 18 is in the neutral stage, the approaching object detection unit 12 determines that the vehicle 2 is stopped so that the vehicle 2 can start, and detects the approaching object. It is determined that the start condition is satisfied. Further, when the third switch 93 is turned on, the approaching object detection unit 12 determines that the vehicle 2 is stopped so that the vehicle 2 can start when the shift lever 18 is in the neutral stage or the parking stage. Thus, it is determined that the approaching object detection start condition is satisfied.

言い換えると、本実施形態においては、接近物体検出開始条件としての、車両が発進可能な停止中であるか否かの判断は、単に変速レバー１８の状態のみによって判定されるものではなく、運転者や乗員の操作による条件設定スイッチ９の選択状態と、変速レバー１８の変速段状態とから判定されているのである。
出力部１３は、接近物体検出部１２が車両２への接近物体を検出したときに、モニタ５上に接近物体が検出されたことを表示するとともに、モニタ５に付属のスピーカ等から音声等によって乗員へ報知するようになっている。ここで、出力部１３は、接近物体検出部１２で検出された車両２の進行方向側へのベクトル成分を有するフローベクトルの大きさと数とに基づいて、複数の報知態様を切り換えて、画像を表示するとともに接近物体の検出を報知するようになっている。 In other words, in the present embodiment, the determination as to whether or not the vehicle is in a stopable state as the approaching object detection start condition is not determined solely based on the state of the speed change lever 18, but the driver This is determined from the selection state of the condition setting switch 9 by the operation of the passenger and the shift stage state of the shift lever 18.
The output unit 13 displays that the approaching object is detected on the monitor 5 when the approaching object detection unit 12 detects the approaching object to the vehicle 2, and outputs sound from a speaker attached to the monitor 5. Informs passengers. Here, the output unit 13 switches the plurality of notification modes based on the magnitude and number of flow vectors having vector components in the traveling direction of the vehicle 2 detected by the approaching object detection unit 12, and displays an image. While displaying, the detection of an approaching object is alert | reported.

つまり、車両２の進行方向側へのベクトル成分を有するフローベクトルの大きさに着目すれば、そのフローベクトルが大きい場合には、たとえそのフローベクトルを発生させている接近物体が自車両２から離れた距離にあったとしても、高速で自車両２に接近していることになるため自車両２にとって危険である可能性が高く、一方、その移動物体がたとえ高速で自車両２に接近していなくても、自車両２にとって近い距離にあれば、その移動物体が危険である可能性が高いことに変わりはなく、この場合にも車両２の進行方向側へのベクトル成分を有するフローベクトルが大きくなる。 That is, when attention is paid to the magnitude of a flow vector having a vector component toward the traveling direction side of the vehicle 2, if the flow vector is large, the approaching object generating the flow vector is separated from the own vehicle 2. Even if the distance is close to the vehicle 2, the vehicle 2 is likely to be dangerous because the vehicle 2 is approaching at high speed, while the moving object is approaching the vehicle 2 at high speed. Even if it is not, if the vehicle 2 is at a close distance, the moving object is still likely to be dangerous. In this case as well, a flow vector having a vector component toward the traveling direction side of the vehicle 2 is present. growing.

したがって、車両２の進行方向側へのベクトル成分を有するフローベクトルの大きさの増大に伴って、接近物体の車両２に対する危険度が上昇するものとして、その危険度に応じた複数の報知モードを切り換えて、画面表示，報知を実施するようになっているのである。
また同様に、自車両２への接近物体が多い、又は、自車両２と接近物体との距離が近いときには、車両２の進行方向側へのベクトル成分を有するフローベクトルの数が増大することになるため、フローベクトルの数の増大に伴って、接近物体の車両２に対する危険度が上昇するものとして、その危険度に応じた複数の報知モードを切り換えて、画面表示，報知を実施する。 Therefore, as the magnitude of the flow vector having a vector component toward the traveling direction side of the vehicle 2 increases, the danger level of the approaching object to the vehicle 2 increases, and a plurality of notification modes corresponding to the danger level are provided. The screen display and notification are performed by switching.
Similarly, when there are many objects approaching the host vehicle 2 or when the distance between the host vehicle 2 and the approaching object is short, the number of flow vectors having vector components toward the traveling direction side of the vehicle 2 increases. Therefore, as the number of flow vectors increases, the danger level of the approaching object to the vehicle 2 increases, and a plurality of notification modes corresponding to the risk level are switched to perform screen display and notification.

本実施形態においては、出力部１３は、「危険度小報知モード」，「危険度大報知モード」といった複数の報知モードを備えており、接近物体検出部１２が検出した接近物体のフローベクトルの大きさと数とに基づいて、これらの報知モードを切り換えるように構成されている。
すなわち、車両２の進行方向側へのベクトル成分を有するフローベクトルについて、その大きさが予め設定された所定の大きさよりも大きなものが検出された場合、又は、予め設定された所定数以上検出された場合には、出力部１３が「危険度大報知モード」に設定され、それ以外の場合には、出力部１３が「危険度小報知モード」に設定される。 In the present embodiment, the output unit 13 includes a plurality of notification modes such as “low risk level notification mode” and “high risk level notification mode”, and the flow vector of the approaching object detected by the approaching object detection unit 12 is displayed. These notification modes are configured to be switched based on the size and number.
That is, when a flow vector having a vector component toward the traveling direction side of the vehicle 2 is detected that has a magnitude greater than a preset predetermined magnitude, or more than a preset predetermined number is detected. In such a case, the output unit 13 is set to the “high risk level notification mode”, and in other cases, the output unit 13 is set to the “low risk level notification mode”.

「危険度小報知モード」において、出力部１３は、接近物体によるフローベクトルのひとつを矢印で画面表示し、音声によって接近物体の検出を報知する（例えば、「周囲に注意してください」とアナウンスする等）ようになっている。
また、「危険度大報知モード」において、出力部１３は、接近物体検出部１２が検出した接近物体に対応する画面上の領域を強調表示（例えば、輝度や色調を変化させる等）するとともに、接近物体による全てのフローベクトルを矢印で画面表示し、さらに音声によって危険度が高いことを乗員へ報知する（例えば、「接近している車両がありますので特に注意してください」とアナウンスする等）ようになっている。
なお、出力部１３は、ノーズビューカメラ作動条件が成立しなくなった（例えば、Ｖ≧Ｖ₀になった場合等）ときにも、その旨を乗員へ報知するようになっている。 In the “small danger level notification mode”, the output unit 13 displays one of the flow vectors of the approaching object with an arrow and notifies the detection of the approaching object by voice (for example, “Please pay attention to the surroundings” And so on).
In the “high risk level notification mode”, the output unit 13 highlights an area on the screen corresponding to the approaching object detected by the approaching object detection unit 12 (for example, changes the luminance and color tone), and the like. All flow vectors due to approaching objects are displayed on the screen as arrows, and the passenger is informed of the high degree of danger by voice (for example, announcing that there are vehicles that are approaching, please be especially careful). It is like that.
Note that the output unit 13 notifies the occupant when the nose view camera operating condition is no longer satisfied (for example, when V ≧ V ₀ ).

［制御フローチャート］
本実施形態にかかる接近物体報知装置１は上述のように構成され、図４に示すフローチャートに従って、以下のように制御が行われる。なおこのフローは、常時ＥＣＵ１０において所定のサイクル（例えば、ノーズビューカメラ３の撮像サイクルに同期するサイクル）毎に実行されている。 [Control flow chart]
The approaching object notification device 1 according to the present embodiment is configured as described above, and is controlled as follows according to the flowchart shown in FIG. This flow is always executed in the ECU 10 every predetermined cycle (for example, a cycle synchronized with the imaging cycle of the nose view camera 3).

まず、ステップＡ１０では、ノーズビューカメラスイッチ６がオンになっているか否かが判定される。オンになっていればステップＡ２０へ進み、オフになっていればこのフローを終了する。次に、ステップＡ２０では、車両の走行速度Ｖが所定速度Ｖ₀よりも小さいか否かが判定され、Ｖ＜Ｖ₀の場合にはステップＡ３０へ進み、Ｖ≧Ｖ₀の場合にはこのフローを終了する。 First, in step A10, it is determined whether or not the nose view camera switch 6 is turned on. If it is on, the process proceeds to step A20, and if it is off, this flow is terminated. Then, in step A20, the travel speed V of the vehicle is determined whether less than the predetermined speed V _0, the process proceeds to step A30 in the case of V <V _0, the flow in the case of V ≧ V ₀ Exit.

続くステップＡ３０〜Ａ７０では、接近物体の検出にかかる変速段条件が成立するか否かが判定される。
まず、ステップＡ３０では、条件設定スイッチ９の第１スイッチ９１がオンに操作されているか否かが判定され、オンのときにはステップＡ４０へ進み、オフのときにはステップＡ５０へ進む。 In subsequent steps A30 to A70, it is determined whether or not a shift speed condition for detecting an approaching object is satisfied.
First, in step A30, it is determined whether or not the first switch 91 of the condition setting switch 9 is turned on. When the first switch 91 is on, the process proceeds to step A40, and when it is off, the process proceeds to step A50.

ステップＡ４０では、第１の変速段条件が成立するか否かが判定される。すなわち、シフトポジションセンサ８からの変速段情報に基づいて、変速段が走行段（Ｄレンジ）であるか否かが判定される。ここで、変速段が走行段である場合には、ステップＡ８０以降の接近物体を検出するフローへ進み、変速段が走行段でない場合には、そのままこのフローを終了する。 In Step A40, it is determined whether or not the first gear condition is satisfied. That is, based on the shift speed information from the shift position sensor 8, it is determined whether or not the shift speed is the travel speed (D range). Here, when the shift stage is the travel stage, the process proceeds to a flow for detecting an approaching object after step A80, and when the shift stage is not the travel stage, this flow is finished as it is.

ステップＡ３０において、第１スイッチがオフのとき、ステップＡ５０へ進むと、第２スイッチ９２がオンに操作されているか否かが判定され、オンのときにはステップＡ６０へ進み、オフの時にはステップＡ７０へ進む。
ステップＡ６０では、第２の変速段条件が成立するか否かが判定される。すなわち、変速段が走行段又は中立段（Ｎレンジ）であるか否かが判定される。ここで、変速段が走行段又は中立段である場合には、ステップＡ８０へ進み、変速段が走行段又は中立段でない場合には、そのままこのフローを終了する。 In step A30, when the first switch is off, the process proceeds to step A50, where it is determined whether or not the second switch 92 is turned on. When it is on, the process proceeds to step A60, and when it is off, the process proceeds to step A70. .
In Step A60, it is determined whether or not the second gear condition is satisfied. In other words, it is determined whether or not the shift speed is a travel speed or a neutral speed (N range). Here, when the shift stage is the traveling stage or the neutral stage, the process proceeds to Step A80, and when the shift stage is not the traveling stage or the neutral stage, this flow is finished as it is.

また、ステップＡ７０では、第３の変速段条件が成立するか否かが判定される。すなわち、変速段が走行段又は中立段又は駐車段（Ｐレンジ）であるか否かが判定される。ここで、変速段が走行段又は中立段又は駐車段である場合にはステップＡ８０へ進み、そうでない場合にはそのままこのフローを終了する。
ステップＡ８０では、オプティカルフロー算出部１１において、ノーズビューカメラ３が撮像した左右側方の画像における特徴点を個別に算出（抽出）し、ステップＡ９０で全ての特徴点についてのフローベクトルを算出する。つまりここでは、左右側方のの各々の画像内における移動物体が認識されることになる。 In Step A70, it is determined whether or not the third shift speed condition is satisfied. That is, it is determined whether or not the shift speed is a travel speed, a neutral speed, or a parking speed (P range). Here, if the shift stage is a traveling stage, a neutral stage, or a parking stage, the process proceeds to step A80, and if not, this flow is ended as it is.
In step A80, the optical flow calculation unit 11 individually calculates (extracts) feature points in the left and right side images captured by the nose view camera 3, and in step A90 calculates flow vectors for all feature points. That is, here, a moving object in each of the left and right side images is recognized.

続いて、ステップＡ１００では、接近物体検出部１２において、ステップＡ９０で算出された全てのフローベクトルについて、車両２の進行方向側へのベクトル成分を有するか否かが判定される。車両２の左側方の画像上のフローベクトルに対しては、画像上で右方向のベクトル成分を有するか否かが判定され、一方、車両２の右側方の画像上のフローベクトルに対しては、画像上で左方向のベクトル成分を有するか否かが判定される。つまり、ここでは、ステップＡ８０で認識された移動物体のうち、車両２に接近する移動物体（接近物体）を他と区別して認識することになる。 Subsequently, in step A100, the approaching object detection unit 12 determines whether or not all the flow vectors calculated in step A90 have a vector component toward the traveling direction side of the vehicle 2. For the flow vector on the left side image of the vehicle 2, it is determined whether it has a vector component in the right direction on the image. On the other hand, for the flow vector on the right side image of the vehicle 2, Then, it is determined whether or not it has a vector component in the left direction on the image. That is, here, among the moving objects recognized in step A80, the moving object approaching the vehicle 2 (approaching object) is recognized separately from the others.

ここで、車両２の進行方向側へのベクトル成分を有するフローベクトルを検出しなかった場合には、接近物体がないということになるため、このフローを終了するが、上記のフローベクトルを検出した場合には、ステップＡ１１０へ進み、接近物体の検出を報知する。
なお、本実施形態では、出力部１３において、接近物体を認識したことがモニタ５に表示されるとともに、音声によって乗員へ報知される。ここで、出力部１３における乗員への報知は、ステップＡ１００で検出された車両２の進行方向側へのベクトル成分を有するフローベクトルの大きさと数に応じて、報知モードが切り換えられる。 Here, when a flow vector having a vector component toward the traveling direction side of the vehicle 2 is not detected, it means that there is no approaching object, so this flow ends, but the above flow vector is detected. In that case, the process proceeds to step A110 to notify the detection of the approaching object.
In the present embodiment, the output unit 13 displays on the monitor 5 that the approaching object has been recognized, and notifies the passenger by voice. Here, the notification to the passenger in the output unit 13 is switched in accordance with the size and number of flow vectors having vector components in the traveling direction of the vehicle 2 detected in step A100.

ステップＡ１００で検出された接近物体のフローベクトルのうち、その大きさが予め設定された所定の大きさよりも大きいものが検出された場合、又は、予め設定された所定数以上の接近物体のフローベクトルが検出された場合には、出力部１３が「危険度大報知モード」に設定され、接近物体に対応する画面上の領域が強調表示されるとともに、接近物体による全てのフローベクトルが矢印で画面表示され、さらに音声によって危険度が高いことが、乗員へ報知され、このフローを終了する。 Among the approaching object flow vectors detected in step A100, when the magnitude of the approaching object flow vector is larger than a preset predetermined size, or when the approaching object flow vector is more than a preset predetermined number Is detected, the output unit 13 is set to the “high risk level notification mode”, the area on the screen corresponding to the approaching object is highlighted, and all flow vectors due to the approaching object are displayed with arrows. The occupant is informed that the degree of danger is further displayed by voice, and this flow is terminated.

また、ステップＡ１００で検出された接近物体のフローベクトルのうち、その大きさが予め設定された所定の大きさよりも大きいものが検出されず、かつ、予め設定された所定数以上の接近物体のフローベクトルが検出されなかった場合には、出力部１３が「危険度小報知モード」に設定され、接近物体によるフローベクトルのひとつが矢印で画面表示されて、音声によって接近物体の検出が乗員へ報知され、このフローを終了する。 In addition, among the approaching object flow vectors detected in step A100, those whose magnitude is greater than a preset predetermined size are not detected, and a flow of approaching objects of a preset number or more is detected. When the vector is not detected, the output unit 13 is set to the “low risk level notification mode”, one of the flow vectors by the approaching object is displayed on the screen with an arrow, and the detection of the approaching object is notified to the occupant by voice. This flow is finished.

［作用・効果］
以上のような制御により、具体的には以下のような作用・効果を奏する。
例えば、図５に示すようなＴ字路において、車両２が左右確認しながら幹線道路へ進入しようとする場合に、第１スイッチ９１がオンに操作されており、車両２のノーズカメラスイッチ６がオンに操作されているとすると、車両２の変速段は走行段の状態であるから、幹線道路の手前で車両２の走行速度Ｖが所定速度Ｖ₀よりも小さくなったときに、自動的にノーズビューカメラ３が作動し、左右側方の画像がモニタ５に表示される。これにより、乗員にモニタ５の画像の切り換えを意識させることなく、自動的に左右側方の画像をモニタ５へ表示させることができる。また、ノーズビューカメラ３が作動すると、ＥＣＵ１０において、撮像した画像におけるオプティカルフローの算出を開始する。 [Action / Effect]
Specifically, the following operations and effects are achieved by the control as described above.
For example, on a T-shaped road as shown in FIG. 5, when the vehicle 2 is about to enter the main road while checking left and right, the first switch 91 is turned on, and the nose camera switch 6 of the vehicle 2 is turned on. If the vehicle 2 is turned on, the speed of the vehicle 2 is in the travel stage, so when the travel speed V of the vehicle 2 becomes lower than the predetermined speed V ₀ before the main road, it is automatically The nose view camera 3 operates, and images on the left and right sides are displayed on the monitor 5. Thereby, the left and right side images can be automatically displayed on the monitor 5 without making the occupant aware of the switching of the image on the monitor 5. When the nose view camera 3 is activated, the ECU 10 starts calculating the optical flow in the captured image.

ここで、車両２が図５に示す位置に停止している場合には、図３（ａ）に示すように、ノーズビューカメラ３の位置が固定されているため、撮像した画像中において背景部分（画像上において車両２１，２２の背景となっている部分であり、ここでは、道路や建物，ガードレール，空といった移動しない対象を指す）にはフローベクトルが発生せず、車両２に接近する接近物体としての車両２１，２２によるフローベクトル（図３（ａ）中における黒矢印）のみが発生することになる。そして、このとき、車両２１，２２によるフローベクトルの方向は、車両２１は左側方の画像内において右方向へのベクトル成分を有し、すなわち、画像内における車両２の進行方向側への勾配を持つことになる。一方、車両２２は、右側方の画面内において左方向へのベクトル成分を有し、画像内における車両２の進行方向側への勾配を持つことになる。 Here, when the vehicle 2 is stopped at the position shown in FIG. 5, the position of the nose view camera 3 is fixed as shown in FIG. An approach that approaches the vehicle 2 without generating a flow vector in the image (the portion that is the background of the vehicles 21 and 22 on the image, and here indicates a non-moving object such as a road, a building, a guardrail, and the sky) Only flow vectors (black arrows in FIG. 3A) by the vehicles 21 and 22 as objects are generated. At this time, the direction of the flow vector by the vehicles 21 and 22 is such that the vehicle 21 has a vector component in the right direction in the left side image, that is, the gradient toward the traveling direction side of the vehicle 2 in the image. Will have. On the other hand, the vehicle 22 has a vector component in the left direction in the screen on the right side, and has a gradient toward the traveling direction side of the vehicle 2 in the image.

したがって、接近物体検出部１２において、左右側方の画像中において、車両の進行方向側への勾配を有するフローベクトルに基づいて、接近物体としての車両２１，２２を検出することができる。
また、車両２が図５に示す位置を低速で（走行速度Ｖ＜Ｖ₀で）走行している場合、つまり、乗員が左右確認を行いながらゆっくりと車両２を前進させている場合には、図３（ｂ）に示すように、ノーズビューカメラ３の撮像位置の移動によって、撮像された画像中において背景部分にもフローベクトル（図３（ｂ）中における白抜き矢印）が発生することになる。そして、車両２１，２２によるフローベクトルは、車両２が停止している場合に発生するであろうフローベクトル（すなわち、図３（ａ）に示された黒矢印のフローベクトル）と、ノーズビューカメラ３の位置移動によって発生する背景部分のフローベクトル（白抜き矢印のフローベクトル）との和としてのフローベクトル（図３（ｂ）中における黒矢印）が発生することになる。また、背景部分のフローベクトルは、車両２が前進することによって、画像上において車両２の前進方向と逆方向への勾配を有するフローベクトルとして発生することになる。 Therefore, the approaching object detection unit 12 can detect the vehicles 21 and 22 as the approaching object based on the flow vector having a gradient toward the traveling direction side of the vehicle in the left and right side images.
Further, when the vehicle 2 is traveling at the low speed (traveling speed V <V ₀ ) in the position shown in FIG. 5, that is, when the occupant slowly advances the vehicle 2 while checking the left and right, As shown in FIG. 3B, the movement of the imaging position of the nose view camera 3 causes a flow vector (a white arrow in FIG. 3B) to occur in the background portion in the captured image. Become. The flow vectors of the vehicles 21 and 22 are the flow vector that will be generated when the vehicle 2 is stopped (that is, the flow vector of the black arrow shown in FIG. 3A), and the nose view camera. Therefore, a flow vector (black arrow in FIG. 3B) is generated as a sum of the flow vector of the background portion (flow vector of the white arrow) generated by the position movement of 3. Further, the flow vector of the background portion is generated as a flow vector having a gradient in the direction opposite to the forward direction of the vehicle 2 on the image when the vehicle 2 moves forward.

したがって、車両２をゆっくり前進させることによって、車両２１，２２によるフローベクトルの大きさと方向は変形を受けることになるが、車両２が低速で徐行している場合には大きな変形を受けず、画像上において車両２の進行方向側への勾配を持つことができる。また、たとえ、車両２１，２２によるフローベクトルのうち、車両の進行方向側への勾配と、背景部分のフローベクトルとが等しくなったとしても、車両２１，２２によるフローベクトルは、車両２への接近によって画像上において拡大するような方向、すなわち、画像上における上下方向へのベクトルをも有しているため、車両２１，２２によるフローベクトルが打ち消されることはない。 Therefore, by slowly moving the vehicle 2 forward, the magnitude and direction of the flow vector by the vehicles 21 and 22 are subject to deformation. However, when the vehicle 2 is slowing down at low speed, the vehicle 2 is not subject to significant deformation. It is possible to have a gradient toward the traveling direction side of the vehicle 2 above. Moreover, even if the gradient in the traveling direction side of the vehicle and the flow vector in the background portion of the flow vectors by the vehicles 21 and 22 become equal, the flow vector by the vehicles 21 and 22 Since it also has a vector that expands on the image by approaching, that is, a vector in the vertical direction on the image, the flow vector by the vehicles 21 and 22 is not canceled.

このとき、車両２１，２２によるフローベクトルの方向は、図３（ｃ）に示すように、画像中において車両２の進行方向側の勾配を有するベクトル方向であり、左側方領域においては右方向のベクトル成分を有する方向、右側方領域においては左方向のベクトル成分を有する方向である。換言すると、左側方領域においては鉛直方向から時計回りに１８０度の範囲の方向のフローベクトルであり、右側方領域においては鉛直方向から反時計回りに１８０度の範囲の方向のフローベクトルである。 At this time, the direction of the flow vector by the vehicles 21 and 22 is a vector direction having a gradient on the traveling direction side of the vehicle 2 in the image, as shown in FIG. The direction having the vector component is the direction having the vector component in the left direction in the right side region. In other words, in the left region, the flow vector has a direction in the range of 180 degrees clockwise from the vertical direction, and in the right region, the flow vector has a direction in the range of 180 degrees counterclockwise from the vertical direction.

そして、接近物体検出部１２において、左右側方の画像中において、車両の進行方向側への勾配を有するフローベクトルに基づいて、接近物体としての車両２１，２２を検出することができる。したがって、接近物体を検出したことをＥＣＵ２の出力部１３がモニタ５に出力し、乗員への注意を促すことができる。
また、出力部１３は、接近物体の自車両２に対する危険度に応じて、報知モードを切り換えるようになっているため、危険度を乗員へ効果的に報知することができ、安全性を向上させることができる。 Then, the approaching object detection unit 12 can detect the vehicles 21 and 22 as approaching objects based on a flow vector having a gradient toward the traveling direction side of the vehicle in the left and right side images. Therefore, the output unit 13 of the ECU 2 outputs to the monitor 5 that an approaching object has been detected, and can alert the passenger.
Moreover, since the output part 13 switches notification mode according to the danger level with respect to the own vehicle 2 of an approaching object, it can notify a passenger | crew effectively and can improve safety | security. be able to.

また、図６に示すような駐車場において車両２が駐車している場合、第１スイッチ９１がオンに操作されており、車両２のノーズカメラスイッチ６がオンに操作されていたとしても、車両２の変速段は走行段の状態でなければ、ノーズビューカメラ３が作動せず、接近物体の検出も開始しない。したがって、例えば、自車両の前方を通過する歩行者９９を接近物体と捉えて報知することもなく、運転者や乗員に対して煩わしさを感じさせることがない。また、接近物体の検出に係る演算量及び消費電力量を低減させることができる。 Further, when the vehicle 2 is parked in the parking lot as shown in FIG. 6, even if the first switch 91 is turned on and the nose camera switch 6 of the vehicle 2 is turned on, the vehicle If the second gear is not in the traveling state, the nose view camera 3 does not operate and detection of an approaching object does not start. Therefore, for example, the pedestrian 99 passing in front of the host vehicle is not recognized as an approaching object and is not notified, and the driver and the passenger are not bothered. In addition, it is possible to reduce the amount of calculation and power consumption related to detection of an approaching object.

また、運転者によって条件設定スイッチ９の第２スイッチ９２がオンに操作されていれば、車両２の変速段が走行段だけでなく中立段の状態であっても、走行速度Ｖが所定速度Ｖ₀よりも小さくなったときに、ノーズビューカメラ３が作動して、接近物体の検出を開始する。同様に、第３スイッチ９３がオンに操作されていれば、車両２の変速段が変速段，中立段及び駐車段のいずれかであれば、走行速度Ｖが所定速度Ｖ₀よりも小さくなったときに、ノーズビューカメラ３が作動して、接近物体の検出を開始する。
したがって、運転者の操作の好みに応じたノーズビューカメラ３が作動，接近物体の検出を行う条件を選択することができる。 In addition, if the second switch 92 of the condition setting switch 9 is turned on by the driver, the traveling speed V is equal to the predetermined speed V even if the speed of the vehicle 2 is not only the traveling speed but also the neutral speed. When it becomes smaller than ₀ , the nose view camera 3 operates to start detection of an approaching object. Similarly, if the third switch 93 is turned on, the traveling speed V is smaller than the predetermined speed V ₀ if the shift stage of the vehicle 2 is any one of the shift stage, the neutral stage, and the parking stage. Sometimes, the nose view camera 3 operates and starts detecting an approaching object.
Therefore, it is possible to select a condition for operating the nose view camera 3 and detecting an approaching object according to the driver's preference of operation.

以上、本発明の一実施形態を説明したが、本発明はかかる実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述の実施形態においては、本発明の接近物体報知装置１が、運転者や乗員へノーズビュー画像を提供して運転者や乗員の肉眼目視の補助を行うノーズビューモニタ装置として備えられているが、車両２へ接近する接近物体を検出して報知する構成を備えた装置であれば、このような構成に限られない。例えば、レーダーによって車両２へ接近する接近物体を検出するレーダー装置に本発明を適用することもできる。 Although one embodiment of the present invention has been described above, the present invention is not limited to this embodiment, and various modifications can be made without departing from the spirit of the present invention.
For example, in the above-described embodiment, the approaching object notification device 1 of the present invention is provided as a nose view monitor device that provides a driver or an occupant with a nose view image and assists the driver or the occupant with the naked eye. However, the device is not limited to such a configuration as long as the device has a configuration for detecting and notifying an approaching object approaching the vehicle 2. For example, the present invention can be applied to a radar device that detects an approaching object approaching the vehicle 2 by a radar.

また、上述の実施形態では、撮像画像のオプティカルフローベクトルを算出することで、自車両２への接近物体を検出しているが、接近物体を検出するための演算処理は任意である。
また、上述の実施形態では、接近物体報知装置１が車両の左右側方の前方における車両２への接近物体を検出し報知するようになっているが、例えば車両側方の接近物体を検出し報知する構成にしてもよいし、あるいは、車両後方の接近物体を検出し報知するよう構成してもよい。この場合、接近物体検出開始条件として、シフトポジションセンサ８で検出された変速段がリバース（後退段）であることを判定するように構成することで、運転者や乗員に対して煩わしさを感じさせることなく、車両の状態に応じた接近物体の検出及び報知を行うことができる。 In the above-described embodiment, the approaching object to the host vehicle 2 is detected by calculating the optical flow vector of the captured image, but the arithmetic processing for detecting the approaching object is arbitrary.
In the above-described embodiment, the approaching object notification device 1 detects and notifies the approaching object to the vehicle 2 in front of the left and right sides of the vehicle. For example, the approaching object notification apparatus 1 detects an approaching object on the side of the vehicle. You may make it the structure which alert | reports, or you may comprise so that an approaching object behind a vehicle may be detected and alert | reported. In this case, as the approaching object detection start condition, it is configured to determine that the shift speed detected by the shift position sensor 8 is reverse (reverse speed), so that the driver and the passenger feel annoyance. It is possible to detect and notify an approaching object according to the state of the vehicle without causing it to occur.

また、上述の実施形態では、接近物体検出部１２において判定される接近物体検出開始条件にかかる変速段の条件として、第１〜第３の変速段条件の３つの条件が設定されているが、このような変速段の条件数がより多く設定されてもよいし、１つの条件のみが設定されてもよい。
また、上述の実施形態は、自動変速機を備えた車両２に本発明を適用したものとなっているが、マニュアルトランスミッションの車両に適用することもできる。 Further, in the above-described embodiment, three conditions of the first to third shift speed conditions are set as the shift speed conditions related to the approaching object detection start condition determined by the approaching object detection unit 12. A larger number of conditions for such gears may be set, or only one condition may be set.
Moreover, although the above-mentioned embodiment applies this invention to the vehicle 2 provided with the automatic transmission, it can also be applied to the vehicle of a manual transmission.

また、上述の実施形態では、接近物体を検出したときの報知が、モニタ５上への表示と、モニタ５に付属するスピーカ等による音声出力とによって行われるようになっているが、報知方法は任意である。
また、上述の実施形態では、撮像手段としてのノーズビューカメラ３が、車両２のノーズ部の左右端部に各々設けられているが、いずれか一方のみを備えた構成であってもよく、また、広範な撮像領域を有する広角カメラを用いて車両の左右側方を同時に撮像するように構成してもよい。 In the above-described embodiment, notification when an approaching object is detected is performed by display on the monitor 5 and sound output by a speaker or the like attached to the monitor 5. Is optional.
In the above-described embodiment, the nose view camera 3 as the imaging unit is provided at each of the left and right end portions of the nose portion of the vehicle 2, but may be configured to include only one of them. Alternatively, a wide-angle camera having a wide imaging area may be used to simultaneously image the left and right sides of the vehicle.

また、ノーズビューカメラ３の撮像領域は、車両２の進行方向と進入したい幹線道路の方向とのなす角度に応じて、水平方向に調整されるように構成してもよく、あるいは、走行路面の傾斜に応じて、鉛直方向に調整されるように構成してもよい。
また、上述の実施形態における所定速度Ｖ₀は、認識したい移動物体のフローベクトルの大きさに応じて任意に設定されるものである。例えば、車両２の走行速度Ｖが所定速度Ｖ₀よりも大きくても、車両２（ノーズビューカメラ３）の位置移動によって発生する背景部分のフローベクトルよりも大きなフローベクトルを有して移動する移動物体については、上述の構成によって認識することができる。 In addition, the imaging area of the nose view camera 3 may be configured to be adjusted in the horizontal direction according to the angle formed by the traveling direction of the vehicle 2 and the direction of the main road that the vehicle 2 wants to enter. You may comprise so that it may adjust to a perpendicular direction according to inclination.
Further, the predetermined speed V ₀ in the above embodiment is arbitrarily set according to the magnitude of the flow vector of the moving object to be recognized. For example, even if the traveling speed V of the vehicle 2 is higher than a predetermined speed V ₀ , the movement moves with a flow vector larger than the flow vector of the background portion generated by the position movement of the vehicle 2 (nose view camera 3) An object can be recognized by the above-described configuration.

また、上述の実施形態における出力部１３による報知方法は任意であり、例えば、モニタ５上の画像のうち接近物体を強調表示する場合、画像上の接近物体を拡大表示するように構成してもよい。
また、接近物体の自車両２に対する危険度に応じた複数の報知モードが多段階的に設定されるように構成してもよい。例えば、接近物体検出部１２が検出した接近物体のフローベクトルの大きさ及び数に基づいて切り換える報知モードをさらに増やし、接近物体の自車両２への危険である可能性を多段階的に判定することで、よりきめの細かい報知を実施することができ、安全性を向上させることができるとともに、危険度判定にかかる装置自体の信頼性を向上させることができる。 In addition, the notification method by the output unit 13 in the above-described embodiment is arbitrary. For example, when an approaching object is highlighted in the image on the monitor 5, the approaching object on the image may be enlarged and displayed. Good.
Moreover, you may comprise so that the some alerting | reporting mode according to the danger level with respect to the own vehicle 2 of an approaching object may be set in multistep. For example, the notification mode for switching based on the magnitude and number of the flow vector of the approaching object detected by the approaching object detection unit 12 is further increased, and the possibility that the approaching object is dangerous to the host vehicle 2 is determined in multiple stages. As a result, more detailed notification can be performed, safety can be improved, and reliability of the device itself relating to risk determination can be improved.

また、危険度に応じて、駆動抑制制御及び自動制動制御を開始する条件を切り換えるように構成してもよい。例えば、自車両２への接近物体の危険度が高い場合には、開始条件としての所定ブレーキ圧Ｐ_b1が大きく設定されるように構成すれば、駆動抑制制御及び自動制動制御の開始しやすくなり、より安全性を向上させることができる。
また、危険度が低い場合（例えば、上述の実施形態における「危険度小報知モード」の場合）には自動制動制御を開始せず、危険度が高い場合（例えば、上述の実施形態における「危険度大報知モード」の場合）にのみ自動制動制御の開始条件を判定するように構成してもよいし、危険度の度合に応じて、自動制動制御の制御量（例えば、自動制動制御において制動輪へ付与される制動力の大きさ）が設定されるように構成してもよい。 Moreover, you may comprise so that the conditions which start drive suppression control and automatic braking control may be switched according to a danger level. For example, when the risk of an approaching object to the host vehicle 2 is high, the drive suppression control and the automatic braking control can be easily started if the predetermined brake pressure _Pb1 as a start condition is set to be large. , Can improve safety more.
In addition, when the degree of risk is low (for example, in the case of the “low risk level notification mode” in the above-described embodiment), automatic braking control is not started, and when the degree of risk is high (for example, “danger level in the above-described embodiment” The automatic braking control start condition may be determined only in the case of “large notification mode”, or the control amount of automatic braking control (for example, braking in automatic braking control) may be determined according to the degree of risk. The magnitude of the braking force applied to the wheel may be set.

本発明の一実施形態としての接近物体報知装置を備えた車両を示す模式的構成図である。It is a typical lineblock diagram showing the vehicles provided with the approaching object information device as one embodiment of the present invention. 本発明の一実施形態としての接近物体報知装置によるモニタ表示例としての表示画面内容の模式図である。It is a schematic diagram of the display screen content as a monitor display example by the approaching object notification device as one embodiment of the present invention. 本発明の一実施形態としての接近物体報知装置の接近物体検出手段における演算処理を説明するための模式図であって、いずれも左半分は車両の左側方のノーズビュー及びフローベクトル、右半分は車両の右側方のノーズビュー及びフローベクトルを示し、（ａ）は車両が静止している場合に発生するフローベクトル、（ｂ）は車両が前進移動している場合に発生するフローベクトル、（ｃ）は接近物体のみを抽出するフローベクトルの方向の範囲を示す。It is a schematic diagram for explaining the calculation processing in the approaching object detection means of the approaching object notification device as one embodiment of the present invention, both the left half nose view and flow vector on the left side of the vehicle, the right half is The right side nose view and flow vector of the vehicle are shown, (a) is a flow vector generated when the vehicle is stationary, (b) is a flow vector generated when the vehicle is moving forward, (c ) Indicates the range of the direction of the flow vector for extracting only the approaching object. 本発明の一実施形態としての接近物体報知装置において接近物体を検出する制御を説明するためのフローチャートである。It is a flowchart for demonstrating the control which detects an approaching object in the approaching object alerting | reporting apparatus as one Embodiment of this invention. 本発明の一実施形態としての接近物体報知装置におけるノーズビューカメラの撮像領域を示す模式的平面図である。It is a typical top view which shows the imaging area | region of the nose view camera in the approaching object alerting | reporting apparatus as one Embodiment of this invention. 本発明の一実施形態としての接近物体報知装置を備えた駐車時の車両を示す模式的平面図である。1 is a schematic plan view showing a vehicle at the time of parking provided with an approaching object notification device as one embodiment of the present invention.

Explanation of symbols

１接近物体報知装置（ノーズビューモニタ装置）
２車両（自車両）
３ノーズビューカメラ（撮像手段）
４車速センサ
５モニタ（報知手段）
６ノーズビューカメラスイッチ
８シフトポジションセンサ（変速段検出手段）
９条件設定スイッチ（開始条件設定手段）
１０電子制御ユニット（ＥＣＵ）
１１オプティカルフロー算出部（オプティカルフローベクトル算出手段）
１２接近物体検出部（接近物体検出手段）
１３出力部
１８変速レバー
９１第１スイッチ
９２第２スイッチ
９３第３スイッチ
1 Approaching object notification device (nose view monitor device)
2 Vehicle (own vehicle)
3 Nose view camera (imaging means)
4 Vehicle speed sensor 5 Monitor (notification means)
6 Nose view camera switch 8 Shift position sensor (shift stage detection means)
9 Condition setting switch (Start condition setting means)
10 Electronic control unit (ECU)
11 Optical flow calculation unit (optical flow vector calculation means)
12 Approaching object detection unit (approaching object detection means)
13 Output unit 18 Shift lever 91 First switch 92 Second switch 93 Third switch

Claims

The approaching object detection start condition is that the vehicle is running or is in a stop where it can start, and when the approaching object detection start condition is satisfied, detection of the approaching object approaching the vehicle is started, and the approaching object detection start condition If not, the approaching object detection means that does not start the detection of the approaching object,
An approaching object notifying device comprising notifying means for notifying the detection of the approaching object.

Shift stage detecting means for detecting the shift stage of the vehicle;
The approaching object detection means determines that the vehicle is running as the approaching object detection start condition when the shift speed detected by the shift speed detection means is a travel speed. The approaching object notification device according to claim 1.

The approaching object notification according to claim 2, further comprising start condition setting means for selecting the gear position for determining that the vehicle is in a stopable state in response to an operation of an occupant of the vehicle. apparatus.

The approaching object detection means determines that the vehicle is in a stopable start state as the approaching object detection start condition when the shift stage of the vehicle is a neutral stage. The approaching object notification device according to 3.

The approaching object detection means determines that the vehicle is in a stopable start state as the approaching object detection start condition when the shift stage of the vehicle is a neutral stage or a parking stage. Item 2. The approaching object notification device according to Item 2 or 3.

Provided with an imaging means provided in the vehicle for capturing an image around the vehicle;
The approaching object notification device according to any one of claims 1 to 5, wherein the approaching object detection unit detects the approaching object based on the image captured by the imaging unit.

An optical flow vector calculating means for calculating an optical flow vector based on the image picked up by the image pickup means;
The approaching object notification device according to claim 6, wherein the approaching object detection unit detects an approaching object based on the optical flow vector calculated by the optical flow vector calculation unit.

The approaching object detection means detects the approaching object based on an optical flow vector having a vector component in the traveling direction of the vehicle in the image among the optical flow vectors calculated by the optical flow vector calculation means. The approaching object notification device according to claim 7, wherein:

The notification means switches between a plurality of notification modes according to the number and magnitude of optical flow vectors having vector components in the traveling direction of the vehicle, and notifies the detection of the approaching object. Item 9. The approaching object notification device according to Item 8.