JP2009231937A - Surroundings monitoring device for vehicle - Google Patents

Surroundings monitoring device for vehicle Download PDF

Info

Publication number
JP2009231937A
JP2009231937A JP2008071870A JP2008071870A JP2009231937A JP 2009231937 A JP2009231937 A JP 2009231937A JP 2008071870 A JP2008071870 A JP 2008071870A JP 2008071870 A JP2008071870 A JP 2008071870A JP 2009231937 A JP2009231937 A JP 2009231937A
Authority
JP
Japan
Prior art keywords
image
virtual image
vehicle
moving body
real image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2008071870A
Other languages
Japanese (ja)
Inventor
Tomokazu Okuki
友和 奥木
Masaki Chiba
正基 千葉
Kazuyuki Okuda
一之 奥田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2008071870A priority Critical patent/JP2009231937A/en
Priority to US12/350,480 priority patent/US8054201B2/en
Priority to EP09003114A priority patent/EP2103485A3/en
Publication of JP2009231937A publication Critical patent/JP2009231937A/en
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a surroundings monitoring device for a vehicle, enabling a driver to more surely comprehend the state of a blind area. <P>SOLUTION: The surroundings monitoring device for a vehicle is used to monitor a blind area in a region which extends on right and left on the front viewed from the driver. The monitoring device is provided with: real image pickup means (2, 6) provided on the rear part of a vehicle so as to pick up a real image of the blind area; a real image storage means (30) for storing real images picked up by the real image pickup means; an imaginary image generating means (38) for generating images of the blind area of the real image pickup means as imaginary images from past real images stored in the real image storage means; and display means (26, 14) for displaying the virtual images generated by the imaginary image generating means together with the real image picked up by the real image pickup means. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、車両用周囲監視装置に係り、特に、ドライバーの死角領域を監視する車両用周囲監視装置に関する。   The present invention relates to a vehicle surrounding monitoring device, and more particularly to a vehicle surrounding monitoring device that monitors a blind spot area of a driver.

従来、車両前方側における左右方向の死角映像を撮像してモニタ表示する装置が知られている(特許文献1、特許文献2)   2. Description of the Related Art Conventionally, devices that capture and display a blind spot image in the left-right direction on the front side of a vehicle are known (Patent Documents 1 and 2).

特開2007−172462号公報JP 2007-172462 A 特開平11−338074号公報JP 11-338074 A

上述したような装置は、カメラ等により撮像された左右方向のドライバーにおける死角領域をモニタ上に表示するのであるが、例えば交差点の角にカメラの視界を遮るような遮蔽物がある場合やカメラ自体が死角領域を有する場合に、車両が交差点に十分進入した後でなければドライバーは死角領域の画像を得ることが出来ないものであった。つまり、そのような交差点などの手前では、ドライバーにとって死角領域があるだけでなく、カメラにも死角領域が生じるために、ドライバーに十分な情報提供が出来ない場合があった。   The apparatus as described above displays the blind spot area in the left and right driver imaged by the camera or the like on the monitor. For example, when there is an obstacle that blocks the camera view at the corner of the intersection or the camera itself When the vehicle has a blind spot area, the driver cannot obtain an image of the blind spot area unless the vehicle has sufficiently entered the intersection. In other words, in front of such an intersection, not only the driver has a blind spot area, but also a blind spot area is generated in the camera, so there are cases where the driver cannot be provided with sufficient information.

本発明は、上述した従来技術の問題点を解決するためになされたものであり、ドライバーが死角領域の状況をより確実に把握することが出来る車両用周囲監視装置を提供することを目的とする。   The present invention has been made to solve the above-described problems of the prior art, and an object of the present invention is to provide a vehicle surrounding monitoring device that allows a driver to more reliably grasp the condition of a blind spot area. .

上記の目的を達成するために本発明による車両用周囲監視装置によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、この実画像撮像手段により撮像された実画像を記憶する実画像記憶手段と、実画像撮像手段の死角領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成する仮想画像生成手段と、この仮想画像生成手段により生成された仮想画像を実画像撮像手段により撮像された実画像と共に表示する表示手段と、を有することを特徴としている。   In order to achieve the above object, according to the vehicle surrounding monitoring apparatus of the present invention, there is provided a vehicle surrounding monitoring apparatus that monitors a blind spot area in an area that spreads left and right in front of the driver. An actual image capturing means provided in the front part of the vehicle so as to capture an image, an actual image storage means for storing the actual image captured by the actual image capturing means, and an image of the blind spot area of the actual image capturing means Virtual image generation means for generating a virtual image from a past real image stored by the real image storage means, and a display for displaying the virtual image generated by the virtual image generation means together with the real image captured by the real image imaging means And means.

このように構成された本発明においては、実画像撮像手段の死角領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成して表示するので、実画像撮像手段に死角があっても、ドライバーは、自分の死角領域の情報を得ることが出来る。   In the present invention configured as described above, the image of the blind spot area of the real image capturing unit is generated and displayed as a virtual image from the past real image stored by the real image storing unit, so that the blind spot is displayed on the real image capturing unit. Even if there is, the driver can get information on his blind spot area.

また、本発明において、好ましくは、実画像撮像手段により撮像される周囲の見通しの一部を遮断する遮蔽物の存在を検出する遮蔽物検出手段を有し、仮想画像生成手段は、遮蔽物検出手段により遮蔽物が検出されたとき、その遮蔽物の向こう側の領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成する。
このように構成された本発明においては、遮蔽物の向こう側の領域の画像を実画像記憶手段により記憶された過去の実画像から仮想画像として生成するので、遮蔽物があっても、死角領域の情報を得ることが出来る。
In the present invention, it is preferable that the virtual image generating means includes a shielding object detecting means for detecting the presence of a shielding object that blocks a part of the surrounding line of sight imaged by the real image imaging means. When the shielding object is detected by the means, an image of the area beyond the shielding object is generated as a virtual image from the past real image stored by the real image storage means.
In the present invention configured as described above, the image of the area on the other side of the shielding object is generated as a virtual image from the past real image stored by the real image storage means. Information can be obtained.

また、本発明において、好ましくは、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。
このように構成された本発明においては、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。
In the present invention, preferably, the blind spot area of the driver is a blind spot area around the intersection of the intersection on the front side of the vehicle, and the real image capturing means is provided at the front end of the vehicle, and the vehicle is in the intersection. When approaching, a real image around the intersection of the intersection that can be imaged from the front end of the vehicle is captured.
In the present invention configured as described above, the driver can obtain information on the left and right intersections of intersections where collision accidents frequently occur, and safer driving is possible.

また、本発明において、好ましくは、さらに、実画像記憶手段により記憶された実画像内から移動体を検出する移動体検出手段を有し、仮想画像生成手段は、遮蔽物により遮蔽される前の移動体の仮想画像を生成し、表示手段は、移動体が遮蔽物により遮蔽されたとき、その生成された移動体の仮想画像を表示する。
このように構成された本発明においては、遮蔽物により遮蔽される前の移動体の仮想画像が、移動体が遮蔽物により遮蔽されたときに表示されるので、ドライバーは、衝突する可能性のある移動体の存在を認識することが出来る。
In the present invention, it is preferable that the apparatus further includes a moving body detection unit that detects a moving body from the real image stored by the real image storage unit, and the virtual image generation unit is a state before being shielded by the shielding object. A virtual image of the moving object is generated, and the display unit displays the generated virtual image of the moving object when the moving object is shielded by the shielding object.
In the present invention configured as described above, since the virtual image of the moving body before being shielded by the shielding object is displayed when the moving object is shielded by the shielding object, the driver may collide. The existence of a certain moving body can be recognized.

また、本発明において、好ましくは、仮想画像生成手段は、移動体が遮蔽物に遮蔽される直前の位置で表示されるように移動体の仮想画像を生成する。
このように構成された本発明においては、ドライバーは、衝突する可能性のある移動体の存在を認識することが出来る。
In the present invention, it is preferable that the virtual image generation unit generates a virtual image of the moving object so that the moving object is displayed at a position immediately before the moving object is blocked by the shielding object.
In the present invention configured as described above, the driver can recognize the existence of a moving body that may collide.

また、本発明において、好ましくは、さらに、移動体検出手段により検出された移動体の移動状態を検出し、現在の時点における移動体の位置及び大きさを推定する移動体状態推定手段を有し、仮想画像生成手段は、移動体が移動体状態推定手段により推定された現在の時点における位置及び大きさで表示されるように仮想画像を生成する。
このように構成された本発明においては、移動体が推定された現在の時点における位置及び大きさで仮想画像として表示されるので、より正確に、衝突する可能性のある移動体の位置等を認識することが出来る。
In the present invention, it is preferable to further include a moving body state estimating means for detecting the moving state of the moving body detected by the moving body detecting means and estimating the position and size of the moving body at the current time point. The virtual image generation unit generates the virtual image so that the moving body is displayed at the current position and size estimated by the moving body state estimation unit.
In the present invention configured as described above, since the moving object is displayed as a virtual image with the estimated position and size at the current time point, the position of the moving object that may collide can be more accurately determined. Can be recognized.

また、本発明において、好ましくは、さらに、実画像撮像手段により撮像された実画像内の遮蔽物を、その向こう側が見えるように透過させた第2の仮想画像として生成する第2仮想画像生成手段を有し、表示手段は、移動体の仮想画像と重畳してこの第2の仮想画像を表示する。
このように構成された本発明においては、移動体の仮想画像と重畳して、遮蔽物の向こう側が見えるように透過させた遮蔽物の仮想画像が表示されるので、移動体の存在をより効果的に認識することが出来る。
In the present invention, it is also preferable that the second virtual image generation unit further generates a shielding object in the actual image captured by the actual image capturing unit as a second virtual image that is transmitted so that the other side can be seen. The display means displays the second virtual image superimposed on the virtual image of the moving object.
In the present invention configured as described above, since the virtual image of the shielding object that is transmitted so that the other side of the shielding object can be seen is superimposed on the virtual image of the moving object, the presence of the moving object is more effective. Can be recognized.

また、本発明において、好ましくは、さらに、実画像撮像手段により撮像された実画像内の遮蔽物を、その向こう側が見えるように本来の位置からずらした位置に第2の仮想画像として生成する第2仮想画像生成手段を有し、表示手段は、移動体の仮想画像とこの第2の仮想画像とを並べて表示する。
このように構成された本発明においては、移動体の仮想画像と並べて、遮蔽物の仮想画像が表示されるので、移動体の存在をより効果的に認識することが出来る。
In the present invention, it is also preferable that the shielding object in the actual image captured by the actual image capturing unit is further generated as a second virtual image at a position shifted from the original position so that the other side can be seen. 2 virtual image generating means, and the display means displays the moving body virtual image and the second virtual image side by side.
In the present invention configured as described above, since the virtual image of the shielding object is displayed side by side with the virtual image of the moving object, the existence of the moving object can be recognized more effectively.

また、本発明において、好ましくは、仮想画像生成手段は、過去の最も近い時点における過去画像或いはそれより以前の過去に車両が通過した時点における過去画像を生成し、死角領域ではその生成された過去画像を表示し、他の領域では実画像撮像手段により撮像された実画像を表示する。
このように構成された本発明においては、死角領域に過去の最も近い時点における過去画像或いはそれより以前の過去に車両が通過した時点における過去画像を表示し、他の領域には実画像が表示されるので、ドライバーはより効果的に実画像撮像手段の死角領域の様子(例えば、道路構造や建物の存在など)を認識することが出来る。また、死角領域に過去の最も近い時点における過去画像を表示すれば、その視覚領域の移動体をも認識することが可能である。
In the present invention, it is preferable that the virtual image generation unit generates a past image at the closest point in the past or a past image at a time when the vehicle passes in the past, and the generated past in the blind spot area. An image is displayed, and an actual image captured by the actual image capturing unit is displayed in other areas.
In the present invention configured as described above, the past image at the closest point in the past in the blind spot area or the past image at the time when the vehicle passed in the past is displayed, and the actual image is displayed in the other areas. Therefore, the driver can more effectively recognize the state of the blind spot area of the real image capturing means (for example, the road structure or the presence of a building). Further, if a past image at the closest point in the past is displayed in the blind spot area, it is possible to recognize a moving object in the visual area.

また、本発明において、好ましくは、仮想画像生成手段は、以前に車両が通過した時点の静止物を過去画像として生成する。
このように構成された本発明においては、視覚領域であっても、道路構造や標識などの静止物の様子を把握することが出来る。
In the present invention, it is preferable that the virtual image generation unit generates a stationary object at the time when the vehicle has passed previously as a past image.
In the present invention configured as described above, it is possible to grasp the state of a stationary object such as a road structure or a sign even in a visual region.

本発明の車両用周囲監視装置によれば、ドライバーが死角領域の状況をより確実に把握することが出来る。   According to the vehicle surrounding monitoring apparatus of the present invention, the driver can more reliably grasp the state of the blind spot area.

以下、添付図面を参照しながら本発明の好ましい実施の形態について説明する。
先ず、図1及び図2により、本発明の実施形態による車両用周囲監視装置の基本構成を説明する。図1は、本発明の実施形態による車両用周囲監視装置が適用された車両の全体構成図であり、図2は、本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例(a)及び撮像された映像の一例(b)を示す図である。
Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
First, with reference to FIGS. 1 and 2, a basic configuration of a vehicle surrounding monitoring apparatus according to an embodiment of the present invention will be described. FIG. 1 is an overall configuration diagram of a vehicle to which a vehicle surroundings monitoring device according to an embodiment of the present invention is applied. FIG. 2 is an example of an imaging range by a camera of a vehicle surroundings monitoring device according to an embodiment of the present invention ( It is a figure which shows an example (b) of a and the image | video imaged.

図1に示すように、車両1は、左方監視カメラ2、前方監視カメラ4及び右方監視カメラ6を有し、これらのカメラは、車両の前端部に取り付けられている。これらのカメラは、広角レンズ使用のCCDカメラであり、例えば、図2(a)に示すような範囲を撮像し、図2(b)に示すような画像を得ることが出来る。   As shown in FIG. 1, the vehicle 1 has a left monitoring camera 2, a front monitoring camera 4, and a right monitoring camera 6, and these cameras are attached to the front end of the vehicle. These cameras are CCD cameras using a wide-angle lens, and for example, can capture a range as shown in FIG. 2A and obtain an image as shown in FIG.

また、車両1は、車速センサ10、GPS装置12、ナビゲーション装置13及び画像表示モニタ14を有している。モニタ14は、運転席16のドライバーが見ることが出来る位置に配置されている。さらに、車両1は、ECU18を有し、このECU18には、上述した各カメラ2、4、6、車速センサ10、GPS装置12からの信号が入力され、所定の画像をモニタ14に表示する。また、車両1は、映像を保存することが可能な記憶装置19を有している。   The vehicle 1 includes a vehicle speed sensor 10, a GPS device 12, a navigation device 13, and an image display monitor 14. The monitor 14 is arranged at a position where the driver of the driver's seat 16 can see. Further, the vehicle 1 has an ECU 18, and signals from the cameras 2, 4, 6, the vehicle speed sensor 10, and the GPS device 12 are input to the ECU 18 and a predetermined image is displayed on the monitor 14. The vehicle 1 also has a storage device 19 capable of storing video.

次に、図3により、本発明の実施形態による車両用周囲監視装置の制御内容を説明する。図3は、本発明の実施形態による車両用周囲監視装置の内容を説明するための概念図であり、図4は、本発明の実施形態による車両用周囲監視装置の制御内容を示すブロック図である。
本発明の実施形態では、例えば図3に示すように、交差点に近づく車両V1からカメラにより他車両V3が検知されているが、さらに交差点に近づいた車両V2のカメラからは、視界を遮る遮蔽物Aにより他車両V4が見えなくなってしまうとき、主に、検知されていた過去の他車両V3の記憶画像をもとに、車両V2のモニタ上に仮想画像として、車両V3の移動後の車両V4を仮想的に表示し、その際、遮蔽物Aの一部を透過させて仮想画像として表示するようなものである。
Next, the control contents of the vehicle surrounding monitoring apparatus according to the embodiment of the present invention will be described with reference to FIG. FIG. 3 is a conceptual diagram for explaining the contents of the vehicle surroundings monitoring apparatus according to the embodiment of the present invention, and FIG. 4 is a block diagram showing the control contents of the vehicle surroundings monitoring apparatus according to the embodiment of the present invention. is there.
In the embodiment of the present invention, for example, as shown in FIG. 3, the other vehicle V3 is detected by the camera from the vehicle V1 approaching the intersection, but from the camera of the vehicle V2 further approaching the intersection, a shielding object that blocks the field of view. When the other vehicle V4 becomes invisible due to A, the vehicle V4 after the movement of the vehicle V3 is mainly used as a virtual image on the monitor of the vehicle V2 based on the detected stored image of the other vehicle V3 in the past. Is displayed virtually, and at that time, a part of the shield A is transmitted and displayed as a virtual image.

次に、図4に示すように、周辺監視センサ20として構成される各カメラ2、4、6からの画像信号が、ECU18内の画像取得部22に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部24で補正される。この画像補正部24からの画像信号は、合成画像作成部26に実画像として入力される。   Next, as shown in FIG. 4, image signals from the cameras 2, 4, 6 configured as the periphery monitoring sensor 20 are input to the image acquisition unit 22 in the ECU 18. Since the input image signal is a wide-angle image and is distorted, the image correction unit 24 corrects the image. The image signal from the image correction unit 24 is input to the composite image creation unit 26 as a real image.

撮像画像保存部30では、画像補正部24からの入力画像をECU18と共に設けられた記憶装置19に保存する。
次に、移動体検出部32では、撮像画像保存部30で保存した記憶画像から、自車両に接近してくる四輪車などの移動体を検出する。具体的には、パターンマッチングで移動体の種類(四輪車や歩行者など)を検出すると共に、オプティカルフロー、背景差分、フレーム間差分処理などで、移動体の移動方向及び移動速度も検出する。本実施形態では、主に、交差点に進入する前の例えば、遮蔽物A(図3参照)が無いようなときに撮像した画像から移動体を検出する。
The captured image storage unit 30 stores the input image from the image correction unit 24 in the storage device 19 provided with the ECU 18.
Next, the moving body detection unit 32 detects a moving body such as a four-wheeled vehicle approaching the host vehicle from the stored image stored in the captured image storage unit 30. Specifically, the type of moving object (four-wheeled vehicle, pedestrian, etc.) is detected by pattern matching, and the moving direction and moving speed of the moving object are also detected by optical flow, background difference, inter-frame difference processing, etc. . In the present embodiment, the moving body is mainly detected from an image captured when there is no shielding object A (see FIG. 3) before entering the intersection.

移動体情報蓄積部34では、移動体検出部32で検出された移動体の位置、大きさ、速度及び方向データなどの情報を記憶装置19に蓄積する。移動体位置推定部36では、記憶装置19に蓄積された移動体の各情報をもとに、その情報が蓄積された時間と現在の時間とにより、移動体の現在の位置及び見かけ上の大きさを推定する。
仮想画像作成部38では、この推定された移動体の位置及び大きさで移動体の仮想画像を作成する。
The moving body information storage unit 34 stores information such as the position, size, speed, and direction data of the moving body detected by the moving body detection unit 32 in the storage device 19. In the mobile object position estimation unit 36, based on each piece of information of the mobile object stored in the storage device 19, the current position and the apparent size of the mobile object are determined by the time when the information is stored and the current time. Estimate.
The virtual image creation unit 38 creates a virtual image of the moving body with the estimated position and size of the moving body.

一方、静止物検出部40では、撮像画像保存部30で保存した記憶画像から、画像処理により、本実施形態では、主に、交差点に進入する前の例えば、遮蔽物A(図3参照)が無いようなときに撮像した画像から静止物を検出する。静止物情報蓄積部42では、静止物検出部40で検出された静止物の位置及び大きさなどの情報を記憶装置19に蓄積する。仮想画像作成部38では、この検出された静止物の位置及び大きさで静止物の仮想画像を作成する。   On the other hand, in the stationary object detection unit 40, for example, the shielding object A (see FIG. 3) before entering the intersection is mainly used in this embodiment by image processing from the stored image stored in the captured image storage unit 30. A stationary object is detected from the captured image when there is no such object. The stationary object information accumulation unit 42 accumulates information such as the position and size of the stationary object detected by the stationary object detection unit 40 in the storage device 19. The virtual image creation unit 38 creates a virtual image of the stationary object with the detected position and size of the stationary object.

また、遮蔽物検出部44では、画像補正部24により得られた実画像内から、パターンマッチングなどの手法により、ガードレールや壁などのカメラの視界を遮る遮蔽物を検出する。また、遮蔽物画像作成判定部46では、遮蔽物検出部44により検出された遮蔽物の位置や大きさなどに基づいて、仮想画像を作成せず実画像をモニタ14に写すか、仮想画像を実画像に重畳するかを判定する。   Further, the shielding object detection unit 44 detects a shielding object that blocks the field of view of the camera, such as a guard rail or a wall, from the actual image obtained by the image correction unit 24 by a method such as pattern matching. Further, in the shielding object image creation determination unit 46, based on the position and size of the shielding object detected by the shielding object detection unit 44, the virtual image is not created but the actual image is displayed on the monitor 14 or the virtual image is displayed. Whether to superimpose on the actual image is determined.

仮想画像作成部38では、この検出された遮蔽物の位置を変更して表示したり、背後の移動体が見えるようにその一部が透過して表示したりするように、遮蔽物の仮想画像を作成する。
合成画像作成部26では、上述したように仮想画像作成部38で作成された各仮想画像を実画像と共に合成画像として作成する。
In the virtual image creation unit 38, the virtual image of the shielding object is displayed such that the position of the detected shielding object is changed and displayed, or a part of the shielding object is transmitted and displayed so that the moving object behind can be seen. Create
As described above, the composite image creation unit 26 creates each virtual image created by the virtual image creation unit 38 as a composite image together with the actual image.

次に、ECU18内には、頭出し位置判定部50が存在する。ここで、図5により、頭出し位置について説明する。図5は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。
図5に示すように、頭出し位置とは、ドライバーが座る運転席が交差路内に入ったときの位置であり、ドライバーが直接に、自分の目で交差路内を見通せるようになった位置である。なお、カメラだし位置は、図2(a)に示すように、車両の先端が交差路内に入った状態であり、ドライバーからは交差路を見通せないが、車両の前端部に取り付けられたカメラ2、4、6により、交差路内を見通せる位置である。また、鼻出し位置は、他車や歩行者に自車両の存在を知らせる位置である。
Next, a cue position determination unit 50 exists in the ECU 18. Here, the cueing position will be described with reference to FIG. FIG. 5 is an overhead view of the road and the vehicle for explaining the cueing position of the own vehicle.
As shown in FIG. 5, the cue position is the position when the driver's seat where the driver sits enters the intersection, and the driver can directly see inside the intersection with his own eyes. It is. As shown in FIG. 2 (a), the camera position is the state where the tip of the vehicle is in the intersection, and the driver cannot see the intersection, but the camera attached to the front end of the vehicle 2, 4, 6 is a position where you can see through the intersection. The nose-out position is a position that informs other vehicles and pedestrians of the presence of the host vehicle.

頭出し位置判定部50では、後述するように、車両が交差路内に頭出ししたことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部38における仮想画像の作成或いは既存物の仮想表示を中止するように所定の信号を送り、モニタ14での仮想画像の表示をしないようになっている。   As will be described later, the cue position determination unit 50 determines that the vehicle has cueed in the intersection. If the cue has been performed, the driver can already see the intersection, so a predetermined signal is sent to the virtual image creation unit 38 to stop the virtual image creation or the virtual display of the existing object, and the monitor 14 The virtual image is not displayed.

また、ECU18には、仮想画像処理実施判定部52が存在する。この仮想画像処理実施判定部52は、ナビゲーション装置13から得る地図データ、GPS装置12から得られる位置データ、及び、車速センサ10から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、上述したランドマーク或いは既存物の仮想画像を表示するために、合成画像作成部26に所定の信号を送る。   Further, the ECU 18 includes a virtual image processing execution determination unit 52. The virtual image processing execution determination unit 52 determines whether the vehicle is located near the intersection based on the map data obtained from the navigation device 13, the position data obtained from the GPS device 12, and the vehicle speed data obtained from the vehicle speed sensor 10. And whether or not it is temporarily stopped. As will be described later, when the vehicle is temporarily stopped near the intersection, a predetermined signal is sent to the composite image creation unit 26 in order to display the above-described landmark or existing virtual image.

次に、図6により、ドライバーによる交差路進入時における運転行動を説明する。図6は、ドライバーによる交差路進入時における運転行動を説明するための図である。
まず、交差路手前では一時停止する。その後、徐行しながら鼻出し位置に進み、カメラ出し位置(図2(a)参照)に進み、そして、頭出し位置(図5参照)に進む。本発明の実施形態による車両用周囲監視装置では、これらの一時停止から頭出し位置までの間に仮想画像を表示するようにしている。そして、頭出し位置になると、仮想画像を点滅させて、頭出し位置を通過後には、仮想画像の表示を中止する。その後、発進判断及び発進操作が行われる。
Next, with reference to FIG. 6, driving behavior when a driver enters an intersection will be described. FIG. 6 is a diagram for explaining the driving behavior when the driver enters the intersection.
First, stop before the intersection. Thereafter, the vehicle proceeds slowly to the nose out position, proceeds to the camera out position (see FIG. 2A), and then proceeds to the cue position (see FIG. 5). In the vehicle surrounding monitoring apparatus according to the embodiment of the present invention, a virtual image is displayed between the temporary stop and the cueing position. When the cueing position is reached, the virtual image is blinked, and after passing through the cueing position, the display of the virtual image is stopped. Thereafter, start determination and start operation are performed.

次に、図7により、本発明の実施形態による車両用周囲監視装置の制御の概要を説明する。図7は、本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像を表示するか否かの処理を示すフローチャートである。図7において、Sは各ステップを示す。
先ず、図7に示すように、S1において、画像取得部22(図4参照)により、例えば交差路において、左方監視カメラ2、前方監視カメラ4、右方監視カメラ6の映像を取得し、S2において、画像補正部24により、取得された広角画像の歪み補正を行う。S3において、撮影された画像は記憶装置19に保存される。本実施形態では、S1乃至S3の処理により、交差点への進入以前から常にカメラ映像を取得すると共に記憶するようにしている。
Next, with reference to FIG. 7, an outline of the control of the vehicle surrounding monitoring apparatus according to the embodiment of the present invention will be described. FIG. 7 is a flowchart showing a process for determining whether or not to display a blind spot visual image of the vehicle periphery monitoring device according to the embodiment of the present invention. In FIG. 7, S indicates each step.
First, as shown in FIG. 7, in S <b> 1, the image acquisition unit 22 (see FIG. 4) acquires videos of the left monitoring camera 2, the front monitoring camera 4, and the right monitoring camera 6, for example, at an intersection. In S2, the image correction unit 24 corrects the distortion of the acquired wide-angle image. In S3, the captured image is stored in the storage device 19. In the present embodiment, camera images are always acquired and stored before entering the intersection by the processes of S1 to S3.

次に、S4において、移動体検出部32(図4参照)により、S1及びS2で取得された実画像から、移動体を検出する。このS4における移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。   Next, in S4, the moving body detection unit 32 (see FIG. 4) detects the moving body from the actual images acquired in S1 and S2. The detection of the moving body in S4 is performed by optical flow processing. In addition to the optical flow, the moving object may be detected by background difference, inter-frame difference processing, laser, millimeter wave, or the like.

S4において、移動体が検出されたときには、S5に進み、移動体検出部32(図4参照)により、移動体の位置、大きさ、移動方向及び移動速度を算出し、S6において、移動体情報蓄積部34(図4参照)により、S5で算出した移動体の位置、大きさ、移動方向及び移動速度を記憶装置19に蓄積する。本実施形態では、S6において、自車両の交差点進入の所定時間前からの移動体情報のデータを時系列的に記憶する。例えば、時間に対する移動体の位置、大きさ及び移動方向のデータを蓄積する。移動体が検出されないときは、これらのS5及びS6の処理を行わない。   When the moving body is detected in S4, the process proceeds to S5, where the moving body detecting unit 32 (see FIG. 4) calculates the position, size, moving direction, and moving speed of the moving body. In S6, the moving body information The storage unit 34 (see FIG. 4) stores the position, size, moving direction, and moving speed of the moving body calculated in S5 in the storage device 19. In this embodiment, in S6, data of moving body information from a predetermined time before the vehicle enters the intersection is stored in time series. For example, data on the position, size and moving direction of the moving body with respect to time is accumulated. When the moving body is not detected, the processes of S5 and S6 are not performed.

次に、S7において、静止物検出部40により、S1及びS2で取得された実画像から、静止物を検出する。このS7における静止物の検出は、画像処理により行われる。S7において、静止物が検出されたときには、S8に進み、静止物検出部40により、静止物の位置及び大きさを算出し、S9において、静止物情報蓄積部42(図4参照)により、S8で算出した静止物の位置及び大きさを記憶装置19に蓄積する。本実施形態では、S9において、自動車や歩行者などの本来は移動する静止物についてのデータは、自車両の交差点進入時の所定時間前から時系列的に蓄積する。標識や信号機などの静止物は常に蓄積する。静止物が検出されないときは、これらのS8及びS9の処理を行わない。   Next, in S7, the stationary object detection unit 40 detects a stationary object from the actual images acquired in S1 and S2. The detection of the stationary object in S7 is performed by image processing. When a stationary object is detected in S7, the process proceeds to S8, where the stationary object detection unit 40 calculates the position and size of the stationary object. In S9, the stationary object information storage unit 42 (see FIG. 4) performs S8. The position and size of the stationary object calculated in (1) are stored in the storage device 19. In this embodiment, in S9, data on stationary objects that are originally moving, such as cars and pedestrians, are accumulated in a time series from a predetermined time before the vehicle enters the intersection. Still objects such as signs and traffic lights always accumulate. When no stationary object is detected, the processes of S8 and S9 are not performed.

次に、S10において、仮想画像処理実施判定部52(図4参照)が、GPS12からの信号及びナビゲーション装置13からの信号に基づいて、自車両が交差点近傍にいるか否かを判定する。次に、S11において、仮想画像処理実施判定部52(図4参照)が、車速センサ10からの信号に基づいて、車速がV1より小さいか否かを判定する。車速V1は、自車両が交差点等に近づいて減速し、ドライバーがモニタ14を見ても安全であると判断出来る値である。   Next, in S10, the virtual image processing execution determination unit 52 (see FIG. 4) determines whether or not the host vehicle is in the vicinity of the intersection based on the signal from the GPS 12 and the signal from the navigation device 13. Next, in S <b> 11, the virtual image processing execution determination unit 52 (see FIG. 4) determines whether the vehicle speed is lower than V <b> 1 based on the signal from the vehicle speed sensor 10. The vehicle speed V1 is a value that allows the driver to determine that the vehicle is safe even when the vehicle approaches the intersection and decelerates and the driver looks at the monitor 14.

車速がV1より小さく車両が減速した状態であれば、S12に進み、S12において、画像補正部24からの画像信号に基づいて、まず、実画像を表示する。次に、S13に進み、仮想画像処理実施判定部52(図4参照)が、車速がV2より小さいか否かを判定する。車速V2は、自車両がほぼ停止状態に近い或いは停止したと判断出来る値である。車速がV2より小さい場合は、自車両が一時停止したものとして、S14に進む。   If the vehicle speed is less than V1 and the vehicle is decelerated, the process proceeds to S12. In S12, an actual image is first displayed based on the image signal from the image correction unit 24. Next, in S13, the virtual image processing execution determination unit 52 (see FIG. 4) determines whether or not the vehicle speed is lower than V2. The vehicle speed V2 is a value at which it can be determined that the host vehicle is almost stopped or stopped. If the vehicle speed is less than V2, the process proceeds to S14 assuming that the host vehicle is temporarily stopped.

S14では、自車両が頭出し位置(図5参照)を通過したか否かを判定する。頭出し位置を通過した場合には、ドライバーが周囲の状況を見渡せる状況であるので、S15に進み、モニタ14にS1及びS2で取得した実画像をそのまま表示する。頭出し位置を通過していない場合には、S16に進み、死角視認用仮想画像表示処理を行う。   In S14, it is determined whether or not the host vehicle has passed the cueing position (see FIG. 5). If the driver has passed the cueing position, the driver can overlook the surrounding situation, so the process proceeds to S15, and the actual images acquired in S1 and S2 are displayed on the monitor 14 as they are. If it has not passed through the cueing position, the process proceeds to S16, and a blind spot visual image display process is performed.

次に、図8により、本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像表示処理の内容を説明する。図8は、本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像表示処理を示すフローチャートである。図8において、Sは各ステップを示す。
先ず、S20において、移動体の蓄積データ或いは静止物の蓄積データが蓄積されているか否かを判定する。具体的には、交差点への進入前の所定時間内に、図7のS6において移動体情報が蓄積され、或いは、図7のS9で静止物情報が蓄積されているか否かを判定する。蓄積データが無い場合には死角視認用仮想画像の表示を行わない。
Next, the contents of the blind spot visual image display process of the vehicle periphery monitoring device according to the embodiment of the present invention will be described with reference to FIG. FIG. 8 is a flowchart showing a blind spot visual image display process of the vehicle surrounding monitoring apparatus according to the embodiment of the present invention. In FIG. 8, S indicates each step.
First, in S20, it is determined whether or not accumulated data of a moving object or accumulated data of a stationary object is accumulated. Specifically, it is determined whether moving object information is accumulated in S6 of FIG. 7 or stationary object information is accumulated in S9 of FIG. 7 within a predetermined time before entering the intersection. When there is no accumulated data, the blind spot visual image is not displayed.

次に、蓄積データがある場合には、S21に進み、移動体位置推定部36(図4参照)により移動体の現在の位置を推定する。この推定された位置は、後述するように、仮想画像として表示されるが、S21の処理を行わず、位置を推定せず、過去の位置そのままに表示して、移動体がどの位置にいるかは、ドライバーの判断に任せても良い。この場合、例えば、移動体に移動方向及び速度を表すようなベクトル表示を付けても良い。次に、S22に進み、静止物情報蓄積部42により蓄積された静止物の位置データを取得する。   Next, when there is accumulated data, the process proceeds to S21, and the current position of the moving object is estimated by the moving object position estimating unit 36 (see FIG. 4). The estimated position is displayed as a virtual image, as will be described later. However, the process of S21 is not performed, the position is not estimated, and the past position is displayed as it is to determine the position of the moving body. You can leave it up to the driver. In this case, for example, a vector display indicating the moving direction and speed may be attached to the moving body. Next, the process proceeds to S22, where the position data of the stationary object accumulated by the stationary object information accumulation unit 42 is acquired.

次に、S23において、左右のカメラ2、6の視野内に、視野を遮るような遮蔽物が存在するか否かを判定する。例えば、所定の近距離内に見通しを遮るものを遮蔽物として判定する。例えば、図9に示すように、交差点が直交していない場合には、右側のカメラ6の視野内には、遮蔽物は無いが、実際にドライバーから見れば、他車両Vが見えないことになる。   Next, in S <b> 23, it is determined whether or not there is a shielding object that blocks the visual field within the visual field of the left and right cameras 2 and 6. For example, an object that blocks the line of sight within a predetermined short distance is determined as a shielding object. For example, as shown in FIG. 9, when the intersection is not orthogonal, there is no shielding object in the field of view of the right camera 6, but the other vehicle V cannot be seen when actually viewed from the driver. Become.

このような場合には、S24に進み、移動体又は静止物の位置が補完位置にあるか否かを判定する。ここで、補完位置とは、図9に示すようにカメラの視野内に遮蔽物は無いが、カメラからもドライバーからも見えない部分に移動体又は静止物がある場合をいう。図9では、そのような補完位置を、補完画像領域として図示している。   In such a case, it progresses to S24 and it is determined whether the position of a moving body or a stationary object exists in a complementary position. Here, the complementary position means a case where there is no shielding object in the field of view of the camera as shown in FIG. 9, but there is a moving body or a stationary object in a portion that cannot be seen from the camera or the driver. In FIG. 9, such a complementary position is illustrated as a complementary image region.

補完位置に移動体或いは静止物がある場合には、S25に進み、カメラにより実際に取得した実画像と、補完画像とを並列して表示する。この補完画像とは、移動体蓄積データや静止物蓄積データから特定される過去の移動体や静止物の情報を仮想画像として表示するものである。   If there is a moving object or a stationary object at the supplementary position, the process proceeds to S25, and the actual image actually acquired by the camera and the supplementary image are displayed in parallel. This complementary image displays information on past moving objects and stationary objects specified from moving object accumulation data and stationary object accumulation data as a virtual image.

例えば、図9に示すような場合には、図10に示すように、合成画像作成部26(図4参照)により、左側をカメラにより実際に取得した実画像を表示し、右側に、遮蔽物A(図9参照)の仮想画像Av、標識B(図9参照)の仮想画像Bv、及び、移動体である他車両V(図9参照)の仮想画像Vvというような仮想画像を表示するような画像を作成して、モニタ14に表示する。これにより、カメラから見てもドライバーから見ても死角となるような領域の様子を、過去のデータを使用することにより把握することが出来る。なお、移動体については、S21で推定した移動体の現在の位置に表示するのが良い。   For example, in the case shown in FIG. 9, as shown in FIG. 10, the composite image creation unit 26 (see FIG. 4) displays the actual image actually acquired by the camera on the left side and the shielding object on the right side. A virtual image such as a virtual image Av of A (see FIG. 9), a virtual image Bv of a sign B (see FIG. 9), and a virtual image Vv of another vehicle V (see FIG. 9) as a moving body is displayed. A simple image is created and displayed on the monitor 14. As a result, it is possible to grasp the state of an area that becomes a blind spot when viewed from the camera and the driver by using past data. In addition, about a mobile body, it is good to display on the present position of the mobile body estimated by S21.

次に、S23において、左右のカメラ2、6の視野内に、視野を遮るような遮蔽物が存在すると判定された場合、例えば、図11のように現在の車両位置から見てカメラの視野内に遮蔽物Aが存在する場合には、S26に進み、移動体又は静止物の位置が遮蔽物の後方に位置しているか否かを判定する。後方に位置していない場合には、S24に進み、上述したような処理を行う。   Next, in S23, when it is determined that there is an obstacle that blocks the field of view within the field of view of the left and right cameras 2 and 6, for example, within the field of view of the camera as viewed from the current vehicle position as shown in FIG. If the shielding object A exists, the process proceeds to S26 to determine whether the position of the moving body or the stationary object is located behind the shielding object. If it is not located rearward, the process proceeds to S24 and the above-described processing is performed.

移動体又は静止物の位置が遮蔽物の後方に位置していると判定された場合には、S27に進み、合成画像作成部26(図4参照)により、移動体又は静止物の仮想画像と取得された実画像との合成画像を作成してモニタ14に表示する。移動体については、過去の情報から過去の位置そのままに表示しても良いし、S21で推定した移動体の現在の位置に表示しても良い。静止物については、過去に蓄積された位置に表示する。過去とは、交差点に進入する直前の時と、以前通った時の両方を含む。なお、移動体については、過去とは、交差点に進入する直前の時を表す。   When it is determined that the position of the moving object or the stationary object is located behind the shielding object, the process proceeds to S27, and the composite image creating unit 26 (see FIG. 4) determines the virtual image of the moving object or the stationary object. A composite image with the acquired real image is created and displayed on the monitor 14. The moving body may be displayed as it is based on past information, or may be displayed at the current position of the moving body estimated in S21. The stationary object is displayed at the position accumulated in the past. The past includes both the time immediately before entering the intersection and the past time. As for the moving object, the past represents the time immediately before entering the intersection.

S27においては、例えば、図12に示すように、遮蔽物Aの一部分、即ち、後方に移動体や静止物が見えるべき部分を半透明にした仮想画像の遮蔽物Avを表示し、その部分の後方に過去の情報から得られた仮想画像の移動体Vvを表示する。また、図13に示すように、遮蔽物Avの全体を側方にずらして表示し、過去の情報から得られた移動体Vvがはっきり視認出来るようにしても良い。   In S27, for example, as shown in FIG. 12, a part of the shielding object A, that is, the shielding object Av of the virtual image in which the part where the moving object or the stationary object should be visible is made translucent is displayed. The moving body Vv of the virtual image obtained from the past information is displayed behind. Further, as shown in FIG. 13, the entire shielding object Av may be displayed while being shifted laterally so that the moving body Vv obtained from past information can be clearly seen.

次に、本発明の実施形態による作用効果を説明する。
本発明の実施形態による車両用周囲監視装置は、ドライバーから見て前方で左右に広がる領域内の死角領域を監視するようになっており、死角領域の実画像を撮像するように車両の前方部にカメラ2、4、6が設けられ、このカメラ2、4、6により撮像された実画像を記憶装置19に記憶し、カメラ2、4、6の死角領域の画像をカメラ2、4、6により記憶された過去の実画像から仮想画像作成部(仮想画像生成手段)38により仮想画像として生成し、この生成された仮想画像をカメラ2、4、6により撮像された実画像と共にモニタ14に表示する。このように構成された本発明の実施形態においては、カメラ2、4、6の死角領域の画像を記憶された過去の実画像から仮想画像として生成して表示するので、カメラ2、4、6に死角があっても、ドライバーは、自分の死角領域の情報を得ることが出来る。
Next, functions and effects according to the embodiment of the present invention will be described.
The vehicle surroundings monitoring device according to the embodiment of the present invention is configured to monitor a blind spot area in an area that spreads left and right in front of the driver and captures a real image of the blind spot area. Cameras 2, 4, 6 are provided, real images captured by the cameras 2, 4, 6 are stored in the storage device 19, and images of the blind spots of the cameras 2, 4, 6 are stored in the cameras 2, 4, 6. Is generated as a virtual image by the virtual image creation unit (virtual image generation means) 38 from the past real image stored in step S4, and the generated virtual image is displayed on the monitor 14 together with the real image captured by the cameras 2, 4, and 6. indicate. In the embodiment of the present invention configured as described above, the images of the blind spots of the cameras 2, 4, 6 are generated and displayed as virtual images from the stored past real images, so that the cameras 2, 4, 6 are displayed. Even if there is a blind spot, the driver can obtain information on his / her blind spot area.

ここで、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、車両が交差路に差し掛かるとき、車両の前方端に設けられたカメラ2、4、6がその車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像するので、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。   Here, the blind spot area of the driver is a blind spot area around the intersection of the intersection on the front side of the vehicle. When the vehicle approaches the intersection, the cameras 2, 4 and 6 provided at the front end of the vehicle are Since a real image around the intersection of the intersection that can be imaged from the front end of the vehicle is captured, the driver can obtain information on the left and right intersections of the intersection where collision accidents frequently occur, thereby enabling safer driving.

また、本実施形態によれば、カメラ2,4、6により撮像される周囲の見通しの一部を遮断する遮蔽物の存在を遮蔽物検出部44により検出し、遮蔽物が検出されたとき、仮想画像作成部38は、その遮蔽物の向こう側の領域の画像を記憶手段19により記憶された過去の実画像から仮想画像として生成する。従って、遮蔽物の向こう側の領域の画像を、記憶された過去の実画像から仮想画像として生成するので、遮蔽物があっても、ドライバーは死角領域の情報を得ることが出来る。   Further, according to the present embodiment, when the shielding object detecting unit 44 detects the presence of a shielding object that blocks a part of the surrounding line of sight imaged by the cameras 2, 4, and 6, and when the shielding object is detected, The virtual image creation unit 38 generates an image of the area beyond the shielding object as a virtual image from the past real image stored by the storage unit 19. Therefore, since the image of the area beyond the obstacle is generated as a virtual image from the stored past real image, the driver can obtain information on the blind spot area even if there is an obstacle.

また、本実施形態によれば、移動体検出部32が、記憶装置19により記憶された実画像内から移動体を検出し、仮想画像作成部38は、遮蔽物により遮蔽される前の移動体の仮想画像を生成し、合成画像作成部26は、移動体が遮蔽物により遮蔽されたとき、その生成された移動体の仮想画像を実画像に重畳して、モニタ14に表示する。従って、遮蔽物により遮蔽される前の移動体の仮想画像が、移動体が遮蔽物により遮蔽されたときに表示されるので、ドライバーは、衝突する可能性のある移動体の存在を認識することが出来る。   Further, according to the present embodiment, the moving body detection unit 32 detects a moving body from the real image stored in the storage device 19, and the virtual image creation unit 38 moves the moving body before being shielded by the shielding object. When the moving object is shielded by the shielding object, the composite image creating unit 26 superimposes the generated virtual image of the moving object on the real image and displays it on the monitor 14. Therefore, since the virtual image of the moving object before being shielded by the shielding object is displayed when the moving object is shielded by the shielding object, the driver recognizes the existence of the moving object that may collide. I can do it.

また、本実施形態によれば、仮想画像作成部38は、移動体が遮蔽物に遮蔽される直前の位置で表示されるように移動体の仮想画像を生成するので、ドライバーは、衝突する可能性のある移動体の存在を認識することが出来る。   Further, according to the present embodiment, the virtual image creation unit 38 generates a virtual image of the moving body so that the moving body is displayed at a position immediately before the moving body is shielded by the shielding object, so that the driver can collide. It is possible to recognize the existence of a mobile object with sex.

また、本実施形態によれば、移動体検出部32により移動体の移動状態を検出し、移動体位置推定部36により現在の時点における移動体の位置及び大きさを推定し、仮想画像作成部38は、移動体が、移動体位置推定部36により推定された現在の時点における位置及び大きさで表示されるように仮想画像を生成する。従って、移動体が推定された現在の時点における位置及び大きさで仮想画像として表示されるので、より正確に、衝突する可能性のある移動体の位置等を認識することが出来る。   Further, according to the present embodiment, the moving body detecting unit 32 detects the moving state of the moving body, the moving body position estimating unit 36 estimates the position and size of the moving body at the current time point, and the virtual image creating unit 38 generates a virtual image so that the moving object is displayed with the position and size at the current time point estimated by the moving object position estimating unit 36. Therefore, since the moving object is displayed as a virtual image with the estimated position and size at the current time, the position of the moving object that may collide can be recognized more accurately.

また、本実施形態によれば、仮想画像作成部38は、カメラ2、4、6により撮像された実画像内の遮蔽物をその向こう側が見えるように透過させ、合成画像作成部26では、移動体の仮想画像と重畳して、モニタ14にこの仮想画像を表示する。従って、移動体の仮想画像と重畳して、遮蔽物の向こう側が見えるように透過させた遮蔽物の仮想画像が表示されるので、移動体の存在をより効果的に認識することが出来る。   In addition, according to the present embodiment, the virtual image creation unit 38 transmits the shielding object in the real image captured by the cameras 2, 4, and 6 so that the other side can be seen, and the composite image creation unit 26 moves the virtual image. The virtual image is displayed on the monitor 14 so as to be superimposed on the virtual image of the body. Therefore, since the virtual image of the shielding object that is transmitted so that the other side of the shielding object can be seen is superimposed on the virtual image of the moving object, the existence of the moving object can be recognized more effectively.

また、本実施形態によれば、仮想画像作成部38は、カメラ2、4、6により撮像された実画像内の遮蔽物をその向こう側が見えるように本来の位置からずらした位置に仮想画像として生成し、合成画像作成部26では、移動体の仮想画像とこの仮想画像とを並べてモニタ14に表示する。従って、移動体の仮想画像と並べて、遮蔽物の仮想画像が表示されるので、移動体の存在をより効果的に認識することが出来る。   Further, according to the present embodiment, the virtual image creation unit 38 creates a virtual image at a position shifted from the original position so that the other side of the shielding object in the real image captured by the cameras 2, 4, 6 can be seen. Then, the composite image creation unit 26 displays the virtual image of the moving object and the virtual image side by side on the monitor 14. Therefore, since the virtual image of the shielding object is displayed side by side with the virtual image of the moving object, the presence of the moving object can be recognized more effectively.

仮想画像作成部38は、過去の最も近い時点における過去画像或いはそれより以前の過去に車両が通過した時点における過去画像を生成し、死角領域ではその生成された過去画像が表示され、他の領域では実画像撮像手段により撮像された実画像が表示される。従って、ドライバーはより効果的に実画像撮像手段の死角領域の様子(例えば、道路構造や建物の存在など)を認識することが出来る。また、死角領域に過去の最も近い時点における過去画像を表示すれば、その視覚領域の移動体をも認識することが可能である。   The virtual image creation unit 38 generates a past image at the closest point in the past or a past image at a time when the vehicle has passed in the past, and the generated past image is displayed in the blind spot area. Then, the actual image captured by the actual image capturing means is displayed. Therefore, the driver can more effectively recognize the state of the blind spot area of the real image capturing means (for example, the road structure or the presence of a building). Further, if a past image at the closest point in the past is displayed in the blind spot area, it is possible to recognize a moving object in the visual area.

仮想画像作成部38は、以前に車両が通過した時点の静止物を過去画像として生成するので、視覚領域であっても、道路構造や標識などの静止物の様子を把握することが出来る。   Since the virtual image creation unit 38 generates a stationary object at the time when the vehicle has passed previously as a past image, it is possible to grasp the state of a stationary object such as a road structure or a sign even in the visual region.

なお、上述した実施形態においては、移動体として主に車両を想定して説明をしてきたが、移動体としては、四輪車、二輪車、自転車、歩行者を含むようにしても良い。また、静止物としては、停止している四輪車、停止している二輪車、立ち止まっている歩行者や自転車、路側物、建物などが挙げられる。   In the above-described embodiment, the description has been given mainly assuming a vehicle as the moving body, but the moving body may include a four-wheeled vehicle, a two-wheeled vehicle, a bicycle, and a pedestrian. In addition, examples of the stationary object include a stopped four-wheeled vehicle, a stopped two-wheeled vehicle, a stationary pedestrian and bicycle, a roadside object, and a building.

本発明の実施形態による車両用周囲監視装置が適用された車両の全体構成図である。1 is an overall configuration diagram of a vehicle to which a vehicle surrounding monitoring device according to an embodiment of the present invention is applied. 本発明の実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例(a)及び撮像された映像の一例(b)を示す図である。It is a figure which shows an example (a) of the imaging range by the camera of the surroundings monitoring apparatus for vehicles by embodiment of this invention, and an example (b) of the imaged image. 本発明の実施形態による車両用周囲監視装置の内容を説明するための概念図である。It is a conceptual diagram for demonstrating the content of the vehicle periphery monitoring apparatus by embodiment of this invention. 本発明の実施形態による車両用周囲監視装置の制御内容を示すブロック図である。It is a block diagram which shows the control content of the surroundings monitoring apparatus for vehicles by embodiment of this invention. 図5は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。FIG. 5 is an overhead view of the road and the vehicle for explaining the cueing position of the own vehicle. ドライバーによる交差路進入時における運転行動を説明するための図である。It is a figure for demonstrating the driving action at the time of the crossing approach by a driver. 本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像を表示するか否かの処理を示すフローチャートである。It is a flowchart which shows the process of whether the virtual image for blind spot visual recognition of the surroundings monitoring apparatus for vehicles by embodiment of this invention is displayed. 本発明の実施形態による車両用周囲監視装置の死角視認用仮想画像表示処理を示すフローチャートである。It is a flowchart which shows the virtual image display process for blind spot visual recognition of the periphery monitoring apparatus for vehicles by embodiment of this invention. 本発明の実施形態による車両用周囲監視装置を搭載した車両及びカメラの視野範囲と周囲の道路状況を表す俯瞰図である。It is a bird's-eye view showing the field of view and surrounding road conditions of the vehicle and camera on which the vehicle surrounding monitoring device according to the embodiment of the present invention is mounted. 本発明の実施形態による車両用周囲監視装置によりモニタに表示される実画像及び補完画像のパノラマ画像の一例である。It is an example of the panoramic image of the real image and complementary image which are displayed on a monitor by the vehicle periphery monitoring apparatus by embodiment of this invention. 本発明の実施形態による車両用周囲監視装置を搭載した車両及びカメラの視野範囲と周囲の道路状況を表す俯瞰図である。It is a bird's-eye view showing the field of view and surrounding road conditions of the vehicle and camera on which the vehicle surrounding monitoring device according to the embodiment of the present invention is mounted. 本発明の実施形態による車両用周囲監視装置によりモニタに表示される実画像及び仮想画像の合成画像の一例である。It is an example of the composite image of the real image and virtual image which are displayed on a monitor by the vehicle periphery monitoring apparatus by embodiment of this invention. 本発明の実施形態による車両用周囲監視装置によりモニタに表示される実画像及び仮想画像の合成画像の一例である。It is an example of the composite image of the real image and virtual image which are displayed on a monitor by the vehicle periphery monitoring apparatus by embodiment of this invention.

符号の説明Explanation of symbols

1 車両
2、4、6 監視カメラ
10 車速センサ
12 GPS装置
13 ナビゲーション装置
14 画像表示モニタ
18 ECU
19 記憶装置
1 Vehicle 2, 4, 6 Monitoring camera 10 Vehicle speed sensor 12 GPS device 13 Navigation device 14 Image display monitor 18 ECU
19 Storage device

Claims (10)

ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、
上記死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、
この実画像撮像手段により撮像された実画像を記憶する実画像記憶手段と、
上記実画像撮像手段の死角領域の画像を上記実画像記憶手段により記憶された過去の実画像から仮想画像として生成する仮想画像生成手段と、
この仮想画像生成手段により生成された仮想画像を上記実画像撮像手段により撮像された実画像と共に表示する表示手段と、
を有することを特徴とする車両用周囲監視装置。
A vehicle surrounding monitoring device that monitors a blind spot area in an area that extends from side to side in front of a driver,
Real image capturing means provided at the front of the vehicle so as to capture a real image of the blind spot area;
Real image storage means for storing a real image imaged by the real image imaging means;
Virtual image generation means for generating an image of the blind spot area of the real image imaging means as a virtual image from past real images stored by the real image storage means;
Display means for displaying the virtual image generated by the virtual image generating means together with the real image captured by the real image capturing means;
A vehicle surrounding monitoring device characterized by comprising:
上記実画像撮像手段により撮像される周囲の見通しの一部を遮断する遮蔽物の存在を検出する遮蔽物検出手段を有し、
上記仮想画像生成手段は、遮蔽物検出手段により遮蔽物が検出されたとき、その遮蔽物の向こう側の領域の画像を上記実画像記憶手段により記憶された過去の実画像から仮想画像として生成する請求項1に記載の車両用周囲監視装置。
A shielding object detecting means for detecting the presence of a shielding object that blocks a part of the surrounding line of sight imaged by the real image capturing means;
When the shielding object is detected by the shielding object detection means, the virtual image generation means generates an image of the area beyond the shielding object as a virtual image from the past real image stored by the real image storage means. The vehicle surrounding monitoring apparatus according to claim 1.
上記ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、
上記実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する請求項1又は請求項2に記載の車両用周囲監視装置。
The driver's blind spot area is a blind spot area around the intersection of the intersection on the front side of the vehicle,
The said real image imaging means is provided in the front end of a vehicle, and when a vehicle approaches an intersection, the real image around the intersection of the intersection which can be imaged from the front end of the vehicle is imaged. The vehicle surrounding monitoring apparatus according to 2.
さらに、上記実画像記憶手段により記憶された実画像内から移動体を検出する移動体検出手段を有し、
上記仮想画像生成手段は、遮蔽物により遮蔽される前の移動体の仮想画像を生成し、
上記表示手段は、移動体が遮蔽物により遮蔽されたとき、その生成された移動体の仮想画像を表示する請求項1乃至3のいずれか1項に記載の車両用周囲監視装置。
Furthermore, it has a moving body detection means for detecting a moving body from within the real image stored by the real image storage means,
The virtual image generation means generates a virtual image of the moving body before being shielded by the shielding object,
The vehicle surrounding monitoring apparatus according to any one of claims 1 to 3, wherein the display means displays a virtual image of the generated moving body when the moving body is shielded by a shielding object.
上記仮想画像生成手段は、上記移動体が遮蔽物に遮蔽される直前の位置で表示されるように上記移動体の仮想画像を生成する請求項4に記載の車両用周囲監視装置。   The vehicle surrounding monitoring apparatus according to claim 4, wherein the virtual image generation unit generates a virtual image of the moving body so that the moving body is displayed at a position immediately before the moving body is shielded by a shielding object. さらに、上記移動体検出手段により検出された移動体の移動状態を検出し、現在の時点における移動体の位置及び大きさを推定する移動体状態推定手段を有し、
上記仮想画像生成手段は、上記移動体が上記移動体状態推定手段により推定された現在の時点における位置及び大きさで表示されるように仮想画像を生成する請求項4に記載の車両用周囲監視装置。
Furthermore, it has a moving body state estimating means for detecting the moving state of the moving body detected by the moving body detecting means and estimating the position and size of the moving body at the current time point,
5. The vehicle surrounding monitoring according to claim 4, wherein the virtual image generation unit generates the virtual image so that the moving body is displayed at a position and a size at a current time point estimated by the moving body state estimation unit. apparatus.
さらに、上記実画像撮像手段により撮像された実画像内の遮蔽物を、その向こう側が見えるように透過させた第2の仮想画像として生成する第2仮想画像生成手段を有し、
上記表示手段は、上記移動体の仮想画像と重畳してこの第2の仮想画像を表示する請求項3乃至6のいずれか1項に記載の車両用周囲監視装置。
Furthermore, it has a second virtual image generating means for generating a shield in the real image captured by the real image capturing means as a second virtual image that is transmitted so that the other side can be seen.
The vehicle surrounding monitoring apparatus according to any one of claims 3 to 6, wherein the display means displays the second virtual image superimposed on the virtual image of the moving body.
さらに、上記実画像撮像手段により撮像された実画像内の遮蔽物を、その向こう側が見えるように本来の位置からずらした位置に第2の仮想画像として生成する第2仮想画像生成手段を有し、
上記表示手段は、上記移動体の仮想画像とこの第2の仮想画像とを並べて表示する請求項3乃至6のいずれか1項に記載の車両用周囲監視装置。
And a second virtual image generating means for generating a second virtual image at a position shifted from the original position so that the other side of the shielding object in the real image captured by the real image capturing means can be seen. ,
The vehicle surrounding monitoring apparatus according to any one of claims 3 to 6, wherein the display means displays the moving object's virtual image and the second virtual image side by side.
上記仮想画像生成手段は、過去の最も近い時点における過去画像或いはそれより以前の過去に車両が通過した時点における過去画像を生成し、死角領域ではその生成された過去画像を表示し、他の領域では上記実画像撮像手段により撮像された実画像を表示する請求項1乃至3のいずれか1項に記載の車両用周囲監視装置。   The virtual image generation means generates a past image at the closest point in the past or a past image at a time when the vehicle has passed in the past, displays the generated past image in the blind spot area, and displays other areas. The vehicle surrounding monitoring apparatus according to claim 1, wherein an actual image captured by the actual image capturing unit is displayed. 上記仮想画像生成手段は、以前に車両が通過した時点の静止物を過去画像として生成する請求項9に記載の車両用周囲監視装置。   The vehicle surrounding monitoring apparatus according to claim 9, wherein the virtual image generation unit generates a stationary object at a time when the vehicle has passed previously as a past image.
JP2008071870A 2008-03-19 2008-03-19 Surroundings monitoring device for vehicle Abandoned JP2009231937A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008071870A JP2009231937A (en) 2008-03-19 2008-03-19 Surroundings monitoring device for vehicle
US12/350,480 US8054201B2 (en) 2008-03-19 2009-01-08 Surroundings monitoring device for vehicle
EP09003114A EP2103485A3 (en) 2008-03-19 2009-03-04 Surroundings monitoring device, method and computer program product for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008071870A JP2009231937A (en) 2008-03-19 2008-03-19 Surroundings monitoring device for vehicle

Publications (1)

Publication Number Publication Date
JP2009231937A true JP2009231937A (en) 2009-10-08

Family

ID=41246897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008071870A Abandoned JP2009231937A (en) 2008-03-19 2008-03-19 Surroundings monitoring device for vehicle

Country Status (1)

Country Link
JP (1) JP2009231937A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282929A (en) * 2008-05-26 2009-12-03 Fujitsu Ten Ltd Vehicle periphery monitoring device and method
JP2014229100A (en) * 2013-05-23 2014-12-08 日産自動車株式会社 Vehicular display device
JP2015123899A (en) * 2013-12-26 2015-07-06 トヨタ自動車株式会社 Vehicle surrounding-situation estimation apparatus
CN106485194A (en) * 2015-08-28 2017-03-08 现代自动车株式会社 Target Identification Unit, the vehicle with Target Identification Unit and its control method
WO2019044185A1 (en) * 2017-08-28 2019-03-07 株式会社デンソー Video output device, video generation program, and non-transitory tangible computer-readable medium
CN111415529A (en) * 2019-01-04 2020-07-14 丰田自动车工程及制造北美公司 System, method, and computer-readable storage medium for traffic intersection passage
CN113077503A (en) * 2021-03-24 2021-07-06 浙江合众新能源汽车有限公司 Blind area video data generation method, system, device and computer readable medium
CN113246857A (en) * 2020-02-13 2021-08-13 丰田自动车株式会社 Vehicle periphery monitoring device
WO2022009707A1 (en) * 2020-07-07 2022-01-13 株式会社デンソー Control device, control method, and program
WO2024161481A1 (en) * 2023-01-30 2024-08-08 日立Astemo株式会社 Vehicle control device

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282929A (en) * 2008-05-26 2009-12-03 Fujitsu Ten Ltd Vehicle periphery monitoring device and method
JP2014229100A (en) * 2013-05-23 2014-12-08 日産自動車株式会社 Vehicular display device
JP2015123899A (en) * 2013-12-26 2015-07-06 トヨタ自動車株式会社 Vehicle surrounding-situation estimation apparatus
CN106485194B (en) * 2015-08-28 2021-11-16 现代自动车株式会社 Object recognition device, vehicle with object recognition device, and control method thereof
CN106485194A (en) * 2015-08-28 2017-03-08 现代自动车株式会社 Target Identification Unit, the vehicle with Target Identification Unit and its control method
US9905024B2 (en) 2015-08-28 2018-02-27 Hyundai Motor Company Object recognition device, vehicle having the same and method of controlling the same
KR101778558B1 (en) 2015-08-28 2017-09-26 현대자동차주식회사 Object recognition apparatus, vehicle having the same and method for controlling the same
WO2019044185A1 (en) * 2017-08-28 2019-03-07 株式会社デンソー Video output device, video generation program, and non-transitory tangible computer-readable medium
JP2019041334A (en) * 2017-08-28 2019-03-14 株式会社Soken Video output device and video generation program
US11148595B2 (en) 2017-08-28 2021-10-19 Denso Corporation Image output device, and non-transitory tangible computer-readable medium for outputting image around vehicle to display device
CN111415529A (en) * 2019-01-04 2020-07-14 丰田自动车工程及制造北美公司 System, method, and computer-readable storage medium for traffic intersection passage
CN111415529B (en) * 2019-01-04 2022-09-06 丰田自动车工程及制造北美公司 System, method and computer-readable storage medium for traffic intersection passage
CN113246857A (en) * 2020-02-13 2021-08-13 丰田自动车株式会社 Vehicle periphery monitoring device
CN113246857B (en) * 2020-02-13 2023-12-15 丰田自动车株式会社 Vehicle periphery monitoring device
WO2022009707A1 (en) * 2020-07-07 2022-01-13 株式会社デンソー Control device, control method, and program
JPWO2022009707A1 (en) * 2020-07-07 2022-01-13
JP7472983B2 (en) 2020-07-07 2024-04-23 株式会社デンソー Control device, control method and program
CN113077503A (en) * 2021-03-24 2021-07-06 浙江合众新能源汽车有限公司 Blind area video data generation method, system, device and computer readable medium
WO2024161481A1 (en) * 2023-01-30 2024-08-08 日立Astemo株式会社 Vehicle control device

Similar Documents

Publication Publication Date Title
JP2009231937A (en) Surroundings monitoring device for vehicle
JP5099451B2 (en) Vehicle periphery confirmation device
KR100936558B1 (en) Perimeter monitoring apparatus and image display method for vehicle
JP5523448B2 (en) Driving support system, information display device, and information display program
US20150062141A1 (en) Alert display device and alert display method
JP6307895B2 (en) Vehicle periphery monitoring device
JP5597454B2 (en) Abnormal traveling vehicle detection system and road monitoring program
JP2008131648A (en) Method and system for presenting video images
JP2009231938A (en) Surrounding monitoring device for vehicle
JP5054612B2 (en) Approaching object detection device and approaching object detection method
JP2009226978A (en) Vehicular circumference monitoring device
JP5136071B2 (en) Vehicle rear monitoring device and vehicle rear monitoring method
JP2010095202A (en) Room mirror position rear-view camera image display
JP2012153256A (en) Image processing apparatus
JP4848644B2 (en) Obstacle recognition system
JP4986070B2 (en) Ambient monitoring device for vehicles
JP2005202787A (en) Display device for vehicle
JP2011103058A (en) Erroneous recognition prevention device
JP4930432B2 (en) Vehicle periphery monitoring device
JP5083142B2 (en) Vehicle periphery monitoring device
JP5040851B2 (en) Wakimi driving judgment device
JP2008236507A (en) Device for assisting vehicle drive
JP2007230314A (en) Video presenting device and video presenting method
JP2004252550A (en) Driving support device
JP2020109559A (en) Traffic signal recognition method and traffic signal recognition device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111216

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20111228