JP2009211624A - Driving support device, driving support method, and computer program - Google Patents

Driving support device, driving support method, and computer program Download PDF

Info

Publication number
JP2009211624A
JP2009211624A JP2008056298A JP2008056298A JP2009211624A JP 2009211624 A JP2009211624 A JP 2009211624A JP 2008056298 A JP2008056298 A JP 2008056298A JP 2008056298 A JP2008056298 A JP 2008056298A JP 2009211624 A JP2009211624 A JP 2009211624A
Authority
JP
Japan
Prior art keywords
projection area
curve mirror
obstacle
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008056298A
Other languages
Japanese (ja)
Inventor
Atsushi Chosa
厚 帖佐
Masanori Matsuda
将典 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2008056298A priority Critical patent/JP2009211624A/en
Publication of JP2009211624A publication Critical patent/JP2009211624A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a driving support device, a driving support method and computer a program capable of specifically indicating on a map a projection area projected on a curve mirror. <P>SOLUTION: A surrounding environment of a vehicle 2 is imaged by a left camera 4 and a right camera 5 to detect the curve mirror around the vehicle. When the curve mirror is detected, the projection area projected on the curve mirror is specified, and the specified projection area is drawn superposed on a map image of a liquid crystal display 6. When an obstacle is detected within the projection area projected on the curve mirror, information that specifies the position and kind of the obstacle is also displayed on the liquid crystal display 6. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、運転者の視界を補完する運転支援装置、運転支援方法及びコンピュータプログラムに関する。   The present invention relates to a driving support device, a driving support method, and a computer program that complement a driver's field of view.

従来より、車両を運転する運転者の視界を補完する手段の一つとして、カーブミラーがカーブや交差点に多数配置されている。即ち、車両の進行方向前方にカーブが位置する場合には、建物や街路樹等が障害となって進行方向前方にある道路の様子を視認することができない。また、車両の進行方向前方に交差点が位置する場合には、交差点の角にある建物が障害となって右左折後の道路の様子を視認することができない。
例えば、図１１は車両が交差点へと進入する場合に、運転者がフロントガラスから視認可能な前方環境を示した図である。図１１に示す運転者からの視野では、交差点に接続する右側進入道路上に位置する人１０１が建物１０２によって隠れてしまう。従って、運転者からは人１０１を認識することができない。 Conventionally, a large number of curve mirrors are arranged at curves and intersections as one of means for complementing the field of view of a driver who drives a vehicle. That is, when the curve is located in front of the traveling direction of the vehicle, it is impossible to visually recognize the state of the road ahead of the traveling direction due to obstacles such as buildings and roadside trees. Further, when the intersection is located in front of the traveling direction of the vehicle, the building at the corner of the intersection becomes an obstacle and the state of the road after the right or left turn cannot be visually recognized.
For example, FIG. 11 is a diagram showing a front environment that the driver can visually recognize from the windshield when the vehicle enters an intersection. In the field of view from the driver shown in FIG. 11, the person 101 located on the right approach road connected to the intersection is hidden by the building 102. Therefore, the person 101 cannot be recognized from the driver.

そこで、カーブミラーはそのような状況下で運転席から直接視認できないエリアの像を映し出し、運転の視界を補完する。例えば、図１１に示す運転者からの視野では人１０１を直接視認することができないが、左前方に位置するカーブミラー１０３の反射面には人１０１の姿が投影される。従って、運転者はカーブミラー１０３を視認することにより、人１０１の存在を認識することが可能となる。   Therefore, the curve mirror projects an image of an area that cannot be directly viewed from the driver's seat under such circumstances, and complements the driving field of view. For example, the person 101 cannot be directly visually recognized in the field of view from the driver shown in FIG. 11, but the figure of the person 101 is projected on the reflection surface of the curve mirror 103 located on the left front side. Therefore, the driver can recognize the presence of the person 101 by viewing the curve mirror 103.

しかしながら、カーブミラーの設定箇所や当日の天候の影響によって、カーブミラーに写った像が運転者から見え難い状況となる場合があった。そこで、例えば特開２００７−１０２６９１号公報には、車両に設置されたカメラで自車前方を撮像し、自車前方にカーブミラーがある場合には、カーブミラーに投影されている像を拡大して車内のディスプレイに表示する技術について記載されている。
特開２００７−１０２６９１号公報（第５頁〜第７頁、図６、図７） However, due to the setting location of the curve mirror and the influence of the weather on the day, the image reflected on the curve mirror may be difficult for the driver to see. Therefore, for example, in Japanese Patent Application Laid-Open No. 2007-102691, the front of the host vehicle is imaged with a camera installed in the vehicle, and when there is a curve mirror in front of the host vehicle, the image projected on the curve mirror is enlarged. The technology to display on the display in the car is described.
JP 2007-102691 A (pages 5 to 7, FIGS. 6 and 7)

しかしながら、前記した特許文献１に記載された技術では、カーブミラーに投影されている像の内容についてユーザが把握することが可能となるが、その像が車両周辺のどのエリアを投影したものであるかを把握することは難しかった。例えば、カーブミラーに投影された像に障害物が含まれている場合には、その障害物がカーブミラーに投影されるエリア（以下、投影エリアという）内に存在することはユーザが把握できるが、その投影エリアが自車周辺のどのエリアに該当するのかを把握することができないので、ユーザは障害物の位置を特定することができなかった。   However, in the technique described in Patent Document 1 described above, the user can grasp the contents of the image projected on the curve mirror, but the image projects which area around the vehicle. It was difficult to figure out. For example, when an obstacle is included in the image projected on the curve mirror, the user can grasp that the obstacle exists in an area projected on the curve mirror (hereinafter referred to as a projection area). The user cannot determine the position of the obstacle because the projection area cannot be identified as to which area around the vehicle.

本発明は前記従来における問題点を解消するためになされたものであり、カーブミラーに投影される投影エリアを車両周辺の地図画像上に表示することにより、カーブミラーに投影される投影エリアを地図上で具体的に示すことが可能であり、カーブミラーに障害物が写っている場合であっても、その障害物の位置する範囲をユーザに特定させることが可能な運転支援装置、運転支援方法及びコンピュータプログラムを提供することを目的とする。   The present invention has been made to solve the above-described conventional problems, and by displaying the projection area projected on the curve mirror on a map image around the vehicle, the projection area projected on the curve mirror can be mapped. A driving support device and a driving support method that can be specifically shown above, and that allow the user to specify the range where the obstacle is located even when the obstacle is reflected on the curve mirror And to provide a computer program.

前記目的を達成するため本願の請求項１に係る運転支援装置（１）は、車両（２）の現在位置を取得する現在位置取得手段（３）と、車両周辺にあるカーブミラー（４２）を検出するカーブミラー検出手段（３）と、前記現在位置取得手段により取得された前記車両の現在位置に基づいて、前記カーブミラー検出手段によって検出されたカーブミラーに投影される投影エリアを特定する投影エリア特定手段（３）と、車両周辺の地図画像をディスプレイ（６）に表示する地図画像表示手段（３）と、前記投影エリア特定手段で特定された投影エリアを前記ディスプレイに表示された地図画像上に重畳して描画する投影エリア描画手段（３）と、を有することを特徴とする。   In order to achieve the object, the driving support device (1) according to claim 1 of the present application includes a current position acquisition means (3) for acquiring the current position of the vehicle (2), and a curve mirror (42) around the vehicle. A projection for specifying a projection area to be projected on the curve mirror detected by the curve mirror detection means based on the current position of the vehicle acquired by the curve mirror detection means (3) to be detected and the current position acquisition means Area specifying means (3), map image display means (3) for displaying a map image around the vehicle on the display (6), and a map image in which the projection area specified by the projection area specifying means is displayed on the display And a projection area drawing means (3) that draws the image superimposed thereon.

また、請求項２に係る運転支援装置（１）は、請求項１に記載の運転支援装置において、前記投影エリア特定手段（３）で特定された投影エリア内に存在する障害物を検出する障害物検出手段（３）と、前記障害物検出手段によって検出された障害物の位置を算出する障害物位置算出手段（３）と、前記障害物位置算出手段によって算出された前記障害物の位置を案内する障害物案内手段（３）と、を有することを特徴とする。   The driving support device (1) according to claim 2 is the driving support device according to claim 1, wherein the driving support device (1) detects an obstacle present in the projection area specified by the projection area specifying means (3). The obstacle detection means (3), the obstacle position calculation means (3) for calculating the position of the obstacle detected by the obstacle detection means, and the position of the obstacle calculated by the obstacle position calculation means It has an obstacle guide means (3) for guiding.

また、請求項３に係る運転支援装置（１）は、請求項２に記載の運転支援装置において、前記障害物案内手段（３）は、前記ディスプレイ（６）に表示された地図画像上において前記障害物位置算出手段（３）によって算出された前記障害物の位置に対応する箇所に、所定画像を重畳して描画することを特徴とする。   Further, the driving support device (1) according to claim 3 is the driving support device according to claim 2, wherein the obstacle guiding means (3) is arranged on the map image displayed on the display (6). A predetermined image is superimposed and drawn at a location corresponding to the position of the obstacle calculated by the obstacle position calculating means (3).

また、請求項４に係る運転支援装置（１）は、請求項１乃至請求項３のいずれかに記載の運転支援装置において、前記カーブミラー検出手段（３）によって検出されたカーブミラー（４２）に投影されている像を取得する投影像取得手段（３）と、前記地図画像表示手段（３）により表示された前記地図画像とともに、前記投影像取得手段により取得した像を前記ディスプレイに表示する投影像表示手段（３）と、を有することを特徴とする。   A driving support device (1) according to claim 4 is the driving support device according to any one of claims 1 to 3, wherein the curve mirror (42) detected by the curve mirror detection means (3). The image acquired by the projection image acquisition means is displayed on the display together with the map image displayed by the projection image acquisition means (3) for acquiring the image projected on the map and the map image display means (3). And a projected image display means (3).

また、請求項５に係る運転支援方法（１）は、車両（２）の現在位置を取得する現在位置取得ステップ（Ｓ１）と、車両周辺にあるカーブミラー（４２）を検出するカーブミラー検出ステップ（Ｓ４）と、前記現在位置取得ステップにより取得された前記車両の現在位置に基づいて、前記カーブミラー検出ステップによって検出されたカーブミラーに投影される投影エリアを特定する投影エリア特定ステップ（Ｓ７）と、車両周辺の地図画像をディスプレイに表示する地図画像表示ステップ（Ｓ２）と、前記投影エリア特定ステップで特定された投影エリアを前記ディスプレイに表示された地図画像上に重畳して描画する投影エリア描画ステップ（Ｓ９）と、を有することを特徴とする。   The driving support method (1) according to claim 5 includes a current position acquisition step (S1) for acquiring the current position of the vehicle (2), and a curve mirror detection step for detecting a curve mirror (42) around the vehicle. (S4) and a projection area specifying step (S7) for specifying a projection area projected on the curve mirror detected by the curve mirror detection step based on the current position of the vehicle acquired by the current position acquisition step And a map image display step (S2) for displaying a map image around the vehicle on the display, and a projection area for drawing the projection area specified in the projection area specifying step on the map image displayed on the display. And a drawing step (S9).

更に、請求項６に係るコンピュータプログラムは、コンピュータに搭載され、車両（２）の現在位置を取得する現在位置取得機能（Ｓ１）と、車両周辺にあるカーブミラー（４２）を検出するカーブミラー検出機能（Ｓ４）と、前記現在位置取得機能により取得された前記車両の現在位置に基づいて、前記カーブミラー検出機能によって検出されたカーブミラーに投影される投影エリアを特定する投影エリア特定機能（Ｓ７）と、車両周辺の地図画像をディスプレイに表示する地図画像表示機能（Ｓ２）と、前記投影エリア特定機能で特定された投影エリアを前記ディスプレイに表示された地図画像上に重畳して描画する投影エリア描画機能（Ｓ９）と、を実行させることを特徴とする。   Further, the computer program according to claim 6 is mounted on a computer, and a current position acquisition function (S1) for acquiring the current position of the vehicle (2) and a curve mirror detection for detecting a curve mirror (42) around the vehicle. Based on the function (S4) and the current position of the vehicle acquired by the current position acquisition function, a projection area specifying function (S7) for specifying the projection area projected on the curve mirror detected by the curve mirror detection function ), A map image display function (S2) for displaying a map image around the vehicle on the display, and a projection for drawing the projection area specified by the projection area specifying function superimposed on the map image displayed on the display An area drawing function (S9) is executed.

前記構成を有する請求項１に記載の運転支援装置によれば、カーブミラーに投影される投影エリアを車両周辺の地図画像上に表示することにより、カーブミラーに投影される投影エリアを地図上で具体的に示すことが可能となる。従って、カーブミラーに障害物が写っている場合であっても、その障害物の存在する範囲をユーザに特定させることが可能となる。   According to the driving support apparatus according to claim 1 having the above-described configuration, the projection area projected on the curve mirror is displayed on the map by displaying the projection area projected on the curve mirror on the map image around the vehicle. It becomes possible to show concretely. Therefore, even when an obstacle is reflected on the curve mirror, the user can specify the range where the obstacle exists.

また、請求項２に記載の運転支援装置によれば、カーブミラーに投影される投影エリア内に障害物が存在する場合に、その障害物の位置をユーザに案内することが可能となる。従って、建物や街路樹等によって運転者が直接視認できない障害物がある場合であっても、その障害物の位置をユーザに把握させることが可能となる。   According to the driving support apparatus of the second aspect, when an obstacle exists in the projection area projected onto the curve mirror, the position of the obstacle can be guided to the user. Therefore, even when there is an obstacle that cannot be directly recognized by the driver due to buildings, roadside trees, or the like, the user can grasp the position of the obstacle.

また、請求項３に記載の運転支援装置によれば、カーブミラーに投影される投影エリア内に障害物が存在する場合に、その障害物の位置を地図上で具体的に示すことが可能となる。従って、カーブミラーに障害物が写っている場合に、その障害物の位置をユーザに正確に把握させることが可能となる。   Further, according to the driving support device of the third aspect, when there is an obstacle in the projection area projected onto the curve mirror, the position of the obstacle can be specifically shown on the map. Become. Therefore, when an obstacle is reflected on the curve mirror, the user can be made to accurately grasp the position of the obstacle.

また、請求項４に記載の運転支援装置によれば、カーブミラーに投影される投影エリアを車両周辺の地図画像上に表示するとともに、そのカーブミラーに投影されている像をユーザに示すので、よりユーザに理解しやすくカーブミラーに関する情報をユーザに提供することが可能となる。   Further, according to the driving support device of the fourth aspect, the projection area projected on the curve mirror is displayed on the map image around the vehicle, and the image projected on the curve mirror is shown to the user. It becomes possible to provide the user with information on the curve mirror that is easier for the user to understand.

また、請求項５に記載の運転支援方法によれば、カーブミラーに投影される投影エリアを車両周辺の地図画像上に表示することにより、カーブミラーに投影される投影エリアを地図上で具体的に示すことが可能となる。従って、カーブミラーに障害物が写っている場合であっても、その障害物の存在する範囲をユーザに特定させることが可能となる。   According to the driving support method of the fifth aspect, the projection area projected on the curve mirror is displayed on the map image around the vehicle, so that the projection area projected on the curve mirror is specified on the map. It becomes possible to show. Therefore, even when an obstacle is reflected on the curve mirror, the user can specify the range where the obstacle exists.

更に、請求項６に記載のコンピュータプログラムによれば、カーブミラーに投影される投影エリアを車両周辺の地図画像上に表示させることにより、カーブミラーに投影される投影エリアを地図上で具体的に示すことが可能となる。従って、カーブミラーに障害物が写っている場合であっても、その障害物の存在する範囲をユーザに特定させることが可能となる。   Furthermore, according to the computer program of the sixth aspect, the projection area projected on the curve mirror is displayed on the map image around the vehicle, so that the projection area projected on the curve mirror is specifically displayed on the map. It becomes possible to show. Therefore, even when an obstacle is reflected on the curve mirror, the user can specify the range where the obstacle exists.

以下、本発明に係る運転支援装置について具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。
先ず、本実施形態に係る運転支援装置１の概略構成について図１及び図２を用いて説明する。図１は本実施形態に係る運転支援装置１の概略構成図、図２は本実施形態に係る運転支援装置１の制御系を模式的に示すブロック図である。 DETAILED DESCRIPTION Hereinafter, a driving assistance apparatus according to the present invention will be described in detail with reference to the drawings based on an embodiment that is embodied.
First, a schematic configuration of the driving support device 1 according to the present embodiment will be described with reference to FIGS. 1 and 2. FIG. 1 is a schematic configuration diagram of a driving support apparatus 1 according to the present embodiment, and FIG. 2 is a block diagram schematically showing a control system of the driving support apparatus 1 according to the present embodiment.

図１及び図２に示すように、本実施形態に係る運転支援装置１は、車両２に対して設置された運転支援ＥＣＵ（現在位置取得手段、カーブミラー検出手段、投影エリア特定手段、地図画像表示手段、投影エリア描画手段、障害物検出手段、障害物位置算出手段、障害物案内手段、投影像取得手段、投影像表示手段）３と、左方カメラ４と、右方カメラ５と、液晶ディスプレイ６と、カメラパラメータＤＢ７と、画像ＤＢ８と、地図情報ＤＢ９と、駐車支援ＥＣＵ３に接続されたＧＰＳ１０、車速センサ１１、ステアリングセンサ１２、ジャイロセンサ１３等の各種センサで構成されている。   As shown in FIGS. 1 and 2, the driving assistance apparatus 1 according to the present embodiment includes a driving assistance ECU (current position acquisition means, curve mirror detection means, projection area identification means, map image) installed on the vehicle 2. Display means, projection area drawing means, obstacle detection means, obstacle position calculation means, obstacle guide means, projection image acquisition means, projection image display means) 3, left camera 4, right camera 5, and liquid crystal The display 6, the camera parameter DB 7, the image DB 8, the map information DB 9, and various sensors such as a GPS 10, a vehicle speed sensor 11, a steering sensor 12, and a gyro sensor 13 connected to the parking assist ECU 3.

また、運転支援ＥＣＵ（エレクトロニック・コントロール・ユニット）３は、車両２の周辺にあるカーブミラーに投影される投影エリアを特定するとともに、特定した投影エリアを案内する運転支援処理（図３参照）等を行う電子制御ユニットである。尚、運転支援ＥＣＵ３はナビゲーション装置の制御に使用するＥＣＵと兼用してもよい。また、運転支援ＥＣＵ３の詳細な構成については後述する。   Further, the driving support ECU (Electronic Control Unit) 3 specifies a projection area projected on the curved mirror around the vehicle 2 and also provides a driving support process (see FIG. 3) for guiding the specified projection area. It is an electronic control unit that performs. The driving assistance ECU 3 may also be used as an ECU used for controlling the navigation device. The detailed configuration of the driving support ECU 3 will be described later.

左方カメラ４は、例えばＣＣＤ等の固体撮像素子を用いたものであり、車両２の前バンパーの左縁部に取り付けられ、光軸方向を水平より所定角度下方に向けて設置される。また、右方カメラ５は、同じくＣＣＤ等の固体撮像素子を用いたものであり、車両２の前バンパーの右縁部に取り付けられ、光軸方向を水平より所定角度下方に向けて設置される。そして、左方カメラ４及び右方カメラ５は走行時及び停車時に車両２の前方の異なる撮像範囲２１、２２をそれぞれ撮像し、その撮像された撮像画像は画像ＤＢ８に一旦記憶される。その後に、後述のように運転支援ＥＣＵ３は、画像ＤＢ８に記憶された撮像画像から車両周辺にあるカーブミラーを検出し、更に、検出したカーブミラーに投影される投影エリアについても特定する。   The left camera 4 uses, for example, a solid-state imaging device such as a CCD, and is attached to the left edge of the front bumper of the vehicle 2 and installed with the optical axis direction downward from the horizontal by a predetermined angle. Similarly, the right camera 5 uses a solid-state imaging device such as a CCD, is attached to the right edge of the front bumper of the vehicle 2 and is installed with the optical axis direction downward from the horizontal by a predetermined angle. . The left camera 4 and the right camera 5 respectively capture different imaging ranges 21 and 22 in front of the vehicle 2 when traveling and when stopping, and the captured images are temporarily stored in the image DB 8. Thereafter, as will be described later, the driving assistance ECU 3 detects a curve mirror around the vehicle from the captured image stored in the image DB 8, and further specifies a projection area projected on the detected curve mirror.

液晶ディスプレイ６は、車両２の室内のセンターコンソール又はパネル面に備え付けられ、自車周辺の地図画像を表示する。また、本実施形態に係る運転支援装置１では、特に車両周辺にカーブミラーが存在する場合には、そのカーブミラーに投影される投影エリアを地図画像上に重畳して表示する。更に、そのカーブミラーの反射面に投影されている像について、地図画像と併せて表示する。また、カーブミラーに人や車等の障害物が投影されている場合には、その障害物の位置を地図画像上に表示する（図７参照）。尚、液晶ディスプレイ６はナビゲーション装置に使用するものと兼用してもよい。   The liquid crystal display 6 is provided on the center console or the panel surface of the vehicle 2 and displays a map image around the vehicle. Further, in the driving support device 1 according to the present embodiment, particularly when a curve mirror exists around the vehicle, the projection area projected onto the curve mirror is displayed superimposed on the map image. Further, the image projected on the reflecting surface of the curve mirror is displayed together with the map image. If an obstacle such as a person or a car is projected on the curve mirror, the position of the obstacle is displayed on the map image (see FIG. 7). The liquid crystal display 6 may also be used as a navigation device.

また、カメラパラメータＤＢ７は、左方カメラ４及び右方カメラ５に関する各種パラメータが記憶された記憶手段である。例えば本実施形態ではカメラパラメータＤＢ７に記憶される情報として、左方カメラ４及び右方カメラ５の車両２に対する設置位置、設置角度、撮像範囲等が記憶される。そして、運転支援ＥＣＵ３は、カメラパラメータＤＢ７に記憶された各種パラメータを用いて、後述のように左方カメラ４や右方カメラ５で撮像した撮像画像から、カーブミラーの検出やカーブミラーに投影される投影エリアの特定を行う。   The camera parameter DB 7 is a storage unit that stores various parameters related to the left camera 4 and the right camera 5. For example, in this embodiment, as the information stored in the camera parameter DB 7, the installation position, the installation angle, the imaging range, and the like of the left camera 4 and the right camera 5 with respect to the vehicle 2 are stored. Then, the driving assistance ECU 3 uses the various parameters stored in the camera parameter DB 7 to detect the curve mirror and project it on the curve mirror from the captured image captured by the left camera 4 and the right camera 5 as described later. Specify the projection area.

一方、画像ＤＢ８は、左方カメラ４及び右方カメラ５によって撮像された撮像画像を記憶する記憶手段である。そして、運転支援ＥＣＵ３は、画像ＤＢ８に記憶された撮像画像に対して所定の画像処理を施すことにより、車両周辺にあるカーブミラーを検出し、更に、検出したカーブミラーに投影される投影エリアについても特定する。   On the other hand, the image DB 8 is a storage unit that stores captured images captured by the left camera 4 and the right camera 5. Then, the driving assistance ECU 3 performs predetermined image processing on the captured image stored in the image DB 8 to detect the curve mirror around the vehicle, and further, the projection area projected onto the detected curve mirror. Also identify.

地図情報ＤＢ９は、車両周辺の地図を液晶ディスプレイ６に表示するのに必要となる各種地図データが記録されている。具体的には、道路（リンク）形状に関するリンクデータ、ノード点に関するノードデータ、地図、道路、交通情報等の画像を液晶ディスプレイ６に描画するための画像描画データ等から構成されている。尚、地図情報ＤＢ９には予めカーブミラーの設置位置（緯度，経度，高度）、反射面の向き（方位，上下角）、形状、曲率等のカーブミラーに関する情報を記憶する構成としても良い。   The map information DB 9 records various map data necessary for displaying a map around the vehicle on the liquid crystal display 6. Specifically, it is composed of link data related to road (link) shape, node data related to node points, image drawing data for drawing images such as maps, roads and traffic information on the liquid crystal display 6. The map information DB 9 may be configured to store information related to the curve mirror such as the installation position (latitude, longitude, altitude) of the curve mirror, the direction of the reflecting surface (azimuth, vertical angle), shape, curvature, etc. in advance.

また、ＧＰＳ１０は、人工衛星によって発生させられた電波を受信することにより、自車の現在地や現在時刻を検出可能とする。   The GPS 10 can detect the current location and the current time of the vehicle by receiving radio waves generated by an artificial satellite.

また、車速センサ１１は、車両の移動距離や車速を検出する為のセンサであり、車両２の車輪の回転に応じてパルスを発生させ、パルス信号を駐車支援ＥＣＵ３に出力する。そして、運転支援ＥＣＵ３は発生するパルスを計数することにより車輪の回転速度や移動距離を算出する。   The vehicle speed sensor 11 is a sensor for detecting a moving distance and a vehicle speed of the vehicle, generates a pulse according to the rotation of the wheel of the vehicle 2, and outputs a pulse signal to the parking assist ECU 3. Then, the driving assistance ECU 3 calculates the rotational speed and moving distance of the wheels by counting the generated pulses.

また、ステアリングセンサ１２は、ステアリング装置の内部に取り付けられており、ステアリングの回動角を検出可能とするセンサである。
ジャイロセンサ１３は、車両２の旋回角を検出可能とするセンサである。また、ジャイロセンサ１３によって検出された旋回角を積分することにより、自車方位を検出することができる。 The steering sensor 12 is a sensor that is attached to the inside of the steering device and that can detect the turning angle of the steering.
The gyro sensor 13 is a sensor that can detect the turning angle of the vehicle 2. Further, by integrating the turning angle detected by the gyro sensor 13, the vehicle direction can be detected.

次に、運転支援ＥＣＵ３の詳細について図２を用いて説明すると、運転支援ＥＣＵ３はＣＰＵ３１を核として構成されており、ＣＰＵ３１には記憶手段であるＲＯＭ３２及びＲＡＭ３３が接続されている。そして、ＲＯＭ３２には左方カメラ４や右方カメラ５等の制御上必要な各種のプログラム等が格納されている。また、ＲＡＭ３３は後述の運転支援処理プログラム（図３）の他、ＣＰＵ３１で演算された各種データを一時的に記憶しておくメモリである。   Next, the details of the driving assistance ECU 3 will be described with reference to FIG. 2. The driving assistance ECU 3 is configured with the CPU 31 as a core, and a ROM 32 and a RAM 33 which are storage means are connected to the CPU 31. The ROM 32 stores various programs necessary for control of the left camera 4 and the right camera 5 and the like. The RAM 33 is a memory for temporarily storing various data calculated by the CPU 31 in addition to a driving support processing program (FIG. 3) described later.

続いて、前記構成を有する本実施形態に係る運転支援装置１の運転支援ＥＣＵ３が実行する運転支援処理プログラムについて図３に基づき説明する。図３は本実施形態に係る運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは、所定間隔（例えば２００ｍｓｅｃ毎）で繰り返し実行され、自車周辺にあるカーブミラーに関する案内処理を行うプログラムである。尚、以下の図３にフローチャートで示されるプログラムは運転支援ＥＣＵ３が備えているＲＯＭ３２やＲＡＭ３３に記憶されており、ＣＰＵ３１により実行される。   Next, a driving assistance processing program executed by the driving assistance ECU 3 of the driving assistance apparatus 1 according to the present embodiment having the above-described configuration will be described with reference to FIG. FIG. 3 is a flowchart of the driving support processing program according to the present embodiment. Here, the driving support processing program is a program that is repeatedly executed at predetermined intervals (for example, every 200 msec) and performs guidance processing related to the curve mirror around the host vehicle. The program shown in the flowchart of FIG. 3 below is stored in the ROM 32 and RAM 33 provided in the driving support ECU 3 and is executed by the CPU 31.

運転支援処理プログラムでは、先ずステップ（以下、Ｓと略記する）１において、ＣＰＵ３１は、ＧＰＳ１０やジャイロセンサ１３の検出結果に基づいて、自車の現在位置や自車方位等に関する自車情報を取得する。また、地図情報ＤＢ９に記憶された地図情報に基づいて、自車の現在位置を地図上で特定するマップマッチング処理についても行う。尚、上記Ｓ１が現在位置取得手段の処理に相当する。   In the driving support processing program, first, in step (hereinafter abbreviated as S) 1, the CPU 31 obtains own vehicle information related to the current position of the own vehicle, the own vehicle direction, and the like based on the detection results of the GPS 10 and the gyro sensor 13. To do. Further, based on the map information stored in the map information DB 9, map matching processing for specifying the current position of the vehicle on the map is also performed. Note that S1 corresponds to the processing of the current position acquisition unit.

次に、Ｓ２においてＣＰＵ３１は、前記Ｓ１で取得した自車の現在位置や自車方位に基づいて自車周辺の地図画像を地図情報ＤＢ９から抽出し、液晶ディスプレイ６に表示する。また、地図画像上の自車の現在位置に相当する地点には、自車の現在位置を示すマークを描画する。尚、上記Ｓ２が地図画像表示手段の処理に相当する。   Next, in S <b> 2, the CPU 31 extracts a map image around the own vehicle from the map information DB 9 based on the current position and direction of the own vehicle acquired in S <b> 1 and displays the map image on the liquid crystal display 6. In addition, a mark indicating the current position of the vehicle is drawn at a point corresponding to the current position of the vehicle on the map image. Note that S2 corresponds to the processing of the map image display means.

また、Ｓ３においてＣＰＵ３１は、左方カメラ４及び右方カメラ５により車両２の前方環境が撮像された撮像画像をそれぞれ取得する。尚、取得した各撮像画像は画像ＤＢ８に一時的に記憶される。また、上記Ｓ３が投影像取得手段の処理に相当する。   In S <b> 3, the CPU 31 acquires captured images in which the front environment of the vehicle 2 is captured by the left camera 4 and the right camera 5. Each acquired captured image is temporarily stored in the image DB 8. Further, S3 corresponds to the processing of the projection image acquisition unit.

続いて、Ｓ４においてＣＰＵ３１は、前記Ｓ３で取得した撮像画像の画像認識処理を行い、撮像画像内にあるカーブミラーを検出する。具体的には、予めカーブミラーの外形データを地図情報ＤＢ等に記憶しておく。そして、ＣＰＵ３１は、撮像した画像データに対して、ＤＢに記憶されたカーブミラーの外形データを用いた公知のパターンマッチング処理を行うことにより、撮像画像内にあるカーブミラーを検出する。
ここで、図４は交差点に接近する車両の左方カメラ４又は右方カメラ５により撮像された撮像画像４１の一例を示す図である。ＣＰＵ３１が前記Ｓ２において図４に示す撮像画像４１を取得した場合には、撮像画像４１中にカーブミラー４２の画像が含まれているので、前記Ｓ３においてカーブミラー４２が検出される。尚、上記Ｓ４がカーブミラー検出手段の処理に相当する。 Subsequently, in S4, the CPU 31 performs image recognition processing of the captured image acquired in S3, and detects a curve mirror in the captured image. Specifically, the contour data of the curve mirror is stored in advance in the map information DB or the like. And CPU31 detects the curve mirror in a captured image by performing the well-known pattern matching process using the external shape data of the curve mirror memorize | stored in DB with respect to the imaged image data.
Here, FIG. 4 is a diagram illustrating an example of a captured image 41 captured by the left camera 4 or the right camera 5 of the vehicle approaching the intersection. When the CPU 31 acquires the captured image 41 shown in FIG. 4 in S2, the curved mirror 42 is detected in S3 because the image of the curve mirror 42 is included in the captured image 41. Note that S4 corresponds to the processing of the curve mirror detection means.

その後、Ｓ５においてＣＰＵ３１は、前記Ｓ４で実行した画像認識処理の結果、撮像画像内にカーブミラーを検出したか否かを判定する。そして、カーブミラーを検出したと判定された場合（Ｓ５：ＹＥＳ）には、Ｓ６へと移行する。一方、撮像画像内にカーブミラーが検出できなかったと判定された場合（Ｓ５：ＮＯ）には、当該運転支援処理プログラムを終了する。   Thereafter, in S5, the CPU 31 determines whether or not a curve mirror is detected in the captured image as a result of the image recognition process executed in S4. And when it determines with having detected the curve mirror (S5: YES), it transfers to S6. On the other hand, when it is determined that the curve mirror cannot be detected in the captured image (S5: NO), the driving support processing program is terminated.

次に、Ｓ６においてＣＰＵ３１は、カーブミラーに関する情報を取得する。尚、前記Ｓ６で取得される情報としては、（ａ）カーブミラーの設置位置（緯度，経度，高度）、（ｂ）反射面の向き（方位，上下角）、（ｃ）反射面の曲率、（ｄ）反射面の形状がある。そして、本実施形態においてＣＰＵ３１は、前記Ｓ３で取得した各撮像画像に対して画像認識処理を行うことによって、上記（ａ）〜（ｄ）の各情報を取得する。特に、カーブミラーの設置位置に関しては左方カメラ４と右方カメラ５による立体視を行うことにより、その位置を検出する。   Next, in S6, the CPU 31 acquires information about the curve mirror. The information acquired in S6 includes (a) the installation position (latitude, longitude, altitude) of the curve mirror, (b) the direction of the reflecting surface (azimuth, vertical angle), (c) the curvature of the reflecting surface, (D) There is a shape of the reflecting surface. And in this embodiment, CPU31 acquires each information of said (a)-(d) by performing an image recognition process with respect to each captured image acquired by said S3. In particular, the position of the curve mirror is detected by performing stereoscopic viewing with the left camera 4 and the right camera 5.

尚、上記（ａ）〜（ｄ）の各情報については地図情報ＤＢ９に予め記憶する構成としても良い。その場合には、前記Ｓ４の処理でＣＰＵ３１は、地図情報ＤＢ９から（ａ）カーブミラーの設置位置に関する情報を取得することにより、画像認識処理を行うことなくカーブミラーを検出することが可能となる。また、前記Ｓ６の処理においてＣＰＵ３１は、地図情報ＤＢ９から前記Ｓ４で検出したカーブミラーに関する情報を抽出することにより、上記（ａ）〜（ｄ）の各情報を取得することが可能となる。   The information (a) to (d) may be stored in advance in the map information DB 9. In that case, in the process of S4, the CPU 31 can detect the curve mirror without performing the image recognition process by acquiring (a) information on the installation position of the curve mirror from the map information DB 9. . In the process of S6, the CPU 31 can acquire each of the information (a) to (d) by extracting information on the curve mirror detected in S4 from the map information DB 9.

続いて、Ｓ７においてＣＰＵ３１は、前記Ｓ４で検出したカーブミラーに投影される投影エリアを特定する。具体的には、前記Ｓ２で取得した自車の現在位置及び自車方位と、前記Ｓ６で取得したカーブミラーに関する（ａ）〜（ｄ）の各情報と、カメラパラメータＤＢ７に記憶された左方カメラ４及び右方カメラ５に関する各種パラメータとに基づいて、先ず、左方カメラ４でカーブミラー４２を見た場合にカーブミラーに投影されるエリアを算出する。次に、同様にして右方カメラ５でカーブミラー４２を見た場合にカーブミラーに投影されるエリアを算出する。   Subsequently, in S7, the CPU 31 specifies a projection area to be projected onto the curve mirror detected in S4. Specifically, the current position and direction of the vehicle acquired at S2, the information on (a) to (d) regarding the curve mirror acquired at S6, and the left side stored in the camera parameter DB 7 Based on various parameters relating to the camera 4 and the right camera 5, first, an area projected on the curve mirror when the curve mirror 42 is viewed with the left camera 4 is calculated. Next, similarly, an area projected on the curve mirror when the curve mirror 42 is viewed with the right camera 5 is calculated.

例えば、図５及び図６は車両２の進行方向前方に交差点が位置する場合であって、且つ交差点の所定位置にカーブミラー４２が配置されている場合におけるカーブミラー４２の投影エリア４６、４７を示した図である。図５には、左方カメラ４からカーブミラー４２を見た場合の投影エリア４６を示す。図６には、右方カメラ５からカーブミラー４２を見た場合の投影エリア４７を示す。尚、図５及び図６に示すように、左方カメラ４からカーブミラー４２を見た場合の投影エリア４６と、右方カメラ５からカーブミラー４２を見た場合の投影エリア４７は、それぞれ異なる領域となる。そして、投影エリア４６と投影エリア４７とを合わせたエリアを、カーブミラー４２に投影される投影エリアとして特定する。そして、いずれか一方又は両方の投影エリア内に人や車等の障害物４８が存在する場合には、その障害物の位置を後述のように算出することが可能となる。   For example, FIGS. 5 and 6 show the projection areas 46 and 47 of the curve mirror 42 when the intersection is located in front of the traveling direction of the vehicle 2 and the curve mirror 42 is arranged at a predetermined position of the intersection. FIG. FIG. 5 shows a projection area 46 when the curve mirror 42 is viewed from the left camera 4. FIG. 6 shows a projection area 47 when the curve mirror 42 is viewed from the right camera 5. As shown in FIGS. 5 and 6, the projection area 46 when the curve mirror 42 is viewed from the left camera 4 and the projection area 47 when the curve mirror 42 is viewed from the right camera 5 are different from each other. It becomes an area. Then, an area obtained by combining the projection area 46 and the projection area 47 is specified as a projection area projected onto the curve mirror 42. When an obstacle 48 such as a person or a vehicle exists in one or both projection areas, the position of the obstacle can be calculated as described later.

次に、Ｓ８においてＣＰＵ３１は、前記Ｓ３で取得した左方カメラ４で撮像した撮像画像と右方カメラ５で撮像した撮像画像とに基づいて、液晶ディスプレイ６に表示する為のカーブミラーの反射面に投影されている像（以下、鏡像という）を生成する。
具体的に、前記Ｓ８の処理でＣＰＵ３１は、以下の（Ａ）〜（Ｅ）の処理を実行する。
（Ａ）前記Ｓ３で取得した左方カメラ４で撮像した撮像画像と右方カメラ５で撮像した撮像画像から、前記Ｓ４で検出したカーブミラーの反射面部分の画像をそれぞれ切り出す。尚、以下では左方カメラ４で撮像した撮像画像から切り出された画像を画像Ａ、右方カメラ５で撮像した撮像画像から切り出された画像を画像Ｂとする。
（Ｂ）画像Ａ及び画像Ｂについて反射面の曲率によって生じる歪みを補正する。尚、この補正は前記Ｓ６で取得したカーブミラーの反射面の曲率に基づいて行う。
（Ｃ）画像Ａ及び画像Ｂについて左方カメラ４及び右方カメラ５とカーブミラーの位置関係に基づいて生じる歪みを補正する。尚、この補正は自車の現在位置と前記Ｓ６で取得したカーブミラーの設置位置に基づいて行う。
（Ｄ）歪みを補正した画像Ａ及び画像Ｂをそれぞれ左右反転させる。尚、以下では画像Ａを左右反転させた画像を画像Ａ´、画像Ｂを左右反転させた画像を画像Ｂ´とする。
（Ｅ）左方カメラ４及び右方カメラ５とカーブミラーの位置関係、並びに画像Ａ´及び画像Ｂ´中に含まれる特徴点の座標に基づいて、画像Ａ´と画像Ｂ´を合成する。
上記（Ａ）〜（Ｅ）の処理を実行することにより、液晶ディスプレイ６に表示するカーブミラーの鏡像が生成される。 Next, in S8, the CPU 31 reflects the curved mirror reflecting surface to be displayed on the liquid crystal display 6 based on the captured image captured by the left camera 4 and the captured image captured by the right camera 5 acquired in S3. An image projected on the screen (hereinafter referred to as a mirror image) is generated.
Specifically, in the process of S8, the CPU 31 executes the following processes (A) to (E).
(A) From the captured image captured by the left camera 4 and the captured image captured by the right camera 5 acquired in S3, an image of the reflection surface portion of the curve mirror detected in S4 is cut out. Hereinafter, an image cut out from a captured image captured by the left camera 4 is referred to as an image A, and an image extracted from a captured image captured by the right camera 5 is referred to as an image B.
(B) For image A and image B, distortion caused by the curvature of the reflecting surface is corrected. This correction is performed based on the curvature of the reflecting surface of the curved mirror acquired in S6.
(C) For image A and image B, the distortion generated based on the positional relationship between the left camera 4 and right camera 5 and the curve mirror is corrected. This correction is performed based on the current position of the vehicle and the installation position of the curve mirror acquired in S6.
(D) The image A and the image B whose distortion has been corrected are reversed horizontally. Hereinafter, an image obtained by inverting the image A horizontally is referred to as an image A ′, and an image obtained by inverting the image B horizontally is referred to as an image B ′.
(E) The image A ′ and the image B ′ are synthesized based on the positional relationship between the left camera 4 and the right camera 5 and the curve mirror, and the coordinates of the feature points included in the images A ′ and B ′.
By executing the processes (A) to (E), a mirror image of the curve mirror displayed on the liquid crystal display 6 is generated.

続いて、Ｓ９においてＣＰＵ３１は、前記Ｓ７で特定したカーブミラーに投影される投影エリアを液晶ディスプレイ６に表示する。具体的には、液晶ディスプレイ６に表示されている地図画像の投影エリアに相当する箇所に、投影エリアを示すマークや文字を重畳して描画する。また、Ｓ９においてＣＰＵ３１は、前記Ｓ８で生成したカーブミラーの鏡像を液晶ディスプレイ６に表示する。ここで、図７は図５及び図６に示す状況下で、車両２が交差点の所定位置にあるカーブミラー４２を検出した場合に、液晶ディスプレイ６に表示される走行案内画面５１を示した図である。   Subsequently, in S9, the CPU 31 displays on the liquid crystal display 6 the projection area projected on the curved mirror specified in S7. Specifically, a mark or a character indicating the projection area is superimposed and drawn at a location corresponding to the projection area of the map image displayed on the liquid crystal display 6. In S9, the CPU 31 displays a mirror image of the curve mirror generated in S8 on the liquid crystal display 6. Here, FIG. 7 is a diagram showing a travel guide screen 51 displayed on the liquid crystal display 6 when the vehicle 2 detects the curve mirror 42 at a predetermined position of the intersection under the situation shown in FIGS. 5 and 6. It is.

図７に示すように、走行案内画面５１は、自車周辺の地図画像を表示する左画面５２と、カーブミラーの鏡像を拡大して表示する右画面５３の２つの表示領域から構成される。
そして、左画面５２は、自車の現在位置を示す自車位置マーク６１と、カーブミラー４２の設置位置を示すミラーマーク６２と、左方カメラ４からカーブミラー４２を見た場合にカーブミラー４２に投影される投影エリア４６（図５）を示す第１エリアマーク６３と、右方カメラ５からカーブミラー４２を見た場合にカーブミラー４２に投影される投影エリア４７（図６）を示す第２エリアマーク６４と、投影エリア内に存在する障害物４８の位置を示す障害物マーク６５とから構成される。尚、障害物マーク６５については後述する。
一方、右画面５３には、前記Ｓ８で生成されたカーブミラーの鏡像の画像６６が拡大されて表示される。 As shown in FIG. 7, the travel guidance screen 51 is composed of two display areas: a left screen 52 that displays a map image around the host vehicle, and a right screen 53 that displays a magnified mirror image of the curve mirror.
The left screen 52 displays a vehicle position mark 61 indicating the current position of the vehicle, a mirror mark 62 indicating the installation position of the curve mirror 42, and the curve mirror 42 when the curve mirror 42 is viewed from the left camera 4. A first area mark 63 indicating a projection area 46 (FIG. 5) projected onto the first area mark 63 and a projection area 47 (FIG. 6) projected onto the curve mirror 42 when the curve mirror 42 is viewed from the right camera 5. A two-area mark 64 and an obstacle mark 65 indicating the position of the obstacle 48 existing in the projection area are formed. The obstacle mark 65 will be described later.
On the other hand, on the right screen 53, the mirror image 66 of the curved mirror generated in S8 is enlarged and displayed.

従って、ユーザは液晶ディスプレイ６に表示された走行案内画面５１を参照することによって、自車周辺にカーブミラー４２が設置されていること、並びに、そのカーブミラー４２の反射面に投影されている像の内容を明確に認識することが可能となる。また、第１エリアマーク６３及び第２エリアマーク６４を参照することによって、カーブミラー４２に投影されている像が、どのエリアを投影したものであるのかを地図上で容易に把握することが可能となる。   Therefore, the user refers to the travel guide screen 51 displayed on the liquid crystal display 6 to indicate that the curve mirror 42 is installed around the vehicle and the image projected on the reflection surface of the curve mirror 42. It becomes possible to clearly recognize the contents of. Further, by referring to the first area mark 63 and the second area mark 64, it is possible to easily grasp on the map which area the image projected on the curve mirror 42 is projected. It becomes.

尚、その後に自車が左方カメラ４及び右方カメラ５によってカーブミラー４２が検出できなくなった場合には、自車周辺の地図画像のみを表示した走行案内画面へと表示内容が戻される（Ｓ２）。また、上記Ｓ９が投影エリア描画手段及び投影像表示手段の処理に相当する。   If the car mirror cannot be detected by the left camera 4 and the right camera 5 thereafter, the display content is returned to the driving guidance screen displaying only the map image around the car ( S2). Further, S9 corresponds to the processing of the projection area drawing unit and the projection image display unit.

次に、Ｓ１０においてＣＰＵ３１は、前記Ｓ３で取得した左方カメラ４で撮像した撮像画像及び右方カメラ５で撮像した撮像画像の画像認識処理を行い、カーブミラーの反射面に投影された障害物を検出する。また、障害物の種類についても特定する。
具体的に、前記Ｓ１０の処理でＣＰＵ３１は、以下の（Ａ）〜（Ｅ）の処理を実行する。
（Ａ）前記Ｓ３で取得した左方カメラ４で撮像した撮像画像と右方カメラ５で撮像した撮像画像から、前記Ｓ４で検出したカーブミラーの反射面部分の画像をそれぞれ切り出す。尚、以下では左方カメラ４で撮像した撮像画像から切り出された画像を画像Ａ、右方カメラ５で撮像した撮像画像から切り出された画像を画像Ｂとする。
（Ｂ）画像Ａ及び画像Ｂ中の路面と障害物（例えば、車両、歩行者等）を輝度差に基づいて輝度補正を行う。
（Ｃ）障害物を画像Ａ及び画像Ｂから分離する２値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と障害物との境界線を検出する。
（Ｄ）検出された障害物の画像サイズを障害物の距離に応じて定まる拡大率または縮小率で、拡大又は縮小を行う。
（Ｅ）サイズを調整した障害物の画像を、ＤＢ等に記憶された各テンプレート画像とのパターンマッチングを施すことにより、鏡像中に検出された障害物の種類を算定する。
そして、上記（Ａ）〜（Ｅ）の処理によってカーブミラーの反射面に投影された障害物が検出された場合には、前記Ｓ７で特定された投影エリア内に障害物が存在することとなる。尚、上記Ｓ１０が障害物検出手段の処理に相当する。 Next, in S10, the CPU 31 performs image recognition processing of the captured image captured by the left camera 4 and the captured image captured by the right camera 5 acquired in S3, and the obstacle projected on the reflection surface of the curve mirror. Is detected. The type of obstacle is also specified.
Specifically, in the process of S10, the CPU 31 executes the following processes (A) to (E).
(A) From the captured image captured by the left camera 4 and the captured image captured by the right camera 5 acquired in S3, an image of the reflection surface portion of the curve mirror detected in S4 is cut out. Hereinafter, an image cut out from a captured image captured by the left camera 4 is referred to as an image A, and an image extracted from a captured image captured by the right camera 5 is referred to as an image B.
(B) The luminance correction is performed on the road surface and the obstacle (for example, a vehicle, a pedestrian, etc.) in the images A and B based on the luminance difference.
(C) Detecting the boundary line between the road surface and the obstacle by performing binarization processing for separating the obstacle from the images A and B, geometric processing for correcting distortion, smoothing processing for removing image noise, etc. To do.
(D) The image size of the detected obstacle is enlarged or reduced at an enlargement ratio or reduction ratio determined according to the distance of the obstacle.
(E) The type of the obstacle detected in the mirror image is calculated by performing pattern matching between the image of the obstacle whose size has been adjusted and each template image stored in the DB or the like.
When an obstacle projected on the reflecting surface of the curve mirror is detected by the processes (A) to (E), an obstacle exists in the projection area specified in S7. . Note that S10 corresponds to the processing of the obstacle detection means.

続いて、Ｓ１１においてＣＰＵ３１は、前記Ｓ１０の検出結果に基づいて、カーブミラーの鏡像内で障害物が検出されたか否か、即ち、前記Ｓ７で特定された投影エリア内に障害物が存在するか否かを判定する。   Subsequently, in S11, the CPU 31 determines whether an obstacle is detected in the mirror image of the curved mirror based on the detection result in S10, that is, whether there is an obstacle in the projection area specified in S7. Determine whether or not.

そして、投影エリア内に障害物が存在すると判定された場合（Ｓ１１：ＹＥＳ）には、Ｓ１２へと移行する。一方、投影エリア内に障害物が存在しないと判定された場合（Ｓ１１：ＮＯ）には、当該運転支援処理プログラムを終了する。   And when it determines with an obstruction existing in a projection area (S11: YES), it transfers to S12. On the other hand, when it is determined that there is no obstacle in the projection area (S11: NO), the driving support processing program is terminated.

Ｓ１２においてＣＰＵ３１は、前記Ｓ１０で検出した障害物の位置（緯度，経度）を算出する。具体的には、左方カメラ４と右方カメラ５による立体視を行うことにより、その位置を算出する。尚、上記Ｓ１２が障害物位置算出手段の処理に相当する。   In S12, the CPU 31 calculates the position (latitude, longitude) of the obstacle detected in S10. Specifically, the position is calculated by performing stereoscopic viewing with the left camera 4 and the right camera 5. Note that S12 corresponds to the processing of the obstacle position calculation means.

その後、Ｓ１３においてＣＰＵ３１は、前記Ｓ１２で算出した障害物の位置に基づいて、障害物の位置と種類を特定する情報を液晶ディスプレイ６に表示する。具体的には、液晶ディスプレイ６に表示されている地図画像上の障害物の位置に相当する箇所に、障害物を示すマークや文字を重畳して描画する。
例えば、図５及び図６に示すように、投影エリア４６、４７内に障害物４８が存在する場合には、先ずＳ１２で障害物４８の位置（緯度，経度）が算出される。そして、図７に示す走行案内画面５１の左画面５２において、算出された障害物４８の位置に対応する箇所に障害物マーク６５を表示する。尚、障害物マーク６５は、検出した障害物の種類に基づいてその形を変更することが望ましい。例えば、障害物として人を検出した場合には、人型のマークとし、障害物として車を検出した場合には、車型のマークとする。 Thereafter, in S13, the CPU 31 displays information specifying the position and type of the obstacle on the liquid crystal display 6 based on the position of the obstacle calculated in S12. Specifically, a mark or a character indicating an obstacle is superimposed and drawn at a position corresponding to the position of the obstacle on the map image displayed on the liquid crystal display 6.
For example, as shown in FIGS. 5 and 6, when the obstacle 48 exists in the projection areas 46 and 47, first, the position (latitude and longitude) of the obstacle 48 is calculated in S12. Then, an obstacle mark 65 is displayed at a location corresponding to the calculated position of the obstacle 48 on the left screen 52 of the travel guidance screen 51 shown in FIG. The shape of the obstacle mark 65 is preferably changed based on the type of the detected obstacle. For example, when a person is detected as an obstacle, a human-type mark is used. When a car is detected as an obstacle, a vehicle-type mark is used.

従って、ユーザは液晶ディスプレイ６に表示された走行案内画面５１を参照することによって、カーブミラー４２の反射面に障害物４８が投影されていることを認識することが可能となる。また、カーブミラー４２に投影されている障害物４８が、具体的にどの地点に存在するかを地図上で容易に把握することが可能となる。尚、上記Ｓ１３が障害物案内手段の処理に相当する。   Therefore, the user can recognize that the obstacle 48 is projected on the reflection surface of the curve mirror 42 by referring to the travel guide screen 51 displayed on the liquid crystal display 6. In addition, it is possible to easily grasp on the map where the obstacle 48 projected on the curve mirror 42 specifically exists. Note that S13 corresponds to the processing of the obstacle guide means.

尚、上記実施形態では、車両２の進行方向前方に交差点が位置する場合であって、且つ交差点の所定位置にカーブミラーが配置されている場合について説明したが、車両２の進行方向前方にカーブが位置する場合であって、且つカーブ入口にカーブミラーが配置されている場合についても上記実施形態と同様にカーブミラーに関する案内を行うことが可能となる。   In the above embodiment, the case where the intersection is located in front of the traveling direction of the vehicle 2 and the curve mirror is arranged at a predetermined position of the intersection has been described. In the case where the curve mirror is located and the curve mirror is arranged at the entrance of the curve, guidance regarding the curve mirror can be performed as in the above embodiment.

例えば、以下の図８〜図１０には、車両２の進行方向前方にカーブが位置する場合であって、且つカーブ入口にあるカーブミラー８１を検出した場合のカーブミラーに関する案内例を示す。
この場合において、前記Ｓ７でＣＰＵ３１はカーブミラー８１に投影される投影エリアを特定する。尚、具体的な特定方法については既に説明したので省略する。図８は左方カメラ４からカーブ入口にあるカーブミラー８１を見た場合の投影エリア８２を示す。図９には、右方カメラ５からカーブミラー８１を見た場合の投影エリア８３を示す。
そして、前記Ｓ９でＣＰＵ３１は、特定された投影エリアに基づいてカーブミラー８１に関する案内を行う。図１０は図５及び図６に示す状況下で、車両２がカーブ入口にあるカーブミラー８１を検出した場合に、液晶ディスプレイ６に表示される走行案内画面９１を示した図である。 For example, FIGS. 8 to 10 below show guidance examples regarding the curve mirror when the curve is located in the forward direction of the vehicle 2 and when the curve mirror 81 at the curve entrance is detected.
In this case, the CPU 31 specifies a projection area projected on the curve mirror 81 in S7. Since a specific specifying method has already been described, a description thereof will be omitted. FIG. 8 shows a projection area 82 when the curved mirror 81 at the entrance of the curve is viewed from the left camera 4. FIG. 9 shows a projection area 83 when the curve mirror 81 is viewed from the right camera 5.
In S9, the CPU 31 provides guidance regarding the curve mirror 81 based on the specified projection area. FIG. 10 is a diagram showing a travel guidance screen 91 displayed on the liquid crystal display 6 when the vehicle 2 detects the curve mirror 81 at the curve entrance under the situation shown in FIGS. 5 and 6.

図１０に示すように、走行案内画面９１は、走行案内画面５１と同様に自車周辺の地図画像を表示する左画面９２と、カーブミラーの鏡像を拡大して表示する右画面９３の２つの表示領域から構成される。
そして、左画面９２は、自車の現在位置を示す自車位置マーク９４と、カーブミラー８１の設置位置を示すミラーマーク９５と、左方カメラ４からカーブミラー８１を見た場合にカーブミラー８１に投影される投影エリア８２（図８）を示す第１エリアマーク９６と、右方カメラ５からカーブミラー８１を見た場合にカーブミラー８１に投影される投影エリア８３（図９）を示す第２エリアマーク９７と、投影エリア内に存在する障害物８４の位置を示す障害物マーク９８とから構成される。
一方、右画面９３には、前記Ｓ８で生成されたカーブミラーの鏡像の画像９９が拡大されて表示される。 As shown in FIG. 10, the travel guide screen 91 includes two screens, a left screen 92 that displays a map image around the vehicle, and a right screen 93 that displays a magnified mirror image of the curve mirror, like the travel guide screen 51. It consists of a display area.
The left screen 92 displays a vehicle position mark 94 indicating the current position of the vehicle, a mirror mark 95 indicating the installation position of the curve mirror 81, and the curve mirror 81 when the curve mirror 81 is viewed from the left camera 4. A first area mark 96 indicating a projection area 82 (FIG. 8) to be projected onto the first and a projection area 83 (FIG. 9) indicating the projection area 83 (FIG. 9) projected onto the curve mirror 81 when the right mirror 5 views the curve mirror 81. A two-area mark 97 and an obstacle mark 98 indicating the position of the obstacle 84 existing in the projection area are formed.
On the other hand, on the right screen 93, the mirror image 99 of the curved mirror generated in S8 is enlarged and displayed.

そして、ユーザは液晶ディスプレイ６に表示された走行案内画面９１を参照することによって、自車周辺にカーブミラー８１が設置されていること、並びに、そのカーブミラー８１の反射面に投影されている像の内容を明確に認識することが可能となる。また、第１エリアマーク９６及び第２エリアマーク９７を参照することによって、カーブミラー８１に投影されている像が、どのエリアを投影したものであるのかを地図上で容易に把握することが可能となる。更に、カーブミラー８１の反射面に障害物８４が投影されている場合には、障害物８４が具体的にどの地点に存在するかを地図上で容易に把握することが可能となる。   Then, the user refers to the travel guide screen 91 displayed on the liquid crystal display 6, so that the curve mirror 81 is installed around the vehicle, and the image projected on the reflection surface of the curve mirror 81. It becomes possible to clearly recognize the contents of. Further, by referring to the first area mark 96 and the second area mark 97, it is possible to easily grasp on the map which area the image projected on the curve mirror 81 is projected. It becomes. Furthermore, when the obstacle 84 is projected on the reflection surface of the curve mirror 81, it is possible to easily grasp on the map where the obstacle 84 is specifically located.

以上詳細に説明した通り、本実施形態に係る運転支援装置１、運転支援装置１による運転支援方法及び運転支援装置１で実行されるコンピュータプログラムでは、左方カメラ４及び右方カメラ５によって車両２の周囲環境を撮像するとともに、車両周辺にあるカーブミラーを検出し（Ｓ４）、カーブミラーが検出された場合には、そのカーブミラーに投影される投影エリアを特定し（Ｓ７）、特定された投影エリアを液晶ディスプレイ６の地図画像上に重畳して描画する（Ｓ９）ので、カーブミラーに投影される投影エリアを地図上で具体的に示すことが可能となる。従って、カーブミラーに障害物が写っている場合であっても、その障害物の存在する範囲をユーザに特定させることが可能となる。
また、検出したカーブミラーの反射面に投影される像を、左方カメラ４及び右方カメラ５の撮像画像から生成し（Ｓ８）、地図画像とともに液晶ディスプレイ６に拡大して表示するので、よりユーザに理解しやすくカーブミラーに関する情報をユーザに提供することが可能となる。
また、特にカーブミラーに投影される投影エリア内に障害物が検出された場合には、障害物の位置を算出し（Ｓ１２）、算出された障害物の位置に基づいて、障害物の位置と種類を特定する情報を液晶ディスプレイ６に表示する（Ｓ１３）ので、カーブミラーに写る障害物の位置を地図上で案内することが可能となる。従って、カーブミラーに障害物が写っている場合に、その障害物の位置をユーザに正確に把握させることが可能となる。 As described above in detail, in the driving support device 1 according to the present embodiment, the driving support method by the driving support device 1 and the computer program executed by the driving support device 1, the vehicle 2 is operated by the left camera 4 and the right camera 5. The surrounding area of the vehicle is imaged, and a curved mirror around the vehicle is detected (S4). If a curved mirror is detected, the projection area projected on the curved mirror is identified (S7) Since the projection area is drawn by being superimposed on the map image of the liquid crystal display 6 (S9), the projection area projected on the curve mirror can be specifically shown on the map. Therefore, even when an obstacle is reflected on the curve mirror, the user can specify the range where the obstacle exists.
Further, the image projected on the reflection surface of the detected curve mirror is generated from the captured images of the left camera 4 and the right camera 5 (S8), and is enlarged and displayed on the liquid crystal display 6 together with the map image. It is possible to provide the user with information related to the curved mirror that is easy for the user to understand.
Further, particularly when an obstacle is detected in the projection area projected onto the curve mirror, the position of the obstacle is calculated (S12), and the position of the obstacle is calculated based on the calculated position of the obstacle. Since the information specifying the type is displayed on the liquid crystal display 6 (S13), it is possible to guide the position of the obstacle reflected on the curve mirror on the map. Therefore, when an obstacle is reflected on the curve mirror, the user can be made to accurately grasp the position of the obstacle.

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では左方カメラ４と右方カメラ５の２台のカメラを用いて、車両の周囲環境を撮像することとしているが、カメラを１台のみ用いた構成としても良い。また、カメラを３台以上用いた構成としても良い。 Note that the present invention is not limited to the above-described embodiment, and various improvements and modifications can be made without departing from the scope of the present invention.
For example, in this embodiment, the surrounding environment of the vehicle is imaged using two cameras, the left camera 4 and the right camera 5, but a configuration using only one camera may be used. Moreover, it is good also as a structure using three or more cameras.

また、スピーカを用いた音声案内によって、カーブミラーに写る障害物の位置をユーザに案内するようにしても良い。   Moreover, you may make it guide a user the position of the obstruction reflected on a curve mirror by audio | voice guidance using a speaker.

本実施形態に係る運転支援装置の概略構成図である。It is a schematic structure figure of a driving support device concerning this embodiment. 本実施形態に係る運転支援装置の制御系を模式的に示すブロック図である。It is a block diagram which shows typically the control system of the driving assistance device concerning this embodiment. 本実施形態に係る運転支援処理プログラムのフローチャートである。It is a flowchart of the driving assistance processing program which concerns on this embodiment. 交差点に接近する車両の左方カメラ又は右方カメラにより撮像された撮像画像の一例を示す図である。It is a figure which shows an example of the captured image imaged with the left camera or right camera of the vehicle which approaches an intersection. 左方カメラから交差点の所定位置に設置されたカーブミラーを見た場合の投影エリアを示した図である。It is the figure which showed the projection area at the time of seeing the curve mirror installed in the predetermined position of the intersection from the left camera. 右方カメラから交差点の所定位置に設置されたカーブミラーを見た場合の投影エリアを示した図である。It is the figure which showed the projection area at the time of seeing the curve mirror installed in the predetermined position of the intersection from the right camera. 車両の進行方向前方に交差点が位置する場合であって、且つ交差点の所定位置に設置されたカーブミラーを検出した場合に、液晶ディスプレイに表示される走行案内画面を示した図である。It is the figure which showed the driving | running | working guidance screen displayed on a liquid crystal display, when an intersection is located ahead of the advancing direction of a vehicle, and when the curve mirror installed in the predetermined position of an intersection is detected. 左方カメラからカーブ入口に設置されたカーブミラーを見た場合の投影エリアを示した図である。It is the figure which showed the projection area at the time of seeing the curve mirror installed in the curve entrance from the left camera. 右方カメラからカーブ入口に設置されたカーブミラーを見た場合の投影エリアを示した図である。It is the figure which showed the projection area at the time of seeing the curve mirror installed in the curve entrance from the right camera. 車両の進行方向前方にカーブが位置する場合であって、且つカーブ入口に設置されたカーブミラーを検出した場合に、液晶ディスプレイに表示される走行案内画面を示した図である。It is the figure which showed the driving | running | working guidance screen displayed on a liquid crystal display, when a curve is located ahead of the advancing direction of a vehicle, and when the curve mirror installed in the curve entrance is detected. 車両が交差点へと進入する場合に、運転者がフロントガラスから視認可能な前方環境を示した図である。It is the figure which showed the front environment which a driver | operator can visually recognize from a windshield when a vehicle approachs an intersection.

符号の説明Explanation of symbols

１ 運転支援装置
２ 車両
３ 運転支援ＥＣＵ
３１ ＣＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
４２ カーブミラー
４６、４７ 投影エリア
４８ 障害物
1 driving support device 2 vehicle 3 driving support ECU
31 CPU
32 ROM
33 RAM
42 Curve mirror 46, 47 Projection area 48 Obstacle

Claims (6)

車両の現在位置を取得する現在位置取得手段と、
車両周辺にあるカーブミラーを検出するカーブミラー検出手段と、
前記現在位置取得手段により取得された前記車両の現在位置に基づいて、前記カーブミラー検出手段によって検出されたカーブミラーに投影される投影エリアを特定する投影エリア特定手段と、
車両周辺の地図画像をディスプレイに表示する地図画像表示手段と、
前記投影エリア特定手段で特定された投影エリアを前記ディスプレイに表示された地図画像上に重畳して描画する投影エリア描画手段と、を有することを特徴とする運転支援装置。 Current position acquisition means for acquiring the current position of the vehicle;
A curve mirror detection means for detecting a curve mirror around the vehicle;
A projection area specifying means for specifying a projection area projected on the curve mirror detected by the curve mirror detection means based on the current position of the vehicle acquired by the current position acquisition means;
Map image display means for displaying a map image around the vehicle on a display;
And a projection area drawing means for drawing the projection area specified by the projection area specifying means by superimposing the projection area on the map image displayed on the display. 前記投影エリア特定手段で特定された投影エリア内に存在する障害物を検出する障害物検出手段と、
前記障害物検出手段によって検出された障害物の位置を算出する障害物位置算出手段と、
前記障害物位置算出手段によって算出された前記障害物の位置を案内する障害物案内手段と、を有することを特徴とする請求項１に記載の運転支援装置。 Obstacle detection means for detecting an obstacle present in the projection area specified by the projection area specifying means;
Obstacle position calculating means for calculating the position of the obstacle detected by the obstacle detecting means;
The driving support apparatus according to claim 1, further comprising obstacle guide means for guiding the position of the obstacle calculated by the obstacle position calculation means. 前記障害物案内手段は、前記ディスプレイに表示された地図画像上において前記障害物位置算出手段によって算出された前記障害物の位置に対応する箇所に、所定画像を重畳して描画することを特徴とする請求項２に記載の運転支援装置。   The obstacle guide means draws a predetermined image superimposed on a location corresponding to the position of the obstacle calculated by the obstacle position calculation means on the map image displayed on the display. The driving support device according to claim 2. 前記カーブミラー検出手段によって検出されたカーブミラーに投影されている像を取得する投影像取得手段と、
前記地図画像表示手段により表示された前記地図画像とともに、前記投影像取得手段により取得した像を前記ディスプレイに表示する投影像表示手段と、を有することを特徴とする請求項１乃至請求項３のいずれかに記載の運転支援装置。 A projection image acquisition means for acquiring an image projected on the curve mirror detected by the curve mirror detection means;
The projection image display means for displaying on the display the image acquired by the projection image acquisition means together with the map image displayed by the map image display means. The driving support device according to any one of the above. 車両の現在位置を取得する現在位置取得ステップと、
車両周辺にあるカーブミラーを検出するカーブミラー検出ステップと、
前記現在位置取得ステップにより取得された前記車両の現在位置に基づいて、前記カーブミラー検出ステップによって検出されたカーブミラーに投影される投影エリアを特定する投影エリア特定ステップと、
車両周辺の地図画像をディスプレイに表示する地図画像表示ステップと、
前記投影エリア特定ステップで特定された投影エリアを前記ディスプレイに表示された地図画像上に重畳して描画する投影エリア描画ステップと、を有することを特徴とする運転支援方法。 A current position acquisition step for acquiring the current position of the vehicle;
A curve mirror detection step for detecting a curve mirror around the vehicle;
A projection area specifying step for specifying a projection area projected on the curve mirror detected by the curve mirror detection step based on the current position of the vehicle acquired by the current position acquisition step;
A map image display step for displaying a map image around the vehicle on the display;
A driving support method, comprising: a projection area drawing step of drawing the projection area specified in the projection area specifying step by superimposing the projection area on the map image displayed on the display. コンピュータに搭載され、
車両の現在位置を取得する現在位置取得機能と、
車両周辺にあるカーブミラーを検出するカーブミラー検出機能と、
前記現在位置取得機能により取得された前記車両の現在位置に基づいて、前記カーブミラー検出機能によって検出されたカーブミラーに投影される投影エリアを特定する投影エリア特定機能と、
車両周辺の地図画像をディスプレイに表示する地図画像表示機能と、
前記投影エリア特定機能で特定された投影エリアを前記ディスプレイに表示された地図画像上に重畳して描画する投影エリア描画機能と、
を実行させることを特徴とするコンピュータプログラム。 On the computer,
A current position acquisition function for acquiring the current position of the vehicle;
Curve mirror detection function to detect curve mirrors around the vehicle,
A projection area specifying function for specifying a projection area projected on the curve mirror detected by the curve mirror detection function based on the current position of the vehicle acquired by the current position acquisition function;
A map image display function for displaying a map image around the vehicle on the display;
A projection area drawing function for drawing the projection area specified by the projection area specifying function by superimposing the projection area on the map image displayed on the display;
A computer program for executing
JP2008056298A 2008-03-06 2008-03-06 Driving support device, driving support method, and computer program Pending JP2009211624A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008056298A JP2009211624A (en) 2008-03-06 2008-03-06 Driving support device, driving support method, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008056298A JP2009211624A (en) 2008-03-06 2008-03-06 Driving support device, driving support method, and computer program

Publications (1)

Publication Number Publication Date
JP2009211624A true JP2009211624A (en) 2009-09-17

Family

ID=41184675

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008056298A Pending JP2009211624A (en) 2008-03-06 2008-03-06 Driving support device, driving support method, and computer program

Country Status (1)

Country Link
JP (1) JP2009211624A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222374A (en) * 2011-04-04 2012-11-12 Hitachi Consumer Electronics Co Ltd On-vehicle camera system
CN105196918A (en) * 2014-06-12 2015-12-30 通用汽车环球科技运作有限责任公司 Process For Representing Vehicle Surroundings Information Of A Motor Vehicle
JP2016110373A (en) * 2014-12-05 2016-06-20 株式会社デンソー Curve mirror detection device
JP2017097580A (en) * 2015-11-24 2017-06-01 マツダ株式会社 Object detection device
JP6271068B1 (en) * 2017-06-22 2018-01-31 株式会社ショーワ Obstacle detection device, vehicle, and obstacle detection system
CN108242182A (en) * 2016-12-27 2018-07-03 松下电器（美国）知识产权公司 Information processing unit, information processing method and program
EP3343534A1 (en) * 2016-12-27 2018-07-04 Panasonic Intellectual Property Corporation of America Information processing apparatus, information processing method, and recording medium
JP2018106667A (en) * 2016-12-27 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Information processor, information processing method and program
EP3249627A4 (en) * 2015-01-22 2018-10-31 Pioneer Corporation Driving assistance device and driving assistance method
JP2019100787A (en) * 2017-11-30 2019-06-24 パイオニア株式会社 Data structure of transmission data, determination device, determination method and determination program
JP2020038714A (en) * 2019-11-20 2020-03-12 パイオニア株式会社 Object position detection device and object position detection program
WO2022249504A1 (en) * 2021-05-25 2022-12-01 株式会社Ｎｔｔデータオートモビリジェンス研究所 Vehicle information processing device

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012222374A (en) * 2011-04-04 2012-11-12 Hitachi Consumer Electronics Co Ltd On-vehicle camera system
CN105196918A (en) * 2014-06-12 2015-12-30 通用汽车环球科技运作有限责任公司 Process For Representing Vehicle Surroundings Information Of A Motor Vehicle
CN105196918B (en) * 2014-06-12 2019-05-10 通用汽车环球科技运作有限责任公司 The method for showing the vehicle-periphery information of motor vehicle
JP2016110373A (en) * 2014-12-05 2016-06-20 株式会社デンソー Curve mirror detection device
EP3249627A4 (en) * 2015-01-22 2018-10-31 Pioneer Corporation Driving assistance device and driving assistance method
EP3605502A1 (en) * 2015-01-22 2020-02-05 Pioneer Corporation Driving assistance device and driving assistance method
US10540896B2 (en) 2015-01-22 2020-01-21 Pioneer Corporation Driving assistance device and driving assistance method
JP2017097580A (en) * 2015-11-24 2017-06-01 マツダ株式会社 Object detection device
US10272916B2 (en) 2016-12-27 2019-04-30 Panasonic Intellectual Property Corporation Of America Information processing apparatus, information processing method, and recording medium
CN108242182A (en) * 2016-12-27 2018-07-03 松下电器（美国）知识产权公司 Information processing unit, information processing method and program
JP7051326B2 (en) 2016-12-27 2022-04-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Information processing equipment, information processing methods and programs
CN108242182B (en) * 2016-12-27 2021-11-05 松下电器（美国）知识产权公司 Information processing apparatus, information processing method, and recording medium
EP3343536A1 (en) * 2016-12-27 2018-07-04 Panasonic Intellectual Property Corporation of America Information processing apparatus, information processing method, and program
EP3343534A1 (en) * 2016-12-27 2018-07-04 Panasonic Intellectual Property Corporation of America Information processing apparatus, information processing method, and recording medium
US10788840B2 (en) 2016-12-27 2020-09-29 Panasonic Intellectual Property Corporation Of America Information processing apparatus, information processing method, and recording medium
JP2018106667A (en) * 2016-12-27 2018-07-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ Information processor, information processing method and program
CN110622229A (en) * 2017-06-22 2019-12-27 株式会社昭和 Obstacle detection device, vehicle, and obstacle detection system
JP6271068B1 (en) * 2017-06-22 2018-01-31 株式会社ショーワ Obstacle detection device, vehicle, and obstacle detection system
JP2019008485A (en) * 2017-06-22 2019-01-17 株式会社ショーワ Obstacle detector, vehicle, and obstacle detection system
WO2018235304A1 (en) * 2017-06-22 2018-12-27 株式会社ショーワ Obstacle sensing device, vehicle, and obstacle sensing system
JP2019100787A (en) * 2017-11-30 2019-06-24 パイオニア株式会社 Data structure of transmission data, determination device, determination method and determination program
JP2020038714A (en) * 2019-11-20 2020-03-12 パイオニア株式会社 Object position detection device and object position detection program
WO2022249504A1 (en) * 2021-05-25 2022-12-01 株式会社Ｎｔｔデータオートモビリジェンス研究所 Vehicle information processing device
JP7422704B2 (en) 2021-05-25 2024-01-26 株式会社Ｎｔｔデータオートモビリジェンス研究所 Vehicle information processing device

Similar Documents

Publication Publication Date Title
JP2009211624A (en) Driving support device, driving support method, and computer program
JP6658905B2 (en) Travel support device and computer program
US9126533B2 (en) Driving support method and driving support device
US11535155B2 (en) Superimposed-image display device and computer program
US11511627B2 (en) Display device and computer program
RU2734643C1 (en) Parking assistance method for parking assistance device and parking assistance device
JP4940168B2 (en) Parking space recognition device
JP5569365B2 (en) Guide device, guide method, and guide program
JP6926976B2 (en) Parking assistance device and computer program
JP2005202678A (en) Traveling support device
JP2008280026A (en) Driving assistance device
JP2009083764A (en) Driving assisting device, driving assisting method, and computer program
JP6129268B2 (en) Vehicle driving support system and driving support method
JP2008222153A (en) Merging support device
JP7151073B2 (en) Display device and computer program
JP2008236711A (en) Driving support method and driving support device
JP2010185761A (en) Navigation system, road map display method
JP4797849B2 (en) Driving support image display system and in-vehicle device
JP2007315861A (en) Image processing device for vehicle
JP2005202787A (en) Display device for vehicle
JP4475015B2 (en) Vehicle periphery monitoring device and vehicle periphery monitoring method
JP5156307B2 (en) In-vehicle camera system
JP4968369B2 (en) In-vehicle device and vehicle recognition method
JP2009105741A (en) In-vehicle perimeter monitoring system
JP4687381B2 (en) Vehicle recognition method and in-vehicle device