JP2016175549A - Safety confirmation support device, safety confirmation support method - Google Patents

Safety confirmation support device, safety confirmation support method Download PDF

Info

Publication number
JP2016175549A
JP2016175549A JP2015057604A JP2015057604A JP2016175549A JP 2016175549 A JP2016175549 A JP 2016175549A JP 2015057604 A JP2015057604 A JP 2015057604A JP 2015057604 A JP2015057604 A JP 2015057604A JP 2016175549 A JP2016175549 A JP 2016175549A
Authority
JP
Japan
Prior art keywords
obstacle
vehicle
camera
safety confirmation
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015057604A
Other languages
Japanese (ja)
Other versions
JP2016175549A5 (en
Inventor
明 江頭
Akira Egashira
明 江頭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015057604A priority Critical patent/JP2016175549A/en
Priority to PCT/JP2016/000740 priority patent/WO2016152000A1/en
Publication of JP2016175549A publication Critical patent/JP2016175549A/en
Publication of JP2016175549A5 publication Critical patent/JP2016175549A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a display technology which allows a driver to easily grasp whether or not an obstacle in an image on a display part collides with a prediction travel track of a vehicle.SOLUTION: A predetermined imaging region set around a vehicle is imaged by a camera, a travel track of a vehicle within the imaging region is predicted, and an obstacle is detected from the photographed image of the camera. Also, in a position different from the imaging position of the camera, obstacle information regarding the obstacle is acquired, and based on the obstacle information, it is determined whether or not the vehicle collides with the obstacle. Then, a display part which is visible from a driver seat of the vehicle is controlled, the travel track is added on the photographed image and displayed, and at the same time, the determination result of whether or not the vehicle collides with the obstacle is reflected in the display mode of the display part. Thus, a driver can grasp whether or not the vehicle collides with the obstacle intuitively from the display on the display part. As a result, the obstacle does not have to be confirmed by visual inspection, and it facilitates safety confirmation of the driver.SELECTED DRAWING: Figure 6

Description

本発明は、車両の運転者の安全確認を支援する安全確認支援装置および安全確認支援方法に関する。   The present invention relates to a safety confirmation support device and a safety confirmation support method that support safety confirmation of a driver of a vehicle.

車両の運転者の安全確認を支援するために、カメラで車両の周囲を撮影した画像を車載モニターに表示する技術が開発されている。運転者は、表示された画像から周囲の障害物などを把握することができる。また、撮影した画像を表示するだけでなく、その画像内での車両の走行軌道を予側し、予測走行軌道を合わせて表示することで、運転をガイドする技術が提案されている（特許文献１）。   In order to support the safety confirmation of the driver of the vehicle, a technique for displaying an image obtained by photographing the periphery of the vehicle with a camera on an in-vehicle monitor has been developed. The driver can grasp surrounding obstacles and the like from the displayed image. In addition to displaying a photographed image, a technique has been proposed that guides driving by predicting the traveling trajectory of the vehicle in the image and displaying the predicted traveling trajectory together (Patent Literature). 1).

特開２００２−１２０５９４号公報JP 2002-120594 A

しかし、提案されている技術では、撮影した画像に予測走行軌道を単に重ねて表示するだけなので、画像内の障害物と予測走行軌道との位置関係（障害物に衝突するのか、障害物の後ろに回り込んで衝突しないのか）を運転者が把握するのが困難な場合があり、結局、目視で確認しなければならないという問題があった。   However, with the proposed technology, the predicted travel trajectory is simply superimposed on the captured image, so the positional relationship between the obstacle in the image and the predicted travel trajectory (whether it collides with the obstacle or behind the obstacle) It may be difficult for the driver to grasp whether or not the vehicle will collide with the vehicle, and there is a problem that it must be visually confirmed after all.

この発明は、従来技術が有する上述した課題に鑑みてなされたものであり、表示部の画像内の障害物と車両の予測走行軌道とが衝突するか否かを運転者が容易に把握することが可能な表示技術の提供を目的とする。   The present invention has been made in view of the above-described problems of the prior art, and allows a driver to easily grasp whether an obstacle in an image on a display unit and a predicted traveling track of a vehicle collide with each other. The purpose is to provide display technology that can be used.

上述した課題を解決するために本発明の安全確認支援装置および安全確認支援方法は、車両の周囲に設定された所定の撮影領域をカメラで撮影し、撮影領域内における車両の走行軌道を予測すると共に、カメラの撮影画像の中から障害物を検出する。また、カメラの撮影位置とは異なる位置で、障害物に関する障害物情報を取得し、その障害物情報に基づいて、車両が障害物に衝突するか否かを判断する。そして、車両の運転席から視認可能な位置に設置された表示部を制御し、カメラの撮影画像に走行軌道を付加して表示させると共に、車両が障害物に衝突するか否かの判断結果を表示部の表示態様に反映させる。   In order to solve the above-described problems, a safety confirmation support apparatus and a safety confirmation support method according to the present invention capture a predetermined photographing region set around a vehicle with a camera and predict a traveling trajectory of the vehicle in the photographing region. At the same time, an obstacle is detected from the captured image of the camera. Also, obstacle information related to the obstacle is acquired at a position different from the shooting position of the camera, and it is determined whether or not the vehicle collides with the obstacle based on the obstacle information. And the display part installed in the position which can be visually recognized from the driver's seat of a vehicle is controlled, a traveling track is added to a photographed image of a camera and displayed, and a judgment result as to whether or not the vehicle collides with an obstacle is displayed. This is reflected in the display mode of the display unit.

このようにカメラの撮影位置とは異なる位置で障害物情報を別途取得し、その障害物情報に基づいて判断した車両と障害物との衝突の有無に応じて表示部の表示態様を異ならせることで、運転者は、表示部の表示から直感的に車両が障害物に衝突するか否かを把握することが可能となる。結果として、障害物を目視で確認しなくてもよく、運転者の安全確認が容易となる。   In this way, obstacle information is separately acquired at a position different from the shooting position of the camera, and the display mode of the display unit is changed according to the presence or absence of a collision between the vehicle and the obstacle determined based on the obstacle information. Thus, the driver can intuitively grasp whether or not the vehicle collides with the obstacle from the display on the display unit. As a result, it is not necessary to visually check the obstacle, and the driver can easily check the safety.

本実施例の安全確認支援装置１０の構成を示す説明図である。It is explanatory drawing which shows the structure of the safety confirmation assistance apparatus 10 of a present Example. 本実施例の車両１の周囲に設定されたカメラ１１の撮影領域および情報取得部１８（レーダー）の検知領域を示す説明図である。It is explanatory drawing which shows the imaging area of the camera 11 set around the vehicle 1 of a present Example, and the detection area of the information acquisition part 18 (radar). 本実施例の車両１に設けられた表示部１６を示す説明図である。It is explanatory drawing which shows the display part 16 provided in the vehicle 1 of a present Example. 本実施例の安全確認支援装置１０で実行される安全確認支援処理を示すフローチャートである。It is a flowchart which shows the safety confirmation assistance process performed with the safety confirmation assistance apparatus 10 of a present Example. 本実施例の表示部１６にガイド線が衝突態様で表示される例を示す説明図である。It is explanatory drawing which shows the example by which a guide line is displayed in the collision aspect on the display part 16 of a present Example. 本実施例の表示部１６にガイド線が衝突回避態様で表示される例を示す説明図である。It is explanatory drawing which shows the example by which a guide line is displayed in the collision avoidance aspect on the display part 16 of a present Example. 本実施例の表示部１６でガイド線と障害物との重畳部分の周辺に障害物の影が付される例を拡大して示す説明図である。It is explanatory drawing which expands and shows the example by which the shadow of an obstruction is attached | subjected to the circumference | surroundings of the overlap part of a guide line and an obstruction in the display part 16 of a present Example. 第１変形例の表示部１６にガイド線が衝突回避態様で表示される例を示す説明図である。It is explanatory drawing which shows the example by which a guide line is displayed in the collision avoidance aspect on the display part 16 of a 1st modification. 第２変形例の表示部１６にガイド線が表示される例を示す説明図である。It is explanatory drawing which shows the example in which a guide line is displayed on the display part 16 of a 2nd modification. 第３変形例の表示部１６にガイド線が表示される例を示す説明図である。It is explanatory drawing which shows the example in which a guide line is displayed on the display part 16 of a 3rd modification. 第４変形例の安全確認支援装置１０で障害物情報を取得する例を示す説明図である。It is explanatory drawing which shows the example which acquires obstruction information with the safety confirmation assistance apparatus 10 of a 4th modification. 第５変形例の安全確認支援装置１０で障害物情報を取得する例を示す説明図である。It is explanatory drawing which shows the example which acquires obstruction information with the safety confirmation assistance apparatus 10 of a 5th modification. 第６変形例の安全確認支援装置１０で車両１の前方画像にガイド線を付加する例を示す説明図である。It is explanatory drawing which shows the example which adds a guide line to the front image of the vehicle 1 with the safety confirmation assistance apparatus 10 of a 6th modification. 第７変形例の表示部としてＨＵＤへの適用例を示す説明図である。It is explanatory drawing which shows the example applied to HUD as a display part of a 7th modification.

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、本実施例の安全確認支援装置１０の構成が示されている。本実施例の安全確認支援装置１０は、車両に搭載され、運転者の安全確認を支援する。図示されるように安全確認支援装置１０は、カメラ１１と、走行軌道予測部１２と、舵角検出部１３と、車速検出部１４と、表示制御部１５と、表示部１６と、障害物検出部１７と、情報取得部１８と、衝突判断部１９などを備えている。
尚、これら８つの「部」１２〜１９は、安全確認支援装置１０を機能に着目して概念的に分類したものであり、それぞれが必ずしも物理的に独立して存在している必要はない。これらは、各種の機器や、電子部品、集積回路、コンピューター、コンピュータープログラム、あるいはそれらの組合せなどによって構成することができる。 Hereinafter, examples will be described in order to clarify the contents of the present invention described above.
A. Device configuration :
FIG. 1 shows the configuration of a safety confirmation support apparatus 10 of this embodiment. The safety confirmation support device 10 of the present embodiment is mounted on a vehicle and supports the driver's safety confirmation. As shown in the figure, the safety confirmation support apparatus 10 includes a camera 11, a traveling track prediction unit 12, a rudder angle detection unit 13, a vehicle speed detection unit 14, a display control unit 15, a display unit 16, and an obstacle detection. Unit 17, information acquisition unit 18, collision determination unit 19, and the like.
Note that these eight “parts” 12 to 19 are conceptually classified by focusing on the functions of the safety confirmation support apparatus 10, and each does not necessarily need to exist physically independently. These can be configured by various devices, electronic components, integrated circuits, computers, computer programs, or combinations thereof.

カメラ１１は、車両に取り付けられており、車両の周囲に設定された所定の撮影領域を撮影する。本実施例のカメラ１１は、動画像を撮影する。
走行軌道予測部１２は、車両の舵角（運転者がハンドルを切る角度）を検出する舵角検出部１３や、車両の走行速度（車速）を検出する車速検出部１４と接続されており、舵角および車速に基づいて、車両の走行軌道を予測する。 The camera 11 is attached to the vehicle and images a predetermined imaging area set around the vehicle. The camera 11 of this embodiment captures a moving image.
The traveling track prediction unit 12 is connected to a steering angle detection unit 13 that detects a steering angle of the vehicle (an angle at which the driver turns the steering wheel) and a vehicle speed detection unit 14 that detects a traveling speed (vehicle speed) of the vehicle. Based on the steering angle and the vehicle speed, the traveling track of the vehicle is predicted.

表示制御部１５は、画像を表示可能な表示部１６を制御して、カメラ１１の撮影画像を表示させるとともに、走行軌道予測部１２で予測された走行軌道がカメラ１１の撮影領域内を通る場合には、走行軌道を撮影画像に付加して表示させる。
障害物検出部１７は、カメラ１１で撮影された画像を解析して、撮影画像内の障害物を検出する。 When the display control unit 15 controls the display unit 16 that can display an image to display a captured image of the camera 11, and the traveling trajectory predicted by the traveling trajectory prediction unit 12 passes through the imaging region of the camera 11. In this case, the traveling track is added to the captured image and displayed.
The obstacle detection unit 17 analyzes an image captured by the camera 11 and detects an obstacle in the captured image.

情報取得部１８は、カメラ１１の撮影位置とは異なる位置で、障害物に関する情報（障害物情報）を取得する。本実施例の情報取得部１８は、いわゆるレーダーであり、車両の周囲に設定された所定の検知領域に向けて電波（ミリ波）を照射し、その反射波を受けることで障害物の有無や位置などを障害物情報として取得する。
衝突判断部１９は、情報取得部１８で取得された障害物情報に基づいて、車両が障害物に衝突するか否かを判断する。 The information acquisition unit 18 acquires information on the obstacle (obstacle information) at a position different from the shooting position of the camera 11. The information acquisition unit 18 according to the present embodiment is a so-called radar, which emits radio waves (millimeter waves) toward a predetermined detection area set around the vehicle and receives the reflected waves to check whether there is an obstacle. Acquire the position etc. as obstacle information.
The collision determination unit 19 determines whether or not the vehicle collides with the obstacle based on the obstacle information acquired by the information acquisition unit 18.

本実施例の表示制御部１５は、障害物検出部１７や衝突判断部１９と接続されており、衝突判断部１９の判断結果に応じて表示部１６の表示態様を切り換える。   The display control unit 15 according to the present embodiment is connected to the obstacle detection unit 17 and the collision determination unit 19 and switches the display mode of the display unit 16 according to the determination result of the collision determination unit 19.

図２には、本実施例の車両１の周囲に設定されたカメラ１１の撮影領域および情報取得部１８（レーダー）の検知領域が示されている。図示されるように車両１の側面には、カメラ１１が左右一対で設けられており、このカメラ１１から車両１の後方に向けた領域が撮影領域に設定され、車両１の側面後部を含んでいる。
尚、本実施例の車両１は、サイドミラー（ドアミラー）を有しておらず、その代わりとして、サイドミラーを有する場合にサイドミラーに映る領域を撮影領域に設定してカメラ１１で撮影するようになっている。 FIG. 2 shows a shooting area of the camera 11 and a detection area of the information acquisition unit 18 (radar) set around the vehicle 1 of the present embodiment. As shown in the drawing, a pair of left and right cameras 11 are provided on the side surface of the vehicle 1, and an area from the camera 11 toward the rear of the vehicle 1 is set as a shooting area, and includes a rear side portion of the vehicle 1. Yes.
Note that the vehicle 1 of the present embodiment does not have a side mirror (door mirror), but instead has a side mirror in which the area reflected on the side mirror is set as a shooting area and is shot with the camera 11. It has become.

また、車両１の後端には、情報取得部１８としてのレーダーが左右一対で設けられており、車両１の左右の後方に検知領域が設定され、カメラ１１の撮影領域と一部重複している。尚、情報取得部１８は、障害物の有無や位置などを検知できれば、レーダーに限られず、音波で検知するソナーや、光で検知するレーザーセンサーであってもよい。   Further, a pair of left and right radars as the information acquisition unit 18 are provided at the rear end of the vehicle 1, and detection areas are set on the left and right rear sides of the vehicle 1, partially overlapping with the shooting area of the camera 11. Yes. Note that the information acquisition unit 18 is not limited to a radar as long as it can detect the presence or absence or position of an obstacle, and may be a sonar that detects sound waves or a laser sensor that detects light.

図３には、本実施例の車両１に設けられた表示部１６が示されている。図示されるように表示部１６は、フロントガラス２の左右両側にある窓柱（いわゆるＡピラー）３の車内側に左右一対で設置されており（左側の表示部１６については図示を省略）、液晶表示器などで構成された表示画面が運転者（運転席）に向けられている。本実施例の車両１では、サイドミラーの代わりに、カメラ１１で撮影した画像の左右を反転させて表示部１６に表示させるようになっている。運転者は、表示部１６を見ることで、サイドミラーと同様に車両１の側面から後方を確認することができる。
尚、表示部１６を設置する位置は、運転席から視認可能であれば、Ａピラーに限られず、例えば、ダッシュボード４の左右両端や、ドアパネルに埋め込んでおいてもよい。また、ダッシュボード４の略中央に設置されたカーナビゲーションシステムのディスプレイ５などを表示部として用いて、カメラ１１の撮影画像を表示してもよい。 FIG. 3 shows the display unit 16 provided in the vehicle 1 of the present embodiment. As shown in the figure, the display unit 16 is installed in a pair of left and right windows (so-called A pillars) 3 on the left and right sides of the windshield 2 (the left display unit 16 is not shown). A display screen composed of a liquid crystal display or the like is directed to the driver (driver's seat). In the vehicle 1 of this embodiment, instead of the side mirror, the left and right of the image captured by the camera 11 are reversed and displayed on the display unit 16. The driver can confirm the rear from the side surface of the vehicle 1 by looking at the display unit 16 in the same manner as the side mirror.
Note that the position where the display unit 16 is installed is not limited to the A-pillar as long as it can be viewed from the driver's seat. For example, the display unit 16 may be embedded in the left and right ends of the dashboard 4 or in the door panel. In addition, a photographed image of the camera 11 may be displayed using a display 5 of a car navigation system installed approximately at the center of the dashboard 4 as a display unit.

Ｂ．安全確認支援処理 ：
図４には、本実施例の安全確認支援装置１０で実行される安全確認支援処理のフローチャートが示されている。
安全確認支援処理（Ｓ１００）を開始すると、まず、カメラ１１で撮影した車両１の後方画像のデータを取得する（Ｓ１０１）。 B. Safety confirmation support processing:
FIG. 4 shows a flowchart of the safety confirmation support process executed by the safety confirmation support apparatus 10 of the present embodiment.
When the safety confirmation support process (S100) is started, first, data of a rear image of the vehicle 1 taken by the camera 11 is acquired (S101).

続いて、車両１のシフトレバーが後退（Ｒ）の位置にあるか否かを判断する（Ｓ１０２）。前述したように本実施例では、車両１の走行軌道がカメラ１１の撮影領域内を通る場合には、走行軌道を撮影画像に付加して表示部１６に表示させることが可能となっている。シフトレバーが後退（Ｒ）の位置にない場合は（Ｓ１０２：ｎｏ）、車両１の後方画像に走行軌道を付加することはなく、カメラ１１の撮影画像を左右反転させて、そのまま表示部１６に表示させる（Ｓ１０３）。これにより、運転者は、表示部１６に表示される画像で、サイドミラーと同様に、車両１の後方を確認することが可能となる。
こうして表示部１６に反転画像を表示させると、安全確認支援処理（Ｓ１００）に先頭に戻り、再びカメラ１１で撮影した画像のデータを取得する（Ｓ１０１）。 Subsequently, it is determined whether or not the shift lever of the vehicle 1 is in the reverse (R) position (S102). As described above, in this embodiment, when the traveling track of the vehicle 1 passes through the imaging region of the camera 11, the traveling track can be added to the captured image and displayed on the display unit 16. When the shift lever is not in the reverse (R) position (S102: no), the traveling trajectory is not added to the rear image of the vehicle 1, and the captured image of the camera 11 is reversed left and right and displayed on the display unit 16 as it is. It is displayed (S103). Accordingly, the driver can check the rear of the vehicle 1 in the image displayed on the display unit 16 as in the case of the side mirror.
When the inverted image is displayed on the display unit 16 in this way, the process returns to the top in the safety confirmation support process (S100), and the data of the image captured by the camera 11 is acquired again (S101).

一方、シフトレバーが後退（Ｒ）の位置にある場合は（Ｓ１０２：ｙｅｓ）、舵角および車速に基づいて、車両１の走行軌道を予測する（Ｓ１０４）。走行軌道は、舵角だけでなく車速にも依存し、舵角が同じであれば、車速が速いほど旋回半径は大きくなる。本実施例では、車両１の後輪から後方に向かって所定距離（例えば、１．５車長）の走行軌道を予測する。尚、走行軌道の予測は、少なくともカメラ１１の撮影領域について行えばよい。   On the other hand, when the shift lever is in the reverse (R) position (S102: yes), the traveling track of the vehicle 1 is predicted based on the steering angle and the vehicle speed (S104). The traveling track depends not only on the rudder angle but also on the vehicle speed. If the rudder angle is the same, the turning radius increases as the vehicle speed increases. In the present embodiment, a traveling track of a predetermined distance (for example, 1.5 vehicle length) is predicted from the rear wheel of the vehicle 1 toward the rear. The travel trajectory may be predicted for at least the imaging region of the camera 11.

走行軌道の予測に続いて、カメラ１１で撮影した画像のデータを解析して、撮影画像内に障害物があるか否かを判断する（Ｓ１０５）。本実施例では、カメラ１１の位置から見て車両１と衝突する可能性がある範囲に含まれる人や物を障害物として検出する。例えば、様々な障害物のシルエットのテンプレートを予め複数用意しておき、何れかのテンプレートと符合するシルエットが撮影画像の中の所定範囲（例えば、車両１から０．５車長の範囲）に存在するか否かに基づいて障害物を検出してもよいし、カメラ１１とは異なる位置から撮影した画像との比較（視差）によって、所定範囲にある障害物を検出してもよい。また、情報取得部１８で取得した障害物情報に基づいて、撮影画像の中から障害物を検出（特定）してもよい。   Following the prediction of the traveling trajectory, the image data captured by the camera 11 is analyzed to determine whether there is an obstacle in the captured image (S105). In this embodiment, a person or an object included in a range where there is a possibility of colliding with the vehicle 1 when viewed from the position of the camera 11 is detected as an obstacle. For example, a plurality of templates of silhouettes of various obstacles are prepared in advance, and a silhouette that matches one of the templates exists in a predetermined range (for example, a range from the vehicle 1 to 0.5 vehicle length) in the photographed image. An obstacle may be detected based on whether or not to do so, or an obstacle in a predetermined range may be detected by comparison (parallax) with an image taken from a position different from the camera 11. Moreover, an obstacle may be detected (specified) from the captured image based on the obstacle information acquired by the information acquisition unit 18.

カメラ１１の撮影画像内に障害物がない場合は（Ｓ１０５：ｎｏ）、カメラ１１の撮影画像を左右反転させて表示部１６に表示させるとともに、Ｓ１０４で予測した走行軌道を表すガイド線を反転画像に重ねて表示させる（Ｓ１０６）。これにより、運転者は、表示部１６の表示で、車両１の後方を確認できるだけでなく、車両１が後退する先の見当を付けることが可能となる。尚、Ｓ１０６で表示させるガイド線の色は、黄色に設定されている。   When there is no obstacle in the captured image of the camera 11 (S105: no), the captured image of the camera 11 is reversed left and right and displayed on the display unit 16, and the guide line representing the traveling trajectory predicted in S104 is reversed. (S106). Thereby, the driver can not only confirm the rear of the vehicle 1 on the display of the display unit 16 but also can register the destination of the vehicle 1 to move backward. Note that the color of the guide line displayed in S106 is set to yellow.

一方、カメラ１１の撮影画像内に障害物がある場合は（Ｓ１０５：ｙｅｓ）、続いて、Ｓ１０４で予測した走行軌道を撮影画像に付加した場合に、画像内の障害物に走行軌道が重畳するか否か（すなわち、カメラ１１の位置から見て、車両１の走行軌道が障害物に衝突するように見えるか否か）を判断する（Ｓ１０７）。そして、画像内の障害物に走行軌道が重畳しない場合は（Ｓ１０７：ｎｏ）、左右反転させた画像にガイド線を重ねて表示部１６に表示させる（Ｓ１０６）。この場合、運転者は、表示部１６の表示で、車両１の走行軌道が障害物に衝突しないことを容易に把握することができる。
こうして反転画像およびガイド線を表示部１６に表示させると、安全確認支援処理（Ｓ１００）の先頭に戻る。 On the other hand, when there is an obstacle in the captured image of the camera 11 (S105: yes), when the traveling trajectory predicted in S104 is added to the captured image, the traveling trajectory is superimposed on the obstacle in the image. (That is, whether or not the traveling track of the vehicle 1 seems to collide with an obstacle as viewed from the position of the camera 11) is determined (S107). If the traveling track does not overlap the obstacle in the image (S107: no), the guide line is superimposed on the horizontally reversed image and displayed on the display unit 16 (S106). In this case, the driver can easily grasp that the traveling track of the vehicle 1 does not collide with the obstacle on the display of the display unit 16.
When the reverse image and the guide line are displayed on the display unit 16 in this way, the process returns to the top of the safety confirmation support process (S100).

これに対して、カメラ１１の撮影画像内の障害物に車両１の走行軌道が重畳する場合は（Ｓ１０７：ｙｅｓ）、情報取得部１８（レーダー）で障害物の有無や位置などの障害物情報を取得し（Ｓ１０８）、その障害物情報に基づいて、車両１が障害物に衝突するか否かを判断する（Ｓ１０９）。情報取得部１８は、カメラ１１の撮影位置とは異なる位置で障害物情報を取得するため、カメラ１１の撮影位置からは障害物に衝突するように見えていても、情報取得部１８の障害物情報からは必ずしも障害物に衝突すると判断されるわけではなく、衝突しないと判断される場合もある。   On the other hand, when the traveling track of the vehicle 1 is superimposed on the obstacle in the captured image of the camera 11 (S107: yes), the information acquisition unit 18 (radar) uses the obstacle information such as the presence or absence of the obstacle and the position thereof. (S108), and based on the obstacle information, it is determined whether or not the vehicle 1 collides with the obstacle (S109). Since the information acquisition unit 18 acquires obstacle information at a position different from the shooting position of the camera 11, even if the information acquisition unit 18 appears to collide with the obstacle from the shooting position of the camera 11, the information acquisition unit 18 has an obstacle. From the information, it is not always determined that the vehicle collides with the obstacle, and it may be determined that the vehicle does not collide.

そして、障害物情報に基づいて車両１が障害物に衝突すると判断された場合は（Ｓ１０９：ｙｅｓ）、カメラ１１の撮影画像を左右反転させて表示部１６に表示させるとともに、画像内の障害物の上にガイド線をオーバーラップさせる衝突態様でガイド線を表示させる（Ｓ１１０）。尚、Ｓ１１０で表示させるガイド線の色は、赤色に設定されている。
一方、車両１が障害物に衝突しないと判断された場合は（Ｓ１０９：ｎｏ）、カメラ１１の撮影画像を左右反転させて表示部１６に表示させるとともに、ガイド線の中で障害物と重畳する部分（重畳部分）を非表示とする衝突回避態様でガイド線を表示させる（Ｓ１１１）。尚、Ｓ１１１で表示させるガイド線の色は、黄色に設定されている。
こうして反転画像に、障害物に衝突するか否かの判断結果に応じた表示態様でガイド線を付加して表示させると、安全確認支援処理（Ｓ１００）の先頭に戻って、上述した一連の処理を繰り返す。 When it is determined that the vehicle 1 collides with the obstacle based on the obstacle information (S109: yes), the captured image of the camera 11 is reversed left and right and displayed on the display unit 16, and the obstacle in the image is displayed. The guide lines are displayed in a collision mode in which the guide lines overlap with each other (S110). Note that the color of the guide line displayed in S110 is set to red.
On the other hand, when it is determined that the vehicle 1 does not collide with the obstacle (S109: no), the captured image of the camera 11 is reversed left and right and displayed on the display unit 16, and is superimposed on the obstacle in the guide line. The guide line is displayed in a collision avoidance mode in which the portion (superimposed portion) is not displayed (S111). Note that the color of the guide line displayed in S111 is set to yellow.
In this way, when a reverse line is displayed with a guide line added in a display mode corresponding to the determination result of whether or not it collides with an obstacle, the process returns to the top of the safety confirmation support process (S100), and the series of processes described above. repeat.

Ｃ．ガイド線の表示例 ：
前述したように本実施例では、カメラ１１の撮影画像に車両１の走行軌道を付加して表示部１６に表示させることが可能であり、情報取得部１８の障害物情報に基づく障害物に衝突するか否かの判断結果に応じて衝突態様あるいは衝突回避態様でガイド線（走行軌道）を表示させる。以下では、ガイド線の表示例について説明する。 C. Guide line display example:
As described above, in this embodiment, it is possible to add the traveling trajectory of the vehicle 1 to the captured image of the camera 11 and display it on the display unit 16, and to collide with an obstacle based on the obstacle information of the information acquisition unit 18. A guide line (traveling trajectory) is displayed in a collision mode or a collision avoidance mode according to the determination result of whether or not to do so. Hereinafter, a display example of a guide line will be described.

図５には、ガイド線が衝突態様で表示される例が示されている。図５（ａ）に示されるように、車両１はハンドルを右に切りながら後退しており、走行軌道が右側のカメラ１１の撮影領域内を通る。また、車両１の右後方には障害物があり、この障害物は、カメラ１１の撮影画像内で検出されると共に、走行軌道が重畳する（カメラ１１の位置から見ると、走行軌道が障害物に衝突するように見える）位置関係にある。そして、カメラ１１の位置から見て障害物の背後は死角となるものの、この死角における障害物情報は車両１の右後端の情報取得部１８（レーダー）によって取得することが可能であり、図５（ａ）の例では、情報取得部１８の検知領域で障害物が検知されて、車両１が障害物に衝突すると判断される。   FIG. 5 shows an example in which guide lines are displayed in a collision mode. As shown in FIG. 5A, the vehicle 1 moves backward while turning the steering wheel to the right, and the traveling track passes through the imaging area of the camera 11 on the right side. Further, there is an obstacle on the right rear side of the vehicle 1, and this obstacle is detected in the captured image of the camera 11 and the traveling trajectory is superposed (when viewed from the position of the camera 11, the traveling trajectory is an obstacle). (It seems to collide with). Although the obstacle behind the obstacle is a blind spot as seen from the position of the camera 11, the obstacle information at this blind spot can be acquired by the information acquisition unit 18 (radar) at the right rear end of the vehicle 1. In the example of 5 (a), an obstacle is detected in the detection area of the information acquisition unit 18, and it is determined that the vehicle 1 collides with the obstacle.

そのため、ガイド線（走行軌道）の表示態様は衝突態様に設定され、図５（ｂ）に示されるように、表示部１６では、撮影画像内の障害物の上（手前）にオーバーラップさせてガイド線が表示される。こうすることで、表示部１６を見た運転者に、車両１の走行軌道が障害物に衝突すること（背後に回り込めないこと）を印象付けることができる。
また、本実施例では、ガイド線が赤色（衝突しないときには黄色）で表示されたり、衝突箇所に衝突を表すマーク（衝突マーク）が付加されたりするようになっており、これらにより、衝突を更に強調することができる。
尚、本実施例のガイド線には、車両１からの距離を表す距離目安線が所定距離（例えば、１ｍ）毎に付されている。 Therefore, the display mode of the guide line (traveling trajectory) is set to the collision mode, and as shown in FIG. 5B, the display unit 16 overlaps the obstacle on the captured image (front side). A guide line is displayed. By doing so, it is possible to impress the driver who has viewed the display unit 16 that the traveling track of the vehicle 1 collides with an obstacle (cannot be turned around).
In this embodiment, the guide line is displayed in red (yellow when there is no collision), or a mark indicating a collision (collision mark) is added to the collision location. Can be emphasized.
Note that a distance guide line representing a distance from the vehicle 1 is attached to the guide line of the present embodiment every predetermined distance (for example, 1 m).

一方、図６には、ガイド線が衝突回避態様で表示される例が示されている。図６（ａ）に示される例では、図５（ａ）と同様に、ハンドルを右に切りながら後退する車両１の走行軌道が右側のカメラ１１の撮影領域内を通ると共に、車両１の右後方にある障害物がカメラ１１の撮影画像内で検出され、走行軌道が障害物に重畳する（カメラ１１の位置から見ると、走行軌道が障害物に衝突するように見える）位置関係にある。ただし、車両１の右後端の情報取得部１８（レーダー）によると、検知領域で障害物が検知されていないことから、車両１が障害物に衝突しない（障害物の背後に回り込める）と判断される。   On the other hand, FIG. 6 shows an example in which the guide line is displayed in a collision avoidance mode. In the example shown in FIG. 6A, as in FIG. 5A, the traveling trajectory of the vehicle 1 moving backward while turning the handle to the right passes through the imaging area of the right camera 11 and the right side of the vehicle 1 The obstacle in the rear is detected in the captured image of the camera 11, and the traveling track is superimposed on the obstacle (when viewed from the position of the camera 11, the traveling track appears to collide with the obstacle). However, according to the information acquisition unit 18 (radar) at the right rear end of the vehicle 1, since no obstacle is detected in the detection area, the vehicle 1 does not collide with the obstacle (turns behind the obstacle). To be judged.

そのため、ガイド線（走行軌道）の表示態様は衝突回避態様に設定され、図６（ｂ）に示されるように、表示部１６では、走行軌道の中で障害物との重畳部分が消去され（非表示にされ）、重畳していない部分のガイド線が表示される。このようにガイド線の中で障害物の背後に隠れて見えない部分を消去することで、表示部１６を見た運転者に、車両１の走行軌道が障害物の背後に回り込んで障害物に衝突しないことを印象付けることができる。   Therefore, the display mode of the guide line (traveling track) is set to the collision avoidance mode, and as shown in FIG. 6B, the display unit 16 erases the overlapping portion with the obstacle in the traveling track ( The guide line of the part which is not superimposed is displayed. In this way, by erasing the part of the guide line that is hidden behind the obstacle and cannot be seen, the traveling track of the vehicle 1 turns around behind the obstacle to the driver who has seen the display unit 16. You can impress that it doesn't collide with.

また、本実施例では、ガイド線が衝突回避態様で表示される場合、図７に拡大して示されるように、ガイド線と障害物との重畳部分の周辺に障害物の影が付されており、ガイド線よりも手前側である障害物の輪郭から外側に離れるほど影が薄くなるように明暗のグラデーションがかけられている。これにより、奥行感を出せるので、走行軌道が障害物の背後に回り込めること（障害物に衝突しないこと）を更に強調することができる。   Further, in this embodiment, when the guide line is displayed in a collision avoidance manner, an obstacle shadow is added around the overlapping portion of the guide line and the obstacle as shown in an enlarged view in FIG. In addition, a light and dark gradation is applied so that the shadow becomes thinner toward the outside from the outline of the obstacle on the near side of the guide line. Thereby, since a sense of depth can be produced, it can be further emphasized that the traveling track can go behind the obstacle (does not collide with the obstacle).

以上に説明したように、本実施例の安全確認支援装置１０では、カメラ１１の撮影画像に車両１の走行軌道を付加して表示部１６に表示させる場合、撮影画像内で検出される障害物の背後（死角）の情報を、カメラ１１とは異なる位置の情報取得部１８（レーダー）で取得する。そして、その障害物情報に基づく車両１と障害物との衝突の有無の判断結果を表示部１６の表示態様に反映させ、衝突する場合はガイド線を衝突態様（障害物にオーバーラップ）で表示させるのに対し、衝突しない場合はガイド線を衝突回避態様（障害物との重畳部分を消去）で表示させるようになっている。このように表示態様を異ならせることで、運転者は、表示部１６の表示から直感的に車両１が障害物に衝突するか否か（背後に回り込めるか否か）を把握することが可能となる。結果として、障害物を目視で確認しなくてもよく、安全確認が容易となる。   As described above, in the safety confirmation support device 10 of the present embodiment, when the traveling path of the vehicle 1 is added to the captured image of the camera 11 and displayed on the display unit 16, the obstacle detected in the captured image Is acquired by the information acquisition unit 18 (radar) at a position different from that of the camera 11. And the judgment result of the presence or absence of the collision between the vehicle 1 and the obstacle based on the obstacle information is reflected in the display mode of the display unit 16, and in the case of a collision, the guide line is displayed in the collision mode (overlap with the obstacle). On the other hand, when there is no collision, the guide line is displayed in a collision avoidance mode (erasing the overlapping portion with the obstacle). By changing the display mode in this way, the driver can intuitively know whether the vehicle 1 collides with an obstacle (whether it can wrap around behind) from the display on the display unit 16. It becomes. As a result, it is not necessary to visually check the obstacle, and safety confirmation is easy.

Ｄ．変形例 ：
上述した実施例には、幾つかの変形例が存在する。以下では、これら変形例について簡単に説明する。 D. Modified example:
There are several variations in the above-described embodiment. Hereinafter, these modified examples will be briefly described.

Ｄ−１．第１変形例 ：
上述した実施例では、ガイド線（走行軌道）の表示態様が衝突回避態様に設定された場合、ガイド線の中で障害物との重畳部分を消去する（非表示にする）ようになっていた。しかし、ガイド線の衝突回避態様は、これに限られず、衝突態様と区別ができて、走行軌道が障害物に衝突しないこと（障害物の背後に回り込めること）を印象付ける表示態様であればよい。 D-1. First modification:
In the above-described embodiment, when the display mode of the guide line (traveling track) is set to the collision avoidance mode, the overlapping portion with the obstacle in the guide line is erased (not displayed). . However, the collision avoidance mode of the guide line is not limited to this, and can be distinguished from the collision mode, as long as it is a display mode that impresses that the traveling track does not collide with the obstacle (it can wrap around behind the obstacle). Good.

図８には、第１変形例の表示部１６にガイド線が衝突回避態様で表示される例が示されており、図示した例は、図６（ａ）と同様のシチュエーションである。
図示されるように表示部１６では、走行軌道の中で障害物に重畳しない部分（障害物に隠れない部分）のガイド線が実線で表示されるのに対して、障害物との重畳部分（障害物の背後に隠れる部分）のガイド線が破線（隠れ線）で表示される。このように障害物に隠れず見える部分と、障害物に隠れて見えない部分とでガイド線の描画態様を異ならせることで、表示部１６を見た運転者に、車両１の走行軌道が障害物の背後に回り込んで障害物に衝突しないことを印象付けることができる。
尚、重畳部分の描画態様（描画線）は破線に限られず、重畳しない部分と区別できる態様であればよい。 FIG. 8 shows an example in which the guide line is displayed in a collision avoidance manner on the display unit 16 of the first modified example, and the illustrated example is the same situation as FIG.
As shown in the drawing, the display unit 16 displays the guide line of the portion that does not overlap the obstacle (the portion that is not hidden by the obstacle) in the traveling track as a solid line, whereas the overlapping portion with the obstacle ( The guide line of the part hidden behind the obstacle is displayed as a broken line (hidden line). In this way, the driving line of the vehicle 1 is obstructed by the driver who viewed the display unit 16 by changing the drawing mode of the guide line between the portion that is not hidden behind the obstacle and the portion that is not visible behind the obstacle. It can be impressed that it does not collide with obstacles by going behind the object.
In addition, the drawing mode (drawing line) of the overlapping portion is not limited to the broken line, and may be any mode that can be distinguished from the non-overlapping portion.

Ｄ−２．第２変形例 ：
前述した実施例では、情報取得部１８の障害物情報に基づく車両１と障害物との衝突の有無の判断結果に応じてガイド線の表示態様を異ならせていた。しかし、ガイド線とは別に、情報取得部１８の障害物情報に基づく表示を表示部１６に付加することで、車両１が障害物に衝突するか否かを運転者に把握させるようにしてもよい。 D-2. Second modification:
In the above-described embodiment, the display mode of the guide line is changed according to the determination result of the presence or absence of the collision between the vehicle 1 and the obstacle based on the obstacle information of the information acquisition unit 18. However, in addition to the guide line, a display based on the obstacle information of the information acquisition unit 18 is added to the display unit 16 so that the driver can grasp whether the vehicle 1 collides with the obstacle. Good.

図９には、第２変形例の表示部１６にガイド線が表示される例が示されている。図９（ａ）に示されるように、ハンドルを右に切りながら後退する車両１の走行軌道が右側のカメラ１１の撮影領域内を通ると共に、車両１の右後方にある障害物がカメラ１１の撮影画像内で検出され、走行軌道が障害物に重畳する（カメラ１１の位置から見ると、走行軌道が障害物に衝突するように見える）位置関係にある。また、車両１の右後端の情報取得部１８（レーダー）の検知領域で障害物が検知され、障害物の位置や大きさなどの障害物情報が取得される。図９（ａ）の例では、走行軌道と障害物とが衝突しない位置関係にある。そして、第２変形例では、障害物情報に基づいて、仮に走行軌道が範囲内に入っていると障害物に衝突してしまう可能性がある衝突警戒範囲を算出する。   FIG. 9 shows an example in which guide lines are displayed on the display unit 16 of the second modification. As shown in FIG. 9A, the traveling track of the vehicle 1 that moves backward while turning the handle to the right passes through the imaging region of the right camera 11, and an obstacle on the right rear of the vehicle 1 It is detected in the captured image, and the traveling trajectory is superimposed on the obstacle (when viewed from the position of the camera 11, the traveling trajectory appears to collide with the obstacle). Also, an obstacle is detected in the detection area of the information acquisition unit 18 (radar) at the right rear end of the vehicle 1, and obstacle information such as the position and size of the obstacle is acquired. In the example of FIG. 9A, the traveling trajectory and the obstacle do not collide. In the second modified example, based on the obstacle information, a collision warning range that may collide with the obstacle is calculated if the traveling track is within the range.

表示部１６では、図９（ｂ）に示されるように、カメラ１１の撮影画像の左右を反転させて、その反転画像にガイド線（走行軌道）が重ねて表示されると共に、衝突警戒範囲が表示される。こうすることで、表示部１６を見た運転者に、ガイド線が衝突警戒範囲に入っていれば障害物に衝突し、ガイド線が衝突警戒範囲に入っていなければ障害物に衝突しないことを示すことができる。   In the display unit 16, as shown in FIG. 9B, the captured image of the camera 11 is reversed left and right, and a guide line (traveling trajectory) is displayed on the inverted image, and the collision warning range is displayed. Is displayed. By doing this, the driver who has viewed the display unit 16 will not collide with an obstacle if the guide line is in the collision warning range, and will not collide with the obstacle unless the guide line is in the collision warning range. Can show.

Ｄ−３．第３変形例 ：
図１０には、第３変形例の表示部１６にガイド線が表示される例が示されている。図示した例は、図５（ａ）と同様のシチュエーションであり、情報取得部１８の障害物情報に基づいて車両１が障害物に衝突すると判断された場合である。
表示部１６では、カメラ１１の撮影画像の左右を反転させた反転画像に重ねてガイド線（走行軌道）が表示され、それに加えて、衝突を警告するための警告表示（文字や図形）が付加される。図示した例では、車両１を模して衝突の位置を示す図形が警告表示として付加されている。
一方、車両１が障害物に衝突しないと判断された場合は、警告表示が付加されず、反転画像に重ねてガイド線が表示されるだけである。 D-3. Third modification:
FIG. 10 shows an example in which guide lines are displayed on the display unit 16 of the third modification. The illustrated example is the same situation as in FIG. 5A, and is a case where it is determined that the vehicle 1 collides with an obstacle based on the obstacle information of the information acquisition unit 18.
The display unit 16 displays a guide line (running trajectory) superimposed on a reversed image obtained by reversing the left and right of the image captured by the camera 11, and in addition, a warning display (characters and figures) for warning a collision is added. Is done. In the illustrated example, a graphic indicating the position of the collision is imitated as a warning display, imitating the vehicle 1.
On the other hand, when it is determined that the vehicle 1 does not collide with an obstacle, a warning display is not added, and only a guide line is displayed on the reverse image.

こうすることで、表示部１６を見た運転者に、警告表示が付いていれば障害物に衝突し、警告表示が付いていなければ障害物に衝突しないことを示すことができる。
尚、第３変形例の警告表示は、前述した実施例や第１変形例や第２変形例にも適用することが可能であり、車両１が障害物に衝突すると判断された場合に警告表示を付加することで、衝突を更に強調することができる。 By doing so, it is possible to indicate to the driver who has seen the display unit 16 that the vehicle collides with the obstacle if the warning display is attached and does not collide with the obstacle if the warning display is not attached.
The warning display of the third modification can also be applied to the above-described embodiment, the first modification, and the second modification, and the warning display when it is determined that the vehicle 1 collides with an obstacle. By adding, the collision can be further emphasized.

Ｄ−４．第４変形例 ：
前述した実施例では、情報取得部１８としてレーダーを用いていたが、レーダーに代えて、カメラを用いて障害物情報を取得してもよい。
図１１には、第４変形例の安全確認支援装置１０で障害物情報を取得する例が示されている。図１１（ａ）に示されるように第４変形例では、車両１の側面から後方を撮影するカメラ１１（第４変形例では「サイドカメラ」という）とは別に、車両１の後端から後方を撮影するバックカメラ２１が情報取得部として設けられており、サイドカメラ１１の撮影領域（サイド撮影領域）と、バックカメラ２１の撮影領域（バック撮影領域）とが一部重複している。 D-4. Fourth modification:
In the above-described embodiment, a radar is used as the information acquisition unit 18, but obstacle information may be acquired using a camera instead of the radar.
FIG. 11 shows an example in which obstacle information is acquired by the safety confirmation support device 10 of the fourth modified example. As shown in FIG. 11 (a), in the fourth modification, apart from the camera 11 that captures the rear from the side of the vehicle 1 (referred to as "side camera" in the fourth modification), the rear from the rear end of the vehicle 1. Is provided as an information acquisition unit, and the shooting area (side shooting area) of the side camera 11 and the shooting area (back shooting area) of the back camera 21 partially overlap.

図１１（ａ）の例では、障害物がサイド撮影領域およびバック撮影領域の両方に含まれており、サイドカメラ１１の撮影画像とバックカメラ２１の撮影画像との比較（視差）によって障害物の位置や大きさなどの障害物情報を取得することができる。また、サイドカメラ１１の位置から見て死角となる障害物の背後の情報を、バックカメラ２１の位置から取得することができる。そのため、サイドカメラ１１の撮影画像では車両１が障害物に衝突するように見えても、図１１（ｂ）に示されるように、バックカメラ２１の撮影画像で障害物の背後を走行軌道が通過するように見えれば、車両１が障害物に衝突しないと判断することができる。   In the example of FIG. 11A, the obstacle is included in both the side photographing region and the back photographing region, and the obstacle is detected by comparing (parallax) the photographed image of the side camera 11 and the photographed image of the back camera 21. Obstacle information such as position and size can be acquired. Further, information behind an obstacle that becomes a blind spot when viewed from the position of the side camera 11 can be acquired from the position of the back camera 21. For this reason, even if the vehicle 1 appears to collide with an obstacle in the captured image of the side camera 11, as shown in FIG. 11B, the traveling trajectory passes behind the obstacle in the captured image of the back camera 21. If it looks like this, it can be determined that the vehicle 1 does not collide with an obstacle.

尚、バックカメラ２１の撮影画像から車両１が障害物に衝突するか否かを判断する際には、障害物の接近を検知するソナーを併用してもよい。例えば、車両１の左右の後端に設けられたソナー（図示せず）で障害物が検知されていなければ、図１１（ｂ）に示されるように、バックカメラ２１の撮影画像で車両１の直後に映る領域は、障害物のない地面である（地面領域）と判断することができる。そして、地面領域と画像の色相や明度などで連続性のある領域を同じく地面と推定し、その地面と推定された領域を走行軌道が通っていれば、車両１が障害物に衝突しないと判断してもよい。   In addition, when determining whether the vehicle 1 collides with an obstacle from the photographed image of the back camera 21, a sonar that detects the approach of the obstacle may be used together. For example, if an obstacle is not detected by a sonar (not shown) provided at the left and right rear ends of the vehicle 1, as shown in FIG. It can be determined that the area shown immediately after is the ground without an obstacle (ground area). Then, the ground region and a region having continuity in hue and brightness of the image are also estimated as the ground, and if the traveling path passes through the region estimated as the ground, it is determined that the vehicle 1 does not collide with the obstacle. May be.

Ｄ−５．第５変形例 ：
前述した実施例では、カメラ１１とは別に、情報取得部１８を設けていたが、カメラ１１を情報取得部として流用することも可能である。
図１２には、第５変形例の安全確認支援装置１０で障害物情報を取得する例が示されている。図示した例は、車両１が前進して障害物の横を一旦通り過ぎた後で、後退しようとしている場合である。図では、車両１の過去の位置がハッチングを付して示されている。 D-5. Fifth modification:
In the embodiment described above, the information acquisition unit 18 is provided separately from the camera 11, but the camera 11 can be used as an information acquisition unit.
FIG. 12 shows an example in which obstacle information is acquired by the safety check support device 10 of the fifth modified example. The illustrated example is a case where the vehicle 1 is moving forward and once passes by an obstacle and then going backward. In the figure, the past position of the vehicle 1 is shown with hatching.

第５変形例では、カメラ１１の撮影画像を記憶（録画）しておくようになっており、現在の撮影画像と過去の撮影画像とを比較することによって障害物の位置や大きさなどの障害物情報を取得する。
図示した例では、カメラ１１の現在の撮影画像内に障害物が含まれるものの、現在の撮影位置から見て障害物の背後は死角となる。一方、過去の撮影画像は、同じカメラ１１であっても、撮影位置や撮影領域が異なることから、現在の撮影画像における死角の情報を過去の撮影画像から取得することができる。 In the fifth modified example, the photographed image of the camera 11 is stored (recorded), and the obstacle such as the position and size of the obstacle is compared by comparing the current photographed image with the past photographed image. Get material information.
In the illustrated example, an obstacle is included in the current photographed image of the camera 11, but behind the obstacle is a blind spot as viewed from the current photographing position. On the other hand, even if the past photographed image is the same camera 11, the photographing position and the photographing region are different, so that information on the blind spot in the current photographed image can be acquired from the past photographed image.

Ｄ−６．第６変形例 ：
前述した実施例では、車両１の後退時を想定して、主に後方確認のために後方画像にガイド線（走行軌道）を付加する場合について説明したが、これに限られるものではなく、車両周辺の確認に適用することができる。 D-6. Sixth modification:
In the above-described embodiment, the case where a guide line (traveling track) is added to a rear image mainly for backward confirmation on the assumption that the vehicle 1 is moving backward is described. However, the present invention is not limited to this. It can be applied to check the surroundings.

図１３には、第６変形例の安全確認支援装置１０で車両１の前方画像にガイド線を付加する例が示されている。図１３（ａ）に示されるように第６変形例では、車両１の前端から前方を撮影するフロントカメラ３１と、車両１の側面（サイドミラー）から前方を撮影するサイドカメラ３２とが設けられており、フロントカメラ３１の撮影領域（フロント撮影領域）と、サイドカメラ３２の撮影領域（サイド撮影領域）とが一部重複している。そして、フロントカメラ３１の撮影画像を、ダッシュボード４の略中央に設置された表示部としてのディスプレイ５（図３参照）に表示させる。   FIG. 13 shows an example in which a guide line is added to the front image of the vehicle 1 by the safety check support device 10 of the sixth modified example. As shown in FIG. 13A, in the sixth modification, a front camera 31 that captures the front from the front end of the vehicle 1 and a side camera 32 that captures the front from the side surface (side mirror) of the vehicle 1 are provided. Therefore, the shooting area (front shooting area) of the front camera 31 and the shooting area (side shooting area) of the side camera 32 partially overlap. Then, the photographed image of the front camera 31 is displayed on the display 5 (see FIG. 3) serving as a display unit installed in the approximate center of the dashboard 4.

図１３（ａ）の例では、車両１がハンドルを右に切りながら前進しており、走行軌道がフロント撮影領域内を通る。また、車両１の左前方の障害物がフロント撮影領域およびサイド撮影領域の両方に含まれており、フロントカメラ３１の撮影画像とサイドカメラ３２の撮影画像との比較（視差）によって障害物の位置や大きさなどの障害物情報を取得することができる。そして、フロントカメラ３１とサイドカメラ３２とでは撮影位置が異なるため、フロントカメラ３１の撮影画像では車両１が障害物に衝突しない（障害物の手前をすり抜けられる）ように見えても、サイドカメラ３２の撮影画像からは車両１が障害物に衝突すると判断される場合があり、図示した例では、衝突すると判断された場合である。
尚、第６変形例のサイドカメラ３２は、情報取得部に相当しているが、第６変形例の情報取得部は、サイドカメラ３２に限られず、レーダーやソナーを用いて障害物情報を取得してもよい。 In the example of FIG. 13A, the vehicle 1 moves forward while turning the steering wheel to the right, and the traveling track passes through the front photographing area. Further, an obstacle on the left front side of the vehicle 1 is included in both the front photographing area and the side photographing area, and the position of the obstacle is determined by comparing (parallax) the photographed image of the front camera 31 and the photographed image of the side camera 32. Obstacle information such as size and size can be acquired. Since the shooting positions of the front camera 31 and the side camera 32 are different, the side camera 32 is displayed even if the vehicle 1 does not collide with the obstacle (passes through the obstacle) in the photographed image of the front camera 31. From the captured image, it may be determined that the vehicle 1 collides with an obstacle. In the illustrated example, it is determined that the vehicle 1 has collided.
Although the side camera 32 of the sixth modification corresponds to an information acquisition unit, the information acquisition unit of the sixth modification is not limited to the side camera 32 and acquires obstacle information using a radar or sonar. May be.

そして、車両１が障害物に衝突すると判断されたことに基づいて、ディスプレイ５では、図１３（ｂ）に示されるように、フロントカメラ３１の撮影画像に重ねてガイド線（走行軌道）が表示され、それに加えて、警告表示（車両１を模して衝突の位置を示す図形）が付加される。
これに対して、車両１が障害物に衝突しないと判断された場合は、警告表示が付加されない。
尚、車両１と障害物との衝突の有無に応じてガイド線の色を変更してもよく、例えば、衝突する場合はガイド線の色を赤色にし、衝突しない場合はガイド線の色を黄色にしてもよい。 Then, based on the determination that the vehicle 1 collides with an obstacle, the display 5 displays a guide line (traveling trajectory) on the image captured by the front camera 31 as shown in FIG. 13B. In addition to that, a warning display (a graphic showing the position of the collision by imitating the vehicle 1) is added.
On the other hand, when it is determined that the vehicle 1 does not collide with an obstacle, a warning display is not added.
Note that the color of the guide line may be changed depending on whether or not the vehicle 1 and the obstacle collide. For example, the color of the guide line is red when there is a collision, and the color of the guide line is yellow when there is no collision. It may be.

このように、サイドカメラ３２の撮影画像に基づく車両１と障害物との衝突の有無の判断結果に応じてディスプレイ５（表示部）の表示態様を異ならせることで、運転者は、ディスプレイ５の表示から直感的に車両１が障害物に衝突するか否か（手前をすり抜けられるか否か）を把握することが可能となる。   In this way, the driver can change the display mode of the display 5 (display unit) according to the determination result of the presence or absence of the collision between the vehicle 1 and the obstacle based on the captured image of the side camera 32, so that the driver can From the display, it is possible to intuitively grasp whether the vehicle 1 collides with an obstacle (whether it can pass through the front).

Ｄ−７．第７変形例 ：
上述した第６変形例では、ダッシュボード４の略中央に設置のディスプレイ５を表示部として用いていた。しかし、表示部は、これに限らず、車両１の前方の景色に重ねて画像を虚像表示するヘッドアップディスプレイ（以下、ＨＵＤ）を用いることも可能である。 D-7. Seventh modification:
In the above-described sixth modification, the display 5 installed in the approximate center of the dashboard 4 is used as a display unit. However, the display unit is not limited to this, and a head-up display (hereinafter referred to as “HUD”) that displays a virtual image superimposed on the scenery in front of the vehicle 1 can also be used.

図１４には、第７変形例の表示部としてＨＵＤへの適用例が示されている。図示した例は、図１３（ａ）と同様のシチュエーションである。ＨＵＤは、ダッシュボード４内に搭載された図示しないＨＵＤ本体からフロントガラス２のウインドシールド（表示領域）６に画像を投影することで、運転席からフロントガラス２を通して見える前方の景色に重ねて画像を虚像表示する。また、第７変形例のフロントカメラ３１は、運転席から見える前方の景色と同様の画像を撮影するようになっている。   FIG. 14 shows an application example to the HUD as the display unit of the seventh modified example. The illustrated example is the same situation as in FIG. The HUD projects an image from a HUD main body (not shown) mounted in the dashboard 4 onto a windshield (display area) 6 of the windshield 2 so that the image is superimposed on the front view seen through the windshield 2 from the driver's seat. Is displayed as a virtual image. Further, the front camera 31 of the seventh modified example is adapted to take an image similar to the front scenery seen from the driver's seat.

そして、フロントカメラ３１の撮影画像内における走行軌道の位置関係に基づいて、フロントガラス２の表示領域６内における走行軌道の表示位置を決定し、ＨＵＤ本体からガイド線の画像を投影することで、前方の景色に重ねてガイド線を虚像表示する。
このとき、サイドカメラ３２の撮影画像に基づいて車両１が障害物に衝突すると判断された場合は、警告表示の画像を合わせ表示領域６に投影することで、警告表示が付加される。一方、車両１が障害物に衝突しないと判断された場合は、警告表示が付加されない。
このようにすれば、運転者は、前方の景色に重なる虚像表示から、第６変形例と同様に、車両１が障害物に衝突するか否か（手前をすり抜けられるか否か）を直感的に把握することが可能となる。 Then, based on the positional relationship of the traveling track in the photographed image of the front camera 31, the display position of the traveling track in the display area 6 of the windshield 2 is determined, and an image of the guide line is projected from the HUD body. A guide line is displayed as a virtual image over the scenery in front.
At this time, when it is determined that the vehicle 1 collides with an obstacle based on the captured image of the side camera 32, the warning display is added by projecting the warning display image on the display area 6. On the other hand, when it is determined that the vehicle 1 does not collide with an obstacle, a warning display is not added.
In this way, the driver can intuitively determine whether the vehicle 1 collides with an obstacle (whether it can pass through the front) or not from the virtual image display that overlaps the scenery in front, as in the sixth modification. It becomes possible to grasp.

以上、実施例および変形例について説明したが、本発明は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。   As mentioned above, although the Example and the modification were demonstrated, this invention is not restricted to said Example and the modification, In the range which does not deviate from the summary, it can implement in a various aspect.

１…車両、 ２…フロントガラス、 ３…Ａピラー、
４…ダッシュボード、 ５…ディスプレイ、 ６…表示領域、
１０…安全確認支援装置、 １１…カメラ、 １２…走行軌道予測部、
１３…舵角検出部、 １４…車速検出部、 １５…表示制御部、
１６…表示部、 １７…障害物検出部、 １８…情報取得部、
１９…衝突判断部、 ２１…バックカメラ、 ３１…フロントカメラ、
３２…サイドカメラ。 1 ... vehicle, 2 ... windshield, 3 ... A pillar,
4 ... Dashboard, 5 ... Display, 6 ... Display area,
10 ... Safety confirmation support device, 11 ... Camera, 12 ... Traveling track prediction unit,
13 ... Steering angle detection unit, 14 ... Vehicle speed detection unit, 15 ... Display control unit,
16 ... Display unit, 17 ... Obstacle detection unit, 18 ... Information acquisition unit,
19 ... Collision determination unit, 21 ... Back camera, 31 ... Front camera,
32 ... Side camera.

Claims (6)

車両の運転者の安全確認を支援する安全確認支援装置（１０）であって、
前記車両の周囲に設定された所定の撮影領域を撮影するカメラ（１１）と、
前記撮影領域内における前記車両の走行軌道を予測する走行軌道予測部（１２）と、
前記カメラの撮影画像の中から障害物を検出する障害物検出部（１７）と、
前記カメラの撮影位置とは異なる位置で、前記障害物に関する障害物情報を取得する情報取得部（１８）と、
前記障害物情報に基づいて、前記車両が前記障害物に衝突するか否かを判断する衝突判断部（１９）と、
前記車両の運転席から視認可能な位置に設置された表示部（１６）と、
前記表示部を制御し、前記カメラの撮影画像に前記走行軌道を付加して表示させると共に、前記衝突判断部の判断結果を該表示部の表示態様に反映させる表示制御部（１５）と
を備える安全確認支援装置。 A safety confirmation support device (10) for supporting safety confirmation of a driver of a vehicle,
A camera (11) for photographing a predetermined photographing region set around the vehicle;
A travel trajectory prediction unit (12) for predicting the travel trajectory of the vehicle in the imaging region;
An obstacle detection unit (17) for detecting an obstacle from a photographed image of the camera;
An information acquisition unit (18) for acquiring obstacle information relating to the obstacle at a position different from the shooting position of the camera;
A collision determination unit (19) for determining whether or not the vehicle collides with the obstacle based on the obstacle information;
A display unit (16) installed at a position visible from the driver's seat of the vehicle;
A display control unit (15) for controlling the display unit, adding the traveling trajectory to the captured image of the camera and displaying the same, and reflecting a determination result of the collision determination unit on a display mode of the display unit; Safety confirmation support device. 請求項１に記載の安全確認支援装置であって、
前記表示制御部は、前記撮影画像内の前記障害物に前記走行軌道が重畳する重畳部分が存在する場合に、前記衝突判断部によって衝突しないと判断されると、前記走行軌道のうち前記重畳部分を非表示にさせる
安全確認支援装置。 The safety confirmation support device according to claim 1,
When the collision determination unit determines that the display control unit does not collide when the overlapping portion where the traveling track overlaps the obstacle in the captured image, the overlapping portion of the traveling track Safety confirmation support device that hides. 請求項１に記載の安全確認支援装置であって、
前記表示制御部は、前記撮影画像内の前記障害物に前記走行軌道が重畳する重畳部分が存在する場合に、前記衝突判断部によって衝突しないと判断されると、前記走行軌道のうち前記重畳部分を他の部分とは態様の異なる描画線で表示させる
安全確認支援装置。 The safety confirmation support device according to claim 1,
When the collision determination unit determines that the display control unit does not collide when the overlapping portion where the traveling track overlaps the obstacle in the captured image, the overlapping portion of the traveling track A safety confirmation support device that displays a drawing line with a different aspect from other parts. 請求項１に記載の安全確認支援装置であって、
前記表示制御部は、前記走行軌道が範囲内に入っていると前記車両が前記障害物に衝突することを表す衝突警戒範囲を、前記走行軌道と共に前記撮影画像に付加して前記表示部に表示させる
安全確認支援装置。 The safety confirmation support device according to claim 1,
The display control unit adds a collision warning range indicating that the vehicle collides with the obstacle when the traveling track is within the range, along with the traveling track, to the captured image and displays the collision warning range on the display unit. Let safety confirmation support device. 請求項１ないし請求項４の何れか一項に記載の安全確認支援装置であって、
前記表示制御部は、前記衝突判断部によって衝突すると判断されると、該衝突を警告するための文字または図形を、前記走行軌道と共に前記撮影画像に付加して前記表示部に表示させる
安全確認支援装置。 The safety confirmation support device according to any one of claims 1 to 4,
The display control unit, when it is determined that the collision is determined by the collision determination unit, adds a character or a graphic for warning the collision to the captured image together with the traveling trajectory and displays it on the display unit. apparatus. 車両の運転者の安全確認を支援する安全確認支援方法であって、
前記車両の周囲に設定された所定の撮影領域をカメラで撮影する撮影工程（Ｓ１０１）と、
前記撮影領域における前記車両の走行軌道を予測する走行軌道予測工程（Ｓ１０４）と、
前記カメラの撮影画像の中から障害物を検出する障害物検出工程（Ｓ１０５）と、
前記カメラの撮影位置とは異なる位置で、前記障害物に関する障害物情報を取得する情報取得工程（Ｓ１０８）と、
前記障害物情報に基づいて、前記車両が前記障害物に衝突するか否かを判断する衝突判断工程（Ｓ１０９）と、
前記車両の運転席から視認可能な位置に設置された表示部を制御し、前記カメラの撮影画像に前記走行軌道を付加して表示させると共に、前記衝突判断工程の判断結果を該表示部の表示態様に反映させる表示制御工程（Ｓ１０６，Ｓ１１０，Ｓ１１１）と
を備える安全確認支援方法。 A safety confirmation support method for supporting safety confirmation of a vehicle driver,
A photographing step (S101) of photographing a predetermined photographing region set around the vehicle with a camera;
A travel trajectory prediction step (S104) for predicting the travel trajectory of the vehicle in the imaging region;
An obstacle detection step (S105) for detecting an obstacle from a photographed image of the camera;
An information acquisition step (S108) for acquiring obstacle information relating to the obstacle at a position different from the shooting position of the camera;
A collision determination step (S109) for determining whether or not the vehicle collides with the obstacle based on the obstacle information;
The display unit installed at a position visible from the driver's seat of the vehicle is controlled to display the image taken by the camera with the traveling track added, and the determination result of the collision determination step is displayed on the display unit. A safety confirmation support method comprising: a display control step (S106, S110, S111) to be reflected in the aspect.
JP2015057604A 2015-03-20 2015-03-20 Safety confirmation support device, safety confirmation support method Pending JP2016175549A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015057604A JP2016175549A (en) 2015-03-20 2015-03-20 Safety confirmation support device, safety confirmation support method
PCT/JP2016/000740 WO2016152000A1 (en) 2015-03-20 2016-02-12 Safety confirmation assist apparatus, safety confirmation assist method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015057604A JP2016175549A (en) 2015-03-20 2015-03-20 Safety confirmation support device, safety confirmation support method

Publications (2)

Publication Number Publication Date
JP2016175549A true JP2016175549A (en) 2016-10-06
JP2016175549A5 JP2016175549A5 (en) 2017-01-26

Family

ID=56977157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015057604A Pending JP2016175549A (en) 2015-03-20 2015-03-20 Safety confirmation support device, safety confirmation support method

Country Status (2)

Country Link
JP (1) JP2016175549A (en)
WO (1) WO2016152000A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019084988A (en) * 2017-11-08 2019-06-06 トヨタ自動車株式会社 Electronic mirror device
WO2019159344A1 (en) * 2018-02-19 2019-08-22 三菱電機株式会社 Driving assistance device and video display method
JP2022146249A (en) * 2021-03-22 2022-10-05 名古屋電機工業株式会社 Obstacle detection system, obstacle detection method, and program

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111348055A (en) * 2018-12-20 2020-06-30 阿里巴巴集团控股有限公司 Driving assistance method, driving assistance system, computing device, and storage medium
JP7209189B2 (en) * 2019-03-25 2023-01-20 パナソニックＩｐマネジメント株式会社 Image generation device, camera, display system, vehicle and image generation method
WO2022226837A1 (en) * 2021-04-28 2022-11-03 深圳元戎启行科技有限公司 Time and space learning-based method and apparatus for predicting trajectory, and computer device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003034206A (en) * 2001-07-19 2003-02-04 Nissan Motor Co Ltd Device for supporting parking for vehicle
JP2003212072A (en) * 2002-01-21 2003-07-30 Nissan Motor Co Ltd Driving support device
JP2005236540A (en) * 2004-02-18 2005-09-02 Matsushita Electric Ind Co Ltd On-vehicle camera device
JP2007043530A (en) * 2005-08-04 2007-02-15 Nissan Motor Co Ltd Drive support device and drive support method
JP2011161935A (en) * 2008-05-30 2011-08-25 Sanyo Electric Co Ltd Drive support device
JP2014034289A (en) * 2012-08-08 2014-02-24 Denso Corp Vehicle control device
JP2015020495A (en) * 2013-07-17 2015-02-02 日産自動車株式会社 Vehicle drive device
JP2015507776A (en) * 2011-12-07 2015-03-12 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ Active warning and / or navigation assistance method for avoiding collision between vehicle body and / or wheel and object

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3894322B2 (en) * 2003-07-23 2007-03-22 松下電工株式会社 Vehicle visibility monitoring system
JP4075743B2 (en) * 2003-09-01 2008-04-16 株式会社デンソー Vehicle travel support device
JP6130625B2 (en) * 2012-02-28 2017-05-17 アイシン精機株式会社 Vehicle driving support device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003034206A (en) * 2001-07-19 2003-02-04 Nissan Motor Co Ltd Device for supporting parking for vehicle
JP2003212072A (en) * 2002-01-21 2003-07-30 Nissan Motor Co Ltd Driving support device
JP2005236540A (en) * 2004-02-18 2005-09-02 Matsushita Electric Ind Co Ltd On-vehicle camera device
JP2007043530A (en) * 2005-08-04 2007-02-15 Nissan Motor Co Ltd Drive support device and drive support method
JP2011161935A (en) * 2008-05-30 2011-08-25 Sanyo Electric Co Ltd Drive support device
JP2015507776A (en) * 2011-12-07 2015-03-12 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ Active warning and / or navigation assistance method for avoiding collision between vehicle body and / or wheel and object
JP2014034289A (en) * 2012-08-08 2014-02-24 Denso Corp Vehicle control device
JP2015020495A (en) * 2013-07-17 2015-02-02 日産自動車株式会社 Vehicle drive device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019084988A (en) * 2017-11-08 2019-06-06 トヨタ自動車株式会社 Electronic mirror device
US11173840B2 (en) 2017-11-08 2021-11-16 Toyota Jidosha Kabushiki Kaisha Electronic mirror apparatus
JP7201315B2 (en) 2017-11-08 2023-01-10 トヨタ自動車株式会社 Electronic mirror device
WO2019159344A1 (en) * 2018-02-19 2019-08-22 三菱電機株式会社 Driving assistance device and video display method
JPWO2019159344A1 (en) * 2018-02-19 2020-07-30 三菱電機株式会社 Driving support device and video display method
JP7050827B2 (en) 2018-02-19 2022-04-08 三菱電機株式会社 Driving support device and video display method
JP2022146249A (en) * 2021-03-22 2022-10-05 名古屋電機工業株式会社 Obstacle detection system, obstacle detection method, and program
JP7273084B2 (en) 2021-03-22 2023-05-12 名古屋電機工業株式会社 Obstacle detection device, obstacle detection method and program

Also Published As

Publication number Publication date
WO2016152000A1 (en) 2016-09-29

Similar Documents

Publication Publication Date Title
WO2016152000A1 (en) Safety confirmation assist apparatus, safety confirmation assist method
JP4412380B2 (en) Driving support device, driving support method, and computer program
JP6562081B2 (en) Method and apparatus for detecting borderline of parking space
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
US9493072B2 (en) Safety confirmation support system for vehicle driver and method for supporting safety confirmation of vehicle driver
JP6056612B2 (en) Image display control device and image display system
CN111201558B (en) Method for representing the surroundings of a vehicle
KR20200016958A (en) Parking Assistance Method and Parking Assistance Device
US11584297B2 (en) Display device for vehicle and parking assist system
JP2008222153A (en) Merging support device
WO2017154787A1 (en) Parking area display system, and automatic parking system using same
JPWO2019008762A1 (en) Parking assistance method and parking assistance device
JP2019120994A (en) Display control device and display control method
JP2005236540A (en) On-vehicle camera device
JP2012176656A (en) Parking support device
CN107472137B (en) Method and device for representing the environment of a motor vehicle
CN112124092A (en) Parking assist system
CN115123281A (en) Image display system
CN112977426B (en) Parking assist system
JP2012023505A (en) Driving support device
CN108725321A (en) Information presentation device
JP2010041488A (en) Driving support device
JP2017194784A (en) Vehicle driving support apparatus and vehicle driving support program
US20220308345A1 (en) Display device
JP6961882B2 (en) Parking support device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181024

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181106