JP2020080485A - 運転支援装置、運転支援システム、運転支援方法およびプログラム - Google Patents

運転支援装置、運転支援システム、運転支援方法およびプログラム Download PDF

Info

Publication number
JP2020080485A
JP2020080485A JP2018213084A JP2018213084A JP2020080485A JP 2020080485 A JP2020080485 A JP 2020080485A JP 2018213084 A JP2018213084 A JP 2018213084A JP 2018213084 A JP2018213084 A JP 2018213084A JP 2020080485 A JP2020080485 A JP 2020080485A
Authority
JP
Japan
Prior art keywords
image
vehicle
line
driver
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018213084A
Other languages
English (en)
Other versions
JP7163732B2 (ja
Inventor
伊藤　和浩
Kazuhiro Ito
和浩 伊藤
久門　仁
Hitoshi Kumon
仁 久門
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018213084A priority Critical patent/JP7163732B2/ja
Priority to US16/670,024 priority patent/US11351918B2/en
Priority to CN201911101526.8A priority patent/CN111169382B/zh
Publication of JP2020080485A publication Critical patent/JP2020080485A/ja
Application granted granted Critical
Publication of JP7163732B2 publication Critical patent/JP7163732B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Astronomy & Astrophysics (AREA)

Abstract

【課題】運転者が車両の周辺環境の状況を直感的に把握することができる運転支援装置、運転支援システム、運転支援方法およびプログラムを提供する。【解決手段】運転支援装置は、メモリと、ハードウェアを有するプロセッサと、を備え、このプロセッサは、車室内の運転者の視線に基づいて、前記車室内において仮想的に表示する画像であって、車両の周辺を撮像した画像データに対応する画像の表示位置および表示内容を設定して画像とともに出力する。【選択図】図１

Description

本発明は、運転支援装置、運転支援システム、運転支援方法およびプログラムに関する。
車両のインナーミラーやアウターミラー等の代わりに電子ミラーを設ける技術が知られている（例えば特許文献１参照）。電子ミラーは、車両に搭載した撮像装置が撮像した画像を用いて生成される仮想的な鏡像を液晶等のディスプレイによって表示する。
特開２０１８−２２９５８号公報
ところで、高速大容量通信の発展に伴って、車車間通信や路車間通信等により大量の情報を取得できる車両が製造されるようになってきている。このような状況下では、車両が通信によって取得した情報をもとに、車両の周辺環境に関する多様な情報を運転者に対して直感的に把握させることが可能になると期待される。
本発明は、上記に鑑みてなされたものであって、運転者が車両の周辺環境を直感的に把握することができる運転支援装置、運転支援システム、運転支援方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る運転支援装置は、メモリと、ハードウェアを有するプロセッサと、を備え、前記プロセッサは、運転者の視線に関する視線情報および車両の周辺を撮像した画像データをそれぞれ取得し、前記視線情報に基づいて、前記画像データを用いて生成される画像の表示位置および表示内容を設定して前記画像とともに出力する。
また、前記プロセッサは、前記視線情報に基づいて、前記運転者の視線の向きが前記車両のルーフとフロントウィンドウの境界より上方であるか否かを判定し、前記運転者の視線の向きが前記上方であると判定した場合、前記画像に基づいて、前記車両を俯瞰した仮想的な俯瞰画像であって、前記ルーフに表示するための俯瞰画像を生成して出力してもよい。
これによれば、運転者が車両の周辺環境を直感的に把握することができるうえ、視認性が高いため、危険回避を容易に行うことができる。
また、前記プロセッサは、前記俯瞰画像を前記車両の車輪を含む情報に基づいて定まる基準面と平行な面であって、前記車両における所定の基準位置を通る面と前記視線の向きとが交差する位置へオフセットして出力してもよい。
これによれば、運転者が無理な姿勢を取ることなく、俯瞰画像を容易に確認することができるうえ、運転者の首に掛かる負担を軽減することができる。
また、前記プロセッサは、前記俯瞰画像の含まれる前記基準位置を中心に所定の角度で回転して出力してもよい。
これによれば、運転者が車両の周辺環境を容易に把握することができる。
また、前記プロセッサは、少なくとも前記俯瞰画像における前記車両における車室内から視て内装部品が写る領域を切り取るトリミング処理を行って出力してもよい。
これによれば、ルーフ等の遮蔽物によって遮蔽物より距離が遠い領域を隠してしまうオクルージョンの状態が発生することを防止することができるので、運転者が俯瞰画像の遠近感に違和感を生じさせなく済む。
また、前記プロセッサは、前記視線情報に基づいて、前記運転者の視線の向きが前記車両内のフロントウィンドウ上方の中央であるか否かを判定し、前記運転者の視線の向きが前記車両内のフロントウィンドウの上方の中央であると判定した場合、前記画像に基づいて、前記車両の背面から後方を撮像した後方画像であって、前記フロントウィンドウの中央の上方に表示するための後方画像を生成して出力してもよい。
これによれば、車両からルームミラーを省略または小型化を図ることができるので、運転者の視野が広くなり、安全性を高めることができる。
また、前記プロセッサは、前記車両の車速に関する車速情報を取得し、前記車速情報に基づいて、前記車両が停止しているか否かを判定し、前記車両が停止している場合、前記後方画像を前記フロントウィンドウ領域に相当する大きさに拡大して出力してもよい。
これによれば、運転者が安全確認を容易にすることができるので、車両の後方の見落としを防止することができる。
また、前記プロセッサは、前記視線情報に基づいて、前記運転者の視線の向きが前記車両の側方であるか否かを判定し、前記運転者の視線の向きが前記車両の側方である場合、前記画像に基づいて、前記車両の側方から後方を撮像した側方画像であって、サイドミラーに対応する位置、フェンダーミラーに対応する位置およびフロントウィンドウの上方の左右の位置のいずれか１つ以上に表示するための側方画像を生成して出力してもよい。
これによれば、従来のインナーミラーの位置と同じため、運転者に違和感を生じさせることなく、車両の側方の後方を確認することができる。
また、前記プロセッサは、前記運転者の視線の向きが運転席から遠ざかる側の前記側方である場合、前記側方画像の表示タイミングを前記運転席から近い側の前記側方の表示タイミングと比して早くしてもよい。
これによれば、運転者が視線の向きを遠い側の側方に移した場合であっても、運転者に違和感を生じさせることなく、車両の側方の後方を確認することができる。
また、前記プロセッサは、前記運転者の視線の向きが運転席から遠ざかる側の前記側方である場合、前記側方画像を前記運転席から近い側の前記側方よりも拡大した拡大画像を生成して出力してもよい。
これによれば、運転席から遠い側方に視線を向けた場合であっても、運転者が容易に車両の側方の後方を確認することができる。
また、本発明に係る運転支援システムは、上記の運転支援装置と、当該運転支援装置と双方向に通信可能であり、視野領域の光を透過しつつ、該視野領域に前記画像を仮想的に表示可能なウェアラブル装置と、を備え、前記ウェアラブル装置は、前記視線情報を検出する視線センサを備え、前記プロセッサは、前記視線情報に基づいて、前記ウェアラブル装置における前記画像の表示位置および前記表示内容を設定して前記画像とともに前記ウェアラブル装置に出力する。
これによれば、視線の向きに応じた内容の画像が表示されるので、運転者が直感的に把握することができる。
また、本発明に係る運転支援方法は、運転者の視線に関する視線情報および車両の周辺を撮像した画像データをそれぞれ取得し、メモリから読み出した前記視線情報に基づいて、前記画像データを用いて生成される画像の表示位置および表示内容を設定して前記画像とともに出力する。
また、本発明に係るプログラムは、運転者の視線に関する視線情報および車両の周辺を撮像した画像データを取得し、前記視線情報に基づいて、前記画像データを用いて生成される画像の表示位置および表示内容を設定して前記画像とともに出力する。
本発明によれば、プロセッサが運転者の視線に関する視線情報に基づいて、車両の周辺を撮像した画像データを用いて生成される画像の表示位置および表示内容を設定して画像ともに出力することによって、運転者の視線を向けた位置に応じた内容の画像を運転者に提示することができるので、運転者が車両の周辺環境を直感的に把握することができるという効果を奏する。
図１は、実施の形態１に係る車両に搭載された運転支援装置の機能構成を示すブロック図である。 図２は、実施の形態１に係る運転支援装置が実行する処理の概要を示すフローチャートである。 図３は、トップビュー表示の一例を模式的に示す図である。 図４は、俯瞰画像の表示領域を説明する模式図である。 図５は、俯瞰画像のオフセットを説明する模式図である。 図６Ａは、俯瞰画像の別の一例を説明する模式図である。 図６Ｂは、車両の部位名称に示す図である。 図６Ｃは、車両の部位名称に示す図である。 図７は、バックビュー表示の表示位置を説明する模式図である。 図８は、バックビュー表示の後方画像の一例を示す模式図である。 図９は、拡大したバックビュー表示の表示位置を説明する模式図である。 図１０は、サイドビュー表示の表示位置を説明する模式図である。 図１１Ａは、サイドビュー表示の側方画像の一例を示す模式図である。 図１１Ｂは、サイドビュー表示の側方画像の一例を示す模式図である。 図１２は、サイドビュー表示の別の表示位置を説明する模式図である。 図１３は、サイドビュー表示の別の表示位置を説明する模式図である。 図１４は、トップビュー表示の一例を上方から模式的に示す図である。 図１５は、トップビュー表示の画像の一例を示す模式図である。 図１６は、実施の形態２に係るウェアラブル装置の概略構成を示す図である。 図１７は、実施の形態２に係る運転支援装置とウェアラブル装置を備える運転支援システムの機能構成を示すブロック図である。 図１８は、実施の形態２に係る運転支援装置が実行する処理の概要を示すフローチャートである。 図１９は、実施の形態２に係る別のウェアラブル装置の概略構成を示す図である。 図２０は、実施の形態２に係る別のウェアラブル装置の概略構成を示す図である。 図２１は、実施の形態２に係る別のウェアラブル装置の概略構成を示す図である。 図２２は、実施の形態２に係る別のウェアラブル装置の概略構成を示す図である。 図２３は、実施の形態３に係る運転支援システムの概要を示す模式図である。
以下、本発明を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本発明が限定されるものでない。また、以下において、同一の部分には同一の符号を付して説明する。
（実施の形態１）
〔運転支援装置の構成〕
図１は、実施の形態１に係る車両に搭載される運転支援装置の機能構成を示すブロック図である。図１に示す運転支援装置１は、車両に搭載され、この車両に搭載された他のＥＣＵ（Electronic Control Unit）と連携しながら車両内の運転者に対して運転を支援する。図１に示す運転支援装置１は、イグニッションスイッチ１０（以下、「ＩＧスイッチ１０」という）と、車速センサ１１と、撮像装置１２と、視線センサ１３と、通信部１４と、表示部１５と、ＥＣＵ（Electronic Control Unit）１６等と、を備える。
ＩＧスイッチ１０は、エンジンやモータ等の電気系統の始動および停止を受け付ける。ＩＧスイッチ１０は、オン状態となった場合、ＩＧ電源を始動させ、オフ状態となった場合、ＩＧ電源を停止させる。
車速センサ１１は、車両の走行時における車速を検出し、この検出結果をＥＣＵ１６へ出力する。
撮像装置１２は、車両の外部に複数、例えば撮像画角が３６０°となるように少なくとも前方、後方および両側方の４箇所に設けられる。撮像装置１２は、ＥＣＵ１６の制御のもと、車両の周辺を撮像することによって画像データを生成し、この画像データをＥＣＵ１６へ出力する。撮像装置１２は、１または複数のレンズで構成された光学系と、この光学系が集光した被写体像を受光することによって画像データを生成するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。
視線センサ１３は、運転者の視線を検出し、この検出結果をＥＣＵ１６へ出力する。視線センサ１３は、光学系と、ＣＣＤまたはＣＭＯＳと、メモリと、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のハードウェアを有するプロセッサを用いて構成される。視線センサ１３は、例えば周知のテンプレートマッチングを用いて運転者の目の動かない部分を基準点（例えば目頭）として検出し、かつ、目の動く部分（例えば虹彩）を動点として検出し、この基準点と動点との位置関係に基づいて運転者の視線を検出する。なお、実施の形態１では、視線センサ１３を可視カメラによって運転者の視線を検出しているが、これに限定されることなく、赤外カメラによって運転者の視線を検出してもよい。視線センサ１３を赤外カメラによって構成する場合、赤外ＬＥＤ（Light Emitting Diode）等によって赤外光を運転者に照射し、赤外カメラで運転者を撮像することによって生成された画像データから基準点（例えば角膜反射）および動点（例えば瞳孔）を検出し、この基準点と動点との位置関係に基づいて運転者の視線を検出する。
通信部１４は、ＥＣＵ１６の制御のもと、基地局およびネットワークを介して所定の通信規格に従って各種情報を図示しないサーバへ送信するとともに、サーバから各種情報を受信する。また、通信部１４は、図示しないウェアラブル装置、他の車両またはユーザ端末装置等に対して所定の通信規格に従って各種情報を送信するとともに、各種情報をウェアラブル装置、他の車両またはユーザ端末装置等から受信する。通信部１４は、無線通信可能な通信モジュールを用いて構成される。
表示部１５は、車両の車室内、例えばルーフ、フロントウィンドウおよびサイドウィンドウ等に複数設けられ、ＥＣＵ１６の制御のもと、画像、映像および文字情報を車室内に表示または投影することによって表示する。表示部１５は、例えばＨＵＤ（Head-UP Display）や車両のルーフに設けられた表示ディスプレイ等を用いて構成される。具体的には、表示部１５は、画像を投影する有機ＥＬ（Electro Luminescence）や液晶等の表示パネルを有する画像表示機と、この画像表示機から投影された画像が中間像として結像される拡散板と、拡散板で結像された中間像を拡大してルーフ、フロントウィンドウおよびサイドウィンドウ等に投影する拡大鏡等を用いて構成される。
ＥＣＵ１６は、運転支援装置１を構成する各部の動作を制御する。ＥＣＵ１６は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。ＥＣＵ１６は、視線センサ１３から取得した運転者の視線に関する視線情報に基づいて、画像データを用いて生成される画像の表示位置および表示内容を設定して画像とともに出力する。具体的には、ＥＣＵ１６は、視線センサ１３が検出した運転者の視線の向きに基づいて、表示部１５に表示させる画像であって、撮像装置１２から取得した画像データに対応する画像の表示位置および表示内容を制御して出力する。なお、実施の形態１では、ＥＣＵ１６がプロセッサとして機能する。
〔運転支援装置の処理〕
次に、運転支援装置１が実行する処理について説明する。図２は、運転支援装置１が実行する処理の概要を示すフローチャートである。
図２に示すように、まず、ＥＣＵ１６は、視線センサ１３が検出した運転者の視線に関する視線情報、撮像装置１２が生成した画像データおよび車速センサ１１が検出した車両の車速情報を取得する（ステップＳ１０１）。
続いて、ＥＣＵ１６が視線センサ１３から取得した視線情報に基づいて、運転者の視線の向きが車両のフロントウィンドウとルーフとの境界より斜め上方であり（ステップＳ１０２：Ｙｅｓ）、ルーフであると判定した場合（ステップＳ１０３：Ｙｅｓ）、運転支援装置１は、ステップＳ１０４へ移行する。
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、車両を俯瞰した仮想的な俯瞰画像であって、車両のルーフに表示するための俯瞰画像を生成して表示部１５に出力することによって、表示部１５に俯瞰画像を車両のルーフに表示させるトップビュー表示を行う（ステップＳ１０４）。具体的には、ＥＣＵ１６は、図３に示すように、車両１００のルーフ１０１に表示するための俯瞰画像Ｐ１を表示部１５に表示させる。この場合、ＥＣＵ１６は、撮像装置１２が車両１００の上方から撮像した画像データに対応する実画像に対して、実画像の中心を通過して実画像と直交する軸周りに１８０°回転させた後に、車両１００の前後方向に対して左右反転処理および車両１００と運転者との距離間を調整するリサイズ処理等を行うことによって仮想的な俯瞰画像Ｐ１を生成し、この俯瞰画像Ｐ１を表示部１５に出力する。ここで、俯瞰画像Ｐ１には、車両１００の車輪の位置等によって定まる基準面と平行な対称面に対して車両１００の鏡像対象な像が含まれる。表示部１５は、ＥＣＵ１６の制御のもと、ＥＣＵ１６から入力された俯瞰画像Ｐ１を車両のルーフに向けて表示する。これにより、運転者は、ルーフ１０１に俯瞰画像Ｐ１が表示されるため、車両１００の周辺環境の状況を直感的に把握することができる。さらに、運転者は、俯瞰画像Ｐ１がルーフ１０１に表示されるため、車両１００の周辺に位置する対象物までの距離を把握し易いので、危険回避を容易に行うことができる。なお、ＥＣＵ１６は、俯瞰画像Ｐ１に対して左右反転処理を行うことなく、表示部１５へ出力してもよい。ステップＳ１０４の後、運転支援装置１は、ステップＳ１０５へ移行する。
ステップＳ１０４において、ＥＣＵ１６は、俯瞰画像Ｐ１が所定の表示範囲内で表示されるように表示部１５を制御してもよい。図４は、俯瞰画像Ｐ１の表示領域を説明する模式図である。図４において、車両１００の車輪の位置等によって定まる基準面Ｈ１とする。さらに、図４において、運転者Ｕ１の視線の角度を、運転者Ｕ１が運転席１０２に着座した状態で基準面と平行な方向を見ているときの視線方向を０°とする仰角を用いて説明する。なお、図４において、仰角は、運転者Ｕ１が０°の方向より上を向いているときの角度（図４で０°から反時計回りした角度）を正として説明する。
図４に示すように、ＥＣＵ１６は、俯瞰画像Ｐ１をルーフ１０１に表示させる際に、ルーフ１０１の全体に表示させなくてもよく、仰角が所定の角度範囲（θ１〜θ２）である領域に制御して表示部１５に表示させてもよい。ここで、角度θ１は、運転者Ｕ１の視線方向がルーフ１０１とフロントウィンドウＷ１との境界を通過するときの角度であり、車両の種類に応じて定まる角度である。また、角度θ２は、運転者Ｕ１が首を最も上向きにし、かつ視線を最も上向きにしたときの角度である。一般に、人間の首は、５０°程度上向きにすることができ、視線は、まっすぐな方向に対して６０°程度上に向けることができると考えられる。従って、この想定のもとでの角度θ２は、１１０°程度である。
また、ステップＳ１０４において、ＥＣＵ１６は、俯瞰画像Ｐ１を基準面Ｈ１と平行な面であって、車両１００における所定の基準位置を通る面と運転者Ｕ１の視線の向きとが交差する位置へオフセットして表示されるように表示部１５を制御してもよい。図５は、俯瞰画像Ｐ１のオフセットを説明する模式図である。
図５に示すように、ＥＣＵ１６は、基準面Ｈ１と平行な対称面Ｈ２に対して車両１００の鏡像対象な像１００Ａ（俯瞰画像Ｐ１）を前方にオフセットさせて表示部１５に表示させる。オフセット量Ｄ１は、オフセット後の俯瞰画像Ｐ１が上述した仰角の角度範囲θ１〜θ２に含まれることが条件である。即ち、ＥＣＵ１６は、像１００Ａが写る俯瞰画像を像１００Ａにおける所定の基準位置Ａ１を通る面Ｈ３と視線Ｌ１の向きとが交差する位置Ａ２へオフセットして表示部１５に出力する。この場合、ＥＣＵ１６は、視線センサ１３が検出した運転者Ｕ１の瞳孔の大きさに基づいて、俯瞰画像Ｐ１を拡大して表示部１５に表示させてもよい。さらに、図５に示すように、ＥＣＵ１６は、像１００Ａの基準位置Ａ１を中心に、例えば像１００Ａの前方を面Ｈ３から上に４５°回転させた像１００Ｂが写る俯瞰画像を表示部１５に出力してもよい。これにより、運転者Ｕ１は、首に掛かる負担を軽減することができるうえ、車両１００の周囲の環境をより容易に把握することができる。
また、図６Ａに示すように、ＥＣＵ１６は、表示部１５に撮像装置１２が車両１００の全周囲（３６０°）を撮像した円環状の俯瞰画像Ｐ１００を車両１００のルーフ１０１上に表示させてもよい。この場合において、ＥＣＵ１６は、上述したオフセット量で俯瞰画像Ｐ１００を表示部１５に表示させてもよい。このとき、ＥＣＵ１６は、少なくとも俯瞰画像Ｐ１００において、図６Ａ、図６Ｂまたは図６Ｃに示すように車両１００または車両１００’における車室内から視て内装部品が写る領域を切り取るトリミング処理を行って出力する。ここで、車室内から視て内装部品とは、図６Ｂの車両１００または図６Ｃの図の車両１００’のルーフ、ドア、フロントピラー（以下、「Ａピラー」という）、センターピラー（以下、「Ｂピラー」という）、クォータピラー（以下、「Ｃピラー」という）、リヤピラー（以下、「Ｄピラー」という）等である。即ち、ＥＣＵ１６は、少なくとも俯瞰画像Ｐ１００において、図６Ａ〜図６Ｃに示すように車両１００または車両１００’のルーフ、ドア、Ａピラー、Ｂピラー、Ｃピラー、Ｄピラー等の各々が写る領域Ｚ１，Ｚ２を切り取るトリミング処理を行い、トリミング処理を行った俯瞰画像Ｐ１００を車両１００または車両１００’のルーフに仮想的に表示部１５に表示させる。これにより、ＥＣＵ１６は、車両１００のルーフ、ドア、ＡピラーおよびＢピラー或いはＣピラー、Ｄピラー等の各々が写る領域Ｚ１，Ｚ２を切り取るトリミング処理を行うことで、ルーフ１０１等の遮蔽物より距離が遠い領域の画像が遮蔽物に隠れるオクルージョンの状態が発生するのを防止することができる。この結果、運転者Ｕ１は、俯瞰画像Ｐ１００に対する遠近感覚に違和感を生じさせなくて済む。
図２に戻り、ステップＳ１０５以降の説明を続ける。
ステップＳ１０５において、ＥＣＵ１６は、ＩＧスイッチ１０がオフ状態となったか否かを判定する。ＥＣＵ１６によってＩＧスイッチ１０がオフ状態であると判定された場合（ステップＳ１０５：Ｙｅｓ）、運転支援装置１は、本処理を終了する。これに対して、ＥＣＵ１６によってＩＧスイッチ１０がオフ状態でないと判定された場合（ステップＳ１０５：Ｎｏ）、運転支援装置１は、上述したステップＳ１０１へ戻る。
ステップＳ１０２において、ＥＣＵ１６が運転者の視線の向きが車両のフロントウィンドウとルーフとの間の斜め上方であり（ステップＳ１０２：Ｙｅｓ）、ルーフでないと判定した場合（ステップＳ１０３：Ｎｏ）、運転支援装置１は、ステップＳ１０６へ移行する。
続いて、ＥＣＵ１６は、車速センサ１１から取得した車速情報に基づいて、車両が走行中であるか否かを判定し（ステップＳ１０６）、ＥＣＵ１６によって車両が走行中であると判定された場合（ステップＳ１０６：Ｙｅｓ）、運転支援装置１は、ステップＳ１０７へ移行する。
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、表示部１５に車両の後方を撮像した後方画像を生成して表示部１５に出力することによって、表示部１５にフロントウィンドウ中央の上部に対応する位置に後方画像を投影させて表示させるバックビュー表示を行う（ステップＳ１０７）。具体的には、図７および図８に示すように、ＥＣＵ１６は、表示部１５に撮像装置１２が車両１００の後方を撮影した画像データに対応する後方画像Ｐ２を、フロントウィンドウＷ１中央の上部に対応する位置Ｍ１、例えば従来のバックミラーや電子ミラーが配置された領域に対応する位置に投影させるバックビュー表示を行う。この場合、ＥＣＵ１６は、撮像装置１２が車両１００の後方を撮影した画像データに対応する画像に対して、周知の左右反転処理および距離間を調整するリサイズ処理等を行った後方画像Ｐ２を表示部１５に出力する。これにより、運転者Ｕ１は、違和感なく後方画像Ｐ２を直感的に把握することができる。さらに、車両１００からルームミラーを省略または小型化が図ることができるので、運転者は、運転時の視野が広くなり、安全性を高めることができる。ステップＳ１０７の後、運転支援装置１は、ステップＳ１０５へ移行する。
ステップＳ１０６において、ＥＣＵ１６によって車両が走行中でないと判定された場合（ステップＳ１０６：Ｎｏ）、運転支援装置１は、ステップＳ１０８へ移行する。
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、車両の後方を撮像した後方画像Ｐ２をフロントウィンドウ領域に相当する大きさに拡大した拡大画像を表示部１５に出力することによって、表示部１５に拡大画像を投影させる拡大バックビュー表示を行う（ステップＳ１０８）。具体的には、図９に示すように、ＥＣＵ１６は、車両１００の後方を撮像した後方画像Ｐ２をフロントウィンドウＷ１領域に相当する位置Ｍ２に拡大した拡大画像を表示部１５に出力する。この場合、表示部１５は、ＥＣＵ１６の制御のもと、拡大画像をフロントウィンドウＷ１領域に相当する位置に拡大して投影する拡大バックビュー表示を行う。これにより、運転者Ｕ１は、車両の走行時に比べて車両の後方の死角を容易に把握することができる。この場合、ＥＣＵ１６は、車両の走行中よりも撮像装置１２の画角を広角側に変更させた状態で撮像装置１２に車両の後方を撮像させてもよい。さらに、ＥＣＵ１６は、拡大画像上に、撮像装置１２が車両の側方の後方を撮像した側方画像を重畳して表示部１５に表示させてもよい。ステップＳ１０８の後、運転支援装置１は、ステップＳ１０５へ移行する。
ステップＳ１０２において、ＥＣＵ１６によって運転者の視線の向きが車両の斜め上方でなく（ステップＳ１０２：Ｎｏ）、車両の側方であると判定された場合（ステップＳ１０９：Ｙｅｓ）、運転支援装置１は、ステップＳ１１０へ移行する。ここで、車両の側方とは、車両のサイドウィンドウ、従来のサイドミラーに相当する位置および車両のＡピラーのサイドウィンドウ側のいずれか１つである。
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、表示部１５に車両の側方後方を撮像した側方画像を生成して表示部１５へ出力することによって、表示部１５に、従来のサイドミラーが配置された領域に対応する位置に投影させるサイドビュー表示を行う（ステップＳ１１０）。具体的には、図１０および図１１Ａに示すように、ＥＣＵ１６は、運転者の視線の向きが運転席から遠い側のサイドウィンドウＷＬ１である場合、表示部１５に従来の左サイドミラーが配置された領域に対応する位置ＭＬ１に撮像装置１２が車両１００の左側後方を撮像した画像データに対応する側方画像Ｐ３を投影させて表示するサイドビュー表示を行う。この場合、ＥＣＵ１６は、撮像装置１２が車両１００の左側後方を撮像した画像データに対応する画像に対して周知の左右反転処理および距離間を調整するリサイズ処理等を行った側方画像Ｐ３を表示部１５に出力する。また、ＥＣＵ１６は、運転者の視線の向きが運転席から近い側のサイドウィンドウＷＲ１である場合、表示部１５に従来の右サイドミラーが配置された領域に対応する位置ＭＲ１に側方画像Ｐ３を表示部１５に投影させて表示するサイドビュー表示を行う。この場合において、ＥＣＵ１６は、運転者の視線の向きが運転席から遠い側のサイドウィンドウＷＬ１であるとき、側方画像Ｐ３の表示タイミングを運転席から近い側のサイドウィンドウＷＲ１の表示タイミングと比して早く表示部１５に表示させてもよい。これにより、運転者は、サイドウィンドウ間で視線の向きを移動させた場合であっても、ＥＣＵ１６が側方画像Ｐ３の表示タイミングを運転席から近い側のサイドウィンドウＷＲ１の表示タイミングと比して早く表示部１５に表示させるので、違和感なく両側方の後方を確認しながら運転することができる。ステップＳ１１０の後、運転支援装置１は、ステップＳ１０５へ移行する。
また、ステップＳ１１０において、ＥＣＵ１６は、運転者の視線の向きが運転席から遠い側のサイドウィンドウＷＬ１である場合、運転席から近い側のサイドウィンドウＷＲ１の側方画像Ｐ３よりも拡大した側方画像Ｐ３を表示部１５に出力することによって、表示部１５に拡大した側方画像Ｐ３を投影させて表示させるサイドビュー表示を行ってもよい。これにより、運転者は、視線の向きを左右で瞬時に切り替えた場合であっても、違和感なく両側方の側方画像を確認することができる。このとき、ＥＣＵ１６は、運転者の視線の向きの滞留時間に応じて、側方画像Ｐ３を徐々に拡大して表示部１５に出力してもよい。
また、図１１Ｂまたは図１２に示すように、ＥＣＵ１６は、運転者の視線の向きがフロントウィンドウＷ１の上方の左右またはＡピラー１０３方向である場合、側方画像Ｐ３を表示部１５に出力することによって、表示部１５にフロントウィンドウＷ１上方の位置ＭＬ４，ＭＲ４に側方画像Ｐ３や側方画像Ｐ４を投影させて表示させるサイドビュー表示を行ってもよい。これにより、運転者Ｕ１は、運転中における視線の移動量を小さくすることができる。また、ピラーレス表示には、側方画像Ｐ３がフロントウィンドウＷ１寄りであっても良い。
また、図１３に示すように、ＥＣＵ１６は、運転者の視線の向きがサイドウィンドウＷＬ１，ＷＲ１またはフロントウィンドウＷ１において従来のフェンダーミラーが配置された領域に対応する位置ＭＬ５，ＭＲ５である場合、表示部１５に側方画像Ｐ３を出力することによって、表示部１５にサイドウィンドウＷＬ１，ＷＲ１またはフロントウィンドウＷ１の位置ＭＬ５，ＭＲ５に側方画像Ｐ３を投影させて表示させるサイドビュー表示を行ってもよい。これにより、運転者Ｕ１は、運転中における視線の移動量を小さくすることができる。
また、ＥＣＵ１６は、車速センサ１１から取得した車両の車速情報に基づいて、表示部１５に表示させる側方画像Ｐ３の表示タイミングを変更してもよい。例えば、ＥＣＵ１６は、車両の車速が早いほど、表示部１５が側方画像Ｐ３を表示する表示タイミングを早くするように制御してもよい。
ステップＳ１０９において、ＥＣＵ１６によって運転者の視線が側方でないと判定された場合（ステップＳ１０９：Ｎｏ）、運転支援装置１は、ステップＳ１０５へ移行する。
以上説明した実施の形態１によれば、ＥＣＵ１６が運転者の視線に関する視線情報に基づいて、画像データを用いて生成される画像の表示位置および表示内容を設定して画像とともに出力するので、運転者の視線を向けた位置に、この位置に応じた内容の画像を表示することができるので、運転者が車両の周辺環境を直感的に把握することができる。
また、実施の形態１によれば、運転者の視線の向きが車両のルーフとフロントウィンドウとの間の斜め上方である場合、ＥＣＵ１６が車両の周辺を撮像した画像データに対応する画像に基づいて、車両を俯瞰した仮想的な俯瞰画像Ｐ１であって、ルーフに表示するための俯瞰画像Ｐ１を生成して表示部１５へ出力するので、運転者が車両の周辺環境を直感的に把握することができるうえ、車両の周辺に位置する対象物までの距離を把握し易いので、危険回避を容易に行うことができる。
また、実施の形態１によれば、ＥＣＵ１６が俯瞰画像Ｐ１を車両の車輪の位置によって定まる基準面と平行な面であって、車両における所定の基準位置を通る面と視線の向きとが交差する位置へオフセットして出力するので、運転者が無理な姿勢を取ることなく、俯瞰画像Ｐ１を容易に確認することができるうえ、運転者の首に掛かる負担を軽減することができる。
また、実施の形態１によれば、ＥＣＵ１６が俯瞰画像Ｐ１を車両における所定の基準位置を中心に所定の角度で回転して表示部１５へ出力するので、運転者が車両の周辺環境を容易に把握することができる。
また、実施の形態１によれば、ＥＣＵ１６が少なくとも俯瞰画像Ｐ１における車両のルーフ、ドア、ＡピラーおよびＢピラー或いはＣピラー、Ｄピラー等の各々が写る領域を切り取るトリミング処理を行って表示部１５に出力するので、ルーフ等の遮蔽物によって遮蔽物より距離が遠い領域を隠してしまうオクルージョンの状態が発生することを防止することができるので、運転者が俯瞰画像Ｐ１の遠近感に違和感を生じさせなくて済む。
また、実施の形態１によれば、ＥＣＵ１６が運転者の視線が車室内の斜め上方、かつ、車室内のフロントウィンドウの中央である場合、車両の周辺を撮像した画像データに対応する画像に基づいて、フロントウィンドウの中央の上方に表示するための後方画像Ｐ２を生成して表示部１５に出力するので、車両からルームミラーを省略、またはルームミラーの小型化を図ることができる。この結果、運転者は、運転時の視野が広くなり、安全性を高めることができる。
また、実施の形態１によれば、車両停止している場合、ＥＣＵ１６が車両の走行時と比べて拡大した後方画像Ｐ２を拡大した拡大画像を表示部１５に出力するので、運転者が安全確認を容易にすることができるので、車両の後方の見落としを防止することができる。
また、実施の形態１によれば、運転者の視線の向きが車両の側方である場合、ＥＣＵ１６が従来のサイドミラーが配置された領域に対応する位置ＭＲ３，ＭＬ３、従来のフェンダーミラーが配置された領域に対応する位置ＭＲ５，ＭＬ５およびフロントウィンドウＷ１の上方の左右の位置ＭＲ４，ＭＬ４のいずれか１つ以上に表示するための側方画像Ｐ３を生成して表示部１５に出力するので、従来のインナーミラーやアウターミラーが配置された位置と同じため、運転者に違和感を生じさせることなく、車両の側方の後方を確認することができる。また、図解されていないがＡピラー１０３の箇所に表示してもよい。
また、実施の形態１によれば、運転者の視線が運転席から遠い側の側方である場合、ＥＣＵ１６が側方画像Ｐ３を運転席から近い側方の表示タイミングと比して早く表示部１５へ出力するので、運転者が視線の向きを運転席から遠い側の側方に移した場合であっても、運転者に違和感を生じさせることなく、車両の側方の後方を確認することができる。
また、実施の形態１によれば、運転者の視線の向きが運転席から遠い側の側方である場合、ＥＣＵ１６が側方画像Ｐ３の表示領域を運転席から近い側の側方よりも拡大して表示部１５へ出力するので、運転者が運転席から遠い側の側方に視線を向けた場合であっても、運転者が容易に車両の側方の後方を確認することができる。
なお、実施の形態１では、ＥＣＵ１６が俯瞰画像Ｐ１、後方画像Ｐ２および側方画像Ｐ３に対して周知の左右反転処理やリサイズ処理を行って表示部１５に表示させているが、左右反転処理やリサイズ処理を行うことなく俯瞰画像Ｐ１、後方画像Ｐ２および側方画像Ｐ３を表示部１５に表示させてもよい。もちろん、ＥＣＵ１６は、図示しない操作部の操作に応じて俯瞰画像Ｐ１、後方画像Ｐ２および側方画像Ｐ３に対して左右反転処理やリサイズ処理を行うか否かを切り替えてもよい。
また、実施の形態１では、ＥＣＵ１６が運転者の視線の向きが車両１００のルーフ１０１とフロントウィンドウＷ１の境界より上方であると判定した後にフロントウィンドウＷ１近傍（例えばルーフ１０１とフロントウィンドウＷ１との境界）を見た場合、車両の周辺を撮像した画像データに用いて生成される画像に基づいて、車両１００を上方から俯瞰した仮想的な俯瞰画像であって、ルーフ１０１もしくはフロントウィンドウＷ１に表示するための俯瞰画像を生成して出力してもよい。具体的には、図１４および図１５に示すように、ＥＣＵ１６は、運転者の視線の向きが車両１００のルーフ１０１とフロントウィンドウＷ１の境界より上方であると判定した後にフロントウィンドウＷ１近傍を見た場合、車両１００の周辺を撮像した画像データに用いて生成される画像に基づいて、車両１００を上方から俯瞰した仮想的な俯瞰画像であって、ルーフ１０１もしくはフロントウィンドウＷ１に表示するための俯瞰画像を生成して出力してもよい。具体的には、図１４および図１５に示すように、ＥＣＵ１６は、運転者の視線の向きが車両１００のルーフ１０１とフロントウィンドウＷ１の境界より上方であると判定した後にフロントウィンドウＷ１近傍を見た場合、表示部１５にルーフ１０１またはフロントウィンドウＷ１の領域ＭＢ１に、車両１００を上方から俯瞰した仮想的な俯瞰画像Ｐ５を投影させて表示させる。これにより、運転者は、ルーフ１０１またはフロントウィンドウＷ１に俯瞰画像Ｐ５が表示されるため、車両１００の周辺環境の状況を直感的に把握することができる。さらに、運転者は、俯瞰画像Ｐ５がルーフ１０１またはフロントウィンドウＷ１に表示されるため、車両１００の周辺に位置する対象物までの距離を把握し易いので、危険回避を容易に行うことができる。
（実施の形態２）
次に、実施の形態２について説明する。上述した実施の形態１では、表示部１５が車両内に投影することによって画像を表示させていたが、実施の形態２では、ウェアラブル装置を用いて画像を表示する。以下において、上述した実施の形態１に係る運転支援装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
図１６は、実施の形態２に係るウェアラブル装置の概略構成を示す図である。図１７は、実施の形態２に係る車両とウェアラブル装置を備える運転支援システムの機能構成を示すブロック図である。
〔運転支援装置の構成〕
まず、運転支援装置１Ａの構成について説明する。図１６に示す運転支援装置１Ａは、上述した実施の形態１に係る運転支援装置１の構成のうち視線センサ１３および表示部１５を有しない点以外は、運転支援装置１と同様の構成を有する。
〔ウェアラブル装置の構成〕
次に、ウェアラブル装置２の構成について説明する。図１６および図１７に示すウェアラブル装置２は、運転者が装着自在であり、拡張現実（ＡＲ）を実現可能な眼鏡型の装置である。さらに、ウェアラブル装置２は、運転者の視野領域からの光を透過しつつ、運転者の視野領域内において仮想的な画像を視認できるように運転者の網膜の画像を結像させる装置である。ウェアラブル装置２は、通信部２０と、撮像装置２１と、９軸センサ２２と、投影部２４と、制御部２５と、を備える。
通信部２０は、制御部２５の制御のもと、ネットワークを介して所定の通信規格に従って各種情報を運転支援装置１Ａまたはサーバへ送信するとともに、運転支援装置１Ａまたはサーバから各種情報を受信する。通信部２０は、無線通信可能な通信モジュールを用いて構成される。
撮像装置２１は、図１６に示すように複数設けられる。撮像装置２１は、制御部２５の制御のもと、例えば車両の車室内に撮像することによって画像データを生成し、この画像データを制御部２５へ出力する。撮像装置２１は、１または複数のレンズで構成された光学系と、この光学系が集光した被写体像を受光することによって画像データを生成するＣＣＤやＣＭＯＳ等を用いて構成される。
９軸センサ２２は、３軸ジャイロセンサ、３軸加速度センサおよび３軸地磁気（コンパス）センサを用いて構成される。９軸センサ２２は、ウェアラブル装置２に生じる角速度および加速度を検出し、この検出結果を制御部２５へ出力する。また、９軸センサ２２は、地磁気を検出することによって絶対方向を検出し、この検出結果を制御部２５へ出力する。
視線センサ２３は、ウェアラブル装置２の装着者である運転者の視線の向きを検出し、この検出結果を制御部２５へ出力する。視線センサ２３は、光学系と、ＣＣＤまたはＣＭＯＳと、メモリと、ＣＰＵやＧＰＵ等のハードウェアを有するプロセッサを用いて構成される。視線センサ２３は、例えば周知のテンプレートマッチングを用いて運転者の目の動かない部分を基準点（例えば目頭）として検出し、かつ、目の動く部分（例えば虹彩）を動点として検出し、この基準点と動点との位置関係に基づいて運転者の視線の向きを検出する。
投影部２４は、制御部２５の制御のもと、画像、映像および文字情報をウェアラブル装置表示部（例えばレンズ部）や運転者の網膜に向けて投影する。投影部２４は、ＲＧＢの各々のレーザ光を照射するＲＧＢレーザビーム、レーザ光を反射するＭＥＭＳミラー、ＭＥＭＳミラーから反射されたレーザ光を運転者の網膜へ投影する反射ミラー等を用いて構成される。
制御部２５は、ウェアラブル装置２を構成する各部の動作を制御する。制御部２５は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。制御部２５は、運転支援装置１ＡのＥＣＵ１６の制御のもと、投影部２４が投影する画像の表示内容および表示位置を制御する。例えば、制御部２５は、ＥＣＵ１６から入力された運転支援装置１Ａの撮像装置１２が車両の周辺を撮像した画像データに対応する画像の表示位置および表示内容を設定して画像とともに出力された情報に基づいて、投影部２４のＭＥＭＳミラーの反射角度を制御することによって、運転者が視認可能な画像の表示位置を制御する。なお、制御部２５は、撮像装置２１から入力される画像データに対応する画像内から車両の車室の所定の箇所、例えばルーフ、フロントウィンドウおよびサイドウィンドウに設けられたマークを検出することによって運転者の視線を検出してもよい。さらに、制御部２５は、９軸センサ２２の検出結果に基づいて、運転者の視線を検出してもよい。
〔運転支援装置の処理〕
次に、運転支援装置１Ａが実行する処理について説明する。図１８は、運転支援装置１Ａが実行する処理の概要を示すフローチャートである。
図１８に示すように、まず、ＥＣＵ１６は、通信部１４を介してウェアラブル装置２の視線センサ２３が検出した運転者の視線に関する視線情報、撮像装置１２から画像データおよび車速センサ１１が検出した車両の車速情報を取得する（ステップＳ２０１）。
続いて、ＥＣＵ１６によって運転者の視線の向きが車両のフロントウィンドウとルーフとの間の斜め上方であり（ステップＳ２０２：Ｙｅｓ）、ルーフであると判定された場合（ステップＳ２０３：Ｙｅｓ）、運転支援装置１Ａは、ステップＳ２０４へ移行する。
続いて、ＥＣＵ１６は、車両の撮像装置１２から入力された画像データに基づいて、車両を俯瞰する俯瞰画像であって、運転者の網膜上における車両のルーフに対応する位置に表示するための俯瞰画像を生成して投影部２４に出力することによって、投影部２４に俯瞰画像を投影させるトップビュー表示を行う（ステップＳ２０４）。具体的には、ＥＣＵ１６は、上述した実施の形態１と同様に、実画像の中心を通過して実画像と直交する軸周りに１８０°回転させた後に、車両の前後方向に対して左右反転処理および車両と運転者との距離間を調整するリサイズ処理等を行うことによって仮想的な俯瞰画像Ｐ１を生成して投影部２４へ出力する。この場合、投影部２４は、俯瞰画像Ｐ１を運転者の網膜上のルーフに対応する位置に向けて投影する（例えば図３を参照）。さらに、ＥＣＵ１６は、俯瞰画像Ｐ１を上述した実施の形態１と同様にオフセットや傾斜した俯瞰画像Ｐ１を投影部２４に出力することによって、投影部２４に俯瞰画像Ｐ１を運転者の網膜のルーフからオフセットした位置に向けて投影させてもよい（図５を参照）。また、ＥＣＵ１６は、俯瞰画像の車両のルーフ、ドア、ＡピラーおよびＢピラー或いはＣピラー、Ｄピラー等の各々が写る領域を切り取るトリミング処理を行い、トリミング処理を行った俯瞰画像Ｐ１００を投影部２４に出力することによって、投影部２４に俯瞰画像Ｐ１００を運転者の網膜のルーフに対応する位置に向けて投影させてもよい（図６Ａを参照）。ステップＳ２０４の後、運転支援装置１Ａは、ステップＳ２０５へ移行する。
続いて、ＥＣＵ１６は、ＩＧスイッチ１０がオフ状態となったか否かを判定する。ＥＣＵ１６によってＩＧスイッチ１０がオフ状態であると判定された場合（ステップＳ２０５：Ｙｅｓ）、運転支援装置１Ａは、本処理を終了する。これに対して、ＥＣＵ１６によってＩＧスイッチ１０がオフ状態でないと判定された場合（ステップＳ２０５：Ｎｏ）、運転支援装置１Ａは、上述したステップＳ２０１へ戻る。
ステップＳ２０２において、ＥＣＵ１６によって運転者の視線の向きが車両の斜め上方であり（ステップＳ２０２：Ｙｅｓ）、ルーフでないと判定された場合（ステップＳ２０３：Ｎｏ）において、運転支援装置１Ａは、ステップＳ２０６へ移行する。
続いて、ＥＣＵ１６は、車速センサ１１から取得した車速情報に基づいて、車両が走行中であるか否かを判定し（ステップＳ２０６）、ＥＣＵ１６によって車両が走行中であると判定した場合（ステップＳ２０６：Ｙｅｓ）、運転支援装置１Ａは、ステップＳ２０７へ移行する。
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、車両の後方を撮像した後方画像であって、運転者の網膜上におけるフロントウィンドウ中央の上部に対応する位置に投影するための後方画像を生成して投影部２４に出力することによって、投影部２４に後方画像を投影させるバックビュー表示（例えば図８を参照）を行う（ステップＳ２０７）。
その後、ＥＣＵ１６によって運転者の視線が側方に変化したと判定された場合（ステップＳ２０８：Ｙｅｓ）、運転支援装置１Ａは、ステップＳ２０９へ移行し、ＥＣＵ１６によって運転者の視線が側方に変化していないと判定された場合（ステップＳ２０８：Ｎｏ）、運転支援装置１Ａは、ステップＳ２０５へ移行する。
ステップＳ２０９において、ＥＣＵ１６は、撮像装置１２から入力される画像データに基づいて、車両の側方後方を撮像した側方画像であって、運転者の網膜上における車両のサイドウィンドウに対応する位置に投影するための側方画像を生成して投影部２４に出力することによって、投影部２４に側方画像を投影させるサイドビュー表示を行う（例えば図１１Ａを参照）。ステップＳ２０９の後、運転支援装置１Ａは、ステップＳ２０５へ移行する。
ステップＳ２０６において、ＥＣＵ１６によって車両が走行中でないと判定されたとき（ステップＳ２０６：Ｎｏ）、運転支援装置１Ａは、ステップＳ２１０へ移行する。
続いて、ＥＣＵ１６は、撮像装置１２から入力された画像データに基づいて、車両の後方を撮像した後方画像であって、運転者の網膜上におけるフロントウィンドウ領域に相当する大きさに拡大した後方画像を投影部２４に出力することによって、投影部２４に拡大した後方画像を投影させるバックビュー表示（例えば図９を参照）を行う（ステップＳ２１０）。これにより、運転者は、ウェアラブル装置２を介して自身の目で車両の後方を直接見ている感覚となるので、安全性を高めることができる。ステップＳ２１０の後、運転支援装置１Ａは、ステップＳ２０５へ移行する。
ステップＳ２０２において、ＥＣＵ１６によって運転者の視線の向きが車両の斜め上方でなく（ステップＳ２０２：Ｎｏ）、側方であると判定された場合（ステップＳ２１１：Ｙｅｓ）において、運転者の視線の向きが所定の位置より下方であると判定されたとき（ステップＳ２１２：Ｙｅｓ）、運転支援装置１Ａは、ステップＳ２１３へ移行する。ここで、所定の位置とは、運転者が運転席に着座した状態で基準面と平行な方向を見ているときの視線方向を０°より下方の位置である。
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、車両のＡピラーの直下を撮像した仮想的な直下画像であって、運転者の網膜上における従来の車両のサイドウィンドウが配置された領域に対応する位置に表示するための直下画像を生成して投影部２４へ出力することによって、投影部２４に直下画像を投影させる直下サイドビュー表示を行う（ステップＳ２１３）。これにより、運転者は、視線を下げるだけで、Ａピラーによって隠れた領域を直感的に把握することができる。ステップＳ２１３の後、運転支援装置１Ａは、ステップＳ２０５へ移行する。
ステップＳ２１２において、ＥＣＵ１６によって運転者の視線の向きが所定の位置より下方でないと判定されたとき（ステップＳ２１２：Ｎｏ）、運転支援装置１Ａは、ステップＳ２１４へ移行する。
続いて、ＥＣＵ１６は、撮像装置１２から取得した画像データに基づいて、車両の後方側方を撮像した側方画像であって、運転者の網膜上における従来の車両のサイドウィンドウが配置された領域に対応する位置に表示するための側方画像を投影部２４へ出力することによって、投影部２４に側方画像を投影させるサイドビュー表示（図１１Ａを参照）を行う（ステップＳ２１４）。ステップＳ２１４の後、運転支援装置１Ａは、ステップＳ２０５へ移行する。
ステップＳ２１１において、ＥＣＵ１６によって運転者の視線の向きが側方でないと判定された場合（ステップＳ２１１：Ｎｏ）、運転支援装置１Ａは、ステップＳ２０５へ移行する。
以上説明した実施の形態２によれば、ＥＣＵ１６が運転者の視線に関する視線情報に基づいて、ウェアラブル装置２で表示される画像の表示位置および表示内容設定して画像とともにウェアラブル装置２に出力するので、運転者が直感的に把握することができる。
また、実施の形態２では、ＥＣＵ１６が運転者のジェスチャーに応じて、投影部２４に投影させる画像の表示位置、表示領域および表示角度を制御してもよい。この場合、ＥＣＵ１６は、ウェアラブル装置２の撮像装置２１が生成した画像データに対応する画像に写る運転者のジェスチャー、例えば画像の拡大または縮小する指示するピンチ操作、画像の移動を指示するフリック操作やスワイプ操作を検出し、この検出結果に応じて投影部２４に投影させる画像の表示位置、表示領域および表示角度を制御する。
なお、実施の形態２では、運転者が装着可能な眼鏡型のウェアラブル装置２を用いた例を説明していたが、これに限定されることなく、種々のウェアラブル装置に適用することができる。例えば図１９に示すように撮像機能を有するコンタクトレンズ型のウェアラブル装置２Ａであっても適用することができる。さらに、図２０のウェアラブル装置２Ｂまたは図２１の脳内チップ型のウェアラブル装置２Ｃのように運転者Ｕ１の脳へ直接的に伝達する装置であっても適用することができる。さらにまた、図２２のウェアラブル装置２Ｄのように、例えばバイザーを備えたヘルメット形状に構成された装置であってもよい。この場合、上述したウェアラブル装置２を身に付けた上でヘルメットを被る必要がない。
また、実施の形態２では、ウェアラブル装置２が運転者の網膜に投影することによって画像を視認させていたが、例えば眼鏡等のレンズに画像を投影して表示するものであってもよい。
また、実施の形態２では、ＥＣＵ１６が撮像装置１２によって生成された画像データを用いてウェアラブル装置２の投影部２４に表示させる画像の表示内容および表示位置を制御していたが、例えばウェアラブル装置２の制御部２５が通信部２０を介して撮像装置１２から画像データを取得し、取得した画像データを用いて生成される画像の表示位置および表示内容を設定して画像とともに投影部２４に出力してもよい。
（実施の形態３）
次に、実施の形態３について説明する。上述した実施の形態１，２では、ＥＣＵ１６が自車に搭載された撮像装置１２から取得した画像データを用いて画像の表示位置および表示内容を設定して画像とともに出力していたが、実施の形態３では、サーバが他車やＧＰＳ衛星から取得した画像データを用いて画像の表示位置および表示内容を設定して画像とともに出力する。なお、上述した実施の形態１に係る運転支援装置１と同一の構成には同一の符号を付して詳細な説明は省略する。
図２３は、実施の形態３に係る運転支援システムの概略構成を示す模式図である。図２３に示す運転支援システム１０００は、複数の車両２００と、サーバ３００と、を備える。複数の車両２００およびサーバ３００は、基地局４００およびネットワーク５００を介して相互に情報通信可能に構成されている。また、複数の車両２００は、複数のＧＰＳ衛星６００からの信号を受信し、受信した信号に基づいて車両２００の位置を算出する。また、サーバ３００は、基地局４００およびネットワーク５００を介してＧＰＳ衛星６００から車両２００の上空を撮像して画像データを取得する。
〔車両の構成〕
まず、車両２００の構成について説明する。図２３に示す車両２００は、上述した実施の形態１に係る運転支援装置１を搭載し、この運転支援装置１の構成のうち、ＥＣＵ１６が撮像装置１２から取得した画像データを用いて画像の表示位置および表示内容を設定して画像とともに出力する機能を有しない点以外は、同様の機能を有する。
〔サーバの構成〕
次に、サーバ３００の構成について説明する。サーバ３００は、図２３に示すサーバ３００は、通信部３０１と、制御部３０２と、を備える。
通信部３０１は、制御部３０２の制御のもと、ネットワーク５００および基地局４００を介して所定の通信規格に従って各種情報を送信するとともに、各種情報を受信する。また、通信部３０１は、制御部３３の制御のもと、各車両２００に対して所定の通信規格に従って各種情報を送信するとともに、ＧＰＳ衛星６００や各車両２００から各種情報を受信する。通信部３０１は、無線通信可能な通信モジュールを用いて構成される。
制御部３０２は、メモリと、ＣＰＵ等のハードウェアを有するプロセッサを用いて構成される。制御部３０２は、通信部３０１を介して、画像の要求があった車両２００（以下、単に「要求車両２００」という）から運転者の視線に関する視線情報および画像の要求があった要求車両２００の周辺に位置する車両２００（以下、「他車両２００」という）またはＧＰＳ衛星６００から画像データを取得する。そして、制御部３０２は、要求車両２００から取得した視線情報に基づいて、他車両２００またはＧＰＳ衛星６００から取得した画像データを用いて要求車両２００の周辺状況を仮想的に生成した画像を生成し、この生成した画像の表示位置および表示内容を設定して画像とともに要求車両２００に出力することによって、要求車両２００の表示部１５に表示させる。なお、制御部３０２は、要求車両２００から取得した視線情報に基づいて、メモリに記録された複数の画像データ群を用いて要求車両２００の周辺状況を仮想的に生成した画像を生成し、この生成した画像の表示位置および表示内容を設定して画像とともに要求車両２００に出力することによって、要求車両２００の表示部１５に表示させてもよい。また、実施の形態３では、制御部３０２がプロセッサとして機能する。
以上説明した実施の形態３によれば、制御部３０２が要求車両２００の周辺状況を仮想的に生成した画像を生成し、この生成した画像の表示位置および表示内容を設定して画像とともに要求車両２００に出力することによって、要求車両２００内における運転者の視線を向けた位置に、この位置に応じた内容の画像を要求車両２００内において表示することができるので、要求車両２００の運転者が車両の周辺環境を直感的に把握することができる。
（その他の実施の形態）
また、実施の形態１〜３に係る運転支援装置では、上述してきた「部」は、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。
また、実施の形態１〜３に係る運転支援装置では、ＥＣＵが運転者の視線に関する視線情報および車両の周辺を撮像した画像データをそれぞれ取得し、視線情報に基づいて、画像データを用いて生成される画像の表示位置および表示内容を設定して画像とともに出力していたが、これに限定されることなく、ＥＣＵやＧＰＵ（Graphics Processing Unit）に代えて、ＥＣＵやＧＰＵより適したデバイス、例えばＦＰＧＡ（Field Programmable Gate Array）、ＤＳＰ（Digital Signal Processing）およびメモリ等で構成されるデバイスが行ってもよい。
また、実施の形態１〜３に係る運転支援装置に実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、実施の形態１〜３に係る運転支援装置に実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施の形態に限定されるものではない。従って、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
１，１Ａ 運転支援装置
２，２Ａ，２Ｂ，２Ｃ ウェアラブル装置
１１ 車速センサ
１２，２１ 撮像装置
１３，２３ 視線センサ
１４，２０，３０１ 通信部
１５ 表示部
１６ ＥＣＵ
２２ ９軸センサ
２４ 投影部
２５，３０２ 制御部
１００，２００ 車両
１０１ ルーフ
１０３ Ａピラー
３００ サーバ
６００ ＧＰＳ衛星
１０００ 運転支援システム
Ｗ１ フロントウィンドウＷ１
ＷＬ１，ＷＲ１ サイドウィンドウ
Ｐ１，Ｐ５ 俯瞰画像
Ｐ２ 後方画像
Ｐ３，Ｐ４ 側方画像

Claims (14)

  1. メモリと、
    ハードウェアを有するプロセッサと、
    を備え、
    前記プロセッサは、
    運転者の視線に関する視線情報および車両の周辺を撮像した画像データをそれぞれ取得し、
    前記視線情報に基づいて、前記画像データを用いて生成される画像の表示位置および表示内容を設定して前記画像とともに出力する、
    運転支援装置。
  2. 請求項１に記載の運転支援装置であって、
    前記プロセッサは、
    前記視線情報に基づいて、前記運転者の視線の向きが前記車両のルーフとフロントウィンドウの境界より上方であるか否かを判定し、
    前記運転者の視線の向きが前記上方であると判定した場合、前記画像に基づいて、前記車両を俯瞰した仮想的な俯瞰画像であって、前記ルーフに表示するための俯瞰画像を生成して出力する、
    運転支援装置。
  3. 請求項２に記載の運転支援装置であって、
    前記プロセッサは、
    前記俯瞰画像を前記車両の車輪を含む情報に基づいて定まる基準面と平行な面であって、前記車両における所定の基準位置を通る面と前記視線の向きとが交差する位置へオフセットして出力する、
    運転支援装置。
  4. 請求項３に記載の運転支援装置であって、
    前記プロセッサは、
    前記俯瞰画像の含まれる前記基準位置を中心に所定の角度で回転して出力する、
    運転支援装置。
  5. 請求項４に記載の運転支援装置であって、
    前記プロセッサは、
    少なくとも前記俯瞰画像における前記車両における車室内から視て内装部品が写る領域を切り取るトリミング処理を行って出力する、
    運転支援装置。
  6. 請求項１に記載の運転支援装置であって、
    前記プロセッサは、
    前記視線情報に基づいて、前記運転者の視線の向きが前記車両内のフロントウィンドウ上方の中央であるか否かを判定し、
    前記運転者の視線の向きが前記車両内のフロントウィンドウの上方の中央であると判定した場合、前記画像に基づいて、前記車両の背面から後方を撮像した後方画像であって、前記フロントウィンドウの中央の上方に表示するための後方画像を生成して出力する、
    運転支援装置。
  7. 請求項６に記載の運転支援装置であって、
    前記プロセッサは、
    前記車両の車速に関する車速情報を取得し、
    前記車速情報に基づいて、前記車両が停止しているか否かを判定し、
    前記車両が停止している場合、前記後方画像を前記フロントウィンドウ領域に相当する大きさに拡大して出力する、
    運転支援装置。
  8. 請求項１に記載の運転支援装置であって、
    前記プロセッサは、
    前記視線情報に基づいて、前記運転者の視線の向きが前記車両の側方であるか否かを判定し、
    前記運転者の視線の向きが前記車両の側方である場合、前記画像に基づいて、前記車両の側方から後方を撮像した側方画像であって、サイドミラーに対応する位置、フェンダーミラーに対応する位置およびフロントウィンドウの上方の左右の位置のいずれか１つ以上に表示するための側方画像を生成して出力する、
    運転支援装置。
  9. 請求項８に記載の運転支援装置であって、
    前記プロセッサは、
    前記運転者の視線の向きが運転席から遠ざかる側の前記側方である場合、前記側方画像の表示タイミングを前記運転席から近い側の前記側方の表示タイミングと比して早くする、
    運転支援装置。
  10. 請求項９に記載の運転支援装置であって、
    前記プロセッサは、
    前記運転者の視線の向きが運転席から遠ざかる側の前記側方である場合、前記側方画像を前記運転席から近い側の前記側方よりも拡大した拡大画像を生成して出力する、
    運転支援装置。
  11. 請求項２に記載の運転支援装置であって、
    前記プロセッサは、
    前記運転者の視線の向きが前記上方であると判定した後にフロントウィンドウ近傍を見た場合、前記画像に基づいて、前記車両を上方から俯瞰した仮想的な俯瞰画像であって、前記ルーフもしくはフロントウィンドウに表示するための俯瞰画像を生成して出力する、
    運転支援装置。
  12. 請求項１〜１１のいずれか一つに記載の運転支援装置と、
    当該運転支援装置と双方向に通信可能であり、視野領域の光を透過しつつ、該視野領域に前記画像を仮想的に表示可能なウェアラブル装置と、
    を備え、
    前記ウェアラブル装置は、前記視線情報を検出する視線センサを備え、
    前記プロセッサは、
    前記視線情報に基づいて、前記ウェアラブル装置における前記画像の表示位置および前記表示内容を設定して前記画像とともに前記ウェアラブル装置に出力する、
    運転支援システム。
  13. 運転支援装置が実行する運転支援方法であって、
    運転者の視線に関する視線情報および車両の周辺を撮像した画像データをそれぞれ取得し、
    メモリから読み出した前記視線情報に基づいて、前記画像データを用いて生成される画像の表示位置および表示内容を設定して前記画像とともに出力する、
    運転支援方法。
  14. 運転支援装置に実行させるプログラムであって、
    運転者の視線に関する視線情報および車両の周辺を撮像した画像データを取得し、
    前記視線情報に基づいて、前記画像データを用いて生成される画像の表示位置および表示内容を設定して前記画像とともに出力する、
    プログラム。
JP2018213084A 2018-11-13 2018-11-13 運転支援装置、運転支援システム、運転支援方法およびプログラム Active JP7163732B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018213084A JP7163732B2 (ja) 2018-11-13 2018-11-13 運転支援装置、運転支援システム、運転支援方法およびプログラム
US16/670,024 US11351918B2 (en) 2018-11-13 2019-10-31 Driver-assistance device, driver-assistance system, method of assisting driver, and computer readable recording medium
CN201911101526.8A CN111169382B (zh) 2018-11-13 2019-11-12 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018213084A JP7163732B2 (ja) 2018-11-13 2018-11-13 運転支援装置、運転支援システム、運転支援方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020080485A true JP2020080485A (ja) 2020-05-28
JP7163732B2 JP7163732B2 (ja) 2022-11-01

Family

ID=70551665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018213084A Active JP7163732B2 (ja) 2018-11-13 2018-11-13 運転支援装置、運転支援システム、運転支援方法およびプログラム

Country Status (3)

Country Link
US (1) US11351918B2 (ja)
JP (1) JP7163732B2 (ja)
CN (1) CN111169382B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022071796A (ja) * 2020-10-28 2022-05-16 株式会社日本総合研究所 情報処理システム、コンピュータプログラム、及び表示方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP7163418B2 (ja) * 2019-01-31 2022-10-31 三菱電機株式会社 運転支援装置
CN110789533B (zh) * 2019-09-25 2021-08-13 华为技术有限公司 一种数据呈现的方法及终端设备
JP2021192202A (ja) * 2020-06-05 2021-12-16 トヨタ自動車株式会社 体験システム、体験提供方法およびプログラム
CN112298039A (zh) * 2020-09-27 2021-02-02 浙江合众新能源汽车有限公司 一种a柱成像方法
JP2022084136A (ja) * 2020-11-26 2022-06-07 株式会社東海理化電機製作所 無線通信装置、システムおよびプログラム
JP7400705B2 (ja) * 2020-11-30 2023-12-19 トヨタ自動車株式会社 撮像システム及び撮像装置
JP2022189113A (ja) * 2021-06-10 2022-12-22 ウーブン・プラネット・ホールディングス株式会社 遠隔支援システム及び遠隔支援方法
CN113602196B (zh) * 2021-08-25 2023-10-17 东风汽车集团股份有限公司 一种可透视化a柱及周边区域的显示系统及方法
CN113837027B (zh) * 2021-09-03 2024-06-25 东风柳州汽车有限公司 辅助驾驶的感知方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2014116756A (ja) * 2012-12-07 2014-06-26 Toyota Motor Corp 周辺監視システム
WO2017130439A1 (ja) * 2016-01-28 2017-08-03 鴻海精密工業股▲ふん▼有限公司 車両用画像表示システム及びその画像表示システムを搭載した車両
JP2018163310A (ja) * 2017-03-27 2018-10-18 三菱自動車工業株式会社 車両周囲表示装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4329525B2 (ja) 2003-12-16 2009-09-09 株式会社エクォス・リサーチ 車外情報表示装置
JP4412365B2 (ja) * 2007-03-26 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP2011213186A (ja) 2010-03-31 2011-10-27 Equos Research Co Ltd 電子サイドミラー装置
JP6077214B2 (ja) 2012-02-06 2017-02-08 富士通テン株式会社 画像処理装置、画像処理方法、プログラム、及び画像処理システム
US20140362195A1 (en) * 2013-03-15 2014-12-11 Honda Motor, Co., Ltd. Enhanced 3-dimensional (3-d) navigation
JP6380410B2 (ja) 2014-01-10 2018-08-29 アイシン精機株式会社 画像表示制御装置および画像表示システム
US9626802B2 (en) * 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
DE102014213683A1 (de) * 2014-07-15 2016-01-21 Robert Bosch Gmbh Vorrichtung zur optischen Darstellung von Informationen in einem Fahrzeug
JP6187413B2 (ja) 2014-08-19 2017-08-30 株式会社デンソー 車両用情報提示方法、車両用情報提示システム、車載装置
CN104260669B (zh) * 2014-09-17 2016-08-31 北京理工大学 一种智能汽车抬头显示器
KR102270577B1 (ko) * 2014-10-21 2021-06-29 현대모비스 주식회사 차량 외부 영상 출력 제어 장치 및 방법
DE102015202863A1 (de) * 2015-02-17 2016-08-18 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP2017030530A (ja) * 2015-07-31 2017-02-09 スズキ株式会社 映像表示システム
EP3337166B1 (en) * 2015-08-10 2020-01-01 JVC Kenwood Corporation Vehicular display apparatus and vehicular display method
EP3358549A4 (en) * 2015-09-30 2018-11-21 Aisin Seiki Kabushiki Kaisha Driving support device
JP2017129406A (ja) 2016-01-19 2017-07-27 日本電気通信システム株式会社 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム
CN105872482A (zh) * 2016-05-31 2016-08-17 乐视控股（北京）有限公司 车辆系统及其图像显示方法
JP2018022958A (ja) 2016-08-01 2018-02-08 株式会社デンソー 車両用表示制御装置及び車両用モニタシステム
JP6865006B2 (ja) 2016-09-28 2021-04-28 矢崎総業株式会社 車両用表示装置
JP6643969B2 (ja) * 2016-11-01 2020-02-12 矢崎総業株式会社 車両用表示装置
KR101899981B1 (ko) * 2016-12-02 2018-09-19 엘지전자 주식회사 차량용 헤드 업 디스플레이
JP2018144554A (ja) * 2017-03-02 2018-09-20 カルソニックカンセイ株式会社 車両用ヘッドアップディスプレイ装置
US10529104B2 (en) * 2017-12-19 2020-01-07 GM Global Technology Operations LLC Virtual vehicle skin
JP2019156298A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP7227106B2 (ja) * 2019-08-22 2023-02-21 本田技研工業株式会社 操作制御装置、操作制御方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2014116756A (ja) * 2012-12-07 2014-06-26 Toyota Motor Corp 周辺監視システム
WO2017130439A1 (ja) * 2016-01-28 2017-08-03 鴻海精密工業股▲ふん▼有限公司 車両用画像表示システム及びその画像表示システムを搭載した車両
JP2018163310A (ja) * 2017-03-27 2018-10-18 三菱自動車工業株式会社 車両周囲表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022071796A (ja) * 2020-10-28 2022-05-16 株式会社日本総合研究所 情報処理システム、コンピュータプログラム、及び表示方法
JP7236478B2 (ja) 2020-10-28 2023-03-09 株式会社日本総合研究所 情報処理システム、コンピュータプログラム、及び表示方法

Also Published As

Publication number Publication date
US20200148112A1 (en) 2020-05-14
CN111169382B (zh) 2024-01-09
CN111169382A (zh) 2020-05-19
JP7163732B2 (ja) 2022-11-01
US11351918B2 (en) 2022-06-07

Similar Documents

Publication Publication Date Title
JP7163732B2 (ja) 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP6497158B2 (ja) 表示装置、移動体
JP5093611B2 (ja) 車両周辺確認装置
CN110573369A (zh) 平视显示器装置及其显示控制方法
JP6410987B2 (ja) 運転支援装置、運転支援方法、及び、運転支援プログラム
US10863141B2 (en) Vehicle monitor system
US20230249618A1 (en) Display system and display method
JP6453929B2 (ja) 車両の表示システム及び車両の表示システムの制御方法
WO2018179786A1 (ja) 情報表示装置
CN111284498B (zh) 驾驶支援装置、系统、方法、可穿戴装置以及存储介质
JP2008018760A (ja) 運転支援装置
JP6805974B2 (ja) 走行支援装置及びコンピュータプログラム
US11151775B2 (en) Image processing apparatus, display system, computer readable recoring medium, and image processing method
US11827148B2 (en) Display control device, display control method, moving body, and storage medium
CN111292555A (zh) 支援装置、支援方法以及存储介质
EP3513999B1 (en) Vehicle display nexus control apparatus
JPWO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2007047735A (ja) 視覚情報呈示装置及び視覚情報呈示方法
WO2020090187A1 (ja) 虚像表示装置、およびヘッドアップディスプレイ装置
JP2021135933A (ja) 表示方法、表示装置及び表示システム
JP2019151205A (ja) 車載表示装置、車載表示装置を制御する方法及びコンピュータプログラム
US20240118571A1 (en) Liquid crystal display element, display device, electronic device, drive substrate, and method for manufacturing drive substrate
US20240087339A1 (en) Information processing device, information processing system, and information processing method
US20240085207A1 (en) Information processing system
US20240296581A1 (en) Vehicle control device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220908

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221003

R151 Written notification of patent or utility model registration

Ref document number: 7163732

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151