CN111169382A - 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序 - Google Patents

驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序 Download PDF

Info

Publication number
CN111169382A
CN111169382A CN201911101526.8A CN201911101526A CN111169382A CN 111169382 A CN111169382 A CN 111169382A CN 201911101526 A CN201911101526 A CN 201911101526A CN 111169382 A CN111169382 A CN 111169382A
Authority
CN
China
Prior art keywords
image
vehicle
driver
sight
driving assistance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911101526.8A
Other languages
English (en)
Other versions
CN111169382B (zh
Inventor
伊藤和浩
久门仁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN111169382A publication Critical patent/CN111169382A/zh
Application granted granted Critical
Publication of CN111169382B publication Critical patent/CN111169382B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Abstract

本发明提供一种驾驶员能够直观地掌握车辆的周边环境的状况的驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序。驾驶辅助装置具备存储器和具有硬件的处理器，该处理器基于车厢内的驾驶员的视线，从而对在所述车厢内虚拟地显示的图像、即与对车辆的周边进行拍摄而得到的图像数据相对应的图像的显示位置以及显示内容并与图像一起输出。

Description

驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序
技术领域
本发明涉及一种驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序。
背景技术
已知有一种代替车辆的车内后视镜或车外后视镜等而设置电子镜的技术(例如，参照专利文献1)。电子镜通过液晶等的显示器来显示使用搭载于车辆上的摄像装置所拍摄到的图像而生成的虚拟的镜像。
在先技术文献
专利文献
专利文献1：日本特开2018-22958号公报
发明内容
发明所要解决的课题
但是，伴随着高速大容量通信的发展，制造出了能够通过车车间通信或路车间通信等而取得大量的信息的车辆。在这样的状况下，期待能够以车辆通过通信而取得的信息为基础，从而使驾驶员直观地掌握与车辆的周边环境相关的多种多样的信息。
本发明为鉴于上述情况而完成的发明，其目的在于，提供一种驾驶员能够直观地掌握车辆的周边环境的驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序。
用于解决课题的方法
为了解决上述的课题并实现目的，本发明所涉及的驾驶辅助装置具备：存储器；处理器，其具有硬件，所述处理器分别取得与驾驶员的视线相关的视线信息以及对车辆的周边进行拍摄而得到的图像数据，基于所述视线信息，从而对使用所述图像数据而生成的图像的显示位置以及显示内容进行设定并与所述图像一起输出。
此外，也可以采用如下的方式，即，所述处理器基于所述视线信息，而对所述驾驶员的视线的方向是否为与所述车辆的车顶和前窗的分界相比靠上方进行判断，在判断为所述驾驶员的视线的方向为所述上方的情况下，基于所述图像而生成俯瞰所述车辆的虚拟的俯瞰图像、即用于在所述车顶上显示的俯瞰图像并输出。
由此，驾驶员能够直观地掌握车辆的周边环境，而且，由于目视确认性较高，因此能够很容易地回避危险。
此外，也可以采用如下的方式，即，所述处理器将所述俯瞰图像向如下的面与所述视线的方向交叉的位置偏移并输出，所述面为，与基于包括所述车辆的车轮在内的信息而规定的基准面平行的面、且穿过所述车辆中的预定的基准位置的面。
由此，驾驶员能够在不采取不合理的姿态的条件下，很容易地对俯瞰图像进行确认，而且，能够减轻施加于驾驶员的头部的负担。
此外，也可以采用如下的方式，即，所述处理器以包含所述俯瞰图像的所述基准位置为中心并以预定的角度进行旋转并输出。
由此，驾驶员能够很容易地掌握车辆的周边环境。
此外，也可以采用如下的方式，即，所述处理器实施至少切下所述俯瞰图像中的从所述车辆中的车厢内进行观察时映照有内部装饰部件的区域的修剪处理并输出。
由此，由于能够防止产生因车顶等的遮蔽物而隐藏了与遮蔽物相距较远的区域的包藏的状态的情况，因此只要驾驶员不对俯瞰图像的远近感产生不适感即可。
此外，也可以采用如下的方式，即，所述处理器基于所述视线信息而对所述驾驶员的视线的方向是否为所述车辆内的前窗上方的中央进行判断，在判断为所述驾驶员的视线的方向为所述车辆内的前窗的上方的中央的情况下，基于所述图像而生成从所述车辆的背面对后方进行拍摄而得到的后方图像、即用于在所述前窗的中央的上方显示的后方图像并输出。
由此，由于能够从车辆中省略车厢内后视镜或实现小型化，因此驾驶员的视野变宽，从而能够提高安全性。
此外，也可以采用如下的方式，即，所述处理器取得与所述车辆的车速相关的车速信息，并基于所述车速信息而对所述车辆是否停止进行判断，在所述车辆停止的情况下，将所述后方图像放大至相当于所述前窗区域的大小并输出。
由此，由于驾驶员能很容易地进行安全确认，因此能够防止看漏车辆的后方的情况。
此外，也可以采用如下的方式，即，所述处理器基于所述视线信息，而对所述驾驶员的视线的方向是否为所述车辆的侧方进行判断，在所述驾驶员的视线的方向为所述车辆的侧方的情况下，基于所述图像而生成从所述车辆的侧方对后方进行拍摄而得到的侧方图像、即用于在与侧视镜相对应的位置、与翼子板后视镜相对应的位置以及前窗的上方的左右的位置中的任一个以上的位置上显示的侧方图像并输出。
由此，由于与现有的车外后视镜的位置相同，因此能够在不使驾驶员产生不适感的条件下对车辆的侧方的后方进行确认。
此外，也可以采用如下的方式，即，所述处理器在所述驾驶员的视线的方向为远离驾驶席一侧的所述侧方的情况下，使所述侧方图像的显示定时与距所述驾驶席较近一侧的所述侧方的显示定时相比而较早。
由此，即使在驾驶员使视线的方向转移至较远一侧的侧方的情况下，也能够在不使驾驶员产生不适感的条件下对车辆的侧方的后方进行确认。
此外，也可以采用如下的方式，即，所述处理器在所述驾驶员的视线的方向为远离驾驶席一侧的所述侧方的情况下，生成与距所述驾驶席较近一侧的所述侧方相比放大了所述侧方图像的放大图像并输出。
由此，即使在使视线朝向距驾驶席较远的侧方的情况下，驾驶员也能够很容易地对车辆的侧方的后方进行确认。
此外，本发明所涉及的驾驶辅助系统具备：上述的驾驶辅助装置；可穿戴装置，其能够与该驾驶辅助装置进行双向通信，并能够在透过视野区域的光的同时，在该视野区域上虚拟地显示所述图像，所述可穿戴装置具备视线传感器，所述视线传感器对所述视线信息进行检测，所述处理器基于所述视线信息，而对所述可穿戴装置上的所述图像的显示位置以及所述显示内容进行设定并与所述图像一起向所述可穿戴装置输出。
由此，由于显示了与视线的方向相应的内容的图像，因此驾驶员能够直观地掌握。
此外，在本发明所涉及的驾驶辅助方法中，分别取得与驾驶员的视线相关的视线信息以及对车辆的周边进行拍摄而得到的图像数据，基于从存储器读取的所述视线信息，而对使用所述图像数据而被生成的图像的显示位置以及显示内容进行设定并与所述图像一起输出。
此外，在本发明所涉及的程序中，取得与驾驶员的视线相关的视线信息以及对车辆的周边进行拍摄而得到的图像数据，基于所述视线信息，而对使用所述图像数据而生成的图像的显示位置以及显示内容进行设定并与所述图像一起输出。
发明效果
根据本发明，通过处理器基于与驾驶员的视线相关的视线信息而对使用拍摄车辆的周边而得到的图像数据而生成的图像的显示位置以及显示内容进行设定并与图像一起输出，从而由于能够向驾驶员提示与驾驶员的视线朝向的位置相应的内容的图像，因此驾驶员能够直观地掌握车辆的周边环境。
附图说明
图1为表示实施方式1所涉及的被搭载于车辆上的驾驶辅助装置的功能结构的框图。
图2为表示实施方式1所涉及的驾驶辅助装置所执行的处理的概要的流程图。
图3为示意性地表示顶视显示的一个示例的图。
图4为对俯瞰图像的显示区域进行说明的示意图。
图5为对俯瞰图像的偏移进行说明的示意图。
图6A为对俯瞰图像的另一个示例进行说明的示意图。
图6B为表示出车辆的部位名称的图。
图6C为表示出车辆的部位名称的图。
图7为对后视显示的显示位置进行说明的示意图。
图8为表示后视显示的后方图像的一个示例的示意图。
图9为对放大的后视显示的显示位置进行说明的示意图。
图10为对侧视显示的显示位置进行说明的示意图。
图11A为表示侧视显示的侧方图像的一个示例的示意图。
图11B为表示侧视显示的侧方图像的一个示例的示意图。
图12为对侧视显示的另一显示位置进行说明的示意图。
图13为对侧视显示的另一显示位置进行说明的示意图。
图14为从上方示意性地表示顶视显示的一个示例的图。
图15为表示顶视显示的图像的一个示例的示意图。
图16为表示实施方式2所涉及的可穿戴装置的概要结构的图。
图17为表示具备实施方式2所涉及的驾驶辅助装置和可穿戴装置的驾驶辅助系统的功能结构的框图。
图18为表示实施方式2所涉及的驾驶辅助装置所执行的处理的概要的流程图。
图19为表示实施方式2所涉及的另一可穿戴装置的概要结构的图。
图20为表示实施方式2所涉及的另一可穿戴装置的概要结构的图。
图21为表示实施方式2所涉及的另一可穿戴装置的概要结构的图。
图22为表示实施方式2所涉及的另一可穿戴装置的概要结构的图。
图23为表示实施方式3所涉及的驾驶辅助系统的概要的示意图。
具体实施方式
以下，与附图一起，对用于实施本发明的方式进行详细地说明。另外，本发明并未被以下的实施方式所限定。此外，在下文中，对相同的部分标记相同的符号来进行说明。
(实施方式1)
〔驾驶辅助装置的结构〕
图1为，表示实施方式1所涉及的被搭载于车辆上的驾驶辅助装置的功能结构的框图。图1所示的驾驶辅助装置1被搭载于车辆上，并在与被搭载于该车辆上的其他的ECU(Electronic Control Unit)协作的同时辅助车辆内的驾驶员进行驾驶。图1所示的驾驶辅助装置1具备：点火开关10(以下，称为“IG开关10”)、车速传感器11、摄像装置12、视线传感器13、通信部14、显示部15和ECU(Electronic Control Unit，中央处理单元)16等。
IG开关10接受发动机或电机等的电气系统的启动以及停止。IG开关10在成为开启状态的情况下，使IG电源启动，在成为关断状态的情况下，使IG电源停止。
车速传感器11对车辆行驶时的车速进行检测，并将该检测结果向ECU16输出。
摄像装置12在车辆的外部被设置多个，例如以摄像视场角成为360°的方式至少被设置于前方、后方以及两侧方这四处位置处。摄像装置12在ECU16的控制下，通过对车辆的周边进行摄像而生成图像数据，并向ECU16输出该图像。摄像装置12使用由一个或多个透镜构成的光学系统、和通过对该光学系统所聚光而成的被拍摄物体像进行受光从而生成图像数据的CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Metal OxideSemiconductor，互补金属氧化物半导体)等而被构成。
视线传感器13对驾驶员的视线进行检测，并将该检测结果向ECU16输出。视线传感器13使用光学系统、CCD或CMOS、存储器、和具有CPU(Central Processing Unit，中央处理单元)或GPU(Graphics Processing Unit，图形处理单元)等的硬件的处理器而被构成。视线传感器13使用例如众所周知的模板匹配并将驾驶员的眼睛不动的部分作为基准点(例如大眼角)来进行检测，并且将眼睛的移动部分(例如虹膜)作为动点来进行检测，并基于该基准点和动点之间的位置关系而对驾驶员的视线进行检测。另外，虽然在实施方式1中，视线传感器13通过可视摄像机来对驾驶员的视线进行检测，但并未被限定于此，也可以通过红外摄像机来对驾驶员的视线进行检测。在由红外摄像机构成视线传感器13的情况下，将通过红外LED(Light Emitting Diode，发光二极管)等而向驾驶员照射红外光，并根据通过由红外摄像机对驾驶员进行拍摄而生成的图像数据来对基准点(例如角膜反射)以及动点(例如瞳孔)进行检测，从而基于该基准点和动点之间的位置关系而对驾驶员的视线进行检测。
通信部14在ECU16的控制下，经由基站以及网络并按照预定的通信标准，从而将各种信息向未图示的服务器进行发送，并且从服务器接收各种信息。此外，通信部14按照预定的通信标准而将各种信息向未图示的可穿戴装置、其他车辆或用户终端装置等进行发送，并且并从可穿戴装置、其他车辆或用户终端装置等接收各种信息。通信部14可使用能够进行无线通信的通信模块而被构成。
显示部15在车辆的车厢内、例如车顶、前窗以及侧窗等上被设置有多个，且在ECU16的控制下，通过在车厢内进行显示或投影，从而显示出图像、影像以及文字信息。显示部15使用例如HUD(Head-UP Display，平视显示器)或被设置于车辆的车顶上的显示器等而被构成。具体而言，显示部15使用如下部件而被构成，即，具有投影图像的有机EL(ElectroLuminescence，场致发光)或液晶等的显示面板的图像显示器、将从该图像显示器被投影的图像作为中间图像而成像的扩散板、将在扩散板上成像的中间图像放大并投影在车顶、前窗以及侧窗等上的放大镜等。
ECU16对构成驾驶辅助装置1的各部的动作进行控制。ECU16使用存储器和具有CPU等的硬件的处理器而被构成。ECU16基于从视线传感器13所取得的与驾驶员的视线相关的视线信息来设定使用图像数据而生成的图像的显示位置以及显示内容，并将其与图像一起输出。具体而言，ECU16基于视线传感器13所检测出的驾驶员的视线的方向，而对使显示部15显示的图像、且与从摄像装置12所取得的图像数据相对应的图像的显示位置以及显示内容进行控制并输出。另外，在实施方式1中，ECU16作为处理器而发挥功能。
〔驾驶辅助装置的处理〕
接下来，对驾驶辅助装置1所执行的处理进行说明。图2为表示驾驶辅助装置1所执行的处理的概要的流程图。
如图2所示，首先，ECU16取得与视线传感器13所检测出的驾驶员的视线相关的视线信息、摄像装置12所生成的图像数据以及车速传感器11所检测出的车辆的车速信息(步骤S101)。
接下来，在ECU16基于从视线传感器13取得的视线信息而判断为，驾驶员的视线的方向为与车辆的前窗和车顶的分界相比靠斜上方(步骤S102：是)、且为车顶的情况(步骤S103：是)下，驾驶辅助装置1转移至步骤S104。
接下来，ECU16实施顶视显示，所述顶视显示为，通过基于从摄像装置12所取得的图像数据而生成对车辆进行俯瞰的虚拟的俯瞰图像、即用于显示在车辆的车顶上的俯瞰图像并向显示部15输出，从而使显示部15将俯瞰图像显示在车辆的车顶上的显示(步骤S104)。具体而言，如图3所示，ECU16使显示部15显示用于在车辆100的车顶101上进行显示的俯瞰图像P1。在该情况下，ECU16在使与摄像装置12从车辆100的上方拍摄到的图像数据相对应的实际图像围绕穿过实际图像的中心并与实际图像正交的轴而旋转180°之后，通过相对于车辆100的前后方向而实施左右反转处理以及对车辆100和驾驶员之间的距离间隔进行调节的修改尺寸处理等，从而生成虚拟的俯瞰图像P1，并将俯瞰图像P1输出至显示部15。在此，在俯瞰图像P1中，包括有相对于与通过车辆100的车轮的位置等而规定的基准面平行的对称面而为车辆100的镜像对象的像。显示部15在ECU16的控制下，使从ECU16被输入的俯瞰图像P1朝向车辆的车顶而进行显示。由此，由于在车顶101上显示了俯瞰图像P1，因此驾驶员能够直观地掌握车辆100的周边环境的状况。而且，由于在车顶101上显示了俯瞰图像P1，因此驾驶员易于掌握到位于车辆100的周边的对象物为止的距离，故此能够很容易地回避危险。另外，ECU16也可以在不针对俯瞰图像P1而执行左右反转处理的条件下，向显示部15进行输出。在步骤S104之后，驾驶辅助装置1转移至步骤S105。
在步骤S104中，ECU16也可以以俯瞰图像P1被显示在预定的显示范围内的方式来对显示部15进行控制。图4为对俯瞰图像P1的显示区域进行说明的示意图。在图4中，设为根据车辆100的车轮的位置等而规定的基准面H1。而且，在图4中，使用驾驶员U1在落座于驾驶席102上的状态下以观察与基准面平行的方向时的视线方向为0°的仰角来对驾驶员U1的视线的角度进行说明。另外，在图4中，仰角以驾驶员U1朝向与0°的方向相比靠上方时的角度(在图4中，为从0°起逆时针旋转的角度)为正来进行说明。
如图4所示，ECU16在使俯瞰图像P1显示在车顶101上时，可以不使其显示在车顶101的整体上，也可以以控制在仰角处于预定的角度范围(θ1～θ2)的区域内的方式而使其显示在显示部15上。在此，角度θ1为，驾驶员U1的视线方向穿过车顶101和前窗W1的分界时的角度，且为根据车辆的种类而规定的角度。此外，角度θ2为，驾驶员U1将头朝向最上方、且将视线朝向最上方时的角度。一般而言，可以认为，人类的头部能够朝向上方50°左右，视线能够相对于径直的方向而朝向上方60°左右。因此，在该假想的基础上的角度θ2为110°左右。
此外，在步骤S104中，ECU16也可以以如下方式对显示部15进行控制，即，将俯瞰图像P1向与基准面H1平行的面、且穿过车辆100中的预定的基准位置的面和驾驶员U1的视线的方向交叉位置偏移并实施显示。图5为，对俯瞰图像P1的偏移进行说明的示意图。
如图5所示，ECU16使车辆100的镜像对象的像100A(俯瞰图像P1)相对于与基准面H1平行的对称面H2而向前方偏移并在显示部15上进行显示。偏移量D1以在上述的仰角的角度范围θ1～θ2中包含偏移后的俯瞰图像P1的情况为条件。即，ECU16将映照了像100A的俯瞰图像向穿过像100A中的预定的基准位置A1的面H3和视线L1的方向交叉的位置A3偏移并输出至显示部15。在该情况下，ECU16也可以基于视线传感器13所检测出的驾驶员U1的瞳孔的大小，而将俯瞰图像P1放大并使其显示在显示部15上。而且，如图5所示，ECU16也可以将映照了以像100A的基准位置A1为中心而例如使像100A的前方从面H3起向上旋转45°而得到的像100B的俯瞰图像输出至显示部15。由此，驾驶员U1能够在减轻施加于头上的负担的基础上，更容易地掌握车辆100的周围的环境。
此外，如图6A所示，ECU16也可以使显示部15将摄像装置12对车辆100的全部周围(360°)进行拍摄而得到的圆环状的俯瞰图像P100显示在车辆100的车顶101上。在该情况下，ECU16也可以通过上述的偏移量而使显示部15显示俯瞰图像P100。此时，ECU16也可以实施如下的修剪处理并输出，所述修剪处理为，至少在俯瞰图像P100中，如图6A、图6B或图6C所示那样，切下车辆100或从车辆100’中的车厢内进行观察时映照出内部装饰部件的区域的处理。在此，在从车厢内进行观察时的内部装饰部件是指，图6B的车辆100或图6C的图的车辆100’的车顶、车门、前柱(以下，称为“A柱”)、中柱(以下，称为“B柱”)、侧柱(以下，称为“C柱”)、后柱(以下，称为“D柱”)等。即，ECU16实施至少在俯瞰图像P100中，切下如图6A～图6C所示那样分别映照了车辆100或车辆100’的车顶、车门、A柱、B柱、C柱、D柱等的区域Z1、Z2的修剪处理，并使实施了修剪处理的俯瞰图像P100在车辆100或车辆100’的车顶上以虚拟的方式显示在显示部15上。由此，ECU16通过实施切下分别映照了车辆100的车顶、车门、A柱以及B柱或C柱、D柱等的区域Z1、Z2，从而能够防止与车顶101等的遮蔽物相距较远的区域的图像被隐藏在遮蔽物中的包藏的状态的情况。其结果为，驾驶员U1只要不在针对俯瞰图像P100的远近感觉中产生不适感即可。
返回至图2，继续进行步骤S105以后的说明。
在步骤S105中，ECU16对IG开关10是否成为关断状态进行判断。在通过ECU16而判断为IG开关10为关断状态的情况下(步骤S105：是)，驾驶辅助装置1结束本处理。与此相对，在通过ECU16而判断为IG开关10并非关断状态的情况(步骤S105：否)下，驾驶辅助装置1返回上述的步骤S101。
在步骤S102中，在ECU16判断为驾驶员的视线的方向为车辆的前窗与车顶之间的斜上方(步骤S102：是)、且并非车顶的情况(步骤S103：否)下，驾驶辅助装置1转移至步骤S106。
接下来，ECU16基于从车速传感器11取得的车速信息而对车辆是否处于行驶中进行判断(步骤S106)，在通过ECU16而判断为车辆处于行驶中的情况(步骤S106：是)下，驾驶辅助装置1转移至步骤S107。
接下来，ECU16基于从摄像装置12所取得的图像数据而使显示部15实施后视显示，所述后视显示为，通过生成对车辆的后方进行拍摄而得到的后方图像并输出至显示部15，从而使后方图像投影在与前窗中央的上部相对应的位置上并使显示部15进行显示(步骤S107)。具体而言，如图7以及图8所示，ECU16使显示部15实施将与摄像装置12对车辆100的后方进行拍摄而得到的图像数据相对应的后方图像P2投影在与前窗W1中央的上部相对应的位置M1、例如与配置了现有的车内后视镜或电子镜的区域相对应的位置上的后视显示。在该情况下，ECU16将针对与摄像装置12对车辆100的后方进行拍摄而得到的图像数据相对应的图像而实施众所周知的左右反转处理以及对距离间隔进行调节的修改尺寸处理等而得到的后方图像P2输出至显示部15。由此，驾驶员U1能够在没有不适感的情况下直观地掌握后方图像P2。而且，由于能够从车辆100中省略车厢内后视镜或实现小型化，因此驾驶员驾驶时的视野变宽，从而能够提高安全性。在步骤S107之后，驾驶辅助装置1转移至步骤S105。
在步骤S106中，在通过ECU16而判断为车辆并未处于行驶中的情况(步骤S106：否)下，驾驶辅助装置1转移至步骤S108。
接下来，ECU16通过将如下的放大图像输出给显示部15，从而实施使放大图像投影在显示部15上的放大后视显示(步骤S108)，其中，所述放大图像为，基于从摄像装置12所取得的图像数据而将对车辆的后方进行拍摄而得到的后方图像P2放大至相当于前窗区域的大小的图像。具体而言，如图9所示，ECU16向显示部15输出将对车辆100的后方进行拍摄而得到的后方图像P2放大为相当于前窗W1区域的位置M2的放大图像。在该情况下，显示部15在ECU16的控制之下，实施将放大图像放大并投影至相当于前窗W1区域的位置的放大后视显示。由此，与车辆的行驶时相比，驾驶员U1能够很容易地掌握车辆的后方的死角。在该情况下，ECU16也可以在与车辆的行驶中相比而使摄像装置12的视场角变更为广角侧的状态下，使摄像装置12对车辆的后方进行拍摄。而且，ECU16也可以在放大图像上以重叠的方式使显示部15显示摄像装置12对车辆的侧方的后方进行拍摄而得到的侧方图像。在步骤S108之后，驾驶辅助装置1转移至步骤S105。
在步骤S102中，在通过ECU16而判断为驾驶员的视线的方向并非车辆的斜上方(步骤S102：否)、且为车辆的侧方的情况(步骤S109：是)下，驾驶辅助装置1转移至步骤S110。在此，车辆的侧方是指，车辆的侧窗、相当于现有的侧视镜的位置以及车辆的A柱的侧窗侧中的任意一个。
接下来，ECU16基于从摄像装置12所取得的图像数据而使显示部15实施侧视显示，所述侧视显示为，通过生成对车辆的侧方后方进行拍摄而得到的侧方图像并向显示部15输出，从而使显示部15向与配置有现有的侧视镜的区域相对应的位置进行投影的显示(步骤S110)。具体而言，如图10以及图11A所示，在驾驶员的视线的方向为距驾驶席较远的一侧的侧窗WL1的情况下，ECU16在显示部15上实施使与摄像装置12对车辆100的左侧后方进行拍摄而得到的图像数据相对应的侧方图像P3投影在与配置有现有的左侧视镜的区域相对应的位置ML1上并进行显示的侧视显示。在该情况下，ECU16将侧方图像P3输出至显示部15，所述侧方图像P3为，针对与摄像装置12对车辆100的左侧后方进行拍摄而得到的图像数据相对应的图像而实施了众所周知的左右反转处理以及对距离间隔进行调节的修改尺寸处理等的图像。此外，在驾驶员的视线的方向为距驾驶席较近的一侧的侧窗WR1的情况下，ECU16在显示部15上实施使侧方图像P3投影在与配置有现有的右侧视镜的区域相对应的位置MR1上并进行显示的侧视显示。在该情况下，在驾驶员的视线的方向为距驾驶席较远的一侧的侧窗WL1时，ECU16也可以以使侧方图像P3的显示定时早于距驾驶席较近的一侧的侧窗WR1的显示定时的方式而使显示部15进行显示。由此，即使驾驶员在侧窗之间移动视线的方向的情况下，由于ECU16以使侧方图像P3的显示定时早于距驾驶席较近的一侧的侧窗WR1的显示定时的方式使显示部15进行显示，因此驾驶员也能够在没有不适感的情况下，在对两侧方的后方进行确认的同时进行驾驶。在步骤S110之后，驾驶辅助装置1转移至步骤S105。
此外，在步骤S110中，在驾驶员的视线的方向为距驾驶席较远的一侧的侧窗WL1的情况下，ECU16也可以通过将与距驾驶席较近的一侧的侧窗WR1的侧方图像P3相比而放大了的侧方图像P3向显示部15输出，从而实施使放大了的侧方图像P3投影在显示部15上并使之显示的侧视显示。由此，驾驶员即使在使视线的方向在左右之间瞬间进行切换的情况下，也能够在没有不适感的情况下对两侧方的侧方图像进行确认。此时，ECU16也可以根据驾驶员的视线的方向的滞留时间而将侧方图像P3逐渐放大并向显示部15输出。
此外，如图11B或图12所示，在驾驶员的视线的方向为前窗W1的上方的左右或A柱103方向的情况下，ECU16也可以通过将侧方图像P3向显示部15输出，从而在显示部15上实施使侧方图像P3或侧方图像P4投影在前窗W1上方的位置ML4、MR4上并进行显示的侧视显示。由此，驾驶员U1能够减小驾驶中的视线的移动量。此外，在无柱显示中，侧方图像P3也可以靠近前窗W1。
此外，如图13所示，在驾驶员的视线的方向为与在侧窗WL1、WR1或前窗W1中配置有现有的翼子板后视镜的区域相对应的位置ML5、MR5的情况下，ECU16也可以通过将侧方图像P3向显示部15输出，从而在显示部15上实施使侧方图像P3投影在侧窗WL1、WR1或者前窗W1的位置ML5、MR5上并进行显示的侧视显示。由此，驾驶员U1能够减小驾驶中的视线的移动量。
此外，ECU16也可以基于从车速传感器11所取得的车辆的车速信息，从而对在显示部15上进行显示的侧方图像P3的显示定时进行变更。例如，ECU16也可以以车辆的车速越快，则越使显示部15显示侧方图像P3的显示定时提前的方式来进行控制。
在步骤S109中，在通过ECU16而判断为驾驶员的视线并不在侧方的情况下(步骤S109：否)，驾驶辅助装置1转移至步骤S105。
根据以上说明的实施方式1，由于ECU16基于与驾驶员的视线相关的视线信息，从而对使用图像数据而生成的图像的显示位置以及显示内容进行设定并将它们与图像一起输出，因此能够在驾驶员的视线所朝向的位置上，显示与该位置相应的内容的图像，因此驾驶员能够直观地掌握车辆的周边环境。
此外，根据实施方式1，由于在驾驶员的视线的方向为车辆的车顶与前窗之间的斜上方的情况下，ECU16基于与对车辆的周边进行拍摄而得到的图像数据相对应的图像而生成对车辆进行俯瞰的虚拟的俯瞰图像P1、即用于在车顶上显示的俯瞰图像P1并将其向显示部15输出，因此驾驶员在能够直观地掌握车辆的周边环境的基础上，易于掌握到至位于车辆的周边的对象物为止的距离，因此很能够地回避危险。
此外，根据实施方式1，由于ECU16使俯瞰图像P1向与由车辆的车轮的位置所规定的基准面平行的面、且穿过车辆中的预定的基准位置的面和视线的方向所交叉的位置偏移并输出，因此驾驶员能够在不采取不合理的姿态的条件下，在易于确认俯瞰图像P1的基础上，减轻施加于驾驶员的头部的负担。
此外，根据实施方式1，由于ECU16使俯瞰图像P1以车辆中的预定的基准位置为中心并以预定的角度进行旋转从而向显示部15输出，因此驾驶员能够很容易地掌握车辆的周边环境。
此外，根据实施方式1，由于ECU16实施了至少切下俯瞰图像P1中的分别映照有车辆的车顶、车门、A柱以及B柱或C柱、D柱等的区域的修剪处理并向显示部15输出，因此能够防止产生通过车顶等的遮蔽物而隐藏了与遮蔽物相距较远的区域的包藏的状态的情况，故此，驾驶员只要在俯瞰图像P1的远近感中不产生不适感即可。
此外，根据实施方式1，由于ECU16在驾驶员的视线为车厢内的斜上方、且车厢内的前窗的中央的情况下，基于与对车辆的周边进行拍摄而得到的图像数据相对应的图像而生成用于在前窗的中央的上方进行显示的后方图像P2并向显示部15输出，因此能够从车辆中省略车厢内后视镜、或者实现车厢内后视镜的小型化。其结果为，驾驶员驾驶时的视野变宽，从而能够提高安全性。
此外，根据实施方式1，在车辆停止的情况下，由于ECU16将与车辆的行驶时相比被放大的后方图像P2放大之后的放大图像向显示部15输出，因此驾驶员能够很容易地进行安全确认，故此，能够防止车辆的后方的疏忽。
此外，根据实施方式1，由于在驾驶员的视线的方向为车辆的侧方的情况下，ECU16生成用于在与配置有现有的侧视镜的区域相对应的位置MR3、ML3、与配置有现有的翼子板后视镜的区域相对应的位置MR5、ML5以及前窗W1的上方的左右的位置MR4、ML4中的任一个以上的位置上进行显示的侧方图像P3并向显示部15输出，因此，由于与配置有现有的车内后视镜或车外后视镜的位置相同，故此能够在不使驾驶员产生不适感的条件下，对车辆的侧方的后方进行确认。此外，虽然并未进行图解，但也可以显示在A柱103的位置处。
此外，根据实施方式1，由于在驾驶员的视线为距驾驶席较远的一侧的侧方的情况下，ECU16以早于距驾驶席较近的侧方的显示定时的方式将侧方图像P3向显示部15进行输出，因此即使在驾驶员将视线的方向移至距驾驶席较远的一侧的侧方的情况下，也能够在不使驾驶员产生不适感的条件下，对车辆的侧方的后方进行确认。
此外，根据实施方式1，由于在驾驶员的视线的方向为距驾驶席较远的一侧的侧方的情况下，ECU16以与距驾驶席较近的一侧的侧方相比而放大侧方图像P3的显示区域的方式向显示部15进行输出，因此即使在驾驶员将视线朝向距驾驶席较远的一侧的侧方的情况下，驾驶员也能够很容易地确认车辆的侧方的后方。
另外，虽然在实施方式1中，ECU16针对俯瞰图像P1、后方图像P2以及侧方图像P3而实施了众所周知的左右反转处理或修改尺寸处理并使其显示在显示部15上，但也可以在不实施左右反转处理或修改尺寸处理的条件下，使俯瞰图像P1、后方图像P2以及侧方图像P3显示在显示部15上。显然，ECU16也可以根据未图示的操作部的操作，而对是否针对俯瞰图像P1、后方图像P2以及侧方图像P3而实施左右反转处理或修改尺寸处理进行切换。
此外，在实施方式1中，ECU16在判断为驾驶员的视线的方向位于与车辆100的车顶101和前窗W1的分界相比靠上方之后观察了前窗W1附近(例如车顶101和前窗W1的分界)的情况下，也可以基于使用对车辆的周边进行拍摄而得到的图像数据而生成的图像，从而生成从上方俯瞰车辆100的虚拟的俯瞰图像、即用于在车顶101或前窗W1上进行显示的俯瞰图像，并将其输出。具体而言，如图14以及图15所示那样，ECU16在判断为驾驶员的视线的方向为与车辆100的车顶101和前窗W1的分界相比靠上方之后观察了前窗W1附近的情况下，也可以基于使用对车辆100的周边进行拍摄而得到的图像数据而生成的图像，从而生成从上方俯瞰车辆100的虚拟的俯瞰图像、且用于在车顶101或者前窗W1上进行显示的俯瞰图像，并将其输出。具体而言，如图14以及图15所示那样，ECU16在判断为驾驶员的视线的方向为与车辆100的车顶101和前窗W1的分界相比靠上方之后观察了前窗W1附近的情况下，使从上方俯瞰车辆100的虚拟的俯瞰图像P5投影在车顶101或前窗W1的区域MB1上并使其显示在显示部15上。由此，由于俯瞰图像P5被显示在车顶101或前窗W1上，因此驾驶员能够直观地掌握车辆100的周边环境的状况。而且，由于俯瞰图像P5被显示在车顶101或前窗W1上，因此驾驶员易于掌握到至位于车辆100的周边的对象物为止的距离，故此能够易于回避危险回避。
(实施方式2)
接下来，对实施方式2进行说明。虽然在上述的实施方式1中，显示部15是通过向车辆内进行投影来显示图像的，但在实施方式2中，则使用可穿戴装置来显示图像。在下文中，对与上述的实施方式1所涉及的驾驶辅助装置1相同的结构标记相同的符号，并省略详细的说明。
图16为表示实施方式2所涉及的可穿戴装置的概要结构的图。图17为表示具备实施方式2所涉及的驾驶辅助装置和可穿戴装置的驾驶辅助系统的功能结构的框图。
〔驾驶辅助装置的构成〕
首先，对驾驶辅助装置1A的结构进行说明。在图16所示的驾驶辅助装置1A中，除了不具有上述的实施方式1所涉及的驾驶辅助装置1的结构中的视线传感器13以及显示部15这一点之外，具有与驾驶辅助装置1相同的结构。
〔可穿戴装置的结构〕
接下来，对可穿戴装置2的结构进行说明。图16以及图17所示的可穿戴装置2为，驾驶员佩带自如并可实现增强现实(AR)的眼镜型的装置。而且，可穿戴装置2为，在使来自驾驶员的视野区域的光透射的同时，以能够在驾驶员的视野区域内对虚拟的图像进行目视确认的方式使驾驶员的视网膜的图像成像的装置。可穿戴装置2具备：通信部20、摄像装置21、9轴传感器22、投影部24和控制部25。
通信部20在控制部25的控制之下，经由网络并按照预定的通信标准而将各种信息向驾驶辅助装置1A或服务器进行发送，并且从驾驶辅助装置1A或服务器接收各种信息。通信部20使用可无线通信的通信模块而被构成。
摄像装置21如图16所示那样被设置有多个。摄像装置21在控制部25的控制之下，通过例如在车辆的车厢内进行拍摄而生成图像数据，并将该图像数据向控制部25进行输出。摄像装置21使用由一个或多个透镜构成的光学系统、和通过对该光学系统聚光而得到的被拍摄物体像进行受光从而生成图像数据的CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等而被构成。
9轴传感器22使用3轴陀螺传感器、3轴加速度传感器以及3轴地磁(罗盘)传感器而被构成。9轴传感器22对在可穿戴装置2上产生的角速度以及加速度进行检测，并将该检测结果向控制部25进行输出。此外，9轴传感器22通过对地磁进行检测从而对绝对方向进行检测，并将该检测结果向控制部25进行输出。
视线传感器23对作为可穿戴装置2的佩带者的驾驶员的视线的方向进行检测，并将该检测结果向控制部25输出。视线传感器23使用光学系统、CCD或CMOS、存储器、具有CPU或GPU等的硬件的处理器而被构成。视线传感器23使用例如众所周知的模板匹配并将驾驶员的眼睛不动的部分作为基准点(例如大眼角)来进行检测，并且将眼睛移动的部分(例如虹膜)作为动点来进行检测，并基于该基准点与动点之间的位置关系而对驾驶员的视线的方向进行检测。
投影部24在控制部25的控制之下，将图像、影像以及文字信息朝向可穿戴装置显示部(例如透镜部)或驾驶员的视网膜进行投影。投影部24使用分别照射出RGB(三原色(Red红、Green绿、Blue蓝))的激光的RGB激光、反射激光的MEMS(Micro Electro-MechanicalSystem，微机电系统)镜、将从MEMS镜反射的激光向驾驶员的视网膜进行投影的反射镜等而被构成。
控制部25对构成可穿戴装置2的各部的动作进行控制。控制部25使用存储器、和具有CPU等的硬件的处理器而被构成。控制部25在驾驶辅助装置1A的ECU16的控制之下，对投影部24所投影的图像的显示内容以及显示位置进行控制。例如，控制部25设定从ECU16被输入的与驾驶辅助装置1A的摄像装置12拍摄车辆的周边而得到的图像数据相对应的图像的显示位置以及显示内容，并基于与图像一起被输出的信息，从而通过对投影部24的MEMS镜的反射角度进行控制而对驾驶员可目视确认的图像的显示位置进行控制。另外，控制部25也可以通过从与被摄像装置21输入的图像数据相对应的图像内，对被设置于车辆的车厢的预定的位置、例如车顶、前窗以及侧窗上的标记进行检测，从而对驾驶员的视线进行检测。而且，控制部25也可以基于9轴传感器22的检测结果而对驾驶员的视线进行检测。
〔驾驶辅助装置的处理〕
接下来，对驾驶辅助装置1A所执行的处理进行说明。图18为表示驾驶辅助装置1A所执行的处理的概要的流程图。
如图18所示，首先，ECU16经由通信部14而取得与可穿戴装置2的视线传感器23所检测出的驾驶员的视线相关的视线信息，并从摄像装置12取得图像数据以及车速传感器11所检测出的车辆的车速信息(步骤S201)。
接下来，在通过ECU16而判断为驾驶员的视线的方向为车辆的前窗与车顶之间的斜上方(步骤S202：是)、且为车顶的情况(步骤S203：是)下，驾驶辅助装置1A转移至步骤S204。
接下来，ECU16通过基于从车辆的摄像装置12输入的图像数据而生成俯瞰车辆的俯瞰图像、即用于显示在驾驶员的视网膜上的与车辆的车顶相对应的位置的俯瞰图像并将其向投影部24输出，从而实施使投影部24投影俯瞰图像的顶视显示(步骤S204)。具体而言，与上述的实施方式1同样地，ECU16在围绕穿过实际图像的中心并与实际图像正交的轴而旋转180°之后，通过实施相对于车辆100的前后方向而进行左右反转处理以及对车辆和驾驶员之间的距离间隔进行调节的修改尺寸处理等，从而生成虚拟的俯瞰图像P1，并将该俯瞰图像P1向投影部24输出。在该情况下，投影部24将俯瞰图像P1朝向驾驶员的视网膜上的与车顶相对应的位置进行投影(例如，参照图3)。而且，ECU16也可以采用如下方式，即，通过将使俯瞰图像P1以与上述的实施方式1同样的方式进行偏移或倾斜而得到的俯瞰图像P1向投影部24输出，从而使投影部24将俯瞰图像P1朝向驾驶员的视网膜上的从与车顶相对应的位置偏移的位置进行投影(参照图5)。此外，ECU16也可以执行切下分别映照有俯瞰图像的车辆的车顶、车门、A柱以及B柱或C柱、D柱等的区域的修剪处理，并通过将实施了修剪处理的俯瞰图像P100向投影部24输出，从而使投影部24将俯瞰图像P100朝向驾驶员的视网膜的与车顶相对应的位置进行投影(参照图6A)。在步骤S204之后，驾驶辅助装置1A转移至步骤S205。
接下来，ECU16对IG开关10是否成为关断状态进行判断。在通过ECU16而判断为IG开关10为关断状态的情况(步骤S205：是)下，驾驶辅助装置1A结束本处理。与此相对，在通过ECU16而判断为IG开关10并非关断状态的情况(步骤S205：否)下，驾驶辅助装置1A返回至上述的步骤S201。
在步骤S202中，在通过ECU16而判断为驾驶员的视线的方向为车辆的斜上方(步骤S202：是)、且并非车顶的情况(步骤S203：否)下，驾驶辅助装置1A转移至步骤S206。
接下来，ECU16基于从车速传感器11所取得的车速信息而对车辆是否处于行驶中进行判断(步骤S206)，在通过ECU16而判断为车辆处于行驶中的情况(步骤S206：是)下，驾驶辅助装置1A转移至步骤S207。
接下来，ECU16通过基于从摄像装置12所取得的图像数据而生成对车辆的后方进行拍摄而得到的后方图像、即用于投影在驾驶员的视网膜上的与前窗中央的上部相对应的位置上的后方图像并向投影部24输出，从而执行使投影部24投影后方图像的后视显示(例如，参照图8)(步骤S207)。
此后，在通过ECU16而判断为驾驶员的视线向侧方变化了的情况(步骤S208：是)下，驾驶辅助装置1A转移至步骤S209，在通过ECU16而判断为驾驶员的视线未向侧方变化的情况(步骤S208：否)下，驾驶辅助装置1A转移至步骤S205。
在步骤S209中，ECU16通过基于从摄像装置12所输入的图像数据而生成对车辆的侧方后方进行拍摄而得到的侧方图像、即用于投影在驾驶员的视网膜上的与车辆的侧窗相对应的位置的侧方图像并向投影部24输出，从而执行使投影部24投影侧方图像的侧视显示(例如，参照图11A)。在步骤S209之后，驾驶辅助装置1A转移至步骤S205。
在步骤S206中，在通过ECU16而判断为车辆并非行驶中时(步骤S206：否)，驾驶辅助装置1A转移至步骤S210。
接下来，ECU16通过基于从摄像装置12输入的图像数据而将对车辆的后方进行拍摄而得到的后方图像、且放大至驾驶员的视网膜上的相当于前窗区域的大小的后方图像向投影部24输出，从而实施使投影部24投影放大了的后方图像的后视显示(例如，参照图9)(步骤S210)。由此，由于驾驶员经由可穿戴装置2而得到用自己的眼睛直接观察到车辆的后方的感觉，因此能够提高安全性。在步骤S210之后，驾驶辅助装置1A转移至步骤S205。
在步骤S202中，在通过ECU16而判断为驾驶员的视线的方向并非车辆的斜上方(步骤S202：否)、且为侧方的情况(步骤S211：是)下，在判断为驾驶员的视线的方向为与预定的位置相比靠下方时(步骤S212：是)，驾驶辅助装置1A转移至步骤S213。在此，预定的位置是指，使驾驶员在落座于驾驶席上的状态下观察与基准面平行的方向时的视线方向与0°相比靠下方的位置。
接下来，ECU16通过基于从摄像装置12取得的图像数据而生成对车辆的A柱的正下方进行拍摄而得到的虚拟的正下方图像、即用于显示在驾驶员的视网膜上的与配置有现有的车辆的侧窗的区域相对应的位置上的正下方图像并向投影部24输出，从而实施使投影部24投影正下方图像的正下方侧视显示(步骤S213)。由此，驾驶员仅通过降低视线就能够直观地掌握被A柱隐藏的区域。在步骤S213之后，驾驶辅助装置1A转移至步骤S205。
在步骤S212中，在通过ECU16而判断为驾驶员的视线的方向并非与预定的位置相比靠下方时(步骤S212：否)，驾驶辅助装置1A转移至步骤S214。
接下来，ECU16通过基于从摄像装置12所取得的图像数据而将对车辆的后方侧方进行拍摄而得到的侧方图像、即用于显示在驾驶员的视网膜上的与配置有现有的车辆的侧窗的区域相对应的位置上的侧方图像向投影部24输出，从而实施使投影部24投影侧方图像的侧视显示(参照图11A)(步骤S214)。在步骤S214之后，驾驶辅助装置1A转移至步骤S205。
在步骤S211中，在通过ECU16而判断为驾驶员的视线的方向并非侧方的情况(步骤S211：否)下，驾驶辅助装置1A转移至步骤S205。
根据以上说明的实施方式2，由于ECU16基于与驾驶员的视线相关的视线信息而对由可穿戴装置2所显示的图像的显示位置以及显示内容进行设定并与图像一起向可穿戴装置2输出，因此驾驶员能够直观地掌握。
此外，在实施方式2中，ECU16也可以根据驾驶员的姿势而对使投影部24进行投影的图像的显示位置、显示区域以及显示角度进行控制。在该情况下，ECU16对映照于与可穿戴装置2的摄像装置21所生成的图像数据相对应的图像上的驾驶员的姿势、例如指示图像的放大或缩小的捏合操作、指示图像的移动的轻划操作或滑动操作进行检测，并根据该检测结果而对使投影部24投影的图像的显示位置、显示区域以及显示角度进行控制。
另外，在实施方式2中，对驾驶员使用了可佩带的眼镜型的可穿戴装置2的示例进行了说明，但并未被限定于此，也能够应用于各种各样的可穿戴装置中。即使是例如如图19所示那样具有摄像功能的隐形眼镜型的可穿戴装置2A，也能够应用。而且，即使是如图20的可穿戴装置2B或者图21的脑内芯片型的可穿戴装置2C那样直接向驾驶员U1的大脑进行传递的装置，也能够应用。此外，也可以为如图22的可穿戴装置2D那样被构成为具备例如遮阳罩的头盔形状的装置。在该情况下，在戴上上述的可穿戴装置2之后，无需戴头盔。
此外，虽然在实施方式2中，可穿戴装置2通过投影在驾驶员的视网膜上从而对图像进行目视确认，但也可以在例如眼镜等的镜片上投影图像并进行显示。
此外，虽然在实施方式2中，ECU16使用由摄像装置12所生成的图像数据来控制使可穿戴装置2的投影部24显示的图像的显示内容以及显示位置，但也可以采用如下方式，即，例如可穿戴装置2的控制部25经由通信部20而从摄像装置12取得图像数据，并对使用所取得的图像数据而生成的图像的显示位置以及显示内容进行设定，并且与图像一起向投影部24输出。
(实施方式3)
接下来，对实施方式3进行说明。虽然在上述的实施方式1、2中，ECU16使用从被搭载于本车辆上的摄像装置12所取得的图像数据而对图像的显示位置以及显示内容进行设定并与图像一起输出，但在实施方式3中，服务器使用从其他车辆或GPS卫星取得的图像数据而对图像的显示位置以及显示内容进行设定并与图像一起输出。另外，对与上述的实施方式1所涉及的驾驶辅助装置1相同的结构标记相同的符号，并省略详细的说明。
图23为表示实施方式3所涉及的驾驶辅助系统的概要结构的示意图。图23所示的驾驶辅助系统1000具备多台车辆200、和服务器300。多台车辆200以及服务器300被构成为，能够经由基站400以及网络500而相互进行信息通信。此外，多台车辆200接收来自多个GPS卫星600的信号，并基于所接收到的信号而对车辆200的位置进行计算。此外，服务器300经由基站400以及网络500而从GPS卫星600对车辆200的上空进行拍摄，从而取得图像数据。
〔车辆的结构〕
首先，对车辆200的结构进行说明。图23所示的车辆200搭载了上述的实施方式1所涉及的驾驶辅助装置1，并且在该驾驶辅助装置1的结构中，除了不具有ECU16使用从摄像装置12所取得的图像数据而对图像的显示位置以及显示内容进行设定并与图像一起输出的功能这一点之外，其余均具有相同的功能。
〔服务器的结构〕
接下来，对服务器300的结构进行说明。图23所示的服务器300具备通信部301和控制部302。
通信部301在控制部302的控制之下，经由网络500以及基站400并按照预定的通信标准而发送各种信息，并且接收各种信息。此外，通信部301在控制部302的控制之下，按照预定的通信标准而向各台车辆200发送各种信息，并且从GPS卫星600或各台车辆200接收各种信息。通信部301使用可进行无线通信的通信模块而被构成。
控制部302使用存储器和具有CPU等的硬件的处理器而被构成。控制部302经由通信部301而从具有图像的请求的车辆200(以下，仅称为“请求车辆200”)取得与驾驶员的视线相关的视线信息、以及从位于具有图像的请求的请求车辆200的周边的车辆200(以下，称为“其他车辆200”)或者GPS卫星600取得图像数据。然后，控制部302通过基于从请求车辆200所取得的视线信息而生成使用从其他车辆200或GPS卫星600所取得的图像数据而虚拟性地生成请求车辆200的周边状况的图像，并对该生成的图像的显示位置以及显示内容进行设定并且与图像一起向请求车辆200输出，从而使之显示在请求车辆200的显示部15上。另外，控制部302也可以通过基于从请求车辆200所取得的视线信息而生成使用被记录于存储器中的多个图像数据组而虚拟地生成请求车辆200的周边状况的图像，并对该生成的图像的显示位置以及显示内容进行设定并且与图像一起向请求车辆200输出，从而使之显示在请求车辆200的显示部15上。此外，在实施方式3中，控制部302作为处理器而发挥功能。
根据上文所说明的实施方式3，由于控制部302通过生成虚拟地生成请求车辆200的周边状况的图像，并对该生成的图像的显示位置以及显示内容进行设定并且与图像一起向请求车辆200输出，从而能够在请求车辆200内，在请求车辆200内的驾驶员的视线朝向的位置上显示与该位置相应的内容的图像，因此请求车辆200的驾驶员能够直观地掌握车辆的周边环境。
(其他的实施方式)
此外，在实施方式1～3所涉及的驾驶辅助装置中，上述记载的“部”能够换用另一措辞为“电路”等。例如，控制部能够换用另一措辞为控制电路。
此外，虽然在实施方式1～3所涉及的驾驶辅助装置中，ECU分别取得与驾驶员的视线相关的视线信息以及对车辆的周边进行拍摄而得到的图像数据，并基于视线信息来设定使用图像数据而生成的图像的显示位置以及显示内容并且与图像一起输出，但并未被限定于此，也可以代替ECU或GPU(Graphics Processing Unit，图形处理单元)，而由与ECU或GPU相比更适合的装置、例如由FPGA(Field Programmable Gate Array，现场可编程门阵列)、DSP(Digital Signal Processing，数字信号处理器)以及存储器等构成的装置来实施。
此外，在实施方式1～3所涉及的驾驶辅助装置中使之执行的程序，以可安装的形式或者可执行的形式的文件数据被记录在CD-ROM、软盘(FD)、CD-R、DVD(DigitalVersatile Disk)、USB介质、闪存等的能够由计算机读取的记录介质中并予以提供。
此外，在实施方式1～3所涉及的驾驶辅助装置中使之执行的程序也可以被构成为，被存储于与互联网等的网络连接的计算机上，通过经由网络并下载从而提供。
另外，虽然在本说明书中的流程图的说明中，使用了“首先”、“此后”、“接下来”等的表达方式明确示出了步骤间的处理的前后关系，但为了实施本实施方式而需要的处理的顺序并未被这些表达方式唯一限定。即，本说明书所记载的流程图中的处理的顺序能够在不矛盾的范围内进行变更。
对于本领域技术人员而言，进一步的效果或改变例能够很容易地推导出来。本发明的更广泛的方式并未被限定于以上方式表达并记述的特定的详细内容以及代表性的实施方式。因此，在不脱离由随附的权利要求及其等同物所定义的总括性的发明的概念的精神或者范围的情况下，能够进行各种各样的变更。
符号说明
1、1A：驾驶辅助装置；
2、2A、2B、2C：可穿戴装置；
11：车速传感器；
12、21：摄像装置；
13、23：视线传感器；
14、20、301：通信部；
15：显示部；
16：ECU；
22：9轴传感器；
24：投影部；
25、302：控制部；
100、200：车辆；
101：车顶；
103：A柱；
300：服务器；
600：GPS卫星；
1000：驾驶辅助系统
W1：前窗W1；
WL1、WR1：侧窗；
P1、P5：俯瞰图像；
P2：后方图像；
P3、P4：侧方图像。

Claims (15)

1.一种驾驶辅助装置，具备：
存储器；
处理器，其具有硬件，
所述处理器分别取得与驾驶员的视线相关的视线信息以及对车辆的周边进行拍摄而得到的图像数据，
基于所述视线信息，从而对使用所述图像数据而生成的图像的显示位置以及显示内容进行设定并与所述图像一起输出。
2.如权利要求1所述的驾驶辅助装置，其中，
所述处理器基于所述视线信息，而对是否所述驾驶员的视线与平行相比向上、或所述驾驶员的视线的方向与所述车辆的车顶和前窗的分界相比靠上方进行判断，
在判断为所述驾驶员的视线的方向为所述上方的情况下，基于所述图像而生成俯瞰所述车辆的虚拟的俯瞰图像、且用于在所述车顶上显示的俯瞰图像并输出。
3.如权利要求2所述的驾驶辅助装置，其中，
所述处理器将所述俯瞰图像向如下的面与所述视线的方向交叉的位置偏移并输出，所述面为，与基于包括所述车辆的车轮在内的信息而规定的基准面平行的面、且穿过所述车辆中的预定的基准位置的面。
4.如权利要求3所述的驾驶辅助装置，其中，
所述处理器以包含所述俯瞰图像的所述基准位置为中心并以预定的角度进行旋转并输出。
5.如权利要求4所述的驾驶辅助装置，其中，
所述处理器实施至少切下所述俯瞰图像中的从所述车辆中的车厢内进行观察时映照有内部装饰部件的区域的修剪处理并输出。
6.如权利要求1所述的驾驶辅助装置，其中，
所述处理器基于所述视线信息而对所述驾驶员的视线的方向是否为所述车辆内的前窗上方的中央进行判断，
在判断为所述驾驶员的视线的方向为所述车辆内的前窗的上方的中央的情况下，基于所述图像而生成从所述车辆的背面对后方进行拍摄而得到的后方图像、且用于在所述前窗的中央的上方显示的后方图像并输出。
7.如权利要求6所述的驾驶辅助装置，其中，
所述处理器取得与所述车辆的车速相关的车速信息，并基于所述车速信息而对所述车辆是否停止进行判断，
在所述车辆停止的情况下，将所述后方图像放大至相当于所述前窗区域的大小并输出。
8.如权利要求1所述的驾驶辅助装置，其中，
所述处理器基于所述视线信息，而对所述驾驶员的视线的方向是否为所述车辆的侧方进行判断，
在所述驾驶员的视线的方向为所述车辆的侧方的情况下，基于所述图像而生成从所述车辆的侧方对后方进行拍摄而得到的侧方图像、且用于在与侧视镜相对应的位置、与翼子板后视镜相对应的位置以及前窗的上方的左右位置中的任一个以上的位置上显示的侧方图像并输出。
9.如权利要求8所述的驾驶辅助装置，其中，
所述处理器在所述驾驶员的视线的方向为远离驾驶席一侧的所述侧方的情况下，使所述侧方图像的显示定时与距所述驾驶席较近一侧的所述侧方的显示定时相比而较早。
10.如权利要求9所述的驾驶辅助装置，其中，
所述处理器在所述驾驶员的视线的方向为远离驾驶席一侧的所述侧方的情况下，生成与距所述驾驶席较近一侧的所述侧方相比放大了所述侧方图像的放大图像并输出。
11.如权利要求2所述的驾驶辅助装置，其中，
所述处理器在判断为所述驾驶员的视线的方向为所述上方之后观察了前窗附近的情况下，基于所述图像而生成从上方俯瞰所述车辆的虚拟的俯瞰图像、且用于在所述车顶或前窗上显示的俯瞰图像并输出。
12.一种驾驶辅助系统，具备：
权利要求1至11中的任意一项所述的驾驶辅助装置；
可穿戴装置，其能够与该驾驶辅助装置进行双向通信，并能够在透过视野区域的光的同时，在该视野区域上虚拟地显示所述图像，
所述可穿戴装置具备视线传感器，所述视线传感器对所述视线信息进行检测，
所述处理器基于所述视线信息，而对所述可穿戴装置上的所述图像的显示位置以及所述显示内容进行设定并与所述图像一起向所述可穿戴装置输出。
13.一种驾驶辅助方法，其为驾驶辅助装置所执行的驾驶辅助方法，在该方法中，
分别取得与驾驶员的视线相关的视线信息以及对车辆的周边进行拍摄而得到的图像数据，
基于从存储器读取的所述视线信息，从而对使用所述图像数据而生成的图像的显示位置以及显示内容进行设定并与所述图像一起输出。
14.一种计算机可读取的记录介质，其上记录了使驾驶辅助装置执行如下内容的程序，所述内容为：
取得与驾驶员的视线相关的视线信息以及对车辆的周边进行拍摄而得到的图像数据，
基于所述视线信息，从而对使用所述图像数据而生成的图像的显示位置以及显示内容进行设定并与所述图像一起输出。
15.一种驾驶辅助系统，具备：
权利要求1所述的驾驶辅助装置；
可穿戴装置，其能够与该驾驶辅助装置进行双向通信，并能够在透过视野区域的光的同时，在该视野区域上虚拟地显示所述图像；
视线传感器，其被装备于所述车辆中，并对所述视线信息进行检测，
所述处理器基于所述视线信息，从而对所述可穿戴装置上的所述图像的显示位置以及所述显示内容进行设定，并将所述图像的显示位置以及显示内容与所述图像一起向所述可穿戴装置输出。
CN201911101526.8A 2018-11-13 2019-11-12 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序 Active CN111169382B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018213084A JP7163732B2 (ja) 2018-11-13 2018-11-13 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP2018-213084 2018-11-13

Publications (2)

Publication Number Publication Date
CN111169382A true CN111169382A (zh) 2020-05-19
CN111169382B CN111169382B (zh) 2024-01-09

Family

ID=70551665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911101526.8A Active CN111169382B (zh) 2018-11-13 2019-11-12 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序

Country Status (3)

Country Link
US (1) US11351918B2 (zh)
JP (1) JP7163732B2 (zh)
CN (1) CN111169382B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113752782A (zh) * 2020-06-05 2021-12-07 丰田自动车株式会社 体验系统、体验提供方法以及存储介质
CN114572113A (zh) * 2020-11-30 2022-06-03 丰田自动车株式会社 拍摄系统、拍摄装置及驾驶支援装置
CN115472027A (zh) * 2021-06-10 2022-12-13 欧温星球控股股份有限公司 远程辅助系统和远程辅助方法
CN113752782B (zh) * 2020-06-05 2024-05-10 丰田自动车株式会社 体验系统、体验提供方法以及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP7163418B2 (ja) * 2019-01-31 2022-10-31 三菱電機株式会社 運転支援装置
CN112298039A (zh) * 2020-09-27 2021-02-02 浙江合众新能源汽车有限公司 一种a柱成像方法
JP2022071797A (ja) * 2020-10-28 2022-05-16 株式会社日本総合研究所 車両及び表示方法
JP2022084136A (ja) * 2020-11-26 2022-06-07 株式会社東海理化電機製作所 無線通信装置、システムおよびプログラム
CN113602196B (zh) * 2021-08-25 2023-10-17 东风汽车集团股份有限公司 一种可透视化a柱及周边区域的显示系统及方法
CN113837027A (zh) * 2021-09-03 2021-12-24 东风柳州汽车有限公司 辅助驾驶的感知方法、装置、设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
CN101277432A (zh) * 2007-03-26 2008-10-01 爱信艾达株式会社 驾驶辅助方法以及驾驶辅助装置
JP2014116756A (ja) * 2012-12-07 2014-06-26 Toyota Motor Corp 周辺監視システム
CN104260669A (zh) * 2014-09-17 2015-01-07 北京理工大学 一种智能汽车抬头显示器
DE102014213683A1 (de) * 2014-07-15 2016-01-21 Robert Bosch Gmbh Vorrichtung zur optischen Darstellung von Informationen in einem Fahrzeug
CN105522971A (zh) * 2014-10-21 2016-04-27 现代摩比斯株式会社 车辆外部图像输出控制装置及方法
CN105872482A (zh) * 2016-05-31 2016-08-17 乐视控股（北京）有限公司 车辆系统及其图像显示方法
WO2017130439A1 (ja) * 2016-01-28 2017-08-03 鴻海精密工業股▲ふん▼有限公司 車両用画像表示システム及びその画像表示システムを搭載した車両
CN107249934A (zh) * 2015-02-17 2017-10-13 康蒂-特米克微电子有限公司 无失真显示车辆周边环境的方法和装置
US20180120572A1 (en) * 2016-11-01 2018-05-03 Yazaki Corporation Vehicle display device
US20180126905A1 (en) * 2015-08-10 2018-05-10 JVC Kenwood Corporation Display device for vehicle and display method for vehicle
US20180257565A1 (en) * 2015-09-30 2018-09-13 Aisin Seiki Kabushiki Kaisha Drive assist apparatus
JP2018163310A (ja) * 2017-03-27 2018-10-18 三菱自動車工業株式会社 車両周囲表示装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4329525B2 (ja) 2003-12-16 2009-09-09 株式会社エクォス・リサーチ 車外情報表示装置
JP2008230296A (ja) 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2011213186A (ja) 2010-03-31 2011-10-27 Equos Research Co Ltd 電子サイドミラー装置
JP6077214B2 (ja) 2012-02-06 2017-02-08 富士通テン株式会社 画像処理装置、画像処理方法、プログラム、及び画像処理システム
US20140362195A1 (en) * 2013-03-15 2014-12-11 Honda Motor, Co., Ltd. Enhanced 3-dimensional (3-d) navigation
WO2015104860A1 (ja) 2014-01-10 2015-07-16 アイシン精機株式会社 画像表示制御装置および画像表示システム
US9626802B2 (en) * 2014-05-01 2017-04-18 Microsoft Technology Licensing, Llc Determining coordinate frames in a dynamic environment
JP6187413B2 (ja) 2014-08-19 2017-08-30 株式会社デンソー 車両用情報提示方法、車両用情報提示システム、車載装置
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
JP2017030530A (ja) * 2015-07-31 2017-02-09 スズキ株式会社 映像表示システム
JP2017129406A (ja) 2016-01-19 2017-07-27 日本電気通信システム株式会社 情報処理装置、スマートグラスおよびその制御方法、並びにコンピュータ・プログラム
JP2018022958A (ja) 2016-08-01 2018-02-08 株式会社デンソー 車両用表示制御装置及び車両用モニタシステム
JP6865006B2 (ja) 2016-09-28 2021-04-28 矢崎総業株式会社 車両用表示装置
KR101899981B1 (ko) * 2016-12-02 2018-09-19 엘지전자 주식회사 차량용 헤드 업 디스플레이
JP2018144554A (ja) * 2017-03-02 2018-09-20 カルソニックカンセイ株式会社 車両用ヘッドアップディスプレイ装置
US10529104B2 (en) * 2017-12-19 2020-01-07 GM Global Technology Operations LLC Virtual vehicle skin
JP2019156298A (ja) * 2018-03-15 2019-09-19 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
JP7227106B2 (ja) * 2019-08-22 2023-02-21 本田技研工業株式会社 操作制御装置、操作制御方法、およびプログラム

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001055100A (ja) * 1999-08-18 2001-02-27 Matsushita Electric Ind Co Ltd 多機能車載カメラシステムと多機能車載カメラの画像表示方法
CN101277432A (zh) * 2007-03-26 2008-10-01 爱信艾达株式会社 驾驶辅助方法以及驾驶辅助装置
JP2014116756A (ja) * 2012-12-07 2014-06-26 Toyota Motor Corp 周辺監視システム
DE102014213683A1 (de) * 2014-07-15 2016-01-21 Robert Bosch Gmbh Vorrichtung zur optischen Darstellung von Informationen in einem Fahrzeug
CN104260669A (zh) * 2014-09-17 2015-01-07 北京理工大学 一种智能汽车抬头显示器
CN105522971A (zh) * 2014-10-21 2016-04-27 现代摩比斯株式会社 车辆外部图像输出控制装置及方法
CN107249934A (zh) * 2015-02-17 2017-10-13 康蒂-特米克微电子有限公司 无失真显示车辆周边环境的方法和装置
US20180126905A1 (en) * 2015-08-10 2018-05-10 JVC Kenwood Corporation Display device for vehicle and display method for vehicle
US20180257565A1 (en) * 2015-09-30 2018-09-13 Aisin Seiki Kabushiki Kaisha Drive assist apparatus
WO2017130439A1 (ja) * 2016-01-28 2017-08-03 鴻海精密工業股▲ふん▼有限公司 車両用画像表示システム及びその画像表示システムを搭載した車両
CN105872482A (zh) * 2016-05-31 2016-08-17 乐视控股（北京）有限公司 车辆系统及其图像显示方法
US20180120572A1 (en) * 2016-11-01 2018-05-03 Yazaki Corporation Vehicle display device
JP2018163310A (ja) * 2017-03-27 2018-10-18 三菱自動車工業株式会社 車両周囲表示装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113752782A (zh) * 2020-06-05 2021-12-07 丰田自动车株式会社 体验系统、体验提供方法以及存储介质
CN113752782B (zh) * 2020-06-05 2024-05-10 丰田自动车株式会社 体验系统、体验提供方法以及存储介质
CN114572113A (zh) * 2020-11-30 2022-06-03 丰田自动车株式会社 拍摄系统、拍摄装置及驾驶支援装置
CN114572113B (zh) * 2020-11-30 2024-01-30 丰田自动车株式会社 拍摄系统、拍摄装置及驾驶支援装置
CN115472027A (zh) * 2021-06-10 2022-12-13 欧温星球控股股份有限公司 远程辅助系统和远程辅助方法

Also Published As

Publication number Publication date
US11351918B2 (en) 2022-06-07
US20200148112A1 (en) 2020-05-14
JP2020080485A (ja) 2020-05-28
CN111169382B (zh) 2024-01-09
JP7163732B2 (ja) 2022-11-01

Similar Documents

Publication Publication Date Title
CN111169382B (zh) 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法以及程序
JP6497158B2 (ja) 表示装置、移動体
JP4699054B2 (ja) 車両周囲監視装置
JP4965800B2 (ja) 画像表示システム
JP6410987B2 (ja) 運転支援装置、運転支援方法、及び、運転支援プログラム
US10730440B2 (en) Display system, electronic mirror system, and moving body
JP2011213186A (ja) 電子サイドミラー装置
CN111284498B (zh) 驾驶支援装置、系统、方法、可穿戴装置以及存储介质
JP4798015B2 (ja) 防眩制御装置
JP2009183473A (ja) 視線方向検出装置及び視線方向検出方法
JP2003104145A (ja) 運転支援表示装置
CN114179725A (zh) 车辆用显示装置
JP2008141574A (ja) 車両用視覚補助装置
EP3606064B1 (en) Head-up display apparatus
US20100156782A1 (en) Hand Control Image For Replication
JP2018121287A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP2008037118A (ja) 車両用表示装置
EP3513999B1 (en) Vehicle display nexus control apparatus
JP2007047735A (ja) 視覚情報呈示装置及び視覚情報呈示方法
CN111292555A (zh) 支援装置、支援方法以及存储介质
JP6485310B2 (ja) 情報提供システム、情報提供方法及びコンピュータプログラム
WO2018101170A1 (ja) 表示装置、及び、電子ミラー
WO2020090187A1 (ja) 虚像表示装置、およびヘッドアップディスプレイ装置
JP2023017641A (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
JP7037896B2 (ja) 視認補助装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant