CN111098783B - 车辆用障碍物通知装置 - Google Patents

车辆用障碍物通知装置 Download PDF

Info

Publication number
CN111098783B
CN111098783B CN201910812328.6A CN201910812328A CN111098783B CN 111098783 B CN111098783 B CN 111098783B CN 201910812328 A CN201910812328 A CN 201910812328A CN 111098783 B CN111098783 B CN 111098783B
Authority
CN
China
Prior art keywords
obstacle
occupant
vehicle
sight
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910812328.6A
Other languages
English (en)
Other versions
CN111098783A (zh
Inventor
安江智志
加藤树博
山道智史
平岩宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN111098783A publication Critical patent/CN111098783A/zh
Application granted granted Critical
Publication of CN111098783B publication Critical patent/CN111098783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Abstract

本公开内容为一种车辆用障碍物通知装置，该车辆用障碍物通知装置具有：障碍物检测部，其对车辆的周围的障碍物进行检测；视线检测部，其对落座在驾驶座上的乘员的视线方向进行检测；通知部，其在车辆的自动驾驶时，在通过视线检测部所检测到的乘员的视线朝向障碍物的情况下，将该障碍物的存在通过显示以及声音的至少一方来向乘员进行告知。

Description

车辆用障碍物通知装置
技术领域
本公开内容涉及一种车辆用障碍物通知装置。
背景技术
在日本特开2007-304712号公报中，公开了一种在驾驶员的视线方向上显示障碍物的位置和驾驶员的视线方向的驾驶辅助装置。在该专利文献1的技术中，当驾驶员移动视线方向时，将障碍物的位置和驾驶员的视线方向显示在移动目的地上。
但是，虽然在能够自动行驶的自动驾驶车辆中，通过掌握检测出本车辆的周边的障碍物的情况而能够安心，然而，另一方面如专利文献1那样，乘员改变视线方向就会进行显示，有时会使乘员感到厌烦。
发明内容
本公开内容获得一种能够实现自动驾驶时的安心感与舒适性的兼顾的车辆用障碍物通知装置。
本发明的第一方式为车辆用障碍物通知装置，该车辆用障碍物通知装置具有：障碍物检测部，其对车辆的周围的障碍物进行检测；视线检测部，其对落座在驾驶座上的乘员的视线方向进行检测；通知部，其在车辆的自动驾驶时，在通过所述视线检测部所检测到的乘员的视线朝向障碍物的情况下，将该障碍物的存在通过显示以及声音的至少一方来向乘员进行告知。
在第一方式所涉及的车辆用障碍物通知装置中，通过障碍物检测部对车辆的周围的障碍物进行检测。另外，通过视线检测部对落座在驾驶座上的乘员的视线方向进行检测。另外，在自动驾驶时，由通知部将障碍物的存在通过显示以及声音的至少一方来向乘员进行告知。由此，乘员能够掌握在自动驾驶时障碍物被正确地检测到了的情况，从而能够获得安心感。
另外，通知部被构成为，在乘员的视线朝向障碍物的情况下，将障碍物的存在向乘员进行告知。由此，仅在乘员担心障碍物的存在的情况下进行告知，因此不容易使乘员感觉厌烦。
本发明的第二方式为，在第一方式中，所述通知部被构成为包括显示装置，所述显示装置通过在隔成车内和车外的前窗玻璃上实施障碍物的强调显示来向乘员告知障碍物的存在，所述显示装置根据障碍物的种类而变更显示标记。
在第二方式所涉及的车辆用障碍物通知装置中，通过根据障碍物的种类而使显示标记发生变化，从而能够掌握障碍物的种类被正确地检测到了的情况。
本发明的第三方式为，在第一方式或者第二方式中，所述通知部仅将通过所述障碍物检测部检测到的障碍物中的特定的障碍物向乘员进行告知。
在第三方式所涉及的车辆用障碍物通知装置中，例如，能够仅将行人和正在本车辆的侧方行驶中的车辆作为特定的障碍物向乘员进行告知。由此，能够省略对于正在本车辆的前方行驶中的车辆等向乘员告知的必要性较低的障碍物的通知。
本发明的第四方式为，在第一至第三方式中的任意一个的方式中，所述通知部被构成为包括定向扬声器，从所述定向扬声器朝向落座在驾驶座上的乘员输出障碍物的信息。
在第四方式所涉及的车辆用障碍物通知装置中，由于从定向扬声器朝向乘员输出障碍物的信息，因此能够仅使落座在驾驶座上的乘员掌握障碍物的信息。
附图说明
将基于以下附图来对本发明的示例性的实施方式进行详细说明。
图1为从车厢侧对具备第一实施方式所涉及的车辆用障碍物通知装置的车辆的车厢前部进行观察的示意图。
图2为表示乘员的视线方向从图1的状态发生了改变的状态的示意图。
图3为从车辆宽度方向对具备第一实施方式所涉及的车辆用障碍物通知装置的车辆的车厢前部进行观察的示意侧视图。
图4为表示第一实施方式所涉及的车辆用障碍物通知装置的硬件结构的框图。
图5为表示构成第一实施方式所涉及的车辆用障碍物通知装置的ECU的硬件结构的框图。
图6为表示第一实施方式所涉及的车辆用障碍物通知装置的功能结构的框图。
图7为表示第一实施方式所涉及的通知处理的流程的流程图。
图8为表示改变例所涉及的通知处理的流程的流程图。
图9为从车厢侧对具备第二实施方式所涉及的车辆用障碍物通知装置的车辆进行观察的示意图。
具体实施方式
＜第一实施方式＞
参照附图，对第一实施方式所涉及的车辆用障碍物通知装置10进行说明。另外，为了便于说明，有附图的尺寸比例被夸大且与实际的尺寸比例不同的情况。另外，在各个附图中适当标记的箭头标记FR、箭头标记UP以及箭头标记LH分别表示车辆的前方向、上方向以及宽度方向的左侧。以下，在仅使用前后、上下、左右的方向进行说明的情况下，只要没有特别记载，则表示车辆前后方向的前后、车辆上下方向的上下、在朝向车辆前方时的左右。
如图1所示，在搭载有本实施方式所涉及的车辆用障碍物通知装置10的车辆12中的车厢内的前部，设置有隔成车内和车外的前窗玻璃14。前窗玻璃14由玻璃、透明树脂等透明的材料形成，且被构成为，车厢内的乘员能够透过前窗玻璃14而对车外的景色进行目视确认。
在此，本实施方式的车辆12为能够自动行驶的所谓的自动驾驶车辆，且被构成为，能够在乘员实施驾驶的手动驾驶模式与自动行驶的自动驾驶模式之间进行切换。
在前窗玻璃14的车辆宽度方向两侧设置有前柱16。前柱16在车辆上下方向上延伸，且在该前柱16的车辆后方侧设置有前侧面玻璃18。
在前窗玻璃14中的下端部的车内侧设置有仪表板22。而且，如图3所示，在仪表板22的车辆下方侧设置有作为通知部的显示装置23。
显示装置23被构成为包括：输出影像的影像输出部24和使从影像输出部24输出的影像向前窗玻璃14反射的反射镜26。此处，反射镜26被安装在未图示的转动轴上，且通过转动轴的转动来变更反射镜26的角度。而且，被构成为，通过变更反射镜26的角度，能够将从影像输出部24输出的影像向前窗玻璃14的任意的区域进行投影。
如图1所示，在前窗玻璃14上显示标记M1。标记M1通过显示装置23而被显示，且以围住车外的行人P的方式而显示为大致框状。此外，此时的驾驶员(乘员)的视线方向为由箭头标记L1所示的方向。即，被构成为，通过在驾驶员的视线方向朝向行人P的情况下显示标记M1，来强调显示行人P，从而向驾驶员告知作为障碍物的行人P的存在。
另外，如图2所示，在驾驶员的视线方向从行人P而朝向了前方的车辆V的情况下，通过显示装置23(图3)来显示标记M2。该标记M2以围住车辆V的方式而被显示为大致框状。即，被构成为，通过在驾驶员的视线方向朝向车辆V的情况下显示标记M2，来强调显示车辆V，从而向驾驶员告知作为障碍物的车辆V的存在。
图4为表示车辆用障碍物通知装置10的硬件结构的框图。如该图4所示，车辆用障碍物通知装置10被构成为包括：ECU(Electronic Control Unit：电子控制单元)20、显示装置23、视线检测装置28、定向扬声器30、周边检测传感器32以及光学摄像机34。
如图1所示，ECU20被设置在车辆12的前部，且作为控制部而发挥功能。而且，如图4所示，相对于该ECU20，电连接有显示装置23、视线检测装置28、作为通知部的定向扬声器30、周边检测传感器32以及光学摄像机34。
如上所述，显示装置23被构成为包括影像输出部24和反射镜26，且通过来自ECU20的信号而从影像输出部24输出强调显示用的标记。另外，通过来自ECU20的信号来调整反射镜26的角度。
视线检测装置28对落座于驾驶座上的乘员的视线方向进行检测。作为该视线检测装置28，能够使用例如被安装在仪表板22或顶棚部且对乘员的脸部进行拍摄的摄像机等。另外，也可以使用乘员佩戴的眼镜型的可穿戴设备等。
定向扬声器30被安装在车厢内，且通过来自ECU20的信号来输出声音。另外，本实施方式的定向扬声器30使用具有定向性的扬声器，且被构成为，朝向驾驶员输出声音。因此，落座在驾驶座以外的座椅上的乘员听不见或者几乎听不见从定向扬声器30输出的声音。
周边检测传感器32为，被设置在车辆12上且对车辆12的周边进行检测的传感器。作为该周边检测传感器32，被构成为包括毫米波雷达、超声波传感器以及激光雷达的至少一个。光学摄像机34为对车辆12的前方进行拍摄的摄像机，且通过对存在于车辆12的前方的障碍物进行拍摄来对其进行识别。
图5为表示构成车辆用障碍物通知装置10的ECU20的硬件结构的框图。如该图5所示，ECU20被构成为包括：CPU(Central Processing Unit：处理器)36、ROM(Read OnlyMemory：只读存储器)38、RAM(Random Access Memory：随机存取存储器)40、储存器42、GPS接收器44以及通信接口46。各个结构经由总线47而被相互连接为能够进行通信。
CPU36为中央运算处理单元，且执行各种程序，或控制各部。即，CPU36从ROM38或者储存器42中读出程序且将RAM40作为工作区域来执行程序。CPU36根据被记录于ROM38或者储存器42中的程序，来执行上述各个结构的控制以及各种运算处理。
ROM38对各种程序以及各种数据进行存储。RAM40作为工作区域而暂时性地存储程序或者数据。储存器42由HDD(Hard Disk Drive：硬盘驱动)或者SSD(Solid State Drive：固态驱动)构成，且对包括操作系统在内的各种程序以及各种数据进行存储。
GPS接收器44从多个卫星接收基于GPS方式的信号，且根据信号的到达时间差来确定车辆(本车)12的位置。通信接口46为，ECU20用于与服务器以及其它设备进行通信的接口，例如，可以利用以太网(Ethernet，注册商标)、FDDI(Fiber Distributed DataInterface，光纤分布式数据接口)、Wi-Fi(注册商标)等标准。
车辆用障碍物通知装置10利用图4以及图5所示的硬件资源来实现各种功能。参照图6而对车辆用障碍物通知装置10所实现的功能结构进行说明。
如图6所示，车辆用障碍物通知装置10作为功能结构而具备接收部48、障碍物检测部50、视线检测部52、判断部54以及输出部56。各个功能结构通过ECU20的CPU36读出被储存于ROM38或者储存器42中的程序并执行来实现。
接收部48接收从视线检测装置28发送的与乘员的视线方向有关的数据。另外，接收部48接收从周边检测传感器32、光学摄像机34以及其它设备发送的与车辆12的周边的障碍物有关的数据。
障碍物检测部50基于利用接收部48所接收的数据，来对障碍物的方向、距离以及障碍物的种类等进行检测。视线检测部52基于从视线检测装置28接收到的数据，来对乘员的视线方向进行检测。
判断部54根据利用障碍物检测部50所检测到的障碍物的位置和利用视线检测部52所检测出的乘员的视线方向，来对乘员是否将视线朝向障碍物的方向进行判断。即，在乘员的视线方向的前方存在障碍物的情况下，判断为乘员将视线朝向障碍物。
输出部56将障碍物的存在通过显示以及声音的至少一方的方法来向乘员进行告知。具体而言，通过利用显示装置23而在前窗玻璃14上强调显示障碍物的方法以及从定向扬声器30用声音向乘员输出障碍物的信息的方法的至少一方的方法，来向乘员告知障碍物的存在。
接下来，参照图7的流程图，对本实施方式的车辆用障碍物通知装置10的通知处理的流程进行说明。例如，CPU36从ROM38或者储存器42中读出程序，且通过在RAM40中展开并执行来实施通知处理。
图7中示出了对于乘员强调显示障碍物时的通知处理的流程的一个示例。如该如图7所示，CPU36在步骤S102中对自动驾驶是否开启(ON)进行判断。例如，当通过乘员的操作开始车辆的自动驾驶时，将已开始自动驾驶的情况传递至ECU20，且通过该信号而判断为自动驾驶已开启。
在步骤S102中被判断为自动驾驶已开启的情况下，CPU36进入到步骤S104的处理。另外，在步骤S102中未判断出自动驾驶已开启的情况下，即，在被判断为自动驾驶关闭(OFF)的情况下，CPU36反复实施步骤S102的处理。
CPU36在步骤S104中对车辆周边的障碍物进行检测。此处，通过障碍物检测部50的功能，且基于来自周边检测传感器32以及光学摄像机34的信号，来对障碍物的位置以及种类进行检测。在图1的状态中，行人P以及车辆V作为障碍物而被检测。
如图7所示，CPU36在步骤S106中对乘员的视线方向进行检测。此处，通过视线检测部52的功能，且基于来自视线检测装置28的信号，而对乘员的视线方向进行检测。
CPU36在步骤S108中对障碍物与视线方向是否一致进行判断。具体而言，根据在步骤S104所检测到的障碍物的位置和在步骤S106中所检测出的乘员的视线方向，而对乘员是否将视线朝向障碍物的方向进行判断。而且，在乘员的视线方向的前方存在障碍物的情况下，CPU36判断为乘员将视线朝向障碍物，且进入到步骤S110的处理。另外，在障碍物与视线方向不一致的情况下，CPU36结束通知处理。例如，在图1的状态下，如箭头标记L1所示，在乘员的视线方向的前方存在行人P。因此，CPU36判断为乘员将视线朝向障碍物(行人P)，且进入到步骤S110的处理。
如图7所示，CPU36在步骤S110中强调显示障碍物。即，根据输出部56的功能，从显示装置23的影像输出部24输出影像，且利用反射镜26进行反射，从而如图1所示以围住行人P的方式来显示标记M1。
如上所述，在本实施方式中，在乘员的视线朝向了障碍物的情况下，通过强调显示障碍物的存在而向乘员进行告知。
(作用)
接下来，对本实施方式的作用进行说明。
如上所述，在本实施方式的车辆用障碍物通知装置10中，通过障碍物检测部50而对车辆12的周围的障碍物进行检测。另外，通过视线检测部52而对落座在驾驶座上的乘员的视线方向进行检测，且在自动驾驶时，通过显示装置23而将障碍物的存在向乘员进行告知。由此，乘员能够掌握在自动驾驶时障碍物被正确地检测到了的情况，从而能够获得安心感。
另外，显示装置23被构成为，在乘员的视线朝向障碍物的情况下，向乘员告知障碍物的存在。由此，由于仅在乘员担心障碍物的存在的情况下进行告知，因此不容易使乘员感觉厌烦。其结果为，能够实现在自动驾驶时中的安心感和舒适性的兼顾。
此外，虽然在本实施方式的通知处理中，利用强调显示障碍物来向乘员告知障碍物的存在，但是并不限定于此。也可以实施如图8所示的那样的通知处理。
(改变例)
图8中示出了对于乘员通过声音来通知障碍物时的通知处理的流程的一个示例。如该图8所示，CPU36在步骤S202中对自动驾驶是否开启进行判断。
在步骤S202中被判断为自动驾驶已开启的情况下，CPU36进入到步骤S204的处理。另外，在步骤S202中未判断为自动驾驶已开启的情况下，即，在被判断为自动驾驶关闭的情况下，CPU36反复实施步骤S202的处理。
CPU36在步骤S204中对车辆周边的障碍物进行检测。另外，CPU36在步骤S206中对乘员的视线方向进行检测。在此，通过视线检测部52的功能，且基于来自视线检测装置28的信号，来对乘员的视线方向进行检测。
CPU36在步骤S208中对障碍物与视线方向是否一致进行判断。利用与图7的流程图中的步骤S108同样的方法来进行判断。而且，CPU36判断为乘员将视线朝向障碍物，而进入到步骤S210的处理。另外，在障碍物与视线方向不一致的情况下，CPU36结束通知处理。
CPU36在步骤S210中用声音来通知障碍物。即，CPU36通过输出部56的功能，从定向扬声器30朝向乘员输出障碍物的信息。
如上所述，在本改变例中，在乘员的视线朝向障碍物的情况下，通过用声音来通知障碍物的存在而向乘员进行告知。如此，通过从定向扬声器30向乘员输出障碍物的信息，而使得仅落座在驾驶座上乘员能够掌握障碍物的信息。即，能够仅向需要障碍物的信息的乘员告知障碍物的信息。
此外，在步骤S210中，也可以在用声音进行通知的同时，通过显示装置23来强调显示。
＜第二实施方式＞
接下来，对第二实施方式所涉及的车辆用障碍物通知装置进行说明。另外，对于与第一实施方式同样的结构，标记相同的符号且省略说明。
如图9所示，在本实施方式的车辆用障碍物通知装置60中，根据障碍物的种类而变更显示标记这一点与第一实施方式不同。此外，其他的结构与第一实施方式相同。
在本实施方式中，如箭头标记L3所示，在乘员的视线方向朝向车外的行人P的情况下，在前窗玻璃14上显示标记M3。标记M3通过显示装置23而被显示，且作为箭头标记状的图标而被显示在车外的行人P的头上。即，被构成为，在驾驶员的视线方向朝向行人P的情况下通过显示标记M3，来强调显示行人P，从而向驾驶员告知障碍物的存在。
另一方面，在乘员的视线方向朝向车辆V的情况下，显示与第一实施方式同样的标记M2(参照图2)。如此，在本实施方式中，会根据障碍物的种类来变更显示标记。
此外，对于本实施方式中的通知处理的流程，能够与第一实施方式同样地利用图7以及图8所示的流程图。即，在图7的步骤S104中，CPU36对于障碍物的种类进行检测。另外，在步骤S110中，在由显示装置23强调显示障碍物时，CPU36根据障碍物的种类来变更强调显示的标记。
(作用)
接下来，对本实施方式的作用进行说明。
在本实施方式的车辆用障碍物通知装置60中，通过根据障碍物的种类而使显示标记发生变化，从而乘员能够掌握障碍物的种类被正确地检测到了的情况。其结果为，能够提高自动驾驶时的乘员的安心感。关于其他的作用，与第一实施方式同样。
以上，虽然对于实施方式以及改变例进行了说明，但是在不脱离本公开内容的主旨的范围内当然可以通过各种各样的方式来实施。例如，虽然在上述实施方式中，将行人以及周围的车辆作为障碍物进行了检测，但是也可以对其他的障碍物进行检测并向乘员进行告知。也可以将路面上的洒落物以及施工现场的区域等作为障碍物进行检测。
另外，也可以仅将所检测到的障碍物中的特定的障碍物向乘员进行告知。例如，也可以设为仅将行人或正在本车辆的侧方行驶中的车辆作为特定的障碍物向乘员进行告知的方式。在这种情况下，关于行驶在前方的车辆，即使在乘员的视线朝向这样的车辆的情况下，也不会进行强调显示。由此，对于向乘员告知的必要性较低的障碍物而不向乘员进行通知，从而能够提高自动驾驶时的舒适性。
另外，虽然在上述实施方式中，通过显示装置23在前窗玻璃14上显示标记，但是并不限定于此，也可以利用其他的方法来进行强调显示。例如，也可以设为，在前窗玻璃14的前表面设置透明液晶显示器，且在该透明液晶显示器上来显示标记的方式。
另外，虽然在上述实施方式中，对在前窗玻璃14上进行强调显示的情况进行了说明，但是也可以设为，除此之外还在前侧面玻璃18上也进行强调显示的方式。例如，也可以设为，在前侧面玻璃18上设置透明液晶显示器，且在乘员将视线透过前侧面玻璃18而朝向车外的障碍物的情况下，在前侧面玻璃18上显示标记的方式。
此外，在上述实施方式中，由CPU36读取软件(程序)并执行的处理也可以由CPU以外的各种的处理器来执行。作为在这种情况下的处理器，例示出FPGA(Field-ProgrammableGate Array：现场可编程门阵列)等在制造之后能够变更电路结构的PLD(ProgrammableLogic Device：可编程逻辑器件)以及ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了执行特定的处理而被专用地设计出的电路结构的作为处理器的专用电路等。另外，既可以将上述处理利用这些各种处理器中的一个来执行，又可以利用同种或者异种的两个以上的处理器的组合(例如，多个FPGA以及CPU与FPGA的组合等)来执行。另外，这些各种处理器的硬件结构更具体而言为，组合了半导体元件等电路元件而成的电路。
另外，虽然在上述实施方式中，将储存器42作为记录部，但是并不限定于此。例如，CD(Compact Disk：光盘)、DVD(Digital Versatile Disk：数字多功能光盘)以及USB(Universal Serial Bus：通用串行总线)存储器等记录介质也可以作为记录部。

Claims (5)

1.一种车辆用障碍物通知装置，具有：
障碍物检测部，其对车辆的周围的障碍物进行检测；
视线检测部，其对落座在驾驶座上的乘员的视线方向进行检测；
通知部，其在车辆的自动驾驶时，在通过所述视线检测部检测到的乘员的视线朝向障碍物且通过所述障碍物检测部检测出乘员的视线所朝向的障碍物是特定的障碍物的情况下，将该障碍物的存在通过显示以及声音的至少一方来向乘员进行告知，在通过所述视线检测部检测到的乘员的视线朝向障碍物且通过所述障碍物检测部检测出乘员的视线所朝向的障碍物不是特定的障碍物的情况下，不将该障碍物的存在通过显示以及声音的任意一方来向乘员进行告知。
2.如权利要求1所述的车辆用障碍物通知装置，其中，
所述通知部被构成为包括显示装置，所述显示装置通过在隔成车内和车外的前窗玻璃上实施障碍物的强调显示来向乘员告知障碍物的存在，
所述显示装置根据障碍物的种类而变更显示标记。
3.如权利要求1或2所述的车辆用障碍物通知装置，其中，
所述通知部被构成为包括定向扬声器，
从所述定向扬声器朝向落座在驾驶座上的乘员输出障碍物的信息。
4.如权利要求2所述的车辆用障碍物通知装置，其中，
所述显示装置以围住障碍物的方式而显示框状的标记。
5.如权利要求1所述的车辆用障碍物通知装置，其中，
所述通知部仅将通过所述障碍物检测部所检测出的障碍物中的行人以及正在本车辆的侧方行驶中的车辆向乘员进行告知。
CN201910812328.6A 2018-10-26 2019-08-30 车辆用障碍物通知装置 Active CN111098783B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-202209 2018-10-26
JP2018202209A JP7263733B2 (ja) 2018-10-26 2018-10-26 車両用障害物報知装置

Publications (2)

Publication Number Publication Date
CN111098783A CN111098783A (zh) 2020-05-05
CN111098783B true CN111098783B (zh) 2023-08-15

Family

ID=70325027

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910812328.6A Active CN111098783B (zh) 2018-10-26 2019-08-30 车辆用障碍物通知装置

Country Status (3)

Country Link
US (1) US11040658B2 (zh)
JP (1) JP7263733B2 (zh)
CN (1) CN111098783B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11203295B2 (en) * 2017-04-14 2021-12-21 Panasonic Automotive Svstems Company of America, Division of Panasonic Corporation of North America Rearview head up display
JP7440237B2 (ja) 2019-10-16 2024-02-28 トヨタ自動車株式会社 表示装置
JP7234992B2 (ja) * 2020-04-04 2023-03-08 株式会社三洋物産 遊技機
JP7234991B2 (ja) * 2020-04-04 2023-03-08 株式会社三洋物産 遊技機
JP7234993B2 (ja) * 2020-04-04 2023-03-08 株式会社三洋物産 遊技機
JP7234990B2 (ja) * 2020-04-04 2023-03-08 株式会社三洋物産 遊技機
JP7234994B2 (ja) * 2020-04-04 2023-03-08 株式会社三洋物産 遊技機
CN115122910A (zh) * 2021-03-29 2022-09-30 本田技研工业株式会社 车辆用显示装置
JP2022186190A (ja) * 2021-06-04 2022-12-15 トヨタ自動車株式会社 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216299A (ja) * 2001-01-17 2002-08-02 Alpine Electronics Inc 障害物通知装置
JP2004130893A (ja) * 2002-10-09 2004-04-30 Fujitsu Ten Ltd 車両障害物検出確認装置
JP2006224700A (ja) * 2005-02-15 2006-08-31 Denso Corp 車両用死角監視装置及び車両用運転支援システム
JP6230132B2 (ja) * 2015-12-21 2017-11-15 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御プログラム、及びゲーム制御装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230132A (ja) * 1993-02-03 1994-08-19 Nissan Motor Co Ltd 車両用障害物検出装置
JP2006219077A (ja) 2005-02-14 2006-08-24 Denso Corp 危険個所、障害物等の呼称運転支援装置
US8406457B2 (en) * 2006-03-15 2013-03-26 Omron Corporation Monitoring device, monitoring method, control device, control method, and program
JP4867463B2 (ja) 2006-05-09 2012-02-01 株式会社デンソー 運転支援装置
JP2010191666A (ja) * 2009-02-18 2010-09-02 Honda Motor Co Ltd 車両の周辺監視装置
JP2012058827A (ja) * 2010-09-06 2012-03-22 Denso Corp 運転支援装置
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
KR102064223B1 (ko) * 2017-07-12 2020-02-11 엘지전자 주식회사 차량용 주행 시스템 및 차량
KR102436962B1 (ko) * 2017-09-19 2022-08-29 삼성전자주식회사 운송 장치에 구비된 전자 장치 및 이의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002216299A (ja) * 2001-01-17 2002-08-02 Alpine Electronics Inc 障害物通知装置
JP2004130893A (ja) * 2002-10-09 2004-04-30 Fujitsu Ten Ltd 車両障害物検出確認装置
JP2006224700A (ja) * 2005-02-15 2006-08-31 Denso Corp 車両用死角監視装置及び車両用運転支援システム
JP6230132B2 (ja) * 2015-12-21 2017-11-15 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御プログラム、及びゲーム制御装置

Also Published As

Publication number Publication date
JP2020067979A (ja) 2020-04-30
US20200130580A1 (en) 2020-04-30
JP7263733B2 (ja) 2023-04-25
US11040658B2 (en) 2021-06-22
CN111098783A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
CN111098783B (zh) 车辆用障碍物通知装置
EP3496069B1 (en) Travel assistance device and computer program
CN107599966B (zh) 将车辆中平视显示器的驾驶员注意力分散最小化的系统和方法
JP5160564B2 (ja) 車両情報表示装置
US20180149491A1 (en) Automobile periphery information display system
JP5426900B2 (ja) 車載システム
JP6825683B1 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及びプログラム
JP2022175877A (ja) 車両用表示装置、表示方法及びプログラム
US20230009636A1 (en) Display control device, display method, and storage medium
JP2020201824A (ja) 情報表示装置
CN114964297A (zh) 车辆用显示装置
JP7272007B2 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
CN113538965A (zh) 显示控制装置、显示控制方法及记录有程序的记录介质
WO2019207872A1 (ja) 情報処理装置及び情報処理方法
JP2017174043A (ja) 表示装置
JP6164242B2 (ja) 運転支援表示装置
US20220396149A1 (en) Vehicle display device, display method, and storage medium
JP7477470B2 (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及びプログラム
KR102519134B1 (ko) Avm 화면 및 차량주행정보를 제공하는 디지털 클러스터 및 디지털 클러스터의 통합주행정보 디스플레이 방법
JP7420019B2 (ja) 車両用表示制御装置、表示方法、プログラム及び車両用表示システム
CN114450208A (zh) 停车辅助装置
WO2022039146A1 (ja) 表示制御装置
US20230132456A1 (en) Image processing device, mobile object, image processing method, and storage medium
JP2023061205A (ja) 車両後方監視システム
JP2022041288A (ja) 車両用表示装置、表示方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant