CN113492849A - 驾驶辅助装置以及数据收集系统 - Google Patents

驾驶辅助装置以及数据收集系统 Download PDF

Info

Publication number
CN113492849A
CN113492849A CN202110193202.2A CN202110193202A CN113492849A CN 113492849 A CN113492849 A CN 113492849A CN 202110193202 A CN202110193202 A CN 202110193202A CN 113492849 A CN113492849 A CN 113492849A
Authority
CN
China
Prior art keywords
driver
vehicle
error point
traffic participant
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110193202.2A
Other languages
English (en)
Inventor
后藤育郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Publication of CN113492849A publication Critical patent/CN113492849A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/802—Longitudinal distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/804—Relative longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems

Abstract

本发明提供能够从车辆的驾驶员以外的交通参与者的观点进行观察而收集对车辆感觉到危险的失误地点的信息的驾驶辅助装置以及数据收集系统。驾驶辅助装置具备推定车辆的驾驶员的情绪的驾驶员情绪推定部、推定车辆的周围的交通参与者的情绪的交通参与者情绪推定部、存储虽然车辆的驾驶员未感觉到危险但是交通参与者对车辆感觉到危险的驾驶员非识别失误地点的数据的存储部、以及向驾驶员通知所存储的驾驶员非识别失误地点的通知控制部。

Description

驾驶辅助装置以及数据收集系统
技术领域
本发明涉及驾驶辅助装置以及数据收集系统。
背景技术
在车辆的驾驶过程中，驾驶员和/或乘车人有时会遭遇到虽然不至于造成事故但是会产生失误的那样的危险状况。以往，提出有下述的技术，即通过收集遭遇到这样的危险状况的地点(以下，也称为“失误地点”)的信息，并且对车辆提供失误地点的信息，来实现事故的减少和/或安心感的提升。
例如，在专利文献1中，公开有下述的驾驶辅助信息收集装置：驾驶特性处理部读取驾驶特性数据库内的数据，并且将加速度超过按各个驾驶员所设定的加速度的阈值的地点作为失误地点而向失误地点登记，道路特性处理部读取驾驶特性数据库内的数据，并且将加速度超过按各个具有相同的道路特性的地点所设定的加速度的阈值的地点作为失误地点而向失误地点登记，并且失误类似地点生成部参照地图数据库而提取与失误地点类似的地点并向失误地点登记。
另外，在专利文献2中，公开有下述的车辆用数据采集装置：生物传感器取得驾驶员的生物反应数据，操作历史记录单元记录车辆操作内容作为操作历史信息，信息输入单元从周边监视相机、超声波传感器、雷达取得障碍物有无信息以及障碍物距离信息，当由信息输入单元的取得信息所示的本车辆与障碍物之间的距离成为预先所设定的阈值以下时，驾驶辅助控制部将这一情况识别为异常接近事件，并且在该识别时刻生物反应数据处于稳定范围内的情况下，驾驶辅助控制部记录该时刻的操作历史信息以及来自汽车导航装置的车辆位置信息作为相互有关联的弱点信息。
现有技术文献
专利文献
专利文献1：日本特开2018-097457号公报
专利文献2：日本特开2007-065997号公报
发明内容
技术问题
此处，在专利文献1所记载的驾驶辅助信息收集装置中，登记加速度超过按各个驾驶员所设定的阈值的地点作为失误地点。另外，在专利文献2所记载的车辆数据收集装置中，将本车辆与障碍物之间的距离成为阈值以下这一情况作为前提而记录驾驶员未识别出危险状况的地点的信息作为弱点信息。但是，有时即使驾驶员未察觉到危险状况，但是就同乘者、其他车辆的乘车人、从车外看着本车辆的行人等的视点和/或感觉而言，也会感觉为危险。
例如，在打算左转的车辆的死角存在骑自行车的人的情况下，在驾驶员未注意到自行车而左转则自行车紧急停止的状况下，驾驶员往往未察觉到危险状况。另外，当车辆在住宅街中窄的道路上行驶时，有时即使驾驶员未感觉到恐惧，但是同乘者会感觉到恐惧。在上述的专利文献1和/或专利文献2中，由于着眼于驾驶员的视点和/或感觉、或者本车辆与障碍物之间的距离而收集失误地点的信息，所以不能向车辆提供根据驾驶员以外的交通参与者的视点和/或感觉而感觉到危险的地点。
本发明是鉴于上述问题而完成的，本发明的目的在于提供能够从车辆的驾驶员以外的交通参与者的观点进行观察而收集对车辆感觉到危险的失误地点的信息的驾驶辅助装置以及数据收集系统。
技术方案
为了解决上述课题，根据本发明的某观点提供驾驶辅助装置，该驾驶辅助装置具备推定车辆的驾驶员的情绪的驾驶员情绪推定部、推定车辆的周围的交通参与者的情绪的交通参与者情绪推定部、存储虽然车辆的驾驶员未感觉到危险但是交通参与者对车辆感觉到危险的驾驶员非识别失误地点的数据的存储部、以及向驾驶员通知所存储的驾驶员非识别失误地点的通知控制部。
在上述驾驶辅助装置中，可以还具备推定车辆的驾驶员以外的同乘者的情绪的同乘者情绪推定部，驾驶员非识别失误地点的数据包括虽然车辆的驾驶员未识别出危险但是车辆的同乘者感觉到危险的失误地点的数据。
在上述驾驶辅助装置中，当车辆行驶时，通知控制部预先将车辆的驾驶员感觉到危险的驾驶员识别失误地点与交通参与者对车辆感觉到危险的驾驶员非识别失误地点一并进行通知，并且使对驾驶员非识别失误地点的通知的方法与对驾驶员识别失误地点的通知的方法不同。
在上述驾驶辅助装置中，存储部可以将被推定为车辆的驾驶员不具有消极的情绪而交通参与者具有消极的情绪的行驶位置作为驾驶员非识别失误地点进行存储。
另外，为了解决上述课题，根据本发明的另一个观点，提供数据收集系统，该数据收集系统包含搭载于车辆的驾驶辅助装置以及能够与驾驶辅助装置通信的管理服务器，驾驶辅助装置具备推定车辆的驾驶员的情绪的驾驶员情绪推定部、推定车辆的周围的交通参与者的情绪的交通参与者情绪推定部、存储虽然车辆的驾驶员未感觉到危险但是交通参与者对车辆感觉到危险的驾驶员非识别失误地点的存储部、以及发送驾驶员非识别失误地点的信息的第一通信部，管理服务器具备累积从多个驾驶辅助装置发送的驾驶员非识别失误地点的数据的数据累积部以及向多个驾驶辅助装置发送所累积的驾驶员非识别失误地点的信息的第二通信部。
技术效果
如上所说明，根据本发明，能够从车辆的驾驶员以外的交通参与者的观点进行观察而收集对车辆感觉到危险的失误地点的信息。
附图说明
图1是表示本发明的一实施方式的数据收集系统的构成例的框图。
图2是表示由导航显示装置所显示的显示的例子的说明图。
图3是表示由本实施方式的驾驶辅助装置进行的驾驶员识别失误地点存储处理动作的流程图。
图4是表示由本实施方式的驾驶辅助装置进行的驾驶员非识别失误地点存储处理动作的流程图。
图5是表示由本实施方式的驾驶辅助装置进行的同乘者危险状况识别判定处理的一例的流程图。
图6是表示由本实施方式的驾驶辅助装置进行的交通参与者危险状况识别判定处理的一例的流程图。
图7是表示由本实施方式的驾驶辅助装置进行的通知控制处理的动作的流程图。
图8是表示本实施方式的管理服务器的构成例的框图。
图9是表示由本实施方式的管理服务器进行的失误地点存储处理动作的流程图。
图10是表示由本实施方式的管理服务器进行的失误地点信息发送处理动作的流程图。
图11是表示从管理服务器接收到失误地点信息的驾驶辅助装置的通知控制处理动作的流程图。
符号说明
1…数据收集系统；5…管理服务器；10…驾驶辅助装置；21…车内拍摄相机；23…车外拍摄相机；25…周围环境传感器；29…GPS天线；31…地图数据存储部；51…乘车人检测部；53…驾驶员视线检测部；55…驾驶员情绪推定部；57…同乘者视线检测部；59…同乘者情绪推定部；61…交通参与者检测部；63…交通参与者视线检测部；65…交通参与者情绪推定部；67…周围环境检测部；71…驾驶员注视对象判定部；73…同乘者注视对象判定部；75…交通参与者注视对象判定部；81…驾驶员危险状况识别判定部；83…同乘者危险状况识别判定部；85…交通参与者危险状况识别判定部；87…驾驶员识别失误地点存储处理部；89…驾驶员非识别失误地点存储处理部；91…驾驶员识别失误地点数据库；93…驾驶员非识别失误地点数据库；95…通知控制部；97…显示控制部
具体实施方式
以下，关于本发明的优选的实施的方式参照附图详细地进行说明。应予说明，在本说明书以及附图中，关于实质上具有相同功能构成的构成要素，通过对其标注相同的符号而省略重复说明。
首先，说明本发明的实施的方式的数据收集系统的构成例。图1是表示本实施方式的数据收集系统1的构成例的框图。
数据收集系统1具备搭载于车辆的驾驶辅助装置10和以能够与驾驶辅助装置10通信的方式所连接的管理服务器5。驾驶辅助装置10搭载于使用数据收集系统1的多个车辆。在数据收集系统1中，管理服务器5累积由搭载于各个车辆的驾驶辅助装置10所收集的失误地点的信息，并且对各个驾驶辅助装置10提供失误地点的信息。另外，从管理服务器5接收到失误地点的信息的驾驶辅助装置10对车辆的驾驶员通知失误地点的信息。由此，降低发生事故的危险，并且使对道路交通的安心感提升。
特别地，在本实施方式的数据收集系统1中，收集虽然各个车辆的驾驶员未感到危险但是周围的交通参与者对该车辆感觉到过危险的失误地点(以下，也称为“驾驶员非识别失误地点”)的信息，并且向车辆的驾驶员通知该驾驶员非识别失误地点的信息。因此，各车辆的驾驶员能够在通过虽然驾驶员自身难以识别危险状况但是其他的交通参与者感觉到过危险的那样的失误地点时加以注意，从而能够进一步地降低发生事故的危险并能够使对道路交通的安心感进一步地提升。
<1.驾驶辅助装置的构成例>
接下来，具体地说明驾驶辅助装置10的构成例。
驾驶辅助装置10构成为搭载于车辆，收集与车辆的行驶相关联且被感觉为危险的失误地点的信息，并且向驾驶员通知该失误地点的信息的装置。
驾驶辅助装置10具备车内拍摄相机21、车外拍摄相机23、周围环境传感器25、车辆操作、行为传感器27、GPS天线29、地图数据存储部31、通信装置41、HMI(Human MachineInterface：人机接口)43、导航显示装置45以及信息处理装置50。车内拍摄相机21、车外拍摄相机23、周围环境传感器25、车辆操作、行为传感器27、GPS天线29、地图数据存储部31、通信装置41、HMI 43以及导航显示装置45分别直接地与信息处理装置50连接，或者介由CAN(Controller Area Network：控制器局域网)或LIN(Local Inter Net：局域网)等通信手段与信息处理装置50连接。
(1-1.车内拍摄相机)
车内拍摄相机21生成拍摄车室内而得的图像数据。车内拍摄相机21具备例如CCD(Charge Coupled Device：电荷藕合器件)或CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)等拍摄元件，并且向信息处理装置50发送所生成的图像数据。车内拍摄相机21设置为车室内的乘车人中至少驾驶员进入拍摄范围内。在判断同乘者是否感觉到危险的情况下，车内拍摄相机21设置为坐在副驾驶座位或者后部座位的同乘者也进入拍摄范围内。可以仅设置一个车内拍摄相机21，也可以设置多个车内拍摄相机21。
(1-2.车外拍摄相机)
车外拍摄相机23生成拍摄车辆的周围而得的图像数据。车外拍摄相机23可以作为车辆的安全功能被搭载，也可以是为了失误地点的信息收集而被搭载。车外拍摄相机23与车内拍摄相机21同样地具备CCD或CMOS等拍摄元件，并且向信息处理装置50发送所生成的图像数据。车外拍摄相机23包括以能够拍摄车辆的前方、侧方以及后方中的至少某一个方向的方式设置于车辆的一个或多个相机。
(1-3.周围环境传感器)
周围环境传感器25是检测车辆的周围的人物和/或障碍物的传感器。周围环境传感器25构成为包含例如高频雷达传感器、超声波传感器、LiDAR中的一个或多个。所检测的障碍物包括其他车辆、自行车、建筑物、交通标志、交通信号机、自然物、其他、存在于车辆的周围的所有的物体。
(1-4.车辆操作、行为传感器)
车辆操作、行为传感器27包括至少一个检测车辆的操作状态以及行为的传感器。车辆操作、行为传感器27检测车速、加速度、横摆率等车辆的行为的信息。车辆操作、行为传感器27可以包含例如发动机转速传感器、车速传感器、加速度传感器、角速度传感器中的至少一个。另外，车辆操作、行为传感器27检测加速器操作量、制动器操作量、方向盘转向角等车辆的操作状态的信息。车辆操作、行为传感器27还可以包括例如加速器位置传感器、制动行程传感器、转向角传感器中的至少一个。车辆操作、行为传感器27向信息处理装置50发送所检测的信息。
(1-5.GPS天线)
GPS天线29接收来自GPS(Global Positioning System：全球定位系统)卫星的卫星信号。GPS天线29向信息处理装置50发送包含于所接收的卫星信号中的车辆的地图数据上的位置信息。应予说明，也可以替代GPS天线29而具备接收来自确定车辆的位置的其他卫星系统的卫星信号的天线。
(1-6.通信装置)
通信装置41是信息处理装置50通过移动通信网等通信手段与管理服务器5进行通信所用的接口。通信装置41包含与通信手段的规格相应的接口。通信装置41相当于本发明的第一通信部。
(1-7.HMI)
HMI 43由信息处理装置50控制，通过图像显示和/或语音输出等方式对车辆的乘车人通知各种信息。HMI 43包含例如设置于仪表板内的显示装置以及扬声器。
(1-8.导航显示装置)
导航显示装置45显示地图数据。导航显示装置45由信息处理装置50控制，使所收集的驾驶员识别失误地点以及驾驶员非识别失误地点的数据反映于地图数据上而进行显示。导航显示装置45包括例如液晶面板等光学面板。导航显示装置45也可以是HMI 43的一部分。
(1-9.信息处理装置)
信息处理装置50构成为具备例如CPU(Central Processing Unit：中央处理单元)或者MPU(Micro Processing Unit：微型处理单元)等运算处理装置以及GPU(GraphicProcessing Unit：图形处理单元)等图像处理装置。运算处理装置通过执行存储于存储元件的程序来执行各种运算处理。应予说明，信息处理装置50的一部分或者全部可以由固件等能够更新的结构构成，也可以是根据来自CPU等的指令而执行的程序模块等。
在本实施方式中，信息处理装置50具备乘车人检测部51、交通参与者检测部61以及周围环境检测部67。另外，信息处理装置50具备驾驶员视线检测部53、驾驶员情绪推定部55、同乘者视线检测部57、同乘者情绪推定部59、交通参与者视线检测部63以及交通参与者情绪推定部65。另外，信息处理装置50具备驾驶员注视对象判定部71、驾驶员危险状况识别判定部81、同乘者注视对象判定部73、同乘者危险状况识别判定部83、交通参与者注视对象判定部75以及交通参与者危险状况识别判定部85。另外，信息处理装置50具备驾驶员识别失误地点存储处理部87以及驾驶员非识别失误地点存储处理部89。另外，信息处理装置50还具备通知控制部95以及显示控制部97。具体地，这些各部是通过由运算处理装置或者图像处理装置实现的程序的执行而实现的功能。
进而，信息处理装置50具备驾驶员识别失误地点数据库91以及驾驶员非识别失误地点数据库93。这些数据库由作为存储部的RAM(Random Access Memory：随机存取存储器)等存储元件，或者HDD(Hard Disk Drive：硬盘驱动器)、CD(Compact Disc：光盘)、DVD(Digital Versatile Disc：数字多功能光盘)、SSD(Solid State Drive：固态硬盘)、USB(Universal Serial Bus：通用串行总线)闪存、存储装置等存储介质构成。
除此之外，信息处理装置50还具备存储由运算处理装置或者图像处理装置所执行的软件程序、运算处理所用的各种参数、所取得的信息、运算结果等的未图示的RAM和/或ROM(Read Only Memory：只读存储器)等存储元件。
(1-9-1.乘车人检测部)
乘车人检测部51基于从车内拍摄相机21所发送的图像数据检测车辆的乘车人。具体地，乘车人检测部51通过对从车内拍摄相机21所发送的图像数据进行图像处理，并且确定人物的面部的存在，从而检测车辆的乘车人。另外，乘车人检测部51基于从车内拍摄相机21所发送的图像数据确定检测出的乘车人的座位位置，判断检测出的乘车人是驾驶员还是同乘者。乘车人检测部51也可以使用面部图像的特征量分析等方法而识别检测出的各个乘车人。
(1-9-2.交通参与者检测部)
交通参与者检测部61基于从车外拍摄相机23发送的图像数据检测车辆的周围的交通参与者。具体地，交通参与者检测部61通过对从车外拍摄相机23发送的图像数据进行图像处理，并且确定存在于车辆的周围的人物的面部的存在，由此检测交通参与者。交通参与者包括行人、骑自行车的人以及其他车辆的乘车人。交通参与者检测部61也可以区分行人、骑自行车的人以及其他车辆的乘车人等交通参与者来进行检测。
(1-9-3.周围环境检测部)
周围环境检测部67基于从车外拍摄相机23发送的图像数据以及从周围环境传感器25发送的信息检测车辆的周围环境的信息。具体地，周围环境检测部67通过对从车外拍摄相机23发送的图像数据进行图像处理，使用物体检测的技术，确定存在于车辆的周围的人物、其他车辆、自行车、建筑物、自然物等，并且计算这些物体相对于车辆的位置、这些物体与车辆之间的距离和/或相对速度。
周围环境检测部67也可以介由车车间通信或者路车间通信、移动通信网等通信手段取得从车外的装置发送的信息，并且确定上述的车辆的周围环境的信息的一部分。另外，周围环境检测部67还可以使用由GPS天线29取得的车辆的位置信息而确定地图数据上的车辆的位置，并且确定上述的车辆的周围的信息的一部分。
(1-9-4.驾驶员视线检测部)
在正在检测驾驶员的情况下，驾驶员视线检测部53基于从车内拍摄相机21发送的图像数据检测驾驶员的视线。具体地，驾驶员视线检测部53对从车内拍摄相机21发送的图像数据进行图像处理，并且确定正在检测的驾驶员的面部朝向以及眼睛朝向，从而检测视线。
(1-9-5.驾驶员情绪推定部)
在正在检测驾驶员的情况下，驾驶员情绪推定部55基于从车内拍摄相机21发送的图像数据推定驾驶员的情绪。具体地，驾驶员情绪推定部55利用基于例如FACS理论的表情分析的方法来分析驾驶员的表情的数据而推定驾驶员的情绪。虽然情绪可以根据按每一种例如喜怒哀乐等情绪的种类所规定的等级进行推定，但是在本实施方式中驾驶员情绪推定部55至少推定驾驶员的恐惧或者惊讶等消极的情绪。情绪的推定方法也可以是其他的方法。
(1-9-6.同乘者视线检测部)
在正在检测驾驶员以外的同乘者的情况下，同乘者视线检测部57基于从车内拍摄相机21发送的图像数据检测同乘者的视线。具体地，同乘者视线检测部57对从车内拍摄相机21发送的图像数据进行图像处理，并且确定正在检测的同乘者的面部朝向以及眼睛朝向，从而检测视线。
(1-9-7.同乘者情绪推定部)
在正在检测驾驶员以外的同乘者的情况下，同乘者情绪推定部59基于从车内拍摄相机21发送的图像数据推定同乘者的情绪。具体地，同乘者情绪推定部59利用基于例如FACS理论的表情分析的方法分析同乘者的表情的数据而推定同乘者的情绪。虽然情绪可以根据按每一种例如喜怒哀乐等情绪的种类所规定的等级进行推定，但是在本实施方式中同乘者情绪推定部59至少推定同乘者的恐惧或者惊讶等消极的情绪。情绪的推定方法也可以是其他的方法。
(1-9-8.交通参与者视线检测部)
在正在检测车辆的周围的交通参与者的情况下，交通参与者视线检测部63基于从车外拍摄相机23发送的图像数据检测交通参与者的视线。具体地，交通参与者视线检测部63对从车外拍摄相机23发送的图像数据进行图像处理，并且确定正在检测的交通参与者的面部朝向以及眼睛朝向，从而检测视线。
(1-9-9.交通参与者情绪推定部)
在正在检测车辆的周围的交通参与者的情况下，交通参与者情绪推定部65基于从车外拍摄相机23发送的图像数据推定交通参与者的情绪。具体地，交通参与者情绪推定部65利用基于例如FACS理论的表情分析的方法分析交通参与者的表情的数据而推定交通参与者的情绪。虽然情绪可以根据按每一种例如喜怒哀乐等情绪的种类所规定的等级进行推定，但是在本实施方式中交通参与者情绪推定部65至少推定交通参与者的恐惧或者惊讶等消极的情绪。情绪的推定方法也可以是其他的方法。
(1-9-10.驾驶员注视对象判定部)
在正在检测驾驶员的情况下，驾驶员注视对象判定部71判定驾驶员正在注视的对象。具体地，驾驶员注视对象判定部71基于由驾驶员视线检测部53所检测出的驾驶员的视线的方向和由周围环境检测部67所检测出的车辆的周围环境的信息，判定存在于驾驶员的视线的目的地的注视对象。注视对象的信息不仅包括所存在的人物和/或障碍物等，而且还包括本车辆与人物和/或障碍物等之间的距离和/或本车辆与人物和/或障碍物等之间的相对速度的信息。驾驶员注视对象判定部71也可以参照地图数据存储部31而确定存在于驾驶员的视线的目的地的注视对象。
(1-9-11.同乘者注视对象判定部)
在正在检测同乘者的情况下，同乘者注视对象判定部73判定同乘者正在注视的对象。具体地，同乘者注视对象判定部73基于由同乘者视线检测部57所检测出的同乘者的视线的方向和由周围环境检测部67所检测出的车辆的周围环境的信息，判定存在于同乘者的视线的目的地的注视对象。注视对象的信息不仅包括所存在的人物和/或障碍物等，而且还包括本车辆与人物和/或障碍物等之间的距离和/或本车辆与人物和/或障碍物等之间的相对速度的信息。同乘者注视对象判定部73也可以参照地图数据存储部31而确定存在于同乘者的视线的目的地的注视对象。
(1-9-12.交通参与者注视对象判定部)
在正在检测车辆的周围的交通参与者的情况下，交通参与者注视对象判定部75判定交通参与者正在注视的对象。具体地，交通参与者注视对象判定部75基于由交通参与者视线检测部63所检测出的交通参与者的视线的方向和由周围环境检测部67所检测出的车辆的周围环境的信息，判定存在于交通参与者的视线的目的地的注视对象。注视对象的信息不仅包括所存在的本车辆、其他的交通参与者、障碍物等，还包括交通参与者与本车辆之间的距离和/或交通参与者与本车辆之间的相对速度的信息。交通参与者注视对象判定部75也可以参照地图数据存储部31而确定存在于交通参与者的视线的目的地的注视对象。
(1-9-13.驾驶员危险状况识别判定部)
在正在检测驾驶员的情况下，驾驶员危险状况识别判定部81判定驾驶员是否感觉到危险。即，驾驶员危险状况识别判定部81判定是否发生虽然不至于导致车辆的冲撞但是驾驶员感觉到危险的失误事件。具体地，在由驾驶员情绪推定部55所推定的驾驶员的情绪呈现恐惧或者惊讶，并且由驾驶员注视对象判定部71所判定的驾驶员的注视对象的内容呈现预定的危险状况的情况下，驾驶员危险状况识别判定部81判定为驾驶员感觉到危险。
例如，在伴随着车辆与该车辆的周围的人物、障碍物、其他车辆等之间的距离成为小于与彼此的相对速度相应的预定距离这一情况，所推定的驾驶员的情绪以在极短时间内呈现恐惧或者惊讶的方式进行变化时，驾驶员危险状况识别判定部81判定为驾驶员识别出危险状况。关于将怎样的状况判定为失误事件，并不限于上述的例子，也可以预先设定适当的条件。另外，关于判定为驾驶员的情绪呈现恐惧或者惊讶的条件，也能够基于至恐惧或者惊讶的情绪的变化程度和/或变化时间进行判定等预先设定适当的条件。
(1-9-14.同乘者危险状况识别判定部)
在正在检测同乘者的情况下，同乘者危险状况识别判定部83判定同乘者是否对本车辆感觉到危险。即，同乘者危险状况识别判定部83判定是否发生虽然不至于导致车辆的冲撞但是同乘者感觉到危险的失误事件。具体地，在由同乘者情绪推定部59所推定的同乘者的情绪呈现恐惧或者惊讶，并且由同乘者注视对象判定部73所判定的同乘者的注视对象的内容呈现预定的危险状况的情况下，同乘者危险状况识别判定部83判定为同乘者感觉到危险。同乘者是否感觉到危险的判定方法可以是与驾驶员危险状况识别判定部81的判定方法相同的判定方法。
(1-9-15.交通参与者危险状况识别判定部)
在正在检测交通参与者的情况下，交通参与者危险状况识别判定部85判定交通参与者是否对本车辆感觉到危险。即，交通参与者危险状况识别判定部85判定是否发生交通参与者对本车辆感觉到危险的失误事件。具体地，在由交通参与者情绪推定部65所推定的交通参与者的情绪呈现恐惧或者惊讶，并且由交通参与者注视对象判定部75所判定的交通参与者的注视对象的内容呈现由本车辆引起的预定的危险状况的情况下，交通参与者危险状况识别判定部85判定为交通参与者感觉到危险。
例如，在车辆与交通参与者或者交通参与者所乘坐的其他车辆或自行车等之间的距离成为小于与彼此的相对速度相应的预定距离的情况下，当所推定的交通参与者的情绪以在极短时间内呈现恐惧或者惊讶的方式进行变化时，交通参与者危险状况识别判定部85判定交通参与者感觉到危险。关于将怎样的状况判定为失误事件，并不限于上述的例子，也可以预先设定适当的条件。另外，关于判定为交通参与者的情绪呈现恐惧或者惊讶的条件，也能够基于至恐惧或者惊讶的情绪的变化程度和/或变化时间进行判定等预先设定适当的条件。
(1-9-16.驾驶员识别失误地点存储处理部)
驾驶员识别失误地点存储处理部87使由驾驶员危险状况识别判定部81判定为驾驶员感觉到危险的失误地点(以下，也称为“驾驶员识别失误地点”)的数据存储到驾驶员识别失误地点数据库91。具体地，在由驾驶员危险状况识别判定部81判定为驾驶员感觉到危险的情况下，驾驶员识别失误地点存储处理部87基于来自GPS天线29的输出信号以及地图数据存储部31来确定地图数据上的车辆的行驶位置，并且使该行驶位置作为驾驶员识别失误地点而存储。驾驶员识别失误地点存储处理部87也可以将各个驾驶员识别失误地点的数据与驾驶员感觉到的恐惧或者惊讶的等级的信息一起进行存储。
(1-9-17.驾驶员非识别失误地点存储处理部)
驾驶员非识别失误地点存储处理部89使虽然驾驶员未感觉到危险但是交通参与者或者同乘者中的至少一方感觉到危险的驾驶员非识别失误地点的数据存储到驾驶员非识别失误地点数据库93。具体地，在由同乘者危险状况识别判定部83判定为同乘者感觉到危险的情况下，或者在由交通参与者危险状况识别判定部85判定为交通参与者感觉到危险的情况下中的至少一方条件成立时，驾驶员非识别失误地点存储处理部89基于来自GPS天线29的输出信号以及地图数据存储部31来确定地图数据上的车辆的行驶位置，并且使该行驶位置作为驾驶员非识别失误地点进行存储。
但是，驾驶员非识别失误地点存储处理部89构成为在由驾驶员危险状况识别判定部81判定为驾驶员感觉到危险的情况下不使该地点作为驾驶员非识别失误地点进行存储。由此，在驾驶员非识别失误地点数据库93中累积虽然驾驶员未识别但是同乘者或者交通参与者中的至少一方对车辆感觉到危险的驾驶员非识别失误地点的数据。驾驶员非识别失误地点存储处理部89也可以使各个驾驶员非识别失误地点的数据与同乘者或者交通参与者感觉到恐惧或者惊讶的等级的信息一起进行存储。
(1-9-18.通知控制部)
通知控制部95通过控制HMI 43的驱动，向驾驶员通知存储于驾驶员非识别失误地点数据库93的驾驶员非识别失误地点。具体地，当车辆将在存储于驾驶员非识别失误地点数据库93的驾驶员非识别失误地点行驶时，通知控制部95事先地对驾驶员进行通知。例如，当基于从GPS天线29发送的位置信息确定的车辆的行驶位置接近驾驶员非识别失误地点时，通知控制部95通过语音或警告音的发出、或者警告显示中的至少一种方法进行通知。
以往，对于在实际上发生交通事故或者统计上容易发生事故的场所行驶的车辆仅进行“此处为事故多发地点。请注意行驶”等通知，相对于此，本实施方式的驾驶辅助装置10进行“接近易发生难以察觉的事故的地点。请充分确认左右、后方再进行驾驶操作”的通知。由此，当车辆在虽然驾驶员自身未感觉到危险但是同乘者和/或交通参与者此前对其自身驾驶的车辆感觉到过危险的地点行驶时，能够对驾驶员提醒注意。
另外，通知控制部95可以将存储于驾驶员识别失误地点数据库91的驾驶员识别失误地点与驾驶员非识别失误地点一并向驾驶员进行通知。由此，当车辆在驾驶员自身过去感觉到过危险的地点行驶时，能够对驾驶员提醒注意。此时，通知控制部95可以使驾驶员识别失误地点的通知的方法与驾驶员非识别失误地点的通知的方法不同。例如，通知控制部95能够使语音的内容、警告音的种类、警告显示的内容不同。由此，驾驶员能够识别该失误地点是否是此前驾驶员自身感觉到过危险的地点，并且能够进一步地对自身未感觉到过危险的驾驶员非识别失误地点加以注意。
(1-9-19.显示控制部)
显示控制部97将驾驶员识别失误地点以及驾驶员非识别失误地点的信息显示于由导航显示装置所显示的地图数据上。因而，使用导航系统的驾驶员通过观看导航显示装置的画面能够识别驾驶员识别失误地点以及驾驶员非识别失误地点。在该情况下，可以使驾驶员识别失误地点的显示与驾驶员非识别失误地点的显示不同。
图2表示由导航显示装置所显示的显示的例子。在图示的显示例子中，在存储于驾驶员识别失误地点数据库91的驾驶员识别失误地点以及存储于驾驶员非识别失误地点数据库93的驾驶员非识别失误地点存在于直到所设定的目标地点G为止的行驶道路上的情况下，显示表示各个失误地点的图标。另外，可以使表示驾驶员识别失误地点的图标dHY与表示驾驶员非识别失误地点数据库93所存储的驾驶员非识别失误地点的图标nHY不同。由此，驾驶员能够识别该失误地点是否是驾驶员自身此前感觉到过危险的地点，并且能够进一步地对自身未感觉到过危险的驾驶员非识别失误地点加以注意。
<2.驾驶辅助装置的动作例>
接着，具体地说明本实施方式的驾驶辅助装置的动作例。以下，分为驾驶员识别失误地点存储处理、驾驶员非识别失误地点存储处理以及通知控制处理对驾驶辅助装置的动作进行说明。
(2-1.驾驶员识别失误地点存储处理)
图3是表示驾驶员识别失误地点存储处理动作的流程图。
首先，信息处理装置50的乘车人检测部51基于从车内拍摄相机21发送的图像数据进行乘车人检测处理(步骤S11)。例如，乘车人检测部51执行公知的检测人物的面部的处理，从而检测乘车人。接下来，乘车人检测部51判断检测出的乘车人是否是驾驶员(步骤S13)。检测出的乘车人是否是驾驶员能够基于例如检测出的乘车人的座位位置进行判断。
在检测出的乘车人不是驾驶员的情况下(S13/“否”)，驾驶员视线检测部53结束驾驶员识别失误地点存储处理的例程，另一方面在检测出的乘车人是驾驶员的情况下(S13/“是”)，驾驶员视线检测部53基于从车内拍摄相机21发送的图像数据检测驾驶员的视线(步骤S15)。例如，驾驶员视线检测部53确定检测出的驾驶员的面部朝向以及眼睛朝向，从而检测视线。
接下来，驾驶员情绪推定部55基于从车内拍摄相机21发送的图像数据推定驾驶员的情绪(步骤S17)。例如，驾驶员情绪推定部55使用基于FACS理论的表情分析的方法而分析驾驶员的表情的数据，并且至少推定驾驶员的恐惧或者惊讶等消极的情绪。
接下来，周围环境检测部67基于从车外拍摄相机23发送的图像数据以及从周围环境传感器25发送的信息检测车辆的周围环境的信息(步骤S19)。例如，周围环境检测部67使用公知的物体检测的技术而确定存在于车辆的周围的人物和/或其他车辆、障碍物等，并且计算这些物体相对于车辆的位置、这些物体与车辆之间的距离和/或这些物体与车辆之间的相对速度。
接下来，驾驶员注视对象判定部71基于由驾驶员视线检测部53所检测出的驾驶员的视线的方向和由周围环境检测部67所检测出的车辆的周围环境的信息，判定存在于驾驶员的视线的目的地的注视对象(步骤S23)。注视对象的信息不仅包括所存在的人物和/或障碍物等，还包括本车辆与人物和/或障碍物等之间的距离和/或本车辆与人物和/或障碍物之间的相对速度的信息。
接下来，驾驶员危险状况识别判定部81判定驾驶员是否感觉到危险(步骤S25)。例如，在由驾驶员情绪推定部55所推定的驾驶员的情绪呈现消极的情绪，并且由驾驶员注视对象判定部71所判定的驾驶员的注视对象的内容呈现预定的危险状况的情况下，驾驶员危险状况识别判定部81判定为驾驶员感觉到危险。例如，当伴随着车辆与该车辆的周围的人物、障碍物、其他车辆等之间的距离小于与彼此的相对速度相应的预定距离，所推定的驾驶员的情绪以在极短时间内呈现消极的情绪的方式变化时，驾驶员危险状况识别判定部81判定为驾驶员识别出危险状况。关于将怎样的状况判定为失误事件，并不限于上述的例子，也可以预先设定适当的条件。另外，关于判定为驾驶员的情绪呈现消极的情绪的条件，也能够基于至消极的情绪的变化程度和/或变化时间进行判定等预先设定适当的条件。
在未判定为驾驶员感觉到危险的情况下(S25/“否”)，驾驶员识别失误地点存储处理部87直接使本例程结束，另一方面在判定为驾驶员感觉到危险的情况下(S25/“是”)，驾驶员识别失误地点存储处理部87基于来自GPS天线29的输出信号以及地图数据存储部31来确定判定为驾驶员感觉到危险的地图数据上的车辆的行驶位置，并且使该行驶位置存储于驾驶员识别失误地点数据库91作为驾驶员识别失误地点(步骤S27)。驾驶员识别失误地点存储处理部87也可以使各个驾驶员识别失误地点的数据与驾驶员感觉到的消极的情绪的等级的信息一起进行存储。
信息处理装置50反复执行以上所说明的驾驶员识别失误地点存储处理的步骤S11～步骤S27的例程。由此，信息处理装置50能够收集驾驶员感觉到危险的失误地点的信息。
(2-2.驾驶员非识别失误地点存储处理)
图4是表示驾驶员非识别失误地点存储处理动作的流程图。
首先，信息处理装置50的乘车人检测部51与上述的步骤S11同样地，基于从车内拍摄相机21发送的图像数据进行乘车人检测处理(步骤S31)。接下来，乘车人检测部51判断检测出的乘车人是否是同乘者(步骤S33)。检测出的乘车人是否是同乘者能够基于例如检测出的乘车人的座位位置来进行判断。
在检测出的乘车人不是同乘者的情况下(S33/“否”)，信息处理装置50前进到步骤S37的处理，另一方面在检测出的乘车人是同乘者的情况下(S33/“是”)，信息处理装置50执行同乘者危险状况识别判定处理(步骤S35)。
图5是表示同乘者危险状况识别判定处理的一例的流程图。
首先，同乘者视线检测部57按照上述的步骤S15的处理，基于从车内拍摄相机21发送的图像数据检测同乘者的视线(步骤S51)。接下来，同乘者情绪推定部59按照上述的步骤S17的处理，基于从车内拍摄相机21发送的图像数据推定同乘者的情绪(步骤S53)。
接下来，周围环境检测部67按照上述的步骤S19的处理，基于从车外拍摄相机23发送的图像数据以及从周围环境传感器25发送的信息检测车辆的周围环境的信息(步骤S55)。接下来，同乘者注视对象判定部73基于由同乘者视线检测部57所检测出的同乘者的视线的方向和由周围环境检测部67所检测出的车辆的周围环境的信息，判定存在于同乘者的视线的目的地的注视对象(步骤S57)。
接下来，同乘者危险状况识别判定部83按照上述的步骤S25的处理，判定同乘者是否感觉到危险(步骤S59)。在判定为同乘者感觉到危险的情况下(S59/“是”)，同乘者危险状况识别判定部83判定为同乘者识别出危险状况(步骤S61)，并且使本例程结束。另一方面，在判定为同乘者未感觉到危险的情况下(S59/“否”)，同乘者危险状况识别判定部83判定为同乘者未识别出危险状况(步骤S63)，并且使本例程结束。
返回图4，在步骤S33判定为否的情况下(S33/“否”)，或者在步骤S35中的同乘者危险状况识别判定处理结束后，信息处理装置50的交通参与者检测部61按照上述的步骤S11的处理，基于从车外拍摄相机23发送的图像数据进行交通参与者检测处理(步骤S37)。接下来，交通参与者检测部61判断是否检测出交通参与者(步骤S39)。
在未判定为检测出交通参与者的情况下(S39/“否”)，信息处理装置50前进到步骤S43的处理，另一方面在判定为检测出交通参与者的情况下(S39/“是”)，信息处理装置50执行交通参与者危险状况识别判定处理(步骤S41)。
图6是表示交通参与者危险状况识别判定处理的一例的流程图。
首先，交通参与者视线检测部63按照上述的步骤S15的处理，基于从车外拍摄相机23发送的图像数据检测交通参与者的视线(步骤S71)。接下来，交通参与者情绪推定部65按照上述的步骤S17的处理，基于从车外拍摄相机23发送的图像数据推定交通参与者的情绪(步骤S73)。
接下来，交通参与者注视对象判定部75基于由交通参与者视线检测部63所检测出的交通参与者的视线的方向判定注视对象(步骤S75)。接着，交通参与者危险状况识别判定部85判断检测出的交通参与者是否正在观察本车辆(步骤S77)。在未判定为交通参与者正在观察本车辆的情况下(S77/“否”)，交通参与者危险状况识别判定部85直接使本例程结束，另一方面在判定为交通参与者正在观察本车辆的情况下(S77/“是”)，交通参与者危险状况识别判定部85按照上述的步骤S25的处理判定交通参与者是否感觉到危险(步骤S79)。
在判定为交通参与者感觉到危险的情况下(S79/“是”)，交通参与者危险状况识别判定部85判定为交通参与者识别出危险状况(步骤S81)，并且使本例程结束。另一方面，在未判定为交通参与者感觉到危险的情况下(S79/“否”)，交通参与者危险状况识别判定部85判定为交通参与者未识别出危险状况(步骤S83)，并且使本例程结束。
返回图4，在步骤S39判定为否的情况下(S39/“否”)，或者在步骤S41中的交通参与者危险状况识别判定处理结束后，驾驶员非识别失误地点存储处理部89判断是否判定为同乘者或者交通参与者中的至少一方识别出危险状况(步骤S43)。在未判定为同乘者以及交通参与者中的某位识别出危险状况的情况下(S43/“否”)，驾驶员非识别失误地点存储处理部89直接使本例程结束。
另一方面，在判定为同乘者以及交通参与者中的至少一方识别出危险状况的情况下(S43/“是”)，驾驶员非识别失误地点存储处理部89在同乘者以及交通参与者中的至少一方识别出危险状况的时刻，判断驾驶员是否识别出危险状况(步骤S45)。在判定为驾驶员识别出危险状况的情况下(S45/“是”)，驾驶员非识别失误地点存储处理部89不使驾驶员非识别失误地点存储到驾驶员非识别失误地点数据库93并使本例程结束。另一方面，在未判定为驾驶员识别出危险状况的情况下(S45/“否”)，驾驶员非识别失误地点存储处理部89基于来自GPS天线29的输出信号以及地图数据存储部31，确定被判定为同乘者或者交通参与者感觉到危险的地图数据上的车辆的行驶位置，并且使该行驶位置作为驾驶员非识别失误地点存储到驾驶员非识别失误地点数据库93(步骤S47)。驾驶员非识别失误地点存储处理部89也可以使各个驾驶员非识别失误地点的数据与同乘者或者交通参与者感觉到的消极的情绪的等级的信息一起进行存储。
信息处理装置50反复执行以上所说明的驾驶员非识别失误地点存储处理的步骤S31～步骤S47的例程。由此，信息处理装置50能够从驾驶员以外的同乘者和/或交通参与者的观点进行观察而收集对本车辆感觉到危险的失误地点的信息。
(2-3.通知控制处理)
图7是表示通知控制处理的动作的流程图。
首先，通知控制部95基于从GPS天线29发送的位置信息来确定本车辆在地图数据上的行驶位置(步骤S91)。接下来，通知控制部95判断本车辆的行驶位置是否接近驾驶员识别失误地点数据库91所存储的驾驶员识别失误地点(步骤S93)。例如，通知控制部95判断从本车辆的行驶位置起直到存在于直到所设定的目标地点为止的行驶道路的前方的驾驶员识别失误地点为止的距离是否处于预定的距离以内。在未设定目标地点的情况下，通知控制部95也可以确定本车辆在地图数据上的行驶位置以及行驶的道路，并且判断从本车辆的行驶位置起直到存在于行驶的道路的前方的驾驶员识别失误地点为止的距离是否在预定的距离以内。预定的距离可以是预先所设定的固定值，也可以是依一般道路和高速道路而可变的值，或者是依车速而可变的值。
在判定为本车辆的行驶位置接近驾驶员识别失误地点的情况下(S93/“是”)，通知控制部95控制HMI 43的驱动，并且执行向驾驶员通知预计通过驾驶员识别失误地点这一情况的第一通知处理(步骤S95)。通知控制部95在第一通知处理中可以产生语音或者警告音、进行警告显示。
在未判定为本车辆的行驶位置接近驾驶员识别失误地点的情况下(S93/“否”)，通知控制部95判断本车辆的行驶位置是否接近驾驶员非识别失误地点数据库93所存储的驾驶员非识别失误地点(步骤S97)。例如，通知控制部95判断从本车辆的行驶位置起直到存在于直到所设定的目标地点为止的行驶道路的前方的驾驶员非识别失误地点为止的距离是否在预定的距离以内。在未设定目标地点的情况下，通知控制部95确定本车辆在地图数据上的行驶位置以及行驶的道路，并且判断从本车辆的行驶位置起直到存在于行驶的道路的前方的驾驶员非识别失误地点为止的距离是否在预定的距离以内。预定的距离可以是预先所设定的固定值，也可以是依一般道路和高速道路而可变的值，或者是依车速而可变的值。
在判定为本车辆的行驶位置接近驾驶员非识别失误地点的情况下(S97/“是”)，通知控制部95控制HMI 43的驱动，并且执行向驾驶员通知预计通过驾驶员非识别失误地点这一情况的第二通知处理(步骤S99)。通知控制部95在第二通知处理中能够以与第一通知处理不同的通知的方法来产生语音或者警告音、进行警告显示。
信息处理装置50反复执行以上所说明的通知控制处理的步骤S91～步骤S99的例程。由此，驾驶员不仅能够知晓通过自身能够识别的失误地点这一情况，而且能够知晓通过自身难以识别的失误地点这一情况。此时，驾驶员能够区分地知晓驾驶员识别失误地点和驾驶员非识别失误地点。因而，能够边更加给以注意边使车辆行驶，以便不会遭遇到自身难以识别的危险状况。另外，由于驾驶员能够区分地知晓驾驶员识别失误地点和驾驶员非识别失误地点，所以驾驶员能够知晓自身难以识别的驾驶的危险性。因而，能够使驾驶员对驾驶技能的意识提升。
<3.管理服务器的构成例>
接着说明管理服务器5的构成例。
图8是表示实施方式的管理服务器5的构成例的框图。
管理服务器5具备通信装置101、控制部103以及失误地点数据库105。
通信装置101是用于与搭载于各车辆的驾驶辅助装置10进行通信的接口。通信装置101包含与通信单元的规格相应的接口。通信装置101相当于本发明的第二通信部。
失误地点数据库105包括作为存储部的RAM等存储元件或者HDD、CD、DVD、SSD、USB闪存、存储装置等存储介质。失误地点数据库105相当于本发明的数据累积部。
控制部103构成为具备例如CPU(Central Processing Unit：中央处理单元)或者MPU(Micro Processing Unit：微型处理单元)等运算处理装置以及GPU(GraphicProcessing Unit：图形处理单元)等图像处理装置。运算处理装置通过执行存储于未图示的存储元件的程序来执行各种运算处理。
控制部103接收从搭载于各个车辆的驾驶辅助装置10发送的驾驶员识别失误地点以及驾驶员非识别失误地点的信息，并且将其存储于失误地点数据库105。此时，控制部103可以区分驾驶员识别失误地点以及驾驶员非识别失误地点而进行存储。另外，控制部103也可以与驾驶员、同乘者或者交通参与者感觉到的恐惧或者惊讶的等级的信息一起存储驾驶员识别失误地点以及驾驶员非识别失误地点的信息。
另外，控制部103从各个车辆的驾驶辅助装置10接收车辆的行驶位置的信息。并且，控制部103提取失误地点数据库105所存储的失误地点的数据中的、存在于距接收到的行驶位置预定范围内的失误地点的数据，并且将该数据向该车辆发送。此时，控制部103也可以按照每个失误地点使危险度的信息一并发送。危险度的信息可以是例如过去的预定期间内的登记次数的信息，也可以是失误地点的登记次数相对于全部车辆的通行次数的比例的信息。或者，危险度的信息还可以是驾驶员、同乘者或者交通参与者感觉到的恐惧或者惊讶的等级的平均值的信息。
<4.管理服务器的动作例>
接着，具体地说明本实施方式的管理服务器的动作例。以下，将管理服务器的动作分为失误地点存储处理以及失误地点信息发送处理进行说明。
(4-1.失误地点存储处理)
图9是表示失误地点存储处理动作的流程图。
首先，管理服务器5的控制部103接收从搭载于各个车辆的驾驶辅助装置10发送的失误地点信息(步骤S101)。接收的失误地点信息包括驾驶员识别失误地点以及驾驶员非识别失误地点的信息。此时，控制部103可以一并接收在各个失误地点驾驶员、同乘者或者交通参与者感觉到的恐惧或者惊讶的等级的信息。另外，控制部103也可以一并接收车辆的标识数据。
接下来，控制部103将所接收的失误地点信息存储到失误地点数据库105(步骤S103)。控制部103反复执行失误地点存储处理的步骤S101～步骤S103的处理。由此，在管理服务器5的失误地点数据库105累积在多个车辆所收集的驾驶员识别失误地点以及驾驶员非识别失误地点的数据。
(4-2.失误地点信息发送处理)
图10是表示失误地点信息发送处理动作的流程图。
首先，控制部103从搭载于各个车辆的驾驶辅助装置10接收各个车辆的行驶位置的信息(步骤S111)。接下来，控制部103判断在接收到的行驶位置的周边是否存在失误地点数据库105所存储的失误地点的数据(步骤S113)。例如，控制部103可以判断在距行驶位置的距离处于预先设定的范围内是否存在所存储的失误地点的数据。或者，控制部103还可以与车辆的行驶位置的信息一并取得车辆的行驶方向或者直到目标地点为止的行驶道路的信息，并且判断在行驶方向的前方的预定范围内是否存在失误地点的数据。
当未判定为在行驶位置的周边存在失误地点的数据的情况下(S113/“否”)，控制部103返回到步骤S111。另一方面，当判定为在行驶位置的周边存在失误地点的数据的情况下(S113/“是”)，控制部103提取该失误地点，并且向该车辆的驾驶辅助装置10发送失误地点的数据(步骤S115)。此时，控制部103可以按每个失误地点一并发送危险度的信息。
图11表示从管理服务器5接收到失误地点信息的驾驶辅助装置10的通知控制处理动作的流程图。
驾驶辅助装置10的通知控制部95接收从管理服务器5发送的失误地点信息(步骤S121)。接下来，通知控制部95判断在驾驶员识别失误地点数据库91所存储的驾驶员识别失误地点的数据中是否存在所接收的失误地点的数据(步骤S123)。
在判定为驾驶员识别失误地点数据库91所存储的驾驶员识别失误地点的数据中存在所接收的失误地点的数据的情况下(S123/“是”)，通知控制部95将所接收的失误地点作为驾驶员识别失误地点来对待，并且按照上述的步骤S95的处理执行第一通知处理(步骤S125)。另一方面，在未判定为驾驶员识别失误地点数据库91所存储的驾驶员识别失误地点的数据中存在所接收的失误地点的数据的情况下(S123/“否”)，通知控制部95将所接收的失误地点作为驾驶员非识别失误地点来对待，并且按照上述的步骤S99的处理执行第二通知处理(步骤S127)。
由此，驾驶辅助装置10不仅能够向驾驶员通知本车辆中所存储的失误地点，而且还能够向驾驶员通知其他车辆中所存储的失误地点的数据。因而，驾驶员能够与其他车辆的行驶相关联而知晓其他车辆的同乘者和/或其他车辆的周围的交通参与者感觉到危险的失误地点，并且能够边更加给以注意边使车辆行驶，以便不会遭遇自身难以识别的危险状况。
如以上所说明，根据本实施方式的驾驶辅助装置10以及数据收集系统1，能够从车辆的驾驶员以外的交通参与者的观点进行观察而收集对车辆感觉到危险的失误地点的信息。另外，根据本实施方式的驾驶辅助装置10以及数据收集系统1，能够收集车辆的驾驶员以外的同乘者感觉到危险的失误地点的信息。因而，不仅当车辆在容易发生驾驶员自身容易感觉危险的状况的地点行驶时，而且当车辆在容易发生驾驶员自身难以感觉危险的状况的地点行驶时，能够提醒驾驶员注意。由此，能够降低发生事故的危险，并且能够使对交通的安心感提升。
以上，虽然关于本发明的优选的实施方式参照附图详细地进行了说明，但是本发明并不限于该例子。应予理解的是，只要是具有本发明所属技术领域的通常的知识的人，便能够在权利要求的范围所记载的技术思想的范畴内想到各种变化例或者修正例这一情况是明了的，关于这些而言，当然也属于本发明的技术范围。
例如，在上述实施方式中，虽然驾驶辅助装置10构成为与管理服务器5通信，并且接收发送失误地点的信息，但是本发明并不限于该例子。驾驶辅助装置10可以不是在其与管理服务器5之间接收发送失误地点的信息，也可以仅由驾驶辅助装置10构成。

Claims (6)

1.一种驾驶辅助装置，其特征在于，具备：
驾驶员情绪推定部，其推定车辆的驾驶员的情绪；
交通参与者情绪推定部，其推定所述车辆的周围的交通参与者的情绪；
存储部，其存储虽然所述车辆的驾驶员未感觉到危险但是所述交通参与者对所述车辆感觉到危险的驾驶员非识别失误地点的数据；以及
通知控制部，其向所述驾驶员通知所述存储的所述驾驶员非识别失误地点。
2.根据权利要求1所述的驾驶辅助装置，其特征在于，
还具备同乘者情绪推定部，所述同乘者情绪推定部推定所述车辆的驾驶员以外的同乘者的情绪，
所述驾驶员非识别失误地点的数据包含虽然所述车辆的驾驶员未识别出危险但是所述车辆的同乘者感觉到危险的失误地点的数据。
3.根据权利要求1所述的驾驶辅助装置，其特征在于，
当所述车辆行驶时，所述通知控制部预先将所述车辆的驾驶员感觉到危险的驾驶员识别失误地点与所述交通参与者对所述车辆感觉到危险的所述驾驶员非识别失误地点一并进行通知，
对所述驾驶员非识别失误地点的通知的方法与对所述驾驶员识别失误地点的通知的方法不同。
4.根据权利要求2所述的驾驶辅助装置，其特征在于，
当所述车辆行驶时，所述通知控制部预先将所述车辆的驾驶员感觉到危险的驾驶员识别失误地点与所述交通参与者对所述车辆感觉到危险的所述驾驶员非识别失误地点一并进行通知，
对所述驾驶员非识别失误地点的通知的方法与对所述驾驶员识别失误地点的通知的方法不同。
5.根据权利要求1～4中的任一项所述的驾驶辅助装置，其特征在于，
所述存储部将被推定为所述车辆的驾驶员不具有消极的情绪而所述交通参与者具有消极的情绪的行驶位置作为所述驾驶员非识别失误地点进行存储。
6.一种数据收集系统，其特征在于，包括搭载于车辆的驾驶辅助装置和能够与所述驾驶辅助装置通信的管理服务器，
所述驾驶辅助装置具备：
驾驶员情绪推定部，其推定所述车辆的驾驶员的情绪；
交通参与者情绪推定部，其推定所述车辆的周围的交通参与者的情绪；
存储部，其存储虽然所述车辆的驾驶员未感觉到危险但是所述交通参与者对所述车辆感觉到危险的驾驶员非识别失误地点；以及
第一通信部，其发送所述驾驶员非识别失误地点的信息，
所述管理服务器具备：
数据累积部，其累积从所述驾驶辅助装置发送的所述驾驶员非识别失误地点的数据；以及
第二通信部，其向所述驾驶辅助装置发送所累积的所述驾驶员非识别失误地点的信息。
CN202110193202.2A 2020-04-02 2021-02-20 驾驶辅助装置以及数据收集系统 Pending CN113492849A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-066464 2020-04-02
JP2020066464A JP2021163345A (ja) 2020-04-02 2020-04-02 運転支援装置及びデータ収集システム

Publications (1)

Publication Number Publication Date
CN113492849A true CN113492849A (zh) 2021-10-12

Family

ID=77749880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110193202.2A Pending CN113492849A (zh) 2020-04-02 2021-02-20 驾驶辅助装置以及数据收集系统

Country Status (4)

Country Link
US (1) US11713046B2 (zh)
JP (1) JP2021163345A (zh)
CN (1) CN113492849A (zh)
DE (1) DE102021107602A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210279514A1 (en) * 2010-06-07 2021-09-09 Affectiva, Inc. Vehicle manipulation with convolutional image processing
KR20210028322A (ko) * 2019-09-03 2021-03-12 현대자동차주식회사 차량 정보 설정 시스템 및 방법
JP2022139524A (ja) * 2021-03-12 2022-09-26 株式会社Subaru 運転支援装置及び記録媒体
JP2023093065A (ja) * 2021-12-22 2023-07-04 キヤノン株式会社 制御装置、情報処理装置、及びこれらの制御方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4622749B2 (ja) 2005-08-31 2011-02-02 株式会社デンソー 車両用データ収集装置、車両用運転支援装置及び車両の安全運転支援システム
EP2884477B1 (en) * 2012-08-07 2020-06-17 Sony Corporation Information processing device, information processing method, and information processing system
JP2015201113A (ja) * 2014-04-10 2015-11-12 スズキ株式会社 歩行者と運転者間の情報共用システム
JP6520506B2 (ja) * 2014-09-03 2019-05-29 株式会社デンソー 車両の走行制御システム
US9886856B2 (en) * 2014-12-04 2018-02-06 Here Global B.V. Near miss system
JP6735659B2 (ja) 2016-12-09 2020-08-05 株式会社日立製作所 運転支援情報収集装置
US10922566B2 (en) * 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US10545025B2 (en) * 2017-09-22 2020-01-28 Telenav, Inc. Navigation system with a system initiated inquiry and method of operation thereof

Also Published As

Publication number Publication date
US11713046B2 (en) 2023-08-01
DE102021107602A1 (de) 2021-10-07
JP2021163345A (ja) 2021-10-11
US20210309232A1 (en) 2021-10-07

Similar Documents

Publication Publication Date Title
CN108068698B (zh) 车辆系统以及车辆
CN113492849A (zh) 驾驶辅助装置以及数据收集系统
US9070293B2 (en) Device and method for traffic sign recognition
JP4935589B2 (ja) 状態判定装置およびプログラム
WO2014148025A1 (ja) 走行制御装置
CN111547043A (zh) 通过自主车辆自动响应紧急服务车辆
CN112771592B (zh) 用于警告机动车的驾驶员的方法、控制设备及机动车
JP4961934B2 (ja) 運転支援装置
CN113593301B (zh) 车辆加塞的预判断方法、车辆及计算机可读存储介质
JP2020166541A (ja) 事故責任特定方法、運行支援方法、事故責任特定装置及びコンピュータプログラム
CN112542052A (zh) 用于警告未受保护的交通参与者的方法
CN111186433A (zh) 用于选择和加速实施动作响应的方法
JP2009020569A (ja) 車両用走行支援装置
JP7474160B2 (ja) 情報処理装置
JP3945305B2 (ja) 運転者将来状況予測装置
EP2797027A1 (en) A vehicle driver alert arrangement, a vehicle and a method for alerting a vehicle driver
US11899909B1 (en) System on board an on-road vehicle for identifying, tagging and reporting hazardous drivers in the vicinity of a host vehicle
WO2019131388A1 (ja) 運転支援装置、運転支援システム、運転支援方法、及び、運転支援プログラムが格納された記録媒体
CN113173160B (zh) 车辆用防碰撞装置及车辆用防碰撞方法
CN115131749A (zh) 图像处理装置、图像处理方法以及计算机可读取存储介质
CN113492864A (zh) 驾驶辅助装置以及数据收集系统
CN112950995A (zh) 泊车辅助装置、辅助装置、相应方法及车辆和服务器
JP7294483B2 (ja) 運転支援装置、運転支援方法及びプログラム
CN113401071B (zh) 显示控制装置、显示控制方法以及计算机可读取存储介质
US20230360252A1 (en) Information processing device, information processing system, and information processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination