CN113492864A - 驾驶辅助装置以及数据收集系统 - Google Patents

驾驶辅助装置以及数据收集系统 Download PDF

Info

Publication number
CN113492864A
CN113492864A CN202110284375.5A CN202110284375A CN113492864A CN 113492864 A CN113492864 A CN 113492864A CN 202110284375 A CN202110284375 A CN 202110284375A CN 113492864 A CN113492864 A CN 113492864A
Authority
CN
China
Prior art keywords
vehicle
viewpoint
sight
information
traffic participant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110284375.5A
Other languages
English (en)
Inventor
后藤育郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Publication of CN113492864A publication Critical patent/CN113492864A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3811—Point data, e.g. Point of Interest [POI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
    • G09B29/003—Maps
    • G09B29/006—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes
    • G09B29/007—Representation of non-cartographic information on maps, e.g. population distribution, wind direction, radiation levels, air and sea routes using computer methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Hardware Design (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ecology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)

Abstract

本发明提供能够提示适当的信息以便乘坐车辆而在行驶过程中的乘车人不会错过良好的景致的驾驶辅助装置以及数据收集系统。在具备处理器和存储部的驾驶辅助装置中，处理器具备：视线检测部，其检测车辆的乘车人或者车辆的周围的交通参与者中的至少一方的视线；以及情绪推定部，其推定车辆的乘车人以及交通参与者的情绪，在由情绪推定部所推定的情绪为积极的情绪的情况下，存储部存储视点的数据，视点的数据包含地图数据上的车辆的位置以及与乘车人或者交通参与者的视线关联的信息，处理器还具备对在视点行驶的车辆的乘车人通知应该关注的方向的通知控制部。

Description

驾驶辅助装置以及数据收集系统
技术领域
本发明涉及驾驶辅助装置以及数据收集系统。
背景技术
在正乘坐车辆而行驶的状况下，往往能够获得例如隔着海岸能够看见的孤岛的风景、从远处所见的有历史的建筑物的景观等绝佳的景致。为了不错过绝佳的景致，认为需要事先地知晓该景致的地点，并且在适当的时机沿适当的方位投以视线。
作为关联的技术，例如在专利文献1中公开有用于将在各地点的用户的情绪状态准确地向对方传递的信息处理装置。具体地，在专利文献1中提出有下述的技术，即：将车辆的地点的位置信息、以及在该地点检测出的生物信息从车辆的导航装置向中心发送，基于向中心所发送的位置信息以及生物信息来导出用户的情绪状态，将所导出的情绪状态与检测出生物信息的地点相对应，并且将与该地点相对应的情绪状态中的最多的情绪状态作为代表状态向车辆发送，由此提示由车外的周边的景观等所影响的用户的情绪状态成为预定的状态的地点，上述车辆的地点的位置信息是由多个种类的传感器所检测的用户的生物信息的检测结果满足了预定的条件的时刻下的车辆的地点的位置信息。
另外，在专利文献2中公开有适当地向驾驶员提供驾驶员所需的显示信息的车辆用显示装置。具体地，在专利文献2中提出有下述的车辆用显示装置，该车辆用显示装置具备：检测驾驶员的视线的视线检测单元、基于由视线检测单元所检测的驾驶员的视线来确定驾驶员注视的注视对象的注视对象确定单元、基于由注视对象确定单元所确定的注视对象的种类来确定显示信息的种类的显示控制单元、以及显示由显示控制单元所确定的信息的显示单元。
现有技术文献
专利文献
专利文献1：日本特开2012-112853号公报
专利文献2：日本特开2008-13070号公报
发明内容
技术问题
即使应用专利文献1和/或专利文献2所记载的技术，可以获得能够看见良好的景观的地点的信息，但是在未知晓应该看向哪个方位的情况下，用户还需要在到达该地点之后向各个方位投以视线而进行判断。在行驶过程中真正地能够获得良好的景致的时机是在一瞬间，并且在到达该地点之后再探索良好的景致，则常常会不知不觉地错过该景致。因此，对于用户而言会感到不满。
本发明是鉴于上述问题而完成的，本发明的目的在于提供能够提示适当的信息，以便乘坐车辆而在行驶过程中的乘车人不会错过良好的景致的驾驶辅助装置以及数据收集系统。
技术方案
为了解决上述的课题，根据本发明的某观点，提供一种具备处理器和存储部的驾驶辅助装置，处理器具备：视线检测部，其检测车辆的乘车人或者车辆的周围的交通参与者中的至少一方的视线；以及情绪推定部，其推定车辆的乘车人以及交通参与者的情绪，在由情绪推定部所推定的情绪为积极的情绪的情况下，存储部存储视点的数据，视点的数据包含地图数据上的车辆的位置以及与乘车人或者交通参与者的视线关联的信息，处理器还具备对在视点行驶的车辆的乘车人通知应该关注的方向的通知控制部。
在上述的驾驶辅助装置中，与视线关联的信息可以包含视线的方向以及仰角的信息。
在上述的驾驶辅助装置中，还具备：周围环境检测部，其取得从车辆能够看见的风景图像的数据；以及注视对象判定部，其基于由视线检测部所检测的视线的信息以及由周围环境检测部所取得的图像数据，判定乘车人或者交通参与者的注视对象。
在上述的驾驶辅助装置中，存储部可以将视点数据与检测出积极的情绪时的季节、日期或者时刻中的至少一种信息一起进行存储，并且通知控制部可以基于车辆在视点行驶时的日期和时刻进行通知。
为了解决上述的课题，根据本发明的另一个观点，提供一种数据收集系统，该数据收集系统包括搭载于车辆的驾驶辅助装置和能够与驾驶辅助装置通信的管理服务器，驾驶辅助装置具备处理器、存储部和第一通信部，处理器包括：视线检测部，其检测车辆的乘车人或者车辆的周围的交通参与者中的至少一方的视线；以及情绪推定部，其推定车辆的乘车人以及交通参与者的情绪，存储部存储视点的数据，视点的数据包含检测出积极的情绪时的地图数据上的车辆的位置以及与乘车人或者交通参与者的视线关联的信息，处理器还包括对在视点行驶的车辆的乘车人通知应该关注的方向的通知控制部，第一通信部发送视点的数据，管理服务器具备：数据库，其累积从驾驶辅助装置发送的视点的数据；以及第二通信部，其将所累积的视点的信息向驾驶辅助装置发送。
技术效果
如以上所说明，根据本发明，能够提示适当的信息以便乘坐车辆而在行驶过程中的乘车人不会错过良好的景致。
附图说明
图1是表示本发明的一实施方式的数据收集系统的构成例的框图。
图2是表示由通知控制部进行的使用了HUD显示以及语音引导的通知的例子的说明图。
图3是表示使用了HUD显示以及语音引导的预告通知的例子的说明图。
图4是表示不实施使用了HUD显示以及语音引导的通知的例子的说明图。
图5是表示由本实施方式的驾驶辅助装置进行的基于车辆乘车人的视线的视点数据存储处理工作的流程图。
图6是表示由本实施方式的驾驶辅助装置进行的基于交通参与者的视线的视点数据存储处理工作的流程图。
图7是表示通知控制处理的工作的流程图。
图8是表示本实施方式的管理服务器的构成例的框图。
图9是表示由本实施方式的管理服务器进行的视点存储处理工作的流程图。
图10是表示由本实施方式的管理服务器进行的视点信息发送处理工作的流程图。
符号说明
1…数据收集系统；5…管理服务器；10…驾驶辅助装置；21…车内拍摄相机；23…车外拍摄相机；29…GPS天线；31…地图数据存储部；41…通信装置；50…信息处理装置；51…乘车人检测部；53…驾驶员视线检测部；55…驾驶员情绪推定部；57…同乘者视线检测部；59…同乘者情绪推定部；61…交通参与者检测部；63…交通参与者视线检测部；65…交通参与者情绪推定部；67…周围环境检测部；71…驾驶员视线方向仰角判定部；73…同乘者视线方向仰角判定部；75…交通参与者视线方向仰角判定部；87…视点存储处理部；91…视点数据库；95…通知控制部；97…显示控制部
具体实施方式
以下，关于本发明的优选的实施方式参照附图详细地进行说明。应予说明，在本说明书以及附图中，关于实质上具有相同功能构成的构成要素，通过对其标注相同的符号而省略重复说明。
<<数据收集系统>>
首先，说明本发明的实施方式的数据收集系统的构成例。图1是表示本实施方式的数据收集系统1的构成例的框图。
数据收集系统1具备搭载于车辆的驾驶辅助装置10和以能够与驾驶辅助装置10通信的方式所连接的管理服务器5。驾驶辅助装置10搭载于使用数据收集系统1的多个车辆。在数据收集系统1中，管理服务器5累积由搭载于各个车辆的驾驶辅助装置10所收集的视点的信息，并且对各个驾驶辅助装置10提供视点的信息。另外，从管理服务器5接收到视点的信息的驾驶辅助装置10对车辆的乘车人通知视点的信息。由此，当车辆通过视点时，能够提示适当的信息以便不会错过良好的景致。
特别地，在本实施方式的数据收集系统1中，对通过视点的各个车辆的乘车人提示应该看的方位。因而，车辆的乘车人在到达视点之后不需要探索各个方位便能够在适当的时机获得良好的景致。
<1.驾驶辅助装置的构成例>
接下来，具体地说明驾驶辅助装置10的构成例。
驾驶辅助装置10构成为搭载于车辆，收集视点的信息，并且向驾驶员通知该视点的信息的装置。
驾驶辅助装置10具备车内拍摄相机21、车外拍摄相机23、周围环境传感器25、GPS天线29、地图数据存储部31、通信装置41、HMI(Human Machine Interface：人机接口)43、导航显示装置45以及信息处理装置50。车内拍摄相机21、车外拍摄相机23、周围环境传感器25、GPS天线29、地图数据存储部31、通信装置41、HMI 43以及导航显示装置45分别直接地与信息处理装置50连接，或者介由CAN(Controller Area Network：控制器局域网)或LIN(Local Inter Net：局域网)等通信手段与信息处理装置50连接。
(1-1.车内拍摄相机)
车内拍摄相机21生成拍摄车室内而得的图像数据。车内拍摄相机21具备例如CCD(Charge Coupled Device：电荷藕合器件)或CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)等拍摄元件，并且向信息处理装置50发送所生成的图像数据。车内拍摄相机21设置为车室内的乘车人中至少一人进入拍摄范围内。所设置的车内拍摄相机21可以仅是一个，也可以是多个。
(1-2.车外拍摄相机)
车外拍摄相机23生成拍摄车辆的周围而得的图像数据。图像数据包括车辆的周围的风景图像的数据。车外拍摄相机23可以作为车辆的安全功能被搭载，也可以是为了收集视点的信息而被搭载。车外拍摄相机23与车内拍摄相机21同样地具备CCD或CMOS等拍摄元件，并且向信息处理装置50发送所生成的图像数据。车外拍摄相机23包括以能够拍摄车辆的前方、侧方以及后方中的至少某一个方向的方式设置于车辆的一个或多个相机。
(1-3.周围环境传感器)
周围环境传感器25是检测车辆的周围的人物和/或障碍物的传感器。周围环境传感器25构成为包含例如高频雷达传感器、超声波传感器、LiDAR中的一个或多个。所检测的障碍物包括其他车辆和/或自行车、建筑物、交通标志、交通信号机、自然物、其他存在于车辆的周围的一切物体。
(1-4.GPS天线)
GPS天线29接收来自GPS(Global Positioning System：全球定位系统)卫星的卫星信号。GPS天线29向信息处理装置50发送包含于所接收的卫星信号中的车辆的地图数据上的位置信息。应予说明，也可以代替GPS天线29而具备接收来自确定车辆的位置的其他卫星系统的卫星信号的天线。
(1-5.通信装置)
通信装置41是信息处理装置50通过移动通信网等通信手段与管理服务器5进行通信所用的接口。通信装置41包含与通信手段的规格对应的接口。通信装置41相当于本发明的第一通信部。
(1-6.HMI)
HMI 43由信息处理装置50控制，通过图像显示和/或语音输出等方式对车辆的乘车人通知各种信息。HMI 43包括例如设置于仪表板内的显示装置以及扬声器。另外，HMI 43也可以包括使车辆的周围的风景重叠地显示在前车窗上的HUD(平视显示器)。
(1-7.导航显示装置)
导航显示装置45显示地图数据。导航显示装置45由信息处理装置50控制，使所收集的视点的数据反映于地图数据上而显示。导航显示装置45包括例如液晶面板等光学面板。导航显示装置45也可以是HMI 43的一部分。
(1-8.信息处理装置)
信息处理装置50构成为具备例如CPU(Central Processing Unit：中央处理单元)或者MPU(Micro Processing Unit：微型处理单元)等运算处理装置以及GPU(GraphicProcessing Unit：图形处理单元)等图像处理装置。运算处理装置通过执行存储于存储元件的程序来执行各种运算处理。应予说明，信息处理装置50的一部分或者全部可以由固件等能够更新的结构构成，另外信息处理装置50的一部分或者全部也可以是根据来自CPU等的指令而执行的程序模块等。
在本实施方式中，信息处理装置50具备乘车人检测部51、交通参与者检测部61、周围环境检测部67以及行进方向判定部69。另外，信息处理装置50具备驾驶员视线检测部53、驾驶员情绪推定部55、同乘者视线检测部57、同乘者情绪推定部59、交通参与者视线检测部63以及交通参与者情绪推定部65。另外，信息处理装置50具备驾驶员视线方向仰角判定部71、同乘者视线方向仰角判定部73以及交通参与者视线方向仰角判定部75。另外，信息处理装置50具备驾驶员注视对象判定部81、同乘者注视对象判定部83以及交通参与者注视对象判定部85。另外，信息处理装置50具备视点存储处理部87、通知控制部95以及显示控制部97。具体地，这些各部是通过由运算处理装置或者图像处理装置实现的程序的执行而实现的功能。
进而，信息处理装置50具备视点数据库91。视点数据库91由作为存储部的RAM(Random Access Memory：随机存取存储器)等存储元件，或者HDD(Hard Disk Drive：硬盘驱动器)、CD(Compact Disc：光盘)、DVD(Digital Versatile Disc：数字多功能光盘)、SSD(Solid State Drive：固态硬盘)、USB(Universal Serial Bus：通用串行总线)闪存、存储装置等存储介质构成。
除此之外，信息处理装置50还具备存储由运算处理装置或者图像处理装置所执行的软件程序、运算处理所用的各种参数、所取得的信息、运算结果等的未图示的RAM和/或ROM(Read Only Memory：只读存储器)等存储元件。
(1-8-1.乘车人检测部)
乘车人检测部51基于从车内拍摄相机21所发送的图像数据检测车辆的乘车人。具体地，乘车人检测部51通过对从车内拍摄相机21发送的图像数据进行图像处理，并且确定人物的面部的存在，从而检测车辆的乘车人。另外，乘车人检测部51基于从车内拍摄相机21发送的图像数据判断检测出的乘车人的座位位置，并且判断检测出的乘车人是驾驶员还是同乘者。乘车人检测部51也可以基于该图像数据检测从车内拍摄相机21起直到驾驶员或者同乘者为止的距离以及相对位置，并检测车内的驾驶员或者同乘者的位置。乘车人检测部51还可以使用面部图像的特征量分析等方法而识别检测出的各个乘车人。
(1-8-2.交通参与者检测部)
交通参与者检测部61基于从车外拍摄相机23发送的图像数据检测车辆的周围的交通参与者。具体地，交通参与者检测部61通过对从车外拍摄相机23发送的图像数据进行图像处理，并且确定存在于车辆的周围的人物的面部的存在，从而检测交通参与者。交通参与者包括行人、骑自行车的人以及其他车辆的乘车人。另外，交通参与者检测部61求取从本车辆起直到交通参与者为止的距离以及相对位置。
(1-8-3.周围环境检测部)
周围环境检测部67基于从车外拍摄相机23发送的图像数据检测车辆的周围环境的信息。具体地，周围环境检测部67通过对从车外拍摄相机23发送的包含风景图像的图像数据进行图像处理，使用物体检测的技术，检测从车辆能够看见的特定的风景和/或景观。另外，周围环境检测部67也可以使用由周围环境传感器25所检测的建筑物等的信息，来检测从车辆能够看见的特定的风景和/或景观。进而，周围环境检测部67可以介由车车间通信或者路车间通信、移动通信网等通信手段取得从车外的装置发送的信息，并且确定上述的车辆的周围环境的信息的一部分。另外，周围环境检测部67也可以使用由GPS天线29取得的车辆的位置信息而确定地图数据上的车辆的位置，并且确定上述的车辆的周围的信息的一部分。
(1-8-4.行进方向判定部)
行进方向判定部69基于从GPS天线29发送的车辆的位置信息判定车辆的行进方向。具体地，行进方向判定部69根据车辆的位置的变化来判定车辆的行进方向。由此，确定车辆的行驶过程中的道路以及行进方向。
(1-8-5.驾驶员视线检测部)
在正在检测驾驶员的情况下，驾驶员视线检测部53基于从车内拍摄相机21发送的图像数据检测驾驶员的视线。具体地，驾驶员视线检测部53对从车内拍摄相机21发送的图像数据进行图像处理，并且确定正在检测的驾驶员的面部朝向以及眼睛朝向，从而检测视线。
(1-8-6.驾驶员情绪推定部)
在正在检测驾驶员的情况下，驾驶员情绪推定部55基于从车内拍摄相机21发送的图像数据推定驾驶员的情绪。具体地，驾驶员情绪推定部55利用基于例如FACS理论的表情分析的方法来分析驾驶员的表情的数据而推定驾驶员的情绪。虽然情绪可以根据按每一种例如喜怒哀乐等情绪的种类所规定的等级进行推定，但是在本实施方式中驾驶员情绪推定部55至少推定驾驶员的“喜”或者“乐”等积极的情绪。情绪的推定方法也可以是其他的方法。应予说明，除车内拍摄相机21以外，驾驶员情绪推定部55也可以使用检测脑电波、脉搏、心跳等的生物检测传感器来推定驾驶员的情绪。
(1-8-7.同乘者视线检测部)
在正在检测驾驶员以外的同乘者的情况下，同乘者视线检测部57基于从车内拍摄相机21发送的图像数据检测同乘者的视线。具体地，同乘者视线检测部57对从车内拍摄相机21发送的图像数据进行图像处理，并且确定正在检测的同乘者的面部朝向以及眼睛朝向，从而检测视线。
(1-8-8.同乘者情绪推定部)
在正在检测驾驶员以外的同乘者的情况下，同乘者情绪推定部59基于从车内拍摄相机21发送的图像数据推定同乘者的情绪。具体地，同乘者情绪推定部59利用基于例如FACS理论的表情分析的方法分析同乘者的表情的数据而推定同乘者的情绪。虽然情绪可以根据按每一种例如喜怒哀乐等情绪的种类所规定的等级进行推定，但是在本实施方式中同乘者情绪推定部59至少推定同乘者的“喜”或者“乐”等积极的情绪。情绪的推定方法也可以是其他的方法。应予说明，除车内拍摄相机21以外，同乘者情绪推定部59也可以使用检测脑电波、脉搏、心跳等的生物检测传感器来推定同乘者的情绪。
(1-8-9.交通参与者视线检测部)
在正在检测车辆的周围的交通参与者的情况下，交通参与者视线检测部63基于从车外拍摄相机23发送的图像数据检测交通参与者的视线。具体地，交通参与者视线检测部63对从车外拍摄相机23发送的图像数据进行图像处理，并且确定正在检测的交通参与者的面部朝向以及眼睛朝向，从而检测视线。
(1-8-10.交通参与者情绪推定部)
在正在检测车辆的周围的交通参与者的情况下，交通参与者情绪推定部65基于从车外拍摄相机23发送的图像数据推定交通参与者的情绪。具体地，交通参与者情绪推定部65利用基于例如FACS理论的表情分析的方法分析交通参与者的表情的数据而推定交通参与者的情绪。虽然情绪可以根据按每一种例如喜怒哀乐等情绪的种类所规定的等级进行推定，但是在本实施方式中交通参与者情绪推定部65至少推定交通参与者的“喜”或者“乐”等积极的情绪。情绪的推定方法也可以是其他的方法。
(1-8-11.驾驶员视线方向仰角判定部)
在正在检测驾驶员的情况下，驾驶员视线方向仰角判定部71判定驾驶员的视线的方向以及仰角。具体地，驾驶员视线方向仰角判定部71基于由驾驶员视线检测部53所检测的驾驶员的视线的信息、以及由行进方向判定部69所判定的车辆的行驶位置以及行进方向的信息，来判定驾驶员的视线的方向以及仰角。例如，驾驶员视线方向仰角判定部71基于地图数据上的车辆的位置的信息和驾驶员在车内的位置的信息，来求取地图数据上的驾驶员的位置。驾驶员视线方向仰角判定部71基于所求取的驾驶员的位置的信息和驾驶员的视线的信息，来确定地图数据上的驾驶员的视线的方向，并且算出在三维空间中的驾驶员的视线的仰角，该三维空间以车辆的车长方向为x轴、以车宽方向为y轴、以车高方向为z轴。
(1-8-12.同乘者视线方向仰角判定部)
在正在检测同乘者的情况下，同乘者视线方向仰角判定部73判定同乘者的视线的方向以及仰角。具体地，同乘者视线方向仰角判定部73基于由同乘者视线检测部57所检测的同乘者的视线的信息、以及由行进方向判定部69所判定的车辆的行驶位置以及行进方向的信息，判定同乘者的视线的方向以及仰角。例如，同乘者视线方向仰角判定部73基于地图数据上的车辆的位置的信息和同乘者在车内的位置的信息，求取地图数据上的同乘者的位置。同乘者视线方向仰角判定部73基于所求取的同乘者的位置的信息和同乘者的视线的信息，确定地图数据上的同乘者的视线的方向，并且算出在三维空间中的同乘者的视线的仰角，该三维空间以车辆的车长方向为x轴、以车宽方向为y轴、以车高方向为z轴。
(1-8-13.交通参与者视线方向仰角判定部)
在正在检测车辆的周围的交通参与者的情况下，交通参与者视线方向仰角判定部75判定交通参与者的视线的方向以及仰角。具体地，交通参与者视线方向仰角判定部75基于由交通参与者视线检测部63所检测的交通参与者的视线的信息、以及由行进方向判定部69所判定的车辆的行驶位置以及行进方向的信息，判定交通参与者的视线的方向以及仰角。例如，交通参与者视线方向仰角判定部73基于地图数据上的交通参与者的位置的信息和交通参与者的视线的信息，确定地图数据上的交通参与者的视线的方向，并且算出在三维空间中的交通参与者的视线的仰角，该三维空间以车辆的车长方向为x轴、以车宽方向为y轴、以车高方向为z轴。
(1-8-14.驾驶员注视对象判定部)
在正在检测驾驶员的情况下，驾驶员注视对象判定部81判定驾驶员正在注视的对象。具体地，驾驶员注视对象判定部81基于由驾驶员视线方向仰角判定部71所检测的驾驶员的视线的方向以及仰角的信息、以及由周围环境检测部67所检测的从车辆能够看见的特定的风景和/或景观的信息，判定存在于驾驶员的视线的目的地的注视对象。驾驶员注视对象判定部81也可以一并地参照地图数据存储部31而确定存在于驾驶员的视线的目的地的注视对象。
(1-8-15.同乘者注视对象判定部)
在正在检测同乘者的情况下，同乘者注视对象判定部83判定同乘者正在注视的对象。具体地，同乘者注视对象判定部83基于由同乘者视线方向仰角判定部73所检测的同乘者的视线的方向以及仰角的信息、以及由周围环境检测部67所检测的从车辆能够看见的特定的风景和/或景观的信息，判定存在于同乘者的视线的目的地的注视对象。同乘者注视对象判定部83也可以一并地参照地图数据存储部31而确定存在于同乘者的视线的目的地的注视对象。
(1-8-16.交通参与者注视对象判定部)
在正在检测交通参与者的情况下，交通参与者注视对象判定部85判定交通参与者正在注视的对象。具体地，交通参与者注视对象判定部85基于由交通参与者视线方向仰角判定部75所检测的交通参与者的视线的方向以及仰角的信息、以及由周围环境检测部67所检测的从车辆能够看见的特定的风景和/或景观的信息，判定存在于交通参与者的视线的目的地的注视对象。交通参与者注视对象判定部85也可以一并地参照地图数据存储部31而确定存在于交通参与者的视线的目的地的注视对象。
(1-8-17.视点存储处理部)
视点存储处理部87使视点的数据存储于视点数据库91，上述视点的数据包括当检测到驾驶员、同乘者或者交通参与者的积极的情绪时的地图数据上的本车辆的位置以及与驾驶员、同乘者或者交通参与者的视线关联的信息。具体地，在由驾驶员情绪推定部55判定为驾驶员具有积极的情绪，并且由驾驶员注视对象判定部81判定为存在特定的注视对象的情况下，视点存储处理部87使视点的数据存储于视点数据库91。同样地，在由同乘者情绪推定部59或者交通参与者情绪推定部65判定为同乘者或者交通参与者具有积极的情绪，并且由同乘者注视对象判定部83或者交通参与者注视对象判定部85判定为存在特定的注视对象的情况下，视点存储处理部87使视点的数据存储于视点数据库91。
驾驶员等是否具有积极的情绪，例如可以根据所推定的情绪是否朝“喜”或者“乐”的等级变高的方向变化来进行判定。由此，也能够推定驾驶员等对风景等的兴趣程度。或者，驾驶员等是否具有积极的情绪也可以根据在预定的行驶区间或者步行区间的期间，在所推定的情绪为“喜”或者“乐”的状态下，向特定的方向投以视线的时间的比例来进行判定。进而，交通参与者中的行人或者骑自行车的人物是否具有积极的情绪可以根据在预定的时间，在所推定的情绪为“喜”或者“乐”的状态下，交通参与者中的行人或者骑自行车的人物止步而向特定的方向投以视线的时间的比例来进行判定。
视点的数据作为与视线关联的信息，包括视线的方向以及仰角的信息。另外，视点的数据包括基于来自GPS天线29的输出信号以及地图数据存储部31而确定的地图数据上的车辆的行驶位置的信息。另外，视点的数据包括车辆的乘车人或者交通参与者所注视的风景和/或景观的信息。视点存储处理部87可以使视点的数据与驾驶员等感觉到的“喜”或者“乐”的等级的信息一起进行存储。
另外，视点存储处理部87也可以使视点的数据与驾驶员等具有积极的情绪时的季节、日期或者时刻中的至少一种信息一起进行存储。例如，既有红叶或雪山等那样在限定的季节能够欣赏的景观，也有仅在白天明亮的时段能够欣赏的景观或相反地仅在照明场所等夜晚暗的时段能够欣赏的景观。因而，通过使视点的数据与季节、日期或者时刻等的信息一起进行存储，能够仅在限定的期间或者时段使视点的数据作为视点进行通知。
(1-8-18.通知控制部)
通知控制部95通过控制HMI 43的驱动，对在视点数据库91所存储的视点行驶的车辆的乘车人通知应该关注的方向。具体地，当车辆将在视点行驶时，通知控制部95基于视点数据库91所存储的视点的数据确定在该视点能够成为注视对象的风景和/或景观，并且基于当前的本车辆的位置以及行进方向确定应该关注的方向。此时的应该关注的方向的信息也包含视点的数据所包含的视线的仰角的信息。并且，通知控制部95向车辆的乘车人通知所确定的应该关注的方向。
通知通过例如语音或者显示中的至少某一种方式进行。在进行显示的情况下，为了容易使乘车人注意，优选显示于HUD。通知控制部95可以通过使用HUD而显示表示特定的注视目标的图标和/或图形，来通知应该关注的方向。由此，车辆的乘车人能够直观地知晓应当注视的方向，并且能够提高眺望注视对象的风景和/或景观的切实性。
例如，通知控制部95基于视点数据库91所存储的信息取得地图数据上的存在成为注视对象的风景等的方向的信息，并且求取自地图数据上的本车辆的行驶位置起的注视对象的方向，上述地图数据上的本车辆的行驶位置基于GPS天线29的输出信号而得到。另外，通知控制部95基于视点数据库91所存储的信息求取自地图数据上的当前的本车辆的行驶位置眺望注视对象的情况下的仰角。通知控制部95进行通知以便车辆的乘车人按照所求取的注视对象的方向以及仰角投以视线。此时通知的应该关注的方向并不需要特别地高精度，只要求取得在乘车人向所通知的方向投以视线时注视对象的风景等进入视野即可。
另外，通知控制部95在通知应该关注的方向时，可以一并地通知与注视对象关联的信息。例如，通知控制部95可以对从视点能够看见的风景是怎样的风景，或者在注视对象为名胜的情况下该名胜的解说等信息进行通知。关于从视点能够看见的风景是怎样的风景而言，例如可以学习在视点行驶的过程中所取得的车外拍摄相机23的图像数据中所反映的内容，并且在将该内容文本化的基础上，进行语音或者文本显示。另外，也可以取得与地图数据上的视点的位置对应的名胜等的数据并且进行语音或者文本显示。
图2表示由通知控制部95进行的使用了HUD显示以及语音引导的通知的例子。在图2所示的例子中，通知控制部95在前车窗110上的、眺望注视对象小岛I的驾驶员D的视线与前车窗110交叉的位置显示表示注视目标的标记111。另外，通知控制部95通过语音通知“沿左45°能够看见风光秀丽的小孤岛”。前车窗110上的标记111的显示位置根据自本车辆起的小岛I的方向以及仰角进行设定，该方向以及仰角基于车辆的行驶位置和视点的数据求取而得。由此，驾驶员20通过向标记111的方向投以视线，能够在适当的时机眺望小岛I。标记111也可以是文本显示和/或图标。
通知控制部95不仅可以在本车辆到达视点时通知应该关注的方向，而且也可以在到达视点之前预告应该关注的方向。例如，通知控制部95可以在从本车辆起直到视点为止的距离成为预定距离以下时预告应该关注的方向。或者，通知控制部95也可以在本车辆到达视点的预测时间成为预定时间以下时预告应该关注的方向。进行预告通知的情况下的距视点的距离能适当地进行设定。该距离也可以根据车速而不同。
图3表示使用了HUD显示以及语音引导的预告通知的例子。在图3所示的例子中，通知控制部95在距视点50m处，通过语音通知“如果前进50m则森林消失并且沿左45°能够看见风光秀丽的小孤岛”。另外，通知控制部95在前车窗110上的、到达视点时眺望注视对象的小岛I的驾驶员D的视线与前车窗110交叉的位置显示表示注视目标的标记111。由此，驾驶员20能够预先知晓即将到达视点这一情况、以及在视点应该关注的方向，从而能够降低错过良好的景致的可能性。
另外，通知控制部95还可以基于当前的日期和时刻进行通知。例如，在从视点能够看见的风景等的美观性根据季节变化的情况下，或者在夜间行驶时不能看见风景等的情况下，可以仅在能够看见良好的风景等的适当的时期或者时间，通知在视点应该关注的方向。例如，如图4所示，在夜间行驶时，小岛I在前照灯的照射范围外而不能看见小岛I的情况下，通知控制部95不进行通知。
例如，在使视点的数据与季节、日期或者时刻的信息一起存储的情况下，通知控制部95求取车辆的乘车人或交通参与者对注视对象的风景等具有积极的情绪的时期或者时段，并且设定在该视点处进行通知的期间或者时间。由此，能够抑制尽管进行了通知但是不能看见良好的风景等从而用户的信赖度降低这一情况。
(1-8-19.显示控制部)
显示控制部97将视点的信息显示于在导航显示装置所显示的地图数据上。因而，使用导航系统的驾驶员通过观看导航显示装置的画面能够识别视点。如果能够知晓地图数据上的视点的位置，则通过在该视点处根据由通知控制部95所进行的通知投以视线，能够进一步降低错过良好的景致的可能性。
<2.驾驶辅助装置的工作例>
接着，具体地说明本实施方式的驾驶辅助装置的工作例。以下，将驾驶辅助装置的工作分为基于车辆乘车人的视线的视点数据存储处理、基于交通参与者的视线的视点数据存储处理、以及通知控制处理进行说明。
(2-1.基于车辆乘车人的视线的视点数据存储处理)
图5是表示基于车辆乘车人的视线的视点数据存储处理工作的流程图。
首先，信息处理装置50的乘车人检测部51基于从车内拍摄相机21发送的图像数据进行乘车人检测处理(步骤S11)。例如，乘车人检测部51执行公知的检测人物的面部的处理，从而检测乘车人。接下来，乘车人检测部51检测所检测出的乘车人相对于车辆的相对位置(步骤S13)。例如，乘车人检测部51检测从车内拍摄相机21起到检测出的乘车人为止的距离或者相对位置，从而检测车内的驾驶员或者同乘者的位置。由此，判定检测出的乘车人是驾驶员还是同乘者，并且检测驾驶员或者同乘者相对于车辆的相对位置。
接下来，驾驶员视线检测部53以及同乘者视线检测部57基于从车内拍摄相机21发送的图像数据检测驾驶员或者同乘者的视线(步骤S15)。例如，驾驶员视线检测部53以及同乘者视线检测部57确定检测出的驾驶员或者同乘者的面部朝向以及眼睛朝向，从而检测视线。
接下来，驾驶员情绪推定部55以及同乘者情绪推定部59基于从车内拍摄相机21发送的图像数据推定驾驶员或者同乘者的情绪(步骤S17)。例如，驾驶员情绪推定部55以及同乘者情绪推定部59使用基于FACS理论的表情分析的方法来分析驾驶员或者同乘者的表情的数据，至少推定驾驶员或者同乘者的“喜”或者“乐”等积极的情绪。
接下来，行进方向判定部69基于从GPS天线29发送的车辆的位置的变化来判定本车辆的行进方向(步骤S19)。
接下来，驾驶员视线方向仰角判定部71以及同乘者视线方向仰角判定部73基于驾驶员或者同乘者的视线以及相对于车辆的相对位置的信息、和车辆的行驶位置以及行进方向的信息，来判定驾驶员或者同乘者的视线的方向以及仰角(步骤S21)。具体地，驾驶员视线方向仰角判定部71以及同乘者视线方向仰角判定部73基于驾驶员或者同乘者相对于车辆的相对位置的信息以及车辆的行驶位置的信息，来求取地图数据上的驾驶员或者同乘者的位置。另外，驾驶员视线方向仰角判定部71以及同乘者视线方向仰角判定部73基于该地图数据上的位置的信息、驾驶员或者同乘者的视线的信息、以及车辆的行进方向的信息，来确定地图数据上的驾驶员或者同乘者的视线的方向，并且算出在三维空间中的驾驶员或者同乘者的视线的仰角。
接下来，周围环境检测部67基于从车外拍摄相机23发送的图像数据以及从周围环境传感器25发送的信息，使用公知的物体检测的技术而检测从车辆能够看见的特定的风景和/或景观(步骤S23)。
接下来，驾驶员注视对象判定部81以及同乘者注视对象判定部83基于由驾驶员视线方向仰角判定部71或者同乘者视线方向仰角判定部73所判定的驾驶员或者同乘者的视线的方向以及仰角、以及由周围环境检测部67所检测的从车辆能够看见的风景等的信息，判定存在于驾驶员或者同乘者的视线的目的地的注视对象(步骤S25)。由此，确定驾驶员或者同乘者正在注视的风景和/或景观。
接下来，视点存储处理部87判定正在检测的驾驶员或者同乘者是否具有积极的情绪(步骤S27)。例如，在由驾驶员情绪推定部55或者同乘者情绪推定部59所推定的驾驶员或者同乘者的情绪朝着“喜”或者“乐”的等级变高的方向变化时，视点存储处理部87判定为驾驶员或者同乘者具有积极的情绪。除此之外，视点存储处理部87也可以根据在预定的行驶区间期间，在所推定的情绪为“喜”或者“乐”的状态下向特定的方向投以视线的时间的比例，来判定驾驶员或者同乘者是否具有积极的情绪。
在未判定为驾驶员或者同乘者具有积极的情绪的情况下(S27/“否”)，视点存储处理部87直接使本例程结束并返回步骤S11。另一方面，在判定为驾驶员或者同乘者具有积极的情绪的情况下(S27/“是”)，视点存储处理部87使视点的数据存储于视点数据库91(步骤S29)。例如，视点存储处理部87使包含作为与视线关联的信息的视线的方向以及仰角的信息、地图数据上的车辆的行驶位置的信息、以及驾驶员或者同乘者所注视的风景和/或景观等的信息的视点的数据存储于视点数据库91。
视点存储处理部87也可以使视点的数据与驾驶员或者同乘者呈现积极的情绪时的季节、日期或者时刻的信息一起进行存储。另外，在通过驾驶员注视对象判定部81或者同乘者注视对象判定部83未检测出驾驶员或者同乘者注视的注视对象的情况下，视点存储处理部87可以跳过视点的数据的存储。
信息处理装置50重复执行以上所说明的基于车辆的乘车人的视线的视点数据存储处理的步骤S11～步骤S29的例程。由此，信息处理装置50能够收集驾驶员或者同乘者具有积极的情绪的视点的信息。
(2-2.基于交通参与者的视线的视点数据存储处理)
图6是表示基于交通参与者的视线的视点数据存储处理工作的流程图。
首先，信息处理装置50的交通参与者检测部61基于从车外拍摄相机23发送的图像数据进行交通参与者检测处理(步骤S41)。例如，交通参与者检测部61执行公知的检测人物的面部的处理，从而检测交通参与者。接下来，交通参与者检测部61检测交通参与者相对于车辆的相对位置(步骤S43)。例如，交通参与者检测部61基于从车外拍摄相机23起到检测出的交通参与者为止的距离而检测交通参与者的相对位置。
接下来，交通参与者视线检测部63基于从车外拍摄相机23发送的图像数据检测交通参与者的视线(步骤S45)。例如，交通参与者视线检测部63确定检测出的交通参与者的面部朝向以及眼睛朝向，从而检测视线。
接下来，交通参与者情绪推定部65基于从车外拍摄相机23发送的图像数据推定交通参与者的情绪(步骤S47)。例如，交通参与者情绪推定部65使用基于FACS理论的表情分析的方法来分析交通参与者的表情的数据，并且至少推定交通参与者的“喜”或者“乐”等积极的情绪。
接下来，行进方向判定部69基于从GPS天线29发送的车辆的位置的变化来判定本车辆的行进方向(步骤S49)。
接下来，交通参与者视线方向仰角判定部75基于交通参与者的视线以及相对于车辆的相对位置的信息、和车辆的行驶位置以及行进方向的信息，来判定交通参与者的视线的方向以及仰角(步骤S51)。具体地，交通参与者视线方向仰角判定部75基于交通参与者相对于车辆的相对位置的信息以及车辆的行驶位置的信息，来求取地图数据上的交通参与者的位置。另外，交通参与者视线方向仰角判定部75基于该地图数据上的位置的信息、交通参与者的视线的信息、以及车辆的行进方向的信息，来确定地图数据上的交通参与者的视线的方向，并且算出在三维空间中的交通参与者的视线的仰角。
接下来，周围环境检测部67基于从车外拍摄相机23发送的图像数据以及从周围环境传感器25发送的信息，使用公知的物体检测的技术来检测从车辆能够看见的特定的风景和/或景观(步骤S53)。
接下来，交通参与者注视对象判定部85基于由交通参与者视线方向仰角判定部75所判定的交通参与者的视线的方向以及仰角、以及由周围环境检测部67所检测的从车辆能够看见的风景等的信息，来判定存在于交通参与者的视线的目的地的注视对象(步骤S55)。由此，确定交通参与者正在注视的风景和/或景观。
接下来，视点存储处理部87判定正在检测的交通参与者是否具有积极的情绪(步骤S57)。例如，在由交通参与者情绪推定部65所推定的交通参与者的情绪朝着“喜”或者“乐”的等级变高的方向变化时，视点存储处理部87判定为交通参与者具有积极的情绪。除此以外，视点存储处理部87也可以根据在预定的步行区间期间，在所推定的情绪为“喜”或者“乐”的状态下向特定的方向投以视线的时间的比例，来判定交通参与者是否具有积极的情绪。
在未判定为交通参与者具有积极的情绪的情况下(S57/“否”)，视点存储处理部87直接使本例程结束并返回步骤S41。另一方面，在判定为交通参与者具有积极的情绪的情况下(S57/“是”)，视点存储处理部87使视点的数据存储于视点数据库91(步骤S59)。例如，视点存储处理部87使包含作为与视线关联的信息的视线的方向以及仰角的信息、地图数据上的车辆的行驶位置的信息、以及交通参与者所注视的风景和/或景观等的信息的视点的数据存储于视点数据库91。
视点存储处理部87使视点的数据与交通参与者呈现积极的情绪时的季节、日期或者时刻的信息一起进行存储。另外，在通过交通参与者注视对象判定部85未检测出交通参与者注视的注视对象的情况下，视点存储处理部87可以跳过视点的数据的存储。
信息处理装置50重复执行以上所说明的基于交通参与者的视线的视点数据存储处理的步骤S41～步骤S59的例程。由此，信息处理装置50能够收集交通参与者具有积极的情绪的视点的信息。
(2-3.通知控制处理)
图7是表示通知控制处理的工作的流程图。
首先，通知控制部95基于从GPS天线29发送的位置信息来确定本车辆在地图数据上的行驶位置(步骤S61)。接下来，通知控制部95判断本车辆的行驶位置是否接近视点数据库91所存储的视点(步骤S63)。例如，通知控制部95判断从本车辆的行驶位置起直到视点为止的距离是否处于预定的距离以内，该视点存在于直到所设定的目标地点为止的行驶道路上的前方。在未设定目标地点的情况下，通知控制部95也可以确定本车辆在地图数据上的行驶位置以及行驶的道路，并且判断从本车辆的行驶位置起直到存在于行驶的道路的前方的视点为止的距离是否在预定的距离以内。预定的距离可以是预先所设定的固定值，也可以是依一般道路和高速道路而可变的值，或者是依车速而可变的值。另外，也可以使用预测到达时间代替距离来判定本车辆是否接近视点。
在未判定为本车辆的行驶位置接近视点的情况下(S63/“否”)，通知控制部95返回步骤S61。另一方面，在判定为本车辆的行驶位置接近视点的情况下(S63/“是”)，通知控制部95判断该视点是否是应该向乘车人进行通知的视点(步骤S65)。具体地，判断当前的季节、日期和时刻是否符合由乘车人或者交通参与者在过去具有积极的情绪而作为视点存储的视点的数据所包含的季节、日期和时刻能够设定的季节、日期和时刻。即，步骤S65用于判断正在接近的视点是否是在当前的季节、日期和时刻也能够获得良好的景致的视点。
在未判定为该视点是应该向乘车人通知的视点的情况下(S65/“否”)，通知控制部95返回步骤S61。另一方面，在判定为该视点是应该向乘车人通知的视点的情况下(S65/“是”)，通知控制部95设定用于使应该关注的方向HUD显示于前车窗上的显示位置(步骤S67)。例如，通知控制部95基于视点数据库91所存储的信息取得地图数据上的存在成为注视对象的风景等的方向的信息，并且求取自地图数据上的本车辆的行驶位置起的注视对象的方向，上述地图数据上的本车辆的行驶位置基于GPS天线29的输出信号而得到。另外，通知控制部95基于视点数据库91所存储的信息，求取自地图数据上的当前的本车辆的行驶位置起眺望注视对象的情况下的仰角。通知控制部95将前车窗上的、眺望注视对象的乘车人的视线与前车窗交叉的位置设定为显示位置。
接下来，通知控制部95控制HMI 43的驱动，并且执行向乘车人通知预计即将通过视点这一情况的预告通知处理(步骤S69)。具体地，通知控制部95使标记和/或图标等显示于所设定的前车窗上的显示位置。通知控制部95可以一并地发出语音或者警告音、进行警告显示。特别地，通过使乘车人应该关注的方向显示(AR显示)于前车窗上，乘车人能够直观地识别应该关注的方向。
接下来，通知控制部95判断本车辆的行驶位置是否到达视点数据库91所存储的视点(步骤S71)。例如，通知控制部95判断从本车辆的行驶位置到视点的距离是否成为了数m以内。也可以使用预测到达时间代替距离来判断本车辆是否到达视点。
在未判定为本车辆的行驶位置到达视点的情况下(S71/“否”)，通知控制部95返回步骤S69。另一方面，在判定为本车辆的行驶位置到达了视点的情况下(S71/“是”)，通知控制部95依照步骤S67的处理设定使应该关注的方向HUD显示于前车窗上所用的显示位置(步骤S73)。接下来，通知控制部95依照步骤S69的处理，控制HMI 43的驱动，并且执行向乘车人通知应该关注的方向的通知处理(步骤S75)。通知控制部95可以将到达视点时通知应该关注的方向的情况下的显示内容或者通知内容设为与预告通知不同的显示内容或者通知内容。另外，通知控制部95在通知应该关注的方向时，也可以一并地通知与注视对象关联的信息。例如，通知控制部95可以通知下述的信息，即：从视点能够看见的风景是怎样的风景，或者在注视对象为名胜的情况下该名胜的解说等。
信息处理装置50重复执行以上所说明的通知控制处理的步骤S61～步骤S75的例程。由此，驾驶员在到达景致良好的视点时，能够识别看向哪个方向好这一情况。因而，在车辆的行驶过程中，即使在只能在有限的时间获得良好的景致的情况下，也能够降低错过该景致的可能性。
<3.管理服务器的构成例>
接着，说明管理服务器5的构成例。
图8是表示本实施方式的管理服务器5的构成例的框图。
管理服务器5具备通信装置101、控制部103以及视点数据库105。
通信装置101是用于与搭载于各车辆的驾驶辅助装置10进行通信的接口。通信装置101包括与通信方式的规格相应的接口。通信装置101相当于本发明的第二通信部。
视点数据库105包括作为存储部的RAM等存储元件或者HDD、CD、DVD、SSD、USB闪存、存储装置等存储介质。
控制部103构成为具备例如CPU(Central Processing Unit：中央处理单元)或者MPU(Micro Processing Unit：微型处理单元)等运算处理装置以及GPU(GraphicProcessing Unit：图形处理单元)等图像处理装置。运算处理装置通过执行存储于未图示的存储元件的程序来执行各种运算处理。
控制部103接收从搭载于各个车辆的驾驶辅助装置10发送的视点的信息，并且将其存储于视点数据库105。此时，控制部103可以使视点的信息与车辆的乘车人或者交通参与者感觉到的积极的情绪的等级的信息一起进行存储。
另外，控制部103从各个车辆的驾驶辅助装置10接收车辆的行驶位置的信息。并且，控制部103提取视点数据库105所存储的视点的数据中的、存在于距接收到的行驶位置预定范围内的视点的数据，并且将该提取出的数据向该车辆发送。此时，控制部103也可以按照每个视点将积极的情绪的等级转换为推荐度的等级而发送。
<4.管理服务器的工作例>
接着，具体地说明本实施方式的管理服务器的工作例。以下，将管理服务器的工作分为视点存储处理以及视点信息发送处理进行说明。
(4-1.视点存储处理)
图9是表示视点存储处理工作的流程图。
首先，管理服务器5的控制部103接收从搭载于各个车辆的驾驶辅助装置10发送的视点信息(步骤S101)。此时，控制部103可以一并地接收车辆的乘车人或者交通参与者在各个视点具有的积极的情绪的等级的信息。
接下来，控制部103使所接收的视点信息存储于视点数据库105(步骤S103)。控制部103重复执行视点存储处理的步骤S101～步骤S103的处理。由此，在管理服务器5的视点数据库105中累积在多个车辆中所收集的视点的数据。
(4-2.视点信息发送处理)
图10是表示视点信息发送处理工作的流程图。
首先，控制部103从搭载于各个车辆的驾驶辅助装置10接收各个车辆的行驶位置的信息(步骤S111)。接下来，控制部103判断在所接收的行驶位置的周边是否存在视点数据库105所存储的视点的数据(步骤S113)。例如，控制部103可以判断在距行驶位置的距离处于预先所设定的范围内是否存在所存储的视点的数据。或者，控制部103也可以一并地取得车辆的行驶位置的信息、以及车辆的行进方向或者直到目标地点为止的行驶道路的信息，并且判断在行进方向的前方的预定范围内是否存在视点的数据。
在未判定为在行驶位置的周边存在视点的数据的情况下(S113/“否”)，控制部103返回步骤S111。另一方面，在判定为在行驶位置的周边存在视点的数据的情况下(S113/“是”)，控制部103提取符合的视点，并且将视点的数据发送到该车辆的驾驶辅助装置10(步骤S115)。此时，控制部103可以按每一个视点将积极的情绪的等级转换为推荐度的等级而一并地发送。
从管理服务器5接收了视点的信息的驾驶辅助装置10能够对乘车人通知本车辆的视点数据库91所存储的视点，并且在行驶于从管理服务器5所提供的视点时也能够一并地通知应该关注的方向。因而，即使在初次行驶的地域，也能够降低错过良好的景致的可能性，并且能够在适当的时机欣赏良好的景致。
如以上所说明，根据本实施方式的驾驶辅助装置10以及数据收集系统1，能够收集车辆的乘车人和/或交通参与者具有积极的情绪的视点的信息，并且能够在通过该视点时通知应该关注的方向。因而，即使在能够欣赏良好的景致的时间短的情况下，也不需要在到达该视点之后探索观看的方向，而能够在适当的时机欣赏良好的景致。
另外，根据本实施方式的驾驶辅助装置10，在即将抵达视点前进行预告通知。因而，车辆的乘车人能够事先地知晓将通过视点这一情况，从而能够提高在适当的时机看见良好的景致的切实性。
以上，虽然关于本发明的优选的实施方式参照附图详细地进行了说明，但是本发明并不限于该例子。应予理解的是，只要是具有本发明所属技术领域的通常的知识的人，便能够在权利要求的范围所记载的技术思想的范畴内，想到各种变化例或者修正例这一情况是明了的，关于这些而言，当然也属于本发明的技术范围。
例如，在上述实施方式中，虽然驾驶辅助装置10构成为与管理服务器5通信，并且接收发送视点的信息，但是本发明并不限于该例子。驾驶辅助装置10也可以不是在其与管理服务器5之间接收发送视点的信息，还可以仅由驾驶辅助装置10构成。

Claims (6)

1.一种驾驶辅助装置，其特征在于，具备处理器和存储部，
所述处理器具备：
视线检测部，其检测车辆的乘车人或者所述车辆的周围的交通参与者中的至少一方的视线；以及
情绪推定部，其推定所述车辆的乘车人以及所述交通参与者的情绪，
在由所述情绪推定部所推定的情绪为积极的情绪的情况下，所述存储部存储视点的数据，所述视点的数据包含地图数据上的所述车辆的位置以及与所述乘车人或者所述交通参与者的视线关联的信息，
所述处理器还具备对在所述视点行驶的车辆的乘车人通知应该关注的方向的通知控制部。
2.根据权利要求1所述的驾驶辅助装置，其特征在于，
与所述视线关联的信息包含所述视线的方向以及仰角的信息。
3.根据权利要求1所述的驾驶辅助装置，其特征在于，
所述处理器还具备：
周围环境检测部，其取得从所述车辆能够看见的风景图像的数据；以及
注视对象判定部，其基于与由所述视线检测部所检测的所述视线相关的信息以及由所述周围环境检测部所取得的所述风景图像的数据，判定所述乘车人或者所述交通参与者的注视对象。
4.根据权利要求2所述的驾驶辅助装置，其特征在于，
所述处理器还具备：
周围环境检测部，其取得从所述车辆能够看见的风景图像的数据；以及
注视对象判定部，其基于与由所述视线检测部所检测的所述视线相关的信息以及由所述周围环境检测部所取得的所述风景图像的数据，判定所述乘车人或者所述交通参与者的注视对象。
5.根据权利要求1～4中的任一项所述的驾驶辅助装置，其特征在于，
所述存储部将所述视点数据与推定出所述积极的情绪时的季节、日期或者时刻中的至少一种信息一起进行存储，
所述通知控制部基于所述车辆在所述视点行驶时的日期和时刻进行所述通知。
6.一种数据收集系统，其特征在于，包括搭载于车辆的驾驶辅助装置和能够与所述驾驶辅助装置通信的管理服务器，
所述驾驶辅助装置具备：
处理器；
存储部；以及
第一通信部，
所述处理器包括：
视线检测部，其检测所述车辆的乘车人或者所述车辆的周围的交通参与者中的至少一方的视线；以及
情绪推定部，其推定所述车辆的乘车人以及所述交通参与者的情绪，
所述存储部存储视点的数据，所述视点的数据包含检测出积极的情绪时的地图数据上的所述车辆的位置以及与所述乘车人或者所述交通参与者的视线关联的信息，
所述处理器还包括对在所述视点行驶的车辆的乘车人通知应该关注的方向的通知控制部，
所述第一通信部发送所述视点的数据，
所述管理服务器具备：
数据库，其累积从所述驾驶辅助装置发送的所述视点的数据；以及
第二通信部，其将所累积的所述视点的信息向所述驾驶辅助装置发送。
CN202110284375.5A 2020-04-03 2021-03-17 驾驶辅助装置以及数据收集系统 Pending CN113492864A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-067167 2020-04-03
JP2020067167A JP2021162542A (ja) 2020-04-03 2020-04-03 運転支援装置及びデータ収集システム

Publications (1)

Publication Number Publication Date
CN113492864A true CN113492864A (zh) 2021-10-12

Family

ID=77921286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110284375.5A Pending CN113492864A (zh) 2020-04-03 2021-03-17 驾驶辅助装置以及数据收集系统

Country Status (4)

Country Link
US (1) US11643085B2 (zh)
JP (1) JP2021162542A (zh)
CN (1) CN113492864A (zh)
DE (1) DE102021107562A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2033199B1 (en) * 2022-09-30 2024-04-08 Daf Trucks Nv System for establishing indirect communication between a driver of a vehicle and a road user located nearby the vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008013070A (ja) 2006-07-06 2008-01-24 Toyota Motor Corp 車両用表示装置
JP2012112853A (ja) 2010-11-26 2012-06-14 Fujitsu Ten Ltd 情報処理装置、車載用ナビゲーション装置、及び、情報処理方法
CN113532464A (zh) * 2015-10-08 2021-10-22 松下电器（美国）知识产权公司 控制方法、个人认证装置和记录介质
US10317900B2 (en) * 2016-05-13 2019-06-11 GM Global Technology Operations LLC Controlling autonomous-vehicle functions and output based on occupant position and attention

Also Published As

Publication number Publication date
DE102021107562A1 (de) 2021-10-28
US20210309233A1 (en) 2021-10-07
US11643085B2 (en) 2023-05-09
JP2021162542A (ja) 2021-10-11

Similar Documents

Publication Publication Date Title
US20210357670A1 (en) Driver Attention Detection Method
EP3759700B1 (en) Method for determining driving policy
US9707971B2 (en) Driving characteristics diagnosis device, driving characteristics diagnosis system, driving characteristics diagnosis method, information output device, and information output method
CN106218506B (zh) 车辆显示装置和包括该车辆显示装置的车辆
JP4231884B2 (ja) 注視対象物検出装置および注視対象物検出方法
JP2022519895A (ja) ユーザの注目方向および外観を相関させるシステムおよび方法
US20140211319A1 (en) Head-up display apparatus and method for vehicle
EP3540710A1 (en) Method for assisting operation of an ego-vehicle, method for assisting other traffic participants and corresponding assistance systems and vehicles
CN110544368B (zh) 一种疲劳驾驶增强现实预警装置及预警方法
WO2020145093A1 (en) Display controller, display device, display system, mobile object, image generation method, and carrier means
CN110100153B (zh) 信息提供系统
CN113492849A (zh) 驾驶辅助装置以及数据收集系统
JP2019088522A (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
JP4936060B2 (ja) 車両用走行支援装置
JP6891926B2 (ja) 車両システム、車両システムで実行される方法、および運転者支援システム
CN112954486B (zh) 基于视线注意力的车载视频留痕处理方法
CN113492864A (zh) 驾驶辅助装置以及数据收集系统
JP7433146B2 (ja) 物体検出方法及び物体検出装置
JP2022047580A (ja) 情報処理装置
JP7331728B2 (ja) 運転者状態推定装置
JP7331729B2 (ja) 運転者状態推定装置
KR20160092403A (ko) 차량 운전 보조 장치 및 차량 운전 보조 장치의 제어 방법
JP7270206B2 (ja) 情報提示システム、情報提示方法、プログラム、及び、移動体
JP2023166227A (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP2021140624A (ja) データ収集装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination