CN109835346B - 驾驶建议装置和驾驶建议方法 - Google Patents
驾驶建议装置和驾驶建议方法 Download PDFInfo
- Publication number
- CN109835346B CN109835346B CN201811228308.6A CN201811228308A CN109835346B CN 109835346 B CN109835346 B CN 109835346B CN 201811228308 A CN201811228308 A CN 201811228308A CN 109835346 B CN109835346 B CN 109835346B
- Authority
- CN
- China
- Prior art keywords
- driver
- driving
- fellow passenger
- emotion
- advice
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 230000008451 emotion Effects 0.000 claims abstract description 85
- 239000000284 extract Substances 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 15
- 230000001133 acceleration Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 206010027940 Mood altered Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007510 mood change Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/01—Occupants other than the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/22—Psychological state; Stress level or workload
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/02—Control of vehicle driving stability
- B60W30/025—Control of vehicle driving stability related to comfort of drivers or passengers
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
本发明的驾驶建议装置和驾驶建议方法实现不使同乘者感到不愉快的驾驶。提供一种驾驶建议装置(1000),具备:不愉快操作判定部(300),其根据驾驶员的情绪与同乘者的情绪的差来判断使同乘者感到不愉快的驾驶员的特定的驾驶操作;以及建议生成部(600),其关于所述特定的驾驶操作,根据驾驶员的驾驶特征与同乘者的驾驶特征的差来生成针对驾驶员的建议。根据该构成,由于根据驾驶员的驾驶特征与同乘者的驾驶特征的差来生成针对驾驶员的建议,因此能够实现不使同乘者感到不愉快的驾驶。
Description
技术领域
本发明涉及本驶建议装置和驾驶建议方法。
背景技术
以往,在下述的专利文献1~3中,提出了提取车辆的驾驶员驾驶特征,并根据与其他驾驶员的驾驶特征或者基于其他驾驶员的驾驶特征制作的安全驾驶模式的比较结果来针对驾驶员进行建议的装置。
另外,在下述的专利文献4中,提出有基于生物体信息、图像信息推断驾驶员、同乘者的情绪,并在这些情绪为消极的情况下,在车辆侧进行各种控制以进行改善的装置。
现有技术文献
专利文献
专利文献1:日本特开2009-157685号公报
专利文献2:日本特开2013-69251号公报
专利文献3:日本特开2006-350567号公报
专利文献4:日本特开2016-137871号公报
发明内容
技术问题
然而,在专利文献1~3所记载的技术中,关于进行反映了同乘者的情绪的驾驶建议,并没有任何考虑。因此,具有同乘者感觉到不愉快的驾驶操作得不到改善的问题。
另外,专利文献4所记载的技术并不是以反映同乘者的情绪的方式对驾驶员的驾驶操作进行改善的技术。因此,具有使同乘者感到不愉快的驾驶员的驾驶操作继续进行的问题。另外,专利文献4所记载的技术是在车辆侧进行各种控制来改善消极情绪,因此具有在驾驶未搭载该驾驶控制装置的车辆的情况下,进行了使同乘者不愉快的驾驶操作的问题。
因此,本发明是鉴于上述问题而做出的,本发明的目的在于提供能够实现不使同乘者感到不愉快的驾驶的新型且得到改良的驾驶建议装置和驾驶建议方法。
技术方案
为了解决上述问题,根据本发明的一个观点,提供一种驾驶建议装置,其具备:操作判定部,其根据驾驶员的情绪与同乘者的情绪的差来判定所述驾驶员的特定的驾驶操作;以及建议生成部,其关于所述特定的驾驶操作,基于所述驾驶员的驾驶特征与所述同乘者的驾驶特征的差值,生成针对所述驾驶员的建议。
驾驶建议装置可以具备:情绪推断部,对乘员的情绪进行推断;以及情绪差计算部,基于所述情绪推断部推断出的所述驾驶员的情绪和所述同乘者的情绪,计算所述驾驶员的情绪与所述同乘者的情绪的差。
另外,所述操作判定部可以在产生了所述驾驶员的情绪与所述同乘者的情绪的差的时刻的前后的预定时间内,判定所述特定的驾驶操作。
另外,所述操作判定部可以在所述预定时间内所述驾驶员的驾驶操作有变化的情况下,将该驾驶操作判定为所述特定的驾驶操作。
另外,所述操作判定部可以基于所述预定时间内的车辆的周边状况,判定所述特定的驾驶操作。
另外,驾驶建议装置可以具备:驾驶员操作特征提取部,其基于所述特定的驾驶操作,提取所述驾驶员的所述驾驶特征。
另外,驾驶建议装置可以具备:数据库,其存储所述同乘者的驾驶特征;以及操作特征差值提取部,其从所述数据库提取与所述驾驶员的驾驶特征对应的所述同乘者的驾驶特征,并提取所述驾驶员的驾驶特征与所述同乘者的驾驶特征的所述差值。
另外,所述操作特征差值提取部可以基于提取所述驾驶员的驾驶特征时的表示行驶状态的标签,从所述数据库提取与所述驾驶员的驾驶特征对应的所述同乘者的驾驶特征。
另外,驾驶建议装置可以具备:时刻决定部,其决定输出所述建议的时刻;以及建议输出部,其在所述时刻决定部所决定的时刻输出所述建议。
另外,为了解决上述课题,根据本发明的另一观点,提供一种驾驶建议方法,其中包括:根据驾驶员的情绪与同乘者的情绪的差来判定所述驾驶员的特定的驾驶操作的步骤;以及关于所述特定的驾驶操作,基于所述驾驶员的驾驶特征与所述同乘者的驾驶特征的差值,生成针对所述驾驶员的建议的步骤。
技术效果
根据如上说明的本发明,能够提供能够实现不使同乘者不愉快的驾驶的驾驶建议装置和驾驶建议方法。
附图说明
图1是示出本发明的一实施方式的驾驶建议系统的构成的示意图。
图2是示出情绪推断部基于预先定义了“害怕”这个情绪的面部图像来推断情绪的方法的示意图。
图3是示出由本实施方式的驾驶建议系统进行的处理的流程图。
300 不愉快操作判定部
600 建议生成部
1000 驾驶建议装置
具体实施方式
以下参照附图对本发明的优选实施方式进行详细地说明。在此,在本说明书以及附图中,对于实质上具有相同功能构成的构成要素,标记相同符号,从而省略重复说明。
图1是示出本发明的一实施方式的驾驶建议系统2000的构成的示意图。驾驶建议系统2000构成为具有:驾驶建议装置1000、车辆传感器1100、乘员传感器1300、车外传感器1400、导航装置1500、显示装置1600、扬声器1700。驾驶建议系统2000主要搭载于车辆。
车辆传感器1100包括检测车辆的速度、车辆的加速度、车轴(传动轴等)的角速度、转向角速度(转向角加速度)等车辆信息的各种传感器。另外,车辆传感器1100包括检测加速踏板、制动踏板的踩踏量、踩踏角度、踩踏的力等的传感器,检测方向盘的转向角的传感器。
乘员传感器1300由相机、红外线传感器等构成,用于检测车辆的乘员的面部。另外,乘员传感器1300测定乘员的头、胳膊的动作,视线方向等。在乘员传感器1300由相机构成的情况下,通过将由相机拍摄到的图像进行图像处理,从而获取乘员的面部,乘员的头、胳膊的动作,视线方向等。另外,乘员传感器1300包括获取乘员说话的声音数据的麦克风。
车外传感器1400由立体相机、单反相机、毫米波雷达、红外线传感器等构成,测定本车辆周边的人和/或车辆等的位置、速度。在车外传感器1400由立体相机构成的情况下,立体相机构成为具有一对相机,该一对相机具有CCD传感器、CMOS传感器等的拍摄元件,拍摄车辆外的外部环境,并将拍摄到的图像信息、或者从图像信息提取到的与其他车辆之间的距离和/或速度、标识信息等向驾驶建议装置1000发送。作为一例,立体相机由能够获取颜色信息的彩色相机构成,并设置在车辆的前挡风玻璃的上部。
导航装置1500基于地图信息检索从当前地点到目的地位置的路径。因此,导航装置1500通过全球定位系统(GPS:Global Positioning System)等能够获取车辆的当前位置。另外,导航装置1500存储车辆行驶到当前地点为止所行驶的路径。
显示装置1600向驾驶员显示由驾驶建议装置1000输出的建议。扬声器1700以声音的形式向驾驶员输出驾驶建议装置1000所输出的建议。
如图1所示,驾驶建议装置1000构成为具有:情绪推断部100、情绪差计算部200、不愉快操作判定部300、驾驶员操作特征提取部400、操作特征差值提取部500、建议生成部600、交谈判定部700、操作特征数据库800、建议时刻决定部900、建议输出部950。
在此,图1所示的驾驶建议装置1000的各构成要素能够由电路(硬件)、或者CPU等中央运算处理装置和用于使其发挥作用的程序(软件)构成。
情绪推断部100推断车辆的乘员(驾驶员、同乘者)的情绪。通常,已知人的情绪与面部的特征量之间具有关联性(Facial Action Coding System:面部行为编码系统)。利用该关联性,预先将情绪与面部的特征量的对应关系保存到数据库。情绪推断部100根据相机等的图像获取面部的特征量,并通过与数据库的对应关系进行比较来推断乘员的情绪。
图2是示出情绪推断部100基于预先定义了“害怕”这个情绪的面部图像来推断情绪的方法的示意图。如图2所示,将根据面部的表情的图像信息获取的特征量与对应于各特征量的情绪(等级1~4)进行关联,并预先保存到驾驶建议装置1000所具备的数据库。情绪推断部100将根据由乘员传感器1300获取的乘员的面部的图像信息而得到的特征量与预先保存的图2所示的图像信息的特征量进行对比,从与图2所示的图像信息对应的特征量中提取与乘员的图像信息的特征量的相似度高的特征量,基于与所提取的图像信息的特征量对应的等级来判断乘员的情绪。另外,也可以根据区块匹配等的方法,将从乘员传感器1300获取的乘员的面部的图像信息与预先保存的图2所示那样的该乘员的图像信息进行对比,从图2所示的图像信息中提取与乘员的图像信息相似度高的信息来判定乘员的情绪。在此,在图2中,将所谓“害怕”的情绪以4级的等级进行例示,但对于“惊讶”、“焦虑”、“慌张”等情绪也同样地,可以通过事先将与面部的表情的图像信息对应的特征量与对应于各特征量的情绪进行关联来划分等级,从而能够判定情绪的种类和等级。关于情绪的推断,例如可以使用日本特开2013-216241号公报所记载的方法。
另外,在图2中,将所谓“害怕”的情绪以4级的等级进行了例示,但情绪的等级划分可以进行8个阶段等的细化。另外,例如所谓“害怕”的情绪也可以分类为“害怕”、“不害怕”这两个值的等级。
另外,情绪推断部100也可以基于由乘员传感器1300所包括的麦克风取得的乘员的声音数据来推断乘员的情绪。在该情况下,例如,将声音数据的特征量的变化的图案基于被分类为多个级别的变化图案来进行分类,将进行了分类的声音数据作为教师数据,按照每个特征量的变化图案对发出声音时的说话者的情绪进行推断。作为这样的方法,例如可以使用日本特开2017-111760号公报所记载的方法。
情绪差计算部200计算驾驶员与同乘者的情绪差。情绪差计算部200可以根据由情绪推断部100推断出的情绪的信息是两个值的信息,还是具有等级的多个值的信息,进行不同的处理。情绪差计算部200在由情绪推断部100推断出的情绪的信息是“害怕”、“不害怕”的两个值中的某一个的情况下,将驾驶员与同乘者的情绪进行比较,驾驶员没有感到不愉快(“害怕”、“惊讶”、“焦虑”、“慌张”等情绪)而同乘者感到不愉快时,“不愉快操作特征标志”成立。
另外,在乘员的情绪的信息根据情绪推断部100如图2那样进行了分级的情况下,即使当驾驶员和同乘者都感觉到“害怕”这个情绪时,情绪差计算部200也能够计算出两人的感觉方式的等级之差。例如,在驾驶员感觉到等级2的“害怕”这个情绪,同乘者感觉到等级8的“害怕”这个情绪的情况下,该“害怕”这个情绪的等级差相当于于8-2=6。在该等级差为一定的阈值以上时,情绪差计算部200使“不愉快操作特征标志”成立。在此,阈值为正值,上述的“等级差为一定的阈值以上”的情况意味着同乘者感觉到更“害怕”这个情绪的状况。
在此,在存在多个同乘者的情况下,将评价与驾驶员的情绪的差的对象设定为不愉快等级最高的同乘者,或者事先确定好的一个人,或者在根据乘坐的位置具有优先顺序的状态中选择优先顺序最高的对象。
不愉快操作判定部300判定使同乘者不愉快的驾驶操作。如果情绪差计算部200使“不愉快操作特征标志”成立,则不愉快操作判定部300分析标志成立的时刻的前后的预定时间(例如,几秒钟)的车辆数据、操作量的数据、车辆的周围状况的数据等,考察驾驶员的驾驶操作、车辆的周围的状况是否有变化。这里,在同乘者感觉到不愉快的时刻、使该情绪产生的驾驶操作发生的时刻、或者使该情绪产生的周围的状况发生的时刻未必一致,因此对标志成立时刻的前后的所有数据均进行分析。例如,在同乘者对驾驶员的急加速操作感到害怕的情况下,驾驶员的操作(踩踏加速踏板)在同乘者的情绪变化(正常→害怕)之前的时刻进行。另一方面,在同乘者对驾驶员的制动操作延迟而感到害怕的情况下,驾驶员的操作(踩踏制动踏板)在同乘者的情绪变化(正常→害怕)之后的时刻进行。因此,通过对标志成立的时刻的前后的所有数据均进行分析,从而能够确定同乘者感到“害怕”的情绪所对应的驾驶操作、周围状况。
作为进行分析的数据,列举出与用于车辆驾驶的操作量相关的数据、与车辆动作相关的数据、与车辆的位置关联的数据、与车外信息相关的数据等。
作为与用于车辆行驶的操作量相关的数据,列举出加速踏板和制动踏板的踩踏量、踩踏角度或踩踏的力,或者方向盘的转向角等。这些操作量从车辆传感器1100获取。作为与车辆动作相关的数据,列举出车辆速度、三轴加速度、加加速度(加速度率)、角速度等。这些数据从车辆传感器1100获取。作为与车辆的位置关联的数据,列举出车辆的位置信息、车辆周边的地图信息等。这些数据从导航装置1500获取。作为车外信息,列举出与周围的车辆、行人之间的距离以及位置关系,道路标识,车道线等。这些信息从车外传感器1400获取。驾驶建议装置1000所具备的驾驶操作/状况数据库850按时间顺序存储这些数据。不愉快操作判定部300使用存储在驾驶操作/状况数据库850的这些数据来判定使同乘者不愉快的驾驶操作、或者使同乘者不愉快的车辆周围的状况。
不愉快操作判定部300进行数据分析的结果为在“不愉快操作特征标志”成立的时刻的前后的预定时间内驾驶员的驾驶操作有变化的情况下,判断该操作为“不愉快操作特征标志”的发生起因。作为变化的判定方法,采用基于操作量和变化时间来进行判断的方法。例如,如果是加速操作、制动操作,则为“已从未操作状态转换到操作状态”、“虽然正在操作,但加速器或者制动器开度在单位时间内变化了预定值以上”等的情况,判定为驾驶员的驾驶操作有变化。
不愉快操作判定部300在判定了驾驶操作是否有变化之后,转移到“周围状况的判断”。作为上述的紧急制动、紧急加速等的驾驶操作的变化以外的使同乘者不愉快的驾驶操作,列举出驾驶员没有进行适应于周围的状况(交通规则、习惯等)的行驶。即,在驾驶员的“周围状况的判断”不适当的情况下,将会进行使同乘者不愉快的驾驶操作。
例如列举出本车辆正在以一定的速度行驶而与在前方行驶的前行车辆的车间距离非常近的情况(所谓的与前行车辆会车的状况)、本车辆超过法定速度的情况等。不愉快操作判定部300即使在不认为是上述的“驾驶操作的变化”的情况下,如果“周围状况的判断”不适当,也判断为该驾驶操作是使同乘者不愉快的驾驶操作。
不愉快操作判定部300在进行“周围状况的判断”时,针对由构成车外传感器1400的立体相机的左右一组相机拍摄到的左右1组立体图像对,基于对应的位置的偏移量根据三角测量的原理能够生成并获取与对象物之间的距离信息。同时,不愉快操作判定部300能够从图像信息获取被摄物的位置信息。另外,不愉快操作判定部300针对根据三角测量的原理生成的距离信息,进行周知的分组处理,将进行了分组处理的距离信息与预先设定的三维的立体物数据等进行比较,由此检测立体物数据、车道线数据等。据此,不愉快操作判定部300也能够识别人物、其他车辆、临时停止的标识、停止线、ETC通道等。另外,不愉快操作判定部300能够基于从车辆传感器1100获得的车辆的速度来识别本车辆超过了法定速度。因此,不愉快操作判定部300能够基于识别到的信息进行“周围状况的判断”。
不愉快操作判定部300在不认为是“驾驶操作的变化”且“周围状况判断”为正确的情况下,判断为同乘者不愉快的原因不是驾驶操作。在该情况下,再次进行基于情绪推断部100的一系列的处理。在此,在虽然同乘者感觉到不愉快,但是不认为是“驾驶操作的变化”且“周围状况的判断”正确的情况意味着,适合于例如仅同乘者操作自己的智能手机,对从中得到的信息感到惊讶等的场合。
根据以上的处理,如果不愉快操作判定部300确定了同乘者变得不愉快的驾驶操作(“驾驶操作的变化”或“周围状况的判断”),则驾驶员操作特征提取部400根据“驾驶操作的变化”或者“周围状况的判断”提取“驾驶员的驾驶操作的特征”。
作为“驾驶员的驾驶操作的特征”,例如列举出“加减速的特征”、“转向特征”。作为“加减速的特征”,例如列举出“行驶中的车间距离”、“从制动操作到停车为止的行驶时间”。“行驶中的车间距离”是在前方车辆位于一定值以下的车间距离时,与该车辆的车间距离。另外,“从制动操作到停车为止的行驶时间”是指从开始制动操作起算至停车为止的行驶时间。
另外,作为“转向的特征”例如列举出“车道变更时的所需时间”或“左右转弯时的转向速度”(从车辆进入到十字路口而开始进行转向起算的预定时间内的平均转向角速度)。“车道变更时的所需时间”是指从为了变更车道而开始转向起算到移动到相邻车道且方向盘返回中央为止的时间。另外,如果是转弯行驶中的车道变更,则“车道变更时的所需时间”是从为了车道变更而开始转向起算,到返回到与转弯的曲率对应的适当的转向角为止的时间。另外,“左右转弯时的转向速度”是指车辆进入到十字路口而开始进行转向起算的预定时间内的平均转向角速度。
在此,将提取这些特征时的“周围状况”作为标签而赋予给特征量。对于作为“周围状况”而被赋予的标签,列举出“由于红灯而停车”、“在十字路口右转弯”等。
操作特征数据库800获取并存储“同乘者的驾驶操作的特征”。作为“同乘者的驾驶操作的特征”,与“驾驶员的驾驶操作的特征”相同地,例如列举出“加减速的特征”、“转向的特征”。事先介由该车辆或同等的特征量提取系统提取同乘者的驾驶操作的特征量。在此,在未获得“同乘者的驾驶操作的特征”的情况下,可以代为使用“作为标准的驾驶操作特征”。“作为标准的驾驶操作特征”可以由车辆厂家进行设定,或者可以由从车载信息服务等获取的众多用户的特征量构成。
操作特征差值提取部500提取驾驶员的驾驶操作与同乘者的驾驶操作的不同点。具体地,操作特征差值提取部500通过将驾驶员操作特征提取部400提取到的“驾驶员的驾驶操作的特征”与事先获取而存储于操作特征数据库800的“同乘者的驾驶操作的特征”进行比较,从而提取两者的差。
特征量的差的提取是通过选出对“驾驶员的驾驶操作的特征”和“同乘者的驾驶操作的特征”分别赋予相同标签的情况,并取得数值的差(=驾驶员的驾驶操作的特征量-同乘者的驾驶操作的特征量)而提取。
例如,同乘者在由于交通信号而停车时的驾驶员的制动操作而感到不愉快的情况下,对于被赋予“由于红灯而停车”的标签的“从制动操作起到停车为止的行驶时间”而提取驾驶员与同乘者的差。例如,对于“从制动操作到停车为止的行驶时间”,如果同乘者平均为6秒,驾驶员本次为3秒,则驾驶员与同乘者的差为3-6=-3秒。
建议生成部600决定针对驾驶员的驾驶辅助内容。建议生成部600决定用于以使“驾驶员的驾驶操作的特征”与“同乘者的驾驶操作的特征”的特征量的差消失的方式输出建议的意见。具体地,将“标签”、“特征量”、“差的符号”、“差的绝对值”作为输入内容,并使用意见制作映射图来完成意见。
例如,在上述的例子的情况下,通过输入“标签(=由于红灯而停车)”、“特征量(=从制动操作到停车为止的行驶时间)”、“差的符号(=负)”、“差的绝对值(=3秒)”,从而针对驾驶员,制成“在‘由于红灯而停车’时使‘制动操作’的‘时间’‘提前’。具体地,驾驶员将制动操作提前‘3秒’程度是适当的。”等的意见。
在驾驶建议装置1000所具备的数据库970预先存储有与“标签”、“特征量”、“差的符号”、“差的绝对值”等的输入内容对应的意见。建议生成部600将与这些输入对应的意见从意见数据库970提取而生成意见。
建议时刻决定部900决定将建议生成部600所生成的建议向驾驶员传达的时刻。这里,如果传达建议的时刻有误,则不仅不能顺利地向驾驶员传达,还有可能使乘员感到不愉快。因此,建议时刻决定部900分为需要立刻传达的建议和应进行状况判断后传达的建议,并在适当的时刻传达建议。
首先,需要实时性的情况是与危险直接相关的情况,例如驾驶员忽视了临时停止,或超过了限制速度的情况等属于该情况。另一方面,应预测适当的时刻的情况,考虑有行驶荷重大的状态,乘员在交谈的情况。例如,驾驶员正在紧急制动操作的情况,并不优选作为传达建议的时刻,因此在成为稳定的行驶状态(操作固定且从位置信息可知为进行直线行驶的状况等)后立即进行建议。
是否处于危险的状态,能够基于上述的“周围状况的判断”来进行。另外,行驶荷重能够根据提取“驾驶操作的特征”的功能进行判定。
另外,驾驶员是否正在交谈,能够从乘员的声音来判断。交谈判定部700根据从乘员传感器1300的麦克风获得的乘员的谈话,判断是否正在进行交谈。
建议输出部950在建议时刻决定部900所决定的时刻将建议生成部600所生成的建议输出。输出的建议显示在显示装置1600。另外,输出的建议通过扬声器1700以声音的形式发出。
如以上那样,通过针对同乘者感到不愉快的驾驶操作特征进行驾驶建议,从而能够从根本上改善驾驶员的使同乘者感到不愉快的驾驶操作。另外,同乘者不需要向驾驶员进行直接建议、驾驶指导,因此也能够避免同乘者与驾驶员之间起争执。
图3是示出在本实施方式的驾驶建议系统2000进行的处理的流程图。首先,在步骤S10中,在车辆行驶开始时由乘员传感器1300识别乘员。在接下来的步骤S12中,情绪推断部100基于从乘员传感器1300获得的乘员的表情、声音来推断乘员的情绪。
在接下来的步骤S14中,情绪差计算部200计算驾驶员与同乘者的情绪差。在接下来的步骤S16中,情绪差计算部200基于驾驶员与同乘者的情绪差来判断同乘者的不愉快感是否强烈,在判定为同乘者的不愉快感强烈的情况下使“不愉快操作特征标志”成立,进入到步骤S18。另一方面,在步骤S16中判定为同乘者的不愉快感不强烈的情况下,返回到步骤S12。
如果情绪差计算部200使“不愉快操作特征标志”成立,则在步骤S18中,不愉快操作判定部300判定为是使同乘者不愉快的驾驶操作。在接下来的步骤S20中,驾驶员操作特征提取部400提取驾驶员的驾驶操作的特征。
在接下来的步骤S22中,操作特征差值提取部500提取驾驶员的操作特征与同乘者的操作特征的差值。在接下来的步骤S24中,判定在驾驶员的操作特征与同乘者的操作特征是否存在差,在驾驶员的操作特征与同乘者的操作特征存在差的情况下进入到步骤S26。另一方面,在驾驶员的操作特征与同乘者的操作特征不存在差的情况下,返回到步骤S12。
在步骤S26中,建议生成部600生成用于向驾驶员输出建议的意见。在接下来的步骤S28中,建议时刻决定部900判定将建议传达到驾驶员的时刻是否适当,在将建议传达到驾驶员的时刻适当的情况下进入步骤S30。另一方面,在步骤S28中判定为将建议传达到驾驶员的时刻不适当的情况下,返回到步骤S28。
在步骤S30中,建议输出部950将建议生成部600所生成的建议输出。在接下来的S34中,判定车辆的行驶是否在继续,在车辆的行驶在继续的情况下返回步骤S12。另一方面,在车辆的行驶没有在继续的情况下,结束处理(END)。
如以上说明的那样,根据本实施方式,基于产生了驾驶员与同乘者的情绪差的时刻来判断使同乘者不愉快的驾驶操作,对于已判定的驾驶操作,基于驾驶员与同乘者的不同而向驾驶员生成建议。据此,能够抑制进行使同乘者感到不愉快的驾驶的情况。
以上,参照附图对发明的优选实施方式进行了详细地说明,但本发明并不限定于该例。应予了解,只要是具有本发明所属的技术领域中的普通知识的人,在权利要求所记载的技术构思的范畴内容易想到各种变形例或者修正例是很明显的,这些当然也属于本发明的技术范畴。
Claims (7)
1.一种驾驶建议装置,其特征在于,具备:
情绪推断部,其对驾驶员和同乘者的情绪进行推断;
情绪差计算部,其基于所述情绪推断部推断出的驾驶员的情绪和同乘者的情绪,计算所述驾驶员的情绪与所述同乘者的情绪的差;
操作判定部,其如果所述驾驶员的情绪与所述同乘者的情绪的差为一定的阈值以上,则判定为所述同乘者比所述驾驶员感觉到更不愉快,判定使所述同乘者不愉快的所述驾驶员的特定的驾驶操作;
驾驶员操作特征提取部,其基于所述特定的驾驶操作,提取所述驾驶员的驾驶特征;
数据库,其存储所述同乘者的驾驶特征;
操作特征差值提取部,其从所述数据库提取与所述驾驶员的驾驶特征对应的所述同乘者的驾驶特征,并提取所述驾驶员的驾驶特征与所述同乘者的驾驶特征的差值;以及
建议生成部,其关于使所述同乘者不愉快的所述驾驶员的特定的驾驶操作,基于所述驾驶员的驾驶特征与所述同乘者的驾驶特征的所述差值,生成针对所述驾驶员的建议。
2.如权利要求1所记载的驾驶建议装置,其特征在于,
所述操作判定部在产生了所述驾驶员的情绪与所述同乘者的情绪的差的时刻的前后的预定时间内,判定所述特定的驾驶操作。
3.如权利要求2所记载的驾驶建议装置,其特征在于,
所述操作判定部在所述预定时间内所述驾驶员的驾驶操作有变化的情况下,将该驾驶操作判定为所述特定的驾驶操作。
4.如权利要求2所记载的驾驶建议装置,其特征在于,
所述操作判定部基于所述预定时间内的车辆的周边状况,判定所述特定的驾驶操作。
5.如权利要求1所记载的驾驶建议装置,其特征在于,
所述操作特征差值提取部基于提取所述驾驶员的驾驶特征时的表示行驶状态的标签,从所述数据库提取与所述驾驶员的驾驶特征对应的所述同乘者的驾驶特征。
6.如权利要求1~5中任一项所记载的驾驶建议装置,其特征在于,具备:
时刻决定部,其决定输出所述建议的时刻;以及
建议输出部,其在所述时刻决定部所决定的时刻输出所述建议。
7.一种驾驶建议方法,其特征在于,包括:
对驾驶员和同乘者的情绪进行推断的步骤;
基于推断出的驾驶员的情绪和同乘者的情绪,计算所述驾驶员的情绪与所述同乘者的情绪的差的步骤;
如果所述驾驶员的情绪与所述同乘者的情绪的差为一定的阈值以上,则判定为所述同乘者比所述驾驶员感觉到更不愉快,判定使所述同乘者不愉快的所述驾驶员的特定的驾驶操作的步骤;
基于所述特定的驾驶操作,提取所述驾驶员的驾驶特征的步骤;
提取与所述驾驶员的驾驶特征对应的所述同乘者的驾驶特征,并提取所述驾驶员的驾驶特征与所述同乘者的驾驶特征的差值;以及
关于使所述同乘者不愉快的所述驾驶员的特定的驾驶操作,基于所述驾驶员的驾驶特征与所述同乘者的驾驶特征的所述差值,生成针对所述驾驶员的建议的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017228174A JP6613290B2 (ja) | 2017-11-28 | 2017-11-28 | 運転アドバイス装置及び運転アドバイス方法 |
JP2017-228174 | 2017-11-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109835346A CN109835346A (zh) | 2019-06-04 |
CN109835346B true CN109835346B (zh) | 2023-04-14 |
Family
ID=66442439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811228308.6A Active CN109835346B (zh) | 2017-11-28 | 2018-10-22 | 驾驶建议装置和驾驶建议方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10647326B2 (zh) |
JP (1) | JP6613290B2 (zh) |
CN (1) | CN109835346B (zh) |
DE (1) | DE102018128195A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7116540B2 (ja) * | 2017-11-28 | 2022-08-10 | 株式会社Subaru | 運転アドバイス装置及び運転アドバイス方法 |
JP6713490B2 (ja) * | 2018-02-07 | 2020-06-24 | 本田技研工業株式会社 | 情報提供装置及び情報提供方法 |
JP7100575B2 (ja) * | 2018-12-28 | 2022-07-13 | 本田技研工業株式会社 | 情報処理装置及びプログラム |
US11133002B2 (en) * | 2019-01-14 | 2021-09-28 | Ford Global Technologies, Llc | Systems and methods of real-time vehicle-based analytics and uses thereof |
JP6611972B1 (ja) * | 2019-03-05 | 2019-11-27 | 正通 亀井 | アドバイス提示システム |
JP7151654B2 (ja) | 2019-07-26 | 2022-10-12 | トヨタ自動車株式会社 | 検索装置、学習装置、検索システム、検索プログラム、及び学習プログラム |
CN110525447A (zh) * | 2019-10-09 | 2019-12-03 | 吉林大学 | 一种防商用车驾驶员路怒的人机共驾系统 |
CN110712651A (zh) * | 2019-11-05 | 2020-01-21 | 大陆投资(中国)有限公司 | 用于车内监控的方法和装置 |
JP7375705B2 (ja) * | 2020-08-11 | 2023-11-08 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、およびプログラム |
DE102021118154A1 (de) | 2021-07-14 | 2023-01-19 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | System für ein Kraftfahrzeug und Verfahren zur Abschätzung von Emotionen eines Fahrers eines Kraftfahrzeugs |
JPWO2023188180A1 (zh) * | 2022-03-30 | 2023-10-05 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106652378A (zh) * | 2015-11-02 | 2017-05-10 | 比亚迪股份有限公司 | 用于车辆的驾驶提醒方法、系统、服务器和车辆 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IL125336A0 (en) | 1998-07-14 | 1999-03-12 | Yissum Res Dev Co | Compositions for inhibition and treatment of restinosis |
JP4400424B2 (ja) | 2004-11-12 | 2010-01-20 | 住友ベークライト株式会社 | 樹脂組成物及び樹脂組成物を使用して作製した半導体装置 |
JP4543905B2 (ja) * | 2004-12-02 | 2010-09-15 | 日産自動車株式会社 | 気遣い運転ガイド装置および気遣い運転ガイド方法 |
JP4682714B2 (ja) * | 2005-06-14 | 2011-05-11 | トヨタ自動車株式会社 | 対話システム |
JP2007148917A (ja) * | 2005-11-29 | 2007-06-14 | Aisin Aw Co Ltd | 運転支援装置 |
JP5043633B2 (ja) | 2007-12-27 | 2012-10-10 | 国立大学法人九州大学 | 安全運転促進システム |
JP5272605B2 (ja) * | 2008-09-18 | 2013-08-28 | 日産自動車株式会社 | 運転操作支援装置、及び運転操作支援方法 |
JP5392686B2 (ja) | 2011-09-26 | 2014-01-22 | トヨタ自動車株式会社 | 運転支援装置および方法 |
JP5729345B2 (ja) | 2012-04-10 | 2015-06-03 | 株式会社デンソー | 感情モニタリングシステム |
WO2016035268A1 (ja) * | 2014-09-03 | 2016-03-10 | 株式会社デンソー | 車両の走行制御システム |
JP6083441B2 (ja) * | 2015-01-29 | 2017-02-22 | マツダ株式会社 | 車両用乗員感情対応制御装置 |
US9688271B2 (en) * | 2015-03-11 | 2017-06-27 | Elwha Llc | Occupant based vehicle control |
US20170030726A1 (en) * | 2015-07-31 | 2017-02-02 | International Business Machines Corporation | Selective human emotion metrics for navigation plans and maps |
JP6731718B2 (ja) * | 2015-12-17 | 2020-07-29 | 国立大学法人広島大学 | 乗員の感性向上システム |
JP2017109708A (ja) * | 2015-12-18 | 2017-06-22 | 三菱自動車工業株式会社 | 車両走行支援装置 |
JP6720520B2 (ja) | 2015-12-18 | 2020-07-08 | カシオ計算機株式会社 | 感情推定器生成方法、感情推定器生成装置、感情推定方法、感情推定装置及びプログラム |
JP2017138762A (ja) * | 2016-02-03 | 2017-08-10 | トヨタ自動車株式会社 | 運転者の感情推定装置 |
JP6368957B2 (ja) * | 2016-05-10 | 2018-08-08 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
JP2017228174A (ja) | 2016-06-24 | 2017-12-28 | カシオ計算機株式会社 | 出力装置、出力方法、及びプログラム |
US10322727B1 (en) * | 2017-01-18 | 2019-06-18 | State Farm Mutual Automobile Insurance Company | Technology for assessing emotional state of vehicle operator |
-
2017
- 2017-11-28 JP JP2017228174A patent/JP6613290B2/ja active Active
-
2018
- 2018-10-22 CN CN201811228308.6A patent/CN109835346B/zh active Active
- 2018-10-30 US US16/174,406 patent/US10647326B2/en active Active
- 2018-11-12 DE DE102018128195.1A patent/DE102018128195A1/de active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106652378A (zh) * | 2015-11-02 | 2017-05-10 | 比亚迪股份有限公司 | 用于车辆的驾驶提醒方法、系统、服务器和车辆 |
Also Published As
Publication number | Publication date |
---|---|
US10647326B2 (en) | 2020-05-12 |
JP6613290B2 (ja) | 2019-11-27 |
DE102018128195A1 (de) | 2019-05-29 |
JP2019098779A (ja) | 2019-06-24 |
US20190161088A1 (en) | 2019-05-30 |
CN109835346A (zh) | 2019-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109835346B (zh) | 驾驶建议装置和驾驶建议方法 | |
CN108240819B (zh) | 驾驶辅助装置和驾驶辅助方法 | |
CN108885836B (zh) | 驾驶辅助装置、系统、方法、控制装置、车辆及介质 | |
CN108028015B (zh) | 信息处理装置、信息处理方法和存储介质 | |
EP1754621B1 (en) | Driver assistance system | |
CN111295699B (zh) | 辅助方法以及利用该辅助方法的辅助系统、辅助装置 | |
JP7195161B2 (ja) | 案内システム、案内方法、およびプログラム | |
JP7116540B2 (ja) | 運転アドバイス装置及び運転アドバイス方法 | |
JP2017151703A (ja) | 自動運転装置 | |
US11325589B2 (en) | Vehicle control device | |
JP7226197B2 (ja) | 車両制御装置 | |
JP7198742B2 (ja) | 自動運転車両、画像表示方法およびプログラム | |
JP7376996B2 (ja) | 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム | |
JP2017151704A (ja) | 自動運転装置 | |
US11345354B2 (en) | Vehicle control device, vehicle control method and computer-readable medium containing program | |
JP2022156121A (ja) | 認識度指数設定装置 | |
JP2012103849A (ja) | 情報提供装置 | |
JP7081132B2 (ja) | 情報処理方法及び情報処理装置 | |
CN113474827B (zh) | 交通环境识别装置和车辆控制装置 | |
CN116569236A (zh) | 车辆用辅助装置以及车辆用辅助方法 | |
JP5742180B2 (ja) | 注視点推定装置 | |
JP2024052613A (ja) | 移動体予測装置、交通安全支援システム、及びコンピュータプログラム | |
JP2024052612A (ja) | 交通安全支援システム及びコンピュータプログラム | |
CN117809485A (zh) | 移动体预测装置、学习方法、交通安全辅助系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |