CN113919386A - 情绪推断装置、情绪推断方法以及非暂时性存储介质 - Google Patents

情绪推断装置、情绪推断方法以及非暂时性存储介质 Download PDF

Info

Publication number
CN113919386A
CN113919386A CN202110468176.XA CN202110468176A CN113919386A CN 113919386 A CN113919386 A CN 113919386A CN 202110468176 A CN202110468176 A CN 202110468176A CN 113919386 A CN113919386 A CN 113919386A
Authority
CN
China
Prior art keywords
emotion
evaluation value
correction value
calm
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110468176.XA
Other languages
English (en)
Inventor
市川翠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN113919386A publication Critical patent/CN113919386A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及情绪推断装置、情绪推断方法以及程序，用于即便在表情存在个体差异的情况下也能够高精度地推断情绪。情绪推断装置具有图像取得部、评价值设定部、修正值计算部以及情绪推断部。图像取得部取得用户的面部图像。评价值设定部基于由图像取得部取得的面部图像来对于包括平静状态在内的被分类为多个的情绪分别设定评价值。修正值计算部使用基于图像取得部在平静状态的时机取得的平静时面部图像而设定的评价值来计算修正值。情绪推断部通过对于由评价值设定部设定的评价值反映由修正值计算部计算出的修正值来推断用户的情绪。

Description

情绪推断装置、情绪推断方法以及非暂时性存储介质
技术领域
本公开涉及情绪推断装置、情绪推断方法以及非暂时性存储介质。
背景技术
例如，在国际专利申请公开公报2019/193781号中公开了一种推断用户的情绪的情绪推断装置。在国际专利申请公开公报2019/193781号所公开的装置中，取得针对各个情绪属性的评价值的集合亦即第1评价值组，根据与在比该第1评价值组靠前取得的第2评价值组的关系来执行修正处理。具体而言，在第1评价值组以及第2评价值组中的评价值的差异不超过基准的情况下，通过使针对最高评价值的情绪属性的修正值减少、使其他情绪属性的修正值均衡地增加，从而修正为各情绪的评价值逐渐相等。
在国际专利申请公开公报2019/193781号所公开的装置中，通过修正为各情绪的评价值相等，从而微小的表情的变化被反映于情绪。然而，存在因图像的检测误差等而输出错误的情绪的可能性，在使精度提高的观点上存在改进的余地。
发明内容
本公开获得即便在表情存在个体差异的情况下也能够高精度地推断情绪的情绪推断装置、情绪推断方法以及程序。
第1方式的情绪推断装置具有：图像取得部，取得用户的面部图像；评价值设定部，基于由上述图像取得部取得的面部图像来对于包括平静状态在内的被分类为多个的情绪分别设定评价值；修正值计算部，使用基于上述图像取得部在平静状态的时机取得的平静时面部图像而设定的评价值来计算修正值；以及情绪推断部，通过对于由上述评价值设定部设定的评价值反映由上述修正值计算部计算出的修正值来推断用户的情绪。
在第1方式的情绪推断装置中，由图像取得部取得用户的面部图像。另外，评价值设定部基于由图像取得部取得的面部图像来对于被分类为多个的各情绪分别设定评价值。
这里，情绪推断装置具有修正值计算部，该修正值计算部使用基于图像取得部在平静状态的时机取得的平静时面部图像而设定的评价值来计算修正值。
另外，情绪推断部通过对于由评价值设定部设定的各情绪的评价值反映修正值来推断用户的情绪。这样，通过将平静状态作为用户的表情的基准，并使用基于该平常状态的面部图像而设定的评价值，能够抑制评价值因个体差异而变动。
第2方式的情绪推断装置是在第1方式的基础上完成的，其中，在与上述评价值设定部基于上述平静时面部图像而设定的评价值中的最高的评价值对应的情绪为平静状态以外的其他情绪的情况下，上述修正值计算部将该其他情绪的评价值与平静状态的评价值的差量作为上述修正值。
在第2方式的情绪推断装置中，若与基于平静时面部图像而设定的评价值中的最高的评价值对应的情绪为平静状态以外的其他情绪，则修正值计算部将该其他情绪的评价值与平静状态的评价值的差量作为上述修正值。由此，能够修正用户的平静状态与情绪推断部推断出的一般模型的情绪的误差。其中，这里所说的“其他情绪”例如是指快乐、惊讶、愤怒、悲伤、紧张、疲劳等情绪。
第3方式的情绪推断装置是在第2方式的基础上完成的，其中，在由上述评价值设定部设定了最高的评价值的情绪为上述其他情绪的情况下，上述情绪推断部反映上述修正值，在由上述评价值设定部设定了最高的评价值的情绪为上述其他情绪以外的情绪的情况下，上述情绪推断部不反映上述修正值。
在第3方式的情绪推断装置中，在由评价值设定部设定了最高的评价值的情绪为其他情绪的情况下，反映修正值。由此，能够适当地吸收用户与一般模型的评价值的差量。另一方面，由于在为其他情绪以外的情绪的情况下不反映修正值，所以在为其他情绪以外的情绪的情况下，由情绪推断部基于一般模型的评价值来推断情绪。
第4方式的情绪推断装置是在第3方式的基础上完成的，其中，在被设定了上述最高的评价值的情绪为上述其他情绪的情况下，当和第二高的评价值对应的第二位情绪的评价值与上述其他情绪的评价值的差量和上述修正值相同或者小于上述修正值的情况下，上述情绪推断部将上述第二位情绪推断为用户的情绪。
在第4方式的情绪推断装置中，在为平静状态下接近其他情绪的表情的用户的情况下，若不反映修正值，则会做出错误的推断作为其他情绪。与此相对，通过在第二位情绪的评价值与其他情绪的评价值的差量和修正值相同或者小于修正值的情况下，将第二位情绪作为用户的情绪，从而即便是平静状态的评价值与一般模型不同的用户，也能够更正确地推断情绪。
第5方式的情绪推断装置是在第1方式～第4方式中的任一方式的基础上完成的，其中，在车辆为规定的行驶状态且驾驶员为规定的驾驶状态的情况下，上述图像取得部取得驾驶员的面部图像作为平静时面部图像。
在第5方式的情绪推断装置中，将基于车辆的行驶状态与驾驶员的驾驶状态而取得的面部图像作为平静时面部图像。由此，与仅基于行驶状态以及驾驶状态的一方取得平静时面部图像的情况相比，能够高精度地取得平静状态的面部图像。
第6方式的情绪推断装置是在第5方式的基础上完成的，其中，上述规定的行驶状态是车辆直行的状态。
在第6方式的情绪推断装置中，由于在车辆直行的状态下，驾驶员的视线朝向车辆前方，所以与左右转时等时机相比，能够高精度地取得平静状态的面部图像。
第7方式的情绪推断装置是在第5方式的基础上完成的，其中，上述规定的驾驶状态是驾驶员未说话的状态。
在第7方式的情绪推断装置中，与驾驶员说话的状态相比，在驾驶员未说话的状态下为平静状态的可能性高。由此，能够高精度地取得平静状态的面部图像。
在第8方式的情绪推断方法中，通过处理器取得用户的面部图像，基于所取得的面部图像来对于包括平静状态在内的被分类为多个的情绪分别设定评价值，使用基于在平静状态的时机取得的平静时面部图像而设定的评价值来计算修正值，通过对于所设定的评价值反映计算出的修正值来推断用户的情绪。
第9方式的非暂时性存储介质存储有用于使处理器执行下述情绪推断处理的程序：取得用户的面部图像，基于所取得的面部图像来对于包括平静状态在内的被分类为多个的情绪分别设定评价值，使用基于在平静状态的时机取得的平静时面部图像而设定的评价值来计算修正值，通过对于所设定的评价值反映计算出的修正值来推断用户的情绪。
如以上说明那样，根据本公开所涉及的情绪推断装置、情绪推断方法以及程序，即便在表情存在个体差异的情况下也能够高精度地推断情绪。
附图说明
基于如下附图详细地描述本发明的实施例，其中：
图1是表示实施方式所涉及的情绪推断装置的硬件结构的框图。
图2是表示实施方式所涉及的情绪推断装置的功能结构的框图。
图3是表示实施方式所涉及的情绪推断装置的修正值取得处理的流程的一个例子的流程图。
图4是表示实施方式所涉及的情绪推断装置的情绪推断处理的流程的一个例子的流程图。
图5A是表示通过实施方式所涉及的情绪推断装置推断出的情绪推断结果的简图。
图5B是表示比较例中的情绪推断结果的简图。
图6是表示实施方式所涉及的情绪推断装置的修正值取得处理的流程的其他例子的流程图的一部分。
图7是表示图6的后续的流程图的一部分。
具体实施方式
参照附图对实施方式所涉及的情绪推断装置10进行说明。
如图1所示，本实施方式的情绪推断装置10具备被搭载于车辆的控制部亦即ECU(Electronic Control Unit)12。即，作为一个例子，本实施方式的情绪推断装置10被搭载于车辆。因此，情绪推断装置10的用户成为车辆的乘员。
ECU12构成为包括CPU(Central Processing Unit)14、ROM(Read Only Memory)16、RAM(Random Access Memory)18、储存器20、通信接口22以及输入输出接口24。各结构经由总线26连接为相互能够通信。
作为处理器的CPU14是中央运算处理单元，执行各种程序、控制各部。即，CPU14从作为存储器的ROM16或者作为存储器的储存器20读出程序，将RAM18作为工作区域来执行程序。CPU14根据存储于ROM16或者储存器20的程序来进行上述各结构的控制以及各种运算处理。
ROM16储存各种程序以及各种数据。RAM18作为工作区域暂时地存储程序或者数据。储存器20由HDD(Hard Disk Drive)或者SSD(Solid State Drive)构成，是储存包括操作系统的各种程序以及各种数据的非暂时性存储介质。在本实施方式中，在ROM16或者储存器20中储存有用于取得修正值的修正值取得程序以及情绪推断程序等。
通信接口22是用于供ECU12通过计算机网络进行通信的接口，例如可使用5G、LTE、Wi－Fi(注册商标)、以太网(注册商标)等标准。
在输入输出接口24电连接有车厢内照相机28、车辆周边照相机30、麦克32以及显示面板34。车厢内照相机28是用于拍摄车厢内的乘员的光学照相机，在本实施方式中，作为一个例子，被配设于车辆前部的仪表板并朝向驾驶员。而且，通过车厢内照相机28来拍摄包括驾驶员的面部的影像，并将拍摄到的图像向ECU12发送。
车辆周边照相机30被安装于车厢内或者车辆的骨架等，构成为能够拍摄车辆的周边。在本实施方式中，作为一个例子，由拍摄车辆的前方的光学照相机、以及拍摄车辆的后方的光学照相机这2个光学照相机构成车辆周边照相机30。而且，由车辆周边照相机30拍摄到的车辆前方的图像以及车辆后方的图像被向ECU12发送。
麦克32被设置于车厢内的驾驶位的附近，在本实施方式中，作为一个例子，是朝向驾驶位配置的指向性的麦克。因此，麦克32收集驾驶员说话的声音，将收集到的声音向ECU12发送。另外，由于麦克32具有指向性，所以构成为就坐于副驾驶位等其他座位的乘员说话的声音完全或者几乎不被收集。
显示面板34被配置于仪表板等，向包括驾驶员的乘员显示信息。例如，在显示面板34显示与导航系统相关的信息、与娱乐相关的信息、以及与注意提醒相关的信息等。
(情绪推断装置10的功能结构)
情绪推断装置10使用上述的硬件资源来实现各种功能。参照图2来对情绪推断装置10所实现的功能结构进行说明。
如图2所示，情绪推断装置10构成为包括图像取得部40、周边信息检测部42、评价值设定部44、平静状态检测部46、修正值计算部48以及情绪推断部50作为功能结构。各功能结构通过CPU14读出存储于ROM16或者储存器20的程序并执行来实现。
图像取得部40取得由车厢内照相机28拍摄到的驾驶员的面部图像。另外，周边信息检测部42基于由车辆周边照相机30拍摄到的图像来检测车辆的周边信息。具体而言，周边信息检测部42检测车辆前方以及车辆后方的其他车辆。
评价值设定部44基于由图像取得部40取得的面部图像来对于包括平静状态在内的被分类为多个的情绪分别设定评价值。在本实施方式中，作为一个例子，对于被分类为平静(Neutral)、快乐(Happy)、恼怒(Irritated)、紧张(Nervous)、疲惫(Tired)这5种的情绪分别设定评价值。另外，在本实施方式中，将是各个情绪的概率作为评价值，并正态化为5个评价值的总和为100％。例如，由评价值设定部44设定的评价值的数据用平静：5％、快乐：40％、恼怒：50％、紧张：5％、疲惫：0％等来表示，并作为1个数据向ECU12发送。其中，由评价值设定部44设定评价值的间隔可以为几秒间隔，也可以为几分钟间隔。另外，也可以不为恒定的间隔而在规定的时机设定评价值。评价值的设定方法例如能够采用使用通过人的面部图像与情绪成组的教导数据进行了学习的学习完毕模型的方法。
在车辆为规定的行驶状态且驾驶员为规定的驾驶状态的情况下，平静状态检测部46检测为驾驶员是平静状态。在本实施方式中，作为一个例子，在车辆处于直行的状态且驾驶员是未说话的状态时检测为是平静状态。车辆的状态例如可以根据从车辆周边照相机30取得的车辆前方的图像来判断为车辆处于直行的状态。
驾驶员的状态例如可以根据从麦克32取得的信号来判断为驾驶员是未说话的状态。另外，在其他座位也配设同样的指向性麦克且从任何麦克均未确认到说话的情况下，可以判断为未说话。
修正值计算部48使用基于图像取得部40在平静状态的时机取得的平静时的面部图像、即平静时面部图像而设定的评价值来计算修正值Δ。以下，参照图5A对修正值计算部48涉及的修正值的具体的计算方法进行说明。
图5A中图示的上下2个面部图像中的上侧的面部图像是在由平静状态检测部46检测到的平静状态的时机由图像取得部40取得的平静时面部图像。而且，在平静时面部图像的右边示出了评价值设定部44基于平静时面部图像设定的评价值的数据。
在该评价值的数据中，成为平静：40％、快乐：0％、恼怒：50％、紧张：5％、疲惫：5％。即，尽管为平静状态，但恼怒的情绪的评价值高于平静的情绪的评价值。这样，在与评价值设定部44基于平静时面部图像设定的评价值中的最高的评价值对应的情绪为平静状态以外的其他情绪的情况下，修正值计算部48计算其他情绪的评价值与平静状态的评价值的差量作为修正值Δ。
即，在图5A的例子中，与最高的评价值对应的情绪为恼怒，该恼怒属于其他情绪。因此，修正值计算部48计算恼怒的评价值亦即50％与平静的评价值亦即40％的差量的10％作为修正值Δ。而且，由修正值计算部48计算出的修正值Δ被储存于存储部亦即储存器20。另外，将在平静状态下评价值高于平静的其他情绪为恼怒这一情况储存于储存器20。即，存储其他情绪为恼怒这一情况、和修正值Δ为10％。
如图2所示，情绪推断部50通过对于由评价值设定部44设定的各情绪的评价值反映由修正值计算部48计算出的修正值Δ来推断用户的情绪。以下，参照图5A对情绪推断部50涉及的情绪推断的具体的计算方法进行说明。
图5A所图示的上下2个面部图像中的下侧的面部图像是在规定的时机由图像取得部40取得的面部图像。而且，在该面部图像的右边示出了评价值设定部44设定的评价值的数据。
在该评价值的数据中，成为平静：5％、快乐：40％、恼怒：50％、紧张：5％、疲惫：0％。即，由于恼怒为最高的评价值，所以在反映修正值Δ之前的状态下，恼怒被推断为驾驶员的情绪。
这里，在由评价值设定部44设定了最高的评价值的情绪为其他情绪的情况下，本实施方式的情绪推断部50反映修正值Δ。在图5A的下侧的面部图像的例子中，由于作为其他情绪存储的情绪为恼怒，与被设定为最高的评价值的情绪一致，所以反映修正值Δ。另一方面，在由评价值设定部44设定了最高的评价值的情绪为其他情绪以外的情绪的情况下，情绪推断部50不反映修正值Δ。例如，在作为其他情绪存储的情绪为恼怒、被设定为最高的评价值的情绪为快乐的情况下，不反映修正值Δ。
在和第二高的评价值对应的第二位情绪的评价值与其他情绪的评价值的差量和修正值Δ相同或者小于修正值Δ的情况下，情绪推断部50将第二位情绪推断为用户的情绪。在图5A的下侧的面部图像的例子中，与第二高的评价值对应的第二位情绪为快乐，评价值为40％。因此，与其他情绪亦即恼怒的评价值的差量成为50％－40％＝10％。
这里，由于通过修正值计算部48计算出的修正值Δ为10％，所以成为与评价值的差量相同的值。因此，情绪推断部50反映修正值Δ，将第二位情绪亦即快乐推断为驾驶员的情绪。另一方面，例如在差量为15％的情况下，由于差量大于修正值Δ，所以情绪推断部50将评价值最高的其他情绪推断为驾驶员的情绪。
(作用)
接下来，对本实施方式的作用进行说明。
(修正值取得处理的一个例子)
图3是表示情绪推断装置10涉及的修正值取得处理的流程的一个例子的流程图。通过CPU14从ROM16或者储存器20读出程序，并在RAM18展开、执行，来执行该修正值取得处理。在本实施方式中，作为一个例子，在点火开关接通之后或者在电力被接通之后，按规定的间隔进行修正值取得处理。另外，在登记了修正值Δ的情况下，不进行修正值取得处理直至车辆的驾驶结束为止。即，修正值Δ按每一次的车辆驾驶被登记一次。
如图3所示，CPU14在步骤S102中对车辆的变速挡是否为D挡进行判定。具体而言，CPU14通过接收来自变速挡的信号来判定当前的变速挡。而且，在变速挡为D挡的情况下，CPU14移至步骤S104的处理，在变速挡不为D挡的情况下，CPU14结束修正值取得处理。
在步骤S104中，CPU14使评价值设定部44涉及的评价值的设定处理工作。即，在本实施方式中，在成为车辆能够行驶的状态之后开始评价值的设定。然后，CPU14移至步骤S106的处理。
在步骤S106，CPU14对车辆是否为直行中进行判定。具体而言，在车辆前方的道路根据来自本车辆周边照相机30的信号为无转弯的道路的情况下，CPU14通过平静状态检测部46的功能判定为车辆处于直行中。然后，在判定为车辆处于直行中的情况下，CPU14移至步骤S108的处理。另一方面，在判定为左右转时等车辆不为直行中的情况下、即在判定为处于车辆左右转时以及转弯的行驶中的情况下，CPU14结束修正值取得处理。
在步骤S108中，CPU14对乘员是否未说话进行判定。具体而言，在从麦克32未收集到驾驶员的声音的情况下，CPU14通过平静状态检测部46的功能判定为驾驶员未说话。而且，在判定为驾驶员未说话的情况下，CPU14移至步骤S110的处理。另一方面，在从麦克32收集到驾驶员的声音等而判定为驾驶员说话的情况下，CPU14结束修正值取得处理。
在步骤S110中，CPU14取得评价值。具体而言，CPU14取得通过评价值设定部44的功能而设定的评价值。这里，评价值设定部44基于车辆处于直行的状态且驾驶员未说话的平静状态下的平静时面部图像来设定评价值。
接着，在步骤S112中，CPU14对是否存在评价值高于平静的情绪进行判定。具体而言，对评价值最高的情绪是否为平静以外进行判定。而且，若在步骤S110中取得的各情绪的评价值中存在比平静的评价值高的评价值，则CPU14移至步骤S114的处理。例如，在图5A的上侧的面部图像中，由于恼怒的评价值高于平静的评价值，所以移至步骤S114的处理。另一方面，在不存在比平静的评价值高的评价值的情况下、即在平静的评价值为最高的评价值的情况下，CPU14不取得修正值而结束修正值取得处理。
如图3所示，CPU14在步骤S114中计算修正值Δ，并登记至储存器20。具体而言，通过修正值计算部48的功能计算修正值Δ(修正值计算步骤)。在图5A的上侧的面部图像中，50％－40％＝10％成为修正值Δ。而且，其他情绪为恼怒，修正值Δ被登记为10％。然后，CPU14结束修正值取得处理。
(情绪推断处理的一个例子)
图4是表示情绪推断装置10涉及的情绪推断处理的流程的一个例子的流程图。通过CPU14从ROM16或者储存器20读出程序并在RAM18展开、执行来执行该情绪推断处理。另外，在车辆启动后按几秒～几分钟的间隔执行情绪推断处理。
CPU14在步骤S202中取得图像。具体而言，CPU14通过图像取得部40的功能取得驾驶员的面部图像(图像取得步骤)。
CPU14在步骤S204中设定评价值。具体而言，CPU14通过评价值设定部44的功能并基于驾驶员的面部图像来设定评价值(评价值设定步骤)。其中，在以下的说明中，将在步骤S204中设定的评价值中的最高的情绪的评价值设为Va1，将第二高的情绪亦即第二位情绪的评价值设为Va2。
在步骤S206中，CPU14对修正值Δ是否登记完毕进行判定。而且，在判定为登记了通过修正值计算部48的处理计算出的修正值Δ的情况下，CPU14移至步骤S208的处理。另外，在判定为未登记修正值Δ的情况下，CPU14移至步骤S214的处理。关于步骤S214的处理将后述。
在步骤S208中，CPU14对登记了修正值的情绪的评价值是否最高进行判定。即，当判定为在步骤S204中设定的Va1的情绪为登记修正值时的情绪的情况下，CPU14移至步骤S210的处理。另外，在判定为Va1的情绪与登记修正值时的情绪不同的情况下，CPU14移至步骤S214的处理。关于步骤S214的处理将后述。
在步骤S210中，CPU14对Va1与Va2的差量是否为修正值Δ以下进行判定。而且，在Va1与Va2的差量为修正值Δ以下的情况下，CPU14移至步骤S212的处理。另外，在Va1与Va2的差量大于修正值Δ的情况下，CPU14移至步骤S214的处理。
在步骤S212中，CPU14将与Va2对应的情绪推断为驾驶员的情绪(情绪推断步骤)。例如，在图5A的下侧的面部图像的例子中，Va1成为恼怒的评价值亦即50，Va2成为快乐的评价值亦即40。而且，由于差量的10与修正值Δ相同，所以将与Va2对应的快乐推断为驾驶员的情绪。
另一方面，当在步骤S206中判定为未登记修正值的情况下、当在步骤S208中判定为Va1的情绪与登记修正值Δ时的情绪不同的情况下、以及当在步骤S210中判定为Va1与Va2的差量大于修正值Δ的情况下，CPU14移至步骤S214的处理。而且，在步骤S214中，CPU14将与Va1对应的情绪推断为驾驶员的情绪(情绪推断步骤)。然后，CPU14结束情绪推断处理。
如以上那样，在本实施方式所涉及的情绪推断装置10中，情绪推断部50通过对于由评价值设定部44设定的各情绪的评价值反映修正值Δ来推断用户的情绪。这样，通过将平静状态作为用户的表情的基准，并使用基于该平常状态的面部图像设定的评价值，能够抑制评价值因个体差异而变动。其结果是，即便在表情存在个体差异的情况下，也能够高精度地推断情绪。另外，与仅使用学习完毕模型来推断情绪的情况相比，能够抑制因个体差异引起的表情的推断的错误。
另外，在本实施方式中，若与基于平静时面部图像设定的评价值中的最高的评价值对应的情绪为平静状态以外的其他情绪，则修正值计算部48将其他情绪的评价值与平静状态的评价值的差量作为修正值Δ。由此，能够修正用户的平静状态与情绪推断部50推断出的一般模型的情绪的误差。
并且，在本实施方式中，在由评价值设定部44设定了最高的评价值的情绪为其他情绪的情况下反映修正值。由此，能够适当地吸收用户与一般模型的评价值的差量。另一方面，在由评价值设定部44设定了最高的评价值的情绪为其他情绪以外的情绪的情况下，不反映修正值。因此，可通过情绪推断部50基于一般模型的评价值来推断情绪。
进而，在是平静状态下接近其他情绪的表情的用户的情况下，若不反映修正值Δ，则会错误推断为其他情绪。与此相对，在本实施方式中，在第二位情绪的评价值与其他情绪的评价值的差量与修正值Δ相同或者小于修正值Δ的情况下，将第二位情绪作为用户的情绪。由此，即便是平静状态的评价值与一般模型不同的用户，也能够更准确地推断情绪。参照图5B对该作用进行说明。
图5B是比较例中的情绪的推断方法，是通过评价值设定部44来设定评价值、并将与最高的评价值对应的情绪推断为驾驶员的情绪的方法。这里，驾驶员为平静状态，但面部图像被判断为比一般的模型恼怒。因此，在比较例的情绪的推断方法中，驾驶员的情绪被判断为恼怒。
另一方面，在本实施方式中，在其他情绪以及第二位情绪分别为恼怒与快乐、它们的评价值的差量小于修正值Δ的情况下，能够将第二位情绪亦即快乐推断为驾驶员的情绪。
另外，在本实施方式中，通过将基于车辆的行驶状态与驾驶员的驾驶状态而取得的面部图像作为平静时面部图像，从而与仅基于行驶状态以及驾驶状态的一方而取得平静时面部图像的情况相比，能够高精度地取得平静状态的面部图像。特别是，通过将在车辆处于直行的状态且驾驶员处于未说话的状态下取得的面部图像作为平静时面部图像，与左右转时等时机相比，能够高精度地取得平静状态的面部图像。另外，由于与说话的状态相比，未说话的状态为平静状态的可能性高，所以能够高精度地取得平静状态的面部图像。
此外，在上述实施方式中，作为取得平静时面部图像的条件，是车辆直行的状态且驾驶员未说话的状态，但并不局限于此，可以进一步附加条件来使平静状态的检测精度提高。另外，在上述实施方式中，构成为按每一次的车辆驾驶计算一次修正值Δ并登记，但并不限定于此。例如，也可以采用图6以及图7所示的修正值取得处理。
(修正值取得处理的其他例子)
图6以及图7是表示情绪推断装置10涉及的修正值取得处理的流程的其他例子的流程图。通过CPU14从ROM16或者储存器20读出程序并在RAM18展开、执行，来执行该修正值取得处理。另外，在以下的说明中，针对与在上述实施方式中说明的修正值取得处理同样的处理适当地省略说明。
如图6所示，CPU14与图3的流程图同样地执行步骤S102～步骤S108的处理。而且，当在步骤S108中判断为驾驶员未说话的情况下，CPU14移至步骤S109的处理。
在步骤S109中，CPU14对车间是否为规定以上进行判定。具体而言，CPU14通过周边信息检测部42的功能来测量与由车辆周边照相机30拍摄到的在车辆前方行驶的其他车辆的车间距离。另外，CPU14通过周边信息检测部42的功能来测量与由车辆周边照相机30拍摄到的在车辆后方行驶的其他车辆的车间距离。而且，若本车辆的前后的车间距离为规定以上，则CPU14判定为车间为规定以上并移至步骤S110的处理。
这样，通过增加车间距离作为平静状态的条件，能够高精度地检测平静状态。即，在恼怒的情况等是平静以外的情绪的情况下，与前行车的车间狭窄的情况较多。另外，在被后方车辆催促的情况下也同样，为平静状态以外的情绪的情况较多。因此，通过将车间距离增加至平静状态的条件，能够提高处于平静状态的可能性。
如图7所示，CPU14在步骤S112中对是否存在评价值高于平静的情绪进行判定。而且，若在步骤S110中取得的各情绪的评价值中存在比平静的评价值高的评价值，则CPU14移至步骤S113的处理。
CPU14在步骤S113中计算修正值Δ。接下来，CPU14移至步骤S116的处理，对修正值Δ是否小于规定值进行判定。这里设定的规定值被设定为大幅偏离通常的范围的值。因此，在修正值Δ为规定值以上的情况下，能够判定为误检测了平静状态。
当在步骤S116中修正值Δ小于规定值的情况下，CPU14移至步骤S118的处理，与上述实施方式同样地登记修正值Δ。
另一方面，当在步骤S116中修正值Δ为规定值以上的情况下，CPU14移至步骤S120的处理。而且，CPU14在步骤S120中不登记修正值Δ而结束修正值取得处理。这样一来，能够抑制错误的修正值Δ被登记。
以上，对实施方式所涉及的情绪推断装置10进行了说明，但在不脱离本公开主旨的范围内当然能够以各种方式实施。例如，在上述实施方式中，分类为平静(Neutral)、快乐(Happy)、恼怒(Irritated)、紧张(Nervous)、疲惫(Tired)这5种情绪，但并不限定于此。可以分类为更多的情绪，可以分类惊讶、愤怒以及悲伤等情绪。另外，相反也可以分类为4种以下的情绪。
另外，在上述实施方式中，根据从车辆周边照相机30取得的车辆前方的图像来判断为车辆处于直行的状态，但并不局限于此，也可以通过其他方法来判断为车辆直行。例如，可以检测转向操纵角来判断为车辆处于直行的状态。另外，在利用导航系统设定了行驶路线的情况下，也可以根据行驶路线的信息来判断为处于直行状态。
并且，在上述实施方式中，将驾驶员未说话作为平静状态的条件，但并不限定于此。例如，也可以在驾驶位搭载生物体传感器，通过从该生物体传感器取得心率以及呼吸的状态等信息来判定驾驶员是否为平静状态。
进而，在上述实施方式中，情绪推断部50在Va1与Va2的差量和修正值Δ相同或者小于修正值Δ的情况下将第二位情绪推断为用户的情绪，但并不限定于此。例如，也可以仅在Va1与Va2的差量小于修正值Δ的情况下将第二位情绪推断为用户的情绪。而且，在Va1与Va2的差量和修正值Δ相同的情况下，可以推断为是与Va1对应的情绪和与Va2对应的第二位情绪双方的情绪。
另外，在上述实施方式中，对将情绪推断装置10应用于车辆的情况进行了说明，但并不限定于此。例如当在自家以及医院等中推断用户的情绪的情况下，能够广泛地利用。
并且，在上述实施方式以及变形例中，CPU以外的各种处理器也可以执行由CPU14读入并执行软件(程序)的修正值取得处理以及情绪推断处理。作为该情况下的处理器，可例示FPGA(Field－Programmable Gate Array)等能够在制造后变更电路结构的PLD(Programmable Logic Device)、以及ASIC(Application Specific Integrated Circuit)等具有为了执行特定的处理而设计为专用的电路结构的处理器亦即专用电路等。另外，修正值取得处理以及情绪推断处理可以由这些各种处理器中的1个执行，也可以由相同种类或者不同种类的2个以上处理器的组合(例如，多个FPGA以及CPU与FPGA的组合等)执行。另外，这些各种处理器的硬件构造更具体是使半导体元件等电路元件组合而成的电路。
并且，在上述实施方式中，将储存器20作为存储部，但并不限定于此。例如，可以将各种程序存储于CD(Compact Disk)、DVD(Digital Versatile Disk)以及USB(UniversalSerial Bus)存储器等非暂时性存储介质来流通。另外，程序也可以是经由网络被从外部装置下载的方式。

Claims (17)

1.一种情绪推断装置，其中，具有：
图像取得部，取得用户的面部图像；
评价值设定部，基于由所述图像取得部取得的所述面部图像来对于包括平静状态在内的被分类为多个的情绪分别设定评价值；
修正值计算部，使用基于所述图像取得部在平静状态的时机取得的平静时面部图像而设定的评价值来计算修正值；以及
情绪推断部，通过对于由所述评价值设定部设定的所述评价值反映由所述修正值计算部计算出的所述修正值来推断用户的情绪。
2.根据权利要求1所述的情绪推断装置，其中，
在与所述评价值设定部基于所述平静时面部图像而设定的所述评价值中的最高的评价值对应的情绪为平静状态以外的其他情绪的情况下，所述修正值计算部将该其他情绪的评价值与平静状态的评价值的差量作为所述修正值。
3.根据权利要求2所述的情绪推断装置，其中，
在由所述评价值设定部设定了最高的评价值的情绪为所述其他情绪的情况下，所述情绪推断部反映所述修正值，在由所述评价值设定部设定了最高的评价值的情绪为所述其他情绪以外的情绪的情况下，所述情绪推断部不反映所述修正值。
4.根据权利要求3所述的情绪推断装置，其中，
在被设定了所述最高的评价值的情绪为所述其他情绪的情况下，当和第二高的评价值对应的第二位情绪的评价值与所述其他情绪的评价值的差量和所述修正值相同或者小于所述修正值的情况下，所述情绪推断部将所述第二位情绪推断为用户的情绪。
5.根据权利要求1～4中任一项所述的情绪推断装置，其中，
在车辆为规定的行驶状态且驾驶员为规定的驾驶状态的情况下，所述图像取得部取得驾驶员的面部图像作为平静时面部图像。
6.根据权利要求5所述的情绪推断装置，其中，
所述规定的行驶状态是车辆直行的状态。
7.根据权利要求5或6所述的情绪推断装置，其中，
所述规定的驾驶状态是驾驶员未说话的状态。
8.一种情绪推断方法，其中，
通过处理器取得用户的面部图像，
基于所取得的所述面部图像来对于包括平静状态在内的被分类为多个的情绪分别设定评价值，
使用基于在平静状态的时机取得的平静时面部图像而设定的评价值来计算修正值，
通过对于所设定的所述评价值反映计算出的所述修正值来推断用户的情绪。
9.根据权利要求8所述的情绪推断方法，其中，
在与基于所述平静时面部图像而设定的所述评价值中的最高的评价值对应的情绪为平静状态以外的其他情绪的情况下，通过所述处理器将该其他情绪的评价值与平静状态的评价值的差量作为所述修正值。
10.根据权利要求9所述的情绪推断方法，其中，
在被设定了最高的评价值的情绪为所述其他情绪的情况下，通过所述处理器反映所述修正值，在被设定了最高的评价值的情绪为所述其他情绪以外的情绪的情况下，不通过所述处理器反映所述修正值。
11.根据权利要求10所述的情绪推断方法，其中，
在被设定了所述最高的评价值的情绪为所述其他情绪的情况下，当和第二高的评价值对应的第二位情绪的评价值与所述其他情绪的评价值的差量和所述修正值相同或者小于所述修正值的情况下，通过所述处理器将所述第二位情绪推断为用户的情绪。
12.根据权利要求8～11中任一项所述的情绪推断方法，其中，
在车辆为规定的行驶状态且驾驶员为规定的驾驶状态的情况下，所述处理器取得驾驶员的面部图像作为平静时面部图像。
13.一种非暂时性存储介质，其中，
存储有用于使处理器执行下述情绪推断处理的程序：
取得用户的面部图像，
基于所取得的所述面部图像来对于包括平静状态在内的被分类为多个的情绪分别设定评价值，
使用基于在平静状态的时机取得的平静时面部图像而设定的评价值来计算修正值，
通过对于所设定的所述评价值反映计算出的所述修正值来推断用户的情绪。
14.根据权利要求13所述的非暂时性存储介质，其中，
存储有用于使处理器执行下述情绪推断处理的程序：
在与基于所述平静时面部图像而设定的所述评价值中的最高的评价值对应的情绪为平静状态以外的其他情绪的情况下，将该其他情绪的评价值与平静状态的评价值的差量作为所述修正值。
15.根据权利要求14所述的非暂时性存储介质，其中，
存储有用于使处理器执行下述情绪推断处理的程序：
在被设定了最高的评价值的情绪为所述其他情绪的情况下，反映所述修正值，在被设定了最高的评价值的情绪为所述其他情绪以外的情绪的情况下，不反映所述修正值。
16.根据权利要求15所述的非暂时性存储介质，其中，
存储有用于使处理器执行下述情绪推断处理的程序：
在被设定了所述最高的评价值的情绪为所述其他情绪的情况下，当和第二高的评价值对应的第二位情绪的评价值与所述其他情绪的评价值的差量和所述修正值相同的或者小于所述修正值的情况下，将所述第二位情绪推断为用户的情绪。
17.根据权利要求13～16中任一项所述的非暂时性存储介质，其中，
存储有用于使处理器执行下述情绪推断处理的程序：
在车辆为规定的行驶状态且驾驶员为规定的驾驶状态的情况下，取得驾驶员的面部图像作为平静时面部图像。
CN202110468176.XA 2020-06-23 2021-04-28 情绪推断装置、情绪推断方法以及非暂时性存储介质 Pending CN113919386A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-108272 2020-06-23
JP2020108272A JP7359084B2 (ja) 2020-06-23 2020-06-23 感情推定装置、感情推定方法及びプログラム

Publications (1)

Publication Number Publication Date
CN113919386A true CN113919386A (zh) 2022-01-11

Family

ID=79022350

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110468176.XA Pending CN113919386A (zh) 2020-06-23 2021-04-28 情绪推断装置、情绪推断方法以及非暂时性存储介质

Country Status (3)

Country Link
US (1) US11804075B2 (zh)
JP (1) JP7359084B2 (zh)
CN (1) CN113919386A (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10380254B2 (en) * 2014-09-10 2019-08-13 International Business Machines Corporation Association of an emotional influencer to a post in a social medium
JP6467965B2 (ja) 2015-02-13 2019-02-13 オムロン株式会社 感情推定装置及び感情推定方法
US20170351330A1 (en) * 2016-06-06 2017-12-07 John C. Gordon Communicating Information Via A Computer-Implemented Agent
JP2019101472A (ja) * 2017-11-28 2019-06-24 トヨタ自動車株式会社 感情推定装置
US11373448B2 (en) * 2018-04-04 2022-06-28 Panasonic Intellectual Property Management Co., Ltd. Emotion inference device, emotion inference method, and recording medium
JP6993291B2 (ja) 2018-05-17 2022-01-13 株式会社日立製作所 計算機及び感情推定方法
JP6999540B2 (ja) * 2018-12-28 2022-01-18 本田技研工業株式会社 情報処理装置及びプログラム
US11810373B2 (en) * 2019-09-19 2023-11-07 Mitsubishi Electric Corporation Cognitive function estimation device, learning device, and cognitive function estimation method

Also Published As

Publication number Publication date
US20210397825A1 (en) 2021-12-23
JP7359084B2 (ja) 2023-10-11
JP2022003497A (ja) 2022-01-11
US11804075B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
US10929652B2 (en) Information providing device and information providing method
US10906550B2 (en) Vehicle control apparatus
JP6713490B2 (ja) 情報提供装置及び情報提供方法
EP3889740B1 (en) Affective-cognitive load based digital assistant
US20160171321A1 (en) Determination apparatus and determination method
US20180096699A1 (en) Information-providing device
JP6657415B2 (ja) 情報提供装置、及び移動体
JP2009048307A (ja) 運転支援装置および方法、並びに、プログラム
CN111601736A (zh) 乘客检测装置、乘客检测系统以及乘客检测方法
US11325609B2 (en) Vehicle driving assist system
WO2017217044A1 (ja) 視認方向推定装置
CN113919386A (zh) 情绪推断装置、情绪推断方法以及非暂时性存储介质
US20230404456A1 (en) Adjustment device, adjustment system, and adjustment method
CN111267864B (zh) 信息处理系统、程序和控制方法
CN112025706B (zh) 机器人的状态确定方法及装置、机器人及存储介质
CN114475629A (zh) 座舱调整方法、装置、存储介质、电子设备及车辆
JP2016149014A (ja) 対話装置
JP7536687B2 (ja) 情報提示方法、及び、情報提示装置
US11501561B2 (en) Occupant monitoring device, occupant monitoring method, and occupant monitoring program
US20230401907A1 (en) Information processing device, information processing method, and storage medium
JP2005143895A (ja) 運転者心理状態判定装置
JP2022165339A (ja) エージェント装置
JP2022165338A (ja) エージェント装置
JP2020086816A (ja) 車両制御装置
JP2023092261A (ja) 車両制御装置、車両制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination