CN114084146A - 用于车辆的基于情绪识别的服务提供装置及其控制方法 - Google Patents

用于车辆的基于情绪识别的服务提供装置及其控制方法 Download PDF

Info

Publication number
CN114084146A
CN114084146A CN202011385226.XA CN202011385226A CN114084146A CN 114084146 A CN114084146 A CN 114084146A CN 202011385226 A CN202011385226 A CN 202011385226A CN 114084146 A CN114084146 A CN 114084146A
Authority
CN
China
Prior art keywords
emotion
time
driving condition
determining
currently generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011385226.XA
Other languages
English (en)
Inventor
李珍牟
闵泳彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Motors Corp filed Critical Hyundai Motor Co
Publication of CN114084146A publication Critical patent/CN114084146A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供一种用于车辆的基于情绪识别的服务提供装置及其控制方法,其中提供基于情绪识别的车辆服务的方法包括以下步骤:监控乘员和驾驶状况;当在监控期间识别出乘员的情绪时,将第一情绪和第一驾驶状况中的至少一者与第二情绪和第二驾驶状况中的至少一者进行比较,其中,第一情绪是当前产生的情绪的类型,第一驾驶状况是与作为识别情绪的时间点的第一时间相对应的驾驶状况,第二情绪是与情绪相比先前识别的情绪的类型,第二驾驶状况是与作为识别先前产生的情绪的时间点的第二时间相对应的驾驶状况;以及基于比较的结果,执行确定步骤:将当前产生的情绪确定为瞬时情绪、连续情绪和反复情绪中的一种。

Description

用于车辆的基于情绪识别的服务提供装置及其控制方法
技术领域
本发明涉及一种基于车辆中驾驶员的情绪识别来控制车辆功能的方法,更具体涉及一种用于车辆的基于情绪识别的服务提供方法,以及一种根据驾驶员的情绪形式来确定是否提供服务的装置的控制方法。
背景技术
近年来,人们对用于确定车辆中用户的情绪状态的技术进行了积极的研究。另外,还积极研究了基于所确定的用户的情绪状态来引导车辆中用户的积极情绪的技术。
然而,传统的基于情绪识别的服务只确定车辆中用户的情绪状态是积极的还是消极的,并且仅基于所确定的情绪状态是消极的还是积极的,提供用于调整车辆中部件的输出的反馈。
然而,在行驶时出现情绪之后,驾驶员情绪可能会迅速恢复到中性情绪,情绪可能会持续变化,并且可能反复且频繁地出现特定情绪。因此,就车辆的服务提供而言,如果即使当前的情绪对应于瞬时情绪,也要在检测到情绪时提供服务,则存在以下问题:在提供服务时驾驶员情绪已经恢复到中性情绪,因此对服务的需求较低。
发明内容
本发明的目的在于提供用于车辆的基于情绪识别的服务及其控制方法,以便通过进一步考虑情绪形式以及情绪类型来确定是否提供服务。
特别地,本发明提供一种用于车辆的基于情绪识别的服务及其控制方法,以便根据情绪形式有效地确定需要实际提供服务的情绪。
本发明的其他优点、目的和特征将在下面的描述中部分地阐述,并且对于本领域普通技术人员而言,在检验下述内容后本发明的其他优点、目的和特征将变得部分地显而易见,或者本发明的其他优点、目的和特征可以从本发明的实践中获悉。通过在书面说明书和权利要求书以及附图中具体指出的结构可以实现并且获得本发明的目的和其它优点。
为了实现这些目的和其它优点,并且根据本发明的目的,如在此所体现和宽泛描述地,公开一种提供基于情绪识别的车辆服务的方法,该方法包括以下步骤:监控乘员和驾驶状况;当在监控期间识别出乘员的情绪时,将第一情绪和第一驾驶状况中的至少一者与第二情绪和第二驾驶状况中的至少一者进行比较,其中,第一情绪是当前产生的情绪的类型,第一驾驶状况是与作为识别该情绪的时间点的第一时间相对应的驾驶状况,第二情绪是与该情绪相比先前识别的情绪的类型,第二驾驶状况是与作为识别先前产生的情绪的时间点的第二时间相对应的驾驶状况;以及基于比较的结果,将当前产生的情绪确定为瞬时情绪、连续情绪和反复情绪中的一种。
在本发明的另一方面,提供一种用于提供基于情绪识别的车辆服务的装置,该装置包括:情绪识别器,被配置成确定乘员的情绪;驾驶状况确定器,被配置成监控驾驶状况;以及情绪形式确定器,被配置成:当情绪识别器识别出乘员的情绪时,将第一情绪和第一驾驶状况中的至少一者与第二情绪和第二驾驶状况中的至少一者进行比较,并且根据比较的结果,将当前产生的情绪确定为瞬时情绪、连续情绪和反复情绪中的一种,其中,第一情绪是当前产生的情绪的类型,第一驾驶状况是与作为识别该情绪的时间点的第一时间相对应的驾驶状况,第二情绪是与该情绪相比先前识别的情绪的类型,第二驾驶状况是与作为识别先前产生的情绪的时间点的第二时间相对应的驾驶状况。
附图说明
对本发明提供进一步理解的附图并入本申请中并构成其一部分,在附图中示出了本发明的实施方式,并且与具体描述一起用于解释本发明的原理,在附图中:
图1是示出根据本发明实施方式,用于提供基于情绪识别的车辆服务的装置的示例的图;
图2是示出根据本发明实施方式,提供基于情绪识别的服务的程序的示例的流程图;
图3是用于说明根据本发明实施方式,用于确定情绪形式的标准的图;
图4是示出根据本发明实施方式,确定情绪形式的示例的图;
图5A至图5C示出根据本发明实施方式,确定情绪形式的实验例;
图6是用于说明根据本发明另一实施方式,用于确定情绪形式的标准的图;以及
图7是示出根据本发明另一实施方式,提供基于情绪识别的服务的程序的示例的流程图。
具体实施方式
参照附图详细描述本发明的示例性实施方式,使得本领域普通技术人员可以容易地实现。然而,本发明可以以各种不同的形式实现,并且不限于这些实施方式。为了清楚地描述本发明,从附图中省略了与描述无关的部分,并且在整个说明书中相同的附图标记表示相同的元件。
另外,除非有相反的披露,否则当某一部件“包括”某一组件时,意味着该部件还可以包括其它组件,而不必排除其它组件。在整个附图和说明书中使用相同的附图标记表示相同的部件。
为了在更重要时间、更有效地响应于车辆乘员(例如,驾驶员)的情绪来提供服务,本发明的实施方式可以在通过进一步考虑情绪形式以及情绪类型来识别情绪的特定方式时提供服务。
适用于本发明实施方式的情绪形式可以包括瞬时情绪、连续情绪和反复情绪。
连续情绪是指在一个驾驶状况事件持续的情况下同时或连续出现多种情绪的情况。连续出现各种情绪的示例可以包括:驾驶员在交谈时同时或连续表达大笑、悲伤和后悔之类的情绪的情况。在这种情况下,可以将实际的驾驶员情绪分析为单位时间内的情绪变化,并将其作为事件发生的一种情绪进行处理,而不是对情绪进行多次处理。另外,在通过在情绪发生后立即识别连续情绪来提供相关服务的情况下,该服务是在情绪变化的中间提供的,这可能会给用户带来不适,因此,对于连续情绪而言,需要在情绪结束时提供情绪分析结果并执行相关服务。
反复情绪是指相同情绪在较小的时间间隔内再次出现的情况。反复情绪的示例可以包括:驾驶员由于连续巡航(以恒定速度驾驶)而感到无聊或困倦之后,无论驾驶状况如何,都反复地感到无聊或困倦的情况;以及驾驶员因在行驶时前方车辆突然停止而感到惊讶之后,无论驾驶状况如何,驾驶员都变得对其他车辆的运动敏感的情况。从人工情绪建模领域的研究中可以看到以下现象:出现过一次的情绪,即使在情绪的原因不再存在之后也被反复地表达,并且在行驶情况中可看到现有研究结果的心理现象:关于过去刺激的记忆是刺激新情绪的来源。
另外,瞬时情绪是指与反复情绪或构成连续情绪的情绪不对应的个别情绪。
在下文中,将描述根据本发明实施方式的基于情绪识别的服务提供装置及其控制方法。在下面的描述中,将情绪识别的目标假定为车辆乘员中的驾驶员,但是这是为了便于描述,实际上,不用说,对于本领域普通技术人员显而易见的是,在不超过与下面描述不矛盾的范围的情况下,无论驾驶车辆的角色如何,均向作为情绪识别的目标的任意乘员提供基于情绪的服务。
图1是示出根据本发明实施方式,用于提供基于情绪识别的车辆服务的装置的示例的图。
参照图1,用于提供基于情绪识别的车辆服务的装置可以包括:情绪识别器110,用于识别驾驶员情绪;服务提供确定器120,用于基于通过情绪识别器110识别的驾驶员情绪、驾驶状况及先前的确定历史来确定情绪形式,并且根据情绪形式来确定是否提供服务;以及输出单元130,用于根据服务提供确定器120的确定而在车辆中提供服务。
首先,情绪识别器110可以包括:信息获取器111、预处理器112、特征提取器113、情绪分类器114,以及基本情绪确定器115。
信息获取器111可以包括用于获取至少包含驾驶员面部的图像的摄像机。根据情绪识别方法,信息获取器111还可以包括:用于接收驾驶员声音的麦克风或者生物传感器(例如,心率传感器)以及摄像机。
预处理器112可以针对通过信息获取器111获取的信息来执行校正和噪声去除。例如,预处理器112可以通过预处理,针对通过摄像机获取的图像的原始数据,来执行图像质量校正和噪声去除。
特征提取器113可以对特征点进行特征提取,以作为从预处理的图像中确定情绪、运动等的基础。
用于情绪特征提取的技术可以宽泛地包括三种方法。一种方法是通过对整个面部的图像中的像素值的强度建模或表达来提取特征的整体方法。另一种方法是通过搜索面部中的特征的几何排列和位置来提取特征的几何方法。另外,还可以应用通过组合整体方法和几何方法而形成的主动外观模型(active appearance model,AAM)。这些特征提取方法中的一个或多个可以通过特征提取器113来实现。
然而,这些特征提取方法仅仅是示例性的,并且本发明不限于此,因此特征提取方法可以是任何方法,只要该方法是提取用于确定情绪的特征的方法即可。
情绪分类器114可以基于所提取的特征的模式的分类,将给定图像中的表情分类为情绪状态。
情绪分类器114可以使用以下各种方法来分类情绪,包括:使用预定义条件概率的贝叶斯网络、K近邻算法、人工神经网络等。
基本情绪确定器115可以将分类的情绪状态最终确定为预设类型的基本情绪。在此,基本情绪可以包括由P.Ekman提出的、基于面部表情分类的六种情绪:痛苦、愤怒、快乐、厌恶、悲伤和惊讶。然而,这也仅仅是示例性的,并且可以以不同的方式设置基本情绪的类型和数量。例如,根据本实施方式的基本情绪不但包括P.Ekman的六种基本情绪,还可以包括困倦、烦躁(contempt)、无聊等。
服务提供确定器120可以包括驾驶状况确定器121、情绪形式确定器122以及存储器123。
驾驶状况确定器121可以根据道路或交通状况来确定驾驶状况,例如,在拥堵路段中驾驶、巡航、突然停车或在弯曲路段中驾驶,以及驾驶员的车辆操纵。驾驶状况确定器121还可以确定与交通状况或车辆操纵无关的驾驶员情况(例如,打电话或与乘员交谈)。为此,驾驶状况确定器121可以从各种车辆传感器(车速传感器或加速度传感器)、用于提供道路信息和交通量信息的导航系统、主机单元(head unit)等获取确定驾驶状况所需的信息。
当情绪识别器110识别基本情绪时,情绪形式确定器122可以考虑相应时间点的驾驶状况、先前情绪、识别到先前情绪的时间点或者识别到先前情绪时的驾驶状况中的至少一者,来确定当前识别的情绪对应于瞬时情绪、连续情绪还是反复情绪。情绪形式确定器122可以基于情绪形式,确定是否提供与包含在所识别的情绪形式中的情绪或代表情绪相对应的服务。
每当情绪识别器110识别出情绪时,存储器123可以存储所识别的情绪的类型和形式,以及识别到情绪时的驾驶状况。
当通过服务提供确定器120确定提供与所识别的情绪相对应的服务时,输出单元130可以通过用于通过视觉输出提供服务的显示器131、用于通过听觉输出提供服务的扬声器132、用于通过振动输出提供服务的振动输出单元133等,提供相应形式的服务。
例如,当提供与无聊相对应的服务时,输出单元130可以通过扬声器132输出具有快节奏的音乐。在另一示例中,当提供与惊讶相对应的服务时,输出单元130可以通过显示器131提供用于引导深呼吸的图像。不用说,提供服务的形式仅仅是示例性的,并且只要服务对应于所识别的驾驶员的情绪,就可以提供任何服务。
在下文中,将基于装置的上述配置来描述根据实施方式提供服务的过程。
图2是示出根据本发明实施方式,提供基于情绪识别的服务的程序的示例的流程图。
参照图2,首先,可以监控驾驶员和驾驶状况(S210)。例如,可以捕获包含驾驶员的面部的图像,基于通过情绪识别器110捕获的图像来确定驾驶员情绪,并且驾驶状况确定器121可以监控驾驶状况。
当情绪识别器110确定在监控驾驶状况时出现情绪时(S220中为“是”),情绪形式确定器122可以搜索存储器123,并且确定是否在出现先前情绪后的预设时间T内出现当前情绪(S230)。
当在预设时间T之后出现先前情绪时(S230中为“否”),情绪形式确定器122可以将当前情绪的形式确定为瞬时情绪(S260),并且可以将当前情绪出现的时间、类型(即,基本情绪的类型)以及相应时间点的驾驶状况的信息存储在存储器123中(S290)。
相反地,当在预设时间T内出现先前情绪时(S230中为“是”),情绪形式确定器122可以确定出现当前情绪时的驾驶状况与先前情绪出现时的驾驶状况是否相同(S240)。
作为确定结果,当从出现先前情绪开始的预设时间内在相同驾驶状况中出现当前情绪时,情绪形式确定器122可以确定:先前情绪和当前情绪被包含在连续情绪中,并且可以确定连续情绪的代表情绪(S270)。例如,情绪形式确定器122可以通过将关于先前情绪的信息与关于新情绪的信息组合,生成一种代表性的情绪类型。可以将包含在连续情绪中的多个情绪中最频繁出现的情绪确定为代表情绪,在情绪具有相同频率的情况下,可以将积极情绪确定为代表情绪,或者可以根据预设的代表情绪的预设优先级来确定代表情绪,但是本发明不限于此。例如,可以主要基于出现情绪的频率来确定候选代表情绪,可以通过预先应用各个候选代表情绪的情绪大小以确定情绪的平均大小来确定代表情绪,并且还可以将权重应用至各种驾驶状况的不同情绪。
当确定当前情绪是连续情绪时,情绪形式确定器122可以将出现代表情绪的时间点、代表情绪的类型以及关于此时驾驶状况的信息存储在存储器123中(S290)。
当从出现先前情绪起的预设时间内出现当前情绪但驾驶状况不同时,情绪形式确定器122确定先前情绪与当前情绪是否为相同类型的情绪(S250)。
当确定先前情绪和当前情绪是相同类型的情绪时(S250中为“是”),情绪形式确定器122可以将当前情绪确定为反复情绪,并且可以通过输出单元130提供与当前情绪的类型相对应的服务(S280)。不用说,在反复情绪的情况下,可以将关于当前情绪出现的时间点、当前情绪的类型以及相应时间点的驾驶状况的信息,存储在存储器123中(S290)。
相反地,在当前情绪是在出现先前情绪之后的预定时间内出现的情绪时,或者在当前情绪的驾驶状况和类型这两者均与先前情绪的不同时(S250中为“否”),可以将当前情绪处理为瞬时情绪(S260),并且将相关信息存储在存储器123中(S290)。
在下文中,将参照图3至图5C更详细地描述确定情绪形式的方法。
图3是说明根据本发明实施方式的用于确定情绪形式的标准的图。在图3中,横轴表示车辆开始行驶后经过的时间,而纵轴表示情绪的大小。
参照图3,在部分1中,示出了驾驶员因突然的车辆停止而感到惊讶之后对驾驶状况变得敏感并且反复感到惊讶的一个示例。最初发生的惊讶情绪310被处理为临时出现的情绪,但是在预设阈值时间T内再次出现的惊讶情绪320是与惊讶情绪310不同驾驶状况下发生的相同情绪,因此,可以将惊讶310和惊讶320处理为反复情绪,并且车辆可以提供与情绪相对应的服务,并且在反复地识别到该情绪时执行车辆控制。
附图在部分2中示出在驾驶员与乘员之间交谈的情况下,在阈值时间T内连续出现各种情绪的示例。在这种情况下,可以集成驾驶员与乘员之间继续交谈的驾驶状况中的所有情绪变化,并且处理为一种情绪变化。在部分2中,高兴的情绪出现的频率是最高的,因此可以将情绪变化作为单次出现的高兴(高兴作为代表情绪)来处理。
在部分2中也出现惊讶情绪330,但是这是在与最后出现的惊讶情绪320相比经过阈值时间T之后出现的,因此即使驾驶状况彼此不同,也可以不将惊讶330作为反复情绪处理。
图4是示出根据本发明实施方式,确定情绪形式的示例的图。
与图3类似,在图4中,纵轴表示情绪的大小,横轴表示车辆开始行驶后经过的时间。然而,与图3相比,在图4中,在曲线图下方还示出了驾驶状况和情绪形式。
参照图4,即使在行驶时识别到对应于瞬时情绪的烦躁和惊讶,也可以不执行车辆控制和服务提供。
相反地,在曲线图中,当识别到无聊(其为连续情绪的代表情绪)并且在阈值时间T内再次识别到无聊时,可以处理为反复情绪,并且可以提供服务。在这种情况下,由于驾驶员在交通拥堵中感到一次无聊,然后驾驶员在交通拥堵之后的巡航期间反复地感到无聊,因此提供的服务可以是推荐和播放音乐,以便克服无聊,但是本发明不限于此。
图5A至图5C示出根据本发明实施方式,确定情绪形式的实验例。
首先,参照图5A,出现交通拥堵,驾驶员经历烦躁情绪(烦躁1),然后即使在不存在交通拥堵的情况下也检测到反复的烦躁情绪(烦躁2)。当在阈值时间内出现烦躁1和烦躁2时,可以将烦躁处理为反复情绪,并且提供与烦躁相对应的服务。
参照图5B,当驾驶员在巡航情况下感到困倦(困倦1),然后即使在阈值时间内没有巡航的情况下也检测到反复的困倦(困倦2)时,可以将困倦作为反复情绪处理,并且可以提供与困倦相对应的服务(例如,打开窗户、空调的操作或多媒体播放)。
参照图5C,当驾驶员与乘员之间继续交谈时,检测到连续出现情绪变化。在这种情况下,可以提取连续情绪的代表情绪,并且将连续情绪处理为一个代表情绪。
根据本发明的另一实施方式,用于处理连续情绪的先前情绪和当前情绪的时间间隔的阈值时间和用于处理重复情绪的先前情绪和当前情绪的时间间隔的阈值时间,可被设置得不同,后面将参照图6和图7进行描述。
图6是说明根据本发明另一实施方式,用于确定情绪形式的标准的图。
参考图6,可以将第一阈值时间T1(用于处理连续情绪的先前情绪与当前情绪之间的时间差),设置成与第二阈值时间T2(用于处理反复情绪的先前情绪与当前情绪之间的时间差)不同。
在此,第一阈值时间可被设置成比第二阈值时间短。这是因为连续情绪通常在短时间内出现,但是与连续情绪相比,反复情绪以较长的时间间隔出现。这样,当T1和T2被设置得不同时,如图7所示,可以修改上述参照图2提供基于情绪识别的服务的程序。
图7是示出根据本发明另一实施方式,提供基于情绪识别的服务的程序的示例的流程图。
图7与图2的不同之处在于,图2的操作步骤S230被分成图7中的操作步骤S230A和S230B。除了该区别之外,图7与图2相似,因此将基于该区别进行描述。
参照图7,当在监控驾驶员和驾驶状况期间(S210)出现情绪时(S220中为“是”),可以确定当前情绪是否在先前情绪出现之后的T1内出现(S230A)。当在T1内出现当前情绪(S230A中为“是”)时,如图2所示,确定出现当前情绪的驾驶状况是否与先前情绪的驾驶状况相同(S240)。
相反地,当在先前情绪经过T1之后出现当前情绪时(S230A中为“否”),情绪形式确定器122确定当前情绪是否是在先前情绪发生的T2内出现(S230B)。
当在T2内出现当前情绪时(S230B中为“是”),情绪形式确定器122确定当前情绪是否与先前情绪相同(S250),并且当经过T2时(S230B中为“否”),情绪形式确定器122可以将当前情绪处理为瞬时情绪(S260)。
剩余的过程类似于图2的过程,因此为了清楚起见,将省略重复描述。
如上配置的与本发明的至少一个实施方式相关的用于提供基于情绪识别的车辆服务的装置,可以通过进一步考虑情绪形式,确定是否提供服务。
具体地,根据本发明,可以根据情绪形式来区分连续情绪和反复情绪,并且可以提供与之相应的服务。
本领域技术人员应该理解,本发明可以实现的效果不限于以上已经具体描述的,并且从详细描述中将更加清楚地理解本发明的其他优点。
上述本发明还可以实施为存储在计算机可读记录介质(例如,非暂时性计算机可读记录介质)上的计算机可读代码。例如,通过单个组件(例如,情绪识别器110或其子组件,以及服务提供确定器120或其子组件)执行的方法或操作,可以实现为存储在存储器上的计算机可读代码,存储器例如实现为计算机可读记录介质(例如,非暂时性计算机可读记录介质)。计算机可读记录介质是可以存储随后可通过计算机读取的数据的任何数据存储设备。计算机可读记录介质的示例包括硬盘驱动器(HDD)、固态驱动器(SSD)、硅片驱动器(SDD)、只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储设备等。情绪识别器110和服务提供确定器120可以各自或一起实现为计算机、处理器或微处理器。或者,预处理器112、特征提取器113、情绪分类器114以及基本情绪确定器115、驾驶状况确定器121以及情绪形式确定器122可以各自或一起实现为计算机、处理器或微处理器。当计算机、处理器或微处理器读取并执行存储在计算机可读记录介质中的计算机可读代码时,计算机、处理器或微处理器可以被配置成执行上述操作/方法。
对于本领域技术人员显而易见的是,在不脱离发明的精神和范围的情况下,可以对本发明进行各种变形和变化。因此,只要变形和变化落入所附权利要求及其等同物内,本发明旨在覆盖本发明的变型和变化。

Claims (19)

1.一种提供基于情绪识别的车辆服务的方法,所述方法包括以下步骤:
监控乘员和驾驶状况;
当在监控期间识别出乘员的情绪时,将第一情绪和第一驾驶状况中的至少一者与第二情绪和第二驾驶状况中的至少一者进行比较,其中,所述第一情绪是当前产生的情绪的类型,所述第一驾驶状况是与作为识别所述情绪的时间点的第一时间相对应的驾驶状况,所述第二情绪是与所述情绪相比先前识别的情绪的类型,所述第二驾驶状况是与作为识别先前产生的情绪的时间点的第二时间相对应的驾驶状况;以及
基于比较的结果,执行确定步骤:将当前产生的情绪确定为瞬时情绪、连续情绪和反复情绪中的一种。
2.根据权利要求1所述的方法,还包括以下步骤:当将当前产生的情绪确定为反复情绪时,提供与所述第一情绪相对应的服务。
3.根据权利要求1所述的方法,还包括以下步骤:当将当前产生的情绪确定为连续情绪时,在至少包含所述第一情绪和所述第二情绪的多种情绪中确定代表情绪,并且配置所述连续情绪。
4.根据权利要求1所述的方法,其中,所述确定步骤包括:确定所述第一时间是否处于从所述第二时间开始的阈值时间内。
5.根据权利要求4所述的方法,其中,所述确定步骤还包括:当从所述第二时间开始经过所述阈值时间之后出现所述第一时间时,将当前产生的情绪确定为瞬时情绪。
6.根据权利要求4所述的方法,其中,所述确定步骤还包括:当所述第一时间处于从所述第二时间开始的所述阈值时间内时,将所述第一驾驶状况与所述第二驾驶状况进行比较。
7.根据权利要求6所述的方法,其中,所述确定步骤还包括:当所述第一驾驶状况与所述第二驾驶状况相同时,将当前产生的情绪确定为连续情绪。
8.根据权利要求6所述的方法,其中,所述确定步骤还包括:当所述第一驾驶状况与所述第二驾驶状况彼此不同时,将所述第一情绪与所述第二情绪进行比较。
9.根据权利要求8所述的方法,其中,所述确定步骤还包括:当所述第一情绪与所述第二情绪相同时,将当前产生的情绪确定为反复情绪。
10.根据权利要求8所述的方法,其中,所述确定步骤还包括:当所述第一情绪与所述第二情绪彼此不同时,将当前产生的情绪确定为瞬时情绪。
11.根据权利要求1所述的方法,其中,所述确定步骤还包括:确定所述第一时间是否处于从所述第二时间开始的预设第一阈值时间内。
12.根据权利要求11所述的方法,其中,所述确定步骤还包括:当从所述第二时间开始经过所述预设第一阈值时间之后出现所述第一时间时,确定所述第一时间是否处于从所述第二时间开始的第二阈值时间内,所述第二阈值时间大于所述预设第一阈值时间。
13.根据权利要求12所述的方法,其中,所述确定步骤还包括:当从所述第二时间开始经过所述第二阈值时间之后出现所述第一时间时,将当前产生的情绪确定为瞬时情绪。
14.根据权利要求12所述的方法,其中,所述确定步骤还包括:当所述第一时间处于从所述第二时间开始的所述第二阈值时间内时,将所述第一情绪与所述第二情绪进行比较。
15.根据权利要求14所述的方法,其中,所述确定步骤还包括:
当所述第一情绪与所述第二情绪相同时,将当前产生的情绪确定为反复情绪;并且
当所述第一情绪与所述第二情绪彼此不同时,将当前产生的情绪确定为瞬时情绪。
16.根据权利要求11所述的方法,其中,所述确定步骤还包括:当所述第一时间处于从所述第二时间开始的所述第一阈值时间内时,将所述第一驾驶状况与所述第二驾驶状况进行比较。
17.根据权利要求16所述的方法,其中,所述确定步骤还包括:
当所述第一驾驶状况与所述第二驾驶状况相同时,将当前产生的情绪确定为连续情绪;并且
当所述第一驾驶状况与所述第二驾驶状况彼此不同时,将所述第一情绪与所述第二情绪进行比较,并且根据所述第一情绪与所述第二情绪是否相同,将当前产生的情绪确定为反复情绪或瞬时情绪。
18.一种非暂时性计算机可读记录介质,其上记录用于执行根据权利要求1所述的方法的程序。
19.一种用于提供基于情绪识别的车辆服务的装置,所述装置包括:
情绪识别器,被配置成确定乘员的情绪;
驾驶状况确定器,被配置成监控驾驶状况;以及
情绪形式确定器,被配置成:当所述情绪识别器识别出乘员的情绪时,将第一情绪和第一驾驶状况中的至少一者与第二情绪和第二驾驶状况中的至少一者进行比较,并且根据比较的结果,将当前产生的情绪确定为瞬时情绪、连续情绪和反复情绪中的一种,其中,所述第一情绪是当前产生的情绪的类型,所述第一驾驶状况是与作为识别所述情绪的时间点的第一时间相对应的驾驶状况,所述第二情绪是与所述情绪相比先前识别的情绪的类型,所述第二驾驶状况是与作为识别先前产生的情绪的时间点的第二时间相对应的驾驶状况。
CN202011385226.XA 2020-07-29 2020-12-01 用于车辆的基于情绪识别的服务提供装置及其控制方法 Pending CN114084146A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200094593A KR20220014674A (ko) 2020-07-29 2020-07-29 차량용 감정 인식 기반 서비스 제공 장치 및 그 제어 방법
KR10-2020-0094593 2020-07-29

Publications (1)

Publication Number Publication Date
CN114084146A true CN114084146A (zh) 2022-02-25

Family

ID=80004448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011385226.XA Pending CN114084146A (zh) 2020-07-29 2020-12-01 用于车辆的基于情绪识别的服务提供装置及其控制方法

Country Status (3)

Country Link
US (1) US11315362B2 (zh)
KR (1) KR20220014674A (zh)
CN (1) CN114084146A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092664B (zh) * 2017-03-30 2020-04-28 华为技术有限公司 一种内容解释方法及装置
US20240104975A1 (en) * 2022-09-27 2024-03-28 Bendix Commercial Vehicle Systems Llc System and method for detecting and evaluating bursts of driver performance events

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10869626B2 (en) * 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
KR101901417B1 (ko) 2011-08-29 2018-09-27 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
US9476729B2 (en) * 2014-05-29 2016-10-25 GM Global Technology Operations LLC Adaptive navigation and location-based services based on user behavior patterns
US10334158B2 (en) * 2014-11-03 2019-06-25 Robert John Gove Autonomous media capturing
US9734410B2 (en) * 2015-01-23 2017-08-15 Shindig, Inc. Systems and methods for analyzing facial expressions within an online classroom to gauge participant attentiveness
JP6467965B2 (ja) * 2015-02-13 2019-02-13 オムロン株式会社 感情推定装置及び感情推定方法
US10759424B2 (en) * 2016-08-16 2020-09-01 Honda Motor Co., Ltd. Vehicle data selection system for modifying automated driving functionalities and method thereof
KR20180057096A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 표정 인식과 트레이닝을 수행하는 방법 및 장치
US11021165B2 (en) 2016-11-28 2021-06-01 Honda Motor Co., Ltd. Driving assistance device, driving assistance system, program, and control method for driving assistance device
US10187690B1 (en) * 2017-04-24 2019-01-22 Gopro, Inc. Systems and methods to detect and correlate user responses to media content
WO2019103484A1 (ko) * 2017-11-24 2019-05-31 주식회사 제네시스랩 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
US10880601B1 (en) * 2018-02-21 2020-12-29 Amazon Technologies, Inc. Dynamically determining audience response to presented content using a video feed
US11325591B2 (en) * 2019-03-07 2022-05-10 Honda Motor Co., Ltd. System and method for teleoperation service for vehicle

Also Published As

Publication number Publication date
US20220036048A1 (en) 2022-02-03
KR20220014674A (ko) 2022-02-07
US11315362B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
CN108122556B (zh) 减少驾驶人语音唤醒指令词误触发的方法及装置
US10800043B2 (en) Interaction apparatus and method for determining a turn-taking behavior using multimodel information
JP7192222B2 (ja) 発話システム
CN114084146A (zh) 用于车辆的基于情绪识别的服务提供装置及其控制方法
CN111475206B (zh) 用于唤醒可穿戴设备的方法及装置
US20220036049A1 (en) Apparatus and method of providing vehicle service based on individual emotion recognition
JP7222938B2 (ja) インタラクション装置、インタラクション方法、およびプログラム
CN113780062A (zh) 一种基于情感识别的车载智能交互方法、存储介质及芯片
EP4047561A1 (en) Method for recognizing an emotion of a driver, apparatus, device, medium and vehicle
WO2022142614A1 (zh) 危险驾驶预警方法、装置、计算机设备及存储介质
CN111699509B (zh) 物体检测装置、物体检测方法以及记录介质
JP2019217122A (ja) ロボット、ロボットの制御方法及びプログラム
CN110555346A (zh) 驾驶员情绪检测方法、装置、电子设备及存储介质
CN110751381A (zh) 一种路怒车辆风险评估和防控方法
CN112307816A (zh) 车内图像获取方法、装置以及电子设备、存储介质
Tong et al. Automatic assessment of dysarthric severity level using audio-video cross-modal approach in deep learning
CN112053686B (zh) 一种音频中断方法、装置以及计算机可读存储介质
CN114084144A (zh) 用于结合驾驶环境确定驾驶员情绪的方法和系统
CN111382665A (zh) 信息处理装置以及计算机可读存储介质
Pant et al. Driver's Companion-Drowsiness Detection and Emotion Based Music Recommendation System
JP7399324B2 (ja) 調整装置、調整システム、および、調整方法
US11450209B2 (en) Vehicle and method for controlling thereof
Rashwan et al. Car driver fatigue monitoring using hidden markov models and bayesian networks
Malcangi et al. Evolving fuzzy-neural method for multimodal speech recognition
KR102603423B1 (ko) 뉴럴 네트워크 모델을 이용하여 이미지의 이벤트를 분류하는 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination