CN111199205B - 车载语音交互体验评估方法、装置、设备及存储介质 - Google Patents
车载语音交互体验评估方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN111199205B CN111199205B CN201911398872.7A CN201911398872A CN111199205B CN 111199205 B CN111199205 B CN 111199205B CN 201911398872 A CN201911398872 A CN 201911398872A CN 111199205 B CN111199205 B CN 111199205B
- Authority
- CN
- China
- Prior art keywords
- emotion
- user
- determining
- safety
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 76
- 230000008451 emotion Effects 0.000 claims abstract description 279
- 238000011156 evaluation Methods 0.000 claims abstract description 48
- 238000013210 evaluation model Methods 0.000 claims abstract description 34
- 230000002452 interceptive effect Effects 0.000 claims abstract description 34
- 230000004044 response Effects 0.000 claims description 45
- 230000004424 eye movement Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 21
- 210000001747 pupil Anatomy 0.000 claims description 19
- 230000014509 gene expression Effects 0.000 claims description 16
- 230000002996 emotional effect Effects 0.000 claims description 13
- 230000035484 reaction time Effects 0.000 claims description 11
- 230000036962 time dependent Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 230000001815 facial effect Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000001186 cumulative effect Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 206010063659 Aversion Diseases 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000012854 evaluation process Methods 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000019771 cognition Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例涉及评估方法领域，提供一种车载语音交互体验评估方法、装置、设备及存储介质。该方法包括：获取交互体验源数据，根据交互体验源数据确定有效性特征、安全性特征和用户情绪特征；根据用户情绪特征与安全性特征确定情绪与驾驶安全的时间相关性特征；将有效性特征、安全性特征、用户情绪特征和情绪与驾驶安全的时间相关性特征输入评价模型，由评价模型输出体验评价结果。本发明提供的车载语音交互体验评估方法、装置、设备及存储介质，从交互体验源数据抽取有效性、情绪和安全性特征，且考虑了用户情绪对安全的实时影响，评估结果更加客观实用；借助评价模型输出评估结果，避免专家评估结果受专家经验和偏好影响，提高评估精度。
Description
技术领域
本发明涉及评估方法技术领域，尤其涉及一种车载语音交互体验评估方法、装置、设备及存储介质。
背景技术
随着汽车行业智能化和网联化的发展，汽车逐渐成为人的情感伙伴。功能丰富的车载系统为人与车之间的交互方带来了新的变革，其中，语音是一种重要的交互入口。相比于图形用户界面，语音交互输入更快捷，操作更简化并且可以解放双手，同时语音还可以赋予机器情感，提供更多个性化服务，非常适合在车载环境下使用。
目前，针对车载语音交互体验的评估方法，主要有两种：一种是采取可用性测试结合问卷调研的方法，另一种是采用专家评估的方法。前一种方法在实施时，邀请用户进行产品功能任务的体验，鼓励用户发声获取用户的主观评价，并在体验结束后通过用户自我报告，如问卷、量表、访谈等形式，获取用户的满意度评价结果。这种方法中的问卷量表执行起来高效，且易于分析，但缺乏弹性，量表的问题和答案都是预先设计好的，容易遗漏更多细致、深层信息；且用户对问卷的理解和对结果的表达并不一定反映真实感受，会存在信息失真。后一种方法由可用性专家遵照一定的可用性原则和人机交互设计原则，构建评价指标体系，进而根据专家经验确定指标权重，最后得到加权评分，完成对产品可用性各个方面的判断和评价。专家评估法简便易行，但较为主观，受专家经验和偏好的影响较大，且缺乏精度，仅适用于产品设计的前中期。
发明内容
本发明实施例的目的是提供一种车载语音交互体验评估方法、装置、设备及存储介质，用以解决现有的评估方法难以反映用户真实体验存在信息失真并且缺乏精度的问题。
第一方面，本发明实施例提供一种车载语音交互体验评估方法，包括：
获取交互体验源数据，根据所述交互体验源数据确定有效性特征、安全性特征和用户情绪特征；
根据所述用户情绪特征与所述安全性特征确定情绪与驾驶安全的时间相关性特征；
将所述有效性特征、所述安全性特征、所述用户情绪特征和所述情绪与驾驶安全的时间相关性特征输入评价模型，由所述评价模型输出体验评价结果；
其中，所述评价模型是以有效性样本特征、安全性样本特征、用户情绪样本特征和情绪与驾驶安全的时间相关性样本特征作为样本，以与所述情绪与驾驶安全的时间相关性样本特征、所述有效性样本特征、所述安全性样本特征和所述用户情绪样本特征对应的评价结果作为标签，进行训练获得。
进一步地，所述交互体验源数据包括用户语料、车机响应结果、用户视频和眼动数据；
相应地，所述根据所述交互体验源数据确定有效性特征、安全性特征和用户情绪特征，具体包括：
获取所述用户语料和所述车机响应结果，根据所述用户语料和所述车机响应结果确定有效性特征；
获取所述用户视频，根据所述用户视频确定用户情绪特征；
获取所述眼动数据，根据所述用户视频和所述眼动数据确定安全性特征。
进一步地，所述获取所述用户视频，根据所述用户视频确定用户情绪特征，具体包括：
将所述用户视频的视频帧输入动态表情识别模型，由所述动态表情识别模型输出每一视频帧对应的各情绪的情绪强度；
基于每一视频帧对应的各情绪的情绪强度确定各情绪的情绪强度的波动系数。
进一步地，所述基于每一视频帧对应的各情绪的情绪强度确定各情绪的情绪强度的波动系数，具体包括：
基于每一视频帧对应的各情绪的情绪强度及无语音交互时用户情绪的平均强度，确定用户各情绪的变异系数；
基于每一视频帧对应的各情绪的情绪强度，确定各情绪在所述语音交互期间累计波动的正负方向；
基于所述用户各情绪的变异系数和所述各情绪在所述语音交互期间累计波动的正负方向，确定语音交互期间各情绪的情绪强度的波动系数。
进一步地，所述根据所述用户情绪特征与所述安全性特征确定情绪与驾驶安全的时间相关性特征，具体包括：
基于各情绪所分别对应的情绪强度，确定情绪的综合强度值；
基于瞳孔面积、视线角度、综合强度值，确定所述情绪与驾驶安全的时间相关性特征。
进一步地，所述基于瞳孔面积S、视线角度θ和综合强度值E，确定所述情绪与驾驶安全的时间相关性特征Rt，包括：
应用如下公式计算所述Rt：
Rt＝ρ(S,E)+ρ(θ,E)
其中，ρ采用皮尔森相关系数进行计算。
进一步地，语音交互体验包括语音输入阶段、等待响应阶段及结果输出阶段；
相应的，根据所述用户情绪特征与所述安全性特征确定所述语音输入阶段的时间相关性特征、所述等待响应阶段的时间相关性特征和所述结果输出阶段的时间相关性特征。
进一步地，所述根据所述用户语料和所述车机响应结果确定有效性特征，具体包括：
根据所述用户语料确定用户意图与意图内容；
根据所述车机响应结果确定车机的返回意图与输出内容；
基于所述用户意图与所述返回意图的一致性确定用户意图匹配度；
基于所述意图内容与所述输出内容的一致性确定内容属性匹配度；
将所述用户意图匹配度和所述内容属性匹配度作为所述有效性特征。
进一步地，所述安全性特征包括瞳孔面积的标准差、用户反应时长、视线角度超出正常范围的次数、视线注视时长、手部占用次数及交互持续时间，
相应的，所述根据所述用户视频和所述眼动数据确定安全性特征，具体包括：
根据所述眼动数据确定所述瞳孔面积的标准差、所述用户反应时长、所述视线角度超出正常范围的次数和所述视线注视时长；
根据所述用户视频确定所述手部占用次数及所述交互持续时间。
第二方面，本发明实施例提供一种车载语音交互体验评估装置，包括：
第一处理模块，用于获取交互体验源数据，根据所述交互体验源数据确定有效性特征、安全性特征和用户情绪特征；
第二处理模块，用于根据所述用户情绪特征与所述安全性特征确定时间相关性特征；
第三处理模块，用于将所述时间相关性特征、所述有效性特征、所述安全性特征和所述用户情绪特征输入评价模型，由所述评价模型输出体验评价结果。
第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑命令，以执行如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的车载语音交互体验评估方法、装置、设备及存储介质，从交互体验源数据抽取有效性、情绪和安全性特征，并且考虑了用户情绪对安全的实时影响，使评估结果更加客观实用；另外，借助评价模型输出评估结果，避免专家评估过程中受专家经验和偏好影响，提高评估精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例车载语音交互体验评估方法的流程示意图；
图2为本发明实施例有效性特征、安全性特征和用户情绪特征确定方法的流程示意图；
图3为本发明又一实施例车载语音交互体验评估方法的流程示意图；
图4为本发明实施例用户情绪特征确定方法的流程示意图；
图5为本发明另一实施例用户情绪特征确定方法的流程示意图；
图6为本发明实施例时间相关性特征的确定方法的流程示意图；
图7为本发明实施例提供的车载语音交互体验评估装置的结构示意图；
图8为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例车载语音交互体验评估方法的流程示意图。
如图1所示，该方法包括：
步骤110，获取交互体验源数据，根据交互体验源数据确定有效性特征、安全性特征和用户情绪特征；
步骤120，根据用户情绪特征与安全性特征确定情绪与驾驶安全的时间相关性特征；
步骤130，将有效性特征、安全性特征、用户情绪特征和述情绪与驾驶安全的时间相关性特征输入评价模型，由评价模型输出体验评价结果。
其中，评价模型是以有效性样本特征、安全性样本特征、用户情绪样本特征和情绪与驾驶安全的时间相关性样本特征作为样本，以与情绪与驾驶安全的时间相关性样本特征、有效性样本特征、安全性样本特征和用户情绪样本特征对应的评价结果作为标签，进行训练获得。
其中，步骤110，获取交互体验源数据，根据交互体验源数据确定有效性特征、安全性特征和用户情绪特征。
具体地，交互体验源数据包括车机系统日志及视频等。有效性特征用于表示语音交互过程中车机响应结果的准确性，也即语音交互的可用性。以往的可用性测试，大多是沉浸式产品体验，而在车载环境下，驾驶行为是用户的主要任务，其它与驾驶无关的行为均为次要任务，为了保证驾驶的安全性，交互时必须尽可能减少对主驾驶任务的干扰。为此，用安全性特征表征语音交互过程中的驾驶安全，以便分析语音交互对用户驾驶行为的干扰。用户情绪特征用于表征用户在语音交互过程中的主观感受和情感印象。根据交互体验源数据确定有效性特征、安全性特征和用户情绪特征，相比于传统PAD量表等问卷调查方法，效果更佳
其中，步骤120，根据用户情绪特征与安全性特征确定情绪与驾驶安全的时间相关性特征。
具体地，以往的评价方法，是从高效性、主观满意度评分两个维度分别评价，再进行加权融合，整个评价方法并没有考虑到各维度之间的相关性。用户驾驶状态下的情绪变化，对驾驶安全有直接影响，本发明实施例根据情绪特征和安全性特征构造情绪与驾驶安全的时间相关性特征，从时间变化上提取情绪与安全的实时相关性特征，反映情绪对安全性的影响，与传统的评价指标相比，进一步丰富了驾驶安全性的评价维度。
其中，步骤130，将有效性特征、安全性特征、用户情绪特征和述情绪与驾驶安全的时间相关性特征输入评价模型，由评价模型输出体验评价结果。
具体地，评价模型可以采用有监督的机器学习模型，比如，引入用户主观打分结果，生成训练集和测试集构建一个分类器；也可采用无监督的聚类模型，将语音交互体验评价结果划分为不同等级；还可以构建回归分析等统计模型，通过参数估计确定评价模型。在将有效性特征、安全性特征、用户情绪特征和述情绪与驾驶安全的时间相关性特征输入评价模型之前对上述特征进行数据标准化处理。
本发明实施例提供的车载语音交互体验评估方法，根据交互体验源数据确定有效性特征、安全性特征和用户情绪特征，进而确定情绪与驾驶安全的时间相关性特征，有效性特征、安全性特征、用户情绪特征和述情绪与驾驶安全的时间相关性特征输入评价模型，由评价模型输出体验评价结果，减少人为因素对评估结果的影响；从交互体验源数据中抽取有效性、情绪和安全性特征，考虑了用户情绪特征和安全性特征之间的相关性，丰富驾驶安全性的评价维度的同时使评估结果更加客观实用；借助评价模型输出评估结果，避免专家评估过程中受专家经验和偏好影响，提高评估精度。
基于上述实施例，图2为本发明实施例有效性特征、安全性特征和用户情绪特征确定方法的流程示意图。如图2所示，该方法中，交互体验源数据包括用户语料、车机响应结果、用户视频和眼动数据；
相应地，根据交互体验源数据确定有效性特征、安全性特征和用户情绪特征，具体包括：
步骤210，获取用户语料和车机响应结果，根据用户语料和车机响应结果确定有效性特征；步骤220，获取用户视频，根据用户视频确定用户情绪特征；步骤230，获取眼动数据，根据用户视频和眼动数据确定安全性特征。需要说明的是，步骤210、步骤220和步骤230彼此之间不分先后。
具体地，用户语料为用户与语音交互系统的对话信息，用户视频为摄像头采集的视频信息，眼动数据通过眼动仪采集。需要说明的是，用户视频可以通过一个摄像头拍摄视频同时获取用户的面部信息和动作行为信息，也可以通过两个摄像头分别拍摄用户的面部视频和动作行为视频。用户语料和车机响应结果可以用于分析人机交互过程中语音系统响应的准确性。用户视频或面部视频中的面部表情信息可以用于分析用户在语音交互中的情绪变化情况。通过眼动仪获取的眼动数据包括瞳孔面积、视线运动轨迹等信息，结合用户视频中反映出的用户动作行为信息可以获取用户在语音交互过程中视觉分神、动作分神和脑力负荷情况。
图3为本发明又一实施例车载语音交互体验评估方法的流程示意图；如图3所示，本发明实施例提供的车载语音交互体验评估方法，语音交互体验源数据包括从系统日志中获取用户语料和车机响应结果、根据摄像头拍摄的用户视频和眼动仪采集的眼动数据。从交互体验源数据中提取有效性特征、安全性特征、用户情绪特征及情绪与驾驶安全的时间相关性特征，将上述特征输入评价模型，获得最终的体验评价结果。该实施例提供的车载语音交互体验评估方法，所有用于评估的数据均来自于用户操作本身及对用户自身状态的实时检测，最大程度上减少了人为因素对评估结果的影响而且方便设计人员观察用户对产品的整个使用过程。另外，从交互体验源数据中提取用户情绪特征，并且提取了情绪与驾驶安全的时间相关性特征，与传统的评价指标相比，进一步丰富了驾驶安全性的评价维度。
基于上述实施例，图4为本发明实施例用户情绪特征确定方法的流程示意图。如图4所示，该方法中，获取用户视频，根据用户视频确定用户情绪特征，具体包括：
步骤410，将用户视频的视频帧输入动态表情识别模型，由动态表情识别模型输出每一视频帧对应的各情绪的情绪强度；
步骤420，基于每一视频帧对应的各情绪的情绪强度确定各情绪的情绪强度的波动系数。
具体地，目前表情自动分析技术可以识别例如高兴、悲伤、生气、惊奇、害怕和厌恶共六种基本情绪，但本发明实施例并不局限于此。将用户视频或面部视频的视频帧输入动态表情识别模型中，可以获得每一视频帧中驾驶员面部图像对应的各情绪的情绪强度值。其中，视频帧与时刻一一对应，即获得每一时刻用户的情绪强度值。由情绪强度是实时波动的，且不同人的情绪强度本身就存在差异，因此，基于每一视频帧对应的各情绪的情绪强度确定该用户在语音交互过程中各情绪的情绪强度的波动系数，以此反映用户在交互过程中发生的情绪变化情况。
本发明实施例提供的车载语音交互体验评估方法，通过用户视频的视频帧提取用户对体验的满意度特征，在考虑语音内容的同时又考虑了语音的情感特性，能实时准确的捕捉用户感受。借助用户面部表达出的喜、怒、哀、乐等各种表情，及时察觉用户的情绪变化，相比于言语表达出的情感，具有更高的真实性和参考性，降低信息的失真度。
基于上述实施例，图5为本发明另一实施例用户情绪特征确定方法的流程示意图。如图5所示，该方法中，基于每一视频帧对应的各情绪的情绪强度确定各情绪的情绪强度的波动系数，具体包括：
步骤510，基于每一视频帧对应的各情绪的情绪强度及无语音交互时用户情绪的平均强度，确定用户各情绪的变异系数；
步骤520，基于每一视频帧对应的各情绪的情绪强度，确定各情绪在语音交互期间累计波动的正负方向；
步骤530，基于用户各情绪的变异系数和各情绪在语音交互期间累计波动的正负方向，确定语音交互期间各情绪的情绪强度的波动系数。
具体地，由动态表情识别模型识别获得每个视频帧中用户面部图像对应的各情绪的强度值。其中，情绪x的强度包括：高兴Ehap、悲伤Esad、生气Eang、惊奇Esur、害怕Efea和厌恶Edis。另外，基于用户的面部视频或用户视频，由动态表情识别模型可以获得视频帧或时刻f用户情绪x的强度值Exf，也可以基于无语音交互时的面部视频或用户视频计算出无语音交互时用户情绪x的平均强度由此可以确定用户情绪x的变异系数CVx。
比如，可以基于下述公式确定用户情绪x的变异系数CVx：
式中，m、n分别代表语音交互的时间区间内用户视频起止帧数对应的时刻。
基于语音交互区间内的视频帧f或该视频帧对应的时刻f对应的情绪x的情绪强度Exf，确定情绪x在语音交互期间累计波动的正负方向Sx。
比如，可以基于下述公式确定情绪x在语音交互期间累计波动的正负方向Sx：
式中，Exf是第f时刻情绪x的强度值，Exm是第m时刻情绪x的强度值。
基于用户情绪x的变异系数CVx和情绪x在语音交互期间累计波动的正负方向Sx，确定各情绪x所分别对应的情绪强度的波动系数Dx。比如，可以根据下述公式确定各情绪x所分别对应的情绪强度的波动系数Dx，将波动系数Dx作为用户情绪特征；
Dx＝CVx×Sx,x∈{hap,sad,ang,sur,fea,dis}
其中，CVx是情绪x的强度值Ex在语音交互期间的变异系数；Sx表示情绪x在语音交互期间累计波动的正负方向；情绪x表示高兴hap、悲伤sad、生气ang、惊奇sur、害怕fea和厌恶dis六种基本情绪。
基于上述实施例，图6为本发明实施例时间相关性特征的确定方法的流程示意图。如图6所示，该方法中，根据用户情绪特征与安全性特征确定情绪与驾驶安全的时间相关性特征，具体包括：
步骤610，基于各情绪所分别对应的情绪强度，确定情绪的综合强度值；
步骤620，基于瞳孔面积、视线角度和综合强度值，确定情绪与驾驶安全的时间相关性特征。
具体地，用户在语音交互过程中，可能会因为情绪的突变造成瞬时的操作安全隐患。比如，一个新颖有趣的语音交互引起了用户的兴趣和兴奋情绪，但却会导致用户分心，在驾驶环境下存在较高的安全隐患。而情绪对安全性的影响是实时变动的，针对单一时间段t内情绪x的强度值Ex确定情绪的综合强度值E，比如，可以基于以下公式计算综合强度值E：
E＝Ehap+Esur-(Esad+Eang+Efea+Edis)
式中，E为综合强度值，Ehap为高兴情绪对应的情绪强度值，Esur为惊奇情绪对应的情绪强度值，Esad为悲伤情绪对应的情绪强度值，Eang为生气情绪对应的情绪强度值，Efea为害怕情绪对应的情绪强度值，Edis为厌恶情绪对应的情绪强度值。
在本发明实施例中，瞳孔面积S和视线角度θ可以通过眼动仪采集的眼动数据直接获取，根据瞳孔面积S、视线角度θ和综合强度值E可以确定情绪与驾驶安全的时间相关性特征Rt。
基于上述实施例，该方法中，基于瞳孔面积S、视线角度θ、综合强度值E，确定情绪与驾驶安全的时间相关性特征Rt，包括：
应用如下公式计算Rt：
Rt＝ρ(S,E)+ρ(θ,E)
其中，ρ采用皮尔森相关系数进行计算。
具体地，ρ根据如下公式计算：
式中，Sf是眼动数据中第f时刻驾驶员的瞳孔面积，是眼动数据m～n时间区间内S的平均值，Ef是用户视频的视频帧对应的f时刻用户情绪的综合强度值，/>是用户视频的视频帧对应的m～n时间区间内E的平均值，θf是眼动数据第f时刻驾驶员的视线角度，θ是眼动数据m～n时间区间内θ的平均值。
基于上述实施例，该方法中，语音交互体验包括语音输入阶段、等待响应阶段及结果输出阶段；
相应的，根据用户情绪特征与安全性特征确定语音输入阶段的时间相关性特征、等待响应阶段的时间相关性特征和结果输出阶段的时间相关性特征。
具体地，根据用户与车机交互的步骤和响应状态，将一次语音交互体验划分为以下三个阶段：
第一阶段：语音输入阶段。在语音输入阶段，将用户开始输入语音指令的时间记为T1，将用户语音命令输入结束的时间记为T2，则语音输入阶段对应的时间区间为T1～T2，对应的用户视频帧数为a～b帧；
第二阶段：等待响应阶段。该阶段用户发出语音后等待车机输出响应结果。车机开始输出响应结果的时间记为T3，则等待响应阶段的时间区间为T2～T3，对应的视频帧数为b～c帧；
第三阶段：结果输出阶段，由车机输出对用户语音的响应结果。车机输出结果结束的时间记为T4，则结果输出阶段的时间区间为T3～T4，其对应的视频帧数为c～d帧。
需要说明的是，基于每一视频帧对应的各情绪的情绪强度确定各情绪的情绪强度的波动系数时，语音交互期间可以是车载语音交互体验的整个阶段、语音输入阶段、等待响应阶段、结果输出阶段的一个或多个，因此当语音交互期间为一个或多个时，对应的语音交互期间情绪x的情绪强度的波动系数也为一个或多个。
在不同阶段下，造成用户情绪变化的交互因素有所不同。因此，根据用户情绪特征与安全性特征分别确定语音输入阶段的时间相关性特征、等待响应阶段的时间相关性特征和结果输出阶段的时间相关性特征，即将时间相关特征按照上述三个阶段分别计算，以计算出的结果反应不同阶段情绪对安全性的时间相关性。用户体验的感受是瞬时变动的，本发明实施例提供的车载语音交互体验评估方法，通过分析语音交互不同阶段的特征值变化，可以反映出整个过程的满意度，相比于传统方法，更有利于定位具体的设计缺陷。
基于上述实施例，该方法中，根据用户语料和车机响应结果确定有效性特征，具体包括：
根据用户语料确定用户意图与意图内容；根据车机响应结果确定车机的返回意图与输出内容；基于用户意图与返回意图的一致性确定用户意图匹配度；基于意图内容与输出内容的一致性确定内容属性匹配度；将用户意图匹配度和内容属性匹配度作为有效性特征。
具体地，在车载语音交互系统中会含有多种意图。将用户语料输入意图识别模型，由意图识别模型输出用户意图和意图内容。比如，对于用户语料“我想回家”，其对应的用户意图为“导航”意图，意图内容是“家”；对于用户语料“今天深圳的天气怎么样”，其对应的用户意图为“查询天气”意图，意图内容为“深圳、今天”。从车机响应结果中，提取车机意图分类的结果以及输出内容的槽值。
根据车机的返回意图和用户意图的一致性确定用户意图匹配度，比如，当车机返回意图和用户意图相一致时，将用于表征意图匹配度的特征值记为1；反之，当车机返回意图和用户意图不一致时，将用于表征意图匹配度的特征值为0。
基于意图内容与输出内容的一致性确定内容属性匹配度。具体地，统计车机输出内容的槽值与用户意图内容的命中率，将命中率的百分比统计结果作为内容属性匹配度特征值。
基于上述实施例，该方法中，安全性特征包括瞳孔面积的标准差、用户反应时长、视线角度超出正常范围的次数、视线注视时长、手部占用次数及交互持续时间，
相应的，根据用户视频和眼动数据确定安全性特征，具体包括：
根据眼动数据确定瞳孔面积的标准差、用户反应时长、视线角度超出正常范围的次数和视线注视时长；
根据用户视频确定手部占用次数及交互持续时间。
具体地，与车机进行语音交互时，用户的注意力分散主要从听觉产生，然后伴随脑力认知、视觉和动作的分散，其大体过程如下：用户听到声音反馈后，首先产生脑力认知，进而做出下一步反应，并可能发生视线的转移和身体动作的调整。根据眼动数据和用户视频，从中提取的安全性特征如表1所示。
表1根据眼动数据和用户视频提取的安全性特征
表1中，用户反应时长指的是用户在听到车机发出的语音的终止时刻至用户回应开始时刻的间隔时长。比如，用户发出语音“我想回家”，车机语音系统回答“确定导航回家吗”，用户听到后回答“是的”，那么用户反应时长指的是车机语音系统回答“确定导航回家吗”的结束时间到用户回应“是的”开始时间这一时间区间。用户反应时长根据车机日志中车机响应结果及用户语料的时间轴计算获得。视线角度超出正常范围的次数和视线注视时长根据眼动仪测量的眼动数据统计得到。在一次语音交互过程中，用户的视线可能多次离开前方道路，对应的，视线注视时长反应的是整个语音交互过程中多次视线偏移的累计时长。手部占用次数可以根据用户视频比如动作行为视频确定。交互持续时间指的是整个语音交互时间长度，根据交互持续时间在车辆驾驶中的占比可以了解与驾驶无关的次任务的时间占有率，时间占有率越高说明任务的难度越大，该次任务对用户的注意力影响越大。
本发明实施例提供的车载语音交互体验评估方法，根据用户视频和眼动数据确定语音交互过程中驾驶员的注意力分散情况，从认知负荷、视觉分神和动作分神三个维度提取安全性特征。
基于上述任一实施例，图7为本发明实施例提供的车载语音交互体验评估装置的结构示意图，如图7所示，该装置包括：
第一处理模块710，用于获取交互体验源数据，根据交互体验源数据确定有效性特征、安全性特征和用户情绪特征；
第二处理模块720，用于根据用户情绪特征与安全性特征确定时间相关性特征；
第三处理模块730，用于将时间相关性特征、有效性特征、安全性特征和用户情绪特征输入评价模型，由评价模型输出体验评价结果。
本发明实施例提供的车载语音交互体验评估装置，考虑了用户情绪特征和安全性特征之间的相关性，丰富了驾驶安全性的评价维度；借助评价模型输出评估结果，避免专家评估过程中受专家经验和偏好影响，提高评估精度。
基于上述任一实施例，该装置中，所述交互体验源数据包括用户语料、车机响应结果、用户视频和眼动数据；第一处理模块710包括：第一处理子模块，用于获取所述用户语料和所述车机响应结果，根据所述用户语料和所述车机响应结果确定有效性特征；第二处理子模块，用于获取所述用户视频，根据所述用户视频确定用户情绪特征；第三处理子模块，获取所述眼动数据，根据所述用户视频和所述眼动数据确定安全性特征。
基于上述任一实施例，该装置中，第二处理子模块具体用于：将所述用户视频的视频帧输入动态表情识别模型，由所述动态表情识别模型输出每一视频帧对应的各情绪的情绪强度；基于每一视频帧对应的各情绪的情绪强度确定各情绪的情绪强度的波动系数。
基于上述任一实施例，该装置中，第二处理子模块具体用于：基于每一视频帧对应的各情绪的情绪强度及无语音交互时用户情绪的平均强度，确定用户各情绪的变异系数；基于每一视频帧对应的各情绪的情绪强度，确定各情绪在语音交互期间累计波动的正负方向；基于所述用户各情绪的变异系数和所述各情绪在语音交互期间累计波动的正负方向，确定语音交互期间各情绪的情绪强度的波动系数。
基于上述任一实施例，该装置中，第二处理模块720具体用于：基于各情绪所分别对应的情绪强度，确定情绪的综合强度值；基于瞳孔面积、视线角度、综合强度值，确定所述情绪与驾驶安全的时间相关性特征。
基于上述任一实施例，该装置中，第二处理模块720具体用于：基于瞳孔面积S、视线角度θ和综合强度值E，确定所述情绪与驾驶安全的时间相关性特征Rt，包括：
应用如下公式计算所述Rt：
Rt＝ρ(S,E)+ρ(θ,E)
其中，ρ采用皮尔森相关系数进行计算。
基于上述任一实施例，该装置中，语音交互体验包括语音输入阶段、等待响应阶段及结果输出阶段；所述第二处理模块720具体用于：根据所述用户情绪特征与所述安全性特征确定所述语音输入阶段的时间相关性特征、所述等待响应阶段的时间相关性特征和所述结果输出阶段的时间相关性特征。
基于上述任一实施例，该装置中，第一处理子模块具体用于：根据所述用户语料确定用户意图与意图内容；根据所述车机响应结果确定车机的返回意图与输出内容；基于所述用户意图与所述返回意图的一致性确定用户意图匹配度；基于所述意图内容与所述输出内容的一致性确定内容属性匹配度；将所述用户意图匹配度和所述内容属性匹配度作为所述有效性特征。
基于上述任一实施例，该装置中，所述安全性特征包括瞳孔面积的标准差、用户反应时长、视线角度超出正常范围的次数、视线注视时长、手部占用次数及交互持续时间，第三处理子模块具体用于：根据所述眼动数据确定所述瞳孔面积的标准差、所述用户反应时长、所述视线角度超出正常范围的次数和所述视线注视时长；根据所述用户视频确定所述手部占用次数及所述交互持续时间。
图8为本发明实施例提供的电子设备的结构示意图，如图8所示，该电子设备可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑命令，以执行如下方法：获取交互体验源数据，根据交互体验源数据确定有效性特征、安全性特征和用户情绪特征；根据用户情绪特征与安全性特征确定情绪与驾驶安全的时间相关性特征；将有效性特征、安全性特征、用户情绪特征和情绪与驾驶安全的时间相关性特征输入评价模型，由评价模型输出体验评价结果；其中，评价模型是以有效性样本特征、安全性样本特征、用户情绪样本特征和情绪与驾驶安全的时间相关性样本特征作为样本，以与情绪与驾驶安全的时间相关性样本特征、有效性样本特征、安全性样本特征和用户情绪样本特征对应的评价结果作为标签，进行训练获得。
此外，上述的存储器830中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：获取交互体验源数据，根据交互体验源数据确定有效性特征、安全性特征和用户情绪特征；根据用户情绪特征与安全性特征确定情绪与驾驶安全的时间相关性特征；将有效性特征、安全性特征、用户情绪特征和情绪与驾驶安全的时间相关性特征输入评价模型，由评价模型输出体验评价结果；其中，评价模型是以有效性样本特征、安全性样本特征、用户情绪样本特征和情绪与驾驶安全的时间相关性样本特征作为样本，以与情绪与驾驶安全的时间相关性样本特征、有效性样本特征、安全性样本特征和用户情绪样本特征对应的评价结果作为标签，进行训练获得。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种车载语音交互体验评估方法，其特征在于，包括：
获取交互体验源数据，根据所述交互体验源数据确定有效性特征、安全性特征和用户情绪特征；
根据所述用户情绪特征与所述安全性特征确定情绪与驾驶安全的时间相关性特征；
将所述有效性特征、所述安全性特征、所述用户情绪特征和所述情绪与驾驶安全的时间相关性特征输入评价模型，由所述评价模型输出体验评价结果；
所述交互体验源数据包括用户语料、车机响应结果、用户视频和眼动数据；
相应地，所述根据所述交互体验源数据确定有效性特征、安全性特征和用户情绪特征，具体包括：
获取所述用户语料和所述车机响应结果，根据所述用户语料和所述车机响应结果确定有效性特征；
获取所述用户视频，根据所述用户视频确定用户情绪特征；
获取所述眼动数据，根据所述用户视频和所述眼动数据确定安全性特征；
将所述用户视频的视频帧输入动态表情识别模型，由所述动态表情识别模型输出每一视频帧对应的各情绪的情绪强度；
所述根据所述用户情绪特征与所述安全性特征确定情绪与驾驶安全的时间相关性特征，具体包括：
基于各情绪所分别对应的情绪强度，确定情绪的综合强度值；
其中，所述评价模型是以有效性样本特征、安全性样本特征、用户情绪样本特征和情绪与驾驶安全的时间相关性样本特征作为样本，以与所述情绪与驾驶安全的时间相关性样本特征、所述有效性样本特征、所述安全性样本特征和所述用户情绪样本特征对应的评价结果作为标签，进行训练获得。
2.根据权利要求1所述的车载语音交互体验评估方法，其特征在于，所述获取所述用户视频，根据所述用户视频确定用户情绪特征还包括：
基于每一视频帧对应的各情绪的情绪强度确定各情绪的情绪强度的波动系数。
3.根据权利要求2所述的车载语音交互体验评估方法，其特征在于，所述基于每一视频帧对应的各情绪的情绪强度确定各情绪的情绪强度的波动系数，具体包括：
基于每一视频帧对应的各情绪的情绪强度及无语音交互时用户情绪的平均强度，确定用户各情绪的变异系数；
基于每一视频帧对应的各情绪的情绪强度，确定各情绪在所述语音交互期间累计波动的正负方向；
基于所述用户各情绪的变异系数和所述各情绪在语音交互期间累计波动的正负方向，确定语音交互期间各情绪的情绪强度的波动系数。
4.根据权利要求1所述的车载语音交互体验评估方法，其特征在于，所述基于瞳孔面积S、视线角度θ和综合强度值E，确定所述情绪与驾驶安全的时间相关性特征Rt，包括：
应用如下公式计算所述Rt：
Rt＝ρ(S,E)+ρ(θ,E)
其中，ρ采用皮尔森相关系数进行计算。
5.根据权利要求1或4所述的车载语音交互体验评估方法，其特征在于，语音交互体验包括语音输入阶段、等待响应阶段及结果输出阶段；
相应的，根据所述用户情绪特征与所述安全性特征确定所述语音输入阶段的时间相关性特征、所述等待响应阶段的时间相关性特征和所述结果输出阶段的时间相关性特征。
6.根据权利要求1所述的车载语音交互体验评估方法，其特征在于，所述根据所述用户语料和所述车机响应结果确定有效性特征，具体包括：
根据所述用户语料确定用户意图与意图内容；
根据所述车机响应结果确定车机的返回意图与输出内容；
基于所述用户意图与所述返回意图的一致性确定用户意图匹配度；
基于所述意图内容与所述输出内容的一致性确定内容属性匹配度；
将所述用户意图匹配度和所述内容属性匹配度作为所述有效性特征。
7.根据权利要求1所述的车载语音交互体验评估方法，其特征在于，所述安全性特征包括瞳孔面积的标准差、用户反应时长、视线角度超出正常范围的次数、视线注视时长、手部占用次数及交互持续时间，
相应的，所述根据所述用户视频和所述眼动数据确定安全性特征，具体包括：
根据所述眼动数据确定所述瞳孔面积的标准差、所述用户反应时长、所述视线角度超出正常范围的次数和所述视线注视时长；
根据所述用户视频确定所述手部占用次数及所述交互持续时间。
8.一种车载语音交互体验评估装置，其特征在于，包括：
第一处理模块，用于获取交互体验源数据，根据所述交互体验源数据确定有效性特征、安全性特征和用户情绪特征；所述交互体验源数据包括用户语料、车机响应结果、用户视频和眼动数据；
相应地，所述第一处理模块用于获取所述用户语料和所述车机响应结果，根据所述用户语料和所述车机响应结果确定有效性特征；并用于获取所述用户视频，根据所述用户视频确定用户情绪特征；还用于获取所述眼动数据，根据所述用户视频和所述眼动数据确定安全性特征；
第二处理模块，用于根据所述用户情绪特征与所述安全性特征确定时间相关性特征；将所述用户视频的视频帧输入动态表情识别模型，由所述动态表情识别模型输出每一视频帧对应的各情绪的情绪强度；基于各情绪所分别对应的情绪强度，确定情绪的综合强度值；
第三处理模块，用于将所述时间相关性特征、所述有效性特征、所述安全性特征和所述用户情绪特征输入评价模型，由所述评价模型输出体验评价结果；
其中，所述评价模型是以有效性样本特征、安全性样本特征、用户情绪样本特征和情绪与驾驶安全的时间相关性样本特征作为样本，以与所述情绪与驾驶安全的时间相关性样本特征、所述有效性样本特征、所述安全性样本特征和所述用户情绪样本特征对应的评价结果作为标签，进行训练获得。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的车载语音交互体验评估方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7中任一项所述的车载语音交互体验评估方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911398872.7A CN111199205B (zh) | 2019-12-30 | 2019-12-30 | 车载语音交互体验评估方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911398872.7A CN111199205B (zh) | 2019-12-30 | 2019-12-30 | 车载语音交互体验评估方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111199205A CN111199205A (zh) | 2020-05-26 |
| CN111199205B true CN111199205B (zh) | 2023-10-31 |
Family
ID=70746527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911398872.7A Active CN111199205B (zh) | 2019-12-30 | 2019-12-30 | 车载语音交互体验评估方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111199205B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7375705B2 (ja) * | 2020-08-11 | 2023-11-08 | トヨタ自動車株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN112288287A (zh) * | 2020-10-30 | 2021-01-29 | 清华大学 | 车载信息系统的评估方法及设备 |
| CN112837693A (zh) * | 2021-01-29 | 2021-05-25 | 上海钧正网络科技有限公司 | 一种用户体验倾向识别方法、装置、设备和可读存储介质 |
| CN113392918A (zh) * | 2021-06-24 | 2021-09-14 | 哈尔滨理工大学 | 一种基于多源信息融合的抑郁障碍相关因素识别方法 |
| CN116072102A (zh) * | 2021-11-04 | 2023-05-05 | 中兴通讯股份有限公司 | 情绪识别方法、装置、设备及存储介质 |
| CN115994717B (zh) * | 2023-03-23 | 2023-06-09 | 中国科学院心理研究所 | 一种用户评估方式确定方法、系统、设备及可读存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108388926A (zh) * | 2018-03-15 | 2018-08-10 | 百度在线网络技术（北京）有限公司 | 语音交互满意度的确定方法及设备 |
| CN109844793A (zh) * | 2016-08-12 | 2019-06-04 | 瑞士再保险有限公司 | 基于智能、远程信息处理的oem线路装配系统及其对应方法，用于按比例缩放的实时风险测量/风险评分驱动信令 |
| CN110555346A (zh) * | 2018-06-01 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 驾驶员情绪检测方法、装置、电子设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108197115B (zh) * | 2018-01-26 | 2022-04-22 | 上海智臻智能网络科技股份有限公司 | 智能交互方法、装置、计算机设备和计算机可读存储介质 |
-
2019
- 2019-12-30 CN CN201911398872.7A patent/CN111199205B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109844793A (zh) * | 2016-08-12 | 2019-06-04 | 瑞士再保险有限公司 | 基于智能、远程信息处理的oem线路装配系统及其对应方法，用于按比例缩放的实时风险测量/风险评分驱动信令 |
| CN108388926A (zh) * | 2018-03-15 | 2018-08-10 | 百度在线网络技术（北京）有限公司 | 语音交互满意度的确定方法及设备 |
| CN110555346A (zh) * | 2018-06-01 | 2019-12-10 | 杭州海康威视数字技术股份有限公司 | 驾驶员情绪检测方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| 夏映雪 ; 曹凯 ; .驾驶员特质焦虑水平评估方法研究.山东理工大学学报(自然科学版).2013,(02),全文. * |
| 田水承 ; 郭方艺 ; 杨鹏飞 ; .不良情绪对胶轮车驾驶员不安全行为的影响研究.矿业安全与环保.2018,(05),全文. * |
| 马惠珠 ; 宋朝晖 ; 季飞 ; 侯嘉 ; 熊小芸 ; .项目计算机辅助受理的研究方向与关键词――2012年度受理情况与2013年度注意事项.电子与信息学报.2013,(01),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111199205A (zh) | 2020-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111199205B (zh) | 车载语音交互体验评估方法、装置、设备及存储介质 | |
| CN108075892B (zh) | 一种语音处理的方法、装置和设备 | |
| CN107818798B (zh) | 客服服务质量评价方法、装置、设备及存储介质 | |
| Dai et al. | Emotion recognition and affective computing on vocal social media | |
| US11455985B2 (en) | Information processing apparatus | |
| Stappen et al. | The multimodal sentiment analysis in car reviews (muse-car) dataset: Collection, insights and improvements | |
| CN109448851A (zh) | 一种认知评估方法及装置 | |
| CN106558252B (zh) | 由计算机实现的口语练习方法及装置 | |
| CN109119069B (zh) | 特定人群识别方法、电子装置及计算机可读存储介质 | |
| CN113741702B (zh) | 基于情绪监测的认知障碍人机交互方法及系统 | |
| KR101829606B1 (ko) | 인터넷 과몰입 진단 장치 및 방법 | |
| KR102476787B1 (ko) | 인공 지능 모델 기반으로 그림일기 분석을 통한 그림일기 사용자의 심리상태 진단 장치 및 방법 | |
| CN112860213B (zh) | 音频的处理方法和装置、存储介质及电子设备 | |
| CN114021962A (zh) | 教学评估方法、评估装置及其相关设备和存储介质 | |
| JP7392259B2 (ja) | 学習支援装置、学習支援方法およびプログラム | |
| CN110705523A (zh) | 一种基于神经网络的创业者路演能力测评方法及其测评系统 | |
| CN111415283A (zh) | 一种有效在线教学的因素分析方法和装置 | |
| Wei | Development and evaluation of an emotional lexicon system for young children | |
| Virvou et al. | Emotion recognition: empirical studies towards the combination of audio-lingual and visual-facial modalities through multi-attribute decision making | |
| CN113313982B (zh) | 一种基于5g网络的教育系统 | |
| CN114463671A (zh) | 一种基于视频数据的用户人格识别方法 | |
| Khan et al. | MAP: Multimodal assessment platform for interactive communication competency | |
| CN112908362A (zh) | 基于采集机器人终端的系统、机器人终端、方法及介质 | |
| CN111358428A (zh) | 一种观察能力测试评定方法和装置 | |
| CN111723752A (zh) | 基于情绪识别的驾驶员上岗驾驶检测方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |