CN115762772B - 目标对象的情绪特征确定方法、装置、设备及存储介质 - Google Patents
目标对象的情绪特征确定方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115762772B CN115762772B CN202211237406.2A CN202211237406A CN115762772B CN 115762772 B CN115762772 B CN 115762772B CN 202211237406 A CN202211237406 A CN 202211237406A CN 115762772 B CN115762772 B CN 115762772B
- Authority
- CN
- China
- Prior art keywords
- target object
- eye movement
- scene
- determining
- face orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002996 emotional effect Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000004424 eye movement Effects 0.000 claims abstract description 103
- 230000008451 emotion Effects 0.000 claims abstract description 44
- 230000001815 facial effect Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 15
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 4
- 230000036651 mood Effects 0.000 claims 2
- 238000004458 analytical method Methods 0.000 abstract description 3
- 210000001508 eye Anatomy 0.000 description 39
- 230000008859 change Effects 0.000 description 21
- 230000015654 memory Effects 0.000 description 15
- 238000012360 testing method Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000010197 meta-analysis Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000034225 regulation of ventricular cardiomyocyte membrane depolarization Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本申请公开了目标对象的情绪特征确定方法、装置、设备及存储介质，涉及情绪分析技术领域。具体实施方式包括：获取目标对象的眼动数据、心率以及所述目标对象所在场景的视频图像；从所述视频图像中识别出所述场景内人员对所述目标对象的注视情况；根据所述眼动数据、所述心率和所述注视情况中的至少两种数据，确定所述目标对象的情绪特征。本申请可以提高情绪特征确定的准确性；实现了基于客观数据智能、自动化确定情绪特征，有利于提高效率。
Description
技术领域
本申请涉及计算机技术领域，具体涉及情绪分析技术领域，尤其涉及目标对象的情绪特征确定方法、装置、设备及存储介质。
背景技术
目前，确定情绪状态的方式主要是进行心理测试，现有的心理能力测试主要包括以下两种：
自评式，通过自己填写完成测试，或者采用人机对话的方式直接在电脑上用选择键进行操作完成测试。测试一般都是选择题形式，测试结果会给一个评分范围，通过选择分数或者用是、否选项对测试题做出反应，自评式测试一般也会给一个清晰的指导语。
该自评式测试存在考虑指标单一造成测试结果不准确的问题，且效率低。
他评式，是指在专业人员指导、询问、观察下进行打分评估。
该他评式测试存在主观性强造成测试结果不准确的问题，且效率低。
发明内容
针对现有技术中情绪状态确定存在不准确、效率低的问题，提供了一种目标对象的情绪特征确定方法、装置、设备及存储介质。
根据第一方面，提供了一种目标对象的情绪特征确定方法，包括：
获取目标对象的眼动数据、心率以及所述目标对象所在场景的视频图像；
从所述视频图像中识别出所述场景内人员对所述目标对象的注视情况；
根据所述眼动数据、所述心率和所述注视情况中的至少两种数据，确定所述目标对象的情绪特征。
根据第二方面，提供了一种目标对象的情绪特征确定装置，包括：
数据获取单元，用于获取目标对象的眼动数据、心率以及所述目标对象所在场景的视频图像；
图像处理单元，用于从所述视频图像中识别出所述场景内人员对所述目标对象的注视情况；
情绪确定单元，用于根据所述眼动轨迹、所述心率和所述注视情况中的至少两种数据，确定所述目标对象的情绪特征。
根据第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如目标对象的情绪特征确定方法中任一实施例的方法。
根据第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如目标对象的情绪特征确定方法中任一实施例的方法。
根据本申请的方案，通过采集目标对象的眼动数据、心率以及目标对象所在场景的视频图像，进而从视频图像中识别出场景内人员对目标对象的注视情况，最后，可以根据眼动数据、心率和注视情况中的至少两种数据，确定目标对象的情绪特征。实现了根据眼动数据、心率和注视情况中的至少两种数据等多种数据来确定目标对象的情绪特征，有利于提高情绪特征确定的准确性、全面性；同时，眼动数据、心率和注视情况等数据是经过图像分析、检测得到的客观数据，即基于客观数据确定情绪特征，有效避免了主观性带来的不准确问题，进一步提高了情绪特征确定的准确性；此外，实现了基于客观数据智能、自动化确定情绪特征，有利于提高效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请一些实施例可以应用于其中的示例性系统架构图；
图2是根据本申请的目标对象的情绪特征确定方法的一个实施例的流程图；
图3是根据本申请的目标对象的情绪特征确定方法的一个应用场景的示意图；
图4是根据本申请的目标对象的情绪特征确定装置的一个实施例的结构示意图；
图5是用来实现本申请实施例的目标对象的情绪特征确定方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的目标对象的情绪特征确定方法或目标对象的情绪特征确定装置的实施例的示例性系统架构100。
如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。
这里的终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等，该电子设备接收图像采集设备采集的视频图像，接收检测设备检测的眼动轨迹和心率，进而确定目标对象的情绪特征，图像采集设备包括但不限于图像传感器、摄像头等等，检测设备包括但不限于传感器、穿戴设备等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的眼动轨迹、心率和注视情况等数据进行分析等处理，并将处理结果(例如情绪特征)反馈给终端设备。
需要说明的是，本申请实施例所提供的目标对象的情绪特征确定方法可以由服务器105或者终端设备101、102、103执行，相应地，目标对象的情绪特征确定装置可以设置于服务器105或者终端设备101、102、103中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的目标对象的情绪特征确定方法的一个实施例的流程200。该目标对象的情绪特征确定方法，包括以下步骤：
步骤201，获取目标对象的眼动数据、心率以及所述目标对象所在场景的视频图像。
步骤202，从所述视频图像中识别出所述场景内人员对所述目标对象的注视情况。
步骤203，根据所述眼动数据、所述心率和所述注视情况中的至少两种数据，确定所述目标对象的情绪特征。
在本实施例中，目标对象的情绪特征确定方法运行于其上的执行主体(例如图1所示的服务器或终端设备)获取到视频图像、目标对象的眼动数据和目标对象的心率后，从视频图像中分析出场景内人员对目标对象的注视情况，进而根据注视情况的变化、眼动数据的变化情况和心率的变化情况中的至少两种数据变化情况，确定目标对象的情绪特征。
本申请的上述实施例提供的方法，采集目标对象所在场景的视频图像后，即可根据获取的视频图像识别出场景内人员对目标对象的注视情况，进而可以在采集视频图像时同步检测得到目标对象的眼动数据和心率，最后，则可以根据注视情况的动态变化、眼动数据的变化情况和心率的变化情况中的至少两种数据的变化情况，动态确定出目标对象的情绪特征。例如，当注视情况动态变化时，眼动数据和/或心率也随之发生变化，此时可以基于注视情况和眼动数据(或者心率)这两种数据确定出目标对象的情绪特征，或者，可以基于注视情况、眼动数据以及心率这三种数据确定出目标对象的情绪特征，以便可以得到在不同的注视情况下，目标对象的情绪特征动态变化的情况。此外，当眼动数据和/或心率发生变化时，还可以基于眼动数据和心率这两种数据确定出目标对象的情绪特征，以便可以得到在没有人员注视等外界干扰因素存在时，目标对象的情绪特征动态变化的情况。
在本实施例的一些可选的实现方式中，为了进一步提高情绪特征确定的准确性，避免其他因素的干扰，上述场景可以是预设的场景，该场景可以是在一定的封闭空间内，该封闭空间内部署有多个图像采集设备来全面的采集场景内的视频图像，还可以部署检测设备，来检测目标对象的眼动数据处理和心率等，该封闭空间内还设置有人员流动的环境，以便提供不同的对目标对象的注视情况，该封闭空间内还可以摆放不同情绪特征的人感兴趣的画像、摆件或其它物体等。
具体的，本实施例的目标对象的情绪特征确定方法可以应用于心理检测、面试或其它类型的人才选拔中的心理检测、社交的心理检测等场景而搭建的封闭空间或半封闭空间中。例如专门用于选拔人才的面试会议室、专门用于的心理检测的咖啡馆、图书馆等。
在本实施例的一些可选的实现方式中，上述空间内还可以部署通信设备，用于与各图像采集设备、检测设备连接。
具体的，检测设备可以包括穿戴设备，通过穿戴设备便捷地检测目标对象的心率等生理信息，当目标对象进入场景内时，建立与穿戴设备的连接，获取目标对象的身份信息等，并实时动态检测目标对象的心率、血压等生理信息。
具体的，在一种实施例中图像采集设备可以包括设置在座椅处的眼动数据检测设备，用于通过计算机视觉技术检测坐于该座椅处的人员的眼动数据；在另一种实施例中，检测设备可以包括头戴式穿戴设备，例如AR眼镜等，用于通过眼动追踪技术检测场景内人员的眼动数据，从而将眼动数据用于情绪特征分析，可以理解的是，上述实施例仅仅作为一种示例，不应理解为本申请对眼动数据的获取方式的限制。
在本实施例的一些可选的实现方式中，为了进一步提高情绪特征确定的准确性，在本实施例中，提出了基于人脸朝向确定场景内人员对目标对象的注视情况的方法，例如，
从所述视频图像中识别出所述场景内除所述目标对象之外的每个人的人脸朝向；
根据所述每个人的人脸朝向，确定所述场景内注视所述目标对象的人员数量。
在本实施例的一些可选的实现方式中，本申请发明人研究发现，当人脸朝向不同时，眼睛在图像中的位置会有明显的差别，因此，提出了通过眼睛等五官特征来准确、高效的识别人脸朝向的方法，例如，
将所述视频图像中的人脸图像转换成数字特征值；例如，可以使用元分析法、Fisher线性判别法、小波分析法等将人脸图像转换成数字特征值。
从所述数字特征值中提取人脸位置信息的特征向量；
根据所述人脸位置信息的特征向量，提取人脸边界信息；例如，由于Sobel算子对灰度渐变的图像处理效果较好，不仅能够检测到边缘点，而且能进一步抑制噪声的影响。因此，可以采用Sobel算子提取人脸边界信息。
根据所述人脸边界信息，提取五官特征；
根据所述五官特征，确定人脸朝向。
在本实施例的一些可选的实现方式中，得到五官特征后，为了更智能、高效地确定出人脸朝向，提出了通过神经网络来确定人脸朝向，例如，将所述五官特征输入BP神经网络，所述BP神经网络输出所述人脸朝向，所述人脸朝向可以包括左、中左、中间(即人脸面向正前方)、中右以及右。
具体的，可以通过BP神经网络的前向传播和误差的反向传播两个过程，从输出到输入的方向调整权值和阈值的过程，来训练BP神经网络。采用训练后的BP神经网络基于输入的五官特征，输出人脸朝向的分类，人脸朝向的分类可以包括左、中左、中间、中右、右，其他朝向可以不予考虑。
在本实施例的一些可选的实现方式中，确定出场景内每个人的人脸朝向后即可确定出注视目标对象的人员数量，例如，当人脸朝向对准目标对象时，即可认为在注视目标对象，通过统计人脸朝向对准目标对象的人员数量即可确定出注视目标对象的人员数量。
或者，在确定注视情况的过程中还可以考虑目标对象的视线情况，以便准确地确定出目标对象视线所及的注视情况，进而便于准确分析注视情况对目标对象情绪的影响。例如，确定所述场景内所述目标对象的人脸朝向；根据所述目标对象的人脸朝向，确定所述场景内的目标人群，所述目标人群包括所述目标对象的人脸朝向对准的人员；确定所述目标人群中每个人的人脸朝向，根据目标对象的人脸朝向和所述目标人群中每个人的人脸朝向，确定所述场景内注视所述目标对象的人员数量。例如，目标对象的人脸朝向与目标人群中某个人的人脸朝向存在交集，即认为该某个人在注视目标对象，且目标对象也能看见或知晓该某个人在注视自己，进而统计目标人群中人脸朝向与目标对象的人脸朝向存在交集的人员数量即可确定出注视目标对象的人员数量。
在本实施例的一些可选的实现方式中，为了更准确地确定出真实的注视目标对象的人员数量，可以基于人脸朝向进一步确定出视线范围，进而根据视线范围确定注视目标对象的人员数量。例如，从视频图像中识别出所述场景内除所述目标对象之外的每个人的人脸朝向之后；根据所述每个人的人脸朝向，确定每个人的视线范围；进而根据每个人的视线范围，确定所述场景内注视所述目标对象的人员数量。
例如，当某个人的视线范围覆盖目标对象时，即可认为该某个人在注视目标对象，通过统计视线范围覆盖目标对象的人员数量即可确定出注视目标对象的人员数量。
或者，确定所述场景内所述目标对象的人脸朝向之后；根据所述目标对象的人脸朝向确定目标对象的视线范围，确定所述场景内的目标人群，所述目标人群包括所述目标对象的视线范围覆盖的人员；确定所述目标人群中每个人的人脸朝向后，确定每个人的视线范围，根据目标对象的视线范围和所述目标人群中每个人的视线范围，确定所述场景内注视所述目标对象的人员数量。例如，目标对象的视线范围与目标人群中某个人的视线范围存在交集，即认为该某个人在注视目标对象，且目标对象也能看见或知晓该某个人在注视自己，进而统计目标人群中视线范围与目标对象的视线范围存在交集的人员数量即可确定出注视目标对象的人员数量。
在本实施例的一些可选的实现方式中，上述视线范围可以是双眼与注视点之间的空间范围，也可以是以注视点为中心的一定的空间范围，还可以是注视点。
在本实施例的一些可选的实现方式中，为了更准确地确定注视目标对象的人员数量，还提出了一种基于人眼注视点来确定注视目标对象的人员数量的方法，例如，
根据所述场景内除所述目标对象之外的每个人的人脸朝向，确定人眼注视点；
从所述视频图像中识别出所述目标对象在所述场景内的位置点；
根据所述场景内除所述目标对象之外的每个人的人眼注视点和所述目标对象在所述场景内的位置点之间的距离，确定所述场景内注视所述目标对象的人员数量。
在本实施例的一些可选的实现方式中，可以通过瞳孔-角膜反射追踪方法来实现根据人脸朝向确定人眼注视点，例如，利用眼摄像机拍摄眼睛图像，接着通过图像处理得到瞳孔中心位置。然后，把角膜反射点作为眼摄像机和眼球的相对位置的基点，根据图像处理得到的瞳孔中心即可以得到视线向量坐标，从而确定出人眼注视点的坐标，可以根据注视点的坐标与双眼眼球位置，确定出双眼与注视点之间形成的视线范围，也可以根据注视点的坐标确定出以注视点为中心的预设空间范围的视线范围。
在本实施例的一些可选的实现方式中，可以在上述场景的空间内设置三维坐标系，即可以从视频图像中识别出目标对象在场景内的位置点的坐标，也可以根据场景内人员的人脸朝向确定出人眼注视点的坐标，进而可以根据目标对象在场景内的位置点的坐标和场景内人员的人眼注视点的坐标计算二者之间的距离，当距离小于预设距离时，即可认为注视目标对象，通过统计距离小于预设距离的人眼注视点的数量即可确定出注视目标对象的人员数量。或者，确定出场景内视线范围包括目标对象在场景内的位置点的坐标的人员数量，即为注视目标对象的人员数量。
在本实施例的一些可选的实现方式中，在根据眼动数据、心率和注视情况中的至少两种数据，确定目标对象的情绪特征的过程中，为了进一步动态、准确地确定目标对象的情绪变化，提出了确定眼动数据发生变化时，根据注视情况的变化情况和心率的变化情况，确定目标对象的情绪特征。例如，响应于所述眼动数据达到预设条件时，标记获取的所述心率和所述注视情况，以用于确定所述目标对象的情绪特征，所述预设条件包括：所述目标对象注视所述场景内的同一位置达到预设时长。
在本实施例的一些可选的实现方式中，眼动数据可以是眼动轨迹、眼动频率等数据，眼动数据达到预设条件可以是目标对象注视场景内的同一位置达到预设时长。例如，可以是目标对象注视场景中摆放的物品达到预设时长，预先可以在场景中摆放不同情绪特征的人感兴趣的画像、摆件或其它物体等物品，通过在场景内设置三维坐标，可以确定出不同物品的位置坐标，进而根据目标对象的注视点(或者视线范围)和物品的位置坐标可以确定出目标对象注视的场景内的具体物品，进而判断目标对象注视场景内的某个具体物品是否达到了预设时长。或者，还可以是目标对象注视场景中某一空白的地方达到预设时长。
在本实施例的一些可选的实现方式中，在场景中摆放不同情绪特征的人感兴趣的画像、摆件或其它物体等物品，目标对象注视的不同物品的特征也可以为情绪确定提供一定的参考，例如，如果目标对象注视的某物品是紧张情绪的人感兴趣的物品，则可以间接反映出目标对象可能存在紧张情绪。
在本实施例的一些可选的实现方式中，心率情况出现变化可以是心跳突然加快等情况。注视情况发生变化则可以是注视人员数量发生增加、减少等变化。
在本实施例的一些可选的实现方式中，为了更准确、有效地确定眼动数据的变化情况，在本实施例提出了根据眼动速度和眼动最大幅度来确定眼动数据是否变化，例如，
根据所述眼动数据中所述目标对象的眼睛的注视点，计算所述目标对象的眼动速度和眼动最大幅度，其中，所述眼动最大幅度为眼睛当前注视方向与眼睛前方的夹角；
当所述眼动速度和所述眼动最大幅度在所述预设时长内未发生变化时，确定所述目标对象注视所述场景内的同一位置达到所述预设时长。
在本实施例的一些可选的实现方式中，可以通过以下公式计算所述目标对象的眼动速度：
其中，V为所述预设时长内的平均的眼动速度，vi为第i帧的眼动瞬时速度，θ为表示眼球移动的三维向量的夹角，n为所述预设时长内采集眼动的帧数。
具体的，眼动轨迹以每秒90帧采样为例，计算人的眼球注视方向为一个三维空间内的向量，以上述场景内空间设置三维笛卡尔坐标系，以瞳孔位置作为三维笛卡尔坐标系的原点(0,0,0)，因此，人眼注视方向可以用三维向量表示(xe,ye,ze)。
眼球的移动可以用三维向量的夹角θ表示：
其中，(xe1,ye1,ze1)为左眼的坐标，(xe2,ye2,ze2)为右眼的坐标。
因而第i帧的眼动瞬时速度vi(度/秒)的计算方法为：
在一段预设时长内的平均眼动速度V为：
其中，n为所述预设时长内采集眼动的帧数。
眼动最大幅度A：
A＝max1≤i≤nθ′i
其中，θ′i为眼睛当前注视方向与眼睛前方(即人脸正前方)的夹角。
在本实施例的一些可选的实现方式中，心率采样率以每秒1000次为例，可以通过以下公式计算心率Z：
Z/(60*1000)＝(R波个数-1)/(最后一个R波位置-第一个R波位置)
其中，R波是一种心室除极波型。
在本实施例的一些可选的实现方式中，响应于眼动数据达到预设条件时，标记获取的心率和注视情况，以用于确定目标对象的情绪特征，即当确定出目标对象注视场景内的某一物品或某一空白地方达到预设时长时，标记出同步的心率数据和注视情况，根据心率数据的数据大小判断心率是否发生变化，即判断心率是变大还是变小，根据注视人员数量的变化判断注视情况的变化，即判断注视人员增加还是减少，进而根据心率的变化情况和注视情况的变化情况，确定出目标对象的情绪特征。例如，当确定出目标对象注视场景内的某一物品或某一空白地方达到预设时长时，心率变大和/或注视人员增加，则可以确定目标对象的情绪特征为紧张。具体紧张程度可以根据心率变大的幅度和/或注视人员增加数量的多少具体确定，心率变大的幅度越大，紧张程度越严重；注视人员增加数量越大，紧张程度越严重。
在本实施例的一些可选的实现方式中，情绪特征可以包括但不限于正常、稍微紧张、紧张、严重紧张等表示情绪不同状态的特征。
在本实施例的一些可选的实现方式中，确定出目标对象的眼动数据达到预设条件时，确定出注视情况的变化情况(如注视人员的数量变化)和心率的变化情况(如心率数值变化幅度)等数据后，可以通过不同的方式来确定出目标对象的情绪特征。例如，可以根据预存的不同情绪特征与注视情况C(即注视的人员数量)、眼动数据(眼动速度V和眼动最大幅度A)和心率Z的对应关系，如下表1所示，基于动态获取的注视情况、眼动轨迹和心率等数据，根据该对应关系得出目标对象对应的情绪特征。
表1
| V | A | Z | C | 情绪特征 |
| 0.031... | 0.12..... | 60-70 | 1 | 正常 |
| 0.031... | 0.12..... | 70-90 | 3 | 轻微紧张 |
| ...... | ...... | ...... | ...... | ...... |
| ...... | ...... | ...... | ...... | ...... |
例如，还可以通过机器学习组件来实现，采用情绪特征、注视情况C(即注视的人员数量)、眼动数据(眼动速度V和眼动最大幅度A)和心率Z等数据的样本数据训练机器学习组件后，将动态获取的注视情况、眼动轨迹和心率等数据输出训练后的机器学习组件，得到对应的情绪特征。
继续参见图3，图3是根据本实施例的目标对象的情绪特征确定方法的应用场景的一个示意图。在图3的应用场景中，执行主体301利用目标对象所在场景的视频图像302进行图像处理，识别出场景内人员对目标对象的注视情况303。执行主体301获取目标对象的眼动数据304和心率305。执行主体301根据眼动数据304、心率305和注视情况303中的至少两种数据，确定目标对象的情绪特征306。
进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种目标对象的情绪特征确定装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，除下面所记载的特征外，该装置实施例还可以包括与图2所示的方法实施例相同或相应的特征或效果。该装置具体可以应用于各种电子设备中。
如图4所示，本实施例的目标对象的情绪特征确定装置400包括：数据获取单元401、图像处理单元402和情绪确定单元403。其中，图像获取单元401，被配置成获取目标对象的眼动数据、心率以及所述目标对象所在场景的视频图像；图像处理单元402，被配置成从所述视频图像中识别出所述场景内人员对所述目标对象的注视情况；情绪确定单元403，被配置成根据所述眼动数据、所述心率和所述注视情况中的至少两种数据，确定所述目标对象的情绪特征。
在本实施例中，目标对象的情绪特征确定装置400的数据获取单元401、图像处理单元402和情绪确定单元403的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202和步骤203的相关说明，在此不再赘述。
在本实施例的一些可选的实现方式中，图像处理单元，包括：人脸朝向确定子单元和注视数量确定子单元，
人脸朝向确定子单元，被配置成从所述视频图像中识别出所述场景内除所述目标对象之外的每个人的人脸朝向；注视数量确定子单元，被配置成根据所述场景内除所述目标对象之外的每个人的人脸朝向，确定所述场景内注视所述目标对象的人员数量。
在本实施例的一些可选的实现方式中，人脸朝向确定子单元，被配置成将所述视频图像中的人脸图像转换成数字特征值；从所述数字特征值中提取人脸位置信息的特征向量；根据所述人脸位置信息的特征向量，提取人脸边界信息；根据所述人脸边界信息，提取五官特征；根据所述五官特征，确定人脸朝向。
在本实施例的一些可选的实现方式中，人脸朝向确定子单元，还被配置成将所述五官特征输入BP神经网络，所述BP神经网络输出所述人脸朝向，所述人脸朝向包括左、中左、中间、中右以及右。
在本实施例的一些可选的实现方式中，情绪确定单元，还被配置成响应于所述眼动数据达到预设条件时，标记获取的所述心率和所述注视情况，以用于确定所述目标对象的情绪特征，所述预设条件包括：所述目标对象注视所述场景内的同一位置达到预设时长。
在本实施例的一些可选的实现方式中，上述装置还包括：
计算单元，被配置成根据所述眼动数据中所述目标对象的眼睛的注视点，计算所述目标对象的眼动速度和眼动最大幅度，其中，所述眼动最大幅度为眼睛当前注视方向与眼睛前方的夹角；
眼动判断单元，被配置成当所述眼动速度和所述眼动最大幅度在预设时长内未发生变化时，确定所述目标对象注视所述场景内的同一位置达到所述预设时长。
在本实施例的一些可选的实现方式中，计算单元通过以下公式计算所述目标对象的眼动速度：
其中，V为所述预设时长内的平均的眼动速度，vi为第i帧的眼动瞬时速度，θ为表示眼球移动的三维向量的夹角，n为所述预设时长内采集眼动的帧数。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。
如图5所示，是根据本申请实施例的目标对象的情绪特征确定方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图5所示，该电子设备包括：一个或多个处理器501、存储器502，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器501为例。
存储器502即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的目标对象的情绪特征确定方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的目标对象的情绪特征确定方法。
存储器502作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的目标对象的情绪特征确定方法对应的程序指令/模块(例如，附图4所示的数据获取单元401、图像处理单元402和情绪确定单元403)。处理器501通过运行存储在存储器502中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的目标对象的情绪特征确定方法。
存储器502可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据目标对象的情绪特征确定电子设备的使用所创建的数据等。此外，存储器502可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器502可选包括相对于处理器501远程设置的存储器，这些远程存储器可以通过网络连接至目标对象的情绪特征确定电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
目标对象的情绪特征确定方法的电子设备还可以包括：输入装置503和输出装置504。处理器501、存储器502、输入装置503和输出装置504可以通过总线或者其他方式连接，图5中以通过总线连接为例。
输入装置503可接收输入的数字或字符信息，以及产生与目标对象的情绪特征确定电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置604可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取单元、图像处理单元和情绪确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，情绪确定单元还可以被描述为“确定情绪特征的单元”。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：获取目标对象的眼动数据、心率以及所述目标对象所在场景的视频图像；从所述视频图像中识别出所述场景内人员对所述目标对象的注视情况；根据所述眼动数据、所述心率和所述注视情况中的至少两种数据，确定所述目标对象的情绪特征。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (6)
1.一种目标对象的情绪特征确定方法，所述方法包括：
获取目标对象的眼动数据、心率以及所述目标对象所在场景的视频图像；
从所述视频图像中识别出所述场景内人员对所述目标对象的注视情况；
根据所述眼动数据、所述心率和所述注视情况中的至少两种数据，确定所述目标对象的情绪特征；
从所述视频图像中识别出所述场景内人员对所述目标对象的注视情况，包括：
从所述视频图像中识别出所述场景内除所述目标对象之外的每个人的人脸朝向；
根据所述每个人的人脸朝向，确定所述场景内注视所述目标对象的人员数量；
从所述视频图像中识别出所述场景内除所述目标对象之外的所述每个人的人脸朝向，包括：
将所述视频图像中的人脸图像转换成数字特征值；
从所述数字特征值中提取人脸位置信息的特征向量；
根据所述人脸位置信息的特征向量，提取人脸边界信息；
根据所述人脸边界信息，提取五官特征；
根据所述五官特征，确定人脸朝向；
根据所述五官特征，确定人脸朝向，包括：
将所述五官特征输入BP神经网络，所述BP神经网络输出所述人脸朝向，所述人脸朝向包括左、中左、中间、中右以及右；
根据所述眼动数据、所述心率和所述注视情况中的至少两种数据，确定所述目标对象的情绪特征，包括：
响应于所述眼动数据达到预设条件时，标记获取的所述心率和所述注视情况，以用于确定所述目标对象的情绪特征，所述预设条件包括：所述目标对象注视所述场景内的同一位置达到预设时长。
2.根据权利要求1所述的方法，其中，还包括：
根据所述眼动数据中所述目标对象的眼睛的注视点，计算所述目标对象的眼动速度和眼动最大幅度，其中，所述眼动最大幅度为眼睛当前注视方向与眼睛前方的夹角；
当所述眼动速度和所述眼动最大幅度在所述预设时长内未发生变化时，确定所述目标对象注视所述场景内的同一位置达到所述预设时长。
3.根据权利要求2所述的方法，其中，通过以下公式计算所述目标对象的眼动速度：
其中，为所述预设时长内的平均的眼动速度，/>为第/>帧的眼动瞬时速度，，/>为表示眼球移动的三维向量的夹角，/>为所述预设时长内采集眼动的帧数。
4.一种目标对象的情绪特征确定装置，所述装置包括：
数据获取单元，用于获取目标对象的眼动数据、心率以及所述目标对象所在场景的视频图像；
图像处理单元，用于从所述视频图像中识别出所述场景内人员对所述目标对象的注视情况；
情绪确定单元，用于根据所述眼动数据、所述心率和所述注视情况中的至少两种数据，确定所述目标对象的情绪特征；
所述图像处理单元，包括：人脸朝向确定子单元和注视数量确定子单元，
所述人脸朝向确定子单元，被配置成从所述视频图像中识别出所述场景内除所述目标对象之外的每个人的人脸朝向；注视数量确定子单元，被配置成根据所述场景内除所述目标对象之外的每个人的人脸朝向，确定所述场景内注视所述目标对象的人员数量；
所述人脸朝向确定子单元，被配置成将所述视频图像中的人脸图像转换成数字特征值；从所述数字特征值中提取人脸位置信息的特征向量；根据所述人脸位置信息的特征向量，提取人脸边界信息；根据所述人脸边界信息，提取五官特征；根据所述五官特征，确定人脸朝向；
所述人脸朝向确定子单元，还被配置成将所述五官特征输入BP神经网络，所述BP神经网络输出所述人脸朝向，所述人脸朝向包括左、中左、中间、中右以及右；
所述情绪确定单元，还被配置成响应于所述眼动数据达到预设条件时，标记获取的所述心率和所述注视情况，以用于确定所述目标对象的情绪特征，所述预设条件包括：所述目标对象注视所述场景内的同一位置达到预设时长。
5.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至3中任一所述的方法。
6.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现如权利要求1至3中任一所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211237406.2A CN115762772B (zh) | 2022-10-10 | 2022-10-10 | 目标对象的情绪特征确定方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211237406.2A CN115762772B (zh) | 2022-10-10 | 2022-10-10 | 目标对象的情绪特征确定方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115762772A CN115762772A (zh) | 2023-03-07 |
| CN115762772B true CN115762772B (zh) | 2023-07-25 |
Family
ID=85351171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211237406.2A Active CN115762772B (zh) | 2022-10-10 | 2022-10-10 | 目标对象的情绪特征确定方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115762772B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118520177B (zh) * | 2024-07-25 | 2024-09-10 | 厦门菁萌网络科技有限公司 | 基于人工智能的信息推送方法、装置及计算机设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106691476A (zh) * | 2017-01-16 | 2017-05-24 | 清华大学 | 基于眼动特征的图像认知心理分析系统 |
| CN112535479A (zh) * | 2020-12-04 | 2021-03-23 | 中国科学院深圳先进技术研究院 | 一种情绪加工倾向的确定方法及相关产品 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100086204A1 (en) * | 2008-10-03 | 2010-04-08 | Sony Ericsson Mobile Communications Ab | System and method for capturing an emotional characteristic of a user |
| JP5917841B2 (ja) * | 2011-06-15 | 2016-05-18 | 日産自動車株式会社 | 気分判定装置及び気分判定装置の作動方法 |
| CN109513205A (zh) * | 2018-11-05 | 2019-03-26 | 努比亚技术有限公司 | 一种用户情绪呈现方法、终端及可读存储介质 |
| CN111310602A (zh) * | 2020-01-20 | 2020-06-19 | 北京正和恒基滨水生态环境治理股份有限公司 | 一种基于情绪识别的展品关注度分析系统及分析方法 |
| US12026948B2 (en) * | 2020-10-30 | 2024-07-02 | Microsoft Technology Licensing, Llc | Techniques for presentation analysis based on audience feedback, reactions, and gestures |
| CN114648354A (zh) * | 2022-02-23 | 2022-06-21 | 上海外国语大学 | 一种基于眼动追踪和情绪状态的广告测评方法和系统 |
-
2022
- 2022-10-10 CN CN202211237406.2A patent/CN115762772B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106691476A (zh) * | 2017-01-16 | 2017-05-24 | 清华大学 | 基于眼动特征的图像认知心理分析系统 |
| CN112535479A (zh) * | 2020-12-04 | 2021-03-23 | 中国科学院深圳先进技术研究院 | 一种情绪加工倾向的确定方法及相关产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115762772A (zh) | 2023-03-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230333377A1 (en) | Display System | |
| CN107545302B (zh) | 一种人眼左右眼图像联合的视线方向计算方法 | |
| EP1691670B1 (en) | Method and apparatus for calibration-free eye tracking | |
| US20140099623A1 (en) | Social graphs based on user bioresponse data | |
| US9135508B2 (en) | Enhanced user eye gaze estimation | |
| US8885882B1 (en) | Real time eye tracking for human computer interaction | |
| JP4716119B2 (ja) | インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム | |
| CN106462230B (zh) | 用于操作显示装置的方法和系统 | |
| JP4868360B2 (ja) | 興味傾向情報出力装置、興味傾向情報出力方法、及びプログラム | |
| KR20120060978A (ko) | 시선 위치 추적 기반의 3차원 인간-컴퓨터 상호작용 장치 및 방법 | |
| US20170365084A1 (en) | Image generating apparatus and image generating method | |
| CN115762772B (zh) | 目标对象的情绪特征确定方法、装置、设备及存储介质 | |
| US11328187B2 (en) | Information processing apparatus and information processing method | |
| US20190187780A1 (en) | Determination apparatus and determination method | |
| CN108804971A (zh) | 一种图像识别系统、增强现实显示设备和图像识别方法 | |
| Oyekoya et al. | Eye tracking as a new interface for image retrieval | |
| KR20190048144A (ko) | 발표 및 면접 훈련을 위한 증강현실 시스템 | |
| CN110517248A (zh) | 眼底图像的处理、训练方法、装置及其设备 | |
| CN104793743B (zh) | 一种虚拟社交系统及其控制方法 | |
| KR20240117998A (ko) | 뇌파 데이터를 이용하여 훈련된 스코어링 학습 모델을 이용하여 사용자의 집중력을 판단하는 방법 | |
| JP2008046802A (ja) | インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム | |
| CN111933277A (zh) | 3d眩晕症的检测方法、装置、设备和存储介质 | |
| US20240211040A1 (en) | Methods, systems, and related aspects for determining a cognitive load of a sensorized device user | |
| JP2021033359A (ja) | 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム | |
| CN110275608B (zh) | 人眼视线追踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |