CN113822164A - 动态情绪识别方法、装置、计算机设备和存储介质 - Google Patents
动态情绪识别方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN113822164A CN113822164A CN202110982485.9A CN202110982485A CN113822164A CN 113822164 A CN113822164 A CN 113822164A CN 202110982485 A CN202110982485 A CN 202110982485A CN 113822164 A CN113822164 A CN 113822164A
- Authority
- CN
- China
- Prior art keywords
- video
- color
- data
- image
- amplitude
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000002996 emotional effect Effects 0.000 claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 32
- 230000008451 emotion Effects 0.000 claims abstract description 28
- 238000012800 visualization Methods 0.000 claims abstract description 26
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 238000013507 mapping Methods 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 description 7
- 125000001475 halogen functional group Chemical group 0.000 description 6
- 210000003128 head Anatomy 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 210000004209 hair Anatomy 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000035790 physiological processes and functions Effects 0.000 description 4
- 230000011514 reflex Effects 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000001931 thermography Methods 0.000 description 2
- 238000012285 ultrasound imaging Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 241001622623 Coeliadinae Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种动态情绪识别方法，包括步骤：提取通过摄像机实时采集的人脸视频；通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据；通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像；将所述色彩图像进行显示，并对该色彩图像对应的所述数值化数据进行数值检测；当有超过预设值时，则在原人脸视频上截图，同时在所述截图中标注超过阈值的范围，并报警。本申请通过对情绪状态的数值化和可视化处理，以可视化反馈采集视频所涉及的人物的情绪状态，同时提供情绪预警，以提高公共安全管理效率。
Description
技术领域
本申请涉及人工智能技术领域，特别涉及一种动态情绪识别方法、装置、计算机设备和存储介质。
背景技术
众所周知，学校要知道学生情绪动向才能更好的进行教学以及安全管理工作，然而当前，学校在获取学生情绪动向时基本是被动式，不利于学校教学以及安全管理。
发明内容
本申请的主要目的为提供一种动态情绪识别方法、装置、计算机设备和存储介质，旨在解决上述背景技术之中的问题。
为了实现上述发明目的，本申请提出一种动态情绪识别方法，所述方法包括步骤：
提取通过摄像机实时采集的人脸视频；
通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据；
通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像；
将所述色彩图像进行显示，并对该色彩图像对应的所述数值化数据进行数值检测；当有超过预设值时，则在原人脸视频上截图，同时在所述截图中标注超过阈值的范围，并报警。
进一步地，所述通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据的步骤，具体包括：
将采集的人脸视频提取为连续的视频帧，依次对每个视频帧进行预处理，得到N组待处理视频帧，存储每组视频帧与原人脸视频的对应关系，其中， N为大于等于1的自然数；
分别针对每组待处理视频帧，计算其重要像素点的振幅和频率，获得振幅和频率的数值。
进一步地，所述通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像的步骤，具体包括：
根据振幅数值与颜色的映射关系，将振幅转换成颜色，得到视频帧的颜色数据；根据频率数据与色块的大小的映射关系，将频率数值转换成色块的大小，得到视频帧的色块数据；
将所述颜色数据和所述色块数据合成至所述视频帧之中，再将所述视频帧组合成图像，得到情绪状态的色彩图像。
进一步地，计算视频帧中重要像素点的振幅的方法为：
其中x,y代表图像中该点的坐标值，N代表图像的总帧数，Ux,y,i代表在第 i帧中该点的位移幅度。
为了实现上述发明目的，本申请还提出一种动态情绪识别装置，所述装置包括：
提取模块，用于提取通过摄像机实时采集的人脸视频；
数值化模块，用于通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据；
可视化模块，用于通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像；
检测模块，用于将所述色彩图像进行显示，并对该色彩图像对应的所述数值化数据进行数值检测；当有超过预设值时，则在原人脸视频上截图，同时在所述截图中标注超过阈值的范围，并报警。
进一步地，所述数值化模块，具体包括：
提取单元，用于将采集的人脸视频提取为连续的视频帧，依次对每个视频帧进行预处理，得到N组待处理视频帧，存储每组视频帧与原人脸视频的对应关系，其中，N为大于等于1的自然数；
计算单元，用于分别针对每组待处理视频帧，计算其重要像素点的振幅和频率，获得振幅和频率的数值。
进一步地，所述可视化模块，具体包括：
映射单元，用于根据振幅数值与颜色的映射关系，将振幅转换成颜色，得到视频帧的颜色数据；根据频率数据与色块的大小的映射关系，将频率数值转换成色块的大小，得到视频帧的色块数据；
合成单元，用于将所述颜色数据和所述色块数据合成至所述视频帧之中，再将所述视频帧组合成图像，得到情绪状态的色彩图像。
进一步地，计算视频帧中重要像素点的振幅的方法为：
其中x,y代表图像中该点的坐标值，N代表图像的总帧数，Ux,y,i代表在第 i帧中该点的位移幅度。
为了实现上述发明目的，本申请还提出一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现任一项上述动态情绪识别方法的步骤。
为了实现上述发明目的，本申请还提出一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一项上述动态情绪识别方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请实施例，可以应用于公共监控，通过提取摄像机实时采集的人脸视频，或者是定时采集的人脸视频，通过动态情绪识别模型对采集的人脸视频进行处理，获得对应人物的情绪状态的数值化数据和可视化数据，对可视化数据进行显示，对数值化数据进行数值检测，以向相关警员可视化反馈采集视频所涉及的人物的情绪状态，同时提供情绪预警，以提高公共安全管理效率。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例中动态情绪识别方法的流程示意图；
图2是本申请实施例中动态情绪识别装置的结构框图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
参照图1，本申请提出一种动态情绪识别方法，可以应用于公共监控，如学校监控、医院监控等等，用以提高相关地方的安全管理、工作效率或执法效率等，所述方法包括步骤：
S1、提取通过摄像机实时采集的人脸视频；
S2、通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据；
S3、通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像；
S4、将所述色彩图像进行显示，并对该色彩图像对应的所述数值化数据进行数值检测；当有超过预设值时，则在原人脸视频上截图，同时在所述截图中标注超过阈值的范围，并报警。
在上述步骤S1中，提取通过摄像机实时采集的人脸视频，可以是通过设置在过道、房间、食堂等等地方的摄像头或摄像机采集，此种方式为常规性采集，主要采集人们的日常情绪信息。还可以通过在和采集对象进行谈话、对采集对象进行测试等特殊的情况下，对采集对象进行人脸视频的采集。也可以上述两种情况结合，第一种采集视频用作初步筛选、第二种采集视频用作精准测试。
在上述步骤S2中，所述通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据的步骤，具体包括：
将采集的人脸视频提取为连续的视频帧，依次对每个视频帧进行预处理，得到N组待处理视频帧，存储每组视频帧与原人脸视频的对应关系，其中， N为大于等于1的自然数；
分别针对每组待处理视频帧，计算其重要像素点的振幅和频率，获得振幅和频率的数值。
其中，计算视频帧中重要像素点的振幅的方法为：
其中x,y代表图像中该点的坐标值，N代表图像的总帧数，Ux,y,i代表在第 i帧中该点的位移幅度。
其中，计算视频帧中振动图像每个点的相对频率分量的方法为：
Fm代表视频信号处理频率；Δi—图像的第i个点在不同帧之间的差异； N—振动图像振幅分量累加的帧数；大括号含义为Δi不等于0时，返回1；否则，返回0。
在本实施例中，将采集的人脸视频提取为连续的视频帧，而视频是由很多的连续的画面组成的，这里在视频帧指上述连续画面中每一个静态的画面，提取后仍保留其先后顺序，即为连续的视频帧。由于采集的方式多种多样(具体如前述实施例以及后续实施例中的详细介绍)，具体视频中可能包含多个人物的人脸，所以这里将视频帧再进行分组处理，这里的分组可以是对静态画面进行切割，或是分别提取指定区域内容再形成分组，N组代表从上述人脸视频中可以分出N个人脸，当只有一个人脸数据时，N＝1，具体做法可以参考相关现有技术，不再赘述。即使是提取后的视频帧，仍然会包含头发部分、背景部分，而这些部分的数据与情绪状态在判断无关，因此，仅计算重要像素点即可。上述重要像素点指的是人脸视频或视频帧中人脸对应的图像位置；当数据较多时，当仅做初步筛选时，也可以是眼角、眉毛的末端、嘴角、鼻尖位置，以减轻服务器计算量，提升计算效率。
在上述步骤S3中，所述通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像的步骤，具体包括：
根据振幅数值与颜色的映射关系，将振幅转换成颜色，得到视频帧的颜色数据；根据频率数据与色块的大小的映射关系，将频率数值转换成色块的大小，得到视频帧的色块数据；
将所述颜色数据和所述色块数据合成至所述视频帧之中，再将所述视频帧组合成图像，得到情绪状态的色彩图像。
在步骤S3中，结合步骤S2可知，人的生理过程的强度与生物体的状态有关，当一个人平静下来休息时，他的心率和呼吸是最小的，当一个人兴奋时，他的呼吸和心率增加。各种振动运动过程的特点是两个基本参数频率和振幅。因此如果有可能获得一个人的振动图像，显示其每个点的振动频率和振幅，则该图像应反映一个人的心理和生理状态，动态情绪识别检测的每个点都反映了物体振动运动的参数。动态情绪识别模型通过标准数字网络或模拟摄像机采集图像处理来测量人的微弱细小振动。人头部微振动与一个人的前庭-情绪反射(VER)相关联并反映情感状态。动态情绪识别模型通过控制三维(3D)头颈运动和微振动来检测人类情绪，采用多个视频帧中的帧差进行累积分析结果。
该技术的核心是通过视频图像分析算法来得出可视化的多种变量结果，来评价被测者的情绪状态。在图像上的面部相同的位置时，相对振幅幅度可通过模型自动进行处理。
动态情绪识别模型可以是以图像分析方式，主要针对原始彩色图像、热成像或x射线图像。每种图像类型都提供有关对象的新的和唯一的信息。振动的每个像素点反映微振动参数–振动的频率或振幅。一帧可视化的振动频率和振幅作为外部振动和看起来像人的光环(vibra-aura)。通常外部振动光环颜色与振动频率相关联，外部振动光环尺寸与振动振幅相关联。
本实施例中，动态情绪识别模型是基于心理的情感情绪识别技术，以测量微振动以频率和振幅为参数。因此，基于振动参数的三维物体波动的可视化可以与各种精神状态相关，例如攻击、压力、紧张、可疑等，以及各种情绪，正常状态和潜意识反射的表现。振动可以被表征为诸如可见光谱，红外， x射线，MRI或超声成像的各种图像类型之一，例如本实施例步骤S3将震动表征成为光谱。具体的，视频通常每秒由大约25帧图像组成，能够逐帧检测拍摄对象面部的皮肤、眼皮等的振动情况，根据振动的振幅和频率，用颜色将情绪区分为“攻击性”、“紧张”等50种类型，常用的有10种类型。为了方便现场工作人员做出判断，被检测对象的情绪状态会通过头颈、脸部周围的彩色线条显示，可以将这种线条命名为“颜色条”。上述情绪判断还可以是，将采样的特征信息作为BP神经网络算法的输入值，通过BP神经网络对输入值进行训练，最后获得判断模型。动态情绪识别模型的技术还可以应用于不同领域，如公共安全识别，情绪识别，人际兼容性测试，医疗诊断等。随着数码相机和大功率计算机的发展，每个像素振动的现场已经能够通过可视化反馈。
参照图2，本申请还提出一种动态情绪识别装置，所述装置包括：
提取模块1，用于提取通过摄像机实时采集的人脸视频；
数值化模块2，用于通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据；
可视化模块3，用于通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像；
检测模块4，用于将所述色彩图像进行显示，并对该色彩图像对应的所述数值化数据进行数值检测；当有超过预设值时，则在原人脸视频上截图，同时在所述截图中标注超过阈值的范围，并报警。
在提取模块1中，提取通过摄像机实时采集的人脸视频，可以是通过设置在过道、房间、食堂等等地方的摄像头或摄像机采集，此种方式为常规性采集，主要采集人们的日常情绪信息。还可以通过在和采集对象进行谈话、对采集对象进行测试等特殊的情况下，对采集对象进行人脸视频的采集。也可以上述两种情况结合，第一种采集视频用作初步筛选、第二种采集视频用作精准测试。
其中，上述数值化模块2，具体包括：
提取单元，用于将采集的人脸视频提取为连续的视频帧，依次对每个视频帧进行预处理，得到N组待处理视频帧，存储每组视频帧与原人脸视频的对应关系，其中，N为大于等于1的自然数；
计算单元，用于分别针对每组待处理视频帧，计算其重要像素点的振幅和频率，获得振幅和频率的数值。
其中，上述计算视频帧中重要像素点的振幅的方法为：
其中x,y代表图像中该点的坐标值，N代表图像的总帧数，Ux,y,i代表在第 i帧中该点的位移幅度。
在本实施例中，将采集的人脸视频提取为连续的视频帧，而视频是由很多的连续的画面组成的，这里在视频帧指上述连续画面中每一个静态的画面，提取后仍保留其先后顺序，即为连续的视频帧。由于采集的方式多种多样(具体如前述实施例以及后续实施例中的详细介绍)，具体视频中可能包含多个人物的人脸，所以这里将视频帧再进行分组处理，这里的分组可以是对静态画面进行切割，或是分别提取指定区域内容再形成分组，N组代表从上述人脸视频中可以分出N个人脸，当只有一个人脸数据时，N＝1，具体做法可以参考相关现有技术，不再赘述。即使是提取后的视频帧，仍然会包含头发部分、背景部分，而这些部分的数据与情绪状态在判断无关，因此，仅计算重要像素点即可。上述重要像素点指的是人脸视频或视频帧中人脸对应的图像位置；当数据较多时，当仅做初步筛选时，也可以是眼角、眉毛的末端、嘴角、鼻尖位置，以减轻服务器计算量，提升计算效率。
其中，所述可视化模块3，具体包括：
映射单元，用于根据振幅数值与颜色的映射关系，将振幅转换成颜色，得到视频帧的颜色数据；根据频率数据与色块的大小的映射关系，将频率数值转换成色块的大小，得到视频帧的色块数据；
合成单元，用于将所述颜色数据和所述色块数据合成至所述视频帧之中，再将所述视频帧组合成图像，得到情绪状态的色彩图像。
在本实施例中，结合前述可知，人的生理过程的强度与生物体的状态有关，当一个人平静下来休息时，他的心率和呼吸是最小的，当一个人兴奋时，他的呼吸和心率增加。各种振动运动过程的特点是两个基本参数频率和振幅。因此如果有可能获得一个人的振动图像，显示其每个点的振动频率和振幅，则该图像应反映一个人的心理和生理状态，动态情绪识别检测的每个点都反映了物体振动运动的参数。动态情绪识别模型通过标准数字网络或模拟摄像机采集图像处理来测量人的微弱细小振动。人头部微振动与一个人的前庭- 情绪反射(VER)相关联并反映情感状态。动态情绪识别模型通过控制三维 (3D)头颈运动和微振动来检测人类情绪，采用多个视频帧中的帧差进行累积分析结果。
该技术的核心是通过视频图像分析算法来得出可视化的多种变量结果，来评价被测者的情绪状态。在图像上的面部相同的位置时，相对振幅幅度可通过模型自动进行处理。
动态情绪识别模型可以是以图像分析方式，主要针对原始彩色图像、热成像或x射线图像。每种图像类型都提供有关对象的新的和唯一的信息。振动的每个像素点反映微振动参数–振动的频率或振幅。一帧可视化的振动频率和振幅作为外部振动和看起来像人的光环(vibra-aura)。通常外部振动光环颜色与振动频率相关联，外部振动光环尺寸与振动振幅相关联。
本实施例中，动态情绪识别模型是基于心理的情感情绪识别技术，以测量微振动以频率和振幅为参数。因此，基于振动参数的三维物体波动的可视化可以与各种精神状态相关，例如攻击、压力、紧张、可疑等，以及各种情绪，正常状态和潜意识反射的表现。振动可以被表征为诸如可见光谱，红外， x射线，MRI或超声成像的各种图像类型之一，例如本实施例步骤S3将震动表征成为光谱。具体的，视频通常每秒由大约25帧图像组成，能够逐帧检测拍摄对象面部的皮肤、眼皮等的振动情况，根据振动的振幅和频率，用颜色将情绪区分为“攻击性”、“紧张”等50种类型，常用的有10种类型。为了方便现场工作人员做出判断，被检测对象的情绪状态会通过头颈、脸部周围的彩色线条显示，可以将这种线条命名为“颜色条”。上述情绪判断还可以是，将采样的特征信息作为BP神经网络算法的输入值，通过BP神经网络对输入值进行训练，最后获得判断模型。动态情绪识别模型的技术还可以应用于不同领域，如公共安全识别，情绪识别，人际兼容性测试，医疗诊断等。随着数码相机和大功率计算机的发展，每个像素振动的现场已经能够通过可视化反馈。
参照图3，本申请实施例中还提出一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图3所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频数据等。该计算机设备的网络接口用于与外部的终端如摄像机，通过网络连接通信。该计算机程序被处理器执行时以实现一种动态情绪识别方法。
上述处理器执行上述方法的步骤:
提取通过摄像机实时采集的人脸视频；
通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据；
通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像；
将所述色彩图像进行显示，并对该色彩图像对应的所述数值化数据进行数值检测；当有超过预设值时，则在原人脸视频上截图，同时在所述截图中标注超过阈值的范围，并报警。
进一步地，所述通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据的步骤，具体包括：
将采集的人脸视频提取为连续的视频帧，依次对每个视频帧进行预处理，得到N组待处理视频帧，存储每组视频帧与原人脸视频的对应关系，其中， N为大于等于1的自然数；
分别针对每组待处理视频帧，计算其重要像素点的振幅和频率，获得振幅和频率的数值。
进一步地，所述通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像的步骤，具体包括：
根据振幅数值与颜色的映射关系，将振幅转换成颜色，得到视频帧的颜色数据；根据频率数据与色块的大小的映射关系，将频率数值转换成色块的大小，得到视频帧的色块数据；
将所述颜色数据和所述色块数据合成至所述视频帧之中，再将所述视频帧组合成图像，得到情绪状态的色彩图像。
进一步地，计算视频帧中重要像素点的振幅的方法为：
其中x,y代表图像中该点的坐标值，N代表图像的总帧数，Ux,y,i代表在第 i帧中该点的位移幅度。
本申请一实施例还提出一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种动态情绪识别方法，包括步骤：
提取通过摄像机实时采集的人脸视频；
通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据；
通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像；
将所述色彩图像进行显示，并对该色彩图像对应的所述数值化数据进行数值检测；当有超过预设值时，则在原人脸视频上截图，同时在所述截图中标注超过阈值的范围，并报警。
在一个实施例中，所述通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据的步骤，具体包括：
将采集的人脸视频提取为连续的视频帧，依次对每个视频帧进行预处理，得到N组待处理视频帧，存储每组视频帧与原人脸视频的对应关系，其中， N为大于等于1的自然数；
分别针对每组待处理视频帧，计算其重要像素点的振幅和频率，获得振幅和频率的数值。
在一个实施例中，所述通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像的步骤，具体包括：
根据振幅数值与颜色的映射关系，将振幅转换成颜色，得到视频帧的颜色数据；根据频率数据与色块的大小的映射关系，将频率数值转换成色块的大小，得到视频帧的色块数据；
将所述颜色数据和所述色块数据合成至所述视频帧之中，再将所述视频帧组合成图像，得到情绪状态的色彩图像。
在一个实施例中，计算视频帧中重要像素点的振幅的方法为：
其中x,y代表图像中该点的坐标值，N代表图像的总帧数，Ux,y,i代表在第 i帧中该点的位移幅度。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM) 或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM通过多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM (DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种动态情绪识别方法，其特征在于：包括以下步骤：
提取通过摄像机实时采集的人脸视频；
通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据；
通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像；
将所述色彩图像进行显示，并对该色彩图像对应的所述数值化数据进行数值检测；当有超过预设值时，则在原人脸视频上截图，同时在所述截图中标注超过阈值的范围，并报警。
2.根据权利要求1所述的动态情绪识别方法，其特征在于，所述通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据的步骤，具体包括：
将采集的人脸视频提取为连续的视频帧，依次对每个视频帧进行预处理，得到N组待处理视频帧，存储每组视频帧与原人脸视频的对应关系，其中，N为大于等于1的自然数；
分别针对每组待处理视频帧，计算其重要像素点的振幅和频率，获得振幅和频率的数值。
3.根据权利要求2所述的动态情绪识别方法，其特征在于，所述通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像的步骤，具体包括：
根据振幅数值与颜色的映射关系，将振幅转换成颜色，得到视频帧的颜色数据；根据频率数据与色块的大小的映射关系，将频率数值转换成色块的大小，得到视频帧的色块数据；
将所述颜色数据和所述色块数据合成至所述视频帧之中，再将所述视频帧组合成图像，得到情绪状态的色彩图像。
4.根据权利要求2所述的动态情绪识别方法，其特征在于，计算视频帧中重要像素点的振幅的方法为：
其中x,y代表图像中该点的坐标值，N代表图像的总帧数，Ux,y,i代表在第i帧中该点的位移幅度。
5.一种动态情绪识别装置，其特征在于：包括：
提取模块，用于提取通过摄像机实时采集的人脸视频；
数值化模块，用于通过动态情绪识别模型对采集的人脸视频进行处理，获得人脸对应人物的情绪状态的数值化数据；
可视化模块，用于通过预设的色彩唯一对应关系，将所述数值化数据进行可视化处理，得到情绪状态的色彩图像；
检测模块，用于将所述色彩图像进行显示，并对该色彩图像对应的所述数值化数据进行数值检测；当有超过预设值时，则在原人脸视频上截图，同时在所述截图中标注超过阈值的范围，并报警。
6.根据权利要求1所述的动态情绪识别装置，其特征在于，所述数值化模块，具体包括：
提取单元，用于将采集的人脸视频提取为连续的视频帧，依次对每个视频帧进行预处理，得到N组待处理视频帧，存储每组视频帧与原人脸视频的对应关系，其中，N为大于等于1的自然数；
计算单元，用于分别针对每组待处理视频帧，计算其重要像素点的振幅和频率，获得振幅和频率的数值。
7.根据权利要求6所述的动态情绪识别装置，其特征在于，所述可视化模块，具体包括：
映射单元，用于根据振幅数值与颜色的映射关系，将振幅转换成颜色，得到视频帧的颜色数据；根据频率数据与色块的大小的映射关系，将频率数值转换成色块的大小，得到视频帧的色块数据；
合成单元，用于将所述颜色数据和所述色块数据合成至所述视频帧之中，再将所述视频帧组合成图像，得到情绪状态的色彩图像。
8.根据权利要求6所述的动态情绪识别装置，其特征在于，计算视频帧中重要像素点的振幅的方法为：
其中x,y代表图像中该点的坐标值，N代表图像的总帧数，Ux,y,i代表在第i帧中该点的位移幅度。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4中任一项所述动态情绪识别方法的步骤。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述动态情绪识别方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110982485.9A CN113822164A (zh) | 2021-08-25 | 2021-08-25 | 动态情绪识别方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110982485.9A CN113822164A (zh) | 2021-08-25 | 2021-08-25 | 动态情绪识别方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113822164A true CN113822164A (zh) | 2021-12-21 |
Family
ID=78923256
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110982485.9A Pending CN113822164A (zh) | 2021-08-25 | 2021-08-25 | 动态情绪识别方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113822164A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114694234A (zh) * | 2022-06-02 | 2022-07-01 | 杭州智诺科技股份有限公司 | 情绪识别方法、系统、电子设备和存储介质 |
| CN115953724A (zh) * | 2023-03-14 | 2023-04-11 | 智因科技(深圳)有限公司 | 一种用户数据分析以及管理方法、装置、设备及存储介质 |
| CN117079324A (zh) * | 2023-08-17 | 2023-11-17 | 厚德明心(北京)科技有限公司 | 一种人脸情绪识别方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109508638A (zh) * | 2018-10-11 | 2019-03-22 | 平安科技（深圳）有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
| CN113837128A (zh) * | 2021-09-28 | 2021-12-24 | 北京易华录信息技术股份有限公司 | 一种情绪识别方法、系统及存储介质 |
-
2021
- 2021-08-25 CN CN202110982485.9A patent/CN113822164A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109508638A (zh) * | 2018-10-11 | 2019-03-22 | 平安科技（深圳）有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
| CN113837128A (zh) * | 2021-09-28 | 2021-12-24 | 北京易华录信息技术股份有限公司 | 一种情绪识别方法、系统及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| VIKTOR MINKIN: "《VibraImage》", 31 December 2017, SAINT PETERSBURG RENOME PUBLISHING FIRM, pages: 1 - 102 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114694234A (zh) * | 2022-06-02 | 2022-07-01 | 杭州智诺科技股份有限公司 | 情绪识别方法、系统、电子设备和存储介质 |
| CN114694234B (zh) * | 2022-06-02 | 2023-02-03 | 杭州智诺科技股份有限公司 | 情绪识别方法、系统、电子设备和存储介质 |
| CN115953724A (zh) * | 2023-03-14 | 2023-04-11 | 智因科技(深圳)有限公司 | 一种用户数据分析以及管理方法、装置、设备及存储介质 |
| CN117079324A (zh) * | 2023-08-17 | 2023-11-17 | 厚德明心(北京)科技有限公司 | 一种人脸情绪识别方法、装置、电子设备及存储介质 |
| CN117079324B (zh) * | 2023-08-17 | 2024-03-12 | 厚德明心(北京)科技有限公司 | 一种人脸情绪识别方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113822164A (zh) | 动态情绪识别方法、装置、计算机设备和存储介质 | |
| JP4401079B2 (ja) | 被験者の行動解析 | |
| CN106446831B (zh) | 一种人脸识别方法及装置 | |
| CN107809951B (zh) | 利用基于视频检测出生理信号的对扭曲的心理生理探测(测谎)方法和装置 | |
| CN108960022B (zh) | 一种情绪识别方法及其装置 | |
| Datcu et al. | Noncontact automatic heart rate analysis in visible spectrum by specific face regions | |
| CN111887867A (zh) | 基于表情识别与心理学测试生成性格的分析方法及系统 | |
| CN110866450A (zh) | 一种帕金森病监测方法、装置及存储介质 | |
| CN113647950A (zh) | 心理情绪检测方法及系统 | |
| CN111222464B (zh) | 情感分析方法以及系统 | |
| CN110755091A (zh) | 一种个人心理健康监测系统及方法 | |
| JPWO2020054604A1 (ja) | 情報処理装置、制御方法、及びプログラム | |
| CN116665281B (zh) | 一种基于医患交互的关键情绪提取方法 | |
| Choi et al. | Dynamic and quantitative evaluation of eyelid motion using image analysis | |
| CN109784179A (zh) | 基于微表情识别的智能监护方法、装置、设备及介质 | |
| CN113143274A (zh) | 基于摄像头的情绪预警方法 | |
| EP3529764A1 (de) | Vorrichtung zur ermittlung von merkmalen einer person | |
| CN110693508A (zh) | 多通道协同的心理生理主动感知方法及服务机器人 | |
| CN109492585A (zh) | 一种活体检测方法和电子设备 | |
| CN110909566A (zh) | 健康分析方法、移动终端和计算机可读存储介质 | |
| Caya et al. | Development of Pupil Diameter Determination using Tiny-YOLO Algorithm | |
| CN112487980A (zh) | 基于微表情治疗方法、装置、系统与计算机可读存储介质 | |
| CN114241565A (zh) | 一种面部表情、目标对象状态分析方法、装置及设备 | |
| Hammal et al. | Holistic and feature-based information towards dynamic multi-expressions recognition | |
| CN117671774B (zh) | 一种人脸情绪智能识别分析设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |