CN109829388A - 基于微表情的视频数据处理方法、装置和计算机设备 - Google Patents
基于微表情的视频数据处理方法、装置和计算机设备 Download PDFInfo
- Publication number
- CN109829388A CN109829388A CN201910013036.6A CN201910013036A CN109829388A CN 109829388 A CN109829388 A CN 109829388A CN 201910013036 A CN201910013036 A CN 201910013036A CN 109829388 A CN109829388 A CN 109829388A
- Authority
- CN
- China
- Prior art keywords
- facial image
- image
- micro
- video
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 181
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000001815 facial effect Effects 0.000 claims abstract description 339
- 238000004590 computer program Methods 0.000 claims description 28
- 238000012545 processing Methods 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 238000012549 training Methods 0.000 description 116
- 238000003066 decision tree Methods 0.000 description 21
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000005070 sampling Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 210000004709 eyebrow Anatomy 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及人工智能，提供一种基于微表情的视频数据处理方法、装置、计算机设备和存储介质。该方法包括：接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对第一视频图像和第二视频图像进行人脸检测，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像；将第一人脸图像和第二人脸图像分别输入到已训练的微表情识别模型，得到第一人脸图像对应的第一微表情和第二人脸图像对应的第二微表情；根据第一微表情确定目标满意度，根据第二微表情确定目标服务等级，将目标满意度和第一视频图像发送第二终端，将目标服务等级和第二视频图像发送第一终端。采用本方法能够节省视频流量资源，提高效率。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于微表情的视频数据处理、装置、计算机设备和存储介质。
背景技术
随着互联网的发展，越来越多的人享受互联网发展带来的便利，比如，通过视频通话使不同地方的人能够进行面对面沟通交流。比如通过视频进行交友，交易等等。目前，通过视频通话进行交易或者推销时，通常要花费大量时间进行视频沟通交流，甚至需要进行线下走访，才能使客户满意，从而达成交易或者完成推销。然而，通过大量的视频通话，会浪费大量的视频流量资源，效率低下。
发明内容
基于此，有必要针对上述技术问题，提供一种能够节省视频流量资源，提高效率的基于微表情的视频数据处理方法、装置、计算机设备和存储介质。
一种基于微表情的视频数据处理方法，所述方法包括：
接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对所述第一视频图像和所述第二视频图像进行人脸检测，得到所述第一视频图像对应的第一人脸图像和所述第二视频图像对应的第二人脸图像；
将所述第一人脸图像和所述第二人脸图像分别输入到已训练的微表情识别模型，得到所述第一人脸图像对应的第一微表情和所述第二人脸图像对应的第二微表情；
根据所述第一微表情确定目标满意度，根据所述第二微表情确定目标服务等级，将所述目标满意度和所述第一视频图像发送所述第二终端，将所述目标服务等级和所述第二视频图像发送所述第一终端。
在其中一个实施例中，所述接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对所述第一视频图像和所述第二视频图像进行人脸检测，得到所述第一视频图像对应的第一人脸图像和所述第二视频图像对应的第二人脸图像，包括：
按照预设时间间隔从所述第一视频图像和所述第二视频图像截取视频图片；
提取所述视频图片中的人脸部分，得到所述第一视频图像对应的第一人脸图像和所述第二视频图像对应的第二人脸图像。
在其中一个实施例中，所述接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对所述第一视频图像和所述第二视频图像进行人脸检测，得到所述第一视频图像对应的第一人脸图像和所述第二视频图像对应的第二人脸图像之后，还包括：
获取目标人脸图像，分别计算所述第一人脸图像和所述第二人脸图像与所述目标人脸图像的相似度；
当第一人脸图像和目标人脸图像的相似度大于第一预设阈值时，得到第一人脸图像对应的第一目标人脸图像；
当第二人脸图像和目标人脸图像的相似度大于第二预设阈值时，得到第二人脸图像对应的第二目标人脸图像。
在其中一个实施例中，所述分别计算所述第一人脸图像和所述第二人脸图像与所述目标人脸图像的相似度，包括：
确定所述第一人脸图像和所述第二人脸图像的人脸肤色特征信息；
将所述第一人脸图像和所述第二人脸图像分别进行划分，得到所述第一人脸图像和所述第二人脸图像的人脸局部块，确定人脸局部块的轮廓特征信息、纹理特征信息和面积特征信息；
根据所述第一人脸图像和所述第二人脸图像的人脸肤色特征信息、所述轮廓特征信息、所述纹理特征信息和所述面积特征信息，分别计算所述第一人脸图像和所述第二人脸图像与所述目标人脸图像的相似度。
在其中一个实施例中，所述微表情识别模型的训练步骤，包括：
获取历史视频图像和历史视频图像对应的微表情标签，得到初始样本集；
从所述初始样本集中随机有放回采样，得到目标训练集；
根据所述目标训练集得到对应的历史微表情特征集，从所述历史微表情特征集中随机选择微表情特征，得到目标微表情特征集；
根据所述目标微表情特征集计算得到划分表情特征，使用所述划分表情特征对所述目标训练集二叉划分，得到各个子训练集，将所述各个子训练集作为目标训练集；
返回根据所述目标训练集得到对应的历史微表情特征集，从所述历史微表情特征集中随机选择微表情特征，得到目标微表情特征集的步骤执行，当达到预设条件时，得到目标决策树；
返回从所述初始样本集中随机有放回采样，得到目标训练集的步骤执行，当达到预设数目的所述目标决策树时，得到所述微表情识别模型。
在其中一个实施例中，所述根据所述第一微表情确定目标满意度，根据所述第二微表情确定目标服务等级，包括：
接收第一语音信息和第二语音信息，根据所述第一语音信息得到对应的第一文本信息，根据所述第二语音信息得到第二文本信息；
提取所述第一文本信息和所述第二文件信息中的关键词，得到所述第一文本信息对应的第一关键词和所述第二文件信息对应的第二关键词；
当所述第一关键词与第一预设关键词一致时，根据所述第一关键词和所述第一微表情确定目标满意度，当所述第二关键词与第二预设关键词一致时，根据所述第二关键词和所述第二微表情确定目标服务等级。
在其中一个实施例中，所述将所述目标满意度和所述第一视频图像发送所述第二终端，将所述目标服务等级和所述第二视频图像发送所述第一终端，包括：
确定所述目标满意度在所述第一视频图像中的加载位置，根据所述加载位置将所述目标满意度加载至所述第一视频图像中，得到第一目标视频图像，将第一目标视频图像发送所述第二终端；
确定所述目标服务等级在所述第二视频图像中的加载位置，根据所述加载位置将所述目标服务等级加载至所述第二视频图像中，得到第二目标视频图像，将第二目标视频图像发送所述第一终端。
一种基于微表情的视频数据处理装置，所述装置包括：
人脸检测模块，用于接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对所述第一视频图像和所述第二视频图像进行人脸检测，得到所述第一视频图像对应的第一人脸图像和所述第二视频图像对应的第二人脸图像；
微表情识别模块，用于将所述第一人脸图像和所述第二人脸图像分别输入到已训练的微表情识别模型，得到所述第一人脸图像对应的第一微表情和所述第二人脸图像对应的第二微表情；
识别结果处理模块，用于根据所述第一微表情确定目标满意度，根据所述第二微表情确定目标服务等级，将所述目标满意度和所述第一视频图像发送所述第二终端，将所述目标服务等级和所述第二视频图像发送所述第一终端。
在其中一个实施例中，所述装置，还包括：
相似度计算模块，用于分别计算所述第一人脸图像和所述第二人脸图像与所述目标人脸图像的相似度；
第一目标人脸图像确定模块，用于当所述第一人脸图像和所述目标人脸图像的相似度大于第一预设阈值时，得到所述第一人脸图像对应的第一目标人脸图像；
第二目标人脸图像确定模块，用于当所述第二人脸图像和所述目标人脸图像的相似度大于第二预设阈值时，得到所述第二人脸图像对应的第二目标人脸图像。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对所述第一视频图像和所述第二视频图像进行人脸检测，得到所述第一视频图像对应的第一人脸图像和所述第二视频图像对应的第二人脸图像；
将所述第一人脸图像和所述第二人脸图像分别输入到已训练的微表情识别模型，得到所述第一人脸图像对应的第一微表情和所述第二人脸图像对应的第二微表情；
根据所述第一微表情确定目标满意度，根据所述第二微表情确定目标服务等级，将所述目标满意度和所述第一视频图像发送所述第二终端，将所述目标服务等级和所述第二视频图像发送所述第一终端。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对所述第一视频图像和所述第二视频图像进行人脸检测，得到所述第一视频图像对应的第一人脸图像和所述第二视频图像对应的第二人脸图像；
将所述第一人脸图像和所述第二人脸图像分别输入到已训练的微表情识别模型，得到所述第一人脸图像对应的第一微表情和所述第二人脸图像对应的第二微表情；
根据所述第一微表情确定目标满意度，根据所述第二微表情确定目标服务等级，将所述目标满意度和所述第一视频图像发送所述第二终端，将所述目标服务等级和所述第二视频图像发送所述第一终端。
上述基于微表情的视频数据处理方法、装置、计算机设备和存储介质，通过接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对第一视频图像和第二视频图像进行人脸检测，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像。将第一人脸图像和第二人脸图像分别输入到已训练的微表情识别模型，得到第一人脸图像对应的第一微表情和第二人脸图像对应的第二微表情。根据第一微表情确定目标满意度，根据第二微表情确定目标服务等级，将目标满意度和第一视频图像发送第二终端，将目标服务等级和第二视频图像发送第一终端，能够使视频双方根据终端显示的内容及时调整沟通，减少视频通话时间，节省视频流量资源，提高效率。
附图说明
图1为一个实施例中基于微表情的视频数据处理方法的应用场景图；
图2为一个实施例中基于微表情的视频数据处理方法的流程示意图；
图3为一个实施例中得到人脸图像的流程示意图；
图4为一个实施例中确定目标人脸图像的流程示意图；
图5为一个实施例中计算相似度的流程示意图；
图6为一个实施例中得到微表情识别模型的流程示意图；
图7为一个实施例中确定目标满意度和目标服务等级的流程示意图；
图8为一个实施例中得到目标视频图像的流程示意图；
图9为一个实施例中基于微表情的视频数据处理装置的结构框图；
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的基于微表情的视频数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信，终端106通过网络与服务器104进行通信。服务器104接收第一终端102发送的第一视频图像和第二终端106发送的第二视频图像，对第一视频图像和第二视频图像进行人脸检测，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像；服务器104将第一人脸图像和第二人脸图像分别输入到已训练的微表情识别模型，得到第一人脸图像对应的第一微表情和第二人脸图像对应的第二微表情；服务器104根据第一微表情确定目标满意度，根据第二微表情确定目标服务等级，将目标满意度和第一视频图像发送第二终端106，将目标服务等级和第二视频图像发送第一终端102。其中，终端102和终端106可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种基于微表情的视频数据处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
S202，接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对第一视频图像和第二视频图像进行人脸检测，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像。
其中，第一终端是指用户终端，第二终端是指业务员终端，用户终端通过服务器与业务员终端建立视频通话，用户终端通过视频采集装置采集用户视频图像，得到第一视频图像，业务员终端通过视频采集装置采集业务员视频图像，得到第二视频图像。
具体地，服务器在第一终端和第二终端建立视频通话后，接收到第一终端发送的第一视频图像和第二终端发送的第二视频图像，可以按照预设时间间隔对接收到的第一视频图像和第二视频图像进行人脸检测，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像。
S204，将第一人脸图像和第二人脸图像分别输入到已训练的微表情识别模型，得到第一人脸图像对应的第一微表情和第二人脸图像对应的第二微表情。
其中，微表情识别模型是根据历史人脸数据和对应的微表情使用机器学习算法进行大量训练得到的，其中机器学习算法可以是深度神经网络算法、随机森林算法等等。微表情是引发隐藏某种真实情绪的短暂和不自主的快速面部表情。标准的微表情持续时间在1/5到1/25之间。
具体地，服务器将第一人脸图像输入到已训练的微表情识别模型中进行计算得到第一人脸图像对应的第一微表情，将第二人脸图像输入到已训练的微表情识别模型中进行计算得到第二人脸图像对应的第二微表情。
S206，根据第一微表情确定目标满意度，根据第二微表情确定目标服务等级，将目标满意度和第一视频图像发送第二终端，将目标服务等级和第二视频图像发送第一终端。
其中，目标满意度是指根据第一微表情得到的第一人脸图像的满意度，用于体现第一人脸图像对应的用户的满意程度。预先设置好好微表情和满意度之间的对应关系，比如，高兴的微表情对应的满意度为80％。厌恶的微表情的满意度为20％。目标服务等级是指根据第二微表情得到的第二人脸图像的服务等级，用于体现第二人脸图像对应的业务员的服务态度。预先设置好微表情和服务等级之间的对应关系，其中，服务等级可以包括差、一般、良好、优秀。比如，真诚的微表情对应的服务等级为优秀，消极的微表情对应的服务等级为差。
具体地，服务器根据预先设置好的对应关系第一微表情确定对应的目标满意度，根据第二微表情确定对应的目标服务等级，将目标满意度和第一视频图像发送第二终端，第二终端接收到目标满意度和第一视频图像后进行关联显示。服务器将目标服务等级和第二视频图像发送第一终端，第一终端接收到目标服务等级和第二视频图像后，将目标服务等级和第二视频图像关联显示。
上述基于微表情的视频数据处理方法，通过接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对第一视频图像和第二视频图像进行人脸检测，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像。将第一人脸图像和第二人脸图像分别输入到已训练的微表情识别模型，得到第一人脸图像对应的第一微表情和第二人脸图像对应的第二微表情。根据第一微表情确定目标满意度，根据第二微表情确定目标服务等级，将目标满意度和第一视频图像发送第二终端，将目标服务等级和第二视频图像发送第一终端，用户可以根据第一终端显示的服务等级来调整沟通或者停止视频沟通，业务人员可以根据第二终端显示的目标满意度来调整沟通，能够使视频双方根据终端显示的内容及时调整沟通，减少视频通话时间，节省视频流量资源，提高效率。
在一个实施例中，当视频通话结束时，统计此时视频通话过程中目标满意度和目标服务等级的时间占比，将时间占比最高的目标满意度和目标服务等级作为此时视频通话最终的满意度和服务等级，将最终的满意度和服务等级分别发送到对应的终端显示，并将最终的满意度和服务等级保存，便于后续的使用。
在一个实施例中，如图3所示，步骤S202，即接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对第一视频图像和第二视频图像进行人脸检测，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像，包括步骤：
S302，按照预设时间间隔从第一视频图像和第二视频图像截取视频图片。
具体地，，服务器按照预先设置好的设时间间隔可以从第一视频图像中截取视频帧得到第一视频图像对应的视频图片，从第二视频图像中截取视频帧得到第二视频图像对应的视频图片。其中，预设时间间隔可以是5秒。
S304，提取视频图片中的人脸部分，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像。
具体地，服务器可以使用人脸检测算法提取第一视频图像对应的视频图片的人脸部分，得到第一视频图像对应的第一人脸图像。使用人脸检测算法提取第二视频图像对应的视频图片的人脸部分，得到第二视频图像对应的第二人脸图像。其中，人脸检测算法可以使用AdaBoost算法，Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。在进行检测时通过计算人脸haar积分图特征，再通过已训练的最终分类器进行识别，得到识别结果。
上述实施例中，通过按照预设时间间隔从第一视频图像和第二视频图像截取视频图片，提取视频图片中的人脸部分，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像，通过人脸检测得到视频图像的人脸部分，方便后续进行人脸微表情识别，提高效率。
在一个实施例中，如图4所示，步骤S202，即接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对第一视频图像和第二视频图像进行人脸检测，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像之后，还包括步骤：
S402，获取目标人脸图像，分别计算第一人脸图像和第二人脸图像与目标人脸图像的相似度。
其中，目标人脸图像是指预先采集好并带有人脸标识的人脸图像，该目标人脸图像保存在数据库中。比如：目标人脸图像可以是姓名为“张三”的人脸图像等等。
具体地，服务器从人脸数据库中依次获取保存的目标人脸图像，分别计算该目标人脸图像和第一人脸图像的相似度，该目标人脸图像和第二人脸图像的相似度，进行人脸识别。
S404，当第一人脸图像和目标人脸图像的相似度大于第一预设阈值时，得到第一人脸图像对应的第一目标人脸图像。
S406，当第二人脸图像和目标人脸图像的相似度大于第二预设阈值时，得到第二人脸图像对应的第二目标人脸图像。
其中，第一预设阈值是预先设置好的第一人脸图像与目标人脸图像的相似度阈值。第二预设阈值是预先设置好的第二人脸图像与目标人脸图像的相似度阈值。第二目标人脸图像是指第一人脸图像对应的识别结果图像。第二目标人脸图像是第二人脸图像对应的识别结果图像。
具体地，当目标人脸图像和第一人脸图像的相似度大于第一预设阈值，得到第一人脸图像对应的识别结果，即将该相似度大于第二预设阈值的目标人脸图像作为第一目标人脸图像。当目标人脸图像和第二人脸图像的相似度大于预设阈值，得到第二人脸图像对应的识别结果，即将相似度大于第二预设阈值的目标人脸图像作为第二目标人脸图像。例如，在进行视频通话时，可以对视频双方进行人脸识别，确定视频双方在人脸数据库中对应的人脸图像，根据识别的人脸图像得到视频双方对应的标识。
在上述实施例中，通过获取目标人脸图像，分别计算第一人脸图像和第二人脸图像与目标人脸图像的相似度，当第一人脸图像和目标人脸图像的相似度大于第一预设阈值时，得到第一人脸图像对应的第一目标人脸图像；当第二人脸图像和目标人脸图像的相似度大于第二预设阈值时，得到第二人脸图像对应的第二目标人脸图像，能够对人脸图像进行人脸识别，得到人脸识别结果，提高了使用的便利性。
在一个实施例中，如图5所示，步骤S402，分别计算第一人脸图像和第二人脸图像与目标人脸图像的相似度，包括步骤：
S502，确定第一人脸图像和第二人脸图像的人脸肤色特征信息。
具体地，根据第一人脸图像的像素和第二人脸图像的像素确定第一人脸图像对应的人脸肤色特征信息和第二人脸图像对应的人脸肤色特征信息。也可以使用肤色模型来确定第一人脸图像和第二人脸图像的人脸肤色特征信息。比如：高斯模型、混合高斯模型和直方图模型等。
S504，将第一人脸图像和第二人脸图像进行划分，得到第一人脸图像和第二人脸图像的人脸局部块，确定人脸局部块的轮廓特征信息、纹理特征信息和面积特征信息。
具体地，服务器将第一人脸图像和第二人脸图像划分为多个相互连接的局部区域，确定每个局部区域的轮廓特征信息、纹理特征信息和面积特征信息。比如，可以将人脸图像划分为额头区域、眉毛区域、眼睛区域、鼻部区域和嘴部区域等不同局部块，分别计算得到每个局部块的轮廓特征信息、纹理特征信息和面积特征信息。
S506，根据第一人脸图像和第二人脸图像的人脸肤色特征信息、轮廓特征信息、纹理特征信息和面积特征信息，分别计算第一人脸图像和第二人脸图像与目标人脸图像的相似度。
具体地，服务器预先计算得到目标人脸图像各个局部块的人肤色特征信息、轮廓特征信息、纹理特征信息和面积特征信息。将得到的目标人脸图像中每个局部区域的特征信息与第一人脸图像和第二人脸图像的人脸肤色特征信息、每个局部块的轮廓特征信息、纹理特征信息和面积特征信息进行对比，得到每个局部块的相似度，根据每个局部块的相似度，得到第一人脸图像和第二人脸图像与目标人脸图像的相似度。
在上述实施例中，通过确定第一人脸图像和第二人脸图像的人脸肤色特征信息，将第一人脸图像和第二人脸图像分别进行划分，得到第一人脸图像和第二人脸图像的人脸局部块，确定人脸局部块的轮廓特征信息、纹理特征信息和面积特征信息，根据第一人脸图像和第二人脸图像的人脸肤色特征信息、轮廓特征信息、纹理特征信息和面积特征信息，分别计算第一人脸图像和第二人脸图像与目标人脸图像的相似度，通过将人脸图像进行划分，对每个局部块进行相似度计算，得到最终的相似度，能够提高得到的相似度的准确度。
在一个实施例中，如图6所示，微表情识别模型的训练步骤，包括步骤：
S602，获取历史视频图像和历史视频图像对应的微表情标签，得到初始样本集。
具体地，服务器获取到历史视频图像，在历史视频图像中每隔预设时间间隔的视频帧对应的微表情作为标签，获取到该微表情标签，根据该历史视频图像中的视频帧和对应的微表情标签得到初始样本集，该样本集中就包括了历史视频图像的视频帧和该视频帧对应的微表情标签。
S604，从初始样本集中随机有放回采样，得到目标训练集。
S606，根据目标训练集得到对应的历史微表情特征集，从历史微表情特征集中随机选择微表情特征，得到目标微表情特征集。
其中，目标训练集是从初始样本集中随机有放回选取预设数量的样本的样本集合，也可以选取随机数量的样本。历史微表情特征集是指目标训练集中历史视频帧的微表情特征集合。其中，微表情特征包括了上脸部特征、下脸部特征、嘴部特征和其他特征等等。在一个具体的实施例中，该微表情特征可以包括AU(基本形变单元)，例如：眉毛内角上扬、眉毛外角上扬、上眼睑上扬、上嘴唇上提、下巴下沉和鼻孔收缩等等。
具体地，服务器从初始样本集中随机有放回采样，将随机选择到的历史视频图像的视频帧作为目标训练集，从目标训练集中随机选择微表情特征，得到目标微表情特征集，从历史微表情特征集随机选择部分微表情特征，得到目标微表情特征集。
S608，根据目标微表情特征集计算得到划分表情特征，使用划分表情特征对目标训练集二叉划分，得到各个子训练集，将各个子训练集作为目标训练集。
其中，划分表情特征是指使用基尼不纯度算法计算目标微表情特征集中各个微表情特征的基尼不纯度，得到最优的用来划分目标训练集的微表情特征。
具体地，服务器根据目标微表情特征集使用基尼指数选取最优的划分表情特征，使用划分表情特征对目标训练集中的视频帧二叉划分，得到左右训练集，将左右子训练集分别作为目标训练集。当该目标训练集为第一个节点时，该目标训练集为根节点，获取划分表情特征对应的信息，根据划分表情特征信息对该目标训练集二叉划分，得到左右训练集。比如，得到的划分特征为眉毛内角，则将眉毛内角上扬的视频帧划分为左节点，得到左节点训练集，将眉毛内角未上扬的视频帧划分为右节点，得到右节点训练集，分别将左节点训练集和右节点训练集作为目标训练集。
S610，判断是否达到预设条件。当未达到预设条件时，返回步骤S606继续执行。
S612，当达到预设条件时，得到目标决策树。
其中，该预设条件是指目标训练集中样本的微表情标签相同，即目标训练集中各个视频帧对应的微表情标签都相同，比如，所有的视频帧对应的微表情标签都为高兴。
具体地，当得到划分后的目标训练集时，服务器判断每个目标训练集是否达到了预设条件，即每个划分后的目标训练集中的视频帧对应的微表情标签是否相同。当未达到预设条件时，即目标训练集中视频帧对应的的微表情标签不相同，此时返回步骤S606进行执行，即继续进行划分。直到目标训练集中的微表情标签都相同时，即各个节点训练集中的微表情标签都相同时，就得到了目标决策树。比如，得到的左节点训练集中的微表情标签全为惊讶，此时左节点训练集达到了预设条件。而右节点训练集中的微表情标签不相同，则右节点训练集未达到预设条件，此时，将右节点训练集作为目标训练集，返回步骤S606进行执行，直到右节点训练集达到预设条件。得到了一棵表情决策树。当左节点训练集和右节点训练集中的微表情标签都不相同时，则将左节点训练集和右节点训练集分别作为目标训练集，返回步骤S606进行执行，直到划分后的各个子训练集都达到预设条件，就得到了一颗决策树。当左节点训练集中的微表情标签不相同，右节点训练集中的微表情标签相同时，将左节点训练集作为目标训练集继续进行划分，直到划分后的各个子训练集都达到预设条件时，就得到了一棵决策树。
S614，判断是否达到预设数目的目标决策树。当未达到预设数目的目标决策树时，返回步骤S604继续执行。
S616，当达到预设数目的目标决策树时，得到微表情识别模型。
具体地，当得到一棵目标决策树时，此时，服务器判断目标决策树的数量是否达到了预设的数目，比如100棵。当目标决策树的数量达到了预设数目时，就得到了微表情随机森林，将该微表情随机森林作为微表情识别模型。当目标决策树的数量未达到预设数目时，返回步骤S604进行执行，直到得到的目标决策树的数量达到了预设数目。
在上述实施例中，通过获取历史视频图像和历史视频图像对应的微表情标签，得到初始样本集，从初始样本集中随机有放回采样，得到目标训练集。根据目标训练集得到对应的历史微表情特征集，从历史微表情特征集中随机选择微表情特征，得到目标微表情特征集。根据目标微表情特征集计算得到划分表情特征，使用划分表情特征对目标训练集二叉划分，得到各个子训练集，将各个子训练集作为目标训练集。返回根据目标训练集得到对应的历史微表情特征集，根据历史微表情特征集得到目标微表情特征集的步骤执行，当达到预设条件时，得到目标决策树。返回从初始样本集中随机有放回采样，得到目标训练集的步骤执行，当达到预设数目的目标决策树时，形成随机森林，得到了微表情识别模型，可以预先将微表情识别模型训练完成，在进行微表情识别时可以直接使用训练完成的微表情识别模型，提高微表情识别的效率。
在一个实施例中，如图7所示，步骤S206，即根据第一微表情确定目标满意度，根据第二微表情确定目标服务等级，包括步骤：
S702，接收第一语音信息和第二语音信息，根据第一语音信息得到对应的第一文本信息，根据第二语音信息得到第二文本信息。
其中，第一语音信息是第一终端采集到的语音信息，第二语音信息是第二终端采集到了语音信息。
具体地，服务器在视频通话过程中同时接收第一终端发送的第一语音信息和第二终端发送的第二语音信息，将第一语音信息转换为文本信息，将第一语音信息转换为第二文本信息。
S704，提取第一文本信息和第二文件信息中的关键词，得到第一文本信息对应的第一关键词和第二文件信息对应的第二关键词。
具体地，使用关键词提取算法提取第一文本信息和第二文件信息中的关键词，得到第一文本信息对应的第一关键词和第二文件信息对应的第二关键词。其中，关键词提取算法可以使用LDA(Latent Dirichlet Allocation，文档主题生成模型)，TextRank(一种用于文本的基于图的排序算法)等。
在一个实施例中，服务器对得到的文本信息进行分词，并对分词结果进行过滤，根据过滤后得到的词建立候选关键词图，并获取候选关键词图中词节点的预设初始权重；循环迭代候选关键词图，直至达到预设条件时，得到词节点权重，对词节点权重倒序排序，根据排序结果获取预设数的词作为关键词。
在一个实施例中，服务器对得到的文本信息进行分词，并对分词结果进行过滤，根据过滤后得到的词计算每个预设主题的概率，根据每个预设主题的概率计算每个预设主题对应的词分类；计算词分类对每个预设主题的概率，根据词分类对每个预设主题的概率得到关键词。
S706，当第一关键词与第一预设关键词一致时，根据第一关键词和第一微表情确定目标满意度，当第二关键词与第二预设关键词一致时，根据第二关键词和第二微表情确定目标服务等级。
其中，第一预设关键词是指预先设置好用户对应的关键词。第二预设关键词是指预先设置好业务员对应的关键词。
具体地，服务器可以在预先设置好的第一预设关键词中匹配第一关键词，当匹配到一致的预设关键词时，根据第一关键词和得到的第一微表情确定目标满意度。当第二关键词与第二预设关键词一致时，根据第二关键词和第二微表情确定目标服务等级。
在上述实施例中，通过接收第一语音信息和第二语音信息，根据第一语音信息得到对应的第一文本信息，根据第二语音信息得到第二文本信息，提取第一文本信息和第二文件信息中的关键词，得到第一文本信息对应的第一关键词和第二文件信息对应的第二关键词，当第一关键词与第一预设关键词一致时，根据第一关键词和第一微表情确定目标满意度，当第二关键词与第二预设关键词一致时，根据第二关键词和第二微表情确定目标服务等级，通过根据语音信息得到的关键词和委屈来确定满意度和服务等级，进一步提高了确定的满意度和服务等级的准确性。
在一个实施例中，如图8所示，步骤SS206，即将目标满意度和第一视频图像发送第二终端，将目标服务等级和第二视频图像发送第一终端，包括步骤：
S802，确定目标满意度在第一视频图像中的加载位置，根据加载位置将目标满意度加载至第一视频图像中，得到第一目标视频图像，将第一目标视频图像发送第二终端。
具体地，服务器获取到预先设置好的目标满意度在第一视频图像中的加载位置，根据该加载文件将该目标满意度和第一视频图像进行合成，得到第一目标视频图像，将第一目标视频图像发送第二终端进行显示。比如，加载位置可以是视频图像左上角等等。
S804，确定目标服务等级在第二视频图像中的加载位置，根据加载位置将目标服务等级加载至第二视频图像中，得到第二目标视频图像，将第二目标视频图像发送第一终端。
具体地，服务器获取到预先设置好的目标服务等级在第二视频图像中的加载位置，根据该加载位置将目标服务等级和第二视频图像合成，得到第二目标视频图像，将第二目标视频图像发送第一终端进行显示。
在上述实施例中，通过确定目标满意度在第一视频图像中的加载位置，根据加载位置将目标满意度加载至第一视频图像中，得到第一目标视频图像，将第一目标视频图像发送第二终端，确定目标服务等级在第二视频图像中的加载位置，根据加载位置将目标服务等级加载至第二视频图像中，得到第二目标视频图像，将第二目标视频图像发送第一终端，可以按照加载位置将满意度和服务等级加载到视频图像中进行显示，提高了用户体验度。
在一个具体的实施例中，保险业务员通过视频对客户进行保险产品的推销，此时，保险业务员通过业务终端向客户对应的客户终端发起视频通话请求，客户通过客户终端接受视频通话请求，则业务终端通过服务器与客户终端建立视频连接，则保险业务源与客户进行视频通话，服务器接收到客户视频图像和业务员视频图像，每隔5秒截取视频帧，对截取的视频帧进行人脸检测，得到客户人脸图像和业务员人脸图像，将客户人脸图像和业务员人脸图像输入到已训练的微表情识别模型中，得到客户微表情和业务员微表情，根据客户微表情得到对应的客户满意度，根据业务员微表情得到业务员服务等级，将客户满意度与客户视频图像发送的业务终端进行显示，业务员可以根据显示的客户满意度决定进行推销该产品或者更换产品。将业务员服务等级和业务员视频图像发送到客户终端进行显示，客户可以根据显示的业务员服务等级来决定是否继续沟通或者更换业务员，可以节点视频流量资源，并提高业务达成的效率，提升用户的体验。
应该理解的是，虽然图2-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图9所示，提供了一种基于微表情的视频数据装置900，包括：人脸检测模块902、微表情识别模块904和识别结果处理模块906，其中：
人脸检测模块902，用于接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对第一视频图像和第二视频图像进行人脸检测，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像。
微表情识别模块904，用于将第一人脸图像和第二人脸图像分别输入到已训练的微表情识别模型，得到第一人脸图像对应的第一微表情和第二人脸图像对应的第二微表情。
识别结果处理模块906，用于根据第一微表情确定目标满意度，根据第二微表情确定目标服务等级，将目标满意度和第一视频图像发送第二终端，将目标服务等级和第二视频图像发送第一终端。
在一个实施例中，人脸检测模块902，包括：
视频截取模块，用于按照预设时间间隔从第一视频图像和第二视频图像截取视频图片；
人脸提取模块，用于提取视频图片中的人脸部分，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像。
在一个实施例中，基于微表情的视频数据装置900，还包括：
相似度计算模块，用于获取目标人脸图像，分别计算第一人脸图像和第二人脸图像与目标人脸图像的相似度；
第一目标人脸图像确定模块，用于当第一人脸图像和目标人脸图像的相似度大于第一预设阈值时，得到第一人脸图像对应的第一目标人脸图像；
第二目标人脸图像确定模块，用于当第二人脸图像和目标人脸图像的相似度大于第二预设阈值时，得到第二人脸图像对应的第二目标人脸图像。
在一个实施例中，相似度计算模块，包括：
肤色特征确定模块，用于确定第一人脸图像和第二人脸图像的人脸肤色特征信息；
划分模块，用于将第一人脸图像和第二人脸图像进行划分，得到人脸局部块，确定人脸局部块的轮廓特征信息、纹理特征信息和面积特征信息；
计算模块，用于根据人脸肤色特征信息、轮廓特征信息、纹理特征信息和面积特征信息计算与目标人脸图像的相似度。
在一个实施例中，基于微表情的视频数据装置900，包括：
样本得到模块，用于获取历史视频图像和历史视频图像对应的微表情标签，得到初始样本集；
训练集得到模块，用于从初始样本集中随机有放回采样，得到目标训练集；
特征集得到模块，用于根据目标训练集得到对应的历史微表情特征集，从何历史微表情特征集中随机选择微表情特征，得到目标微表情特征集；
训练集划分模块，用于根据目标微表情特征集计算得到划分表情特征，使用划分表情特征对目标训练集二叉划分，得到各个子训练集，将各个子训练集作为目标训练集；
决策树得到模块，用于返回根据目标训练集得到对应的历史微表情特征集，从历史微表情特征集中随机选择微表情特征，得到目标微表情特征集的步骤执行，当达到预设条件时，得到目标决策树；
模型得到模块，用于返回从初始样本集中随机有放回采样，得到目标训练集的步骤执行，当达到预设数目的目标决策树时，得到微表情识别模型。
在一个实施例中，识别结果处理模块906，包括：
语音接收模块，用于接收第一语音信息和第二语音信息，根据第一语音信息得到对应的第一文本信息，根据第二语音信息得到第二文本信息；
关键词提取模块，用于提取第一文本信息和第二文件信息中的关键词，得到第一文本信息对应的第一关键词和第二文件信息对应的第二关键词；
数据处理模块，用于当第一关键词与第一预设关键词一致时，根据第一关键词和第一微表情确定目标满意度，当第二关键词与第二预设关键词一致时，根据第二关键词和第二微表情确定目标服务等级。
在一个实施例中，识别结果处理模块906，包括：
第一目标视频图像得到模块，用于确定目标满意度在第一视频图像中的加载位置，根据加载位置将目标满意度加载至第一视频图像中，得到第一目标视频图像，将第一目标视频图像发送第二终端；
第二目标视频图像得到模块，用于确定目标服务等级在第二视频图像中的加载位置，根据加载位置将目标服务等级加载至第二视频图像中，得到第二目标视频图像，将第二目标视频图像发送第一终端。
关于基于微表情的视频数据装置的具体限定可以参见上文中对于基于微表情的视频数据方法的限定，在此不再赘述。上述基于微表情的视频数据装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于微表情的视频数据处理方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对第一视频图像和第二视频图像进行人脸检测，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像。将第一人脸图像和第二人脸图像分别输入到已训练的微表情识别模型，得到第一人脸图像对应的第一微表情和第二人脸图像对应的第二微表情。根据第一微表情确定目标满意度，根据第二微表情确定目标服务等级，将目标满意度和第一视频图像发送第二终端，将目标服务等级和第二视频图像发送第一终端。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：按照预设时间间隔从第一视频图像和第二视频图像截取视频图片；提取视频图片中的人脸部分，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取目标人脸图像，分别计算第一人脸图像和第二人脸图像与目标人脸图像的相似度；当第一人脸图像和目标人脸图像的相似度大于第一预设阈值时，得到第一人脸图像对应的第一目标人脸图像；当第二人脸图像和目标人脸图像的相似度大于第二预设阈值时，得到第二人脸图像对应的第二目标人脸图像。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定第一人脸图像和第二人脸图像的人脸肤色特征信息；将第一人脸图像和第二人脸图像进行划分，得到人脸局部块，确定人脸局部块的轮廓特征信息、纹理特征信息和面积特征信息；根据人脸肤色特征信息、轮廓特征信息、纹理特征信息和面积特征信息计算与目标人脸图像的相似度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取历史视频图像和历史视频图像对应的微表情标签，得到初始样本集；从初始样本集中随机有放回采样，得到目标训练集；根据目标训练集得到对应的历史微表情特征集，从历史微表情特征集中随机选择微表情特征，得到目标微表情特征集；根据目标微表情特征集计算得到划分表情特征，使用划分表情特征对目标训练集二叉划分，得到各个子训练集，将各个子训练集作为目标训练集；返回根据目标训练集得到对应的历史微表情特征集，从历史微表情特征集中随机选择微表情特征，得到目标微表情特征集的步骤执行，当达到预设条件时，得到目标决策树；返回从初始样本集中随机有放回采样，得到目标训练集的步骤执行，当达到预设数目的目标决策树时，得到微表情识别模型。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收第一语音信息和第二语音信息，根据第一语音信息得到对应的第一文本信息，根据第二语音信息得到第二文本信息；提取第一文本信息和第二文件信息中的关键词，得到第一文本信息对应的第一关键词和第二文件信息对应的第二关键词；当第一关键词与第一预设关键词一致时，根据第一关键词和第一微表情确定目标满意度，当第二关键词与第二预设关键词一致时，根据第二关键词和第二微表情确定目标服务等级。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：确定目标满意度在第一视频图像中的加载位置，根据加载位置将目标满意度加载至第一视频图像中，得到第一目标视频图像，将第一目标视频图像发送第二终端；确定目标服务等级在第二视频图像中的加载位置，根据加载位置将目标服务等级加载至第二视频图像中，得到第二目标视频图像，将第二目标视频图像发送第一终端
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对第一视频图像和第二视频图像进行人脸检测，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像。将第一人脸图像和第二人脸图像分别输入到已训练的微表情识别模型，得到第一人脸图像对应的第一微表情和第二人脸图像对应的第二微表情。根据第一微表情确定目标满意度，根据第二微表情确定目标服务等级，将目标满意度和第一视频图像发送第二终端，将目标服务等级和第二视频图像发送第一终端。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：按照预设时间间隔从第一视频图像和第二视频图像截取视频图片；提取视频图片中的人脸部分，得到第一视频图像对应的第一人脸图像和第二视频图像对应的第二人脸图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取目标人脸图像，分别计算第一人脸图像和第二人脸图像与目标人脸图像的相似度；当第一人脸图像和目标人脸图像的相似度大于第一预设阈值时，得到第一人脸图像对应的第一目标人脸图像；当第二人脸图像和目标人脸图像的相似度大于第二预设阈值时，得到第二人脸图像对应的第二目标人脸图像。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定第一人脸图像和第二人脸图像的人脸肤色特征信息；将第一人脸图像和第二人脸图像进行划分，得到人脸局部块，确定人脸局部块的轮廓特征信息、纹理特征信息和面积特征信息；根据人脸肤色特征信息、轮廓特征信息、纹理特征信息和面积特征信息计算与目标人脸图像的相似度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取历史视频图像和历史视频图像对应的微表情标签，得到初始样本集；从初始样本集中随机有放回采样，得到目标训练集；根据目标训练集得到对应的历史微表情特征集，从历史微表情特征集中随机选择微表情特征，得到目标微表情特征集；根据目标微表情特征集计算得到划分表情特征，使用划分表情特征对目标训练集二叉划分，得到各个子训练集，将各个子训练集作为目标训练集；返回根据目标训练集得到对应的历史微表情特征集，从历史微表情特征集中随机选择微表情特征，得到目标微表情特征集的步骤执行，当达到预设条件时，得到目标决策树；返回从初始样本集中随机有放回采样，得到目标训练集的步骤执行，当达到预设数目的目标决策树时，得到微表情识别模型。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：接收第一语音信息和第二语音信息，根据第一语音信息得到对应的第一文本信息，根据第二语音信息得到第二文本信息；提取第一文本信息和第二文件信息中的关键词，得到第一文本信息对应的第一关键词和第二文件信息对应的第二关键词；当第一关键词与第一预设关键词一致时，根据第一关键词和第一微表情确定目标满意度，当第二关键词与第二预设关键词一致时，根据第二关键词和第二微表情确定目标服务等级。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：确定目标满意度在第一视频图像中的加载位置，根据加载位置将目标满意度加载至第一视频图像中，得到第一目标视频图像，将第一目标视频图像发送第二终端；确定目标服务等级在第二视频图像中的加载位置，根据加载位置将目标服务等级加载至第二视频图像中，得到第二目标视频图像，将第二目标视频图像发送第一终端。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于微表情的视频数据处理方法，所述方法包括：
接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对所述第一视频图像和所述第二视频图像进行人脸检测，得到所述第一视频图像对应的第一人脸图像和所述第二视频图像对应的第二人脸图像；
将所述第一人脸图像和所述第二人脸图像分别输入到已训练的微表情识别模型，得到所述第一人脸图像对应的第一微表情和所述第二人脸图像对应的第二微表情；
根据所述第一微表情确定目标满意度，根据所述第二微表情确定目标服务等级，将所述目标满意度和所述第一视频图像发送所述第二终端，将所述目标服务等级和所述第二视频图像发送所述第一终端。
2.根据权利要求1所述的方法，其特征在于，所述接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对所述第一视频图像和所述第二视频图像进行人脸检测，得到所述第一视频图像对应的第一人脸图像和所述第二视频图像对应的第二人脸图像，包括：
按照预设时间间隔从所述第一视频图像和所述第二视频图像截取视频图片；
提取所述视频图片中的人脸部分，得到所述第一视频图像对应的第一人脸图像和所述第二视频图像对应的第二人脸图像。
3.根据权利要求1所述的方法，其特征在于，所述接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对所述第一视频图像和所述第二视频图像进行人脸检测，得到所述第一视频图像对应的第一人脸图像和所述第二视频图像对应的第二人脸图像之后，还包括：
获取目标人脸图像，分别计算所述第一人脸图像和所述第二人脸图像与所述目标人脸图像的相似度；
当所述第一人脸图像和所述目标人脸图像的相似度大于第一预设阈值时，得到所述第一人脸图像对应的第一目标人脸图像；
当所述第二人脸图像和所述目标人脸图像的相似度大于第二预设阈值时，得到所述第二人脸图像对应的第二目标人脸图像。
4.根据权利要求3所述的方法，其特征在于，所述分别计算所述第一人脸图像和所述第二人脸图像与所述目标人脸图像的相似度，包括：
确定所述第一人脸图像和所述第二人脸图像的人脸肤色特征信息；
将所述第一人脸图像和所述第二人脸图像分别进行划分，得到所述第一人脸图像和所述第二人脸图像的人脸局部块，确定人脸局部块的轮廓特征信息、纹理特征信息和面积特征信息；
根据所述第一人脸图像和所述第二人脸图像的人脸肤色特征信息、所述轮廓特征信息、所述纹理特征信息和所述面积特征信息，分别计算所述第一人脸图像和所述第二人脸图像与所述目标人脸图像的相似度。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第一微表情确定目标满意度，根据所述第二微表情确定目标服务等级，包括：
接收第一语音信息和第二语音信息，根据所述第一语音信息得到对应的第一文本信息，根据所述第二语音信息得到第二文本信息；
提取所述第一文本信息和所述第二文件信息中的关键词，得到所述第一文本信息对应的第一关键词和所述第二文件信息对应的第二关键词；
当所述第一关键词与第一预设关键词一致时，根据所述第一关键词和所述第一微表情确定目标满意度，当所述第二关键词与第二预设关键词一致时，根据所述第二关键词和所述第二微表情确定目标服务等级。
6.根据权利要求1所述的方法，其特征在于，所述将所述目标满意度和所述第一视频图像发送所述第二终端，将所述目标服务等级和所述第二视频图像发送所述第一终端，包括：
确定所述目标满意度在所述第一视频图像中的加载位置，根据所述加载位置将所述目标满意度加载至所述第一视频图像中，得到第一目标视频图像，将第一目标视频图像发送所述第二终端；
确定所述目标服务等级在所述第二视频图像中的加载位置，根据所述加载位置将所述目标服务等级加载至所述第二视频图像中，得到第二目标视频图像，将第二目标视频图像发送所述第一终端。
7.一种基于微表情的视频数据处理装置，其特征在于，所述装置包括：
人脸检测模块，用于接收第一终端发送的第一视频图像和第二终端发送的第二视频图像，对所述第一视频图像和所述第二视频图像进行人脸检测，得到所述第一视频图像对应的第一人脸图像和所述第二视频图像对应的第二人脸图像；
微表情识别模块，用于将所述第一人脸图像和所述第二人脸图像分别输入到已训练的微表情识别模型，得到所述第一人脸图像对应的第一微表情和所述第二人脸图像对应的第二微表情；
识别结果处理模块，用于根据所述第一微表情确定目标满意度，根据所述第二微表情确定目标服务等级，将所述目标满意度和所述第一视频图像发送所述第二终端，将所述目标服务等级和所述第二视频图像发送所述第一终端。
8.根据权利要求7所述的装置，其特征在于，所述装置，还包括：
相似度计算模块，用于分别计算所述第一人脸图像和所述第二人脸图像与所述目标人脸图像的相似度；
第一目标人脸图像确定模块，用于当所述第一人脸图像和所述目标人脸图像的相似度大于第一预设阈值时，得到所述第一人脸图像对应的第一目标人脸图像；
第二目标人脸图像确定模块，用于当所述第二人脸图像和所述目标人脸图像的相似度大于第二预设阈值时，得到所述第二人脸图像对应的第二目标人脸图像。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910013036.6A CN109829388A (zh) | 2019-01-07 | 2019-01-07 | 基于微表情的视频数据处理方法、装置和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910013036.6A CN109829388A (zh) | 2019-01-07 | 2019-01-07 | 基于微表情的视频数据处理方法、装置和计算机设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109829388A true CN109829388A (zh) | 2019-05-31 |
Family
ID=66860112
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910013036.6A Pending CN109829388A (zh) | 2019-01-07 | 2019-01-07 | 基于微表情的视频数据处理方法、装置和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829388A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458008A (zh) * | 2019-07-04 | 2019-11-15 | 深圳壹账通智能科技有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
| CN111401147A (zh) * | 2020-02-26 | 2020-07-10 | 中国平安人寿保险股份有限公司 | 基于视频行为数据的智能分析方法、装置及存储介质 |
| WO2021042850A1 (zh) * | 2019-09-02 | 2021-03-11 | 平安科技（深圳）有限公司 | 一种物品推荐的方法及相关装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105872619A (zh) * | 2015-12-15 | 2016-08-17 | 乐视网信息技术（北京）股份有限公司 | 一种视频播放记录的匹配方法及匹配装置 |
| CN106878649A (zh) * | 2017-04-20 | 2017-06-20 | 李继宁 | 一种支持评价的双录视音频记录仪及系统 |
| CN108509941A (zh) * | 2018-04-20 | 2018-09-07 | 北京京东金融科技控股有限公司 | 情绪信息生成方法和装置 |
-
2019
- 2019-01-07 CN CN201910013036.6A patent/CN109829388A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105872619A (zh) * | 2015-12-15 | 2016-08-17 | 乐视网信息技术（北京）股份有限公司 | 一种视频播放记录的匹配方法及匹配装置 |
| CN106878649A (zh) * | 2017-04-20 | 2017-06-20 | 李继宁 | 一种支持评价的双录视音频记录仪及系统 |
| CN108509941A (zh) * | 2018-04-20 | 2018-09-07 | 北京京东金融科技控股有限公司 | 情绪信息生成方法和装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110458008A (zh) * | 2019-07-04 | 2019-11-15 | 深圳壹账通智能科技有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
| WO2021042850A1 (zh) * | 2019-09-02 | 2021-03-11 | 平安科技（深圳）有限公司 | 一种物品推荐的方法及相关装置 |
| CN111401147A (zh) * | 2020-02-26 | 2020-07-10 | 中国平安人寿保险股份有限公司 | 基于视频行为数据的智能分析方法、装置及存储介质 |
| CN111401147B (zh) * | 2020-02-26 | 2024-06-04 | 中国平安人寿保险股份有限公司 | 基于视频行为数据的智能分析方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| González-Briones et al. | A multi-agent system for the classification of gender and age from images | |
| CN107633207B (zh) | Au特征识别方法、装置及存储介质 | |
| CN110489951B (zh) | 风险识别的方法、装置、计算机设备和存储介质 | |
| WO2017107957A9 (zh) | 人脸图像的检索方法及装置 | |
| WO2020168468A1 (zh) | 基于表情识别的呼救方法、装置、电子设备及存储介质 | |
| WO2021174880A1 (zh) | 征提取模型训练方法、人脸识别方法、装置、设备及介质 | |
| CN108182714B (zh) | 图像处理方法及装置、存储介质 | |
| CN108829900A (zh) | 一种基于深度学习的人脸图像检索方法、装置及终端 | |
| CN107333071A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN109271930B (zh) | 微表情识别方法、装置与存储介质 | |
| CN109952594A (zh) | 图像处理方法、装置、终端及存储介质 | |
| CN111860046B (zh) | 一种改进MobileNet模型的人脸表情识别方法 | |
| WO2019142127A1 (en) | Method and system of creating multiple expression emoticons | |
| CN109829388A (zh) | 基于微表情的视频数据处理方法、装置和计算机设备 | |
| CN109559193A (zh) | 智能识别的产品推送方法、装置、计算机设备及介质 | |
| CN109033935B (zh) | 抬头纹检测方法及装置 | |
| KR20210075886A (ko) | 듀얼 딥 네트워크를 이용한 영상기반 얼굴표정 감정인식 시스템 및 그 방법 | |
| HN et al. | Human Facial Expression Recognition from static images using shape and appearance feature | |
| CN113706502A (zh) | 一种人脸图像质量评估方法及装置 | |
| Xu et al. | Sclera recognition based on efficient sclera segmentation and significant vessel matching | |
| CN112818899B (zh) | 人脸图像处理方法、装置、计算机设备和存储介质 | |
| CN110688872A (zh) | 基于唇部的人物识别方法、装置、程序、介质及电子设备 | |
| Maximiano da Silva et al. | Geometrical features and active appearance model applied to facial expression recognition | |
| Al-Dujaili et al. | A New Hybrid Model to Predict Human Age Estimation from Face Images Based on Supervised Machine Learning Algorithms | |
| Hilado et al. | Face detection using neural networks with skin segmentation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |