CN110674684A - 微表情分类模型生成、图像识别方法、装置、设备及介质 - Google Patents

微表情分类模型生成、图像识别方法、装置、设备及介质 Download PDF

Info

Publication number
CN110674684A
CN110674684A CN201910755578.0A CN201910755578A CN110674684A CN 110674684 A CN110674684 A CN 110674684A CN 201910755578 A CN201910755578 A CN 201910755578A CN 110674684 A CN110674684 A CN 110674684A
Authority
CN
China
Prior art keywords
expression
micro
sample
image
recognized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910755578.0A
Other languages
English (en)
Inventor
丁晶晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Smart Technology Co Ltd
Original Assignee
OneConnect Smart Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Smart Technology Co Ltd filed Critical OneConnect Smart Technology Co Ltd
Priority to CN201910755578.0A priority Critical patent/CN110674684A/zh
Publication of CN110674684A publication Critical patent/CN110674684A/zh
Priority to PCT/CN2020/105016 priority patent/WO2021027553A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines

Abstract

本发明公开了一微表情分类模型生成方法、图像识别方法、装置、设备及介质；通过将样本图像输入到预设的微表情识别模型中进行识别，得到样本表情信息；对样本表情信息进行特征转化，得到微表情向量；建立微表情向量与对应标注数据之间的映射关系，得到样本特征集；基于支持向量机对样本特征集进行SVM训练，得到微表情分类模型；通过将待识别图像输入到微表情识别模型中进行识别，得到待识别表情信息；对待识别表情信息进行特征转化，得到待识别表情向量，并输入到微表情分类模型中进行识别，得到待识别图像的预测心理词和对应的可信度分值；通过微表情分类模型实现对图像中人脸表情信息的进一步识别，从而提高了获取图像中人脸表情信息的准确性。

Description

微表情分类模型生成、图像识别方法、装置、设备及介质
技术领域
本发明涉及智能决策领域，尤其涉及一种微表情分类模型生成方法、图像识别方法、装置、设备及介质。
背景技术
微表情是人们在尝试压抑自己内心的真实情绪与深层情感时产生的短暂的不自主的面部表情，是由情绪和没有思想控制的习惯触发的。心理学研究表明在人类日常生活中，通过语言来表达的信息只占7％，而近乎55％的信息表达来源于表情。由此可知，微表情所含有的信息量非常丰富，在诸多方面都有着许多潜在的用途。目前，获取人脸表情信息大部分都是采用简单的微表情识别模型对人脸面部表情进行识别，得到一些较为抽象的单一表情值，如“冷漠10％，喜悦20％等”，而无法更准确更直观的获取到能反映一个人的真实情感和意图的信息。
发明内容
本发明实施例提供一种微表情分类模型生成方法、装置、计算机设备及存储介质，以解决无法准确获取图像中人脸表情信息的问题。
本发明实施例提供一种图像识别方法、装置、计算机设备及存储介质，以解决无法准确识别图像中人脸表情信息的问题。
一种微表情分类模型生成方法，包括：
获取样本图像数据，所述样本图像数据包括样本图像和每一所述样本图像对应的标注数据，其中，所述标注数据为对每一所述样本图像中的人脸区域进行标注的心理词；
将每一所述样本图像输入到预设的微表情识别模型中进行识别，得到每一所述样本图像的样本表情信息。
对每一所述样本图像的所述样本表情信息进行特征转化，得到每一所述样本图像的微表情向量；
建立每一所述样本图像的所述微表情向量与对应的所述标注数据之间的映射关系，得到样本特征集；
基于支持向量机对所述样本特征集进行SVM训练，得到微表情分类模型。
一种图像识别方法，其特征在于，包括：
获取待识别图像；
将所述待识别图像输入到预设的微表情识别模型中进行识别，得到所述待识别图像的待识别表情信息；
对所述待识别图像的所述待识别表情信息进行特征转化，得到所述待识别图像的待识别表情向量；
将所述待识别表情向量输入到微表情分类模型中进行识别，得到所述待识别图像的预测心理词和每一所述预测心理词对应的可信度分值，其中，所述微表情分类模型是采用上述微表情分类模型生成方法得到的。
一种微表情分类模型生成装置，包括：
样本图像数据获取模块，用于获取样本图像数据，所述样本图像数据包括样本图像和每一所述样本图像对应的标注数据，其中，所述标注数据为对每一所述样本图像中的人脸区域进行标注的心理词；
第一识别模块，用于将每一所述样本图像输入到预设的微表情识别模型中进行识别，得到每一所述样本图像的样本表情信息。
第一特征转化模块，用于对每一所述样本图像的所述样本表情信息进行特征转化，得到每一所述样本图像的微表情向量；
映射关系建立模块，用于建立每一所述样本图像的所述微表情向量与对应的所述标注数据之间的映射关系，得到样本特征集；
训练模块，用于基于支持向量机对所述样本特征集进行SVM训练，得到微表情分类模型。
一种图像识别装置，包括：
待识别图像获取模块，用于获取待识别图像；
第二识别模块，用于将所述待识别图像输入到预设的微表情识别模型中进行识别，得到所述待识别图像的待识别表情信息；
第二特征转化模块，用于对所述待识别图像的所述待识别表情信息进行特征转化，得到所述待识别图像的待识别表情向量；
第三识别模块，用于将所述待识别表情向量输入到微表情分类模型中进行识别，得到所述待识别图像的预测心理词和每一所述预测心理词对应的可信度分值，其中，所述微表情分类模型是采用上述微表情分类模型生成方法得到的。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述微表情分类模型生成方法，或所述处理器执行所述计算机程序时实现上述图像识别方法。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述微表情分类模型生成方法，或所述计算机程序被处理器执行时实现上述图像识别方法。
上述微表情分类模型生成方法、装置、计算机设备及存储介质，通过获取样本图像数据，样本图像数据包括样本图像和每一样本图像对应的标注数据，其中，标注数据为对每一样本图像中的人脸区域进行标注的心理词；将每一样本图像输入到预设的微表情识别模型中进行识别，得到每一样本图像的样本表情信息；对每一样本图像的样本表情信息进行特征转化，得到每一样本图像的微表情向量；建立每一样本图像的微表情向量与对应的标注数据之间的映射关系，得到样本特征集；基于支持向量机对样本特征集进行SVM训练，得到微表情分类模型；在通过微表情识别模型对图像进行识别，获取到图像的样本表情信息的基础上，再对获取的样本表情信息进行SVM训练，从而建立微表情分类模型，通过该微表情分类模型可实现对图像中人脸表情信息的进一步识别，从而提高了获取图像中人脸表情信息的准确性。
上述图像识别方法、装置、计算机设备及存储介质，通过获取待识别图像；将待识别图像输入到预设的微表情识别模型中进行识别，得到待识别图像的待识别表情信息；对待识别人脸图像的待识别表情信息进行特征转化，得到待识别人脸图像的待识别表情向量；将待识别表情向量输入到微表情分类模型中进行识别，得到待识别图像的预测心理词和每一预测心理词对应的可信度分值；在对待识别图像进行微表情识别得到待识别表情信息的基础上，再对待识别表情信息进行特征提取，并将待识别表情向量输入到微表情分类模型中进行识别，得到对应预测心理词和可信度分值；从而进一步提高了对待识别图像进行识别的准确性和直观性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中微表情分类模型生成方法或图像识别方法的一应用环境示意图；
图2是本发明一实施例中微表情分类模型生成方法的一示例图；
图3是本发明一实施例中微表情分类模型生成方法的另一示例图；
图4是本发明一实施例中微表情分类模型生成方法的另一示例图；
图5是本发明一实施例中微表情分类模型生成装置的一原理框图；
图6是本发明一实施例中微表情分类模型生成装置的另一原理框图；
图7是本发明一实施例中图像识别方法的一示例图；
图8是本发明一实施例中图像识别方法的另一示例图；
图9是本发明一实施例中图像识别装置的一原理框图；
图10是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的微表情分类模型生成方法，该微表情分类模型生成方法可应用如图1所示的应用环境中。具体地，该微表情分类模型生成方法应用在微表情分类模型生成系统中，该微表情分类模型生成系统包括如图1所示的客户端和服务端，客户端与服务端通过网络进行通信，用于解决无法准确获取图像中人脸表情信息的问题。其中，客户端又称为用户端，是指与服务器相对应,为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图2所示，提供一种微表情分类模型生成方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
S11：获取样本图像数据，样本图像数据包括样本图像和每一样本图像对应的标注数据，其中，标注数据为对每一样本图像中的人脸区域进行标注的心理词。
其中，样本图像数据指用于进行模型训练的图像数据。可选地，获取样本图像数据可先通过预先采集人脸图片作为图像数据，或者直接从人脸库中获取人脸图片作为图像数据，例如AR人脸库。然后，对采集的图像数据进行样本标注，得到样本图像数据。最后，客户端将进行样本标注后的样本图像数据发送到服务端，服务端即可获取到样本图像数据。可以理解地，每一样本图像数据都是预先已标注上对应的标注数据的图像数据。
样本图像数据包括样本图像和每一样本图像对应的标注数据。样本图像指预先采集的包含人脸部分的图像。标注数据指对样本图像中的人脸区域进行标注的心理词。该标注数据可准确直观地体现样本图像中每一人脸区域所反映的表情/心理信息。例如：标注数据可以为兴高采烈、惊恐万分、眉飞眼笑或目瞪口呆等。人脸区域指样本图像中包含人物脸部表情的区域。
在一具体实施例中，可先通过人脸检测算法对采集的样本图像数据进行检测，检测出每一样本图像中的人脸区域，从而确定每一样本图像的人脸区域。其中，人脸检测算法是从图像数据中选取出人脸区域的检测算法。具体地，人脸检测算法可以采用基于特征提取的人脸检测算法，也可以基于神经网络的人脸检测算法，还可以是基于深度学习的人脸检测算法。人脸区域可以为圆形、矩形或者正方形等，具体可以根据实际需要而设定。优选地，人脸区域通过矩形上的四个点的坐标值来表示。例如：人脸区域表示为(xmin，ymin，xmax，ymax)；xmin表示在矩形的横方向上的最小值，ymin表示在矩形的竖方向上的最小值，xmax表示在矩形的横方向上的最大值，ymax表示在矩形的竖方向上的最大值。
在本实施例中，由于一个样本图像中可能包括多个人脸区域(例如：合影或者集体照)，而对样本图像进行样本标注是指对样本图像中的每一人脸区域进行标注，因此，每一样本图像对应的标注数据可能由多个心理词组成。可选地，为了提高模型训练的精准度，每一心理词至少对应标注4000个人脸区域。
在一具体实施例中，样本图像数据所包含的样本图像的数量可以根据实际需要进行设定。获取的样本图像的数量越高，后续进行模型训练的准确度会越高，然而提取效率会有所下降，可以在准确度和效率上进行综合考虑进行样本图像的数量的选取。
S12：将每一样本图像输入到预设的微表情识别模型中进行识别，得到每一样本图像的样本表情信息。
其中，微表情识别模型是指预先训练好用于对样本图像进行微表情识别的模型。具体地，将每一样本图像输入到预设的微表情识别模型中进行识别，即可得到每一样本图像的样本表情信息。样本表情信息指对样本图像进行表情识别后所得的表情信息。在本实施例中，进行表情识别后得到的样本表情信息由多个单一表情信息组成，每一单一表情信息包括表情描述以及对应的表情得分。例如，样本表情信息可以为高兴40％，伤心20％，冷漠10％，喜悦30％。需要说明的是，样本表情信息中每一单一表情信息对应的表情得分相加为1(100％)。优选地，为了提高后续模型训练的准确度，在本实施例中，将每一样本图像输入到预设的微表情识别模型中进行识别后，得到样本图像的每一样本表情信息由32个单一表情信息组成。
在一具体实施例中，为了提高输出的每一样本图像的样本表情信息的准确性，在将样本图像输入到预设的微表情识别模型中进行识别之前，还需对样本图像进行预处理。具体地，对样本图像进行预处理的过程包括：基于面部特征点定位算法确定样本图像中的人脸区域，并对人脸区域进行归一化处理、降噪、补光等操作。
在本步骤中，通过微表情识别模型分析出每一样本图像中人脸区域的人脸特征，从而得到每一样本图像中的人脸特征对应的样本表情信息，用以后续服务端基于每一样本表情信息进行模型训练。由于每一样本图像可能包括一个或多个人脸区域，因此得到的每一样本图像的样本表情信息也可能为一个或多个。
S13：对每一样本图像的样本表情信息进行特征转化，得到每一样本图像的微表情向量。
其中，微表情向量是指能够反映样本表情信息中每一表情描述和对应得分的一组向量数据。具体地，对每一样本图像的样本表情信息进行特征转化包括对样本图像中每一样本表情信息所包含的单一表情信息进行排序，以及将排序后的每一样本表情信息进行向量转化的过程。
具体地，由于每一样本表情信息所包含的每一单一表情信息都包括表情描述以及对应的表情得分。因此，对样本图像中每一样本表情信息所包含的单一表情信息进行排序可根据每一样本表情信息所包含的单一表情信息中的表情描述进行排序。可选地，可以根据样本表情信息所包含的单一表情信息中的表情描述的第一个字符的拼音的首字母(A-Z)，对该样本表情信息所包含的每个单一表情信息进行排序；或者根据样本表情信息所包含的单一表情信息中的表情描述的最后一个字符的拼音的首字母(A-Z)，对该样本表情信息所包含的每个单一表情信息进行排序；还可以根据样本表情信息所包含的单一表情信息中的表情描述的第一个字符的笔画的从大到小，对该样本表情信息所包含的每个单一表情信息进行排序等。
进一步地，对排序后的每一样本表情信息进行向量转化，得到微表情向量。具体地，获取排序后的样本表情信息中的每一单一表情信息，然后提取出该样本表情信息中的每一单一表情信息对应的表情得分，组成一组向量，即可得到该样本表情信息对应的微表情向量。
S14：建立每一样本图像的微表情向量与对应的标注数据之间的映射关系，得到样本特征集。
其中，样本特征集指用来进行多分类SVM训练的样本数据，样本特征集包括每一样本图像的微表情向量和对应的标注数据。由于获取的样本表情信息是对样本图像中的每一人脸区域进行识别后所输出的表情值，微表情向量是对每一样本表情信息进行特征转化后的向量数据，即样本图像中每一人脸区域对应输出一微表情向量。因此，若样本图像中包括至少两个人脸区域，则对应输出至少两组微表情向量。在本实施例中，为了保证后续模型训练的准确性，需将样本图像中的每一微表情向量与对应人脸区域的标注数据相关联，建立每一样本图像的微表情向量与对应的标注数据之间的映射关系，得到样本特征集。
具体地，由步骤S11可知，每一样本图像中的每一人脸区域都已预先进行对应的样本标注，即每一人脸区域都预先关联有对应有心理词。因此，在本步骤中，建立每一样本图像的微表情向量与对应的标注数据之间的映射关系，只需根据对应的人脸区域获取到对应的心理词，然后将获取的心理词与对应的微表情向量进行关联，即可建立每一样本图像的样本表情值与对应的标注数据之间的映射关系，得到样本特征集。示例性地，若获取到一样本图像的微表情向量包括:微表情向量A＝[40,10,20,30]、微表情向量B＝[20,10,50,20]、微表情向量C＝[60,10,20,10]。其中，微表情向量A为对样本图像中的人脸区域A进行识别和特征转化后得到的微表情向量；微表情向量B为对样本图像中的人脸区域B进行识别和特征转化后得到的微表情向量；微表情向量C为对样本图像中的人脸区域C进行识别和特征转化后得到的微表情向量；由步骤S11可知可知，样本图像中的人脸区域A、人脸区域B和人脸区域C都已预先进行了对应的样本标注，分别为：人脸区域A-兴高采烈、人脸区域B-惊恐万分、人脸区域C-眉飞眼笑，则将微表情向量A＝[40,10,20,30]与兴高采烈相关联，将微表情向量B＝[20,10,50,20]与惊恐万分相关联，和将微表情向量C＝[60,10,20,10]与眉飞眼笑相关联。
S15：基于支持向量机对样本特征集进行SVM训练，得到微表情分类模型。
其中，微表情分类模型指可对数据进行分类的有监督的学习模型。在本实施例中，微表情分类模型为用于对图像的微表情进行分类的模型。支持向量机(Support VectorMachine，SVM)是一种基于统计学习理论的机器学习算法，采用结构风险最小化(Structural Risk Minimization，SRM)准则，在最小化样本误差的同时缩小模型泛化误差的上界，从而提高模型的泛化能力。具体地，利用标准SVM的计算流程有序地构建多个决策边界以实现样本的多分类。根据多分类SVM，(通过学习)在多维向量空间中获得分离两个或者更多个分类的决策面中的每一个，从而建立多个决策边界，由此评估学习到的多个分类中的样本图像的样本表情值所属的心理分类。
在本实施例中，获取样本图像数据，样本图像数据包括样本图像和每一样本图像对应的标注数据，其中，标注数据为对每一样本图像中的人脸区域进行标注的心理词；将每一样本图像输入到预设的微表情识别模型中进行识别，得到每一样本图像的样本表情信息；对每一样本图像的样本表情信息进行特征转化，得到每一样本图像的微表情向量；建立每一样本图像的微表情向量与对应的标注数据之间的映射关系，得到样本特征集；基于支持向量机对样本特征集进行SVM训练，得到微表情分类模型；在通过微表情识别模型对图像进行识别，获取到图像的样本表情信息的基础上，再对获取的样本表情信息进行SVM训练，从而建立微表情分类模型，通过该微表情分类模型可实现对图像中人脸表情信息的进一步识别，从而提高了获取图像中人脸表情信息的准确性。
在一实施例中，如图3所示，对每一样本图像的样本表情信息进行特征转化，得到每一样本人脸图像的微表情向量，具体包括如下步骤：
S131：获取每一样本图像的样本表情信息。
具体地，在将每一样本图像输入到预设的微表情识别模型中进行识别之后，可直接获取到每一样本图像对应的样本表情信息。
S132：根据预设的排列方式对样本表情信息中的每个单一表情信息进行排序，得到目标表情信息。
其中，目标表情信息指对样本表情信息中的每个单一表情信息进行排序所得的表情信息。具体地。根据预设的排列方式对样本表情信息中的每个单一表情信息进行排序，得到目标表情信息。可选地，预设的排列方式可以为根据样本表情信息所包含的单一表情信息中的表情描述的第一个字符的拼音的首字母(A-Z)，对该样本表情信息所包含的每个单一表情信息进行排序；或者根据样本表情信息所包含的单一表情信息中的表情描述的最后一个字符的拼音的首字母(A-Z)，对该样本表情信息所包含的每个单一表情信息进行排序等。优选地，为了能快速准确的对样本表情信息中的每个单一表情信息进行排序，在本步骤中，采用的排列方式为根据样本表情信息所包含的单一表情信息中的表情描述的第一个字符的拼音的首字母(A-Z)，对该样本表情信息所包含的每个单一表情信息进行排序。
具体地，获取样本表情信息中的每个单一表情信息，确定每个单一表情信息对应的表情描述，然后将该样本表情信息中的每个单一表情信息按照对应的每一表情描述按照的第一个字符的拼音的首字母(A-Z)进行排序，从而得到目标表情值。可选地，可以采用javascript语言的String.prototype.localeCompare()函数，或者借助excel工具等实现将样本表情信息中的每个单一表情信息按照对应的每一表情描述按照的第一个字符的拼音的首字母(A-Z)进行排序。例如：若样本表情信息为高兴40％，伤心20％，冷漠10％，喜悦30％，“高兴”对应的第一个字符的拼音的首字母为G；“伤心”对应的第一个字符的拼音的首字母为S；“冷漠”对应的第一个字符的拼音的首字母为L；“喜悦”对应的第一个字符的拼音的首字母为X；则按照对应表情描述的第一个字符的拼音的首字母(A-Z)进行排序后，得到的目标表情信息为高兴40％，冷漠10％，伤心20％，喜悦30％。
S133：对每一目标表情信息进行向量转化，得到微表情向量。
对每一目标表情信息进行向量转化是指将目标表情信息转换成一组向量的过程。具体地，提取出目标表情信息中的每一单一表情信息对应的表情得分，然后将该目标表情信息中的每一单一表情信息对应的表情得分转换成一组数值向量进行组合，即可得到微表情向量。例如：若目标表情信息为高兴40％，冷漠10％，伤心20％，喜悦30％，提取出该目标表情信息中的每一单一表情信息对应的表情得分，并转换成一组数值向量进行组合后，得到的微表情向量为[40,10,20,30]。可以理解地，微表情向量中每一向量的先后顺序与相应的表情描述在目标表情信息中出现的先后顺序一致。
在本实施例中，通过获取每一样本图像的样本表情信息；根据预设的排列方式对样本表情信息中的每个单一表情信息进行排序，得到目标表情信息；对每一目标表情信息进行向量转化，得到微表情向量，通过对样本表情信息进行特征提取，从而保证了获取的微表情向量的准确性。
在一实施例中，如图4所示，基于支持向量机对样本特征集进行SVM训练，得到微表情分类模型，具体包括如下步骤：
S151：将样本特征集划分为样本训练集和样本验证集。
其中，样本训练集是指用于学习的样本数据，主要通过匹配一些参数来建立分类模型，即采用样本训练集中的样本图像的微表情向量和对应的标注数据训练机器学习模型，以确定机器学习模型的参数。样本验证集是用于验证训练好的机器学习模型的分辨能力(如识别率)的样本数据。具体地，将样本特征集划分为样本训练集和样本验证集可采用随机划分或交叉检验的方法进行划分；划分后样本训练集和样本验证集的比例值可以为：样本训练集:样本验证集＝6:4，或样本训练集:样本验证集＝7.5:2.5等。优选地，为了提高微表情分类模型的精度，在本步骤中，将获取的样本特征集的75％作为样本训练集，用于对模型进行训练；把获取的样本特征集的25％作为样本验证集，用于对完成训练的模型进行效果评估。
S152：将样本训练集输入到预设的SVM多分类器中进行训练，得到初始SVM模型。
其中，SVM多分类器是一个由分类临界面定义的判别分类器，用于对数据进行分类或者回归分析。具体地，预先构造通过一个决策函数将多类问题向两类问题转化的“一对多”的方式进行处理的SVM多分类器。该SVM多分类器的决策函数G(x)的公式为：
Figure BDA0002168602450000141
其中x为微表情向量的个数，C表示所有标注数据的类别数，fm(x)表示第m类的分类函数，f m(x)为传统的SVM二分类器决策函数形式，可以通过直接调用Matlab语言的SVM工具包获取。具体地，选取线性核函数作为该SVM多分类器的核函数，并将样本训练集输入到该SVM多分类器中进行训练建模，即可得到初始SVM模型。
S153：采用样本验证集对初始SVM模型进行验证，得到验证准确率。
其中，验证准确率指采用样本验证集对训练后的初始SVM模型进行效果评估后所得的结果。具体地，采用样本验证集对初始SVM模型进行验证包括：先将样本验证集中的微表情向量输入到该初始SVM模型中，得到识别后对应的心理词，然后将该样本验证集训练后的心理词与对应预设的标注数据进行一一匹配，最后根据匹配结果得到验证准确率。示例性地，若获取到的样本验证集中包括10个微表情向量，将该10个微表情向量输入到初始SVM模型后，得到10个训练后的心理词中有7个心理词与对应预设的标注数据相匹配，3个训练后的心理词与对应预设的标注数据不相匹配，则计算得出该验证准确率为0.7。
S154：若验证准确率大于或等于预设准确率，则将初始SVM模型确定为微表情分类模型。
其中，预设准确率指预先对初始SVM模型进行初始评估后所得的结果。具体地，将根据步骤S153中得到的验证准确率与预设准确率进行比对，若该验证准确率大于或等于预设准确率，则将对应的初始SVM模型型确定为微表情分类模型；若该验证准确率小于预设准确率，则需对该初始SVM模型进行优化处理。具体地，对初始SVM模型进行优化处理可通过使用序列最小优化(Sequential Minimal Optimization,SMO)来实现。首先确定核函数，然后对该损失函数进行反复迭代，SMO的每步迭代都严格地优化了SVM的对偶问题，且迭代会在有限步后收敛于全局极大值，实现对初始SVM模型的优化处理。
在本实施例中，通过将样本特征集划分为样本训练集和样本验证集，将样本训练集输入到预设的SVM多分类器中进行训练，得到初始SVM模型；采用样本验证集对初始SVM模型进行验证，得到验证准确率；若验证准确率大于或等于预设准确率，则将初始SVM模型确定为微表情分类模型；从而进一步保证了得到的微表情分类模型的准确性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种微表情分类模型生成装置，该微表情分类模型生成装置与上述实施例中微表情分类模型生成方法一一对应。如图5所示，该微表情分类模型生成装置包括第一样本样本图像数据获取模块11、第一识别模块12、第一特征转化模块13、映射关系建立模块14和训练模块15。各功能模块详细说明如下：
样本图像数据获取模块11，用于获取样本图像数据，样本图像数据包括样本图像和每一样本图像对应的标注数据，其中，标注数据为对每一样本图像中的人脸区域进行标注的心理词；
第一识别模块12，用于将每一样本图像输入到预设的微表情识别模型中进行识别，得到每一样本图像的样本表情信息；
第一特征转化模块13，用于对每一样本图像的样本表情信息进行特征转化，得到每一样本图像的微表情向量；
映射关系建立模块14，用于建立每一样本图像的微表情向量与对应的标注数据之间的映射关系，得到样本特征集；
训练模块15，用于基于支持向量机对样本特征集进行SVM训练，得到微表情分类模型。
优选地，如图6所示，第一特征转化模块13，包括：
样本表情信息获取单元131，用于获取每一样本图像的样本表情信息；
排序单元132，用于根据预设的排列方式对样本表情信息中的每个单一表情信息进行排序，得到目标表情信息；
向量转化单元133，用于对每一目标表情信息进行向量转化，得到微表情向量。
优选地，训练模块15，包括：
划分单元，用于将样本特征集划分为样本训练集和样本验证集；
训练单元，用于将样本训练集输入到预设的SVM多分类器中进行训练，得到初始SVM模型；
验证单元，用于采用样本验证集对初始SVM模型进行验证，得到验证准确率；
确定单元，用于在验证准确率大于或等于预设准确率时，将初始SVM模型确定为微表情分类模型。
关于微表情分类模型生成装置的具体限定可以参见上文中对于微表情分类模型生成方法的限定，在此不再赘述。上述微表情分类模型生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
本发明实施例还提供一图像识别方法，该图像识别方法可应用如图1所示的应用环境中。具体地，该图像识别方法应用在图像识别系统中，该图像识别系统包括如图1所示的客户端和服务端，客户端与服务端通过网络进行通信，用于解决无法准确识别图像中人脸表情信息的问题。其中，客户端又称为用户端，是指与服务端相对应，为客户提供本地服务的程序。客户端可安装在但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备上。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中，如图7所示，提供一种图像识别方法，以该方法应用在图1中的服务端为例进行说明，包括如下步骤：
S21：获取待识别图像。
其中，待识别图像是指待进行识别的人脸图像。可以理解地，待识别图像中可以包含有一个或者多个人脸区域。具体地，待识别图像可以是先通过客户端的图像采集工具实时采集到包含人物脸部的图像数据，也可以是客户端预先采集并保存的图像数据，或者是本地直接上传或者发送到客户端的图像数据。
S22：将待识别图像输入到预设的微表情识别模型中进行识别，得到待识别图像的待识别表情信息。
其中，待识别表情信息指对待识别图像所包含的表情特征进行识别后所得到的表情信息。待识别表情信息由若干单一表情信息组成，每一单一表情信息包括表情描述以及对应的表情得分。例如：待识别表情信息可以为高兴40％，伤心20％，冷漠10％，喜悦30％；也可以为难过30％，伤心20％，冷漠10％，悲伤20％，害怕20％。可以理解地，待识别表情信息中每一单一表情信息所对应的表情得分相加为1。
在本步骤中，将待识别图像输入到预设的微表情识别模型进行识别，得到待识别图像的待识别表情信息的具体过程和方法与步骤S12将每一样本图像输入到预设的微表情识别模型中进行识别，得到每一样本图像的样本表情信息的具体过程和方法相同，此处不做冗余赘述。
S23：对待识别人脸图像的待识别表情信息进行特征转化，得到待识别人脸图像的待识别表情向量。
其中，待识别表情向量指对待识别表情信息进行特征转化后得到的特征向量。具体地，对待识别图像的待识别表情信息进行特征转化包括对待识别表情信息中的每一单一表情信息进行排序，以及对排序后的待识别表情信息进行向量转化的过程。在本步骤中，对待识别图像的待识别表情信息进行特征转化，得到待识别人脸图像的待识别表情向量的具体过程和方法与步骤S14对每一样本图像的样本表情信息进行特征转化，得到每一样本图像的微表情向量的具体过程和方法相同，此处不做冗余赘述。需要说明的是，为了保证识后续识别结果的准确性，在本步骤中，对待识别表情信息中的每一单一表情信息进行排序的排列方式，需与对样本表情信息中的每一单一表情信息进行排序的排列方式保持一致。
S24：将待识别表情向量输入到微表情分类模型中进行识别，得到待识别图像的预测心理词和每一预测心理词对应的可信度分值。
具体地，将根据步骤S23得到的待识别图像的待识别表情向量输入到微表情分类模型中进行分类，即可得到该待识别图像的预测心理词和每一预测心理词对应的可信度分值。需要说明的是，该微表情分类模型是采用上述微表情分类模型生成方法得到的。
其中，预测心理词指待对待识别图像的待识别表情向量进行识别后所得的词语。每一预测心理词包括可信度分值。可信度分值指用于评估对应的预测心理词的准确性的分值。在一具体实施例中，每一待识别表情向量经微表情分类模型进行识别后，对应输出的预测心理词可以为一个或者多个；且每一待识别表情向量对应输出的所有预测心理词对应的可信度分值相加为1。其中，微表情分类模型是预设建立好并保存在服务端的后台数据库的,当执行完步骤S23得到待识别人脸图像的待识别表情向量待识别人表情向量后，可直接从服务端的后台数据库调取。
在本实施例中，通过获取待识别图像；将待识别图像输入到预设的微表情识别模型中进行识别，得到待识别图像的待识别表情信息；对待识别人脸图像的待识别表情信息进行特征转化，得到待识别人脸图像的待识别表情向量；将待识别表情向量输入到微表情分类模型中进行识别，得到待识别图像的预测心理词和每一预测心理词对应的可信度分值；在对待识别图像进行微表情识别得到待识别表情信息的基础上，再对待识别表情信息进行特征提取，并将待识别表情向量输入到微表情分类模型中进行识别，得到对应预测心理词和可信度分值；从而进一步提高了对待识别图像进行识别的准确性和直观性。
在一实施例中，如图8所示，在将待识别表情向量输入到微表情分类模型中进行识别，得到待识别图像的预测心理词和每一预测心理词对应的可信度分值之后，该图像识别方法还包括：
S25：对待识别图像的每一预测心理词对应的可信度分值进行统计，得到预测心理数据。
其中，预测心理数据指对待识别图像的每一预测心理词进统计分析后得到数据。在一具体实施例中，一张待识别图像中可能包括多个人脸区域，因此进行识别后得到的待识别图像中每一人脸区域对应的预测心理词可能存在相同或不同的情况。为了能更直观的体现该待识别图像中的人群心理类型，在本步骤中，对获取的待识别图像的每一预测心理词对应的可信度分值进行统计，得到待识别图像的预测心理数据。具体地，先通过正则匹配法，将获取的待识别图像的每一预测心理词进行一一匹配，将匹配成功的预测心理词确定为相同的预测心理词，和将匹配失败的预测心理词确定为不同的预测心理词；然后将相同的多个预测心理词进行合并，得到一合并后的预测心理词，且该合并后的预测心理词所对应的可信度分值为对应进行合并的所有预测心理词的可信度分值进行相加后的分值；最后将每一预测心理词按照对应的可信度分值的从大到小进行排序，从而得到预测心理数据。可以理解地，预测心理数据所包含的每一预测心理词都是不同的，且每一预测心理词包括对应重新确定的可信度分值。可选地，对待识别图像的每一预测心理词的可信度分值进行统计可由系统内部的数据分析系统自动实现，也可以通过调用外部的统计分析软件实现，例如SAS统计软件、SPSS统计软件、SPLM统计软件或DAS统计软件等，用户可根据实际情况进行自定义选取。
S26：从预测心理数据中提取出可信度分值最高的预测心理词作为目标心理词。
其中，目标心理词指可用于最能代表待识别图像中人群心理特征的词语。具体地，从预测心理数据中提取出可信度分值最高的预测心理词作为目标心理词。
在一应用场景中，若需从若干待识别图像中筛选出整体表情最好的一张待识别图像作为目标图像，例如：筛选出整体表情为“兴高采烈”的图像作为目标图像；则在将获取的若干待识别图像输入到微表情识别模型和微表情分类模型中进行识别，得到每一待识别图像的预测心理词和每一预测心理词对应的可信度分值之后；再对每一待识别图像的每一预测心理词对应的可信度分值进行统计，得到每一待识别图像的预测心理数据，然后从每一待识别图像的预测心理数据中提取出可信度分值最高的预测心理词作为从每一待识别图像的目标心理词，最后对每一待识别图像的目标心理词进行筛选，筛选出目标心理词为“兴高采烈”且对应的可信度分值最高的待识别图像，作为目标图像。
在本实施例中，通过对待识别图像的每一预测心理词的可信度分值进行统计，得到预测心理数据，然后从预测心理数据中提取出可信度分值最高的预测心理词作为目标心理词，通过获取的待识别图像的目标心理词，可较为直观准确地描述出该待识别图像的人群风格或人群心理类型。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种图像识别装置，该图像识别装置与上述实施例中图像识别方法一一对应。如图9所示，该图像识别装置包括待识别图像获取模块21、第二识别模块22、第二特征转化模块23、和第三识别模块24。各功能模块详细说明如下：
待识别图像获取模块21，用于获取待识别图像；
第二识别模块22，用于将待识别图像输入到预设的微表情识别模型中进行识别，得到待识别图像的待识别表情信息；
第二特征转化模块23，用于对待识别图像的待识别表情信息进行特征转化，得到待识别图像的待识别表情向量；
第三识别模块24，用于将待识别表情向量输入到微表情分类模型中进行识别，得到待识别图像的预测心理词和每一预测心理词对应的可信度分值，其中，微表情分类模型是上述微表情分类模型生成方法得到的。
优选地，图像识别装置，还包括：
统计模块，用于对待识别图像的每一预测心理词对应的可信度分值进行统计，得到预测心理数据；
提取模块，用于从预测心理数据中提取出可信度分值最高的预测心理词作为待识别图像的目标心理词。
关于图像识别装置的具体限定可以参见上文中对于图像识别方法的限定，在此不再赘述。上述图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储上述实施例中微表情分类模型生成方法和上述图像识别方法中使用到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种微表情分类模型生成方法，或该计算机程序被处理器执行时以实现一种图像识别方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的微表情分类模型生成方法，或者处理器执行计算机程序时实现上述实施例中的图像识别方法。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中的微表情分类模型生成方法，或者计算机程序被处理器执行时实现上述实施例中的图像识别方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种微表情分类模型生成方法，其特征在于，包括：
获取样本图像数据，所述样本图像数据包括样本图像和每一所述样本图像对应的标注数据，其中，所述标注数据为对每一所述样本图像中的人脸区域进行标注的心理词；
将每一所述样本图像输入到预设的微表情识别模型中进行识别，得到每一所述样本图像的样本表情信息。
对每一所述样本图像的所述样本表情信息进行特征转化，得到每一所述样本图像的微表情向量；
建立每一所述样本图像的所述微表情向量与对应的所述标注数据之间的映射关系，得到样本特征集；
基于支持向量机对所述样本特征集进行SVM训练，得到微表情分类模型。
2.如权利要求1所述的微表情分类模型生成方法，其特征在于，所述对每一所述样本图像的所述样本表情信息进行特征转化，得到每一样本人脸图像的微表情向量，包括：
获取每一样本图像的样本表情信息；
根据预设的排列方式对所述样本表情信息中的每个单一表情信息进行排序，得到目标表情信息；
对每一所述目标表情信息进行向量转化，得到微表情向量。
3.如权利要求1所述的微表情分类模型生成方法，其特征在于，所述基于支持向量机对所述样本特征集进行SVM训练，得到微表情分类模型，包括：
将所述样本特征集划分为样本训练集和样本验证集；
将所述样本训练集输入到预设的SVM多分类器中进行训练，得到初始SVM模型；
采用所述样本验证集对所述初始SVM模型进行验证，得到验证准确率；
若所述验证准确率大于或等于预设准确率，则将所述初始SVM模型确定为微表情分类模型。
4.一种图像识别方法，其特征在于，包括：
获取待识别图像；
将所述待识别图像输入到预设的微表情识别模型中进行识别，得到所述待识别图像的待识别表情信息；
对所述待识别图像的所述待识别表情信息进行特征转化，得到所述待识别图像的待识别表情向量；
将所述待识别表情向量输入到微表情分类模型中进行识别，得到所述待识别图像的预测心理词和每一所述预测心理词对应的可信度分值，其中，所述微表情分类模型是采用权利要求1-3中任一项所述的微表情分类模型生成方法得到的。
5.如权利要求4所述的图像识别方法，其特征在于，在所述将所述待识别表情向量输入到微表情分类模型中进行识别，得到所述待识别图像的预测心理词和每一所述预测心理词对应的可信度分值之后，所述图像识别方法还包括：
对所述待识别图像的每一所述预测心理词对应的所述可信度分值进行统计，得到预测心理数据；
从所述预测心理数据中提取出所述可信度分值最高的所述预测心理词作为所述待识别图像的目标心理词。
6.一种微表情分类模型生成装置，其特征在于，包括：
样本图像数据获取模块，用于获取样本图像数据，所述样本图像数据包括样本图像和每一所述样本图像对应的标注数据，其中，所述标注数据为对每一所述样本图像中的人脸区域进行标注的心理词；
第一识别模块，用于将每一所述样本图像输入到预设的微表情识别模型中进行识别，得到每一所述样本图像的样本表情信息。
第一特征转化模块，用于对每一所述样本图像的所述样本表情信息进行特征转化，得到每一所述样本图像的微表情向量；
映射关系建立模块，用于建立每一所述样本图像的所述微表情向量与对应的所述标注数据之间的映射关系，得到样本特征集；
训练模块，用于基于支持向量机对所述样本特征集进行SVM训练，得到微表情分类模型。
7.如权利要求6所述的微表情分类模型生成装置，其特征在于，第一特征转化模块，包括：
样本表情信息获取单元，用于获取每一样本图像的样本表情信息；
排序单元，用于根据预设的排列方式对所述样本表情信息中的每个单一表情信息进行排序，得到目标表情信息；
向量转化单元，用于对每一所述目标表情信息进行向量转化，得到微表情向量。
8.一种图像识别装置，其特征在于，包括：
待识别图像获取模块，用于获取待识别图像；
第二识别模块，用于将所述待识别图像输入到预设的微表情识别模型中进行识别，得到所述待识别图像的待识别表情信息；
第二特征转化模块，用于对所述待识别图像的所述待识别表情信息进行特征转化，得到所述待识别图像的待识别表情向量；
第三识别模块，用于将所述待识别表情向量输入到微表情分类模型中进行识别，得到所述待识别图像的预测心理词和每一所述预测心理词对应的可信度分值，其中，所述微表情分类模型是采用权利要求1-3中任一项所述的微表情分类模型生成方法得到的。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至3任一项所述微表情分类模型生成方法，或所述处理器执行所述计算机程序时实现如权利要求4至5任一项所述图像识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至3任一项所述微表情分类模型生成，或所述计算机程序被处理器执行时实现如权利要求4至5任一项所述图像识别方法。
CN201910755578.0A 2019-08-15 2019-08-15 微表情分类模型生成、图像识别方法、装置、设备及介质 Pending CN110674684A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910755578.0A CN110674684A (zh) 2019-08-15 2019-08-15 微表情分类模型生成、图像识别方法、装置、设备及介质
PCT/CN2020/105016 WO2021027553A1 (zh) 2019-08-15 2020-07-28 微表情分类模型生成、图像识别方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910755578.0A CN110674684A (zh) 2019-08-15 2019-08-15 微表情分类模型生成、图像识别方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN110674684A true CN110674684A (zh) 2020-01-10

Family

ID=69075376

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910755578.0A Pending CN110674684A (zh) 2019-08-15 2019-08-15 微表情分类模型生成、图像识别方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN110674684A (zh)
WO (1) WO2021027553A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027553A1 (zh) * 2019-08-15 2021-02-18 深圳壹账通智能科技有限公司 微表情分类模型生成、图像识别方法、装置、设备及介质
CN112733994A (zh) * 2020-12-10 2021-04-30 中国科学院深圳先进技术研究院 机器人的自主情感生成方法、系统及应用
CN112749669A (zh) * 2021-01-18 2021-05-04 吾征智能技术(北京)有限公司 一种基于人面部图像的微表情智能识别系统
CN113392730A (zh) * 2021-05-31 2021-09-14 国网福建省电力有限公司 配电网设备图像识别方法及计算机可读存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113517064A (zh) * 2021-04-14 2021-10-19 华南师范大学 一种抑郁症程度评估方法、系统、装置及存储介质
CN113239814B (zh) * 2021-05-17 2024-02-02 平安科技（深圳）有限公司 基于光流重构的面部表情识别方法、装置、设备及介质
CN113276827A (zh) * 2021-05-26 2021-08-20 朱芮叶 电动汽车能源回收系统控制方法、系统以及汽车
CN113515702A (zh) * 2021-07-07 2021-10-19 北京百度网讯科技有限公司 内容推荐方法、模型训练方法、装置、设备及存储介质
CN113609851A (zh) * 2021-07-09 2021-11-05 浙江连信科技有限公司 心理学上想法认知偏差的识别方法、装置及电子设备
CN113505746A (zh) * 2021-07-27 2021-10-15 陕西师范大学 微表情图像精细化分类方法、装置、设备及可读存储介质
CN113850207B (zh) * 2021-09-29 2024-05-03 中国平安财产保险股份有限公司 基于人工智能的微表情分类方法、装置、电子设备及介质
CN114360005B (zh) * 2021-12-14 2024-03-22 武汉烽火信息集成技术有限公司 一种基于AU区域和多层级Transformer融合模块的微表情分类方法
CN114944000B (zh) * 2022-06-07 2024-04-19 重庆第二师范学院 一种基于多尺度特征提取的人脸表情识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679967A (zh) * 2013-11-27 2015-06-03 广州华久信息科技有限公司 一种判断心理测试可靠性的方法
CN106326879A (zh) * 2016-09-08 2017-01-11 哈尔滨理工大学 一种异常微表情识别装置
CN108113651A (zh) * 2017-12-15 2018-06-05 汪洁 一种汉语失语症心理语言评价方法及评价系统
CN109145871A (zh) * 2018-09-14 2019-01-04 广州杰赛科技股份有限公司 心理行为识别方法、装置与存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9111134B1 (en) * 2012-05-22 2015-08-18 Image Metrics Limited Building systems for tracking facial features across individuals and groups
CN106096557B (zh) * 2016-06-15 2019-01-18 浙江大学 一种基于模糊训练样本的半监督学习人脸表情识别方法
CN108537160A (zh) * 2018-03-30 2018-09-14 平安科技（深圳）有限公司 基于微表情的风险识别方法、装置、设备及介质
CN108830237B (zh) * 2018-06-21 2020-08-11 北京师范大学 一种人脸表情的识别方法
CN109165608A (zh) * 2018-08-30 2019-01-08 深圳壹账通智能科技有限公司 多视角微表情识别方法、装置、存储介质和计算机设备
CN109753950B (zh) * 2019-02-11 2020-08-04 河北工业大学 动态人脸表情识别方法
CN110020638B (zh) * 2019-04-17 2023-05-12 唐晓颖 人脸表情识别方法、装置、设备和介质
CN110674684A (zh) * 2019-08-15 2020-01-10 深圳壹账通智能科技有限公司 微表情分类模型生成、图像识别方法、装置、设备及介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104679967A (zh) * 2013-11-27 2015-06-03 广州华久信息科技有限公司 一种判断心理测试可靠性的方法
CN106326879A (zh) * 2016-09-08 2017-01-11 哈尔滨理工大学 一种异常微表情识别装置
CN108113651A (zh) * 2017-12-15 2018-06-05 汪洁 一种汉语失语症心理语言评价方法及评价系统
CN109145871A (zh) * 2018-09-14 2019-01-04 广州杰赛科技股份有限公司 心理行为识别方法、装置与存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021027553A1 (zh) * 2019-08-15 2021-02-18 深圳壹账通智能科技有限公司 微表情分类模型生成、图像识别方法、装置、设备及介质
CN112733994A (zh) * 2020-12-10 2021-04-30 中国科学院深圳先进技术研究院 机器人的自主情感生成方法、系统及应用
CN112749669A (zh) * 2021-01-18 2021-05-04 吾征智能技术(北京)有限公司 一种基于人面部图像的微表情智能识别系统
CN112749669B (zh) * 2021-01-18 2024-02-02 吾征智能技术(北京)有限公司 一种基于人面部图像的微表情智能识别系统
CN113392730A (zh) * 2021-05-31 2021-09-14 国网福建省电力有限公司 配电网设备图像识别方法及计算机可读存储介质

Also Published As

Publication number Publication date
WO2021027553A1 (zh) 2021-02-18

Similar Documents

Publication Publication Date Title
CN110674684A (zh) 微表情分类模型生成、图像识别方法、装置、设备及介质
CN110021439B (zh) 基于机器学习的医疗数据分类方法、装置和计算机设备
Carcagnì et al. Facial expression recognition and histograms of oriented gradients: a comprehensive study
WO2020147395A1 (zh) 基于情感的文本分类处理方法、装置和计算机设备
WO2020098074A1 (zh) 人脸样本图片标注方法、装置、计算机设备及存储介质
WO2020177365A1 (zh) 基于数据挖掘的社保数据处理方法、装置和计算机设备
CN110516712B (zh) 虫害图像识别方法、虫害监控方法、装置、设备及介质
Patil et al. A perspective view of cotton leaf image classification using machine learning algorithms using WEKA
WO2017045404A1 (en) Facial expression recognition using relations determined by class-to-class comparisons
US20170185913A1 (en) System and method for comparing training data with test data
CN110781677B (zh) 药品信息匹配处理方法、装置、计算机设备和存储介质
EP3944138A1 (en) Method and apparatus for image recognition
Sumi et al. Human gender detection from facial images using convolution neural network
Barbosa et al. Support vector machines, Mel-Frequency Cepstral Coefficients and the Discrete Cosine Transform applied on voice based biometric authentication
US20160070972A1 (en) System and method for determining a pet breed from an image
Bhadangkar et al. Comparison of tuplet of techniques for facial emotion detection
Zhao et al. Multi-view dimensionality reduction via subspace structure agreement
Sunil et al. Facial Emotion Recognition using a Modified Deep Convolutional Neural Network Based on the Concatenation of XCEPTION and RESNET50 V2
Hossain et al. A Real-time Machine Learning-Based Person Recognition System With Ear Biometrics
Kumar et al. Predictive analytics on gender classification using machine learning
Kamarajugadda et al. Stride towards aging problem in face recognition by applying hybrid local feature descriptors
Dobrovolskyi et al. Sparse symmetric nonnegative matrix factorization applied to face recognition
Dubey et al. An accurate recognition of facial expression by extended wavelet deep convolutional neural network
Marzoog et al. Gender and race classification using geodesic distance measurement
CN113643283A (zh) 一种人体衰老状况的检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination