CN112418085A - 一种部分遮挡工况下的面部表情识别方法 - Google Patents

一种部分遮挡工况下的面部表情识别方法 Download PDF

Info

Publication number
CN112418085A
CN112418085A CN202011317662.3A CN202011317662A CN112418085A CN 112418085 A CN112418085 A CN 112418085A CN 202011317662 A CN202011317662 A CN 202011317662A CN 112418085 A CN112418085 A CN 112418085A
Authority
CN
China
Prior art keywords
face
image
occlusion
information entropy
gray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011317662.3A
Other languages
English (en)
Other versions
CN112418085B (zh
Inventor
张立军
蒋秋宇
孟德建
李聪聪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202011317662.3A priority Critical patent/CN112418085B/zh
Publication of CN112418085A publication Critical patent/CN112418085A/zh
Application granted granted Critical
Publication of CN112418085B publication Critical patent/CN112418085B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明涉及一种部分遮挡工况下的面部表情识别方法，包括以下步骤：S1：获取识别对象的未受遮挡面部图像，计算平均脸信息熵图，并构建面部投影空间；S2：获取同一识别对象的部分遮挡面部图像，计算部分遮挡面部信息熵图，并将部分遮挡表情投影到面部投影空间；S3：利用平均脸信息熵图和受遮挡面部信息熵图，得到受遮挡区域定位；S4：利用面部投影空间和受遮挡区域定位，重构得到无遮挡面部重构图像；S5：利用无遮挡面部重构图像中的遮挡区域和部分遮挡面部图像中的未受遮挡区域，获得重构后的面部图像；S6：对重构后的面部图像进行特征提取和分类，得到表情识别结果，与现有技术相比，本发明具有鲁棒性高等优点。

Description

一种部分遮挡工况下的面部表情识别方法
技术领域
本发明涉及计算机视觉与模式识别领域，尤其是涉及一种部分遮挡工况下的面部表情识别方法。
背景技术
随着汽车智能化的发展，驾乘人员与汽车之间的交互问题逐渐成为竞争热点，诸如差异化人机交互、车内人员情绪检测、动作检测、语音语义判断等。对乘员的情绪进行检测，最直接的手段就是摄像头对面部表情的实时捕捉。该手段可以通过在车内安放表情识别器来实现。表情识别器能够监控并检测车内人员是否出现了表情上的变化，再依此对车内人员的生理和心理变化进行解读，由此达成对行驶状态及车内环境状态的实时调控。这不仅会提高驾驶过程中的安全性，也可以改善用户体验，从而实现人机和谐共驾。
而对于表情识别的研究，其对象通常在实验室环境下进行信息采集，这类面部图像的采集要求较高，对于面部遮挡有着严格的限制，在这样高要求的面部图像采集下，现阶段的表情识别才有了较为令人满意的效果。但是表情识别技术在真实自然环境下面临的挑战更为复杂，由于面部可能存在墨镜，口罩等物品的遮挡，让很多面部特征提取方法失效，降低识别准确率，现有面部表情识别技术的鲁棒性差。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种部分遮挡工况下的面部表情识别方法，该方法有助于解决现实环境中面部遮挡可能会造成的特征缺失的问题，进一步提升表情识别技术的应用范围及鲁棒性。
本发明的目的可以通过以下技术方案来实现：
一种部分遮挡工况下的面部表情识别方法，包括以下步骤：
S1：获取识别对象的未受遮挡面部图像，计算平均脸信息熵图，并构建面部投影空间；
S2：获取同一识别对象的部分遮挡面部图像，计算部分遮挡面部信息熵图，并将部分遮挡面部图像投影到面部投影空间，获得投影向量；
S3：利用平均脸信息熵图和受遮挡面部信息熵图，得到受遮挡区域定位；
S4：利用面部投影空间和受遮挡区域定位，重构得到无遮挡面部重构图像；
S5：利用无遮挡面部重构图像中的遮挡区域和部分遮挡面部图像中的未受遮挡区域，获得重构后的面部图像；
S6：对重构后的面部图像进行特征提取和分类，得到表情识别结果。
进一步地，所述的步骤S1具体包括：
S11：获取识别对象的多张未受遮挡面部图像；
S12：对未受遮挡面部图像依次进行灰度化、直方图均衡化和尺寸归一化处理；
S13：计算识别对象未受遮挡下的平均脸，并绘制成平均脸图像；
S14：利用平均脸，通过PCA降为构建识别对象的面部投影空间；
S15：计算平均脸图像对应的平均脸信息熵图。
所述的步骤S13，具体包括：
将识别对象的多张未受遮挡面部图像的灰度矩阵的每一列依次首尾相连，并通过拉伸转换成灰度值向量，形成识别对象的总灰度值矩阵，求得平均脸向量，并绘制成平均脸图像；
所述的步骤S14具体包括：
S141：利用平均脸对图像进行中心化；
S142：对中心化后的矩阵进行降维，选择多个正交基，求得特征值与对应的特征向量；
S143：将特征值进行降序排序，取前m个特征值，该m个特征值的和大于特征值总和的95％，并以对应的特征向量作为面部投影空间。
进一步地，所述的步骤S2具体包括：
S21：获取同一识别对象的部分遮挡面部图像；
S22：对部分遮挡面部图像依次进行灰度化、直方图均衡化和尺寸归一化处理；
S23：将部分遮挡图像灰度值向面部投影空间进行投影，得到投影向量；
S23：计算受遮挡面部图像对应的部分遮挡面部信息熵图。
所述的平均脸信息熵图和部分遮挡面部信息熵图分别根据对应灰度图像的信息熵绘制，所述的信息熵的计算式为：
Figure BDA0002791798350000031
h(p(li))＝-log2(p(li))
其中，li为对应灰度图像中第i个像素点的灰度值，p(li)为对应灰度图像中灰度值li出现的概率，h(p(li))为灰度值li所包含的信息量。
进一步地，所述的步骤S3具体包括：
S31：计算平均脸信息熵图和受遮挡面部信息熵图之差，得到熵图差；
S32：对熵图差进行二值化形态学处理，获取受遮挡区域定位。
进一步地，所述的步骤S4具体为：获取面部投影空间中部分遮挡图像灰度值的投影向量和平均脸的灰度向量，根据受遮挡区域定位，将投影向量与平均脸的灰度向量进行叠加，重构得到无遮挡面部重构图像。
进一步地，所述的S5具体为：将无遮挡面部重构图像中的遮挡区域和部分遮挡面部图像中的未受遮挡区域进行加权，获得重构后的面部图像。
所述的得到重构后的面部图像的计算式为：
Figure BDA0002791798350000032
Figure BDA0002791798350000033
其中，H0为部分遮挡面部信息熵图，
Figure BDA0002791798350000034
为平均脸信息熵图，τ为二值化阈值，ΔH(x，y)为二值化后的熵图差，Pfusion为重构后的面部图像，ONE(x，y)为与图像维度相同、元素全部为1的矩阵，P″(x，y)为无遮挡面部重构图像，P′(x，y)为部分遮挡面部图像，
Figure BDA0002791798350000035
为定义的点乘符号，表示矩阵对应元素相乘。
进一步地，所述的特征提取采用Haar-like特征模板，所述的分类采用支持向量机。
所述的Haar-like特征模板将边缘特征模板大小固定为2像素，横纵方向矩形个数比为2∶1及1∶2，将线性特征模板大小固定为3像素，横纵方向矩形个数比为3∶1及1∶3，对面部的Haar-like特征，利用支持向量机进行分类，确定表情所属类别。
与现有技术相比，本发明具有以下优点：
1)本发明利用识别的平均脸图像表征其面部无遮挡的状态，求解其信息熵图，将其与受遮挡图像的信息熵图进行求差，在二值化处理后进行形态学运算，确定该识别面部受遮挡区域的位置，实现受遮挡位置的定位，有助于对受遮挡位置的针对性处理，提高表情识别准确性和鲁棒性；
2)本发明选择同一对象未受遮挡的面部图像计算平均脸向量，利用PCA算法构建实验对象面部的投影空间并进行降维，并将受遮挡的图像灰度值向PCA降维后的投影空间进行投影，获得投影向量，与平均脸的灰度向量进行叠加，重构得到近似无遮挡的面部图像，降低受遮挡位置的对表情识别的影响，提高表情识别准确性和鲁棒性；
3)本发明根据受遮挡面部中确定的遮挡区域，采用PCA投影重构后的近似无遮挡图像对应区域的图像对其部分遮挡面部图像进行替换，而保留其未遮挡部分的图像，通过加权获得最终重构的面部图像，仅对其中的遮挡部分进行替换，最大程度保留原始部分遮挡面部图像中的信息，并通过Haar-like特征模板和支持向量机对最终重构的面部图像进行特征提取和分类，进一步提高部分遮挡表情的识别准确性。
附图说明
图1为本发明方法的流程示意图；
图2为Haar-like特征模板中边缘特征模板的示意图；
图3为Haar-like特征模板中线性特征模板的示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
如图1所示，本发明提供一种部分遮挡工况下的面部表情识别方法，包括以下步骤：
S1：获取识别对象的未受遮挡面部图像，计算平均脸信息熵图，并构建面部投影空间；
S2：获取同一识别对象的部分遮挡面部图像，计算部分遮挡面部信息熵图，并将部分遮挡面部图像投影到面部投影空间，获得投影向量；
S3：利用平均脸信息熵图和受遮挡面部信息熵图，得到受遮挡区域定位；
S4：利用面部投影空间和受遮挡区域定位，重构得到无遮挡面部重构图像；
S5：利用无遮挡面部重构图像中的遮挡区域和部分遮挡面部图像中的未受遮挡区域，获得重构后的面部图像；
S6：对重构后的面部图像进行特征提取和分类，得到表情识别结果。
其整体流程具体包括以下步骤：
步骤1：对图像进行预处理，首先对图像进行灰度化，随后采用直方图均衡化的方法调节对比度，并将尺寸归一化为24×24的大小，具体为：
首先，利用加权平均法对数据库中图像进行灰度化处理：
对于红绿蓝三通道的图像，采取设定的权重进行加权，获得灰度图像f(i,j)：
f(i,j)＝0.299×R(i,j)+0.587×G(i,j)+0.114×B(i,j) (1.1)
其中，R(i,j)为红色通道图像，G(i,j)为绿色通道图像，B(i,j)为蓝色通道图像。
然后，对处理后的灰度图像f(i,j)进行直方图均衡化：
对于0～255的灰度值，以长度为1的灰度区间范围进行统计，计算每一灰度值对应的像素数目，将其作为灰度直方图，改变直方图分布以对图像对比度进行重新处理。
最后，将图像归一化到同一尺寸大小：
利用双线性插值法将图像统一设定为24像素×24像素的尺寸。
步骤2：计算同一识别对象未受遮挡下的平均脸，并利用PCA构建识别对象的面部投影空间，具体为：
对于识别对象对应的相同像素尺寸的多张包括不同表情的未受遮挡面部图像，将各个图像样本灰度矩阵的每一列依次收尾相连，可将其拉伸转换成灰度值向量，形成该对象总的灰度值矩阵，并求得其平均脸向量；
利用平均脸对该对象汇总的灰度值矩阵进行中心化，选择若干个正交基，使该矩阵特征在投影后尽量分散，求得特征值与对应的特征向量，将特征值进行降序排序，取前m个特征值，使它们的和大于特征值总和的95％，以对应的特征向量作为面部投影空间。
步骤3：将识别对象部分遮挡面部图像灰度值向形成的面部投影空间进行投影，获得投影向量，将其与平均脸的灰度向量进行叠加，可将图像进行重构，初步得到近似无遮挡的面部图像，即无遮挡面部重构图像；
步骤4：利用信息熵的理论对受遮挡区域进行检测，根据信息熵结果绘制熵图；
对于灰度图像，某灰度值所包含的信息量，可定义如下：
h(p(li))＝-log2(p(li)) (1.2)
式中p(li)表示图像中灰度值li出现的概率，信息熵可以计算如下：
Figure BDA0002791798350000061
根据信息熵结果绘制熵图，确定受遮挡区域。
步骤5：计算同一对象未受遮挡下平均脸对应的熵图，与受遮挡面部图像的熵图求差，消除遮挡带来的影响，随后进行二值化处理和形态学运算，其中，在二值图像中，0值表示黑色点，1值表示白色点，形态学运算为通过先膨胀再腐蚀的形态学运算，最终确定该实验对象面部受遮挡区域的位置，。
步骤6：将步骤5中确定的遮挡图像中未受遮挡区域图像与步骤3中重构后的遮挡区域图像进行加权，获得重构后的面部图像。
部分遮挡图像信息熵图可由H0表示，平均脸图像信息熵图可由
Figure BDA0002791798350000065
表示，则二值化后的熵图差为：
Figure BDA0002791798350000062
式中τ为设定的二值化阈值，因此对于部分遮挡图像P′与进行PCA重构后获得的无遮挡面部重构图像P″，可进行如下加权：
Figure BDA0002791798350000063
式中ONE(x，y)为与图片维度相同，元素全部为1的矩阵，
Figure BDA0002791798350000064
为定义的点乘符号，表示矩阵对应元素相乘。
步骤7：采用Haar-like特征模板，对于同一对象未受遮挡的面部表情，依据表情种类提取Haar-like特征对支持向量机进行训练；
Haar-like特征模板如图2和图3所示，边缘特征模板大小固定为2像素，横纵方向矩形个数比为2∶1及1∶2，线性特征模板大小固定为3像素，横纵方向矩形个数比为3∶1及1∶3。
Haar-like特征模板进行特征提取具体为：选取固定的矩形模板在图像上滑动，计算对应位置矩形模板中白色矩形的像素和与黑色矩形的像素和之差作为该点的Haar-like特征值，遍历整个图像后可以获得图像的Haar-like特征值。
步骤8：采用图2和图3所示的Haar-like特征模板，提取步骤6中重构后的面部图像的Haar-like特征，输入步骤7中训练好的支持向量机进行分类，判断表情所属类别，进行表情识别。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种部分遮挡工况下的面部表情识别方法，其特征在于，包括以下步骤：
S1：获取识别对象的未受遮挡面部图像，计算平均脸信息熵图，并构建面部投影空间；
S2：获取同一识别对象的部分遮挡面部图像，计算部分遮挡面部信息熵图，并将部分遮挡面部图像投影到面部投影空间，获得投影向量；
S3：利用平均脸信息熵图和受遮挡面部信息熵图，得到受遮挡区域定位；
S4：利用面部投影空间和受遮挡区域定位，重构得到无遮挡面部重构图像；
S5：利用无遮挡面部重构图像中的遮挡区域和部分遮挡面部图像中的未受遮挡区域，获得重构后的面部图像；
S6：对重构后的面部图像进行特征提取和分类，得到表情识别结果。
2.根据权利要求1所述的一种部分遮挡工况下的面部表情识别方法，其特征在于，所述的步骤S1具体包括：
S11：获取识别对象的多张未受遮挡面部图像；
S12：对未受遮挡面部图像依次进行灰度化、直方图均衡化和尺寸归一化处理；
S13：计算识别对象未受遮挡下的平均脸，并绘制成平均脸图像；
S14：利用平均脸，通过PCA降为构建识别对象的面部投影空间；
S15：计算平均脸图像对应的平均脸信息熵图。
3.根据权利要求1所述的一种部分遮挡工况下的面部表情识别方法，其特征在于，所述的步骤S2具体包括：
S21：获取同一识别对象的部分遮挡面部图像；
S22：对部分遮挡面部图像依次进行灰度化、直方图均衡化和尺寸归一化处理；
S23：将部分遮挡图像灰度值向面部投影空间进行投影，得到投影向量；
S23：计算受遮挡面部图像对应的部分遮挡面部信息熵图。
4.根据权利要求1所述的一种部分遮挡工况下的面部表情识别方法，其特征在于，所述的步骤S3具体包括：
S31：计算平均脸信息熵图和受遮挡面部信息熵图之差，得到熵图差；
S32：对熵图差进行二值化形态学处理，获取受遮挡区域定位。
5.根据权利要求1所述的一种部分遮挡工况下的面部表情识别方法，其特征在于，所述的步骤S4具体为：获取面部投影空间中部分遮挡图像灰度值的投影向量和平均脸的灰度向量，根据受遮挡区域定位，将投影向量与平均脸的灰度向量进行叠加，重构得到无遮挡面部重构图像。
6.根据权利要求1所述的一种部分遮挡工况下的面部表情识别方法，其特征在于，所述的S5具体为：将无遮挡面部重构图像中的遮挡区域和部分遮挡面部图像中的未受遮挡区域进行加权，获得重构后的面部图像。
7.根据权利要求1所述的一种部分遮挡工况下的面部表情识别方法，其特征在于，所述的特征提取采用Haar-like特征模板，所述的分类采用支持向量机。
8.根据权利要求2所述的一种部分遮挡工况下的面部表情识别方法，其特征在于，所述的步骤S13具体包括：
将识别对象的多张未受遮挡面部图像的灰度矩阵的每一列依次首尾相连，并通过拉伸转换成灰度值向量，形成识别对象的总灰度值矩阵，求得平均脸向量，并绘制成平均脸图像；
所述的步骤S14具体包括：
S141：利用平均脸对图像进行中心化；
S142：对中心化后的矩阵进行降维，选择多个正交基，求得特征值与对应的特征向量；
S143：将特征值进行降序排序，取前m个特征值，该m个特征值的和大于特征值总和的95％，并以对应的特征向量作为面部投影空间。
9.根据权利要求2或3所述的一种部分遮挡工况下的面部表情识别方法，其特征在于，所述的平均脸信息熵图和部分遮挡面部信息熵图分别根据对应灰度图像的信息熵绘制，所述的信息熵的计算式为：
Figure FDA0002791798340000021
h(p(li))＝-log2(p(li))
其中，li为对应灰度图像中第i个像素点的灰度值，p(li)为对应灰度图像中灰度值li出现的概率，h(p(li))为灰度值li所包含的信息量。
10.根据权利要求6所述的一种部分遮挡工况下的面部表情识别方法，其特征在于，所述的得到重构后的面部图像的计算式为：
Figure FDA0002791798340000031
Figure FDA0002791798340000032
其中，H0为部分遮挡面部信息熵图，
Figure FDA0002791798340000033
为平均脸信息熵图，τ为二值化阈值，ΔH(x,y)为二值化后的熵图差，Pfusion为重构后的面部图像，ONE(x,y)为与图像维度相同、元素全部为1的矩阵，P″(x,y)为无遮挡面部重构图像，P′(x,y)为部分遮挡面部图像，°为定义的点乘符号，表示矩阵对应元素相乘。
CN202011317662.3A 2020-11-23 2020-11-23 一种部分遮挡工况下的面部表情识别方法 Active CN112418085B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011317662.3A CN112418085B (zh) 2020-11-23 2020-11-23 一种部分遮挡工况下的面部表情识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011317662.3A CN112418085B (zh) 2020-11-23 2020-11-23 一种部分遮挡工况下的面部表情识别方法

Publications (2)

Publication Number Publication Date
CN112418085A true CN112418085A (zh) 2021-02-26
CN112418085B CN112418085B (zh) 2022-11-18

Family

ID=74778660

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011317662.3A Active CN112418085B (zh) 2020-11-23 2020-11-23 一种部分遮挡工况下的面部表情识别方法

Country Status (1)

Country Link
CN (1) CN112418085B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230026560A (ko) * 2021-08-17 2023-02-27 성결대학교 산학협력단 표정 인식 학습 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825183A (zh) * 2016-03-14 2016-08-03 合肥工业大学 基于部分遮挡图像的人脸表情识别方法
CN108038476A (zh) * 2018-01-03 2018-05-15 东北大学 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN109389074A (zh) * 2018-09-29 2019-02-26 东北大学 一种基于人脸特征点提取的表情识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105825183A (zh) * 2016-03-14 2016-08-03 合肥工业大学 基于部分遮挡图像的人脸表情识别方法
CN108038476A (zh) * 2018-01-03 2018-05-15 东北大学 一种基于边缘检测与sift的人脸表情识别特征提取方法
CN109389074A (zh) * 2018-09-29 2019-02-26 东北大学 一种基于人脸特征点提取的表情识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YANG LU等: "WGAN-Based Robust Occluded Facial Expression Recognition", 《IEEE ACCESS》 *
王晓华等: "基于AR-WLD和分块相似度加权的遮挡表情识别", 《激光与光电子学进展》 *
蒋秋宇等: "基于改进人脸区域提取方式的面部表情识别方法", 《2019中国汽车工程学会年会论文集（1）》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230026560A (ko) * 2021-08-17 2023-02-27 성결대학교 산학협력단 표정 인식 학습 장치 및 방법
KR102630872B1 (ko) * 2021-08-17 2024-02-01 성결대학교 산학협력단 표정 인식 학습 장치 및 방법

Also Published As

Publication number Publication date
CN112418085B (zh) 2022-11-18

Similar Documents

Publication Publication Date Title
CN111401372B (zh) 一种扫描文档图文信息提取与鉴别的方法
CN106778586B (zh) 离线手写签名鉴别方法及系统
US6961466B2 (en) Method and apparatus for object recognition
CN109684959B (zh) 基于肤色检测和深度学习的视频手势的识别方法及装置
CN107909005A (zh) 基于深度学习的监控场景下人物姿态识别方法
CN105426829B (zh) 基于人脸图像的视频分类方法和装置
CN110838119B (zh) 人脸图像质量评估方法、计算机装置及计算机可读存储介质
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
CN111666845B (zh) 基于关键帧采样的小样本深度学习多模态手语识别方法
CN110826408B (zh) 一种分区域特征提取人脸识别方法
CN111126240A (zh) 一种三通道特征融合人脸识别方法
CN111832405A (zh) 一种基于hog和深度残差网络的人脸识别方法
CN111709305A (zh) 一种基于局部图像块的人脸年龄识别方法
CN115410258A (zh) 基于注意力图像的人脸表情识别方法
KR20080079798A (ko) 얼굴 검출 및 인식을 위한 방법
CN113421223B (zh) 基于深度学习和高斯混合的工业产品表面缺陷检测方法
CN112418085B (zh) 一种部分遮挡工况下的面部表情识别方法
CN109800771B (zh) 混合时空平面局部二值模式的自发微表情定位方法
CN117437691A (zh) 一种基于轻量化网络的实时多人异常行为识别方法及系统
CN115797970B (zh) 基于YOLOv5模型的密集行人目标检测方法及系统
Silva et al. POEM-based facial expression recognition, a new approach
CN116912604A (zh) 模型训练方法、图像识别方法、装置以及计算机存储介质
CN115661757A (zh) 一种受电弓拉弧自动检测方法
US11244206B2 (en) Image normalization for facial analysis
Javan-Roshtkhari et al. A new approach to automatic classification of the curved chromosomes

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant