CN111259857A - 一种人脸笑容评分方法及人脸情绪分类方法 - Google Patents
一种人脸笑容评分方法及人脸情绪分类方法 Download PDFInfo
- Publication number
- CN111259857A CN111259857A CN202010091517.1A CN202010091517A CN111259857A CN 111259857 A CN111259857 A CN 111259857A CN 202010091517 A CN202010091517 A CN 202010091517A CN 111259857 A CN111259857 A CN 111259857A
- Authority
- CN
- China
- Prior art keywords
- face
- smile
- emotion
- key points
- mouth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013077 scoring method Methods 0.000 title abstract description 10
- 230000007935 neutral effect Effects 0.000 claims abstract description 18
- 230000008909 emotion recognition Effects 0.000 claims abstract description 16
- 238000012937 correction Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 10
- 101100039010 Caenorhabditis elegans dis-3 gene Proteins 0.000 claims description 8
- 239000003550 marker Substances 0.000 claims description 8
- 230000008921 facial expression Effects 0.000 abstract description 3
- 238000012986 modification Methods 0.000 abstract description 3
- 230000004048 modification Effects 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 230000014509 gene expression Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 101100277775 Caenorhabditis elegans disl-2 gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
Abstract
本发明公开一种人脸笑容评分方法及人脸情绪分类方法，对人脸图像提取人脸矩形框，对人脸矩形框提取包含嘴部关键点的人脸关键点，根据嘴部关键点计算笑容得分；其中笑容得分为smileScore，
对人脸图像进行情绪识别分类，定义情绪标签，情绪标签包括'happy','neutral','angry','disgust','fear','sad','surprise'；根据笑容得分smileScore重定义情绪标签，将smileScore>TH2，且不是'happy'和'neutral'的修改为'happy'；TH2为预设笑容得分值。本发明提出的计算笑容得分的公式具有普遍适用性，而且符合大样本人群人脸表情变化规律，不会出现个体差异；对于笑容得分较高的错误情绪标签重定义，融合情绪标签以及是否张嘴分段更新笑容得分的设计也更加符合人的主观判断。
Description
技术领域
本发明涉及人脸笑容处理领域，具体涉及一种人脸笑容评分方法及人脸情绪分类方法。
背景技术
目前笑容评分的方案主要是根据人脸关键点进行信息挖掘，得到笑容评分。一般有两种方式进行计算：(1)只用嘴部关键点计算：将嘴唇高度与嘴角宽度的比值作为笑容得分，或者直接将嘴角宽度作为笑容得分，由于个体差异，评分不够客观；(2)结合眼部和嘴部关键点计算：根据嘴唇的高宽比，结合眼睛的弧度共同计算笑容得分，受年龄、遗传等因素限制，眼睛弧度会呈现很大差异，评分不够准确。上述现有的笑容评分方案计算方式不合理导致评分结果不尽如人意。
发明内容
为解决上述问题，本发明提供一种人脸笑容评分方法及人脸情绪分类方法，提出具有普遍适用性的笑容得分公式，并融合人脸关键点和表情识别分类进行最终笑容得分，计算方式较合理，符合评分标准。
本发明的技术方案是：一种人脸笑容评分方法，包括以下步骤：
对人脸图像提取人脸矩形框，对人脸矩形框提取包含嘴部关键点的人脸关键点，根据嘴部关键点计算笑容得分；
其中笑容得分为smileScore，
式中，Dis1＝(disL1+…+disLi+…+disLn)/n，
Dis2＝(D1+…+Di+…+Dn)/n；
Li为上唇上边缘标记点与对应下唇下边缘标记点之间的连线；disLi为Li的距离，Di为Li上的下唇下边缘标记点到Li与两嘴角之间连线交点的距离；n为大于等于1的整数。
进一步地，所提取人脸关键点包含眼部关键点；
进行笑容得分计算前，根据眼部关键点对人脸关键点进行仿射变换对齐人脸，获得人脸校正图像；对矫正后的嘴部关键点计算笑容得分。
进一步地，所述根据眼部关键点对人脸关键点进行仿射变换对齐人脸，具体为：
以人脸区域的中心点为参照点旋转angle的角度；
式中，dx＝landmarks[37].x-landmarks[46].x，
dy＝landmarks[37].y-landmarks[46].y；
其中，landmarks[37].x为右眼外眼角标记点的x坐标，
landmarks[37].y为右眼外眼角标记点的y坐标，
landmarks[46].x为左眼外眼角标记点的x坐标，
landmarks[46].y为左眼外眼角标记点的y坐标。
进一步地，采用dlib算法提取人脸矩形框和人脸关键点。
进一步地，若未提取到人脸矩形框，则自定义矩形区域作为人脸矩形框。
本发明的技术方案还包括一种基于上述方法的人脸情绪分类方法，包括以下步骤：
对人脸图像进行情绪识别分类，定义情绪标签，情绪标签包括′happy′，′neutral′，′angry′，′disgust′，′fear′，′sad′，′surprise′；
根据笑容得分smileScore重定义情绪标签，将smileScore＞TH2，且不是′happy′和′neutral′的修改为′happy′；TH2为预设笑容得分值。
进一步地，所述对人脸图像进行情绪识别分类，具体为基于人脸校正图像进行情绪识别分类，人脸校正图像是根据眼部关键点对人脸关键点进行仿射变换对齐人脸所获得的人脸校正图像。
进一步地，基于Keras训练好的hdf5模型进行情绪识别分类。
本发明技术方案还包括一种基于上述方法的人脸笑容评分方法，包括以下步骤：
根据嘴部关键点判断是否张嘴；
若Dis3/Dis1＞TH1则判断为张嘴，否则为闭嘴；TH1为预设判断值；
根据是否张嘴，结合情绪标签重新确定笑容得分；
其中Dis3＝(d1+…+dj+…+dm)/m；
式中，dj为上唇下边缘标记点与对应下唇上边缘标记点之间的距离，m为大于等于1的整数。
进一步地，所述根据是否张嘴，结合情绪标签重新确定笑容得分，具体为：
如果张嘴大笑，将笑容得分归一化到[80，100]的得分区间；
如果闭嘴微笑，将笑容得分归一化到[70，85]的得分区间；
如果情绪标签为′neutral′，将笑容得分归一化到[60，75]的得分区间；
如果情绪标签为除′happy′和′neutral′之外的其他情绪标签，将smileScore归一化到[0，60]的得分区间。
本发明提供的人脸笑容评分方法及人脸情绪分类方法，具有以下有益效果：
(1)人脸区域提取及关键点提取都是采用的dlib，速度快准确度高；
(2)表情识别之前对人脸区域进行对齐，提高了表情识别分类的精度；
(3)表情识别的模型很小，只有2.47M，在准确度较好的情况下能够满足实时；
(4)首次提出的计算笑容得分的公式具有普遍适用性，而且符合大样本人群人脸表情变化规律，不会出现个体差异；
(5)对于笑容得分较高的错误情绪标签重定义，融合情绪标签以及是否张嘴分段更新笑容得分的设计也更加符合人的主观判断。
附图说明
图1是本发明具体实施例方法流程示意图。
图2是人脸关键点图。
图3是嘴部关键点计算笑容得分示意图。
图4是嘴部关键点判断是否张嘴示意图。
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述，以下实施例是对本发明的解释，而本发明并不局限于以下实施方式。
实施方式一
现有技术只用嘴角宽度或者嘴唇高度与嘴角宽度之比作为笑容得分，因个体差异会导致差距较大，计算方式不合理，本实施方式提供一种人脸笑容评分方法，提出具有普遍适用性的笑容得分计算公式，该方法包括以下步骤：
对人脸图像提取人脸矩形框，对人脸矩形框提取包含嘴部关键点的人脸关键点，根据嘴部关键点计算笑容得分；
其中笑容得分为smileScore，
式中，Dis1＝(disL1+…+disLi+…+disLn)/n，
Dis2＝(D1+…+Di+…+Dn)/n；
Li为上唇上边缘标记点与对应下唇下边缘标记点之间的连线；disLi为Li的距离，Di为Li上的下唇下边缘标记点到Li与两嘴角之间连线交点的距离；n为大于等于1的整数。
需要说明的是，提取关键点为上下唇边缘轮廓的形状有拐点变换的标记点，Li为上唇上边缘的第i个标记点与下唇下边缘的第i个的标记点之间的连线。
在大概率样本中，如果一个人笑的越开心，嘴角越往上翘，公式中ratio的值就应该越大，所以可以用这个得分作为笑容评分smileScore，超出100的值置为100。这里的距离都是计算的欧氏距离。
利用上述公式计算笑容得分具有普遍适用性，而且符合大样本人群人脸表情变化规律，不会出现个体差异。
本实施例中，采用dlib算法提取人脸矩形框和人脸关键点，速度快准确率高。所获取人脸图像一般包含周围背景，但位于摄像头边界的人脸图像则可能只包括人脸区域，导致提取不到人脸矩形框，此时可自定义矩形区域作为人脸矩形框，如将图像的[5，5，width-5，height-5]区域作为人脸矩形框。
为提高计算准确度，在计算前先对图像进行校正，具体为：在所提取人脸关键点包含眼部关键点；进行笑容得分计算前，根据眼部关键点对人脸关键点进行仿射变换对齐人脸，获得人脸校正图像；对矫正后的嘴部关键点计算笑容得分。
其中，根据眼部关键点对人脸关键点进行仿射变换对齐人脸的具体方法为：
以人脸区域的中心点为参照点旋转angle的角度；
式中，dx＝landmarks[37].x-landmarks[46].x，
dy＝landmarks[37].y-landmarks[46].y；
其中，landmarks[37].x为右眼外眼角标记点的x坐标，
landmarks[37].y为右眼外眼角标记点的y坐标，
landmarks[46].x为左眼外眼角标记点的x坐标，
landmarks[46].y为左眼外眼角标记点的y坐标。
实施方式二
现有技术情绪标签分类准确率有待提高，本实施例提供一种人脸情绪分类方法，基于实施方式一的笑容得分对情绪标签重定义，提高准确率。
该方法包括以下步骤：
对人脸图像进行情绪识别分类，定义情绪标签，情绪标签包括′happy′，′neutral′，′angry′，′disgust′，′fear′，′sad′，′surprise′；
根据笑容得分smileScore重定义情绪标签，将smileScore＞TH2，且不是′happy′和′neutral′的修改为′happy′；TH2为预设笑容得分值。
需要说明的是，可基于Keras训练好的hdf5模型进行情绪识别分类。另外，上述在对人脸图像进行情绪识别分类时，是对校正后的人脸图像进行情绪识别分类，校正后的人脸图像是指根据眼部关键点对人脸关键点进行仿射变换对齐人脸所获得的人脸校正图像，可提高情绪识别的准确率。
本实施方法基于笑容得分重定义情绪标签，将笑容得分较高但情绪标签有误的情况进行情绪标签重定义。
实施方式三
在上述对情绪标签重定义的基础上，为使笑容得分设计更加符合实际应用，本实施例提供一种人脸笑容评分方法，融合情绪标签以及是否张嘴分段更新笑容得分。
该方法具体包括以下步骤：
根据嘴部关键点判断是否张嘴；
若Dis3/Dis1＞TH1则判断为张嘴，否则为闭嘴；TH1为预设判断值；
根据是否张嘴，结合情绪标签重新确定笑容得分；
其中Dis3＝(d1+…+dj+…+dm)/m；
式中，dj为上唇下边缘标记点与对应下唇上边缘标记点之间的距离，m为大于等于1的整数。
上述根据是否张嘴，结合情绪标签重新确定笑容得分，具体为：
如果张嘴大笑，将笑容得分归一化到[80，100]的得分区间；
如果闭嘴微笑，将笑容得分归一化到[70，85]的得分区间；
如果情绪标签为′neutral′，将笑容得分归一化到[60，75]的得分区间；
如果情绪标签为除′happy′和′neutral′之外的其他情绪标签，将smileScore归一化到[0，60]的得分区间。
实施方式四
为进一步详细解释本发明方案，提供一具体的融合人脸关键点和表情识别分类的笑容评分方法。
如图1所示，本方法具体包括以下步骤：
S1，获取人脸图像，提取人脸矩形框。
以公司笑脸打卡为例，输入图像为前端人脸打卡获取的人脸图像(应用中此人脸图像包含周围背景，位于摄像头边界的人脸图像则可能只包括人脸区域，导致后续提取不到人脸矩形框)。
基于人脸图像采用dlib提取人脸矩形框，若提取到人脸矩形框则进入下一步；若未提取到则将图像的[5，5，width-5，height-5]区域作为人脸矩形框，然后进入下一步。
S2，基于人脸矩形框提取人脸关键点。
对上一步获得的人脸矩形框利用dlib检测提取68个人脸关键点landmarks，图2是68个人脸关键点图，每个点对应一组(x，y)坐标。
S3，根据眼部关键点对齐人脸获得人脸校正图像。
根据两眼角(图2中所示37、46点)标记点对人脸图像及关键点进行仿射变换对齐人脸，以人脸区域的中心点为参照点旋转angle的角度，angle的计算公式如下：
其中，
dx＝landmarks[37].x-landmarks[46].x
dy＝landmarks[37].y-landmarks[46].y
式中，landmarks[37].x为右眼外眼角标记点的x坐标，
landmarks[37].y为右眼外眼角标记点的y坐标，
landmarks[46].x为左眼外眼角标记点的x坐标，
landmarks[46].y为左眼外眼角标记点的y坐标。
S4，基于上一步所获得人脸校正图像进行情绪识别分类。
所用的情绪识别模型为基于Keras训练好的hdf5模型，主要情绪标签有七种：′happy′，′neutral′，′angry′，′disgust′，′fear′，′sad′，′surprise′。
S5，对校正后的嘴部关键点进行计算，得到笑容得分并判断是否张嘴。
(一)计算笑容得分smileScore
如图3所示是嘴部关键点计算笑容得分示意图。点49与点55的连线为L1，点51与点59的连线为L2，距离为disL2，点52与点58的连线为L3，距离为disL3，点53与点57的连线为L4，距离为disL4；L1与L2的交点为C1，L1与L3的交点为C2，L1与L4的交点为C3；C1与点59的连线距离为D1，C2与点58的连线距离为D2，C3与点57的连线距离为D3。
Dis1＝(disL2+disL3+disL4)/3
Dis2＝(D1+D2+D3)/3
在大概率样本中，如果一个人笑的越开心，嘴角越往上翘，上式中ratio的值就应该越大，所以可以用这个得分作为笑容评分smileScore，超出100的值置为100。这里的距离都是计算的欧氏距离。
(二)判断是否张嘴
如图4所示是嘴部关键点判断是否张嘴示意图。点62与点68的距离为d1，点63与点67的距离为d2，点64与点66的距离为d3，这几个点为上下唇内边缘的标记点。
Dis3＝(d1+d2+d3)/3
如果Dis3/Dis1＞TH1，则判断为张嘴，否则为闭嘴，此处TH1设为0.2。
S6，根据笑容得分重定义情绪标签。
将笑容得分smileScore＞TH2的重定义情绪标签，此处TH2设为80，即将smileScore＞80，但情绪标签emotion-label不是′happy′和′neutral′的修改为′happy′，再转到下一步。
S7，根据是否张嘴及重定义后的情绪标签重新划分笑容得分。
如果张嘴大笑，将smileScore归一化到[80，100]的得分区间；
如果闭嘴微笑，将smileScore归一化到[70，85]的得分区间；
如果emotion-label为′neutral′，将smileScore归一化到[60，75]的得分区间；
如果emotion-label为除′happy′和′neutral′之外的其他情绪标签，将smileScore归一化到[0，60]的得分区间。
S8，输出最终情绪标签及最终的笑容得分。
以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。
Claims (10)
1.一种人脸笑容评分方法，其特征在于，包括以下步骤：
对人脸图像提取人脸矩形框，对人脸矩形框提取包含嘴部关键点的人脸关键点，根据嘴部关键点计算笑容得分；
其中笑容得分为smileScore，
式中，Dis1＝(disL1+…+disLi+…+disLn)/n，
Dis2＝(D1+…+Di+…+Dn)/n；
Li为上唇上边缘标记点与对应下唇下边缘标记点之间的连线；
disLi为Li的距离，Di为Li上的下唇下边缘标记点到Li与两嘴角之间连线交点的距离；n为大于等于1的整数。
2.根据权利要求1所述的人脸笑容评分方法，其特征在于，所提取人脸关键点包含眼部关键点；
进行笑容得分计算前，根据眼部关键点对人脸关键点进行仿射变换对齐人脸，获得人脸校正图像；对矫正后的嘴部关键点计算笑容得分。
3.根据权利要求2所述的人脸笑容评分方法，其特征在于，所述根据眼部关键点对人脸关键点进行仿射变换对齐人脸，具体为：
以人脸区域的中心点为参照点旋转angle的角度；
式中，dx＝landmarks[37].x-landmarks[46].x，
dy＝landmarks[37].y-landmarks[46].y；
其中，landmarks[37].x为右眼外眼角标记点的x坐标，
landmarks[37].y为右眼外眼角标记点的y坐标，
landmarks[46].x为左眼外眼角标记点的x坐标，
landmarks[46].y为左眼外眼角标记点的y坐标。
4.根据权利要求1、2或3所述的人脸笑容评分方法，其特征在于，采用dlib算法提取人脸矩形框和人脸关键点。
5.根据权利要求4所述的人脸笑容评分方法，其特征在于，若未提取到人脸矩形框，则自定义矩形区域作为人脸矩形框。
6.一种基于1-5任一项所述方法的人脸情绪分类方法，其特征在于，包括以下步骤：
对人脸图像进行情绪识别分类，定义情绪标签，情绪标签包括'happy','neutral','angry','disgust','fear','sad','surprise'；
根据笑容得分smileScore重定义情绪标签，将smileScore>TH2，且不是'happy'和'neutral'的修改为'happy'；TH2为预设笑容得分值。
7.根据权利要求6所述的人脸情绪分类方法，其特征在于，所述对人脸图像进行情绪识别分类，具体为基于人脸校正图像进行情绪识别分类，人脸校正图像是根据眼部关键点对人脸关键点进行仿射变换对齐人脸所获得的人脸校正图像。
8.根据权利7所述的人脸情绪分类方法，其特征在于，基于Keras训练好的hdf5模型进行情绪识别分类。
9.一种基于权利要求6-8任一项所述方法的人脸笑容评分方法，其特征在于，包括以下步骤：
根据嘴部关键点判断是否张嘴；
若Dis3/Dis1＞TH1则判断为张嘴，否则为闭嘴；TH1为预设判断值；
根据是否张嘴，结合情绪标签重新确定笑容得分；
其中Dis3＝(d1+…+dj+…+dm)/m；
式中，dj为上唇下边缘标记点与对应下唇上边缘标记点之间的距离，m为大于等于1的整数。
10.根据权利要求9所述的人脸笑容评分方法，其特征在于，所述根据是否张嘴，结合情绪标签重新确定笑容得分，具体为：
如果张嘴大笑，将笑容得分归一化到[80，100]的得分区间；
如果闭嘴微笑，将笑容得分归一化到[70，85]的得分区间；
如果情绪标签为'neutral'，将笑容得分归一化到[60，75]的得分区间；
如果情绪标签为除'happy'和'neutral'之外的其他情绪标签，将smileScore归一化到[0，60]的得分区间。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010091517.1A CN111259857A (zh) | 2020-02-13 | 2020-02-13 | 一种人脸笑容评分方法及人脸情绪分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010091517.1A CN111259857A (zh) | 2020-02-13 | 2020-02-13 | 一种人脸笑容评分方法及人脸情绪分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111259857A true CN111259857A (zh) | 2020-06-09 |
Family
ID=70923941
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010091517.1A Pending CN111259857A (zh) | 2020-02-13 | 2020-02-13 | 一种人脸笑容评分方法及人脸情绪分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111259857A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113326775A (zh) * | 2021-05-31 | 2021-08-31 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端及可读存储介质 |
| CN113505665A (zh) * | 2021-06-28 | 2021-10-15 | 哈尔滨工业大学（深圳） | 基于视频的学生在校情绪判读方法以及装置 |
| CN114707533A (zh) * | 2022-02-28 | 2022-07-05 | 西北核技术研究所 | 一种基于拐点变换的时序信号到时拾取方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358155A (zh) * | 2017-06-02 | 2017-11-17 | 广州视源电子科技股份有限公司 | 一种鬼脸动作检测方法和装置及活体识别方法和系统 |
| CN107358153A (zh) * | 2017-06-02 | 2017-11-17 | 广州视源电子科技股份有限公司 | 一种嘴部运动检测方法和装置及活体识别方法和系统 |
| CN108140123A (zh) * | 2017-12-29 | 2018-06-08 | 深圳前海达闼云端智能科技有限公司 | 人脸活体检测方法、电子设备和计算机程序产品 |
| CN109376598A (zh) * | 2018-09-17 | 2019-02-22 | 平安科技（深圳）有限公司 | 面部表情图片处理方法、装置、计算机设备和存储介质 |
| CN109472198A (zh) * | 2018-09-28 | 2019-03-15 | 武汉工程大学 | 一种姿态鲁棒的视频笑脸识别方法 |
| CN109685740A (zh) * | 2018-12-25 | 2019-04-26 | 努比亚技术有限公司 | 人脸校正的方法及装置、移动终端及计算机可读存储介质 |
| CN109948397A (zh) * | 2017-12-20 | 2019-06-28 | Tcl集团股份有限公司 | 一种人脸图像校正方法、系统及终端设备 |
| CN110705419A (zh) * | 2019-09-24 | 2020-01-17 | 新华三大数据技术有限公司 | 情绪识别方法、预警方法、模型训练方法和相关装置 |
-
2020
- 2020-02-13 CN CN202010091517.1A patent/CN111259857A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107358155A (zh) * | 2017-06-02 | 2017-11-17 | 广州视源电子科技股份有限公司 | 一种鬼脸动作检测方法和装置及活体识别方法和系统 |
| CN107358153A (zh) * | 2017-06-02 | 2017-11-17 | 广州视源电子科技股份有限公司 | 一种嘴部运动检测方法和装置及活体识别方法和系统 |
| CN109948397A (zh) * | 2017-12-20 | 2019-06-28 | Tcl集团股份有限公司 | 一种人脸图像校正方法、系统及终端设备 |
| CN108140123A (zh) * | 2017-12-29 | 2018-06-08 | 深圳前海达闼云端智能科技有限公司 | 人脸活体检测方法、电子设备和计算机程序产品 |
| CN109376598A (zh) * | 2018-09-17 | 2019-02-22 | 平安科技（深圳）有限公司 | 面部表情图片处理方法、装置、计算机设备和存储介质 |
| CN109472198A (zh) * | 2018-09-28 | 2019-03-15 | 武汉工程大学 | 一种姿态鲁棒的视频笑脸识别方法 |
| CN109685740A (zh) * | 2018-12-25 | 2019-04-26 | 努比亚技术有限公司 | 人脸校正的方法及装置、移动终端及计算机可读存储介质 |
| CN110705419A (zh) * | 2019-09-24 | 2020-01-17 | 新华三大数据技术有限公司 | 情绪识别方法、预警方法、模型训练方法和相关装置 |
Non-Patent Citations (2)
| Title |
|---|
| 吴越: ""基于混合特征的人脸表情识别算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 周霞: ""基于局部特征分析的笑脸表情识别研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113326775A (zh) * | 2021-05-31 | 2021-08-31 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端及可读存储介质 |
| CN113326775B (zh) * | 2021-05-31 | 2023-12-29 | Oppo广东移动通信有限公司 | 图像处理方法及装置、终端及可读存储介质 |
| CN113505665A (zh) * | 2021-06-28 | 2021-10-15 | 哈尔滨工业大学（深圳） | 基于视频的学生在校情绪判读方法以及装置 |
| CN113505665B (zh) * | 2021-06-28 | 2023-06-20 | 哈尔滨工业大学（深圳） | 基于视频的学生在校情绪判读方法以及装置 |
| CN114707533A (zh) * | 2022-02-28 | 2022-07-05 | 西北核技术研究所 | 一种基于拐点变换的时序信号到时拾取方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259857A (zh) | 一种人脸笑容评分方法及人脸情绪分类方法 | |
| CN108256421A (zh) | 一种动态手势序列实时识别方法、系统及装置 | |
| CN113205040A (zh) | 人脸图像处理方法、装置和电子设备 | |
| CN108388882A (zh) | 基于全局-局部rgb-d多模态的手势识别方法 | |
| CN108629336A (zh) | 基于人脸特征点识别的颜值计算方法 | |
| CN112861791B (zh) | 一种结合图神经网络和多特征融合的唇语识别方法 | |
| CN110458158B (zh) | 一种针对盲人辅助阅读的文本检测与识别方法 | |
| CN109711384A (zh) | 一种基于深度卷积神经网络的人脸识别方法 | |
| JPH0877334A (ja) | 顔画像の特徴点自動抽出方法 | |
| CN105069466A (zh) | 基于数字图像处理的行人服饰颜色识别方法 | |
| CN107527054B (zh) | 基于多视角融合的前景自动提取方法 | |
| CN101266654A (zh) | 基于连通分量和支持向量机的图像文本定位方法和装置 | |
| CN107122775A (zh) | 一种基于特征匹配的安卓手机身份证字符识别方法 | |
| CN110032932B (zh) | 一种基于视频处理和决策树设定阈值的人体姿态识别方法 | |
| JP2872776B2 (ja) | 顔画像照合装置 | |
| Sharma et al. | Recognition of single handed sign language gestures using contour tracing descriptor | |
| CN107564004A (zh) | 一种基于计算机辅助跟踪的篡改视频标注方法 | |
| CN107103311A (zh) | 一种连续手语的识别方法及其装置 | |
| CN112906550A (zh) | 一种基于分水岭变换的静态手势识别方法 | |
| CN106778621A (zh) | 人脸表情识别方法 | |
| WO2011074014A2 (en) | A system for lip corner detection using vision based approach | |
| Pantic et al. | Facial action recognition in face profile image sequences | |
| CN106980845B (zh) | 基于结构化建模的人脸关键点定位方法 | |
| CN116386118B (zh) | 一种基于人像识别的粤剧匹配化妆系统及其方法 | |
| Schneider et al. | Feature based face localization and recognition on mobile devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200609 |