CN107424191A - 一种基于二面体群的面部关键点对称性检测方法 - Google Patents

一种基于二面体群的面部关键点对称性检测方法 Download PDF

Info

Publication number
CN107424191A
CN107424191A CN201710660821.1A CN201710660821A CN107424191A CN 107424191 A CN107424191 A CN 107424191A CN 201710660821 A CN201710660821 A CN 201710660821A CN 107424191 A CN107424191 A CN 107424191A
Authority
CN
China
Prior art keywords
facial
image
face
detection
dihedral group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710660821.1A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201710660821.1A priority Critical patent/CN107424191A/zh
Publication of CN107424191A publication Critical patent/CN107424191A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明中提出的一种基于二面体群的面部关键点对称性检测方法，其主要内容包括：人脸对、二面体群和检测算法，其过程为，先用基于二面体群的旋转和反射操作，获得正方形的四个逆时针旋转和垂直、水平和两个对角线反射及它们的面部关键点检测的变换矩阵，具体检测算法为，先选择具有图像正确对称中心的区域，然后通过二面体群滤波器，找到当前图像的旋转和翻转版本，并使用这些原始和转换后图像版本对网络进行训练。本发明基于二面体群进行面部关键点检测，减少设计、计算和测试，提高了检测效率和准确性，可用于实时检测和分析。

Description

一种基于二面体群的面部关键点对称性检测方法
技术领域
本发明涉及面部检测领域，尤其是涉及了一种基于二面体群的面部关键点对称性检测方法。
背景技术
面部关键点对称性检测是指检测人脸中具有特定特征的对称性区域，比如眼角、嘴角等。面部关键点对称性检测不仅对于人脸识别具有很大作用，而且可以为表情识别提供基础。对称应用中的群体理论的一种类型是常规多边形的对称性创建的二面体群，它在化学、几何和计算机科学中有很多应用。人们在进行各种活动时，都会通过面部表情表现出内心的情感。面部关键点的对称性检测和定位，可以帮助我们更好地快速描述表情。它可以应用于安全领域，在公共场合，如机场、地铁站等处的人脸识别和表情识别，通过监控设备等来自动地识别人脸及其表情，通过分析人的表情来进一步判断人物心理，从而判断犯罪嫌疑人甚至是恐怖分子，进而阻止其犯罪行为。它也可以帮助执法机构和情报机构更好地辨别可疑行为和欺骗行为，如表情测谎技术等。此外，它还可以应用于客户满意度调查和儿童兴趣点分析、人脸动画自动合成等领域。然而，传统的方法对于面部关键点对称性的检测不够准确，计算和测试环节较为复杂，效率也不高。
本发明提出了一种基于二面体群的面部关键点对称性检测方法，先用基于二面体群的旋转和反射操作，获得正方形的四个逆时针旋转和垂直、水平和两个对角线反射及它们的面部关键点检测的变换矩阵，具体检测算法为，先选择具有图像正确对称中心的区域，然后通过二面体群滤波器，找到当前图像的旋转和翻转版本，并使用这些原始和转换后图像版本对网络进行训练。本发明基于二面体群进行面部关键点检测，减少设计、计算和测试，提高了检测效率和准确性，可用于实时检测和分析。
发明内容
针对检测不够准确，计算和测试环节较为复杂等问题，本发明的目的在于提供一种基于二面体群的面部关键点对称性检测方法，先用基于二面体群的旋转和反射操作，获得正方形的四个逆时针旋转和垂直、水平和两个对角线反射及它们的面部关键点检测的变换矩阵，具体检测算法为，先选择具有图像正确对称中心的区域，然后通过二面体群滤波器，找到当前图像的旋转和翻转版本，并使用这些原始和转换后图像版本对网络进行训练。
为解决上述问题，本发明提供一种基于二面体群的面部关键点对称性检测方法，其主要内容包括：
(一)人脸对称；
(二)二面体群；
(三)检测算法。
其中，所述的人脸对称，面部的特征是由头骨形状决定的，许多面部关键点在情绪分析中是非常重要的；可用眉毛(3个点)、眼睛(4个点)、唇侧(3个点)、嘴唇中部(4个点)的特征对(包括面部左侧和右侧，总共有24个点，每一侧有10个点)进行对称性分析；面部对称性是通过改变面部的不对称性来测量的，而对称包含旋转和反射，两者都可能出现在面部特征中。
进一步地，所述的不对称面部表情，不对称面部表情可以分为运动不对称和面部结构不对称两种；这两种方法都可以用于寻找面部的不对称性；运动通常是发现面部表情不对称的主要来源，可以通过在一定时间内确定像素值的变化来测量；面部表情的结构不对称对于面部表情状态的解释具有重要意义。
其中，所述的二面体群，二面体群有两种主要的操作：旋转和反射；具有n面的正多边形是二面体群，可用Dn表示，并具有2n个元素：
{e,r,r2,…,rn-1,s,sr,sr2,…,srn-1} (1)
其中，e是Dn中的单位元素；
Dn＝{sjrk:0≤k≤n-1,0≤j≤1} (2)
可用上式表示Dn。
进一步地，所述的二面体群的属性，它们具有的属性如下：
rn＝1,srks＝r-k,(srk)2＝e，对于所有0≤k≤n-1 (3)
Dn的两个元素的组成由下式给出：
rirj＝ri+j,risrj＝srj-i,srirj＝sri+j,srisrj＝rj-i (4)
以D4为例，用最简单的结构(一个矩形)来表示面部，除了计算外，它覆盖了大部分数据。
进一步地，所述的正方形的四个逆时针旋转及其面部关键点检测的变换矩阵，考虑由D4表示的正方形的四个逆时针旋转方位的旋转和反射，计算面部关键点检测的变换矩阵，以及垂直、水平和两个对角线的反射及其矩阵；
对于i∈{0,1,2,3}，R1为单位元素(0或360度旋转)，R2为90度的旋转，R3为180度的旋转，R4为270度的旋转；之后，这些矩阵将作为应用于面部图像和寻找对称点的图像卷积滤波器，特别是在有遮挡图像时。
进一步地，所述的垂直、水平和两个对角线反射及其面部关键点检测的变换矩阵，对于i∈{1,2}，V表示沿垂直轴翻转，H表示沿水平轴上翻转，D1表示沿左上角和右下角的对角线翻转，D2表示沿右上角和左下角的对角线翻转，这些矩阵表示了眉毛、眼睛和嘴唇左右两侧的反射。
其中，所述的检测算法，选择具有图像正确对称中心的区域，然后通过二面体群滤波器，找到当前图像的旋转和翻转版本，并使用这些原始和转换后图像版本对网络进行训练。
进一步地，所述的算法的主要部分，可以总结为3个步骤：
(1)在对图像进行预处理后，用验证的算法找到面部图像中心；
(2)使用二面体群查找精确的旋转图像和翻转图像；
(3)应用学习算法呈现如神经网络(NN)和卷积神经网络(CNN)的面部表情的最佳结果。
进一步地，所述的算法的详细步骤，主要包括以下五个步骤：
(1)对面部图像进行预处理，如去噪，并在图像中检测和裁剪面部，如下所示：
a)检测面部区域；
b)裁剪眉毛、眼睛和嘴巴区域；
c)使用Canny边缘检测算法寻找Canny边缘；
d)在图像上寻找多边形(这里为矩形)；
(2)寻找对称点；
(3)根据D4(矩形)中的二面体旋转和翻转矩阵，找到旋转和翻转的图像；
(4)有两个选择：
a)使用所有原始和变换图像(旋转和翻转图像)训练学习方法，如NN；
b)在CNN中使用变换矩阵作为过滤器；
(5)使用新数据进行测试，并使用所有数据(旧和新)进行更多训练。
附图说明
图1是本发明一种基于二面体群的面部关键点对称性检测方法的系统框架图。
图2是本发明一种基于二面体群的面部关键点对称性检测方法的脸部模型图。
图3是本发明一种基于二面体群的面部关键点对称性检测方法的正方形的四个逆时针旋转及其面部关键点检测的变换矩阵。
图4是本发明一种基于二面体群的面部关键点对称性检测方法的垂直、水平和两个对角线反射及其面部关键点检测的变换矩阵。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于二面体群的面部关键点对称性检测方法的系统框架图。主要包括人脸对称，二面体群和检测算法。
二面体群有两种主要的操作：旋转和反射；具有n面的正多边形是二面体群，可用Dn表示，并具有2n个元素：
{e,r,r2,…,rn-1,s,sr,sr2,…,srn-1} (1)
其中，e是Dn中的单位元素；
Dn＝{sjrk:0≤k≤n-1,0≤j≤1} (2)
可用上式表示Dn。
它们具有的属性如下：
rn＝1,srks＝r-k,(srk)2＝e，对于所有0≤k≤n-1 (3)
Dn的两个元素的组成由下式给出：
rirj＝ri+j,risrj＝srj-i,srirj＝sri+j,srisrj＝rj-i (4)
以D4为例，用最简单的结构(一个矩形)来表示面部，除了计算外，它覆盖了大部分数据。
检测算法，选择具有图像正确对称中心的区域，然后通过二面体群滤波器，找到当前图像的旋转和翻转版本，并使用这些原始和转换后图像版本对网络进行训练。
算法的主要部分可以总结为3个步骤：
(1)在对图像进行预处理后，用验证的算法找到面部图像中心；
(2)使用二面体群查找精确的旋转图像和翻转图像；
(3)应用学习算法呈现如神经网络(NN)和卷积神经网络(CNN)的面部表情的最佳结果。
算法的详细步骤主要包括以下五个步骤：
(1)对面部图像进行预处理，如去噪，并在图像中检测和裁剪面部，如下所示：
a)检测面部区域；
b)裁剪眉毛、眼睛和嘴巴区域；
c)使用Canny边缘检测算法寻找Canny边缘；
d)在图像上寻找多边形(这里为矩形)；
(2)寻找对称点；
(3)根据D4(矩形)中的二面体旋转和翻转矩阵，找到旋转和翻转的图像；
(4)有两个选择：
a)使用所有原始和变换图像(旋转和翻转图像)训练学习方法，如NN；
b)在CNN中使用变换矩阵作为过滤器；
(5)使用新数据进行测试，并使用所有数据(旧和新)进行更多训练。
图2是本发明一种基于二面体群的面部关键点对称性检测方法的脸部模型图。面部的特征是由头骨形状决定的，许多面部关键点在情绪分析中是非常重要的；可用眉毛(3个点)、眼睛(4个点)、唇侧(3个点)、嘴唇中部(4个点)的特征对(包括面部左侧和右侧，总共有24个点，每一侧有10个点)进行对称性分析；面部对称性是通过改变面部的不对称性来测量的，而对称包含旋转和反射，两者都可能出现在面部特征中。
不对称面部表情可以分为运动不对称和面部结构不对称两种；这两种方法都可以用于寻找面部的不对称性；运动通常是发现面部表情不对称的主要来源，可以通过在一定时间内确定像素值的变化来测量；面部表情的结构不对称对于面部表情状态的解释具有重要意义。
图3是本发明一种基于二面体群的面部关键点对称性检测方法的正方形的四个逆时针旋转及其面部关键点检测的变换矩阵。考虑由D4表示的正方形的四个逆时针旋转方位的旋转和反射，计算面部关键点检测的变换矩阵，以及垂直、水平和两个对角线的反射及其矩阵；
对于i∈{0,1,2,3}，R1为单位元素(0或360度旋转)，R2为90度的旋转，R3为180度的旋转，R4为270度的旋转；之后，这些矩阵将作为应用于面部图像和寻找对称点的图像卷积滤波器，特别是在有遮挡图像时。
图4是本发明一种基于二面体群的面部关键点对称性检测方法的垂直、水平和两个对角线反射及其面部关键点检测的变换矩阵。对于i∈{1,2}，V表示沿垂直轴翻转，H表示沿水平轴上翻转，D1表示沿左上角和右下角的对角线翻转，D2表示沿右上角和左下角的对角线翻转，这些矩阵表示了眉毛、眼睛和嘴唇左右两侧的反射。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于二面体群的面部关键点对称性检测方法，其特征在于，主要包括人脸对称(一)；二面体群(二)；检测算法(三)。
2.基于权利要求书1所述的人脸对称(一)，其特征在于，面部的特征是由头骨形状决定的，许多面部关键点在情绪分析中是非常重要的；可用眉毛(3个点)、眼睛(4个点)、唇侧(3个点)、嘴唇中部(4个点)的特征对(包括面部左侧和右侧，总共有24个点，每一侧有10个点)进行对称性分析；面部对称性是通过改变面部的不对称性来测量的，而对称包含旋转和反射，两者都可能出现在面部特征中。
3.基于权利要求书2所述的不对称面部表情，其特征在于，不对称面部表情可以分为运动不对称和面部结构不对称两种；这两种方法都可以用于寻找面部的不对称性；运动通常是发现面部表情不对称的主要来源，可以通过在一定时间内确定像素值的变化来测量；面部表情的结构不对称对于面部表情状态的解释具有重要意义。
4.基于权利要求书1所述的二面体群(二)，其特征在于，二面体群有两种主要的操作：旋转和反射；具有n面的正多边形是二面体群，可用Dn表示，并具有2n个元素：
{e,r,r2,…,rn-1,s,sr,sr2,…,srn-1} (1)
其中，e是Dn中的单位元素；
Dn＝{sjrk:0≤k≤n-1,0≤j≤1} (2)
可用上式表示Dn。
5.基于权利要求书4所述的二面体群的属性，其特征在于，它们具有的属性如下：
rn＝1,srks＝r-k,(srk)2＝e，对于所有0≤k≤n-1 (3)
Dn的两个元素的组成由下式给出：
rirj＝ri+j,risrj＝srj-i,srirj＝sri+j,srisrj＝rj-i (4)
以D4为例，用最简单的结构(一个矩形)来表示面部，除了计算外，它覆盖了大部分数据。
6.基于权利要求书5所述的正方形的四个逆时针旋转及其面部关键点检测的变换矩阵，其特征在于，考虑由D4表示的正方形的四个逆时针旋转方位的旋转和反射，计算面部关键点检测的变换矩阵，以及垂直、水平和两个对角线的反射及其矩阵；
对于i∈{0,1,2,3}，R1为单位元素(0或360度旋转)，R2为90度的旋转，R3为180度的旋转，R4为270度的旋转；之后，这些矩阵将作为应用于面部图像和寻找对称点的图像卷积滤波器，特别是在有遮挡图像时。
7.基于权利要求书5所述的垂直、水平和两个对角线反射及其面部关键点检测的变换矩阵，其特征在于，对于i∈{1,2}，V表示沿垂直轴翻转，H表示沿水平轴上翻转，D1表示沿左上角和右下角的对角线翻转，D2表示沿右上角和左下角的对角线翻转，这些矩阵表示了眉毛、眼睛和嘴唇左右两侧的反射。
8.基于权利要求书1所述的检测算法(三)，其特征在于，选择具有图像正确对称中心的区域，然后通过二面体群滤波器，找到当前图像的旋转和翻转版本，并使用这些原始和转换后图像版本对网络进行训练。
9.基于权利要求书8所述的算法的主要部分，其特征在于，可以总结为3个步骤：
(1)在对图像进行预处理后，用验证的算法找到面部图像中心；
(2)使用二面体群查找精确的旋转图像和翻转图像；
(3)应用学习算法呈现如神经网络(NN)和卷积神经网络(CNN)的面部表情的最佳结果。
10.基于权利要求书9所述的算法的详细步骤，其特征在于，主要包括以下五个步骤：
(1)对面部图像进行预处理，如去噪，并在图像中检测和裁剪面部，如下所示：
a)检测面部区域；
b)裁剪眉毛、眼睛和嘴巴区域；
c)使用Canny边缘检测算法寻找Canny边缘；
d)在图像上寻找多边形(这里为矩形)；
(2)寻找对称点；
(3)根据D4(矩形)中的二面体旋转和翻转矩阵，找到旋转和翻转的图像；
(4)有两个选择：
a)使用所有原始和变换图像(旋转和翻转图像)训练学习方法，如NN；
b)在CNN中使用变换矩阵作为过滤器；
(5)使用新数据进行测试，并使用所有数据(旧和新)进行更多训练。
CN201710660821.1A 2017-08-04 2017-08-04 一种基于二面体群的面部关键点对称性检测方法 Withdrawn CN107424191A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710660821.1A CN107424191A (zh) 2017-08-04 2017-08-04 一种基于二面体群的面部关键点对称性检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710660821.1A CN107424191A (zh) 2017-08-04 2017-08-04 一种基于二面体群的面部关键点对称性检测方法

Publications (1)

Publication Number Publication Date
CN107424191A true CN107424191A (zh) 2017-12-01

Family

ID=60436470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710660821.1A Withdrawn CN107424191A (zh) 2017-08-04 2017-08-04 一种基于二面体群的面部关键点对称性检测方法

Country Status (1)

Country Link
CN (1) CN107424191A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961436A (zh) * 2019-04-04 2019-07-02 北京大学口腔医学院 一种基于人工神经网络模型的正中矢状平面构建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEHDI GHAYOUMI等: "Improved Human Emotion Recognition Using Symmetry of Facial Key Points with Dihedral Group", 《INTERNATIONAL JOURNAL OF ADVANCED STUDIES IN COMPUTER SCIENCE AND ENGINEERING》 *
SAMANTHA GLASS等: "Facial Recognition with the Double Robot Creating a Personalized Robot", 《INTERNATIONAL JOURNAL OF ADVANCED STUDIES IN COMPUTER SCIENCE AND ENGINEERING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961436A (zh) * 2019-04-04 2019-07-02 北京大学口腔医学院 一种基于人工神经网络模型的正中矢状平面构建方法
CN109961436B (zh) * 2019-04-04 2021-05-18 北京大学口腔医学院 一种基于人工神经网络模型的正中矢状平面构建方法

Similar Documents

Publication Publication Date Title
Assens Reina et al. Saltinet: Scan-path prediction on 360 degree images using saliency volumes
CN107016370B (zh) 一种基于数据增强的部分遮挡人脸识别方法
Meyer et al. Bayesian function-on-function regression for multilevel functional data
Chou et al. Privacy-preserving action recognition for smart hospitals using low-resolution depth images
Asteriadis et al. An eye detection algorithm using pixel to edge information
CN107194361A (zh) 二维姿势检测方法及装置
CN106557726A (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
Salian et al. Skin lesion classification using deep learning architectures
CN107025444A (zh) 分块协同表示嵌入核稀疏表示遮挡人脸识别方法和装置
Huang et al. Automated segmentation and morphological analyses of stockpile aggregate images using deep convolutional neural networks
Popovkina et al. Modeling diverse responses to filled and outline shapes in macaque V4
Somanchi et al. Discovering anomalous patterns in large digital pathology images
Katti et al. How do targets, nontargets, and scene context influence real-world object detection?
CN115862113A (zh) 陌生人异常识别方法、装置、设备及存储介质
Zhang et al. Key frame extraction based on quaternion Fourier transform with multiple features fusion
Xu et al. [Retracted] An Inertial Sensing‐Based Approach to Swimming Pose Recognition and Data Analysis
TWM592541U (zh) 影像辨識系統
CN107424191A (zh) 一种基于二面体群的面部关键点对称性检测方法
Singh et al. Real time object detection using neural networks: a comprehensive survey
Zhang et al. A self-occlusion detection approach based on depth image using SVM
Li et al. A supervised method using convolutional neural networks for retinal vessel delineation
Wanjale et al. Use of haar cascade classifier for face tracking system in real time video
Zhang et al. An approach of region of interest detection based on visual attention and gaze tracking
Wisesa et al. Crowd and group detection in shopping centre using mask R-CNN
Ibrahim et al. Mouth covered detection for yawn

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20171201