CN107563336A - 用于名人匹配游戏的人脸相似度分析方法、装置和系统 - Google Patents
用于名人匹配游戏的人脸相似度分析方法、装置和系统 Download PDFInfo
- Publication number
- CN107563336A CN107563336A CN201710802125.XA CN201710802125A CN107563336A CN 107563336 A CN107563336 A CN 107563336A CN 201710802125 A CN201710802125 A CN 201710802125A CN 107563336 A CN107563336 A CN 107563336A
- Authority
- CN
- China
- Prior art keywords
- face
- similarity
- msub
- celebrity
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 37
- 210000000056 organ Anatomy 0.000 claims abstract description 76
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000005516 engineering process Methods 0.000 claims abstract description 11
- 238000012797 qualification Methods 0.000 claims abstract description 4
- 210000004709 eyebrow Anatomy 0.000 claims description 46
- 238000000605 extraction Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 21
- 230000001815 facial effect Effects 0.000 claims description 19
- 230000008921 facial expression Effects 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000010008 shearing Methods 0.000 claims description 6
- 239000002537 cosmetic Substances 0.000 claims description 4
- 238000003909 pattern recognition Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims description 3
- 210000001747 pupil Anatomy 0.000 description 19
- 238000010586 diagram Methods 0.000 description 6
- 238000000513 principal component analysis Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明利用人脸分析识别技术提出一种用于名人匹配游戏的相似度分析方法、装置与系统。首先，利用HypeFace方法对输入的原始图像进行人脸检测、关键点定位、姿态和性别分析。其次，利用机器视觉技术对检测到的人脸进行分辨率、姿态、表情和遮挡分析以评判其合格性。然后，利用人脸识别技术对检测到人脸进行名人匹配，找出与输入人脸最相似的名人。为了提高名人匹配的稳定性，采用整体脸型和局部器官匹配相结合的方法。最后，将匹配结果进行展示，包括脸型相似度、各器官相似度、最相似器官、最不相似器官和名人简介。以上方法通过人脸分析识别技术快速准确的找到最相似的名人，并进行相似度全面分析和展示，提高了用户体验感。
Description
技术领域
本发明涉及图像处理、模式识别以及计算机视觉技术领域，特别涉及一种基于人脸分析识别技术的名人配对游戏方法、装置和系统。
背景技术
近些年来，人们对相似脸搜索和名人脸匹配的关注度日益提高，一些知名应用如微软的twins or not，Face + + 的相似脸搜索、百度明星脸、百度魔图、寻找明星脸 、照照明星脸等的出现，标志着相似脸搜索正成为新一轮的研究热点。然而，目前的名人匹配游戏不稳定，即经常出现同一个人输入不同类型的人脸图像导致匹配的名人不一样。另外，匹配结果分析时只给出了一个整体的相似度；而有时用户希望知道自己到底哪些部位和名人相似，哪些部位不是很相似，最相似的是哪个器官等。如果能提供人脸整体相似度和各局部器官相似度给用户，一来可满足用户的好奇心和体验感；二来有利于整形美容广告的植入。本发明将利用人脸识别和图像处理技术提供一种更具稳定性的名人人脸匹配、脸型相似度计算、各局部器官相似度计算的方法、装置与系统。
发明内容
为了解决名人匹配游戏中相似名人匹配不准确问题，本发明提出一种基于整体脸型和局部形状相结合的人脸相似度分析方法、装置和系统。根据本发明的一方面，提供了一种用于名人匹配游戏的人脸相似度分析方法，所述方法包括如下步骤：
S1 人脸检测与关键点定位
对用户输入的人脸图像（文件上传或现场拍照）进行人脸检测，并进行关键特征点定位，最后得到无背景的归一化的人脸图像。
所述的人脸检测与关键点定位，其特征在于，采用美国马里兰大学的RajeevRanjan等人提出的HypeFace（Ranjan R, Patel V M, Chellappa R. HyperFace: A DeepMulti-task Learning Framework for Face Detection, Landmark Localization, PoseEstimation, and Gender Recognition）方法，一种可以同时进行人脸检测、关键点定位、姿态和性别识别的多任务深度学习网络。即利用HypeFace一次性完成人脸检测与关键点定位，并识别出检测人脸的性别与姿态信息。
所述的人脸关键点，其特征在于，本发明提取人脸68个关键点，如图1所示。根据人脸关键点剪切出无背景的干净人脸图像，并进行归一化处理。其中，剪切规则为，两边以人脸耳根点为边界，上边界以眉尖点为基准再往上提升10个像素点，下边界以下巴点为基准，再往下下降5个像素点。
进一步地，提取出人脸姿态和性别信息，方便后期使用。
S2人脸图像质量评判
对检测到的人脸进行图像质量评判。其中，图像质量评判包括图像分辨率、人脸姿态、人脸妆饰物和人脸表情的合格性评判。
所述的图像分辨率评判，其特征在于，根据检测到的人脸图像占整幅图像的比例和两眼之间瞳距的长度来判断。如果人脸图像占整幅图像的比例小于1/3，且瞳距小于40，则认为人脸图像分辨率不合格。
所述的人脸姿态评判，其特征在于，根据S1步得到的人脸在X、Y和Z轴上的旋转角度（姿态信息）进行姿态评判。如果在任意一个坐标轴上旋转角度大于30度，则认为人脸姿态不合格。
所述的人脸妆饰物评判，其特征在于，利用图像处理与模式识别技术检测人脸有没有佩戴墨镜、围巾，或是人脸否有遮挡。如果检测到人脸佩戴有墨镜、或围巾、或面部有遮挡，则认为人脸图像不合格。
所述的人脸表情评判，其特征在于，利用人脸表情识别技术检测人脸有没有夸张表情或闭着眼睛。如果检测到人脸有夸张的大笑、咧嘴、搞怪或闭着双眼，则认为人脸表情不合格。
S3 人脸局部器官提取
根据S1步得到的人脸68个关键特征点提取人脸局部器官图像。所述的人脸局部器官包括眉毛、眼睛、鼻子、嘴巴和下巴，如图2所示。
所述的眉毛器官提取，其特征在于，以人脸两眉尖点（即图1中的20和25号点）连线的中心点为中心取出给定的长方形眉毛区域，其中长方形眉毛区域的长度是人脸图像长度的5/7, 长方形眉毛区域宽度是人脸图像的1/7。
所述的眼睛器官提取，其特征在于，以图1中28号点为中心取出给定的长方形眼睛区域，其中，长方形眼睛区域的长度是人脸图像长度的5/7，长方形眼睛区域宽度是人脸图像的1/7。
所述的鼻子器官提取，其特征在于，以图1中的31号点为中心取出给定的长方形鼻子区域，其中，长方形鼻子区域的长度是人脸图像长度的5/21，长方形鼻子区域宽度是人脸图像的2/7。
所述的嘴巴器官提取，其特征在于，以人脸两嘴角点（图1中的49，55号点）连线的中心点为中心取出给定的长方形嘴巴区域，其中，长方形嘴巴区域的长度是人脸图像长度的3/7，长方形嘴巴区域宽度是人脸图像的5/21。
所述的下巴器官提取，其特征在于，以人脸下巴点和下唇点（图1中的9，58号点）垂直连线的中心点为中心取出给定的长方形下巴区域，其中，长方形下巴区域的长度是人脸图像长度的3/8，长方形下巴区域宽度是人脸图像的2/7。
S4人脸特征提取
分别提取人脸的脸型特征和局部器官特征作为输入人脸的特征集合。
所述的人脸脸型特征，其特征在于，如下表1所示包括了30个几何比例特征，其中符号H1、H2、H3、H4、V1、V2、V3、V4、V5、V6、V7的意义见图3所示。
表1. 人脸脸型特征
| 特征序号 | 特征符号表示 | 特征描述 |
| 1 | H2:H1 | 鼻宽/眼部面宽 |
| 2 | H3:H1 | 上唇面宽/眼部面宽 |
| 3 | H4:H1 | 下唇面宽/眼部面宽 |
| 4 | H2:H3 | 鼻宽/上唇面宽 |
| 5 | H2:H4 | 鼻宽/下唇面宽 |
| 6 | H4:H3 | 下唇面宽/上唇面宽 |
| 7 | V1:V4 | 瞳孔到鼻孔的纵向间距/眉尖点到下巴的纵向间距 |
| 8 | V2:V4 | 鼻孔到下巴的纵向间距/眉尖点到下巴的纵向间距 |
| 9 | V3:V4 | 鼻孔到嘴角的纵向间距/眉尖点到下巴的纵向间距 |
| 10 | V5:V4 | 眉尖点到瞳孔的纵向间距/眉尖点到下巴的纵向间距 |
| 11 | V6:V4 | 瞳孔到嘴角的纵向间距/眉尖点到下巴的纵向间距 |
| 12 | V7:V4 | 嘴角到下巴的纵向间距/眉尖点到下巴的纵向间距 |
| 13 | V1:V2 | 瞳孔到鼻孔的纵向间距/鼻孔到下巴的纵向间距 |
| 14 | V1:V3 | 瞳孔到鼻孔的纵向间距/鼻孔到嘴角的纵向间距 |
| 15 | V1:V5 | 瞳孔到鼻孔的纵向间距/眉尖到瞳孔的纵向间距 |
| 16 | V1:V6 | 瞳孔到鼻孔的纵向间距/瞳孔到嘴角的纵向间距 |
| 17 | V1:V7 | 瞳孔到鼻孔的纵向间距/嘴角到下巴的纵向间距 |
| 18 | V2:V3 | 鼻孔到下巴的纵向间距/鼻孔到嘴角的纵向间距 |
| 19 | V2:V5 | 鼻孔到下巴的纵向间距/眉尖到瞳孔的纵向间距 |
| 20 | V2:V6 | 鼻孔到下巴的纵向间距/瞳孔到嘴角的纵向间距 |
| 21 | V2:V7 | 鼻孔到下巴的纵向间距/嘴角到下巴的纵向间距 |
| 22 | V3:V5 | 鼻孔到嘴角的纵向间距/眉尖到瞳孔的纵向间距 |
| 23 | V3:V6 | 鼻孔到嘴角的纵向间距/瞳孔到嘴角的纵向间距 |
| 24 | V3:V7 | 鼻孔到嘴角的纵向间距/嘴角到下巴的纵向间距 |
| 25 | V4:V5 | 眉尖点到下巴的纵向间距/眉尖到瞳孔的纵向间距 |
| 26 | V4:V6 | 眉尖点到下巴的纵向间距/瞳孔到嘴角的纵向间距 |
| 27 | V4:V7 | 眉尖点到下巴的纵向间距/嘴角到下巴的纵向间距 |
| 28 | V5:V6 | 眉尖到瞳孔的纵向间距/瞳孔到嘴角的纵向间距 |
| 29 | V5:V7 | 眉尖到瞳孔的纵向间距/嘴角到下巴的纵向间距 |
| 30 | V6:V7 | 瞳孔到嘴角的纵向间距/嘴角到下巴的纵向间距 |
所述的局部器官特征，其特征在于：首先，对局部器官图像提取其Gabor特征， Gabor核定义为：
其中，z表示像素；为小波项，kv＝kmax/fv，φμ＝πμ/8，σ＝1.5π控制着高斯窗口宽度与波长的比例。各参数的取值为kmax＝π/2，ρ≈40，μ＝{0,…,7},v＝{0,…,4}。然后，对提取的Gabor特征利用主成份分析(PCA)进行降维处理。
S5 名人匹配
将S4步提取的人脸图像特征分别与名人库中的人脸图像特征进行匹配，找出最相似的名人。
所述的人脸匹配，其特征在于：首先，将人脸脸型特征和各局部器官特征分别进行匹配得出各自的相似度；然后，将各相似度进行加权求和得出最终的相似度，其加权求和规则如下：
其中，为最终的相似度，分别为脸型、眉毛、眼睛、鼻子、嘴巴和下巴的相似度，分别为脸型、眉毛、眼睛、鼻子、嘴巴和下巴的权值。
S6 相似度分析
根据步骤S5找到的最相似名人，分析出用户与名人各方面的相似度，包括：整体相似度、脸型相似度、各局部器官（眉毛、眼睛、鼻子、嘴巴和下巴）相似度、最相似局部器官和最不相似局部器官。
根据本发明的另一方面，提供了一种用于名人匹配游戏的人脸相似度分析装置，所述的装置包括：
存储单元，用于存储名人人脸图像、名人人脸图像特征向量和名人文字简介。
人脸检测和关键点定位单元，用于检测用户输入的人脸图像，并进行人脸关键点定位和人脸剪切和归一化。
人脸图像质量评判单元，用于判定检测到的人脸是否是合格的人脸图像。其中，评判的内容包括人脸图像分辨率、人脸姿态、人脸表情和人脸遮挡。
特征提取单元，用于提取人脸整体脸型特征和人脸局部器官特征。其中，人脸整体脸型特征采用人脸几何比例特征；人脸局部器官特征采用Gabor特征，并采用PCA方法进行降维。
人脸相似度匹配单元，用于匹配查找最相似的名人人脸图像。所述的相似度匹配综合了人脸脸型和人脸局部器官的相似度。
相似度分析单元，用于分析用户人脸与名人人脸的整体相似度，脸型相似度，局部器官相似度。
展示单元，用于展示相似度分析结果。展示内容包括整体相似度，脸型相似度，各局部器官相似度，最相似点与最不相似点，名人简介。
优选的，名人简介展示方式为：当用户点击名人图像时便链接到名人简介页面。
根据本发明的另一方面，提供了一种用于名人匹配游戏的人脸相似度分析系统，所述的系统包括：
名人库存储与更新模块，用于名人人脸图像、人脸特征、名人简介的存储与更新。
人脸检测与关键点定位模块，用于检测用户输入的人脸图像，并进行人脸关键点定位、人脸剪切和归一化处理。
人脸图像质量评判模块，用于判定检测到的人脸是否是合格的人脸图像，包括图像分辨率评判、人脸姿态评判、人脸表情评判和人脸遮挡评判。
人脸特征提取模块，用于提取具有鉴别性和稳定性的人脸图像特征，特征提取对象包括输入的人脸图像，还包括名人库中的人脸图像。提取的特征包括人脸脸型特征和人脸局部器官特征。
名人匹配模块，用于匹配查找最相似的名人人脸图像。所述的相似度匹配综合了人脸脸型和人脸局部器官的匹配。
相似度分析与展示模块，用于名人相似度计算、分析与展示。所述的名人相似度分析包括了整体相似度、脸型相似度、各局部器官相似度。所述的名人相似度展示包括了整体相似度、脸型相似度、各局部器官相似度、最相似部分和最不相似部分、名人简介。
优选的，名人简介展示方式为：当用户点击名人图像时便链接到名人简介页面。
本发明与现在技术相比，其有益效果为：
1） 本发明提供了一种基于人脸几何比例关系的脸型匹配方法。
2）与现有技术相比，本发明的名人匹配方法融合了人脸脸型特征和局部器官特征。
3）现有名人匹配方法，只给出了整体相似度；而本发明不但给出了整体相似度，还给出了脸型相似度、各局部器官的相似度、最相似器官和最不相似器官。
附图说明
图1 人脸68个关键点定位图；
图2 人脸局部器官提取示例图；
图3 人脸脸型特征提取示例图；
图4 一种用于名人匹配游戏的人脸相似度分析方法结构图；
图5 一种用于名人匹配游戏的人脸相似度分析装置结构图；
图6 一种用于名人匹配游戏的人脸相似度分析系统结构图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。示例性的，具体实施方式以手机版名人匹配游戏为例进行说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图4示出了本发明实施例一提供的一种用于名人匹配游戏的人脸相似度分析方法的实现流程，详述如下：
在步骤S401中，对用户输入的人脸图像进行人脸检测、关键点定位和人脸归一化处理。
本实施例中输入的人脸图像可以是现场利用摄像设备采集的人脸图像，也可以是上传已有的人脸图像。
本实施例中的人脸检测是利用的Rajeev Ranjan等人提出的HypeFace方法检测用户输入图像中是否存在人脸、人脸位置与大小等信息。作为可选方案，还可以采用其它的深度学习方法（Faster-RCNN）进行人脸检测，或采用传统的Adaboost人脸检测方法。
本实施例中的人脸关键点定位是利用的Rajeev Ranjan等人提出的HypeFace方法提取人脸68个关键点信息，其中68个人脸关键点图1所示。作为可选方案，还可以采用其它的深度学习方法，或是采用传统的SDM人脸特征点定位方法。
本实施例中的人脸归一化处理是利用定位的人脸关键点进行人脸剪切，并作尺度归一化。所述的人脸剪切，其特征在于，剪切规则为两边以人脸耳根点为边界，上边界以眉尖点为基准再往上提升10个像素点，下边界以下巴点为基准，再往下下降5个像素点。
进一步的，采用HypeFace方法还可以得到人脸图像的姿态和性别信息。
在步骤S402中，对检测到的人脸进行图像质量评判。其中，图像质量评判包括图像分辨率、人脸姿态、人脸妆饰物和人脸表情的合格性评判。
本实施例中的图像分辨率评判是根据检测到的人脸图像占整幅图像的比例和两眼之间瞳距的长度来判断。如果人脸图像占整幅图像的比例小于1/3，且瞳距小于40，则认为人脸图像分辨率不合格。
本实施例中的人脸姿态评判是根据S401步得到的人脸在X、Y和Z轴上的旋转角度进行姿态评判。如果在任意一个坐标轴上旋转角度大于30度，则认为人脸姿态不合格。
本实施例中的人脸妆饰物评判是利用图像处理与模式识别技术检测人脸有没有佩戴墨镜、围巾，或是人脸否有遮挡。如果检测到人脸佩戴有墨镜、或围巾、或面部有遮挡，则认为人脸图像不合格。
本实施例中的人脸表情评判是利用人脸表情识别技术检测人脸有没有夸张表情或闭着眼睛。如果检测到人脸有夸张的大笑、咧嘴、搞怪和闭着双眼，则认为人脸表情不合格。
在步骤S403中，根据步骤S401得到的人脸68个关键特征点提取人脸局部器官图像。所述的人脸局部器官包括眉毛、眼睛、鼻子、嘴巴和下巴。
本实施例中的眉毛器官提取是以人脸两眉尖点（即图1中的20和25号点）连线的中心点为中心取出给定的长方形眉毛区域，其中长方形眉毛区域的长度是人脸图像长度的5/7, 长方形眉毛区域宽度是人脸图像的1/7。
本实施例中的眼睛器官提取是以人脸两眼瞳孔连线的中心点（即图1中的28号点）为中心取出给定的长方形眼睛区域，其中，长方形眼睛区域的长度是人脸图像长度的5/7，长方形眼睛区域宽度是人脸图像的1/7。
本实施例中的鼻子器官提取是以图1中的31号点为中心取出给定的长方形鼻子区域，其中，长方形鼻子区域的长度是人脸图像长度的5/21，长方形鼻子区域宽度是人脸图像的2/7。
本实施例中的嘴巴器官提取是以人脸两嘴角点（图1中的49，55号点）连线的中心点为中心取出给定的长方形嘴巴区域，其中，长方形嘴巴区域的长度是人脸图像长度的3/7，长方形嘴巴区域宽度是人脸图像的5/21。
本实施例中的下巴器官提取是以人脸下巴点和下唇点（图1中的9，58号点）垂直连线的中心点为中心取出给定的长方形下巴区域，其中，长方形下巴区域的长度是人脸图像长度的3/8，长方形下巴区域宽度是人脸图像的2/7。
在步骤S404中，分别提取人脸的脸型特征和局部器官特征作为输入人脸的特征集合。
本实施例中的人脸脸型特征如表1所示包括了30个几何比例特征；局部器官特征为人脸局部器官图像的Gabor特征，并利用PCA方法进行降维。
在步骤S405中，将步骤S404中提取的人脸图像特征分别与名人库中的人脸图像特征进行匹配计算其相似度，并根据相似度大小找出最相似的名人。
在步骤S406中，根据步骤S405找到的最相似名人，分析出用户与名人各方面的相似度，包括：整体相似度、脸型相似度、各局部器官（眉毛、眼睛、鼻子、嘴巴和下巴）相似度、最相似局部器官和最不相似局部器官。
本实施例中的人脸匹配，其特征在于：首先，将人脸脸型特征和各局部器官特征分别进行匹配得出各自的相似度；然后，将各相似度进行加权求和得出最终的相似度，其加权求和规则如下：
其中，为最终的相似度，分别为脸型、眉毛、眼睛、鼻子、嘴巴和下巴的相似度，分别为脸型、眉毛、眼睛、鼻子、嘴巴和下巴的权值。
优选的，为了提高名人匹配的速度，本实施例将名人分为男性和女性两大类。然后，根据步骤S401得到的人脸性别，只与相对应性别的名人库进行比对，从而减少搜索量。
实施例二
图5示出了本发明提供的一种用于名人匹配游戏的人脸相似度分析装置的结构，为了便于说明，仅示了与本发明实施例相关的部分，其中包括：
存储单元51，用于存储名人人脸图像、名人人脸图像特征向量和名人文字简介。
人脸检测和关键点定位单元52，用于检测用户输入的人脸图像，并进行人脸关键点定位和人脸剪切和归一化。
人脸图像质量评判单元53，用于判定检测到的人脸是否是合格的人脸图像。其中，评判的内容包括人脸图像分辨率、人脸姿态、人脸表情和人脸遮挡。
特征提取单元54，用于提取人脸整体脸型特征和人脸局部器官特征。其中，人脸整体脸型特征采用人脸几何比例特征；人脸局部器官特征采用Gabor特征，并采用PCA方法进行降维。
人脸相似度匹配单元55，用于匹配查找最相似的名人人脸图像。所述的相似度匹配综合了人脸脸型和人脸局部器官的相似度。
相似度分析单元56，用于分析用户人脸与名人人脸的整体相似度，脸型相似度，局部器官相似度。
相似度展示单元57，用于展示相似度分析结果。展示内容包括整体相似度，脸型相似度，各局部器官相似度，最相似部分与最不相似部分，名人简介。
优选的，名人简介展示方式可选为：当用户点击名人图像时便链接到名人简介页面。
实施例三
图6示出了本发明提供的一种用于名人匹配游戏的人脸相似度分析系统结构，为了便于说明，只示出了与本发明实施例相关的部分，其中包括：
名人库存储与更新模块61，用于人脸图像、人脸图像特征、名人简介的存储与更新。
人脸检测与关键点定位模块62，用于检测用户输入的人脸图像，并进行人脸关键点定位、人脸剪切和归一化处理。
人脸图像质量评判模块63，用于判定检测到的人脸是否是合格的人脸图像，其中包括人脸图像分辨率评判、人脸姿态评判、人脸表情评判和人脸遮挡评判。
人脸特征提取模块64，用于提取具有鉴别性和稳定性的人脸图像特征，特征提取对象包括输入的人脸图像，还包括名人库中的人脸图像。提取的特征包括人脸脸型特征和人脸局部器官特征。
名人匹配模块65，用于匹配查找最相似的名人人脸图像。所述的相似度匹配综合了人脸脸型和人脸局部器官的匹配。
相似度分析与展示模块66，用于名人相似度计算、分析与展示。所述的名人相似度分析包括了整体相似度、脸型相似度、各局部器官相似度。所述的名人相似度展示包括了整体相似度、脸型相似度、各局部器官相似度、最相似部分和最不相似部分、名人简介。
优选的，名人简介展示方式为：当用户点击名人图像时便链接到名人简介页面。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (9)
1.一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述方法包括如下步骤：
人脸检测与关键点定位：对用户输入的人脸图像（通过文件上传或现场拍照）进行人脸检测和关键特征点定位，得到无背景干扰和大小归一化的人脸图像；
人脸图像质量评判：对检测到的人脸进行图像质量评判，其中，图像质量评判包括图像分辨率、人脸姿态、人脸妆饰物和人脸表情的合格性评判；
人脸局部器官提取：根据第一步得到的人脸关键特征点提取人脸局部器官图像，所述的人脸局部器官包括眉毛、眼睛、鼻子、嘴巴和下巴；
人脸特征提取：分别提取人脸的脸型特征和局部器官特征作为输入人脸的特征集，其中，脸型特征为人脸几何比例特征，局部器官特征为人脸局部器官图像的Gabor特征；
名人匹配：将上步提取的人脸图像特征分别与名人库中的人脸图像特征进行匹配计算出其相似度，并根据相似度大小找出最相似的名人；
相似度分析：根据找到的最相似名人，分析出用户与名人各方面的相似度，包括：整体相似度、脸型相似度、各局部器官（眉毛、眼睛、鼻子、嘴巴和下巴）相似度、最相似局部器官和最不相似局部器官。
2.根据权力要求1所述的一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述的人脸检测与关键点定位采用论文《A Deep Multi-task Learning Framework forFace Detection, Landmark Localization, Pose Estimation, and GenderRecognition》中的“HypeFace”方法同时进行人脸检测、关键点定位、姿态和性别识别。
3.根据权力要求1所述的一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述的归一化人脸是根据人脸关键点剪切出无背景的干净人脸图像，并进行大小归一化处理；其中，剪切规则为，两边以人脸耳根点为边界，上边界以眉尖点为基准再往上提升10个像素点，下边界以下巴点为基准，再往下下降5个像素点。
4.根据权力要求1所述的一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述的图像分辨率评判是根据检测到的人脸图像占整幅图像的比例和两眼之间瞳距的长度来判断：如果人脸图像占整幅图像的比例小于1/3且瞳距小于40，则认为人脸图像分辨率不合格，否则认为人脸图像分辨率合格；
所述的人脸姿态评判是根据第一步得到的人脸姿态信息进行姿态评判：如果在X、Y、Z任意一个坐标轴上人脸旋转角度大于30度，则认为人脸姿态不合格,否则认为人脸姿态合格；
所述的人脸妆饰物评判是利用图像处理与模式识别技术检测人脸有没有佩戴墨镜、围巾或是人脸否有遮挡：如果检测到人脸佩戴有墨镜、或围巾、或面部有遮挡，则认为人脸图像不合格，否则认为人脸妆饰物合格；
所述的人脸表情评判是利用人脸表情识别技术检测人脸有没有夸张表情或闭着眼睛：如果检测到人脸有夸张的大笑、咧嘴、搞怪或闭着双眼，则认为人脸表情不合格，否则认为人脸表情合格。
5.根据权力要求1所述的一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述的眉毛器官提取是以人脸两眉尖点连线的中心点为中心取出给定的长方形眉毛区域，其中长方形眉毛区域的长度是人脸图像长度的5/7, 长方形眉毛区域宽度是人脸图像的1/7；
所述的眼睛器官提取是以两眼连线的中心点为中心取出给定的长方形眼睛区域，其中，长方形眼睛区域的长度是人脸图像长度的5/7，长方形眼睛区域宽度是人脸图像的1/7；
所述的鼻子器官提取是以鼻梁线中点为中心取出给定的长方形鼻子区域，其中，长方形鼻子区域的长度是人脸图像长度的5/21，长方形鼻子区域宽度是人脸图像的2/7；
所述的嘴巴器官提取是以人脸两嘴角点连线的中心点为中心取出给定的长方形嘴巴区域，其中，长方形嘴巴区域的长度是人脸图像长度的3/7，长方形嘴巴区域宽度是人脸图像的5/21；
所述的下巴器官提取是以人脸下巴点和下唇点垂直连线的中心点为中心取出给定的长方形下巴区域，其中，长方形下巴区域的长度是人脸图像长度的3/8，长方形下巴区域宽度是人脸图像的2/7。
6.根据权力要求1所述的一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述的脸型特征包括30个几何比例特征，具体见说明书表1。
7.根据权力要求1所述的一种用于名人匹配游戏的人脸相似度分析方法，其特征在于，所述的人脸匹配为：首先，将人脸脸型特征和各局部器官特征分别进行匹配得出各自的相似度；然后，将各相似度进行加权求和得出最终的相似度，其加权求和规则如下：
<math display = 'block'>
<mrow>
<mi>&theta;</mi>
<mo>=</mo>
<msub>
<mi>w</mi>
<mi>s</mi>
</msub>
<msub>
<mi>&theta;</mi>
<mi>s</mi>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>b</mi>
</msub>
<msub>
<mi>&theta;</mi>
<mi>b</mi>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>e</mi>
</msub>
<msub>
<mi>&theta;</mi>
<mi>e</mi>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>n</mi>
</msub>
<msub>
<mi>&theta;</mi>
<mi>n</mi>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>m</mi>
</msub>
<msub>
<mi>&theta;</mi>
<mi>m</mi>
</msub>
<mo>+</mo>
<msub>
<mi>w</mi>
<mi>j</mi>
</msub>
<msub>
<mi>&theta;</mi>
<mi>j</mi>
</msub>
</mrow>
</math>
其中，<math display = 'block'>
<mrow>
<mi>&theta;</mi>
</mrow>
</math>为最终的相似度，<math display = 'block'>
<mrow>
<msub>
<mi>&theta;</mi>
<mi>s</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>b</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>e</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>n</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>m</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&theta;</mi>
<mi>j</mi>
</msub>
</mrow>
</math>分别为脸型、眉毛、眼睛、鼻子、
嘴巴和下巴的相似度，<math display = 'block'>
<mrow>
<msub>
<mi>w</mi>
<mi>s</mi>
</msub>
<mo>=</mo>
<mn>0.3</mn>
<mo>,</mo>
<msub>
<mi>w</mi>
<mi>b</mi>
</msub>
<mo>=</mo>
<mn>0.2</mn>
<mo>,</mo>
<msub>
<mi>w</mi>
<mi>e</mi>
</msub>
<mo>=</mo>
<mn>0.05</mn>
<mo>,</mo>
<msub>
<mi>w</mi>
<mi>n</mi>
</msub>
<mo>=</mo>
<mn>0.2</mn>
<mo>,</mo>
<msub>
<mi>w</mi>
<mi>m</mi>
</msub>
<mo>=</mo>
<mn>0.05</mn>
<mo>,</mo>
<msub>
<mi>w</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<mn>0.2</mn>
</mrow>
</math>
分别为脸型、眉毛、眼睛、鼻子、嘴巴和下巴的权值。
8.一种用于名人匹配游戏的人脸相似度分析装置，其特征在于，所述的装置包括：
存储单元，用于存储名人人脸图像、名人人脸图像特征向量和名人文字简介；
人脸检测和关键点定位单元，用于检测用户输入的人脸图像，并进行人脸关键点定位、人脸剪切和大小归一化；
人脸图像质量评判单元，用于判定检测到的人脸是否是合格的人脸图像，其中，评判的内容包括人脸图像分辨率、人脸姿态、人脸表情和人脸遮挡；
特征提取单元，用于提取人脸整体脸型特征和人脸局部器官特征，其中，人脸整体脸型特征采用人脸几何比例特征；人脸局部器官特征采用Gabor特征，并采用PCA方法进行降维；
人脸相似度匹配单元，用于匹配查找最相似的名人人脸图像，所述的相似度匹配综合了人脸脸型和人脸局部器官的相似度；
相似度分析单元，用于分析用户人脸与名人人脸的整体相似度、脸型相似度、局部器官相似度；
展示单元，用于展示相似度分析结果，展示内容包括整体相似度、脸型相似度、各局部器官相似度、最相似点与最不相似点、名人简介；
优选的，名人简介展示方式为：当用户点击名人图像时便链接到名人简介页面。
9.一种用于名人匹配游戏的人脸相似度分析系统，其特征在于，所述的系统包括：
名人库存储与更新模块，用于名人人脸图像、人脸特征、名人简介的存储与更新；
人脸检测与关键点定位模块，用于检测用户输入的人脸图像，并进行人脸关键点定位、人脸剪切和归一化处理；
人脸图像质量评判模块，用于判定检测到的人脸是否是合格的人脸图像，包括图像分辨率评判、人脸姿态评判、人脸表情评判和人脸遮挡评判；
人脸特征提取模块，用于提取具有鉴别性和稳定性的人脸图像特征，特征提取对象包括输入的人脸图像，还包括名人库中的人脸图像；
名人匹配模块，用于匹配查找最相似的名人人脸图像，所述的相似度匹配综合了人脸脸型和人脸局部器官的匹配；
相似度分析与展示模块，用于名人相似度计算、分析与展示：所述的名人相似度分析包括了整体相似度、脸型相似度、各局部器官相似度；所述的名人相似度展示包括了整体相似度、脸型相似度、各局部器官相似度、最相似部分和最不相似部分、名人简介；
优选的，名人简介展示方式为：当用户点击名人图像时便链接到名人简介页面。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710802125.XA CN107563336A (zh) | 2017-09-07 | 2017-09-07 | 用于名人匹配游戏的人脸相似度分析方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710802125.XA CN107563336A (zh) | 2017-09-07 | 2017-09-07 | 用于名人匹配游戏的人脸相似度分析方法、装置和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107563336A true CN107563336A (zh) | 2018-01-09 |
Family
ID=60980224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710802125.XA Pending CN107563336A (zh) | 2017-09-07 | 2017-09-07 | 用于名人匹配游戏的人脸相似度分析方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107563336A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108595628A (zh) * | 2018-04-24 | 2018-09-28 | 百度在线网络技术（北京）有限公司 | 用于推送信息的方法和装置 |
| CN108635859A (zh) * | 2018-05-04 | 2018-10-12 | 网易（杭州）网络有限公司 | 用于图像染色的方法及装置、存储介质、电子设备 |
| CN108966017A (zh) * | 2018-08-24 | 2018-12-07 | 太平洋未来科技（深圳）有限公司 | 视频生成方法、装置及电子设备 |
| CN109241911A (zh) * | 2018-09-07 | 2019-01-18 | 北京相貌空间科技有限公司 | 人脸相似度计算方法及装置 |
| CN109598203A (zh) * | 2018-11-06 | 2019-04-09 | 平安科技（深圳）有限公司 | 基于人脸识别的照片添加方法、装置、终端及存储介质 |
| CN109816543A (zh) * | 2018-12-14 | 2019-05-28 | 平安科技（深圳）有限公司 | 一种图像查找方法及装置 |
| CN109871767A (zh) * | 2019-01-17 | 2019-06-11 | 平安科技（深圳）有限公司 | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
| CN110097470A (zh) * | 2019-03-19 | 2019-08-06 | 深圳壹账通智能科技有限公司 | 基于人工智能的理财产品推广方法、装置及计算机设备 |
| CN110866466A (zh) * | 2019-10-30 | 2020-03-06 | 平安科技（深圳）有限公司 | 一种人脸识别方法、装置、存储介质和服务器 |
| CN111553313A (zh) * | 2020-05-13 | 2020-08-18 | 无锡北斗星通信息科技有限公司 | 利用云端存储的脸型匹配系统以及相应终端 |
| CN111626253A (zh) * | 2020-06-02 | 2020-09-04 | 上海商汤智能科技有限公司 | 表情检测的方法、装置、电子设备及存储介质 |
| WO2022012299A1 (zh) * | 2020-07-14 | 2022-01-20 | 海信视像科技股份有限公司 | 显示设备及人物识别展示的方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101510257A (zh) * | 2009-03-31 | 2009-08-19 | 华为技术有限公司 | 一种人脸相似度匹配方法及装置 |
| CN102799877A (zh) * | 2012-09-11 | 2012-11-28 | 上海中原电子技术工程有限公司 | 人脸图像筛选方法及系统 |
| CN103150561A (zh) * | 2013-03-19 | 2013-06-12 | 华为技术有限公司 | 人脸识别方法和设备 |
| CN103207986A (zh) * | 2013-02-06 | 2013-07-17 | 江苏清大维森科技有限责任公司 | 一种基于lbp-hf的人脸识别方法 |
| CN105160312A (zh) * | 2015-08-27 | 2015-12-16 | 南京信息工程大学 | 基于人脸相似度匹配的明星脸装扮推荐方法 |
| CN105814582A (zh) * | 2013-11-30 | 2016-07-27 | 北京市商汤科技开发有限公司 | 用于识别人脸的方法和系统 |
| CN105868716A (zh) * | 2016-03-29 | 2016-08-17 | 中国科学院上海高等研究院 | 一种基于面部几何特征的人脸识别方法 |
| CN106803067A (zh) * | 2016-12-28 | 2017-06-06 | 浙江大华技术股份有限公司 | 一种人脸图像质量评估方法及装置 |
| CN106980819A (zh) * | 2017-03-03 | 2017-07-25 | 竹间智能科技（上海）有限公司 | 基于人脸五官的相似度判别系统 |
| CN106980840A (zh) * | 2017-03-31 | 2017-07-25 | 北京小米移动软件有限公司 | 脸型匹配方法、装置及存储介质 |
-
2017
- 2017-09-07 CN CN201710802125.XA patent/CN107563336A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101510257A (zh) * | 2009-03-31 | 2009-08-19 | 华为技术有限公司 | 一种人脸相似度匹配方法及装置 |
| CN102799877A (zh) * | 2012-09-11 | 2012-11-28 | 上海中原电子技术工程有限公司 | 人脸图像筛选方法及系统 |
| CN103207986A (zh) * | 2013-02-06 | 2013-07-17 | 江苏清大维森科技有限责任公司 | 一种基于lbp-hf的人脸识别方法 |
| CN103150561A (zh) * | 2013-03-19 | 2013-06-12 | 华为技术有限公司 | 人脸识别方法和设备 |
| CN105814582A (zh) * | 2013-11-30 | 2016-07-27 | 北京市商汤科技开发有限公司 | 用于识别人脸的方法和系统 |
| CN105160312A (zh) * | 2015-08-27 | 2015-12-16 | 南京信息工程大学 | 基于人脸相似度匹配的明星脸装扮推荐方法 |
| CN105868716A (zh) * | 2016-03-29 | 2016-08-17 | 中国科学院上海高等研究院 | 一种基于面部几何特征的人脸识别方法 |
| CN106803067A (zh) * | 2016-12-28 | 2017-06-06 | 浙江大华技术股份有限公司 | 一种人脸图像质量评估方法及装置 |
| CN106980819A (zh) * | 2017-03-03 | 2017-07-25 | 竹间智能科技（上海）有限公司 | 基于人脸五官的相似度判别系统 |
| CN106980840A (zh) * | 2017-03-31 | 2017-07-25 | 北京小米移动软件有限公司 | 脸型匹配方法、装置及存储介质 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108595628A (zh) * | 2018-04-24 | 2018-09-28 | 百度在线网络技术（北京）有限公司 | 用于推送信息的方法和装置 |
| CN108635859A (zh) * | 2018-05-04 | 2018-10-12 | 网易（杭州）网络有限公司 | 用于图像染色的方法及装置、存储介质、电子设备 |
| CN108966017B (zh) * | 2018-08-24 | 2021-02-12 | 太平洋未来科技（深圳）有限公司 | 视频生成方法、装置及电子设备 |
| CN108966017A (zh) * | 2018-08-24 | 2018-12-07 | 太平洋未来科技（深圳）有限公司 | 视频生成方法、装置及电子设备 |
| CN109241911A (zh) * | 2018-09-07 | 2019-01-18 | 北京相貌空间科技有限公司 | 人脸相似度计算方法及装置 |
| CN109598203A (zh) * | 2018-11-06 | 2019-04-09 | 平安科技（深圳）有限公司 | 基于人脸识别的照片添加方法、装置、终端及存储介质 |
| WO2020093634A1 (zh) * | 2018-11-06 | 2020-05-14 | 平安科技（深圳）有限公司 | 基于人脸识别的照片添加方法、装置、终端及存储介质 |
| CN109816543A (zh) * | 2018-12-14 | 2019-05-28 | 平安科技（深圳）有限公司 | 一种图像查找方法及装置 |
| CN109816543B (zh) * | 2018-12-14 | 2023-06-27 | 平安科技（深圳）有限公司 | 一种图像查找方法及装置 |
| CN109871767A (zh) * | 2019-01-17 | 2019-06-11 | 平安科技（深圳）有限公司 | 人脸识别方法、装置、电子设备及计算机可读存储介质 |
| CN110097470A (zh) * | 2019-03-19 | 2019-08-06 | 深圳壹账通智能科技有限公司 | 基于人工智能的理财产品推广方法、装置及计算机设备 |
| CN110866466A (zh) * | 2019-10-30 | 2020-03-06 | 平安科技（深圳）有限公司 | 一种人脸识别方法、装置、存储介质和服务器 |
| WO2021082087A1 (zh) * | 2019-10-30 | 2021-05-06 | 平安科技（深圳）有限公司 | 一种人脸识别方法、装置、存储介质和服务器 |
| CN110866466B (zh) * | 2019-10-30 | 2023-12-26 | 平安科技（深圳）有限公司 | 一种人脸识别方法、装置、存储介质和服务器 |
| CN111553313A (zh) * | 2020-05-13 | 2020-08-18 | 无锡北斗星通信息科技有限公司 | 利用云端存储的脸型匹配系统以及相应终端 |
| CN111626253A (zh) * | 2020-06-02 | 2020-09-04 | 上海商汤智能科技有限公司 | 表情检测的方法、装置、电子设备及存储介质 |
| WO2022012299A1 (zh) * | 2020-07-14 | 2022-01-20 | 海信视像科技股份有限公司 | 显示设备及人物识别展示的方法 |
| US11997341B2 (en) | 2020-07-14 | 2024-05-28 | Hisense Visual Technology Co., Ltd. | Display apparatus and method for person recognition and presentation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107563336A (zh) | 用于名人匹配游戏的人脸相似度分析方法、装置和系统 | |
| CN104680121B (zh) | 一种人脸图像的处理方法及装置 | |
| CN106960202B (zh) | 一种基于可见光与红外图像融合的笑脸识别方法 | |
| CN109034099B (zh) | 一种表情识别方法及装置 | |
| CN107169455B (zh) | 基于深度局部特征的人脸属性识别方法 | |
| CN108701216A (zh) | 一种人脸脸型识别方法、装置和智能终端 | |
| CN107506559B (zh) | 基于人脸相似度分析的明星脸整形化妆推荐方法和装置 | |
| CN113205040A (zh) | 人脸图像处理方法、装置和电子设备 | |
| CN107316333B (zh) | 一种自动生成日漫肖像的方法 | |
| CN108229330A (zh) | 人脸融合识别方法及装置、电子设备和存储介质 | |
| CN104850825A (zh) | 一种基于卷积神经网络的人脸图像颜值计算方法 | |
| CN109409994A (zh) | 模拟用户穿戴服装饰品的方法、装置和系统 | |
| CN107025678A (zh) | 一种3d虚拟模型的驱动方法及装置 | |
| KR101510798B1 (ko) | 휴대용 얼굴 표정 연습 장치와 그 방법. | |
| CN102542242B (zh) | 非接触式采集图像的生物特征区域定位方法和装置 | |
| CN104123543A (zh) | 一种基于人脸识别的眼球运动识别方法 | |
| CN110796101A (zh) | 一种嵌入式平台的人脸识别方法及系统 | |
| CN108629336A (zh) | 基于人脸特征点识别的颜值计算方法 | |
| CN111902821A (zh) | 检测动作以阻止识别 | |
| CN112232128B (zh) | 基于视线追踪的老年残障人士照护需求识别方法 | |
| CN110866139A (zh) | 一种化妆处理方法、装置及设备 | |
| CN112598591B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111814738A (zh) | 基于人工智能的人脸识别方法、装置、计算机设备及介质 | |
| CN104156689A (zh) | 一种对目标对象的特征信息进行定位的方法和设备 | |
| CN116386118A (zh) | 一种基于人像识别的粤剧匹配化妆系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180109 |
|
| WD01 | Invention patent application deemed withdrawn after publication |