CN107316032A - 一种建立人脸图像识别器方法 - Google Patents

一种建立人脸图像识别器方法 Download PDF

Info

Publication number
CN107316032A
CN107316032A CN201710545834.4A CN201710545834A CN107316032A CN 107316032 A CN107316032 A CN 107316032A CN 201710545834 A CN201710545834 A CN 201710545834A CN 107316032 A CN107316032 A CN 107316032A
Authority
CN
China
Prior art keywords
image
facial
training
face
geometric center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710545834.4A
Other languages
English (en)
Inventor
王任直
韦人
冯铭
包新杰
刘小海
姚勇
邓侃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority to CN201710545834.4A priority Critical patent/CN107316032A/zh
Publication of CN107316032A publication Critical patent/CN107316032A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种建立人脸图像识别器方法,包括:获取多个人脸原图像,所述人脸原图像是人脸正面的彩色摄影图像;根据每个所述人脸原图像生成一个训练图像,每个所述训练图像是具有相同像素数量、相同图像基点的图像,所述训练图像保留眼眉以下的人脸轮廓内的图像,将多个训练图像输入分类器,分类器根据训练图像进行学习后,生成能够对人脸图像进行分类处理的所述人脸图像识别器。本发明的有益效果是:采用计算机图像处理技术,对原始人脸摄影照片进行统一的规格化处理,并生成更多的衍生图像,为分类器提供了丰富的、高质量的训练图片,使分类器能够建立起高效能的人脸图像识别器,满足人脸特征的分类识别要求,可应用于医学领域或其它应用领域。

Description

一种建立人脸图像识别器方法
技术领域
本发明属于图像分类识别系统,尤其涉及一种建立人脸图像识别器方法。
背景技术
在医学领域,某些疾病与人的面部特征具有特定关联。如库欣综合症,其患者会出现明显的面部特征变化,包括脸庞、面色加深等特征,有经验的医生根据患者的面部特征即可初步判断患者的病因,甚至没有经过系统医学教育的人也能看出其病因。一个现实的例子是:一位库欣综合症患者在国内多家医院就医均未能正确地诊断出病因,来的北京协和医院等待就诊时,医院的清洁工告诉他患的是库欣综合症,与之后医生的诊断相同,这使患者感到十分诧异,多家医院不能确诊的病症竟然被医院的清洁工正确地判别。现代信息技术的进步使计算机系统具备了强大的图像处理和识别功能,如果能够借助计算机系统的图像处理和识别技术对人脸图像进行处理,采用现代信息技术进行疾病的早期诊断和筛查,对于医疗事业和人民健康具有重大的积极意义。目前较为典型的图像分类处理技术包括卷积神经网络系统、SVM系统和随机森林系统等,统称为分类器。这些系统的实现图像分类的方法是采用足够数量的训练图像输入系统,由系统的自学习功能阅读训练图像,获得对图像的分类能力。从事本发明的医学团队采用卷积神经网络系统进行了相关实验和研究,结果证实,采用大量的、以普通摄影方式获得图像(包括患者人脸图像和正常人图像)作为训练图像输入系统,系统并未获得满意的训练效果,不能有效地识别患者于正常人,其正确识别率不能满足应用要求。研究结果显示,继续增加训练图像的数量可以提高其分类识别能力,但是,由于患者的广泛分布及保护个人肖像权的因素的制约,可获得的患者人脸图像资料的也是有一定限度的。因此必须采用更进一步的技术手段来实现有效地人脸图像识别。
发明内容
本发明的目的是提出一种建立人脸图像识别器方法的技术方案,通过现有的图像分类器,建立有效的、具有实用价值的人脸图像识别器。
为了实现上述目的,本发明的技术方案是:一种建立人脸图像识别器方法,所述方法包括:
步骤一,获取多个人脸原图像,所述人脸原图像是人脸正面的彩色摄影图像;
步骤二,根据所述人脸原图像生成多个训练图像,每个所述训练图像是具有相同像素数量、相同图像基点的图像,所述训练图像保留眼眉以下的人脸轮廓内的图像,其它部分由单一颜色的图像遮罩;
步骤三,将所述多个训练图像输入分类器,所述分类器根据训练图像进行学习后,生成能够对人脸图像进行分类处理的所述人脸图像识别器。
更进一步,步骤一中,所述人脸原图像是24位彩色图像,所述人脸原图的面部像素数量不低于200像素×200像素。
更进一步,所述训练图像是水平像素数量和垂直像素数量相同的正方形图像,所述训练图像包括原训练图像,生成所述原训练图像的方法包括:
a. 识别所述人脸原图像的关键点,所述关键点包括眼眉关键点、上下眼睑关键点、脸部轮廓关键点;
b. 根据步骤a得到的所述上下眼睑关键点,分别计算出左眼几何中心和右眼几何中心,所左眼几何中心和右眼几何中心是眼睑轮廓的几何中心;
c. 根据步骤b得到的左眼几何中心和右眼几何中心,计算出左眼几何中心和右眼几何中心之间连线的中点作为所述图像基点;
d. 以所述图像基点为中心旋转人脸原图像,使左眼几何中心和右眼几何中心处于同一水平线上,所述关键点随人脸原图像同时旋转;
e. 对人脸原图像进行裁切,生成眼眉以下包含所述关键点的最小矩形图像;
f. 根据所述脸部轮廓关键点生成所述人脸轮廓图像,所述人脸轮廓图像是所述人脸轮廓之外的图像为单一颜色的背景图像。
g.将所述人脸轮廓图像进行等比例缩放并放置在所述正方形的训练图像中,生产所述原训练图像;所述人脸轮廓图像的图像基点的横向位置位于所述训练图像的中心,所述人脸轮廓图像的图像基点至所述训练图像上边沿的距离为训练图像全高的0.195倍,所左眼几何中心和右眼几何中心之间的距离是所述训练图像宽度的0.35倍;位于所述人脸轮廓图像之外的所述训练图像与所述人脸轮廓图像的背景图像的颜色一致。
更进一步:
在步骤f中,根据所述脸部轮廓关键点生成人脸的轮廓遮罩图像,所述轮廓遮罩图是以脸部轮廓为分界线的双色图像,所述轮廓遮罩图像在所述人脸轮廓内的图像为透明图像,将所述轮廓罩图与所述所述最小矩形图像叠加,生成所述人脸轮廓图像;
在步骤f中,对轮廓遮罩图像的锐利边进行缘高斯模糊处理;
所述训练图像是512像素×512像素的图像,在步骤g中,所述图像基点距所述训练图像左上角的像素坐标位置为(256×100),所左眼几何中心和右眼几何中心之间的像素数为180像素。
更进一步,所述训练图像还包括通过原训练图像生成的多个衍生训练图像,生成所述衍生训练图像的方法包括随机调整亮度、模拟面部识别误差、模拟插值误差。
更进一步:
所述随机调整亮度方法包括,生成多个随机数GAMMA,采用每个随机数GAMMA作伽马值对原训练图片进行伽马变换,生成多个衍生训练图片;
所述模拟面部识别误差方法包括,根据所述训练图像生成人脸轮廓的遮罩图像,将遮罩图像多次随机地在横向和纵向移动一个位移量,生成多个衍生训练图片,图像在横向距离为服从U(-距离常数×横向位移量, + 距离常数×横向位移量)的随机数,图像在纵向距离为服从U(-距离常数×纵向位移量, + 距离常数×纵向位移量)的随机数;
所述模拟插值误差方法包括,采用随机数R,对原图片先进行比值为R的等比例变换,再对原图片进行比值为1/R的等比例变换,采用多个随机数生成多个多个衍生训练图片。
更进一步,在所述随机调整亮度方法中,生成服从U(0,1)的随机数X,计算GAMMA=1/(1 + (X/0.5 - 1) ×JITTER_GAMMA),所述JITTER_GAMMA常数为0.4;
在所述模拟面部识别误差方法中,所述距离常数为0.035;
在所述模拟插值误差方法中,生成服从U(0,1) 的随机数X,计算R=1 + (X / 0.5 - 1)×JITTER_RESIZE,所述JITTER_RESIZE常数为0.75;
更进一步,步骤三中所述的分类器是采用Inception V3网络结构的分类器,所述人脸图像识别器最后四层顺序是:用于获取前层编码数据的GlobalAveragePooling层,在所述GlobalAveragePooling层之后是概率为0.5的Dropout层,在所述Dropout层之后的用于实现分类的64维全连接层和2-3维全连接层,最末层的激活函数为softmax函数,其他层的激活函数为ReLU函数。
更进一步,所述人脸原图像包括正常人的人脸图像和具有特定特征的人脸图像。
更进一步,所述具有特定特征的的人脸图像包括库欣综合症患者的人脸图像。
本发明的有益效果是:采用技术先进的分类器,采用计算机图像处理技术,对原始人脸摄影照片进行统一的规格化处理,并生成更多的衍生图像,为分类器提供了丰富的、高质量的训练图片,使分类器能够建立起高效能的人脸图像识别器,满足人脸特征的分类识别要求,可应用于医学领域或其它应用领域。
下面结合附图和实施例对本发明作一详细描述。
附图说明
图1是本发明所述的人脸原图像示意图,由于无法提供彩色图像,故以单色图像示意;
图2是本发明识别图像关键点的示意图;
图3是本发明将人脸原图像旋转至双眼水平位置的示意图;
图4是本发明最小矩形图像的示意图;
图5是本发明轮廓遮罩图像的示意图;
图6是本发明人脸轮廓图像的示意图;
图7是本发明训练图像的示意图;
图8是本发明人脸图像识别器生成和应用示意图。
具体实施方式
一种建立人脸图像识别器方法,所述方法包括:
步骤一,获取多个人脸原图像,如图1所示,所述人脸原图像是人脸正面的彩色摄影图像。
步骤二,根据每个所述人脸原图像生成一个训练图像,如图7所示,每个所述训练图像是具有相同像素数量、相同图像基点O的图像,所述训练图像保留眼眉11以下的人脸轮廓内的图像,其它部分12由单一颜色的图像遮罩。
步骤三,将所述多个训练图像输入分类器,所述分类器根据训练图像进行学习后,生成能够对人脸图像进行分类处理的所述人脸图像识别器。
步骤一中,所述人脸原图像是24位彩色图像,所述人脸原图的面部像素数量不低于200像素×200像素。
如图7所示,所述训练图像是水平像素数量和垂直像素数量相同的正方形图像。步骤二中,生成所述训练图像的方法包括:
a. 如图2所示,识别所述人脸原图像的关键点,所述关键点包括眼眉关键点13、上下眼睑关键点14、脸部轮廓关键点15;
b. 根据步骤a得到的所述上下眼睑关键点,分别计算出左眼几何中心A和右眼几何中心B,所左眼几何中心和右眼几何中心是眼睑轮廓的几何中心;
c. 根据步骤b得到的左眼几何中心和右眼几何中心,计算出左眼几何中心和右眼几何中心之间连线的中点作为所述图像基点O;
d. 如图3所示,以所述图像基点为中心旋转人脸原图像,使左眼几何中心和右眼几何中心处于同一水平线上,所述关键点随人脸原图像同时旋转;
e. 如图4所示,对人脸原图像进行裁切,生成眼眉以下包含所述关键点的最小矩形图像;
f. 如图6所示,根据所述脸部轮廓关键点生成所述人脸轮廓图像,所述人脸轮廓图像是所述人脸轮廓之外的图像16为单一颜色的背景图像。
g. 如图7所示,将所述人脸轮廓图像进行等比例缩放并放置在所述正方形的训练图像中,所述图像基点的横向位置位于所述训练图像的中心,所述图像基点至所述训练图像上边沿的距离Lc为训练图像全高Ly的0.195倍,所左眼几何中心和右眼几何中心之间的距离S是所述训练图像宽度Lx的0.35倍;位于所述人脸轮廓图像之外的所述训练图像12与所述人脸轮廓图像的背景图像的颜色一致。
更进一步,建立人脸图像识别器方法方法还包括:根据每个所述训练图像生成多个衍生训练图像,并在步骤三中,将所述多个衍生训练图像和所述多个训练图像输入分类器;生成所述衍生训练图像的方法包括随机调整亮度、模拟面部识别误差、模拟插值误差。
步骤三中所述的分类器是Inception V3网络结构分类器,所述Inception V3网络具有176层,所述Inception V3网络的第173层是用于获取前层编码数据的GlobalAveragePooling层,在所述GlobalAveragePooling层之后是概率为0.5的Dropout层,在所述Dropout层之后是用于实现分类的64维全连接层和2-3维全连接层;最末层的激活函数为softmax函数,其他层的激活函数为ReLU函数。
所述人脸原图像包括正常人的人脸图像和具有特定特征的人脸图像。
所述具有特定特征的的人脸图像包括库欣综合症患者的人脸图像。
实施例一:
一种建立人脸图像识别器方法,方法包括:
步骤一,获取多个人脸原图像,如图1所示,所述人脸原图像是人脸正面的彩色摄影图像。人脸图像可以采用16位彩色图像或24位彩色图像,本实施例中,作为优选方案,人脸原图像是24位彩色图像,人脸原图的面部像素数量不低于200像素×200像素。
本实施例中,收集了1000个库欣综合症患者的人脸原图像,8000个正常人的人脸原图像,共9000个人脸原图像。
步骤二,由于步骤一获取的人脸原图像是比例不同、像素数量不同的图像,本步骤中,需要对每一个人脸原图像进行统一的规格化处理,根据人脸原图像生成多个规格统一的训练图像。如图7所示。训练图像保留眼眉11以下的人脸轮廓内的图像,其它部分12由单一颜色的图像遮罩。每个训练图像都是512像素×512像素的正方形图像。首先根据每个人脸原图像生成生成一个对应的原训练图像,方法包括:
a. 如图2所示,使用dlib人脸识别器,识别由步骤一获得的人脸原图像的关键点,关键点包括眼眉关键点13、上下眼睑关键点14、脸部轮廓关键点15。
b. 根据步骤a得到的所述上下眼睑关键点,分别计算出左眼几何中心A和右眼几何中心B,所左眼几何中心和右眼几何中心是眼睑轮廓的几何中心。
c. 根据步骤b得到的左眼几何中心和右眼几何中心,计算出左眼几何中心和右眼几何中心之间连线的中点作为所述图像基点O。
d. 如图3所示,以所述图像基点为中心旋转人脸原图像,使左眼几何中心和右眼几何中心处于同一水平线上,所述关键点随人脸原图像同时旋转。
e. 如图4所示,对人脸原图像进行裁切,生成眼眉以下包含所述关键点的最小矩形图像。
f. 如图5所示,根据脸部轮廓关键点生成人脸的轮廓遮罩图像,轮廓遮罩图像是以脸部轮廓17为分界线的双色图像,轮廓遮罩图在人脸轮廓内的图像为透明图像。对轮廓遮罩图像的锐利边进行缘高斯模糊处理,使用(13,13)的核,对遮罩进行半径为11的高斯模糊。将轮廓罩图与所述最小矩形图像叠加,生成人脸轮廓图像,如图6所示。人脸轮廓图像是人脸轮廓之外的图像16为单一黑色的背景图像。
g. 如图7所示,将人脸轮廓图像进行等比例缩放并放置在正方形的训练图像中,生产原训练图像。本实施中(如图6所示的人脸轮廓图像),左眼几何中心和右眼几何中心之间的距离Sa为205个像素,将人脸轮廓图等比例缩小至原图像的87.8%,使图像中左眼几何中心和右眼几何中心之间的距离S为180个像素。将缩小后的人脸轮廓图像放入512像素×512像素训练图像,人脸轮廓图像的图像基点距训练图像左上角的像素坐标位置为(256×100),使图像基点的横向位置位于训练图像的中心。位于所述人脸轮廓图像之外的训练图像12设置为黑色,与人脸轮廓图像的背景图像的颜色一致。
本实施例中共生成了9000个原训练图像。
在生成了原训练图像后,再根据原训练图像生成多个衍生训练图像,每个原训练图像可生成多个个衍生训练图像。生成衍生训练图像的方法包括随机调整亮度、模拟面部识别误差、模拟插值误差。
随机调整亮度方法包括,生成服从U(0,1)的随机数X,计算GAMMA=1/(1 + (X/0.5- 1) ×JITTER_GAMMA),对原训练图像作伽马值为GAMMA的伽马变换。优选的JITTER_GAMMA常数为0.4。多次生成随机数GAMMA,生成多个衍生训练图像。
模拟面部识别误差方法包括,根据所述训练图像生成人脸轮廓的遮罩图像,将遮罩图像随机地在横向和纵向移动一个位移量,图像在横向距离为服从U(-距离常数×横向位移量, + 距离常数×横向位移量)的随机数,图像在纵向距离为服从U(-距离常数×纵向位移量, + 距离常数×纵向位移量)的随机数。优选的距离常数为0.035。将遮罩图像多次随机地在横向和纵向移动一个位移量,生成多个衍生训练图像。
模拟插值误差方法包括,生成服从U(0,1) 的随机数X,通过计算得到随机数R,R=1+ (X / 0.5 - 1)×JITTER_RESIZE,采用随机数R,对原训练图像先进行比值为R 的等比例变换,再对原训练图像进行比值为1/R 的等比例变换,多次采用随机数R生成多个多个衍生训练图像。优选的JITTER_RESIZE为0.75。
本实施例中,对每个原训练培训采用随机调整亮度方法生成100个衍生训练图像,对每个原训练图像采用模拟面部识别误差方法生成100个衍生训练图像,对每个原训练图像采用模拟插值误差方法生成100个衍生训练图像。至此,共生成了9,000个原训练图像和2,700,000个衍生训练图像,共2,709,000个训练图像。其中库欣综合症患者的训练图像为301,000个。
步骤三,对分类器进行训练,将上述2,709,000个训练图像像输入分类器,分类器根据训练图像进行学习后,生成能够对人脸图像进行分类处理的所述人脸图像识别器。
分类器是一种用于实现图像分类的软件系统,分类器通过自学习实现对图像的分类识别功能,建立人脸图像识别器的基本概念是,选择现有的分类器作为基本模板,输入训练图像,生成一个具体、具有特定图像分类识别功能的分类器对象,此分类器对象即是本实施例所述的人脸图像识别器。
本实施例中,所述分类器是使用tensorflow和keras实现的Inception V3网络结构分类器,原始的Inception V3网络具有173层。本实施例中,删除了原原始的InceptionV3网络的最后一层,即第173层,并增加了最后四层,用于生成本实施例的人脸图像识别器,最后四层顺序是:用于获取前层编码数据的GlobalAveragePooling 层,在所述GlobalAveragePooling 层之后是概率为0.5 的Dropout 层,在所述Dropout 层之后的用于实现分类的64维全连接层和2-3 维全连接层,最末层的激活函数为softmax 函数,其他层的激活函数为ReLU 函数。这是为了将前述173层基础结构作为自动特征提取器,并利用所增加四层将特征整合,实现分类。具体地,增加GlobalAveragePooling层为的是将第173层的多维度输出转换为单维度,将信息整合,并尽量保证信息的完整性。Dropout 层是为了在训练过程中减少过拟合,提高训练效率,其中概率0.5为优选。最后的64维全连接层与2-3维全连接层最终实现分类。
分类器的训练包括:
预训练。使用SGD(随机梯度下降)法,仅调整新增加层的权重,LR=0.01,动量=0.9,训练2个epoch。
正式训练。训练过程中,我们在Inception v3网络上使用SGD法,仅调整后130层连接权重。过程中,首先让LR在前3个epoch中较高(0.01),从而较快达到较优解附近区域,此后完成10个epoch的LR=0.005的训练和100个epoch的LR=0.0001的训练,最终收敛。
如图8所示,步骤一中采用图像采集设备获得人脸原图像。图像采集设备包括数字照相机、手机或带有摄像镜头的其他电子产品(如平板电脑、笔记本电脑、台式计算机、自助照相房)。步骤二中生成训练图像和衍生训练图像的工作由训练图像处理设备自动完成,训练图像处理设备是安装有图像处理软件的计算机或工作站,自动完成人脸原图像的规格化处理。在步骤三中,分类器系统运行在图像分类服务器上,分类器实质上是一套软件系统,图像分类服务器是一套高性能计算机系统。分类器经过对训练图像(包括衍生训练图像)的自学习,生成人脸图像识别器,人脸图像识别器是一套软件系统,也运行在图像分类服务器上。
人脸图像识别器生成后,即可为客户提供库欣综合症的初步诊断和筛查。客户自行拍摄一个人脸图像,要求是图像仅涉及一人的正面像,其中面部的面积不低于200像素×200像素,光源应为自然光,光照方向应来自正面,保证面部光照均匀,背景应尽量纯净且不宜过亮,白平衡、对比度均可依赖机器自动调节,拍摄时应保证面部平面与相机焦平面平行。人物应保持自然表情,并去除所有遮挡面部的装饰物如眼镜、口罩等。逆光照片、光照不均衡的面部照片、受到遮挡的面部照片、歪斜的、严重偏色的面部照片不适宜使用。客户将人脸图像通过通信网络(包括无线通信网络和互联网)输入人脸图像识别器,人脸图像识别器将识别结果通过通信网络反馈给客户,如有需要(如识别结果显示人脸图像具有疾病特征),人脸图像识别器会将识别结果和人脸图像发送给专科医生,由专科医生分析,提出进一步的诊断和处理建议,并通过通信网络发送给客户。
某些疾病与人的面部特征具有特定关联。如库欣综合症,其患者会出现明显的面部特征变化,包括脸庞、面色加深等特征,这类疾病的特征就为图像处理技术诊断和筛查提供了充分条件。
卷积神经网络系统是目前技术最为先进的图像分类系统之一,Google的Inception V3网络结构分类器是最具代表性的卷积神经网络系统。为了使Inception V3网络结构分类器能够生成可判别库欣综合症患者面部特征的图像识别工具,研究人员获取了数千张库欣综合症患和正常人的人脸图像,这些人脸图像都是自然拍摄的图像,将这些图像最为训练图像输入Inception V3网络结构分类器,供其自学习并生成一个人脸图像识别器。但这样生成的人脸图像识别器工作效能低下,不能满足相关疾病的图像识别,其准确率不超过70%。实验和研究发现,训练图像的质量对分类器的自学习功能具有举足轻重的影响。
为此,对训练图像的生成进行了一系列的优化。
1. 对人脸原图像进行尺寸(或像素)的规格化处理,人脸原图像是通过多种渠道和方式获得的图像,其人脸不的像素数量各不相同,会影响分类器的自学习。尺寸规格化处理使所有训练图像与人脸自然状态下的尺寸具有相同的比例关系。在尺寸规格化处理中,因人脸原图像并并不能提供人脸的尺寸,如何判断人脸的尺寸至关重要。根据医学和人体学的研究,最能体现人脸大小的特征是人的双眼之间的距离,双眼之间的距离是一个相对固定的尺寸,通常,包括各类人群,其双眼之间的距离都在70mm±1mm的范围之内。采用双眼之间的距离作为参照值缩放人脸图像能够获得尺寸最接近一致的人脸图像。
2. 对人脸原图像进行裁切。库欣综合症患的面部特征集中在脸庞的范围内,脸庞之外和眼睛以上的部位对图像识别不仅有实际意义,且不同的背景及发型等图像增加了分类器的自学习负载,也会影响分类器的判别能力。但眼眉对计算脸部关键点具有参照作用,所以将眼眉以上、脸部轮廓以外的图像裁切掉。
3. 为了进一步提高训练图像的质量,提高分类器的自学习效果,将训练图像旋转调整至双眼水平状态。
4. 将人脸图像放入统一的正方形训练图像中,使全部训练图像具有相同的形状和像素结构,如本实施例的512像素×512像素的正方形图像;人脸图像在训练图像中也位于一致的位置。并将人脸轮廓之外的图像设置为单一颜色的背景图像。这样可以显著提分类器的自学习效率和效果。
5. 对遮罩锐利边缘高斯模糊处理,可以使训练图像更接近与实际图像,避免了遮罩锐利边缘对分类器自学习的影响。
6. 由于由于库欣综合症患者的广泛分布及保护个人肖像权的因素的制约,可获得的患者人脸图像资料的也是有一定限度的。若要准备数千患者的训练图像是一个长期和高成本的过程,会严重滞后人脸图像识别器的建立和应用,甚至使其夭折。因此采用衍生训练图像的方法:根据每个所述训练图像生成多个衍生训练图像,将所述多个衍生训练图像和所述多个训练图像输入分类器。经实验,采用衍生训练图像有效地满足了分类器自学习的需求,也保证了自学习质量,本发明的三种衍生训练图像生成方法也是多种生成衍生训练图像中的优选方法。
本实施例中,分类器是对最后四层网络结构进行了修改的Inception V3网络结构分类器。目的是将Inception v3前170层作为特征提取器,最后两层完成分类。选择ReLU函数激活主要是为了保证反向传播过程中梯度能得到保留。
经过对训练图像和分类器的改进,本实施例的人脸图像识别器的识别能力和效果显著提高。经实验,其识别准确率已超过85%,能满足库欣综合症的初期筛查。

Claims (10)

1.一种建立人脸图像识别器方法,其特征在于,所述方法包括:
步骤一,获取多个人脸原图像,所述人脸原图像是人脸正面的彩色摄影图像;
步骤二,根据所述人脸原图像生成多个训练图像,每个所述训练图像是具有相同像素数量、相同图像基点的图像,所述训练图像保留眼眉以下的人脸轮廓内的图像,其它部分由单一颜色的图像遮罩;
步骤三,将所述多个训练图像输入分类器,所述分类器根据训练图像进行学习后,生成能够对人脸图像进行分类处理的所述人脸图像识别器。
2.根据权利要求1所述的一种建立人脸图像识别器方法,其特征在于,步骤一中,所述人脸原图像是24位彩色图像,所述人脸原图的面部像素数量不低于200像素×200像素。
3.根据权利要求1所述的一种建立人脸图像识别器方法,其特征在于,所述训练图像是水平像素数量和垂直像素数量相同的正方形图像,所述训练图像包括原训练图像,生成所述原训练图像的方法包括:
a. 识别所述人脸原图像的关键点,所述关键点包括眼眉关键点、上下眼睑关键点、脸部轮廓关键点;
b. 根据步骤a得到的所述上下眼睑关键点,分别计算出左眼几何中心和右眼几何中心,所左眼几何中心和右眼几何中心是眼睑轮廓的几何中心;
c. 根据步骤b得到的左眼几何中心和右眼几何中心,计算出左眼几何中心和右眼几何中心之间连线的中点作为所述图像基点;
d. 以所述图像基点为中心旋转人脸原图像,使左眼几何中心和右眼几何中心处于同一水平线上,所述关键点随人脸原图像同时旋转;
e. 对人脸原图像进行裁切,生成眼眉以下包含所述关键点的最小矩形图像;
f. 根据所述脸部轮廓关键点生成所述人脸轮廓图像,所述人脸轮廓图像是所述人脸轮廓之外的图像为单一颜色的背景图像;
g.将所述人脸轮廓图像进行等比例缩放并放置在所述正方形的训练图像中,生产所述原训练图像;所述人脸轮廓图像的图像基点的横向位置位于所述训练图像的中心,所述人脸轮廓图像的图像基点至所述训练图像上边沿的距离为训练图像全高的0.195倍,所左眼几何中心和右眼几何中心之间的距离是所述训练图像宽度的0.35倍;位于所述人脸轮廓图像之外的所述训练图像与所述人脸轮廓图像的背景图像的颜色一致。
4.根据权利要求3所述的一种建立人脸图像识别器方法,其特征在于:
在步骤f中,根据所述脸部轮廓关键点生成人脸的轮廓遮罩图像,所述轮廓遮罩图是以脸部轮廓为分界线的双色图像,所述轮廓遮罩图像在所述人脸轮廓内的图像为透明图像,将所述轮廓罩图与所述所述最小矩形图像叠加,生成所述人脸轮廓图像;
在步骤f中,对轮廓遮罩图像的锐利边进行缘高斯模糊处理;
所述训练图像是512像素×512像素的图像,在步骤g中,所述图像基点距所述训练图像左上角的像素坐标位置为(256×100),所左眼几何中心和右眼几何中心之间的像素数为180像素。
5.根据权利要求3所述的一种建立人脸图像识别器方法,其特征在于:所述训练图像还包括通过原训练图像生成的多个衍生训练图像,生成所述衍生训练图像的方法包括随机调整亮度、模拟面部识别误差、模拟插值误差。
6.根据权利要求5所述的一种建立人脸图像识别器方法,其特征在于:
所述随机调整亮度方法包括,生成多个随机数GAMMA,采用每个随机数GAMMA作伽马值对原训练图片进行伽马变换,生成多个衍生训练图片;
所述模拟面部识别误差方法包括,根据所述训练图像生成人脸轮廓的遮罩图像,将遮罩图像多次随机地在横向和纵向移动一个位移量,生成多个衍生训练图片,图像在横向距离为服从U(-距离常数×横向位移量, + 距离常数×横向位移量)的随机数,图像在纵向距离为服从U(-距离常数×纵向位移量, + 距离常数×纵向位移量)的随机数;
所述模拟插值误差方法包括,采用随机数R,对原图片先进行比值为R的等比例变换,再对原图片进行比值为1/R的等比例变换,采用多个随机数生成多个多个衍生训练图片。
7.根据权利要求6所述的一种建立人脸图像识别器方法,其特征在于,
在所述随机调整亮度方法中,生成服从U(0,1)的随机数X,计算GAMMA=1/(1 + (X/0.5- 1) ×JITTER_GAMMA),所述JITTER_GAMMA常数为0.4;
在所述模拟面部识别误差方法中,所述距离常数为0.035;
在所述模拟插值误差方法中,生成服从U(0,1) 的随机数X,计算R=1 + (X / 0.5 - 1)×JITTER_RESIZE,所述JITTER_RESIZE常数为0.75。
8.根据权利要求1所述的一种建立人脸图像识别器方法,其特征在于,步骤三中所述的分类器是采用Inception V3网络结构的分类器,所述人脸图像识别器最后四层顺序是:用于获取前层编码数据的GlobalAveragePooling层,在所述GlobalAveragePooling层之后是概率为0.5的Dropout层,在所述Dropout层之后的用于实现分类的64维全连接层和2-3维全连接层,最末层的激活函数为softmax函数,其他层的激活函数为ReLU函数。
9.根据权利要求1所述的一种建立人脸图像识别器方法,其特征在于,所述人脸原图像包括正常人的人脸图像和具有特定特征的人脸图像。
10.根据权利要求1所述的一种建立人脸图像识别器方法,其特征在于,所述具有特定特征的的人脸图像包括库欣综合症患者的人脸图像。
CN201710545834.4A 2017-07-06 2017-07-06 一种建立人脸图像识别器方法 Pending CN107316032A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710545834.4A CN107316032A (zh) 2017-07-06 2017-07-06 一种建立人脸图像识别器方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710545834.4A CN107316032A (zh) 2017-07-06 2017-07-06 一种建立人脸图像识别器方法

Publications (1)

Publication Number Publication Date
CN107316032A true CN107316032A (zh) 2017-11-03

Family

ID=60181410

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710545834.4A Pending CN107316032A (zh) 2017-07-06 2017-07-06 一种建立人脸图像识别器方法

Country Status (1)

Country Link
CN (1) CN107316032A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564529A (zh) * 2018-04-23 2018-09-21 广东奥园奥买家电子商务有限公司 一种基于安卓系统的嘴唇实时上妆的实现方法
CN109145876A (zh) * 2018-09-29 2019-01-04 北京达佳互联信息技术有限公司 图像分类方法、装置、电子设备及存储介质
CN109330559A (zh) * 2018-08-13 2019-02-15 平安科技(深圳)有限公司 皮质醇含量的测评方法、装置、计算机设备及计算机存储介质
WO2019237548A1 (zh) * 2018-06-11 2019-12-19 平安科技(深圳)有限公司 图片识别方法、装置、计算机设备及存储介质
CN110728252A (zh) * 2019-10-22 2020-01-24 山西省信息产业技术研究院有限公司 一种应用于区域人员运动轨迹监控的人脸检测方法
CN113076985A (zh) * 2021-03-29 2021-07-06 上海电力大学 电力用户负荷识别方法、装置及计算机可读介质
CN113159096A (zh) * 2021-02-02 2021-07-23 南京经纬达汽车科技有限公司 一种基于模拟驾驶器的驾驶意图建模方法和识别方法
CN113361643A (zh) * 2021-07-02 2021-09-07 人民中科(济南)智能技术有限公司 基于深度学习的通用标志识别方法、系统、设备及存储介质
CN114359030A (zh) * 2020-09-29 2022-04-15 合肥君正科技有限公司 一种人脸逆光图片的合成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102955950A (zh) * 2011-08-16 2013-03-06 索尼公司 用于在线训练分类器的装置和在线训练分类器的方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102955950A (zh) * 2011-08-16 2013-03-06 索尼公司 用于在线训练分类器的装置和在线训练分类器的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨帆: "《数字图像处理与分析》", 31 May 2015, 北京航空航天大学出版社 *
郭松: "大类别及少量训练样本的人脸识别问题研究", 《中国博硕士学位论文全文数据库(博士)信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564529A (zh) * 2018-04-23 2018-09-21 广东奥园奥买家电子商务有限公司 一种基于安卓系统的嘴唇实时上妆的实现方法
WO2019237548A1 (zh) * 2018-06-11 2019-12-19 平安科技(深圳)有限公司 图片识别方法、装置、计算机设备及存储介质
CN109330559A (zh) * 2018-08-13 2019-02-15 平安科技(深圳)有限公司 皮质醇含量的测评方法、装置、计算机设备及计算机存储介质
CN109145876A (zh) * 2018-09-29 2019-01-04 北京达佳互联信息技术有限公司 图像分类方法、装置、电子设备及存储介质
CN110728252A (zh) * 2019-10-22 2020-01-24 山西省信息产业技术研究院有限公司 一种应用于区域人员运动轨迹监控的人脸检测方法
CN110728252B (zh) * 2019-10-22 2023-08-04 山西省信息产业技术研究院有限公司 一种应用于区域人员运动轨迹监控的人脸检测方法
CN114359030A (zh) * 2020-09-29 2022-04-15 合肥君正科技有限公司 一种人脸逆光图片的合成方法
CN114359030B (zh) * 2020-09-29 2024-05-03 合肥君正科技有限公司 一种人脸逆光图片的合成方法
CN113159096A (zh) * 2021-02-02 2021-07-23 南京经纬达汽车科技有限公司 一种基于模拟驾驶器的驾驶意图建模方法和识别方法
CN113076985A (zh) * 2021-03-29 2021-07-06 上海电力大学 电力用户负荷识别方法、装置及计算机可读介质
CN113076985B (zh) * 2021-03-29 2022-12-16 上海电力大学 电力用户负荷识别方法、装置及计算机可读介质
CN113361643A (zh) * 2021-07-02 2021-09-07 人民中科(济南)智能技术有限公司 基于深度学习的通用标志识别方法、系统、设备及存储介质

Similar Documents

Publication Publication Date Title
CN107316032A (zh) 一种建立人脸图像识别器方法
Yang et al. Exploring temporal preservation networks for precise temporal action localization
CN103914699B (zh) 一种基于色彩空间的自动唇彩的图像增强的方法
US10579862B2 (en) Method, device, and computer readable storage medium for detecting feature points in an image
CN109815826B (zh) 人脸属性模型的生成方法及装置
US11836853B2 (en) Generation and presentation of predicted personalized three-dimensional body models
JP6788264B2 (ja) 表情認識方法、表情認識装置、コンピュータプログラム及び広告管理システム
CN110457994A (zh) 人脸图像生成方法及装置、存储介质、计算机设备
CN105608447B (zh) 对人体面部微笑表情深度卷积神经网络的检测方法
CN109712080A (zh) 图像处理方法、图像处理装置及存储介质
CN109584251A (zh) 一种基于单目标区域分割的舌体图像分割方法
CN106599800A (zh) 一种基于深度学习的人脸微表情识别方法
CN108829900A (zh) 一种基于深度学习的人脸图像检索方法、装置及终端
CN110046574A (zh) 基于深度学习的安全帽佩戴识别方法及设备
CN107194426A (zh) 一种基于Spiking神经网络的图像识别方法
Dellana et al. Data augmentation in CNN-based periocular authentication
CN107784630B (zh) 对人脸图像进行属性翻转的方法、装置和终端
CN110348322A (zh) 基于多特征融合的人脸活体检测方法及设备
CN108803874A (zh) 一种基于机器视觉的人机行为交互方法
CN106778785A (zh) 构建图像特征提取模型的方法及图像识别的方法、装置
CN110263606A (zh) 基于端到端卷积神经网络的头皮脑电特征提取分类方法
CN107871098A (zh) 人脸特征点的获取方法和装置
CN109886153A (zh) 一种基于深度卷积神经网络的实时人脸检测方法
CN108509892A (zh) 用于生成近红外图像的方法和装置
CN107832740A (zh) 一种远程教学的教学质量评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20171103

RJ01 Rejection of invention patent application after publication