CN110929681B - 一种皱纹检测方法 - Google Patents

一种皱纹检测方法 Download PDF

Info

Publication number
CN110929681B
CN110929681B CN201911236021.2A CN201911236021A CN110929681B CN 110929681 B CN110929681 B CN 110929681B CN 201911236021 A CN201911236021 A CN 201911236021A CN 110929681 B CN110929681 B CN 110929681B
Authority
CN
China
Prior art keywords
wrinkle
result
connected domain
image
wrinkle detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911236021.2A
Other languages
English (en)
Other versions
CN110929681A (zh
Inventor
吴嘉仪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Suoyou Suoyi Information Technology Co ltd
Original Assignee
Nanjing Suoyou Suoyi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Suoyou Suoyi Information Technology Co ltd filed Critical Nanjing Suoyou Suoyi Information Technology Co ltd
Priority to CN201911236021.2A priority Critical patent/CN110929681B/zh
Publication of CN110929681A publication Critical patent/CN110929681A/zh
Application granted granted Critical
Publication of CN110929681B publication Critical patent/CN110929681B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

本发明公开了一种皱纹检测方法,通过基于人脸关键点对待测人脸图像的皱纹区域进行分割,提取分割后的皱纹集中区域图像,对皱纹集中区域图像进行提高对比度处理,得到第一预处理结果,对第一预处理结果进行灰度化操作,得到第二预处理结果,采用RCF边缘检测算法分别对第一预处理结果和第二预处理结果进行皱纹检测,叠加得到的两个皱纹检测结果,得到初步皱纹检测结果,对初步皱纹检测结果进行颜色阈值去噪,得到第一去噪结果,并根据面部噪声的形态学特征,计算连通域形态学特征参数,对第一去噪结果进行去噪处理,得到最终皱纹检测结果灰度图,以确定待测人脸图像的皱纹,可以对待测人脸图像的皱纹进行精准检测,有效降低了检测成本。

Description

一种皱纹检测方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种皱纹检测方法。
背景技术
当今社会,越来越多人关注自己外貌,希望可以减缓老化现象,而如何评价一个人的老化情况取决于多种特征指标。皱纹作为重要指标之一,其相关检测方法具有非常重要的研究意义和极大的应用价值。
现有皱纹检测方法较少,在某些情况下需要依靠主观识别,影响皱纹检测的稳定性,还有技术判断或者使用像VISIA皮肤检测仪这样昂贵的专业设备来获取皮肤相关信息,以实现检测皱纹的目的,使皱纹检测的成本高。
发明内容
针对以上问题,本发明提出一种皱纹检测方法。
为实现本发明的目的,提供一种皱纹检测方法,包括如下步骤:
S10,基于人脸关键点对待测人脸图像的皱纹区域进行分割,提取分割后的皱纹集中区域图像;
S20,对分割后的皱纹集中区域图像进行提高对比度处理,得到第一预处理结果,对所述第一预处理结果进行灰度化操作,得到第二预处理结果;
S30,采用RCF边缘检测算法分别对所述第一预处理结果和所述第二预处理结果进行皱纹检测,叠加得到的两个皱纹检测结果,得到初步皱纹检测结果;
S40,根据面部噪声的颜色特征,对所述初步皱纹检测结果进行颜色阈值去噪,得到第一去噪结果;
S50,根据面部噪声的形态学特征,计算连通域形态学特征参数,根据所述连通域形态学特征参数对所述第一去噪结果进行去噪处理,得到最终皱纹检测结果灰度图;根据所述最终皱纹检测结果灰度图确定所述待测人脸图像的皱纹。
在一个实施例中,所述皱纹集中区域图像包括:额头区域图像、以及两颊区域图像。
作为一个实施例,所述基于人脸关键点对待测人脸图像的皱纹区域进行分割,提取分割后的皱纹集中区域图像包括:
根据面部皱纹分布规律,对面部区域进行分割,追踪人脸的81个关键点,调用人脸检测函数对图片中的人脸进行检测并标出人脸框,调用面部特征点预测器追踪面部关键点,基于关键点位置分割出面部皱纹集中的三个区域:额头、以及两颊,得到皱纹集中区域图像。
在一个实施例中,所述对分割后的皱纹集中区域图像进行提高对比度处理,得到第一预处理结果,对所述第一预处理结果进行灰度化操作,得到第二预处理结果包括:
对额头区域图像进行增强因子为7.0的提高对比度操作,得到额头区域对应的第一预处理结果,对两颊区域图像进行增强因子为3.0的提高对比度操作,得到两颊区域图像对应的第一预处理结果;
分别对各个第一预处理结果进行color增强因子为0的灰度化操作,得到第二预处理结果。
在一个实施例中,所述采用RCF边缘检测算法分别对所述第一预处理结果和所述第二预处理结果进行皱纹检测,叠加得到的两个皱纹检测结果,得到初步皱纹检测结果包括:
获取预设的RCF卷积神经网络预训练模型;
调用所述RCF卷积神经网络预训练模型分别对所述第一预处理结果和所述第二预处理结果进行测试,得到两组边缘检测灰度图,对两组边缘检测灰度图进行叠加得到初步皱纹检测结果。
在一个实施例中,所述根据面部噪声的颜色特征,对所述初步皱纹检测结果进行颜色阈值去噪,得到第一去噪结果包括:
对所述初步皱纹检测结果进行二值化操作,并进行连通域轮廓提取,得到皱纹的连通域;
对所述皱纹集中区域图像进行YUV颜色空间转换,分别统计每个像素点Y值,Cr值,Cb值分布,根据每个像素点Y值,Cr值,Cb值分布确定YUV颜色空间各个通道的阈值范围;
对各连通域计算所述皱纹集中区域图像的YUV转换后的颜色值,将颜色值在阈值范围之外的连通域判定为噪声,将该连通域全部灰度置0;将颜色值在处于阈值范围之内的连通域判定为皮肤,保留该连通域,以确定第一去噪结果。
在一个实施例中,所述根据面部噪声的形态学特征,计算连通域形态学特征参数,根据所述连通域形态学特征参数对所述第一去噪结果进行去噪处理,得到最终皱纹检测结果灰度图包括:
首先对第一去噪结果中的连通域进行椭圆拟合,得到中心点位置坐标和方向角参数;若连通域中心点位置坐标若落于预设的额头上左右三侧区域,初步确定为可能的噪声,作为继续研究对象;然后根据该连通域的方向角进一步判定,若方向角垂直,则判定该连通域为头发噪声,删除该连通域;若该连通域的方向角判定为水平,继续考察该连通域内的孔洞特征,若存在孔洞特征,则判定该连通域为头发噪声,删除该连通域;若该连通域内不存在孔洞特征,则将连通域判定为皱纹,保留该连通域,以得到最终皱纹检测结果灰度图。
上述皱纹检测方法,通过基于人脸关键点对待测人脸图像的皱纹区域进行分割,提取分割后的皱纹集中区域图像,对分割后的皱纹集中区域图像进行提高对比度处理,得到第一预处理结果,对所述第一预处理结果进行灰度化操作,得到第二预处理结果,采用RCF边缘检测算法分别对所述第一预处理结果和所述第二预处理结果进行皱纹检测,叠加得到的两个皱纹检测结果,得到初步皱纹检测结果,再根据面部噪声的颜色特征,对所述初步皱纹检测结果进行颜色阈值去噪,得到第一去噪结果,并根据面部噪声的形态学特征,计算连通域形态学特征参数,根据所述连通域形态学特征参数对所述第一去噪结果进行去噪处理,得到最终皱纹检测结果灰度图,根据最终皱纹检测结果灰度图确定待测人脸图像的皱纹,可以对待测人脸图像的皱纹进行精准检测,有效降低了检测成本。
附图说明
图1是一个实施例的皱纹检测方法流程图;
图2中(a)是一个实施例的原始图像和分割结果示意图;
图2中(b)是一个实施例的预处理之后的结果示意图;
图2中(c)是一个实施例的初步皱纹检测结果示意图;
图2中(d)是一个实施例的最终皱纹检测结果示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
参考图1所示,图1为一个实施例的皱纹检测方法流程图,包括如下步骤:
S10,基于人脸关键点对待测人脸图像的皱纹区域进行分割,提取分割后的皱纹集中区域图像;
具体地,所述皱纹集中区域图像包括:额头区域图像、以及两颊区域图像。
在一个示例中,所述基于人脸关键点对待测人脸图像的皱纹区域进行分割,提取分割后的皱纹集中区域图像包括:
根据面部皱纹分布规律,对面部区域进行分割,追踪人脸的81个关键点,调用人脸检测函数对图片中的人脸进行检测并标出人脸框,调用面部特征点预测器追踪面部关键点,基于关键点位置分割出面部皱纹集中的三个区域:额头、以及两颊,得到皱纹集中区域图像。
本示例考虑到面部皱纹分布规律,皱纹检测前先对面部区域进行分割。现有公开dlib库的面部特征点预测器可以追踪人脸81个关键点,首先调用人脸检测函数对图片中的人脸进行检测并标出人脸框,然后调用面部特征点预测器追踪面部关键点,基于关键点位置分割出面部皱纹集中的三个区域:额头、以及两颊,可以实现对皱纹集中区域图像的准确提取。
S20,对分割后的皱纹集中区域图像进行提高对比度处理,得到第一预处理结果,对所述第一预处理结果进行灰度化操作,得到第二预处理结果;
在一个示例中,上述步骤S20中,对分割后的皱纹集中区域图像进行提高对比度处理,得到第一预处理结果,对所述第一预处理结果进行灰度化操作,得到第二预处理结果包括:
对额头区域图像进行增强因子为7.0的提高对比度操作,得到额头区域对应的第一预处理结果,对两颊区域图像进行增强因子为3.0的提高对比度操作,得到两颊区域图像对应的第一预处理结果;
分别对各个第一预处理结果进行color增强因子为0的灰度化操作,得到第二预处理结果。
进一步地,本示例可以调用PIL库的图像处理相关函数,将步骤S10中分割后的三个区域(皱纹集中区域图像)的RGB图像先后进行提高对比度和灰度化操作以提升后续皱纹边缘检测效果。具体操作为:
额头区域图像首先进行提高对比度操作,contrast增强因子设为7.0。接着对提高对比度后的图像进行灰度化操作,color增强因子设为0;
两颊区域图像首先进行提高对比度操作,contrast增强因子设为3.0。接着对提高对比度后的图像进行灰度化操作,color增强因子设为0。
额头及两颊三块区域分别保存各自灰度化操作前后的图像,得到两组预处理结果(即第一预处理结果和第二预处理结果),可以分别后缀标为_1和_2加以区分并保存。在后续操作中,两组图像分别进行RCF边缘检测得到相应结果进行叠加。
S30,采用RCF边缘检测算法分别对所述第一预处理结果和所述第二预处理结果进行皱纹检测,得到的两个皱纹检测结果,叠加得到初步皱纹检测结果;
具体地,上述步骤可以调用预设的RCF卷积神经网络预训练模型分别对第一预处理结果和第二预处理结果进行测试,得到两组边缘检测灰度图,对两组边缘检测灰度图进行叠加得到初步皱纹检测结果。
S40,根据面部噪声的颜色特征,对所述初步皱纹检测结果进行颜色阈值去噪,得到第一去噪结果;
通过步骤S40对应的去噪处理,可以去除绝大部分颜色特征较为明显的噪声,例如痘印,划痕,笔迹等。
S50,根据面部噪声的形态学特征,计算连通域形态学特征参数,根据所述连通域形态学特征参数对所述第一去噪结果进行去噪处理,得到最终皱纹检测结果灰度图;根据所述最终皱纹检测结果灰度图确定所述待测人脸图像的皱纹。
经过步骤S40,S50的参数相关调试,可以去除皱纹检测结果中的绝大部分背景噪声,得到最终皱纹检测结果灰度图。
上述皱纹检测方法,通过基于人脸关键点对待测人脸图像的皱纹区域进行分割,提取分割后的皱纹集中区域图像,对分割后的皱纹集中区域图像进行提高对比度处理,得到第一预处理结果,对所述第一预处理结果进行灰度化操作,得到第二预处理结果,采用RCF边缘检测算法分别对所述第一预处理结果和所述第二预处理结果进行皱纹检测,叠加得到的两个皱纹检测结果,得到初步皱纹检测结果,再根据面部噪声的颜色特征,对所述初步皱纹检测结果进行颜色阈值去噪,得到第一去噪结果,并根据面部噪声的形态学特征,计算连通域形态学特征参数,根据所述连通域形态学特征参数对所述第一去噪结果进行去噪处理,得到最终皱纹检测结果灰度图,根据最终皱纹检测结果灰度图确定待测人脸图像的皱纹,可以对待测人脸图像的皱纹进行精准检测,有效降低了检测成本。
在一个实施例中,可以采用RCF边缘检测算法直接对第一预处理结果进行皱纹检测,得到相应的皱纹检测结果,即一个皱纹检测结果,并采用RCF边缘检测算法直接对第二预处理结果进行皱纹检测,得到相应的皱纹检测结果,即另一个皱纹检测结果,以此得到两个皱纹检测结果,再叠加所得到的两个皱纹检测结果,得到初步皱纹检测结果。
在一个实施例中,所述采用RCF边缘检测算法分别对所述第一预处理结果和所述第二预处理结果进行皱纹检测,叠加得到的两个皱纹检测结果,得到初步皱纹检测结果包括:
获取预设的RCF卷积神经网络预训练模型;
调用所述RCF卷积神经网络预训练模型分别对所述第一预处理结果和所述第二预处理结果进行测试,得到两组边缘检测灰度图,对两组边缘检测灰度图进行叠加得到初步皱纹检测结果。
本实施例可以设置包括大量的人脸皱纹图像的人脸皱纹数据库,以供RCF卷积神经网络进行学习,获得可以进行准确地皱纹检测的RCF卷积神经网络预训练模型。
在一个示例中,RCF卷积神经网络可以基于VGG16网络搭建,其网络结构如下:
主体包含13个卷积层,分为5个stage。相邻两个stage通过池化层来降采样,得到不同尺度特征。
删除全连接层,每个卷积层连接到内核大小为1×1、深度为21的卷积层。并在每个stage的结果特征映射被累积使用一个eltwise层来获得混合特征。
每个eltwise层后接着一个1×1-1卷积层。然后,用反卷积层对该特征映射进行采样;
在每个stage,交叉熵损失/sigmoid层连接到上采样层;
所有上采样层都连接在一起,然后用1×1Conv层对每个阶段的特征映射进行融合。最后,采用交叉熵损失/sigmoid层来获得融合损失/输出。
采用这种方式,可以将自动学习来自卷积层获取的特征,从而将所有层的互补信息组合起来,获得多尺度,多层次的目标边缘信息。从而更好地检测面部皱纹边缘。
其中损失函数如式1和2所示:
其中l(Xi;W)和L(W)分别表示每个像素点的损失和网络整体损失,P(X)表示标准sigmoid函数,Xi和yi分别表示像素点i处的激活函数值和真值边缘概率,W表示网络参数,分别表示第k个stage的激活函数值和融合层的激活函数值,I表示图像I的像素点的数量,K是阶段数(K=5)。其中α和β的定义如式3所示:
其中Y+和Y-表示正例和负例,λ表示平衡正例和负例的超参数。
皱纹检测中调用RCF卷积神经网络预训练模型(如训练12个epoch后的参数模型)对两组预处理后图像进行测试后得到边缘检测灰度图,对两组灰度图进行叠加,能较好地识别出皱纹边缘。
在一个实施例中,所述根据面部噪声的颜色特征,对所述初步皱纹检测结果进行颜色阈值去噪,得到第一去噪结果包括:
对所述初步皱纹检测结果进行二值化操作,并进行连通域轮廓提取,得到皱纹的连通域;
对所述皱纹集中区域图像进行YUV颜色空间转换,分别统计每个像素点Y值,Cr值,Cb值分布,根据每个像素点Y值,Cr值,Cb值分布确定YUV颜色空间各个通道的阈值范围;
对各连通域计算所述皱纹集中区域图像的YUV转换后的颜色值,将颜色值在阈值范围之外的连通域判定为噪声,将该连通域全部灰度置0;将颜色值在处于阈值范围之内的连通域判定为皮肤,保留该连通域,以确定第一去噪结果。
具体地,步骤S40中对所述初步皱纹检测结果进行颜色阈值去噪的过程也可以如下所示:
a)、将步骤S30结果的灰度图(初步皱纹检测结果)进行二值化操作,然后进行连通域轮廓提取,得到皱纹的连通域轮廓。
b)、对步骤S1分割后的原图(皱纹集中区域图像)进行YUV颜色空间转换,分别统计每个像素点Y值,Cr值,Cb值分布。结合对皮肤和其他噪声的YCbCr统计分布观察和多次参数调试,将去噪效果最好的参数确定为最终的噪声阈值,根据噪声阈值确定YUV颜色空间各个通道的阈值范围。
其中RGB与YUV变换公式如式4所示:
对各连通域计算对应分割后原图的YUV转换后颜色值,根据选定的阈值进行判断:当处于阈值范围之外时,判定为噪声,将该连通域全部灰度置0,即删除检测结果中的噪声;当处于阈值范围之内时,判定为皮肤,保留该连通域。通过本轮去噪,可以去除绝大部分颜色特征较为明显的噪声,例如痘印,划痕,笔迹等。
在一个实施例中,所述根据面部噪声的形态学特征,计算连通域形态学特征参数,根据所述连通域形态学特征参数对所述第一去噪结果进行去噪处理,得到最终皱纹检测结果灰度图包括:
首先对第一去噪结果中的连通域进行椭圆拟合,得到中心点位置坐标和方向角参数;若连通域中心点位置坐标若落于预设的额头上左右三侧区域,初步确定为可能的噪声,作为继续研究对象;然后根据该连通域的方向角进一步判定,若方向角垂直,则判定该连通域为头发噪声,删除该连通域;若该连通域的方向角判定为水平,继续考察该连通域内的孔洞特征,若存在孔洞特征,则判定该连通域为头发噪声,删除该连通域;若该连通域内不存在孔洞特征,则将连通域判定为皱纹,保留该连通域,以得到最终皱纹检测结果灰度图。
上述形态学特征可以表征覆盖在人脸上的头发等噪声。
本实施例可以进一步对第一去噪结果进行去噪处理,提高最终皱纹检测结果灰度图所包含的数据的有效性,进而提高后续进行皱纹检测的准确性。
具体地,本实施例可以对步骤S50中余下的连通域进行分析,计算形态学特征相关参数。
在人脸图像中,皱纹检测中影响最大的噪声之一是头发噪声,且直接通过颜色阈值法进行去噪效果不太理想。考虑到头发具有明显的形态特征,故计算相关参数进行区分:
头发多分布于额头区域,且多分布于上左右三侧。大量样本考察后选定这三个区域作为目标,即考察所有中心点位置落于此的连通域;也就是说,表征头发的点通常位于额头区域上左右三个方向的连通区域,实际中,可以根据目标对象灵活预先设定选择这三个连通区域。
头发的走势较为明显(少量),多呈垂直形态,对目标区域中的连通域进行椭圆拟合,计算其方向角,判断是否垂直,进而判断是否为头发。如果判断该连通域为头发,去除噪声。
当头发数量较多且交织时,头发呈一簇的形态。此时计算连通域方向的效果不太理想。考虑到此时头发构成的连通域有明显的孔洞特征,判定若连通域内存在孔洞特征,则该连通域为头发噪声,删除检测结果中的对应连通域;若连通域内不存在孔洞特征,则该连通域判定为皱纹,保留该连通域。
经过步骤S40,S50的参数相关调试,可以去除皱纹检测结果中的绝大部分背景噪声,得到最终皱纹检测结果灰度图。
在一个实施例中,参考图2所示,图2为一个实施例的皱纹检测示意图,其中(a)为原始图像(待测人脸图像)和分割结果(皱纹集中区域图像),分割区域为面部皱纹集中的三个区域:皱纹和两颊;(b)为预处理之后的结果(如第一预处理结果、第二预处理结果),先后进行对比度提高和灰度化操作;(c)是初步皱纹检测结果(叠加之前)(d)是最终皱纹检测结果。
上述皱纹检测算法,包括以下步骤:
步骤1,基于人脸关键点对皱纹区域进行分割。
步骤2,对分割后的区域进行图像预处理操作。
步骤3,采用RCF边缘检测算法对两组预处理结果进行检测,将检测结果叠加后得到初步皱纹检测结果。
步骤4,根据面部噪声的颜色特征,进行利用颜色阈值去噪
步骤5,根据面部噪声的形态学特征,计算连通域形态学特征参数,进一步去除噪声。
所述步骤1中的分割方法如下:
考虑到面部皱纹分布规律,皱纹检测前先对面部区域进行分割。现有公开dlib库的面部特征点预测器可以追踪人脸81个关键点,首先调用人脸检测函数对图片中的人脸进行检测并标出人脸框,然后调用面部特征点预测器追踪面部关键点,基于关键点位置分割出面部皱纹集中的三个区域:额头、以及两颊。分割具体方案如下:
额头区域的关键点定位:
上:Max((68,1),(69,1),(70,1),(71,1),(80,1))
下:Min((18,1),(19,1),(20,1),(21,1),(22,0),(23,1),(24,1),(25,1))
左:Max((75,0),(76,0),(77,0))
右:Min((79,0),(74,0),(78,0))
定位后进行裁剪:高度缩减45%,宽度缩减20%。
左颊区域的关键点定位:
上:Max((41,1),(40,1))
下:(48,1)
左:Max((3,0),(4,0))
右:Min((39,0),(49,0))
定位后进行裁剪:高度缩减25%,宽度缩减15%
右颊区域的关键点定位:
上:Max((46,1),(47,1))
下:(54,1)
左:Max((42,0),(53,0))
右:Min((12,0),(13,0))
定位后进行裁剪:高度缩减25%,宽度缩减15%
所述步骤2中预处理操作如下:
调用PIL库的图像处理相关函数,将步骤S1中分割后的三个区域先后进行提高对比度和灰度化操作以提升后续皱纹边缘检测效果,具体操作如下:
额头区域图像首先进行提高对比度操作,contrast增强因子设为7.0,紧接着进行灰度化操作,color增强因子设为0;
两颊区域图像首先进行提高对比度操作,contrast增强因子设为3.0,紧接着进行灰度化操作,color增强因子设为0。
生成两组预处理结果分别后缀标为_1和_2加以区分并保存。
所述步骤3中利用RCF边缘检测的卷积神经网络,对预处理图像进行初步皱纹检测,方法如下:
RCF神经网络基于VGG16网络搭建,其网络结构如下:
主体包含13个卷积层,分为5个stage。相邻两个stage通过池化层来降采样,得到不同尺度特征。
删除全连接层,每个卷积层连接到内核大小为1×1、深度为21的卷积层。并在每个stage的结果特征映射被累积使用一个eltwise层来获得混合特征。
每个eltwise层后接着一个1×1-1卷积层。然后,用反卷积层对该特征映射进行采样;
在每个stage,交叉熵损失/sigmoid层连接到上采样层;
所有上采样层都连接在一起,然后用1×1卷积层对每个阶段的特征映射进行融合。最后,采用交叉熵损失/sigmoid层来获得融合损失/输出。
采用这种方式,可以将自动学习来自卷积层获取的特征,从而将所有层的互补信息组合起来,获得多尺度,多层次的目标边缘信息。从而更好地检测面部皱纹边缘。
损失函数如式1和2所示:
其中l(Xi;W)和L(W)分别表示每个像素点的损失和网络整体损失,P(X)表示标准sigmoid函数,Xi和yi分别表示像素点i处的激活函数值和真值边缘概率,W表示网络参数,分别表示第k个stage的激活函数值和融合层的激活函数值,|I|表示图像I的像素点的数量,K是阶段数(K=5)。其中α和β的定义如式3所示:
其中Y+和Y-表示正例和负例,λ表示平衡正例和负例的超参数。
皱纹检测中调用RCF神经网络预训练模型(官方给出的训练12个epoch后的参数模型)对两组预处理后图像进行测试后得到边缘检测灰度图,对两组灰度图进行叠加,能较好地识别出皱纹边缘。
所述步骤4中颜色阈值去噪的方法如下:
将步骤3结果的灰度图进行二值化操作,阈值类型为:THRESH_BINARY,阈值设定为20,然后进行连通域轮廓提取,采用RETR_TREE模式,得到连通域区域。
对步骤1分割后的原图进行YUV颜色空间转换,统计各通道数值分布,根据皮肤和其他噪声的颜色特征确定噪声阈值。
RGB与YUV变换公式如式4所示:
经过实验,Y通道阈值设定为150,Cr通道阈值设定为150,Cb通道阈值设定为120。
对各连通域计算对应分割后原图的YUV转换后颜色值,根据选定的阈值进行判断:当处于阈值范围之外(Y<150或Cr>150或Cb>120)时,判定为噪声,将该连通域全部灰度置0,即删除检测结果中的噪声;当处于阈值范围之内时,判定为皮肤,保留该连通域。通过本轮去噪,可以去除绝大部分颜色特征较为明显的噪声,例如痘印,划痕,笔迹等。
所述步骤5中的利用噪声形态学特征进行去噪的方法如下:
继续对步骤5中余下的连通域进行分析,计算形态学特征相关参数。
皱纹检测中影响最大的噪声之一是头发噪声,且直接通过颜色阈值法进行去噪效果不太理想。考虑到头发具有明显的形态特征,故计算相关参数进行区分:
头发多分布于额头区域,且多分布于额头区域上左右三侧。大量样本考察后选定这三个连通区域作为目标,即考察所有中心点位置落于此的连通域;经过实验确定,考察区域中心点坐标落于:左右两侧比例各0.3,上侧比例0.2。并且上述三个连通区域可以在实际要求中进行灵活的预先设定。
头发的走势较为明显(少量),多呈垂直形态,对目标区域中的连通域进行椭圆拟合,计算其方向角,判断是否垂直,进而判断是否为头发。如果判断该连通域为头发,去除噪声。经过实验确定,方向角α<60或α>130判定为垂直,否则为平行。
当头发数量较多且交织时,头发呈一簇的形态。此时计算连通域方向的效果不太理想。考虑到此时头发构成的连通域有明显的孔洞特征,判定若连通域内存在孔洞特征(hierarchy返回值内嵌轮廓编号为-1),则该连通域为头发噪声,删除检测结果中的对应连通域;若连通域内不存在孔洞特征,则该连通域判定为皱纹,保留该连通域。
经过步骤4,步骤5的参数相关调试,可以去除皱纹检测结果中的绝大部分背景噪声,得到最终皱纹检测结果灰度图。
本实施例针对皱纹提取的难点,出了皱纹检测的一个相对可行的方案:根据识别出的关键点坐标划分出人脸上皱纹较为密集的三个区域,对其进行对比度增强、灰度化等处理,使用基于深度学习的RCF边缘检测算法,对进行了不同处理的图像检测边缘并进行叠加,提高了皱纹检测的准确性。而针对噪声,本实施例结合噪声的颜色以及形态学特征,识别并去除皱纹检测中的噪声,取得良好的效果。
需要说明的是,本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换,以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例的术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种皱纹检测方法,其特征在于,包括如下步骤:
S10,基于人脸关键点对待测人脸图像的皱纹区域进行分割,提取分割后的皱纹集中区域图像;
S20,对分割后的皱纹集中区域图像进行提高对比度处理,得到第一预处理结果,对所述第一预处理结果进行灰度化操作,得到第二预处理结果;
S30,采用RCF边缘检测算法分别对所述第一预处理结果和所述第二预处理结果进行皱纹检测,得到的两个皱纹检测结果,叠加得到初步皱纹检测结果;
S40,根据面部噪声的颜色特征,对所述初步皱纹检测结果进行颜色阈值去噪,得到第一去噪结果;
S50,根据面部噪声的形态学特征,计算连通域形态学特征参数,根据所述连通域形态学特征参数对所述第一去噪结果进行去噪处理,得到最终皱纹检测结果灰度图;根据所述最终皱纹检测结果灰度图确定所述待测人脸图像的皱纹。
2.根据权利要求1所述的皱纹检测方法,其特征在于,所述皱纹集中区域图像包括:额头区域图像、以及两颊区域图像。
3.根据权利要求2所述的皱纹检测方法,其特征在于,所述基于人脸关键点对待测人脸图像的皱纹区域进行分割,提取分割后的皱纹集中区域图像包括:
根据面部皱纹分布规律,对面部区域进行分割,追踪人脸的81个关键点,调用人脸检测函数对图片中的人脸进行检测并标出人脸框,调用面部特征点预测器追踪面部关键点,基于关键点位置分割出面部皱纹集中的三个区域:额头、以及两颊,得到皱纹集中区域图像。
4.根据权利要求2所述的皱纹检测方法,其特征在于,所述对分割后的皱纹集中区域图像进行提高对比度处理,得到第一预处理结果,对所述第一预处理结果进行灰度化操作,得到第二预处理结果包括:
对额头区域图像进行增强因子为7.0的提高对比度操作,得到额头区域对应的第一预处理结果,对两颊区域图像进行增强因子为3.0的提高对比度操作,得到两颊区域图像对应的第一预处理结果;
分别对各个第一预处理结果进行color增强因子为0的灰度化操作,得到第二预处理结果。
5.根据权利要求1至4任一项所述的皱纹检测方法,其特征在于,所述采用RCF边缘检测算法分别对所述第一预处理结果和所述第二预处理结果进行皱纹检测,得到两个皱纹检测结果,叠加得到初步皱纹检测结果包括:
获取预设的RCF卷积神经网络预训练模型;
调用所述RCF卷积神经网络预训练模型分别对所述第一预处理结果和所述第二预处理结果进行测试,得到两组边缘检测灰度图,对两组边缘检测灰度图进行叠加得到初步皱纹检测结果。
6.根据权利要求1至4任一项所述的皱纹检测方法,其特征在于,所述根据面部噪声的颜色特征,对所述初步皱纹检测结果进行颜色阈值去噪,得到第一去噪结果包括:
对所述初步皱纹检测结果进行二值化操作,并进行连通域轮廓提取,得到皱纹的连通域;
对所述皱纹集中区域图像进行YUV颜色空间转换,分别统计每个像素点Y值,Cr值,Cb值分布,根据每个像素点Y值,Cr值,Cb值分布确定YUV颜色空间各个通道的阈值范围;
对各连通域计算所述皱纹集中区域图像的YUV转换后的颜色值,将颜色值在阈值范围之外的连通域判定为噪声,将该连通域全部灰度置0;将颜色值在处于阈值范围之内的连通域判定为皮肤,保留该连通域,以确定第一去噪结果。
7.根据权利要求1至4任一项所述的皱纹检测方法,其特征在于,所述根据面部噪声的形态学特征,计算连通域形态学特征参数,根据所述连通域形态学特征参数对所述第一去噪结果进行去噪处理,得到最终皱纹检测结果灰度图包括:
首先对第一去噪结果中的连通域进行椭圆拟合,得到中心点位置坐标和方向角参数;若连通域中心点位置坐标若落于预设的额头上左右三侧区域,初步确定为可能的噪声,作为继续研究对象;然后根据该连通域的方向角进一步判定,若方向角垂直,则判定该连通域为头发噪声,删除该连通域;若该连通域的方向角判定为水平,继续考察该连通域内的孔洞特征,若存在孔洞特征,则判定该连通域为头发噪声,删除该连通域;若该连通域内不存在孔洞特征,则将连通域判定为皱纹,保留该连通域,以得到最终皱纹检测结果灰度图。
CN201911236021.2A 2019-12-05 2019-12-05 一种皱纹检测方法 Active CN110929681B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911236021.2A CN110929681B (zh) 2019-12-05 2019-12-05 一种皱纹检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911236021.2A CN110929681B (zh) 2019-12-05 2019-12-05 一种皱纹检测方法

Publications (2)

Publication Number Publication Date
CN110929681A CN110929681A (zh) 2020-03-27
CN110929681B true CN110929681B (zh) 2023-04-18

Family

ID=69857163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911236021.2A Active CN110929681B (zh) 2019-12-05 2019-12-05 一种皱纹检测方法

Country Status (1)

Country Link
CN (1) CN110929681B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870049A (zh) * 2006-06-15 2006-11-29 西安交通大学 基于稠密特征对应与形态学的人脸表情合成方法
CN110210448A (zh) * 2019-06-13 2019-09-06 广州纳丽生物科技有限公司 一种智能人脸皮肤老化程度的识别与评估方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2944898B1 (fr) * 2009-04-23 2018-03-16 Lvmh Recherche Procede et appareil de caracterisation des imperfections de la peau et procede d'appreciation de l'effet anti-vieillissement d'un produit cosmetique

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1870049A (zh) * 2006-06-15 2006-11-29 西安交通大学 基于稠密特征对应与形态学的人脸表情合成方法
CN110210448A (zh) * 2019-06-13 2019-09-06 广州纳丽生物科技有限公司 一种智能人脸皮肤老化程度的识别与评估方法

Also Published As

Publication number Publication date
CN110929681A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN107578035B (zh) 基于超像素-多色彩空间的人体轮廓提取方法
US20220237811A1 (en) Method for Testing Skin Texture, Method for Classifying Skin Texture and Device for Testing Skin Texture
CN103186904B (zh) 图片轮廓提取方法及装置
Zhang et al. Object-oriented shadow detection and removal from urban high-resolution remote sensing images
CN107705288B (zh) 伪目标运动强干扰下的危险气体泄漏红外视频检测方法
WO2018216629A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN106980852B (zh) 基于角点检测与匹配的药品识别系统及其识别方法
CN108268867B (zh) 一种车牌定位方法及装置
CN109684959B (zh) 基于肤色检测和深度学习的视频手势的识别方法及装置
CN109815850A (zh) 基于深度学习的虹膜图像分割及定位方法、系统、装置
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN106296638A (zh) 显著性信息取得装置以及显著性信息取得方法
CN107025652A (zh) 一种基于运动特性和颜色时空信息的火焰检测方法
CN110210448B (zh) 一种智能人脸皮肤老化程度的识别与评估方法
CN106709518A (zh) 基于Android平台的盲道识别系统
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN110378351B (zh) 印章鉴别方法及装置
CN105678735A (zh) 一种用于雾天图像的目标显著性检测方法
CN111126393A (zh) 车辆外观改装判断方法、装置、计算机设备及存储介质
CN108108740B (zh) 一种主动毫米波人体图像性别识别方法
CN105975952A (zh) 一种视频图像中大胡子检测的方法及系统
KR20080079798A (ko) 얼굴 검출 및 인식을 위한 방법
CN107239761B (zh) 基于骨架角点检测的果树拉枝效果评价方法
CN110443790B (zh) 一种医学影像中软骨识别方法和识别系统
Pratomo et al. Parking detection system using background subtraction and HSV color segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant