CN115965553B - 基于多特征融合的人脸图像局部增强方法 - Google Patents
基于多特征融合的人脸图像局部增强方法 Download PDFInfo
- Publication number
- CN115965553B CN115965553B CN202310003338.1A CN202310003338A CN115965553B CN 115965553 B CN115965553 B CN 115965553B CN 202310003338 A CN202310003338 A CN 202310003338A CN 115965553 B CN115965553 B CN 115965553B
- Authority
- CN
- China
- Prior art keywords
- face
- image
- segmented
- determining
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 30
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000011218 segmentation Effects 0.000 claims abstract description 9
- 238000007476 Maximum Likelihood Methods 0.000 claims description 10
- 210000000887 face Anatomy 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 210000001061 forehead Anatomy 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 210000000216 zygoma Anatomy 0.000 claims description 3
- 230000001815 facial effect Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Abstract
本发明公开了一种基于多特征融合的人脸图像局部增强方法，建立人脸图像训练集；对所述人脸图像训练集中的每张图像进行人脸检测、人脸对齐和人脸分割，获得每张分割后的图像；获得分割后的偏正脸图像集、并且确定分割后的偏正脸图像集中每张图像的面积比例相近度、分割后的偏正脸图像集中每张图像的长宽比相近度、分割后的偏正脸图像集中每张图像的方脸相近度；将三个特征加权融合，获得多特征融合模板系数；根据其确定平均人脸轮廓模板，并且结合待识别人脸的图像，获得局部图像增强后的人脸图像。本发明能够取代人脸图像增强中的人脸分割步骤，在不改变人脸图像增强准确性的前提下，提高了人脸图像增强的效率和质量，简化冗繁的操作过程。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于多特征融合的人脸图像局部增强方法。
背景技术
现有的直方图均衡化是经常用于图像增强的算法，是一种根据累积分布函数对图像的灰度值进行操作来使得图像的灰度值分布均匀从而提高图像的亮度和对比度的方法，存在的技术问题是该方法不加选择处理的数据，可能会增加背景杂讯的对比度并且降低有用信号的对比度。
因此，局部增强一直是研究的一个热点，人脸图像增强是属于局部增强的一种，现有的人脸局部增强技术一般都是通过人脸分割这一步骤，否则无法实现局部人脸增强。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于多特征融合的人脸图像局部增强方法。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种基于多特征融合的人脸图像局部增强方法，所述方法包括：
建立人脸图像训练集；
对所述人脸图像训练集中的每张图像进行人脸检测、人脸对齐和人脸分割，获得每张分割后的图像；
去除每张分割后的图像为偏侧脸的图像，获得分割后的偏正脸图像集；
确定分割后的偏正脸图像集中每组人脸面积比例平均值，再通过极大似然估计定理确定人脸面积比例平均值对应的高斯分布，并确定统计人脸轮廓面积比例的阈值，再根据统计人脸轮廓面积比例的阈值确定分割后的偏正脸图像集中每张图像的面积比例相近度；
根据预设的人脸长和人脸宽确定分割后的偏正脸图像集中每组人脸长宽比的平均值，通过极大似然估计定理确定长宽比平均值对应的高斯分布，并确定平均人脸轮廓长宽比，再根据所述平均人脸轮廓长宽比确定分割后的偏正脸图像集中每张图像的长宽比相近度；
获取所述分割后的偏正脸图像集中每张图像的人脸轮廓线，再通过剩下分割后的偏正脸图像集中每张图像的人脸轮廓线确定方脸系数，根据所述方脸系数的驻点个数和两边驻点对应的纵坐标y0确定分割后的偏正脸图像集中每张图像的方脸相近度；
将所述分割后的偏正脸图像集中每张图像的面积比例相近度、长宽比相近度和方脸相近度三个特征加权融合，获得多特征融合模板系数；
将所述多特征融合模板系数最大值对应的人脸轮廓作为平均人脸轮廓模板；
对待识别人脸的图像进行图像增强处理，再根据人脸检测和人脸对齐确定检测框的大小和位置以及对齐参数，再通过平均人脸轮廓模板对增强前的待识别人脸图像进行局部图像增强，获得局部图像增强后的人脸图像。
上述方案中，所述去除每张分割后的图像为偏侧脸的图像，获得分割后的偏正脸图像集，具体为：判断每张分割后的图像是偏正脸还是偏侧脸，舍去偏侧脸的图像，获得分割后的偏正脸图像集。
上述方案中，所述判断每张分割后的图像是偏正脸还是偏侧脸，舍去偏侧脸的图像，获得分割后的偏正脸图像集，具体为：
设定人脸图像训练集中每张分割后的图像上随机两点M(x1,y1)，N(x2,y2)两点之间的欧氏距离d为
其中，x1表示M点的横坐标，y1表示M点的纵坐标，x2表示N点的横坐标，y2表示N点的纵坐标；
对每张分割后的图像进行特征点提取，两个下颌角点A和B分别连接颏下点C，获得两条线段，设D和E为过C点的垂直线上任取的C点上方的两点，并且AD垂直于CD，BE垂直于CE，确定线段AC和线段CD的夹角P，再确定线段BC和线段CE的夹角Q，最后确定P和Q差的绝对值f为
其中，cos-1表示反余弦操作，|·|表示取绝对值操作；
若f值小于30度，则判断分割后的图像为偏正脸，否则判断分割后的图像为偏侧脸，舍去偏侧脸的图像，设人脸图像训练集剩余n张，获得分割后的偏正脸图像集。
上述方案中，所述确定分割后的偏正脸图像集中每组人脸面积比例平均值，再通过极大似然估计定理确定人脸面积比例平均值对应的高斯分布，并确定统计人脸轮廓面积比例的阈值，再根据统计人脸轮廓面积比例的阈值确定分割后的偏正脸图像集中每张图像的面积比例相近度，具体为：
统计所述分割后的偏正脸图像集中每张人脸图像的人脸部分的像素个数FaceS和人脸检测框的像素个数FrameS，再确定人脸面积比例w为
确定所述分割后的偏正脸图像集中每组w的平均值按照中央极限定理，/>的分布呈现正态分布；
将进行极差法归一化操作；
固定和/>对应高斯分布的标准差σ1，确定/>对应高斯分布的均值μ1的似然估计值/>为
再对似然估计值取对数，令μ1的偏导为0，确定对应高斯分布的均值/>
根据所述对应高斯分布的均值μ1和固定的/>确定对应高斯分布的标准差σ1的似然估计值/>为
再对似然估计值取对数，令σ1的偏导为0，获得对应高斯分布的标准差/>
根据μ1和σ1建立的高斯分布模型；
将μ1+3σ1处的值作为统计人脸轮廓面积比例的阈值TV；
根据确定面积比例相近度α，其中，l og(·)表示取对数操作。
上述方案中，所述根据预设的人脸长和人脸宽确定分割后的偏正脸图像集中每组人脸长宽比的平均值，通过极大似然估计定理确定长宽比平均值对应的高斯分布，并确定平均人脸轮廓长宽比，再根据所述平均人脸轮廓长宽比确定分割后的偏正脸图像集中每张图像的长宽比相近度，具体为：
取特征提取后的人脸两颧点F，G连线的线段为长，人脸竖直方向中心一条线段HC为宽，其中，H为额头上顶点，C为颏下点，设长宽比为r，即：
获得所述剩下分割后的图像集中每组人脸长宽比r的平均值按照中央极限定理，/>的分布呈现正态分布；
将进行极差法归一化操作；
固定和/>对应高斯分布的标准差σ2，确定/>对应正态分布的均值μ2的似然估计值为
再对似然估计值取对数，令μ2的偏导为0，获得/>对应高斯分布的均值/>
根据所述对应正态分布的均值μ2和固定的/>确定/>对应高斯分布的标准差σ2的似然估计值/>为
再对似然估计值取对数，令σ2的偏导为0，获得/>对应高斯分布的标准差/>
根据所述对应高斯分布的均值μ2和所述/>对应高斯分布的标准差σ2建立/>的高斯分布模型；
根据所述的高斯分布模型确定平均人脸轮廓长宽比，取μ2处的/>值为平均人脸轮廓长宽比NLW；
根据确定长宽比相近度β。
上述方案中，所述获取所述分割后的偏正脸图像集中每张图像的人脸轮廓线，再通过剩下分割后的偏正脸图像集中每张图像的人脸轮廓线确定方脸系数，根据所述方脸系数的驻点个数和两边驻点对应的纵坐标y0确定分割后的偏正脸图像集中每张图像的方脸相近度，具体为：根据所述分割后的图像集中的每张图像获取分割后的图像集中每张图像的人脸轮廓线，设人脸轮廓线为y，则方脸系数k为
或其中，y'表示求一阶导数操作，y"表示求二阶导数操作；
对所述方脸系数k求导，若k'有三个零点，则判断为方脸，进行方脸相近度γ的确定，如不是方脸，则方脸相近度γ置零；
设k'两边两个零点对应的同一y值为y0，则方脸相近度γ为
上述方案中，所述将所述分割后的偏正脸图像集中每张图像的面积比例相近度、长宽比相近度和方脸相近度三个特征加权融合，获得多特征融合模板系数，具体为：
对面积比例相近度α、长宽比相近度β和方脸相近度γ进行归一化处理，随后进行加权融合，则多特征融合模板系数M为其中，λ表示α的权重系数，/>表示β的权重系数，φ表示γ的权重系数。
上述方案中，所述对待识别人脸的图像进行图像增强处理，获得增强后的人脸图像，具体为：将待识别人脸图像进行直方图均衡化操作得到直方图均衡化后的图像。
上述方案中，所述根据人脸检测和人脸对齐确定检测框的大小和位置以及对齐参数，再通过平均人脸轮廓模板对增强前的待识别的人脸图像进行局部图像增强，获得局部图像增强后的人脸图像，具体为：对直方图均衡化后的图像进行人脸检测和人脸对齐，确定人脸检测和人脸对齐后检测框的大小、位置和人脸对齐参数；根据人脸对齐参数对待识别人脸图像进行人脸对齐，再通过人脸对齐后检测框大小和位置，套用平均人脸轮廓模板按照检测框高度成比例进行人脸部分的直方图均衡化，获得局部图像增强后的二维图像。
与现有技术相比，本发明能够取代人脸图像增强中的人脸分割步骤，在不改变人脸图像增强准确性的前提下，提高了人脸图像增强的效率和质量，简化冗繁的操作过程。
附图说明
图1为本发明的流程图；
图2为本发明中局部增强前示意图
图3为本发明中68特征点图；
图4为本发明中平均人脸轮廓模板图；
图5为本发明局部增强后结果图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种基于多特征融合的人脸图像局部增强方法，如图1所示，该方法为：
步骤101：建立人脸图像训练集；
具体地，将20万张真实人脸图像随机分成4000组，每组50张图像，将这4000组人脸图像作为人脸图像训练集。
先从Bald Classification Dataset数据集中下载20万张真实人脸图像。
再将20万张真实人脸图像随机分成4000组，每组50张图像，将这4000组人脸图像作为人脸图像训练集。
步骤102：对所述人脸图像训练集中的每张图像进行人脸检测、人脸对齐和人脸分割，获得每张分割后的图像；
具体地，本发明采用基于MTCNN算法的人脸检测方法，采用基于ASM算法的人脸对齐方法，采用基于分水岭算法的人脸分割方法，均为现有技术。
步骤103：去除每张分割后的图像为偏侧脸的图像，获得分割后的偏正脸图像集；
具体地，判断每张分割后的图像是偏正脸还是偏侧脸，舍去偏侧脸的图像，获得分割后的偏正脸图像集。
设定人脸图像训练集中每张分割后的图像上随机两点M(x1,y1)，N(x2,y2)两点之间的欧氏距离d为
其中，x1表示M点的横坐标，y1表示M点的纵坐标，x2表示N点的横坐标，y2表示N点的纵坐标；
然后对每张分割后的图像进行特征点提取，采用基于梯度提高学习的回归树方法来进行人脸图像的特征点提取，训练出的模型可以提取如68特征点图所示的68个特征点，图3为本发明实例中的68特征点图。
设定所得68特征点图的点5和点11为两个下颌角点A和B，分别将A和B连接颏下点C即点8，获得两条线段，设D和E为过C点的垂直线上任取的C点上方的两点，并且AD垂直于CD，BE垂直于CE，确定线段AC和线段CD的夹角P，再确定线段BC和线段CE的夹角Q，最后确定P和Q差的绝对值f为
其中，cos-1表示反余弦操作，|·|表示取绝对值操作；
由于三角形ACD为直角三角形，且三角形BCE也为直角三角形，所以反余弦操作的定义域不会超过合理的范围。
最后对f进行判断，若f值小于30度，则判断分割后的图像为偏正脸，否则判断分割后的图像为偏侧脸，舍去偏侧脸的图像，设人脸图像训练集剩余n张，获得分割后的偏正脸图像集。
n为大于等于1的自然数。
步骤104：确定分割后的偏正脸图像集中每组人脸面积比例平均值，再通过极大似然估计定理确定人脸面积比例平均值对应的高斯分布，并确定统计人脸轮廓面积比例的阈值，再根据统计人脸轮廓面积比例的阈值确定分割后的偏正脸图像集中每张图像的面积比例相近度；
具体地，统计所述分割后的偏正脸图像集中每个人脸图像的人脸部分的像素个数FaceS和人脸检测框的像素个数FrameS，再确定人脸面积比例w为
确定所述分割后的偏正脸图像集中每组w的平均值按照中央极限定理，即概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理，其指出了大量随机变量近似服从正态分布的条件，可得/>的分布呈现正态分布；
将进行极差法归一化操作(本发明采用mi n-max标准化的归一化方法)；
固定和/>对应高斯分布的标准差σ1，确定/>对应高斯分布的均值μ1的似然估计值/>为
再对似然估计值取对数，令μ1的偏导为0，确定对应高斯分布的均值/>
根据所述对应高斯分布的均值μ1和固定的/>确定对应高斯分布的标准差σ1的似然估计值/>为
再对似然估计值取对数，令σ1的偏导为0，获得对应高斯分布的标准差/>
根据求得的所述对应高斯分布的均值μ1和所述/>对应高斯分布的标准差σ1，将μ1和σ1代入高斯分布的公式/>中，即可建立/>的高斯分布模型；
将μ1+3σ1处的值作为统计人脸轮廓面积比例的阈值TV；
由于高斯分布3σ原则，即数值分布在(μ-σ,μ+σ)中的概率为0.6526，数值分布在(μ-2σ,μ+2σ)中的概率为0.9544，数值分布在(μ-3σ,μ+3σ)中的概率为0.9974，所以将μ1+3σ1处的值作为统计人脸轮廓面积比例的阈值TV，此处的/>值包含了超过99.73％的分割后的偏正脸图像集中每组w的平均值/>本次测试的TV值为0.8375；
根据确定面积比例相近度α，其中，log(·)表示取对数操作。
取对数操作就保证了小于TV的w对应的人脸图像的对应α下降很快从而使得M容易更小，而大于TV的w对应的人脸图像的对应α上升很慢从而使得M不容易更大，达到最终模板更好的预测效果。
步骤105：根据预设的人脸长和人脸宽确定分割后的偏正脸图像集中每组人脸长宽比的平均值，通过极大似然估计定理确定长宽比平均值对应的高斯分布，并确定平均人脸轮廓长宽比，再根据所述平均人脸轮廓长宽比确定分割后的偏正脸图像集中每张图像的长宽比相近度；
具体地，取特征提取后的人脸两颧点即所得68特征点图的点0和点16为F，G连线的线段为长，人脸竖直方向中心一条线段HC为宽，其中，H为额头上顶点，另外用算法求得，C为颏下点即所得68特征点图的点8。设长宽比为r，即
求取所述分割后的图像集中每组人脸长宽比r的平均值按照中央极限定理，可得/>的分布呈现正态分布；
额头上顶点的提取采用基于ResNet的深度学习算法，手动标注人脸额头特征点和关键点，损失函数使用交叉熵损失函数，优化器采用Adam，得到训练完成的神经网络模型。
将进行极差法归一化操作(本发明采用mi n-max标准化的归一化方法)；
固定和/>对应高斯分布的标准差σ2，确定/>对应正态分布的均值μ2的似然估计值为
再对似然估计值取对数，令μ2的偏导为0，获得/>对应高斯分布的均值/>
根据所述对应正态分布的均值μ2和固定的/>确定/>对应高斯分布的标准差σ2的似然估计值/>为
再对似然估计值取对数，令σ2的偏导为0，获得/>对应高斯分布的标准差/>
根据求得的所述对应高斯分布的均值μ2和所述/>对应高斯分布的标准差σ2，将μ2和σ2代入高斯分布的公式/>中，即可建立/>的高斯分布模型；
根据所述的高斯分布模型确定平均人脸轮廓长宽比，取μ2处的/>值为平均人脸轮廓长宽比NLW；
根据确定长宽比相近度β；
取对数操作以后取绝对值操作再取相反数，就保证了小于NLW的r对应的人脸图像的对应β下降很快从而使得M容易更小，而大于NLW的r对应的人脸图像的对应β下降很慢从而使得M不容易更小，达到最终模板更好的预测效果。
步骤106：获取所述分割后的偏正脸图像集中每张图像的人脸轮廓线，再通过剩下分割后的偏正脸图像集中每张图像的人脸轮廓线确定方脸系数，根据所述方脸系数的驻点个数和两边驻点对应的纵坐标y0确定分割后的偏正脸图像集中每张图像的方脸相近度；
具体地，根据所述分割后的图像集中的每张图像获取分割后的图像集中每张图像的人脸轮廓线，设人脸轮廓线为y，则方脸系数k为或/>其中，y'表示求一阶导数操作，y"表示求二阶导数操作；
对所述方脸系数k求导，若k'有三个零点，则判断为方脸，进行方脸相近度γ的确定，如不是方脸，则方脸相近度γ置零；
设k'两边两个零点对应的同一y值为y0，则方脸相近度γ为
步骤107：将所述分割后的偏正脸图像集中每张图像的面积比例相近度、长宽比相近度和方脸相近度三个特征加权融合，获得多特征融合模板系数；
具体地，对面积比例相近度α、长宽比相近度β和方脸相近度γ进行归一化处理(本发明采用mi n-max标准化的归一化方法)，随后进行加权融合，则多特征融合模板系数M为其中，λ表示α的权重系数，/>表示β的权重系数，φ表示γ的权重系数。
示例性地，λ取值为0.5，取值为0.2，φ取值为0.3，引入约束因子的目的是期望通过这一设计来增加最终模板预测的误差权重，从而提升精度。
当人脸图像的α越大β越大γ越大的时候，越是理想的平均人脸轮廓模板，故计算所有人脸中多特征融合模板系数M最大的人脸作为平均人脸轮廓模板。图4为本发明实例中的平均人脸轮廓模板图。
步骤108：将所述多特征融合模板系数最大值对应的人脸轮廓作为平均人脸轮廓模板；
步骤109：对待识别人脸的图像进行图像增强处理，获得增强后的人脸图像；
具体地，将待识别人脸图像进行直方图均衡化操作得到直方图均衡化后的图像。
步骤110：根据人脸检测和人脸对齐确定检测框的大小和位置以及对齐参数，再通过平均人脸轮廓模板对增强前的待识别人脸图像进行局部图像增强，获得局部图像增强后的人脸图像。
具体地，对直方图均衡化后的图像进行人脸检测和人脸对齐，确定人脸对齐后检测框的大小、位置和人脸对齐参数；根据人脸对齐参数对待识别人脸图像进行人脸对齐，再通过人脸对齐后检测框大小和位置，套用平均人脸轮廓模板按照检测框高度成比例进行人脸部分的直方图均衡化，获得局部图像增强后的二维图像，如图5所示。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。
Claims (8)
1.一种基于多特征融合的人脸图像局部增强方法，其特征在于，所述方法包括：
建立人脸图像训练集；
对所述人脸图像训练集中的每张图像进行人脸检测、人脸对齐和人脸分割，获得每张分割后的图像；
去除每张分割后的图像为偏侧脸的图像，获得分割后的偏正脸图像集；
确定分割后的偏正脸图像集中每组人脸面积比例平均值，再通过极大似然估计定理确定人脸面积比例平均值对应的高斯分布，并确定统计人脸轮廓面积比例的阈值，再根据统计人脸轮廓面积比例的阈值确定分割后的偏正脸图像集中每张图像的面积比例相近度；
根据预设的人脸长和人脸宽确定分割后的偏正脸图像集中每组人脸长宽比的平均值，通过极大似然估计定理确定长宽比平均值对应的高斯分布，并确定平均人脸轮廓长宽比，再根据所述平均人脸轮廓长宽比确定分割后的偏正脸图像集中每张图像的长宽比相近度；
获取所述分割后的偏正脸图像集中每张图像的人脸轮廓线，再通过剩下分割后的偏正脸图像集中每张图像的人脸轮廓线确定方脸系数，根据所述方脸系数的驻点个数和两边驻点对应的纵坐标y0确定分割后的偏正脸图像集中每张图像的方脸相近度，具体为：根据所述分割后的图像集中的每张图像获取分割后的图像集中每张图像的人脸轮廓线，设人脸轮廓线为y，y是常数，则方脸系数k为或/>其中，y’表示求一阶导数操作，y”表示求二阶导数操作；
对所述方脸系数k求导，若k'有三个零点，则判断为方脸，进行方脸相近度γ的确定，如不是方脸，则方脸相近度γ置零；
设k'两边两个零点对应的同一y值为y0，则方脸相近度γ为
将所述分割后的偏正脸图像集中每张图像的面积比例相近度、长宽比相近度和方脸相近度三个特征加权融合，获得多特征融合模板系数；
将所述多特征融合模板系数最大值对应的人脸轮廓作为平均人脸轮廓模板；
对待识别人脸的图像进行图像增强处理，再根据人脸检测和人脸对齐确定检测框的大小和位置以及对齐参数，再通过平均人脸轮廓模板对增强前的待识别人脸图像进行局部图像增强，获得局部图像增强后的人脸图像。
2.根据权利要求1所述的基于多特征融合的人脸图像局部增强方法，其特征在于，所述去除每张分割后的图像为偏侧脸的图像，获得分割后的偏正脸图像集，具体为：判断每张分割后的图像是偏正脸还是偏侧脸，舍去偏侧脸的图像，获得分割后的偏正脸图像集。
3.根据权利要求2所述的基于多特征融合的人脸图像局部增强方法，其特征在于，所述判断每张分割后的图像是偏正脸还是偏侧脸，舍去偏侧脸的图像，获得分割后的偏正脸图像集，具体为：
设定人脸图像训练集中每张分割后的图像上随机两点M(x1,y1)，N(x2,y2)两点之间的欧氏距离d为
其中，x1表示M点的横坐标，y1表示M点的纵坐标，x2表示N点的横坐标，y2表示N点的纵坐标；
对每张分割后的图像进行特征点提取，两个下颌角点A和B分别连接颏下点C，获得两条线段，设D和E为过C点的垂直线上任取的C点上方的两点，并且AD垂直于CD，BE垂直于CE，确定线段AC和线段CD的夹角P，再确定线段BC和线段CE的夹角Q，最后确定P和Q差的绝对值f为
其中，cos-1表示反余弦操作，|·|表示取绝对值操作；
若f值小于30度，则判断分割后的图像为偏正脸，否则判断分割后的图像为偏侧脸，舍去偏侧脸的图像，设人脸图像训练集剩余n张，获得分割后的偏正脸图像集。
4.根据权利要求1-3任意一项所述的基于多特征融合的人脸图像局部增强方法，其特征在于，所述确定分割后的偏正脸图像集中每组人脸面积比例平均值，再通过极大似然估计定理确定人脸面积比例平均值对应的高斯分布，并确定统计人脸轮廓面积比例的阈值，再根据统计人脸轮廓面积比例的阈值确定分割后的偏正脸图像集中每张图像的面积比例相近度，具体为：
统计所述分割后的偏正脸图像集中每张人脸图像的人脸部分的像素个数FaceS和人脸检测框的像素个数FrameS，再确定人脸面积比例w为
确定所述分割后的偏正脸图像集中每组w的平均值按照中央极限定理，/>的分布呈现正态分布；
将进行极差法归一化操作；
固定和/>对应高斯分布的标准差σ1，确定/>对应高斯分布的均值μ1的似然估计值为
再对似然估计值取对数，令μ1的偏导为0，确定对应高斯分布的均值/>
根据所述对应高斯分布的均值μ1和固定的/>确定对应高斯分布的标准差σ1的似然估计值/>为
再对似然估计值取对数，令σ1的偏导为0，获得对应高斯分布的标准差/>
根据μ1和σ1建立的高斯分布模型；
将μ1+3σ1处的值作为统计人脸轮廓面积比例的阈值TV；
根据确定面积比例相近度α，其中，log(·)表示取对数操作。
5.根据权利要求4所述的基于多特征融合的人脸图像局部增强方法，其特征在于，所述根据预设的人脸长和人脸宽确定分割后的偏正脸图像集中每组人脸长宽比的平均值，通过极大似然估计定理确定长宽比平均值对应的高斯分布，并确定平均人脸轮廓长宽比，再根据所述平均人脸轮廓长宽比确定分割后的偏正脸图像集中每张图像的长宽比相近度，具体为：
取特征提取后的人脸两颧点F，G连线的线段为长，人脸竖直方向中心一条线段HC为宽，其中，H为额头上顶点，C为颏下点，设长宽比为r，即：
获得所述剩下分割后的图像集中每组人脸长宽比r的平均值按照中央极限定理，/>的分布呈现正态分布；
将进行极差法归一化操作；
固定和/>对应高斯分布的标准差σ2，确定/>对应正态分布的均值μ2的似然估计值为
再对似然估计值取对数，令μ2的偏导为0，获得/>对应高斯分布的均值/>
根据所述对应正态分布的均值μ2和固定的/>确定/>对应高斯分布的标准差σ2的似然估计值/>为
再对似然估计值取对数，令σ2的偏导为0，获得/>对应高斯分布的标准差/>
根据所述对应高斯分布的均值μ2和所述/>对应高斯分布的标准差σ2建立/>的高斯分布模型；
根据所述的高斯分布模型确定平均人脸轮廓长宽比，取μ2处的/>值为平均人脸轮廓长宽比NLW；
根据确定长宽比相近度β；
取对数操作以后取绝对值操作再取相反数，就保证了小于NLW的r对应的人脸图像的对应β下降很快从而使得M容易更小，而大于NLW的r对应的人脸图像的对应β下降很慢从而使得M不容易更小，达到最终模板更好的预测效果。
6.根据权利要求5所述的基于多特征融合的人脸图像局部增强方法，其特征在于，所述将所述分割后的偏正脸图像集中每张图像的面积比例相近度、长宽比相近度和方脸相近度三个特征加权融合，获得多特征融合模板系数，具体为：
对面积比例相近度α、长宽比相近度β和方脸相近度γ进行归一化处理，随后进行加权融合，则多特征融合模板系数M为其中，λ表示α的权重系数，/>表示β的权重系数，/>表示γ的权重系数。
7.根据权利要求6所述的基于多特征融合的人脸图像局部增强方法，其特征在于，所述对待识别人脸的图像进行图像增强处理，具体为：将待识别人脸图像进行直方图均衡化操作得到直方图均衡化后的图像。
8.根据权利要求7所述的基于多特征融合的人脸图像局部增强方法，其特征在于，所述根据人脸检测和人脸对齐确定检测框的大小和位置以及对齐参数，再通过平均人脸轮廓模板对增强前的待识别的人脸图像进行局部图像增强，获得局部图像增强后的人脸图像，具体为：对直方图均衡化后的图像进行人脸检测和人脸对齐，确定人脸检测和人脸对齐后检测框的大小、位置和人脸对齐参数；根据人脸对齐参数对待识别人脸图像进行人脸对齐，再通过人脸对齐后检测框大小和位置，套用平均人脸轮廓模板按照检测框高度成比例进行人脸部分的直方图均衡化，获得局部图像增强后的二维图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310003338.1A CN115965553B (zh) | 2023-01-03 | 2023-01-03 | 基于多特征融合的人脸图像局部增强方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310003338.1A CN115965553B (zh) | 2023-01-03 | 2023-01-03 | 基于多特征融合的人脸图像局部增强方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115965553A CN115965553A (zh) | 2023-04-14 |
| CN115965553B true CN115965553B (zh) | 2023-12-19 |
Family
ID=87352865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310003338.1A Active CN115965553B (zh) | 2023-01-03 | 2023-01-03 | 基于多特征融合的人脸图像局部增强方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115965553B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049751A (zh) * | 2013-01-24 | 2013-04-17 | 苏州大学 | 一种改进的加权区域匹配高空视频行人识别方法 |
| CN105787458A (zh) * | 2016-03-11 | 2016-07-20 | 重庆邮电大学 | 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法 |
| CN113011243A (zh) * | 2021-01-13 | 2021-06-22 | 苏州元启创人工智能科技有限公司 | 基于胶囊网络的面部表情分析方法 |
| CN114463818A (zh) * | 2022-02-07 | 2022-05-10 | 宜宾学院 | 深度网络与Gabor高斯特征融合的人脸识别方法 |
-
2023
- 2023-01-03 CN CN202310003338.1A patent/CN115965553B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049751A (zh) * | 2013-01-24 | 2013-04-17 | 苏州大学 | 一种改进的加权区域匹配高空视频行人识别方法 |
| CN105787458A (zh) * | 2016-03-11 | 2016-07-20 | 重庆邮电大学 | 基于人工设计特征和深度学习特征自适应融合的红外行为识别方法 |
| CN113011243A (zh) * | 2021-01-13 | 2021-06-22 | 苏州元启创人工智能科技有限公司 | 基于胶囊网络的面部表情分析方法 |
| CN114463818A (zh) * | 2022-02-07 | 2022-05-10 | 宜宾学院 | 深度网络与Gabor高斯特征融合的人脸识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115965553A (zh) | 2023-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112424828B (zh) | 一种集成空间约束的核模糊c均值快速聚类算法 | |
| KR102641115B1 (ko) | 객체 검출을 위한 영상 처리 방법 및 장치 | |
| CN108921800B (zh) | 基于形状自适应搜索窗口的非局部均值去噪方法 | |
| CN112435221A (zh) | 一种基于生成式对抗网络模型的图像异常检测方法 | |
| CN104318262A (zh) | 通过人脸照片更换皮肤的方法及系统 | |
| CN111507334B (zh) | 一种基于关键点的实例分割方法 | |
| CN109978848B (zh) | 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法 | |
| CN112800876B (zh) | 一种用于重识别的超球面特征嵌入方法及系统 | |
| CN110084149B (zh) | 一种基于难样本四元组动态边界损失函数的人脸验证方法 | |
| CN103761726B (zh) | 基于fcm的分块自适应图像分割方法 | |
| CN111340824A (zh) | 一种基于数据挖掘的图像特征分割方法 | |
| CN110046565B (zh) | 一种基于Adaboost算法的人脸检测方法 | |
| KR20180109658A (ko) | 영상 처리 방법과 장치 | |
| CN114529538A (zh) | 基于人工智能和高斯混合模型的纺织物表面缺陷检测方法 | |
| CN112329784A (zh) | 一种基于时空感知及多峰响应的相关滤波跟踪方法 | |
| CN111709305B (zh) | 一种基于局部图像块的人脸年龄识别方法 | |
| CN116977329A (zh) | 一种基于机器视觉的光伏板栅线检测方法 | |
| CN110728185A (zh) | 一种判别驾驶人存在手持手机通话行为的检测方法 | |
| CN102867176B (zh) | 一种人脸图像归一化方法 | |
| CN106600610B (zh) | 一种fcm图像分割方法及装置 | |
| Lu et al. | Image-specific prior adaptation for denoising | |
| WO2022052701A1 (zh) | 基于多模态静脉图像性别信息异构分离的身份识别方法 | |
| CN115965553B (zh) | 基于多特征融合的人脸图像局部增强方法 | |
| CN110473224B (zh) | 一种基于kl熵的rsf水平集图像自动分割方法 | |
| CN111553417A (zh) | 基于判别正则化局部保留投影的图像数据降维方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |