CN113111698A - 一种基于语义感知损失的人脸标志点检测方法 - Google Patents

一种基于语义感知损失的人脸标志点检测方法 Download PDF

Info

Publication number
CN113111698A
CN113111698A CN202011642933.2A CN202011642933A CN113111698A CN 113111698 A CN113111698 A CN 113111698A CN 202011642933 A CN202011642933 A CN 202011642933A CN 113111698 A CN113111698 A CN 113111698A
Authority
CN
China
Prior art keywords
semantic
face
perception loss
face mark
mark point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011642933.2A
Other languages
English (en)
Other versions
CN113111698B (zh
Inventor
马勇
肖汉雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Le Chi Technology Co ltd
Original Assignee
Wuxi Le Chi Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Le Chi Technology Co ltd filed Critical Wuxi Le Chi Technology Co ltd
Priority to CN202011642933.2A priority Critical patent/CN113111698B/zh
Publication of CN113111698A publication Critical patent/CN113111698A/zh
Application granted granted Critical
Publication of CN113111698B publication Critical patent/CN113111698B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Abstract

本发明公开了一种基于语义感知损失的人脸标志点检测方法，该方法属于人脸识别技术领域。所述方法通过在标记标签数据点，计算人脸特征点后采用采样的方法计算语义感知损失函数，以此来代替传统技术中对人脸上非显著特征点直接通过损失函数计算的方法。本发明公开的目的是为了解决传统技术中出现的人脸标记中由于存在语义歧义导致抠图精准度降低的问题。通过语义感知损失函数训练的模型在实际计算中能够减少语义歧义，增强网络模型的相关性，使抠图效果更加精准。

Description

一种基于语义感知损失的人脸标志点检测方法
技术领域
本发明涉及人脸识别技术领域，特别是涉及一种基于语义感知损失的人脸标志点检测方法。
背景技术
人脸抠图技术广泛应用于各大计算机视觉识别的应用上，人脸抠图是通过确认人脸的若干个特征点后进行抠取，人脸的特征点包括显著特征点和非显著特征点，显著特征点位具有具体语义的点，包括眼角、嘴角和鼻尖等，非显著特征点则因为没有面部标注没有明确定义，从而没有对应明确的语义，包括但不限于面部边缘点，传统的方法是在采样后通过点对点的方式进行计算，从而获得损失函数，但是传统的采样方法对语义没有清晰的定义，尤其是非显著特征点，神经网络在采用面部标志点定位算法计算面部特征点时，非显著特征点带来的模糊性很容易导致模型训练陷入局部最小，很多实验结果都显示，在人脸抠图过程中，背景真值特征点的模糊性对梯度具有一定的影响，容易使得模型收敛到更差的局部最优，从而说明语义歧义性弱的显著特征点相较于语义歧义性强的显著特征点在最终结果上还原性更差，因此，在最后的模型训练结果中，可被接受的面部非显著特征点容易因为其模糊性导致其精确度降低，从而导致抠图的准确性降低。
发明内容
为了解决上述传统技术中出现的人脸标记中由于存在语义歧义导致抠图精准度降低的问题，本发明提出了一种基于语义感知损失的人脸标志点检测方法，包括以下步骤：
步骤1：获取人脸待抠取图像，通过手动标记若干个标签数据点后，对人脸标志曲线进行抠取，并将每两个相邻的标签数据点之间的曲线段称为语义段；
步骤2：通过卷积神经网络定位人脸特征点；
步骤3：通过选取特征点与所述人脸标志曲线最近的标签数据进行采样计算计算步骤1所述人脸标志曲线与步骤2所述特征点距离的语义感知损失函数：
Figure BDA0002875881160000021
其中
Figure BDA0002875881160000022
和
Figure BDA0002875881160000023
代表第t个标签数据点的两个语义段，
Figure BDA0002875881160000024
为人脸标志点定位算法计算得出的人脸标志点，G为距离计算函数；
步骤4：利用采样法计算步骤3中所述语义感知损失函数的最小值，采样法的核心思想是随机抽取标签数据点的两个语义段上的多个任意点，计算随机抽取的任意点与人脸标志点之间的最小距离，从而计算语义感知损失函数的最小值，即：
Figure BDA0002875881160000025
其中，T代表随机抽取标签数据点的两个语义段上的任意点的个数，
Figure BDA0002875881160000026
为
Figure BDA0002875881160000027
的初始标签数据点，
Figure BDA0002875881160000028
为语义段上的第tm个采样点，H为定义的最小值函数；
步骤5：将步骤4中计算得出的语义感知损失函数的最小值反向传播至步骤2所述卷积神经网络，进行卷积神经网络参数更新，并保存最优模型用于人脸抠图。
优选地，步骤1所述的标签数据的数量与步骤2所述特征点的数量均为68个。
优选地，所述步骤2中的人脸特征点定位通过人脸标志点定位算法进行计算。
优选地，所述步骤3中的采样方法通过选取特征点与所述人脸标志曲线最近的标签数据进行计算。
优选地，所述步骤步骤2中的人脸标志点定位算法采用瞳孔间距离作为标准化项。
与现有技术相比，本发明具有如下有益效果：在人脸抠图过程中，通过减少语义歧义对数据标签进行采样分析后，可以获得相关性更强的网络模型，使抠图效果更加精准，另外使用语义归一化平均误差作为衡量标准来度量模型效果，可以使训练结果以客观维度展现人脸抠图的效果。
附图说明
附图1为本发明提出的一种基于语义感知损失的人脸标志点检测方法的流程图
具体实施方式
为使本发明的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1所述，为本发明提出的一种基于语义感知损失的人脸标志点检测方法，包括以下步骤：
步骤1：获取人脸待抠取图像，通过手动标记68个标签数据点后，对人脸标志曲线进行抠取，并将每两个相邻的标签数据点之间的曲线段称为语义段；
步骤2：通过卷积神经网络定位人脸特征点，人脸特征点定位通过人脸标志点定位算法进行计算，并采用瞳孔间距离作为标准化项；
步骤3：通过选取特征点与所述人脸标志曲线最近的标签数据进行采样计算计算步骤1所述人脸标志曲线与步骤2所述特征点距离的语义感知损失函数：
Figure BDA0002875881160000041
其中
Figure BDA0002875881160000042
和
Figure BDA0002875881160000043
代表第t个标签数据点的两个语义段，
Figure BDA0002875881160000044
为人脸标志点定位算法计算得出的人脸标志点，G为距离计算函数；
步骤4：利用采样法计算步骤3中所述语义感知损失函数的最小值，采样法的核心思想是随机抽取标签数据点的两个语义段上的多个任意点，计算随机抽取的任意点与人脸标志点之间的最小距离，从而计算语义感知损失函数的最小值，即：
Figure BDA0002875881160000045
其中，T代表随机抽取标签数据点的两个语义段上的任意点的个数，
Figure BDA0002875881160000046
为
Figure BDA0002875881160000047
的初始标签数据点，
Figure BDA0002875881160000048
为语义段上的第tm个采样点，H为定义的最小值函数；
步骤5：将步骤4中计算得出的语义感知损失函数的最小值反向传播至步骤2所述卷积神经网络，进行卷积神经网络参数更新，并保存最优模型用于人脸抠图。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于语义感知损失的人脸标志点检测方法，其特征在于，包括以下步骤：
步骤1：获取人脸待抠取图像，通过手动标记若干个标签数据点后，对人脸标志曲线进行抠取，并将每两个相邻的标签数据点之间的曲线段称为语义段；
步骤2：通过卷积神经网络定位人脸特征点；
步骤3：通过选取特征点与所述人脸标志曲线最近的标签数据进行采样计算计算步骤1所述人脸标志曲线与步骤2所述特征点距离的语义感知损失函数；
步骤4：利用采样法计算步骤3中所述语义感知损失函数的最小值；
步骤5：将步骤4中计算得出的语义感知损失函数的最小值反向传播至步骤2所述卷积神经网络，进行卷积神经网络参数更新，并保存最优模型用于人脸抠图。
2.根据权利要求1所述的一种基于语义感知损失的人脸标志点检测方法，其特征在于：步骤1所述的标签数据的数量与步骤2所述特征点的数量均为68个。
3.根据权利要求1所述的一种基于语义感知损失的人脸标志点检测方法，其特征在于：所述步骤2中的人脸特征点定位通过人脸标志点定位算法进行计算。
4.根据权利要求1所述的一种基于语义感知损失的人脸标志点检测方法，其特征在于：所述步骤3中的采样方法通过选取特征点与所述人脸标志曲线最近的标签数据进行计算。
5.根据权利要求3所述的一种基于语义感知损失的人脸标志点检测方法，其特征在于：所述步骤步骤2中的人脸标志点定位算法采用瞳孔间距离作为标准化项。
CN202011642933.2A 2020-12-30 2020-12-30 一种基于语义感知损失的人脸标志点检测方法 Active CN113111698B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011642933.2A CN113111698B (zh) 2020-12-30 2020-12-30 一种基于语义感知损失的人脸标志点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011642933.2A CN113111698B (zh) 2020-12-30 2020-12-30 一种基于语义感知损失的人脸标志点检测方法

Publications (2)

Publication Number Publication Date
CN113111698A true CN113111698A (zh) 2021-07-13
CN113111698B CN113111698B (zh) 2022-04-01

Family

ID=76709287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011642933.2A Active CN113111698B (zh) 2020-12-30 2020-12-30 一种基于语义感知损失的人脸标志点检测方法

Country Status (1)

Country Link
CN (1) CN113111698B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871099A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 人脸定位方法和装置
CN108764048A (zh) * 2018-04-28 2018-11-06 中国科学院自动化研究所 人脸关键点检测方法及装置
CN109214360A (zh) * 2018-10-15 2019-01-15 北京亮亮视野科技有限公司 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用
CN109670429A (zh) * 2018-12-10 2019-04-23 广东技术师范学院 一种基于实例分割的监控视频多目标人脸检测方法及系统
CN109858362A (zh) * 2018-12-28 2019-06-07 浙江工业大学 一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法
CN109948478A (zh) * 2019-03-06 2019-06-28 中国科学院自动化研究所 基于神经网络的大规模非均衡数据的人脸识别方法、系统
CN110276289A (zh) * 2019-06-17 2019-09-24 厦门美图之家科技有限公司 生成匹配模型的方法和人脸特征点追踪方法
CN110874587A (zh) * 2019-12-26 2020-03-10 浙江大学 一种人脸特征参数提取系统
CN111080670A (zh) * 2019-12-17 2020-04-28 广州视源电子科技股份有限公司 图像提取方法、装置、设备及存储介质
CN111368683A (zh) * 2020-02-27 2020-07-03 南京邮电大学 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法
CN111401257A (zh) * 2020-03-17 2020-07-10 天津理工大学 一种基于余弦损失非约束条件人脸识别方法
CN112069995A (zh) * 2020-09-04 2020-12-11 西安西图之光智能科技有限公司 一种深度域人脸稠密特征提取方法、系统和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871099A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 人脸定位方法和装置
CN108764048A (zh) * 2018-04-28 2018-11-06 中国科学院自动化研究所 人脸关键点检测方法及装置
CN109214360A (zh) * 2018-10-15 2019-01-15 北京亮亮视野科技有限公司 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用
CN109670429A (zh) * 2018-12-10 2019-04-23 广东技术师范学院 一种基于实例分割的监控视频多目标人脸检测方法及系统
CN109858362A (zh) * 2018-12-28 2019-06-07 浙江工业大学 一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法
CN109948478A (zh) * 2019-03-06 2019-06-28 中国科学院自动化研究所 基于神经网络的大规模非均衡数据的人脸识别方法、系统
CN110276289A (zh) * 2019-06-17 2019-09-24 厦门美图之家科技有限公司 生成匹配模型的方法和人脸特征点追踪方法
CN111080670A (zh) * 2019-12-17 2020-04-28 广州视源电子科技股份有限公司 图像提取方法、装置、设备及存储介质
CN110874587A (zh) * 2019-12-26 2020-03-10 浙江大学 一种人脸特征参数提取系统
CN111368683A (zh) * 2020-02-27 2020-07-03 南京邮电大学 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法
CN111401257A (zh) * 2020-03-17 2020-07-10 天津理工大学 一种基于余弦损失非约束条件人脸识别方法
CN112069995A (zh) * 2020-09-04 2020-12-11 西安西图之光智能科技有限公司 一种深度域人脸稠密特征提取方法、系统和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIN WEI，ET AL: "《Minimum margin loss for deep face recognition》", 《SCIENCEDIRECT》 *
孙贵华等: "《一种改进的RefineDet多尺度人脸检测方法》", 《人工智能》 *

Also Published As

Publication number Publication date
CN113111698B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
WO2018072233A1 (zh) 一种基于选择性搜索算法的车标检测识别方法及系统
CN106845397A (zh) 一种基于相似度度量的人脸确认方法
CN106503626A (zh) 基于深度图像与手指轮廓匹配的并指手势识别方法
CN111639629B (zh) 一种基于图像处理的猪只体重测量方法、装置及存储介质
CN106960181A (zh) 一种基于rgbd数据的行人属性识别方法
CN111339975A (zh) 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法
CN110598733A (zh) 一种基于交互建模的多标记距离度量学习方法
CN106874877A (zh) 一种结合局部和全局特征的无约束人脸验证方法
CN110232354A (zh) 一种指针式仪表通用识别方法
CN106485253A (zh) 一种最大粒度结构描述符的行人再辨识方法
CN105320948A (zh) 一种基于图像的性别识别方法、装置及系统
CN112926379A (zh) 一种构建人脸识别模型的方法及装置
CN105354842A (zh) 一种基于稳定区域的轮廓关键点配准与标识方法
CN101567045B (zh) 一种人脸特征点精确定位方法
CN106980845B (zh) 基于结构化建模的人脸关键点定位方法
CN113111698B (zh) 一种基于语义感知损失的人脸标志点检测方法
CN105740828B (zh) 一种基于快速标记连通的停止线检测方法
CN111582195B (zh) 一种汉语唇语单音节识别分类器构建方法
CN112069898A (zh) 基于迁移学习人脸族群属性的识别方法及装置
CN112069995B (zh) 一种深度域人脸稠密特征提取方法、系统和存储介质
TWI430187B (zh) License plate number identification method
CN105678321B (zh) 一种基于融合模型的人体姿态估计方法
CN105787479B (zh) 基于字符笔画结构的车牌二值化以及车牌字符提取方法
CN111428670B (zh) 人脸检测方法、装置、存储介质及设备
CN113221536A (zh) 一种基于自然语言分析文件中相似段落的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 214000 Ping An wealth center, financial first street, Binhu District, Wuxi City, Jiangsu Province

Applicant after: Wuxi Leqi Technology Co., Ltd

Address before: Building a, Cetus, Wuxi Software Park, No.18 Zhenze Road, Xinwu District, Wuxi City, Jiangsu Province, 214000

Applicant before: Wuxi Leqi Technology Co., Ltd

GR01 Patent grant
GR01 Patent grant