CN113111698B - 一种基于语义感知损失的人脸标志点检测方法 - Google Patents
一种基于语义感知损失的人脸标志点检测方法 Download PDFInfo
- Publication number
- CN113111698B CN113111698B CN202011642933.2A CN202011642933A CN113111698B CN 113111698 B CN113111698 B CN 113111698B CN 202011642933 A CN202011642933 A CN 202011642933A CN 113111698 B CN113111698 B CN 113111698B
- Authority
- CN
- China
- Prior art keywords
- semantic
- points
- face mark
- face
- perception loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明公开了一种基于语义感知损失的人脸标志点检测方法,该方法属于人脸识别技术领域。所述方法通过在标记标签数据点,计算人脸特征点后采用采样的方法计算语义感知损失函数,以此来代替传统技术中对人脸上非显著特征点直接通过损失函数计算的方法。本发明公开的目的是为了解决传统技术中出现的人脸标记中由于存在语义歧义导致抠图精准度降低的问题。通过语义感知损失函数训练的模型在实际计算中能够减少语义歧义,增强网络模型的相关性,使抠图效果更加精准。
Description
技术领域
本发明涉及人脸识别技术领域,特别是涉及一种基于语义感知损失的人脸标志点检测方法。
背景技术
人脸抠图技术广泛应用于各大计算机视觉识别的应用上,人脸抠图是通过确认人脸的若干个特征点后进行抠取,人脸的特征点包括显著特征点和非显著特征点,显著特征点位具有具体语义的点,包括眼角、嘴角和鼻尖等,非显著特征点则因为没有面部标注没有明确定义,从而没有对应明确的语义,包括但不限于面部边缘点,传统的方法是在采样后通过点对点的方式进行计算,从而获得损失函数,但是传统的采样方法对语义没有清晰的定义,尤其是非显著特征点,神经网络在采用面部标志点定位算法计算面部特征点时,非显著特征点带来的模糊性很容易导致模型训练陷入局部最小,很多实验结果都显示,在人脸抠图过程中,背景真值特征点的模糊性对梯度具有一定的影响,容易使得模型收敛到更差的局部最优,从而说明语义歧义性弱的显著特征点相较于语义歧义性强的显著特征点在最终结果上还原性更差,因此,在最后的模型训练结果中,可被接受的面部非显著特征点容易因为其模糊性导致其精确度降低,从而导致抠图的准确性降低。
发明内容
为了解决上述传统技术中出现的人脸标记中由于存在语义歧义导致抠图精准度降低的问题,本发明提出了一种基于语义感知损失的人脸标志点检测方法,包括以下步骤:
步骤1:获取人脸待抠取图像,通过手动标记若干个标签数据点后,对人脸标志曲线进行抠取,并将每两个相邻的标签数据点之间的曲线段称为语义段;
步骤2:通过卷积神经网络定位人脸特征点;
步骤3:通过选取特征点与所述人脸标志曲线最近的标签数据进行采样计算计算步骤1所述人脸标志曲线与步骤2所述特征点距离的语义感知损失函数:
步骤4:利用采样法计算步骤3中所述语义感知损失函数的最小值,采样法的核心思想是随机抽取标签数据点的两个语义段上的多个任意点,计算随机抽取的任意点与人脸标志点之间的最小距离,从而计算语义感知损失函数的最小值,即:
步骤5:将步骤4中计算得出的语义感知损失函数的最小值反向传播至步骤2所述卷积神经网络,进行卷积神经网络参数更新,并保存最优模型用于人脸抠图。
优选地,步骤1所述的标签数据的数量与步骤2所述特征点的数量均为68个。
优选地,所述步骤2中的人脸特征点定位通过人脸标志点定位算法进行计算。
优选地,所述步骤3中的采样方法通过选取特征点与所述人脸标志曲线最近的标签数据进行计算。
优选地,所述步骤步骤2中的人脸标志点定位算法采用瞳孔间距离作为标准化项。
与现有技术相比,本发明具有如下有益效果:在人脸抠图过程中,通过减少语义歧义对数据标签进行采样分析后,可以获得相关性更强的网络模型,使抠图效果更加精准,另外使用语义归一化平均误差作为衡量标准来度量模型效果,可以使训练结果以客观维度展现人脸抠图的效果。
附图说明
附图1为本发明提出的一种基于语义感知损失的人脸标志点检测方法的流程图
具体实施方式
为使本发明的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施方式,进一步阐述本发明。
如图1所述,为本发明提出的一种基于语义感知损失的人脸标志点检测方法,包括以下步骤:
步骤1:获取人脸待抠取图像,通过手动标记68个标签数据点后,对人脸标志曲线进行抠取,并将每两个相邻的标签数据点之间的曲线段称为语义段;
步骤2:通过卷积神经网络定位人脸特征点,人脸特征点定位通过人脸标志点定位算法进行计算,并采用瞳孔间距离作为标准化项;
步骤3:通过选取特征点与所述人脸标志曲线最近的标签数据进行采样计算计算步骤1所述人脸标志曲线与步骤2所述特征点距离的语义感知损失函数:
步骤4:利用采样法计算步骤3中所述语义感知损失函数的最小值,采样法的核心思想是随机抽取标签数据点的两个语义段上的多个任意点,计算随机抽取的任意点与人脸标志点之间的最小距离,从而计算语义感知损失函数的最小值,即:
步骤5:将步骤4中计算得出的语义感知损失函数的最小值反向传播至步骤2所述卷积神经网络,进行卷积神经网络参数更新,并保存最优模型用于人脸抠图。
尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于语义感知损失的人脸标志点检测方法,其特征在于,包括以下步骤:
步骤1:获取人脸待抠取图像,通过手动标记若干个标签数据点后,对人脸标志曲线进行抠取,并将每两个相邻的标签数据点之间的曲线段称为语义段;
步骤2:通过卷积神经网络定位人脸特征点;
步骤3:通过选取特征点与所述人脸标志曲线最近的标签数据进行采样计算计算步骤1所述人脸标志曲线与步骤2所述特征点距离的语义感知损失函数:
步骤4:利用采样法计算步骤3中所述语义感知损失函数的最小值,采样法的核心思想是随机抽取标签数据点的两个语义段上的多个任意点,计算随机抽取的任意点与人脸标志点之间的最小距离,从而计算语义感知损失函数的最小值,即:
步骤5:将步骤4中计算得出的语义感知损失函数的最小值反向传播至步骤2所述卷积神经网络,进行卷积神经网络参数更新,并保存最优模型用于人脸抠图。
2.根据权利要求1所述的一种基于语义感知损失的人脸标志点检测方法,其特征在于:步骤1所述的标签数据的数量与步骤2所述特征点的数量均为68个。
3.根据权利要求1所述的一种基于语义感知损失的人脸标志点检测方法,其特征在于:所述步骤2中的人脸特征点定位通过人脸标志点定位算法进行计算。
4.根据权利要求1所述的一种基于语义感知损失的人脸标志点检测方法,其特征在于:所述步骤3中的采样方法通过选取特征点与所述人脸标志曲线最近的标签数据进行计算。
5.根据权利要求3所述的一种基于语义感知损失的人脸标志点检测方法,其特征在于:所述步骤2中的人脸标志点定位算法采用瞳孔间距离作为标准化项。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011642933.2A CN113111698B (zh) | 2020-12-30 | 2020-12-30 | 一种基于语义感知损失的人脸标志点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011642933.2A CN113111698B (zh) | 2020-12-30 | 2020-12-30 | 一种基于语义感知损失的人脸标志点检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113111698A CN113111698A (zh) | 2021-07-13 |
CN113111698B true CN113111698B (zh) | 2022-04-01 |
Family
ID=76709287
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011642933.2A Active CN113111698B (zh) | 2020-12-30 | 2020-12-30 | 一种基于语义感知损失的人脸标志点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113111698B (zh) |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107871099A (zh) * | 2016-09-23 | 2018-04-03 | 北京眼神科技有限公司 | 人脸定位方法和装置 |
CN108764048A (zh) * | 2018-04-28 | 2018-11-06 | 中国科学院自动化研究所 | 人脸关键点检测方法及装置 |
CN109214360A (zh) * | 2018-10-15 | 2019-01-15 | 北京亮亮视野科技有限公司 | 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用 |
CN109670429A (zh) * | 2018-12-10 | 2019-04-23 | 广东技术师范学院 | 一种基于实例分割的监控视频多目标人脸检测方法及系统 |
CN109858362A (zh) * | 2018-12-28 | 2019-06-07 | 浙江工业大学 | 一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法 |
CN109948478A (zh) * | 2019-03-06 | 2019-06-28 | 中国科学院自动化研究所 | 基于神经网络的大规模非均衡数据的人脸识别方法、系统 |
CN110276289A (zh) * | 2019-06-17 | 2019-09-24 | 厦门美图之家科技有限公司 | 生成匹配模型的方法和人脸特征点追踪方法 |
CN110874587A (zh) * | 2019-12-26 | 2020-03-10 | 浙江大学 | 一种人脸特征参数提取系统 |
CN111080670A (zh) * | 2019-12-17 | 2020-04-28 | 广州视源电子科技股份有限公司 | 图像提取方法、装置、设备及存储介质 |
CN111368683A (zh) * | 2020-02-27 | 2020-07-03 | 南京邮电大学 | 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法 |
CN111401257A (zh) * | 2020-03-17 | 2020-07-10 | 天津理工大学 | 一种基于余弦损失非约束条件人脸识别方法 |
CN112069995A (zh) * | 2020-09-04 | 2020-12-11 | 西安西图之光智能科技有限公司 | 一种深度域人脸稠密特征提取方法、系统和存储介质 |
-
2020
- 2020-12-30 CN CN202011642933.2A patent/CN113111698B/zh active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107871099A (zh) * | 2016-09-23 | 2018-04-03 | 北京眼神科技有限公司 | 人脸定位方法和装置 |
CN108764048A (zh) * | 2018-04-28 | 2018-11-06 | 中国科学院自动化研究所 | 人脸关键点检测方法及装置 |
CN109214360A (zh) * | 2018-10-15 | 2019-01-15 | 北京亮亮视野科技有限公司 | 一种基于ParaSoftMax损失函数的人脸识别模型的构建方法及应用 |
CN109670429A (zh) * | 2018-12-10 | 2019-04-23 | 广东技术师范学院 | 一种基于实例分割的监控视频多目标人脸检测方法及系统 |
CN109858362A (zh) * | 2018-12-28 | 2019-06-07 | 浙江工业大学 | 一种基于倒置残差结构和角度联合损失函数的移动端人脸检测方法 |
CN109948478A (zh) * | 2019-03-06 | 2019-06-28 | 中国科学院自动化研究所 | 基于神经网络的大规模非均衡数据的人脸识别方法、系统 |
CN110276289A (zh) * | 2019-06-17 | 2019-09-24 | 厦门美图之家科技有限公司 | 生成匹配模型的方法和人脸特征点追踪方法 |
CN111080670A (zh) * | 2019-12-17 | 2020-04-28 | 广州视源电子科技股份有限公司 | 图像提取方法、装置、设备及存储介质 |
CN110874587A (zh) * | 2019-12-26 | 2020-03-10 | 浙江大学 | 一种人脸特征参数提取系统 |
CN111368683A (zh) * | 2020-02-27 | 2020-07-03 | 南京邮电大学 | 基于模约束CentreFace的人脸图像特征提取方法及人脸识别方法 |
CN111401257A (zh) * | 2020-03-17 | 2020-07-10 | 天津理工大学 | 一种基于余弦损失非约束条件人脸识别方法 |
CN112069995A (zh) * | 2020-09-04 | 2020-12-11 | 西安西图之光智能科技有限公司 | 一种深度域人脸稠密特征提取方法、系统和存储介质 |
Non-Patent Citations (2)
Title |
---|
《Minimum margin loss for deep face recognition》;Xin Wei,et al;《ScienceDirect》;20200131;全文 * |
《一种改进的RefineDet多尺度人脸检测方法》;孙贵华等;《人工智能》;20191231;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113111698A (zh) | 2021-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109800648A (zh) | 基于人脸关键点校正的人脸检测识别方法及装置 | |
CN106503626A (zh) | 基于深度图像与手指轮廓匹配的并指手势识别方法 | |
CN106845397A (zh) | 一种基于相似度度量的人脸确认方法 | |
CN111639629B (zh) | 一种基于图像处理的猪只体重测量方法、装置及存储介质 | |
CN106960181A (zh) | 一种基于rgbd数据的行人属性识别方法 | |
CN111339975A (zh) | 基于中心尺度预测与孪生神经网络的目标检测识别跟踪方法 | |
CN106485253A (zh) | 一种最大粒度结构描述符的行人再辨识方法 | |
CN112926379A (zh) | 一种构建人脸识别模型的方法及装置 | |
CN105320948A (zh) | 一种基于图像的性别识别方法、装置及系统 | |
CN101567045B (zh) | 一种人脸特征点精确定位方法 | |
CN113111698B (zh) | 一种基于语义感知损失的人脸标志点检测方法 | |
CN105740828B (zh) | 一种基于快速标记连通的停止线检测方法 | |
CN106980845B (zh) | 基于结构化建模的人脸关键点定位方法 | |
CN112069898A (zh) | 基于迁移学习人脸族群属性的识别方法及装置 | |
CN111582195A (zh) | 一种汉语唇语单音节识别分类器构建方法 | |
TWI430187B (zh) | License plate number identification method | |
CN115713776A (zh) | 一种基于深度学习的通用证件结构化识别方法和系统 | |
CN112069995B (zh) | 一种深度域人脸稠密特征提取方法、系统和存储介质 | |
CN105678321B (zh) | 一种基于融合模型的人体姿态估计方法 | |
CN111428670B (zh) | 人脸检测方法、装置、存储介质及设备 | |
CN113221536A (zh) | 一种基于自然语言分析文件中相似段落的方法及装置 | |
CN109583428B (zh) | 一种基于视频的法庭标牌识别方法 | |
CN112580620A (zh) | 标志图片处理方法、装置、设备和介质 | |
CN114266253B (zh) | 一种未标注数据的半监督命名实体识别的方法 | |
CN107481248A (zh) | 一种图像显著区域的提取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information | ||
CB02 | Change of applicant information |
Address after: 214000 Ping An wealth center, financial first street, Binhu District, Wuxi City, Jiangsu Province Applicant after: Wuxi Leqi Technology Co., Ltd Address before: Building a, Cetus, Wuxi Software Park, No.18 Zhenze Road, Xinwu District, Wuxi City, Jiangsu Province, 214000 Applicant before: Wuxi Leqi Technology Co., Ltd |
|
GR01 | Patent grant | ||
GR01 | Patent grant |