CN114418901B - 基于Retinaface算法的图像美颜处理方法、系统、存储介质及设备 - Google Patents
基于Retinaface算法的图像美颜处理方法、系统、存储介质及设备 Download PDFInfo
- Publication number
- CN114418901B CN114418901B CN202210321491.4A CN202210321491A CN114418901B CN 114418901 B CN114418901 B CN 114418901B CN 202210321491 A CN202210321491 A CN 202210321491A CN 114418901 B CN114418901 B CN 114418901B
- Authority
- CN
- China
- Prior art keywords
- face
- data
- image
- sub
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 45
- 238000003672 processing method Methods 0.000 title claims abstract description 21
- 238000003860 storage Methods 0.000 title claims abstract description 9
- 238000001514 detection method Methods 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000007781 pre-processing Methods 0.000 claims abstract description 29
- 230000003796 beauty Effects 0.000 claims abstract description 22
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 23
- 238000009499 grossing Methods 0.000 claims description 18
- 238000012805 post-processing Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 5
- 230000001629 suppression Effects 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 description 9
- 238000010586 diagram Methods 0.000 description 4
- 210000004709 eyebrow Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 241001396014 Priacanthus arenatus Species 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000005764 inhibitory process Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于Retinaface算法的图像美颜处理方法、系统、存储介质及设备，方法包括：获取原始图像数据，提取原始图像数据的多个数据特征，将数据特征合成特征金字塔再通过每一子网络进行特征检测，得到多个训练后的子网络，合并训练后的子网络得到训练后的主干网络，并建立目标检测模型；获取人脸数据并进行数据预处理，将数据预处理后的人脸数据通过目标检测模型获得多个人脸关键点坐标，通过人脸关键点得到美颜后的图像。上述基于Retinaface算法的图像美颜处理方法、系统、存储介质及设备，通过训练后的模型能够直接进行关键点检测，提高了检查速度，解决了现有技术中人脸关键点检测速度较低的问题。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种基于Retinaface算法的图像美颜处理方法、系统、存储介质及设备。
背景技术
随着移动设备算力的提升与神经网络模型优化的发展，在移动端本地实时进行人脸美颜并完成瘦脸的可能。
美颜是指利用图像处理技术对图像或视频中的人像进行美颜处理，以更好地满足用户的审美需求。在直播领域常常会涉及使用手机摄像头进行自拍或拍摄他人的场景，在这些场景中实时美颜被广泛需求，包括滤镜，瘦脸，大眼等功能，其中瘦脸，大眼功能依赖对人脸关键点的检测。Retinaface算法作为一款经典的人脸检测算法，常被用于人脸图像美化。
现有技术中，一般使用mtcnn或Retinaface进行人脸框检测，再根据所得人脸框截取图片中人脸以进行关键点检测。这种检测模式没有充分利用从Retinaface网络中提取出的特征金字塔，需要单独引入另一个模型来检测关键点，因而检测速度较低，尤其是在画面中有多个人脸时。
发明内容
基于此，本发明的目的是提供一种基于Retinaface算法的图像美颜处理方法、系统、存储介质及设备，用于解决现有技术中人脸关键点检测速度较低的问题。
本发明一方面提供一种基于Retinaface算法的图像美颜处理方法，所述方法包括：
获取原始图像数据，通过Retinaface算法中的主干网络提取所述原始图像数据的多个数据特征，并将多个所述数据特征合成特征金字塔，所述主干网络包括多个子网络，每一所述子网络提取不同维度大小的数据特征，所述子网络包括分类子网络，人脸框检测子网络以及人脸关键点子网络；
将合成特征金字塔后的数据特征通过每一所述子网络进行特征检测，得到多个训练后的子网络，合并多个所述训练后的子网络以得到训练后的主干网络，并通过所述训练后的主干网络建立目标检测模型；
获取人脸数据并将所述人脸数据进行数据预处理，将数据预处理后的人脸数据输入至所述目标检测模型以获得多个人脸关键点坐标，根据所述人脸关键点坐标确定人脸关键点，并将所述人脸关键点进行平滑处理以得到美颜后的图像。
上述基于Retinaface算法的图像美颜处理方法，通过将合成特征金字塔后的数据特征通过每一所述子网络进行特征检测，得到多个训练后的子网络，合并多个所述训练后的子网络以得到训练后的主干网络，并通过所述训练后的主干网络建立目标检测模型，充分利用从Retinaface网络中提取出的特征金字塔进行目标检测模型的训练，从而根据训练后的模型能够直接进行关键点检测，无需额外引入关键点检测模型，避免了现有技术中需要单独引入另一个模型来检测关键点而导致人脸关键点检测速度较低的技术方案，提高了检查速度，解决了现有技术中人脸关键点检测速度较低的问题。
另外，根据本发明上述的基于Retinaface算法的图像美颜处理方法，还可以具有如下附加的技术特征：
进一步地，在将所述人脸数据进行数据预处理的步骤中，所述数据预处理的方法包括：
获取目标视频数据，所述目标视频数据包括多帧图像；
将每一帧图像进行放缩以获得640*640像素的图像。
进一步地，所述将数据预处理后的人脸数据输入至所述目标检测模型以获得多个人脸关键点坐标的步骤包括：
将数据预处理后的图像输入至所述目标检测模型中，得到与所述数据预处理后的图像相对应的人脸框数据，将所述人脸框数据进行后处理以获得与所述后处理后的人脸框数据对应的人脸关键点坐标，所述后处理包括非极大抑制以及舍弃置信度低于0.8的框。
进一步地，所述合并多个所述训练后的子网络以得到训练后的主干网络的步骤包括：
分别计算每一所述子网络的损失函数，根据多个所述损失函数获得总损失函数；
通过所述总损失函数优化主干网络中的网络参数从而得到训练后的主干网络。
进一步地，所述将所述人脸关键点进行平滑处理以得到美颜后的图像的步骤包括：
根据所述人脸关键点分别通过局部平移法和园内放缩法以进行瘦脸和大眼变换以得到美颜后的图像。
进一步地，在将所述人脸关键点进行平滑处理以得到美颜后的图像的步骤中，所述平滑处理方法包括：
若当前帧图像检测结果与前一帧图像检测结果关键点之间的平均曼哈顿距离小于图像边长的0.05倍，则使用前一帧图像和当前帧图像检测结果的平均值作为当前帧图像的检测结果。
进一步地，所述获取原始图像数据的步骤包括：
获取原始视频数据，所述原始视频数据包括多帧原始图像；
将所述原始图像进行放缩以获得640*640像素的原始图像数据。
本发明另一方面提供一种基于Retinaface算法的图像美颜处理系统，所述系统包括：
获取模块，用于获取原始图像数据，通过Retinaface算法中的主干网络提取所述原始图像数据的多个数据特征，并将多个所述数据特征合成特征金字塔，所述主干网络包括多个子网络，每一所述子网络提取不同维度大小的数据特征，所述子网络包括分类子网络，人脸框检测子网络以及人脸关键点子网络；
训练模块，用于将合成特征金字塔后的数据特征通过每一所述子网络进行特征检测，得到多个训练后的子网络，合并多个所述训练后的子网络以得到训练后的主干网络，并通过所述训练后的主干网络建立目标检测模型；
美颜模块，用于获取人脸数据并将所述人脸数据进行数据预处理，将数据预处理后的人脸数据输入至所述目标检测模型以获得多个人脸关键点坐标，根据所述人脸关键点坐标确定人脸关键点，并将所述人脸关键点进行平滑处理以得到美颜后的图像。
本发明另一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的基于Retinaface算法的图像美颜处理方法。
本发明另一方面还提供一种数据处理设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述的基于Retinaface算法的图像美颜处理方法。
附图说明
图1为本发明第一实施例中基于Retinaface算法的图像美颜处理方法的流程图；
图2为本发明第二实施例中基于Retinaface算法的图像美颜处理方法的流程图；
图3为本发明中由106关键点数据集中提取出的关键点位置示意图；
图4为本发明中的基于Retinaface算法的图像美颜处理方法的原理示意图；
图5为本发明第三实施例中基于Retinaface算法的图像美颜处理系统的系统框图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
为优化实时美颜时移动设备cpu负载与人脸关键点检测速度，本发明提出一种基于Retinaface算法的人脸关键点检测模型和其训练方法用于实时美颜。通过修改后的Retinaface算法，具体对Retinaface中的关键点检测子网络进行修改，将其中1*1卷积输出数据通道数改为18，使其能预测出所需9个关键点用于瘦脸大眼，替换了现有的Retinaface网络只能使用5个关键点检测参与到总损失函数中的方案，本发明方法中，只使用一个多任务神经网络Retinaface算法进行9个关键点预测，提高了关键点检测速度，尤其是多人脸同时美颜时，本发明方法相较于传统方法有更快的预测速度和更低的cpu负载。具体的，如图4所示为本方法的原理示意图，本申请中的基于Retinaface算法的图像美颜处理方法包括训练部分和美颜部分，具体的，通过训练部分获得用于美颜的Retinaface关键点检测网络，而后，在美颜环节中，将图像预处理后的图像结合Retinaface关键点检测网络从而获得人脸关键点坐标，从而进行图像美颜，得到美颜图片。使用人脸关键点检测数据集训练修改后的Retinaface模型，然后使用训练所得模型进行9个人脸关键点预测，根据所得关键点使用局部平移法进行图像变换从而达到瘦脸，大眼的效果。
实施例一
请参阅图1，所示为本发明第一实施例中的基于Retinaface算法的图像美颜处理方法，所述方法包括步骤S101至步骤S103：
S101、获取原始图像数据，通过算法中的主干网络提取原始图像数据的多个数据特征，并将多个数据特征合成特征金字塔。
具体的，通过Retinaface算法中的主干网络提取原始图像数据的多个数据特征，主干网络包括多个子网络，每一子网络提取不同维度大小的数据特征，子网络包括分类子网络，人脸框检测子网络以及人脸关键点子网络。
S102、将合成特征金字塔后的数据特征通过每一子网络进行特征检测，得到多个训练后的子网络，合并多个训练后的子网络以得到训练后的主干网络，并通过训练后的主干网络建立目标检测模型。
S103、获取人脸数据并将人脸数据进行数据预处理，将数据预处理后的人脸数据输入至目标检测模型以获得多个人脸关键点坐标，根据人脸关键点坐标确定人脸关键点，并将人脸关键点进行平滑处理以得到美颜后的图像。
综上，本发明上述实施例当中的基于Retinaface算法的图像美颜处理方法，通过将合成特征金字塔后的数据特征通过每一所述子网络进行特征检测，得到多个训练后的子网络，合并多个所述训练后的子网络以得到训练后的主干网络，并通过所述训练后的主干网络建立目标检测模型，充分利用从Retinaface网络中提取出的特征金字塔进行目标检测模型的训练，从而根据训练后的模型能够直接进行关键点检测，无需额外引入关键点检测模型，避免了现有技术中需要单独引入另一个模型来检测关键点而导致人脸关键点检测速度较低的技术方案，提高了检查速度，解决了现有技术中人脸关键点检测速度较低的问题。
实施例二
请查阅图2，所示为本发明第二实施例中的基于Retinaface算法的图像美颜处理方法，所述方法包括步骤S201至步骤S203：
S201、获取原始图像数据，通过算法中的主干网络提取原始图像数据的多个数据特征，并将多个数据特征合成特征金字塔。
具体的，主干网络包括多个子网络，每一子网络提取不同维度大小的数据特征，子网络包括分类子网络，人脸框检测子网络以及人脸关键点子网络。
从原始图像数据中获取训练数据图片和坐标进行缩放为640*640像素，输入至主干网络中，具体的，使用MobilieNetV3(0.25倍)，作为Retinaface的主干网络，举例而非限定，在其他实施例中，还可以采用其他主干网络提取数据特征，例如SqueezeNet，ShuffleNetN等轻量型网络。
具体的，如图3所示为由106关键点数据集中提取出的关键点位置示意图。具体的，106关键点数据集指包含106个人脸关键点的图片与关键点信息的数据集，并非特指某个数据集，可以是任意满足条件的数据集，可以是公开的，也可以是自己制作的。可以理解的，现有公开的106关键点数据集关键点位置都是固定的，包含人脸边缘，眼，眉，嘴，鼻子轮廓的关键点。其中，标注序号的点是需要保留的点。使用公开数据集106关键点数据集，保留其标签中人脸检测框和第6，16，27，31，77，83，72，74，99个关键点，其余信息删除，制作成新的数据集。具体的，第6，16，27，31，77，83，72，74，99个关键点与图3中标记的关键点0，1，2，3，4，5，6，7，8相匹配。这些关键点分别在左脸颊底部，左脸颊中心，右脸颊中心，右脸颊底部，鼻尖，左眼中心，右眼中心，左眉毛中心，右眉毛中心。而后，将每张图片保持比例放缩至640*640像素，得到原始图像数据。
S202、将合成特征金字塔后的数据特征通过每一子网络进行特征检测，得到多个训练后的子网络，合并多个训练后的子网络以得到训练后的主干网络，并通过训练后的主干网络建立目标检测模型。
作为一个具体示例，合并多个训练后的子网络以得到训练后的主干网络的步骤包括：分别计算每一子网络的损失函数，根据多个损失函数获得总损失函数；通过总损失函数优化主干网络中的网络参数从而得到训练后的主干网络。在本申请中，保存训练完成的网络中主干网络和三个子网络，只保留前向传播过程。
在本实施例中，使用主干网络提取输入图片的特征，由不同的网络层提取出不同维度大小的特征图；再使用特征金字塔网络（FPN）和单阶段无头网络（SSH）提取出多层金字塔型特征；而后将金字塔型特征送入不同子网络完成不同子任务，包括分类子网络，人脸框检测子网络，人脸关键点子网络。进一步地，根据三种子网络分别计算出损失函数L cls ，L box ，L ldmk ，再由各个损失函数获得总损失函数，为L total = L cls +（γ 1 ×L box ×γ 2 ×L ldmk ）×P o ，再使用总损失函数反向传播优化网络参数，从而得到训练后的主干网络，具体的，L cls 是人脸分类损失，损失值为检测框中图像包含人脸的概率，分类采用归一化指数损失。L box 是预测人脸框坐标与标签人脸框坐标的DIOU损失。L ldmk 是9个关键点与标签中关键点的交叉熵损失。γ 1 和γ 2 是平衡L box 和L ldmk 的参数参考设置值为0.1和0.3，Po是锚框中包含人脸的概率。
作为一个具体示例，三种子网络是在SSH检测模块后加入不同的1×1卷积层构成，输出通道数分别为2，4，18。检测分支有三种，分别对应3种步长为32，16，8，每种步长对应2个幅度，对应锚框大小分别为32*32和16*16，8*8和4*4，2*2和1*1。步长为32的分支提取出的特征维度大小为20*20*256，步长为16的分支提取出的特征维度大小为40*40*256，步长为8的分支提取出的特征维度大小为80*80*256。把原Retinaface算法中关键点分支的增加到18个1×1卷积，数据输出通道数改为18，对应9个关键点的坐标。
模型训练可利用人脸关键点检测数据进行训练，包含 9个人脸关键点与人脸框。Retinaface人脸检测模型中人脸关键点检测分支中由4个1×1卷积层改为18个1×1卷积以预测9个关键点坐标值。损失函数中的超参数γ 1 和γ 2 调整，增大γ 2 的权重。
S203、获取人脸数据并将人脸数据进行数据预处理，将数据预处理后的人脸数据输入至目标检测模型以获得多个人脸关键点坐标，根据人脸关键点坐标确定人脸关键点，并将人脸关键点进行平滑处理以得到美颜后的图像。
具体的，将人脸关键点进行平滑处理以得到美颜后的图像的步骤包括：
根据人脸关键点分别通过局部平移法和圆内放缩法以进行瘦脸和大眼变换以得到美颜后的图像。
局部平移法和圆内放缩法实际指局部平移法和圆内放缩法的逆变换，由变形后的坐标反推原本的坐标，这样可以保证图像的连续。
局部平移法为一种映射关系，确定区域内向某个方向的移动距离，根据区域内每个点距离某固定点的距离决定区域内点向该固定点的移动距离。具体的，局部平移法的表现公式为：
其中，式中，
是原坐标位置向量，
是变换后的位置向量，
是圆心位置向量，r max 是整个圆半径长度，
是移动目标点坐标向量，k为瘦脸幅度。
圆内放缩法的公式为：
其中，式中fs(r)是移动过后的点坐标，r是当前点到圆心的距离，rmax是圆半径，a是大眼幅度。
具体的，数据预处理的方法包括：获取目标视频数据，目标视频数据包括多帧图像；将每一帧图像进行放缩以获得640*640像素的图像。
作为一个具体示例，将数据预处理后的人脸数据输入至目标检测模型以获得多个人脸关键点坐标的步骤包括：
将数据预处理后的图像输入至目标检测模型中，得到与数据预处理后的图像相对应的人脸框数据，将人脸框数据进行后处理以获得与后处理后的人脸框数据对应的人脸关键点坐标，后处理包括非极大抑制以及舍弃置信度低于0.8的框。
可以理解的，图像美颜的过程可以理解为：获取视频流图像或实时拍摄视频；使用训练好的模型预测采集到的图像中的人脸关键点；使用局部平移法和圆内放缩法根据所得关键点进行瘦脸和大眼变换。
在原图上使用局部平移法进行瘦脸操作，瘦脸区域为以脸颊中心关键点为圆心，脸颊底部关键点到脸颊中心关键点距离为半径的区域；平移目标点为鼻尖关键点。
在原图上使用局部放缩法进行大眼操作，使用眼球中心为圆心，眉毛中心到眼球中心的0.8倍为半径确定放大半径，进行大眼。
将变换过后的图像显示在手机屏幕上，作为摄像预览画面。
作为一个具体示例，在移动端应用实时瘦脸的过程如下：
使用手机摄像头拍摄视频。
将拍摄所得视频每一帧图像放缩至640*640像素。
将每一帧处理过后的图片输入训练所得网络，得到图片中人脸框坐标。
将得到的人脸框进行后处理，包括非极大抑制（Non-Maximum Suppression，NMS）和舍弃置信度低于0.8的框。
获取后处理之后人脸框对应的关键点坐标。
除启动摄像机后第一帧检测结果，之后所有检测结果进行平滑处理以得到美颜图像。
具体的，平滑处理公式为：
其中，式中Pldmk为表示处理后的关键点，Ppreldmk为表示上一帧视频中的关键点，Pcurldmk为表示当前帧视频中的关键点。需要进一步说明的是，Pldmk被认为是后续步骤所要用到的关键点；Pldmk、Ppreldmk以及Pcurldmk的维度都是9*2，表示9个关键点的x，y坐标。
平滑处理的意义为：若当前帧图像检测结果与前一帧图像检测结果关键点之间的平均曼哈顿距离小于图像边长的0.05倍，则使用前一帧图像和当前帧图像检测结果的平均值作为当前帧图像的检测结果。这样做可以有效的减少抖动，并且在人脸快速移动的时候不造成检测延迟。
综上，本发明上述实施例当中的基于Retinaface算法的图像美颜处理方法，通过将合成特征金字塔后的数据特征通过每一所述子网络进行特征检测，得到多个训练后的子网络，合并多个所述训练后的子网络以得到训练后的主干网络，并通过所述训练后的主干网络建立目标检测模型，充分利用从Retinaface网络中提取出的特征金字塔进行目标检测模型的训练，从而根据训练后的模型能够直接进行关键点检测，无需额外引入关键点检测模型，避免了现有技术中需要单独引入另一个模型来检测关键点而导致人脸关键点检测速度较低的技术方案，提高了检查速度，解决了现有技术中人脸关键点检测速度较低的问题。
实施例三
请参阅图5，所示为本发明第三实施例中的基于Retinaface算法的图像美颜处理系统，所述系统包括：
获取模块，用于获取原始图像数据，通过Retinaface算法中的主干网络提取所述原始图像数据的多个数据特征，并将多个所述数据特征合成特征金字塔，所述主干网络包括多个子网络，每一所述子网络提取不同维度大小的数据特征，所述子网络包括分类子网络，人脸框检测子网络以及人脸关键点子网络；
训练模块，用于将合成特征金字塔后的数据特征通过每一所述子网络进行特征检测，得到多个训练后的子网络，合并多个所述训练后的子网络以得到训练后的主干网络，并通过所述训练后的主干网络建立目标检测模型；
美颜模块，用于获取人脸数据并将所述人脸数据进行数据预处理，将数据预处理后的人脸数据输入至所述目标检测模型以获得多个人脸关键点坐标，根据所述人脸关键点坐标确定人脸关键点，并将所述人脸关键点进行平滑处理以得到美颜后的图像。
训练模块包括：
损失函数计算单元，用于根据所述分类子网络、所述人脸框检测子网络以及所述人脸关键点子网络分别计算出损失函数L cls ，L box ，L ldmk ，再由各个损失函数获得总损失函数，再使用总损失函数反向传播优化网络参数，从而得到训练后的主干网络，其中，总损失函数为L total = L cls +（γ 1 ×L box ×γ 2 ×L ldmk ）×P o ，L cls 是人脸分类损失，损失值为检测框中图像包含人脸的概率，分类采用归一化指数损失；L box 是预测人脸框坐标与标签人脸框坐标的DIOU损失；进一步的，DIOU损失可以理解为距离惩罚性重叠度损失；L ldmk 是9个关键点与标签中关键点的交叉熵损失。
在一些可选实施例中，美颜模块包括：
第一获取单元，用于获取目标视频数据，所述目标视频数据包括多帧图像；
第一放缩单元，用于将每一帧图像进行放缩以获得640*640像素的图像。
在一些可选实施例中，美颜模块包括：
后处理单元，用于将数据预处理后的图像输入至所述目标检测模型中，得到与所述数据预处理后的图像相对应的人脸框数据，将所述人脸框数据进行后处理以获得与所述后处理后的人脸框数据对应的人脸关键点坐标，所述后处理包括非极大抑制以及舍弃置信度低于0.8的框。
在一些可选实施例中，训练模块包括：
损失函数计算单元，用于分别计算每一所述子网络的损失函数，根据多个所述损失函数获得总损失函数；
优化单元，用于通过所述总损失函数优化主干网络中的网络参数从而得到训练后的主干网络。
在一些可选实施例中，美颜模块包括：
美颜处理单元，用于根据所述人脸关键点分别通过局部平移法和园内放缩法以进行瘦脸和大眼变换以得到美颜后的图像。
在一些可选实施例中，获取模块包括：
第二获取单元，用于获取原始视频数据，所述原始视频数据包括多帧原始图像；
第二放缩单元，用于将所述原始图像进行放缩以获得640*640像素的原始图像数据。
综上，本发明上述实施例当中的基于Retinaface算法的图像美颜处理系统，通过将合成特征金字塔后的数据特征通过每一所述子网络进行特征检测，得到多个训练后的子网络，合并多个所述训练后的子网络以得到训练后的主干网络，并通过所述训练后的主干网络建立目标检测模型，充分利用从Retinaface网络中提取出的特征金字塔进行目标检测模型的训练，从而根据训练后的模型能够直接进行关键点检测，无需额外引入关键点检测模型，避免了现有技术中需要单独引入另一个模型来检测关键点而导致人脸关键点检测速度较低的技术方案，提高了检查速度，解决了现有技术中人脸关键点检测速度较低的问题。
此外，本发明的实施例还提出一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述实施例中方法的步骤。
此外，本发明的实施例还提出一种数据处理设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述实施例中方法的步骤。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为例如，可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
Claims (9)
1.一种基于Retinaface算法的图像美颜处理方法，其特征在于，所述方法包括：
获取原始图像数据，通过Retinaface算法中的主干网络提取所述原始图像数据的多个数据特征，并将多个所述数据特征合成特征金字塔，所述主干网络包括多个子网络，每一所述子网络提取不同维度大小的数据特征，所述子网络包括分类子网络，人脸框检测子网络以及人脸关键点子网络；
将合成特征金字塔后的数据特征通过每一所述子网络进行特征检测，得到多个训练后的子网络，合并多个所述训练后的子网络以得到训练后的主干网络，并通过所述训练后的主干网络建立目标检测模型；
获取人脸数据并将所述人脸数据进行数据预处理，将数据预处理后的人脸数据输入至所述目标检测模型以获得多个人脸关键点坐标，根据所述人脸关键点坐标确定人脸关键点，并将所述人脸关键点进行平滑处理以得到美颜后的图像；
合并多个所述训练后的子网络以得到训练后的主干网络的步骤包括：
根据所述分类子网络、所述人脸框检测子网络以及所述人脸关键点子网络分别计算出损失函数L cls ，L box ，L ldmk ，再由各个损失函数获得总损失函数，再使用总损失函数反向传播优化网络参数，从而得到训练后的主干网络，其中，总损失函数为L total = L cls +（γ 1 ×L box × γ 2 ×L ldmk ）×P o ，L cls 是人脸分类损失，损失值为检测框中图像包含人脸的概率，分类采用归一化指数损失；L box 是预测人脸框坐标与标签人脸框坐标的DIOU 损失；L ldmk 是9个关键点与标签中关键点的交叉熵损失；γ 1 和γ 2 是平衡L box 和L ldmk 的参数，P o 是锚框中包含人脸的概率；
将所述人脸关键点进行平滑处理以得到美颜后的图像的步骤包括：若当前帧图像检测结果与前一帧图像检测结果关键点之间的平均曼哈顿距离小于图像边长的0.05倍，则使用前一帧图像和当前帧图像检测结果的平均值作为当前帧图像的检测结果；
其中，将所述人脸关键点进行平滑处理以得到美颜后的图像的步骤中，平滑处理公式为：
其中，式中P ldmk 为表示处理后的关键点，P preldmk 为表示上一帧视频中的关键点，P curldmk 为表示当前帧视频中的关键点。
2.根据权利要求1所述的基于Retinaface算法的图像美颜处理方法，其特征在于，在将所述人脸数据进行数据预处理的步骤中，所述数据预处理的方法包括：
获取目标视频数据，所述目标视频数据包括多帧图像；
将每一帧图像进行放缩以获得640*640像素的图像。
3.根据权利要求1所述的基于Retinaface算法的图像美颜处理方法，其特征在于，所述将数据预处理后的人脸数据输入至所述目标检测模型以获得多个人脸关键点坐标的步骤包括：
将数据预处理后的图像输入至所述目标检测模型中，得到与所述数据预处理后的图像相对应的人脸框数据，将所述人脸框数据进行后处理以获得与所述后处理后的人脸框数据对应的人脸关键点坐标，所述后处理包括非极大抑制以及舍弃置信度低于0.8的框。
4.根据权利要求1所述的基于Retinaface算法的图像美颜处理方法，其特征在于，所述合并多个所述训练后的子网络以得到训练后的主干网络的步骤包括：
分别计算每一所述子网络的损失函数，根据多个所述损失函数获得总损失函数；
通过所述总损失函数优化主干网络中的网络参数从而得到训练后的主干网络。
5.根据权利要求1所述的基于Retinaface算法的图像美颜处理方法，其特征在于，所述将所述人脸关键点进行平滑处理以得到美颜后的图像的步骤包括：
根据所述人脸关键点分别通过局部平移法和圆内放缩法以进行瘦脸和大眼变换以得到美颜后的图像。
6.根据权利要求1所述的基于Retinaface算法的图像美颜处理方法，其特征在于，所述获取原始图像数据的步骤包括：
获取原始视频数据，所述原始视频数据包括多帧原始图像；
将所述原始图像进行放缩以获得640*640像素的原始图像数据。
7.一种基于Retinaface算法的图像美颜处理系统，其特征在于，所述系统包括：
获取模块，用于获取原始图像数据，通过算法中的主干网络提取所述原始图像数据的多个数据特征，并将多个所述数据特征合成特征金字塔，所述主干网络包括多个子网络，每一所述子网络提取不同维度大小的数据特征，所述子网络包括分类子网络，人脸框检测子网络以及人脸关键点子网络；
训练模块，用于将合成特征金字塔后的数据特征通过每一所述子网络进行特征检测，得到多个训练后的子网络，合并多个所述训练后的子网络以得到训练后的主干网络，并通过所述训练后的主干网络建立目标检测模型；
美颜模块，用于获取人脸数据并将所述人脸数据进行数据预处理，将数据预处理后的人脸数据输入至所述目标检测模型以获得多个人脸关键点坐标，根据所述人脸关键点坐标确定人脸关键点，并将所述人脸关键点进行平滑处理以得到美颜后的图像；
训练模块包括：
损失函数计算单元，用于根据所述分类子网络、所述人脸框检测子网络以及所述人脸关键点子网络分别计算出损失函数L cls ，L box ，L ldmk ，再由各个损失函数获得总损失函数，再使用总损失函数反向传播优化网络参数，从而得到训练后的主干网络，其中，总损失函数为L total = L cls +（γ 1 ×L box ×γ 2 ×L ldmk ）×P o ， L cls 是人脸分类损失，损失值为检测框中图像包含人脸的概率，分类采用归一化指数损失；L box 是预测人脸框坐标与标签人脸框坐标的DIOU损失；L ldmk 是9个关键点与标签中关键点的交叉熵损失；γ 1 和γ 2 是平衡L box 和L ldmk 的参数，P o 是锚框中包含人脸的概率；
美颜模块包括：
若当前帧图像检测结果与前一帧图像检测结果关键点之间的平均曼哈顿距离小于图像边长的0.05倍，则使用前一帧图像和当前帧图像检测结果的平均值作为当前帧图像的检测结果；
其中，美颜模块中，平滑处理公式为：
其中，式中P ldmk 为表示处理后的关键点，P preldmk 为表示上一帧视频中的关键点，P curldmk 为表示当前帧视频中的关键点。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1－6任一所述的基于Retinaface算法的图像美颜处理方法。
9.一种数据处理设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1－6任一所述的基于Retinaface算法的图像美颜处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210321491.4A CN114418901B (zh) | 2022-03-30 | 2022-03-30 | 基于Retinaface算法的图像美颜处理方法、系统、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210321491.4A CN114418901B (zh) | 2022-03-30 | 2022-03-30 | 基于Retinaface算法的图像美颜处理方法、系统、存储介质及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114418901A CN114418901A (zh) | 2022-04-29 |
| CN114418901B true CN114418901B (zh) | 2022-08-09 |
Family
ID=81264203
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210321491.4A Active CN114418901B (zh) | 2022-03-30 | 2022-03-30 | 基于Retinaface算法的图像美颜处理方法、系统、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114418901B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787878A (zh) * | 2016-02-25 | 2016-07-20 | 杭州格像科技有限公司 | 一种美颜处理方法及装置 |
| CN108875521A (zh) * | 2017-12-20 | 2018-11-23 | 北京旷视科技有限公司 | 人脸检测方法、装置、系统和存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469081B (zh) * | 2016-01-15 | 2019-03-22 | 成都品果科技有限公司 | 一种用于美颜的人脸关键点定位方法及系统 |
| US10032067B2 (en) * | 2016-05-28 | 2018-07-24 | Samsung Electronics Co., Ltd. | System and method for a unified architecture multi-task deep learning machine for object recognition |
| CN110222565A (zh) * | 2019-04-26 | 2019-09-10 | 合肥进毅智能技术有限公司 | 一种人脸检测方法、装置、电子设备及存储介质 |
| CN111079686B (zh) * | 2019-12-25 | 2023-05-23 | 开放智能机器（上海）有限公司 | 一种单阶段的人脸检测和关键点定位方法及系统 |
| CN111738077A (zh) * | 2020-05-19 | 2020-10-02 | 云知声智能科技股份有限公司 | 一种人脸检测和对齐方法及装置 |
| CN112528977B (zh) * | 2021-02-10 | 2021-07-02 | 北京优幕科技有限责任公司 | 目标检测方法、装置、电子设备和存储介质 |
| CN113743243A (zh) * | 2021-08-13 | 2021-12-03 | 厦门大学 | 一种基于深度学习的人脸美颜方法 |
| CN113420745B (zh) * | 2021-08-25 | 2021-12-24 | 江西中业智能科技有限公司 | 基于图像的目标识别方法、系统、存储介质及终端设备 |
-
2022
- 2022-03-30 CN CN202210321491.4A patent/CN114418901B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105787878A (zh) * | 2016-02-25 | 2016-07-20 | 杭州格像科技有限公司 | 一种美颜处理方法及装置 |
| CN108875521A (zh) * | 2017-12-20 | 2018-11-23 | 北京旷视科技有限公司 | 人脸检测方法、装置、系统和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114418901A (zh) | 2022-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ni et al. | Towards unsupervised deep image enhancement with generative adversarial network | |
| Grishchenko et al. | Attention mesh: High-fidelity face mesh prediction in real-time | |
| CN108921782B (zh) | 一种图像处理方法、装置及存储介质 | |
| WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
| CN110610526B (zh) | 一种基于wnet对单目人像进行分割和景深渲染的方法 | |
| CN110958469A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| CN108198130B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111292262B (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| RU2770748C1 (ru) | Способ и аппарат для обработки изображений, устройство и носитель данных | |
| WO2023066120A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN114782864B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| CN109961397B (zh) | 图像重建方法及设备 | |
| RU2764144C1 (ru) | Быстрый двухслойный нейросетевой синтез реалистичных изображений нейронного аватара по одному снимку | |
| CN115294055A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
| CN107766803A (zh) | 基于场景分割的视频人物装扮方法、装置及计算设备 | |
| CN114418901B (zh) | 基于Retinaface算法的图像美颜处理方法、系统、存储介质及设备 | |
| CN113902636A (zh) | 图像去模糊方法及装置、计算机可读介质和电子设备 | |
| US20240013358A1 (en) | Method and device for processing portrait image, electronic equipment, and storage medium | |
| CN113610720A (zh) | 视频去噪方法及装置、计算机可读介质和电子设备 | |
| CN107945139A (zh) | 一种图像处理方法、存储介质及智能终端 | |
| Wang et al. | Exposure fusion using a relative generative adversarial network | |
| Hua et al. | Low-light image enhancement based on joint generative adversarial network and image quality assessment | |
| CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 | |
| CN109359687B (zh) | 视频风格转换处理方法和装置 | |
| Shin et al. | Adversarial context aggregation network for low-light image enhancement |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |