CN112750071A - 一种用户自定义的表情制作方法及系统 - Google Patents
一种用户自定义的表情制作方法及系统 Download PDFInfo
- Publication number
- CN112750071A CN112750071A CN202011216624.9A CN202011216624A CN112750071A CN 112750071 A CN112750071 A CN 112750071A CN 202011216624 A CN202011216624 A CN 202011216624A CN 112750071 A CN112750071 A CN 112750071A
- Authority
- CN
- China
- Prior art keywords
- face
- foreground
- face image
- mask
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000014509 gene expression Effects 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000009466 transformation Effects 0.000 claims abstract description 90
- 239000011159 matrix material Substances 0.000 claims abstract description 38
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 27
- 101710119980 Macrophage migration inhibitory factor Proteins 0.000 claims description 57
- 238000009499 grossing Methods 0.000 claims description 22
- 238000005516 engineering process Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 18
- 238000013519 translation Methods 0.000 claims description 18
- 238000001914 filtration Methods 0.000 claims description 8
- 230000009467 reduction Effects 0.000 claims description 8
- 230000003321 amplification Effects 0.000 claims description 7
- 238000006073 displacement reaction Methods 0.000 claims description 7
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 7
- 210000001525 retina Anatomy 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 5
- 239000000463 material Substances 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 claims 2
- 230000015654 memory Effects 0.000 description 18
- 230000005291 magnetic effect Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000008451 emotion Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 101000950847 Homo sapiens Macrophage migration inhibitory factor Proteins 0.000 description 1
- 101000985642 Homo sapiens Metallothionein-3 Proteins 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000029152 Small face Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4023—Decimation- or insertion-based scaling, e.g. pixel or line decimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4046—Scaling the whole image or part thereof using neural networks
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Abstract
本发明涉及表情制作技术领域，提供了一种用户自定义的表情制作方法及系统，方法包括：获取前景人脸图像和GIF背景，将GIF背景解帧为PNG图片，提取PNG图片中的掩膜mask；对前景人脸图像进行人脸识别，获取人脸关键点，同时获取掩膜mask的轮廓，拟合外切方形，对人脸关键点的坐标按照外切方形进行旋转、缩放和平移的调整；由前景图像中人脸关键点坐标和按外切方形调整后的人脸关键点坐标计算仿射变换矩阵，并对前景人脸图像进行仿射变换；将调整后的GIF背景的掩膜mask内的像素替换为变换后的前景人脸图像对应位置的像素值。可从已有输入法装置中的表情中选择自己喜爱的表情，对其面部替换成自己或者他人的面部。
Description
技术领域
本发明涉及表情制作的技术领域，具体涉及一种用户自定义的表情制作方法及系统。主要作用于输入法，可供用户自定义表情，将自己的面部替换到相关的GIF表情中，增加表情及输入法的趣味性。
背景技术
基于表情的输入方法，一种是，在“CN104063683B--一种基于人脸识别的表情输入方法和装置”中公开的：首先获取用户人脸图像，对面部表情进行识别，其进行表情识别并对其进行分类，获得相应的情感标签后，如果用户要对其使用，则选择用户所表达情感相对应的表情。另外一种是在“CN105929976A--一种基于输入法的动态表情输入方法及其系统”中公开的：通过获取用户当前输入的字符串，与远端服务器中进行模糊匹配，以获取动态表情图，以供用户使用。上述两种类别中，都是通过识别用户面部表情情感类别或者对字符串进行匹配，从而反馈于用户想要选择的表情图片；在此过程中，不论是表情识别技术、情感分类，还是对字符串的模糊匹配，都有其不确定性，存在对面部表情识别和文字匹配不准确的因素存在，从而影响用户想要表达的真实情感，而最终对用户呈现出不准确的表情，降低了用户体验。
基于自定义的人脸表情的输入，一般的依赖于人脸识别技术对人脸进行识别，传统的方法依赖于人工设计的特征(比如边和纹理的描述量)与机器学习技术(主成分分析、线性判断或支持向量机等)的组合。人工设计在无约束环境中对不同变化情况稳健的特征是很困难的，这使得过去的研究者侧重研究针对每种变化类型的专用方法，比如能应对不同年龄的方法[U.Park,Y.Tong,and A.K.Jain,“Age-invariant face recognition,”IEEEtransactions on pattern analysis and machine intelligence,vol.32,no.5,pp.947–954,2010；Z.Li,U.Park,and A.K.Jain,“A discriminative model for age invariantface recognition,”IEEE transactions on information forensics and security,vol.6,no.3,pp.1028–1037,2011.]。传统的人脸识别方法[周杰，人脸自动识别方法综述[J],电子学报，2000]，还有基于几何特征方法，一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的集合形状为分类特征[R.Brunelli,T.Poggio.IEEETrans.PAMI,1993,15:1042～1052]；一般几何特征只描述了部件的基本形状与结构关系，忽略了局部的细微特征，造成部分信息的丢失，从而对识别的准确度也造成一定程度的影响。还有采用神经网络降维方法然而传统的神经网络在面对巨大的网络参数问题时，会束手无策，还会有过拟合等问题，不能高效的训练数据量大的原始图像集，特征提取精度也会随之降低。总而言之，传统的人脸识别算法存在以下问题：其所产生并使用的特征可以被认为属于浅层特征，而且不能从原始图像中获取更加深入的高语义特征以及其深度特征；为了获得更好的识别效果，这些传统人脸识别算法必须结合人造特征的帮助，而人为设定的特征提取和识别过程中通常会带来不可期望的人为因素和误差；在没有人为干预的情况下，传统人脸识别算法往往不能自动地从原始图像中提取有用的识别特征，而且当面对大数据的情况下，传统方法往往展现出自身存在的不足和困难。
进一步地，在现有技术中，为了弥补传统的人脸识别算法存在的问题，提出了基于深度学习的人脸识别技术，但是CNN、VGG网络等存在着难易训练，识别不准确等因素，从经验来看，网络的深度对模型的性能至关重要，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，然而随着网络深度(层数)的不断增加，网络准确度出现饱和，甚至下降。
发明内容
针对上述问题，本发明的目的在于提供一种用户自定义的表情制作方法及系统，用户可通过获取自己或者他人面部，从已有输入法装置中的表情中选择自己喜爱的表情，对其面部可替换成自己或者他人的面部。在聊天的过程中，不仅增加了其趣味性，而且更能直观、丰富的表达用户的真实情感。本发明专利所采用的人脸识别方法RetinaFace，鲁莽性强、快捷高效，通过对人脸关键点的定位，准确的识别了人脸，且经测试在相关人脸检测数据集上达99.86％。
本发明的上述发明目的是通过以下技术方案得以实现的：
一种用户自定义的表情制作方法，其特征在于，包括以下步骤：
S1：获取用于替换到GIF表情中的前景人脸图像，同时获取作为自定义表情背景的带有掩膜mask的GIF背景，并将所述GIF背景解帧为PNG图片，提取所述PNG图片中的alpha通道作为所述掩膜mask，RGB通道作为背景图片；
S2：使用人脸检测的RetinaFace技术，对前景人脸图像进行人脸识别，获取前景人脸图像中的人脸关键点，同时获取所述掩膜mask的轮廓，拟合外切方形，对前景人脸图像中的人脸关键点的坐标按照所述外切方形使用包括缩放平移、角度调整在内的第一变换矩阵进行调整，得到调整后的人脸关键点坐标；
S3：由前景人脸图像中的人脸关键点坐标和按外切方形调整后的人脸关键点坐标计算第二变换矩阵，并对前景人脸图像进行仿射变换，得到变换后的前景人脸图像；
S4：将所述调整后的GIF背景的所述掩膜mask内的像素替换为所述变换后的前景人脸图像对应位置的像素值，得到换脸后的表情。
进一步地，在步骤S2中，使用所述第一变换矩阵，对所述人脸关键点按照所述掩膜mask的轮廓拟合的所述外切方形进行缩放平移，具体为：
针对于包括左眼中心、右眼中心、鼻尖、左嘴角、右嘴角在内的所述人脸关键点的坐标，加入所述人脸关键点中所有坐标的x值与y值的最小值与最大值进行自身的计算调整；
使用根据实际应用场景设置的缩放因子，以及已有人脸数据集中的标准脸的鼻子坐标和人脸的宽、高进行缩放位移调整。
进一步地，在步骤S2中，使用所述第一变换矩阵，对所述人脸关键点按照所述掩膜mask的轮廓拟合的所述外切方形进行角度调整，具体为：
根据GIF面部轮廓的偏移角度，进行角度旋转调整，调整后的GIF面部轮廓为正脸。
进一步地，在步骤S3中，使用进行将所述前景人脸图像中的人脸关键点变换到所述掩膜mask所在位置内的第二变换矩阵，对所述前景人脸图像进行所述仿射变换，得到变换后的前景人脸图像，具体包括：
所述第二变换矩阵，由所述前景人脸图像中的人脸关键点和按所述掩膜mask的轮廓拟合的外切方形调整后的GIF背景中的人脸关键点之间的变换关系获得；
对所述前景人脸图像进行所述仿射变换，即可将所述前景人脸图像变换到所述掩膜mask所在的位置内，得到所述变换后的前景人脸图像；
其中，所述仿射变换是通过第二变换矩阵和旋转角度的调整将人脸图像上的点变换到所述掩膜mask内，包括线性变换和平移变换在内的变换。
进一步地，用户自定义的表情制作方法，还包括：
S5：对所述掩膜mask的轮廓附近明显的锯齿进行平滑处理，具体为：
对换脸后的表情进行包括卷积滤波在内的平滑处理，得到平滑后的所述换脸后的表情；
将轮廓分别进行预设个数的像素的放大和缩小，得到放大和缩小的两个轮廓；
将未平滑处理的所述换脸后的表情两个轮廓中间的条带区域的像素值，替换为平滑后的所述换脸后的表情对应位置的像素值，保证轮廓附近的锯齿被平滑，而其他区域的质量不受影响。
一种用户自定义的表情制作系统，包括：
素材获取模块，用于获取用于替换到GIF表情中的前景人脸图像，同时获取作为自定义表情背景的带有掩膜mask的GIF背景，并将所述GIF背景解帧为PNG图片，提取所述PNG图片中的alpha通道作为所述掩膜mask，RGB通道作为背景图片；
人脸第一变换模块，用于使用人脸检测的RetinaFace技术，对前景人脸图像进行人脸识别，获取所述前景人脸图像中的人脸关键点，同时获取所述掩膜mask的轮廓，拟合外切方形，对前景人脸图像中的人脸关键点的坐标按照所述外切方形使用包括缩放平移、角度调整在内的第一变换矩阵进行调整，得到调整后的人脸关键点坐标；
人脸第二变换模块，用于由所述前景人脸图像中的人脸关键点坐标和按外切方形调整后的人脸关键点坐标计算第二变换矩阵，并对前景人脸图像进行仿射变换，得到变换后的前景人脸图像；
像素替换模块，用于将所述调整后的GIF背景的所述掩膜mask内的像素替换为所述变换后的前景人脸图像对应位置的像素值，得到换脸后的表情。
进一步地，所述人脸第一变换模块，具体包括：
人脸检测单元，用于使用人脸检测的RetinaFace技术，对所述前景人脸图像进行人脸识别，获取所述前景人脸图像中的人脸关键点；
缩放平移单元，用于针对于包括左眼中心、右眼中心、鼻尖、左嘴角、右嘴角在内的所述人脸关键点的坐标，加入所述人脸关键点中所有坐标的x值与y值的最小值与最大值进行自身的计算调整；使用根据实际应用场景设置的缩放因子，以及已有人脸数据集中的标准脸的鼻子坐标和人脸的宽、高进行缩放位移调整；
角度调整单元，用于根据GIF面部轮廓的偏移角度，进行角度旋转调整，调整后的GIF面部轮廓为正脸。
进一步地，所述人脸第二变换模块，具体包括：
人脸仿射变换单元，用于使用进行将所述前景人脸图像中的人脸关键点变换到所述掩膜mask按外切方形调整后人脸关键点所在位置内的第二变换矩阵，对所述前景人脸图像进行仿射变换，得到变换后的前景人脸图像。
进一步地，用户自定义的表情制作系统，还包括：
平滑处理模块，用于对所述掩膜mask的轮廓附近明显的锯齿进行平滑处理，具体为：对换脸后的表情进行包括卷积滤波在内的平滑处理，得到平滑后的所述换脸后的表情；将轮廓分别进行预设个数的像素的放大和缩小，得到放大和缩小的两个轮廓；将未平滑处理的所述换脸后的表情两个轮廓中间的条带区域的像素值，替换为平滑后的所述换脸后的表情对应位置的像素值，保证轮廓附近的锯齿被平滑，而其他区域的质量不受影响。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如上述的用户自定义的表情制作方法被执行。
与现有技术相比，本发明包括以下至少一种有益效果是：
(1)通过提供一种用户自定义的表情制作方法，包括步骤：S1：获取用于替换到GIF表情中的前景人脸图像，同时获取作为自定义表情背景的带有掩膜mask的GIF背景，并将所述GIF背景解帧为PNG图片，提取所述PNG图片中的alpha通道作为所述掩膜mask，RGB通道作为背景图片；S2：使用人脸检测的RetinaFace技术，对前景人脸图像进行人脸识别，获取所述前景人脸图像中的人脸关键点，同时获取所述掩膜mask的轮廓，拟合外切方形，对前景人脸图像中的人脸关键点的坐标按照所述外切方形使用包括缩放平移、角度调整在内的第一变换矩阵进行调整，得到调整后的人脸关键点坐标；S3：由所述前景人脸图像中的人脸关键点坐标和按外切方形调整后的人脸关键点坐标计算第二变换矩阵，并对前景人脸图像进行仿射变换，得到变换后的前景人脸图像；S4：将所述调整后的GIF背景的所述掩膜mask内的像素替换为所述变换后的前景人脸图像对应位置的像素值，得到换脸后的表情。上述技术方案，使用户在使用聊天工具时，可自定义表情，将自己的面部更换到已有的GIF表情中，增加了聊天趣味性，且更能直观的、突出的表现用户的情感表达。且使用包括缩放平移、角度调整在内的处理第一变换矩阵对GIF背景进行调整，使用进行将所述前景人脸图像中的人脸关键点变换到所述掩膜mask所在位置内的第二变换矩阵，对所述前景人脸图像进行仿射变换，使得最终形成的自定义的表情中人脸与原始GIF图像贴合性更加的高。
(2)通过对所述掩膜mask的轮廓附近明显的锯齿进行平滑处理，且将轮廓分别进行预设个数的像素的放大和缩小，得到放大和缩小的两个轮廓；将未平滑处理的所述换脸后的表情两个轮廓中间的条带区域的像素值，替换为平滑后的所述换脸后的表情对应位置的像素值，保证轮廓附近的锯齿被平滑，而其他区域的质量不受影响。
附图说明
图1为本发明一种用户自定义的表情制作方法的整体流程图；
图2为本发明mask旋转示意图；
图3为本发明单阶段密集面定位示意图；
图4为本发明用户自定义GIF表情制作最终效果展示示意图；
图5为本发明一种用户自定义的表情制作系统的整体结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本发明主要应用于输入法装置，用户可选择自己感兴趣的GIF表情，其不局限于只有人的GIF表情，也还包括动物等；将其面部替换为用户自定义的面部，也即将用户自己的面部替换到GIF表情中，提升了聊天的趣味性、更能丰富表达用户聊天时的情感或者心情。
与以往聊天工具中所使用的表情相比，本发明中表情更能体现聊天过程中的真实性，且更能够表达用户真实的情感思想，具体的实施方式如下：
第一实施例
如图1所示，本实施例提供了一种用户自定义的表情制作方法，包括以下步骤：
S1：获取用于替换到GIF表情中的前景人脸图像，同时获取作为自定义表情背景的带有掩膜mask的GIF背景，并将所述GIF背景解帧为PNG图片，提取所述PNG图片中的alpha通道作为所述掩膜mask，RGB通道作为背景图片。
具体地，在本实施例中，在创建自定义的表情之前，需要首先获取到需替换到GIF表情中前景人脸图像以及作为背景的GIF背景。前景人脸图像可以是选择相册中已保存的人脸图像，也可以是通过照相机实时拍摄的人脸图像。作为背景的GIF背景图像需要带有掩膜mask，用于后续通过获取掩膜mask的轮廓，通过替换轮廓内的像素为前景人脸图像的像素，即可以实现自定义的带有人脸的GIF表情。
S2：：使用人脸检测的RetinaFace技术，对前景人脸图像进行人脸识别，获取前景人脸图像中的人脸关键点，同时获取所述掩膜mask的轮廓，拟合外切方形，对前景人脸图像中的人脸关键点的坐标按照所述外切方形使用包括缩放平移、角度调整在内的第一变换矩阵进行调整，得到调整后的人脸关键点坐标。
在本步骤中，首先，使用人脸检测的RetinaFace技术，对所述前景人脸图像进行人脸识别，获取所述前景人脸图像中的人脸关键点，具体包括：
使用RetinaFace(人脸检测技术)对前景人脸图像进行人脸识别，并获得人脸的五个关键点：左眼中心A(xA,yA)、右眼中心B(xB,yB)、鼻尖C(xC,yC)、左嘴角D(xD,yD)、右嘴角Z(xZ,yZ)。由人脸关键点和上述步骤S2中掩膜mask内对应的标准关键点获得的第二变换矩阵，对前景人脸图像进行仿射变换，即可将人脸变换到掩码mask所在的位置内，得到变换后的前景人脸；其中仿射变换是通过第二变换矩阵和旋转角度θ将人脸图像上的点变换到掩膜mask内，主要是通过线性变换和平移变换；
其中，RetinaFace是利用联合监督和自我监督的多任务学习，在各种人脸尺度上执行像素方面的人脸定位。
其本质是基于single-stage的设计，提出了RetinaFace的像素面部定位方法，该方法采用多任务学习策略，同时预测面部评分，面部框，五个面部标志，以及每个面部的3D位置和面部像素对应关系。
具体地，所采用的RetinaFace基于具有独立上下文模块的特征金字塔、单阶single-stage检测方法，采用多任务学习策略。特征金字塔通过滑动anchor再多尺度特征图上更能全面的表达面部特征表示；single-stage单阶段方法对面部位置和尺度进行了密集采样，通过抽样和重新加权的方法，相比于两阶段Two-stage方法，其更有效且具有更高的召回率；为了增强模型的上下文推理能力及捕获小人脸，在特征金字塔上应用上下文模块来扩大欧几里得网格的感受野，增强人脸检测的性能。
RetinaNet的结构如下：
如图3所示，为单阶段密集面定位方法的概述示意图。RetinaFace是基于具有独立上下文模块的特征金字塔设计的。在上下文模块之后，我们计算每个锚的多任务损失。
A：多任务损失
对于每一个训练anchor i，最小化多任务损失为：
上式中，人脸分类损失
中,pi表示预测anchor i为人脸的概率，
表示真值，正样本anchor为1，负样本anchor为0；分类损失Lcls为softmax损失，对应于二分类(是人脸/不是人脸)；人脸框回归损失
其中
表示真样本与anchor对应的预测框的位置和真实标注框的位置。
归一化box回归目标并使用
其中R表示smooth_L1鲁棒性回归函数；
人脸关键点回归函数
其中，li＝(lx1,ly1,…,lx5,ly5)i,
分别表示正样本人脸anchor 5个关键点的预测和真值。与box中心回归一致，人脸的五个关键点也会根据anchor中心进行目标归一化。
密集回归公式如下:
其中，W、H分别为anchor区域
的宽和高。
B:密集回归分支
网格编码(Mesh Decoder)直接利用网格编码器(网格卷积和网格上采样)，也即基于快速局部谱滤波器(fast localised spectral filtering)的图卷积方法。为了获得更快的速度，则联合形状和上下文解码。
进一步地，通过第一变换矩阵进行调整，包括以下两个细化步骤：
(1)使用所述第一变换矩阵，对所述人脸关键点按照所述掩膜mask中的所述外切方形进行缩放平移，具体为：
(11)针对于包括左眼中心、右眼中心、鼻尖、左嘴角、右嘴角在内的所述人脸关键点的坐标，加入所述人脸关键点中所有坐标的x值与y值的最小值与最大值进行自身的计算调整，以下通过具体公式进行说明：
获取掩膜mask的轮廓，拟合外切方向，得到方形的中心坐标C(xo,yo)，及其宽高w，h；
假设RetinaFace检测出的人脸关键点分别为：左眼中心坐标A(xa,ya),右眼中心B(xb,yb),鼻尖C(xc,yc),左嘴角D(xd,yd)，右嘴角Z(xz,yz)，以及外切方形中心轴与y轴的旋转角度；将mask中人脸关键点按外切方形进行如下调整：
其中，
xmin＝min(xa,xb,xc,xd,xz)，
xmax＝max(xa,xb,xc,xd,xz)
ymin＝min(ya,yb,yc,yd,yz)
ymax＝max(ya,yb,yx,yd,yz)
(12)使用根据实际应用场景设置的缩放因子，以及已有人脸数据集中的标准脸的鼻子坐标和人脸的宽、高进行缩放位移调整，以下通过具体公式进行说明：
其中f为缩放因子factor，可根据实际应用场景进行调整，其取值为常数；已知从已有人脸数据集(如CASIA)中获得的标准脸中鼻子坐标为(48，72)，宽、高为(96，112)，所以对T1中所有y坐标进行72/112的位移处理。其中标准脸的坐标和宽、高为具体的举例，实际应用中可根据实际情况进行调整。
再根据外切方形的中心坐标，及其宽、高对T2进一步位置的调整：
上式中T1，T2，T3均为外切方形适应于mask轮廓的平移缩放等。
(2)使用所述第一变换矩阵，对所述人脸关键点按照所述掩膜mask的的轮廓拟合的所述外切方形进行角度调整，具体为：
根据GIF面部轮廓的偏移角度，进行角度旋转调整，调整后的GIF面部轮廓为正脸，以下通过具体公式进行说明：
由于给定GIF面部轮廓不一定是正脸，有可能是“歪头”或“侧脸”等，所以需进行角度调整，也即为旋转操作，具体为：
其中θ为旋转角度。
上述中具体示意图如图2所示。图中阴影部分为mask轮廓，o为方形的中心。
S3：由前景人脸图像中的人脸关键点坐标和按外切方形调整后的人脸关键点坐标计算第二变换矩阵，并对前景人脸图像进行仿射变换，得到变换后的前景人脸图像。
进一步地，在识别到人脸关键点之后，使用进行将所述前景人脸图像中的人脸关键点变换到所述掩膜mask所在位置内的第二变换矩阵，对所述前景人脸图像进行所述仿射变换，得到变换后的前景人脸图像，具体包括：所述第二变换矩阵，由所述前景人脸图像中的人脸关键点和所述按mask的外切方形调整后的GIF背景中的人脸关键点之间的变换关系获得；对所述前景人脸图像进行所述仿射变换，即可将所述前景人脸图像变换到所述掩膜mask所在的位置内，得到所述变换后的前景人脸图像；其中，所述仿射变换是通过第二变换矩阵和旋转角度的调整将人脸图像上的点变换到所述掩膜mask内，包括线性变换和平移变换在内的变换。
S4：将所述调整后的GIF背景的所述掩膜mask内的像素替换为所述变换后的前景人脸图像对应位置的像素值，得到换脸后的表情。
S5：对所述掩膜mask的轮廓附近明显的锯齿进行平滑处理，具体为：
对换脸后的表情进行包括卷积滤波在内的平滑处理，得到平滑后的所述换脸后的表情；
将轮廓分别进行预设个数的像素的放大和缩小，得到放大和缩小的两个轮廓；
将未平滑处理的所述换脸后的表情两个轮廓中间的条带区域的像素值，替换为平滑后的所述换脸后的表情对应位置的像素值，保证轮廓附近的锯齿被平滑，而其他区域的质量不受影响。
上述用户自定义GIF表情制度的最终效果如图4所示，且在表情制作过程中，用户可以添加相关的文字，如上图中的“好开心啊”；用户在制作了多张与“开心”主题有关的表情时，在下一次使用中，如果用户输入与“开心”相关的词条，如“愉快”等，终端可联想出多个与“开心”有关的GIF表情，可供用户选择。
第二实施例
如图5所示，本实施例一种用户自定义的表情制作系统，包括：
素材获取模块1，用于获取用于替换到GIF表情中的前景人脸图像，同时获取作为自定义表情背景的带有掩膜mask的GIF背景，并将所述GIF背景解帧为PNG图片，提取所述PNG图片中的alpha通道作为所述掩膜mask，RGB通道作为背景图片；
人脸第一变换模块2，用于使用人脸检测的RetinaFace技术，对前景人脸图像进行人脸识别，获取所述前景人脸图像中的人脸关键点，同时获取所述掩膜mask的轮廓，拟合外切方形，对前景人脸图像中的人脸关键点的坐标按照所述外切方形使用包括缩放平移、角度调整在内的第一变换矩阵进行调整，得到调整后的人脸关键点坐标；
人脸第二变换模块3，用于由所述前景人脸图像中的人脸关键点坐标和按外切方形调整后的人脸关键点坐标计算第二变换矩阵，并对前景人脸图像进行仿射变换，得到变换后的前景人脸图像；
像素替换模块4，用于将所述调整后的GIF背景的所述掩膜mask内的像素替换为所述变换后的前景人脸图像对应位置的像素值，得到换脸后的表情。
进一步地，所述人脸第一变换模块2，具体包括：
人脸检测单元21，用于使用人脸检测的RetinaFace技术，对所述前景人脸图像进行人脸识别，获取所述前景人脸图像中的人脸关键点；
缩放平移单元22，用于针对于包括左眼中心、右眼中心、鼻尖、左嘴角、右嘴角在内的所述人脸关键点的坐标，加入所述人脸关键点中所有坐标的x值与y值的最小值与最大值进行自身的计算调整；使用根据实际应用场景设置的缩放因子，以及已有人脸数据集中的标准脸的鼻子坐标和人脸的宽、高进行缩放位移调整；
角度调整单元23，用于根据GIF面部轮廓的偏移角度，进行角度旋转调整，调整后的GIF面部轮廓为正脸。
进一步地，所述人脸第二变换模块3，具体包括：
人脸仿射变换单元31，用于使用进行将所述前景人脸图像中的人脸关键点变换到所述掩膜mask按外切方形调整后人脸关键点所在位置内的第二变换矩阵，对所述前景人脸图像进行仿射变换，得到变换后的前景人脸图像。
进一步地，用户自定义的表情制作系统，还包括：
平滑处理模块5，用于对所述掩膜mask的轮廓附近明显的锯齿进行平滑处理，具体为：对换脸后的表情进行包括卷积滤波在内的平滑处理，得到平滑后的所述换脸后的表情；将轮廓分别进行预设个数的像素的放大和缩小，得到放大和缩小的两个轮廓；将未平滑处理的所述换脸后的表情两个轮廓中间的条带区域的像素值，替换为平滑后的所述换脸后的表情对应位置的像素值，保证轮廓附近的锯齿被平滑，而其他区域的质量不受影响。
需要说明的是，本实施例是与第一实施例中的方法相对应的系统，具体的细节与第一实施例中相同，本实施例不再赘述。
一种计算机可读存储介质，计算机可读存储介质存储有计算机代码，当计算机代码被执行时，如上述方法被执行。本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个功能或步骤的电路。如本说明书实施例所示实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Net work Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子系统执行时，使得所述电子系统执行实施例一所述的方法。在此不再赘述。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
Claims (10)
1.一种用户自定义的表情制作方法，其特征在于，包括以下步骤：
S1：获取用于替换到GIF表情中的前景人脸图像，同时获取作为自定义表情背景的带有掩膜mask的GIF背景，并将所述GIF背景解帧为PNG图片，提取所述PNG图片中的alpha通道作为所述掩膜mask，RGB通道作为背景图片；
S2：使用人脸检测的RetinaFace技术，对前景人脸图像进行人脸识别，获取所述前景人脸图像中的人脸关键点，同时获取所述掩膜mask的轮廓，拟合外切方形，对前景人脸图像中的人脸关键点的坐标按照所述外切方形使用包括缩放平移、角度调整在内的第一变换矩阵进行调整，得到调整后的人脸关键点坐标；
S3：由所述前景人脸图像中的人脸关键点坐标和按外切方形调整后的人脸关键点坐标计算第二变换矩阵，并对前景人脸图像进行仿射变换，得到变换后的前景人脸图像；
S4：将所述调整后的GIF背景的所述掩膜mask内的像素替换为所述变换后的前景人脸图像对应位置的像素值，得到换脸后的表情。
2.根据权利要求1所述的用户自定义的表情制作方法，其特征在于，在步骤S2中，使用所述第一变换矩阵，对所述人脸关键点按照所述掩膜mask的轮廓拟合的所述外切方形进行缩放平移，具体为：
针对于包括左眼中心、右眼中心、鼻尖、左嘴角、右嘴角在内的所述人脸关键点的坐标，加入所述人脸关键点中所有坐标的x值与y值的最小值与最大值进行自身的计算调整；
使用根据实际应用场景设置的缩放因子，以及已有人脸数据集中的标准脸的鼻子坐标和人脸的宽、高进行缩放位移调整。
3.根据权利要求2所述的用户自定义的表情制作方法，其特征在于，在步骤S2中，使用所述第一变换矩阵，对所述人脸关键点按照所述掩膜mask的轮廓拟合的所述外切方形进行角度调整，具体为：
根据GIF面部轮廓的偏移角度，进行角度旋转调整，调整后的GIF面部轮廓为正脸。
4.根据权利要求1所述的用户自定义的表情制作方法，其特征在于，在步骤S3中，使用进行将所述前景人脸图像中的人脸关键点变换到所述掩膜mask所在位置内的第二变换矩阵，对所述前景人脸图像进行所述仿射变换，得到变换后的前景人脸图像，具体包括：
所述第二变换矩阵，由所述前景人脸图像中的人脸关键点和按所述掩膜mask的轮廓拟合的外切方形调整后的GIF背景中的人脸关键点之间的变换关系获得；
对所述前景人脸图像进行所述仿射变换，即可将所述前景人脸图像变换到所述掩膜mask所在的位置内，得到所述变换后的前景人脸图像；
其中，所述仿射变换是通过第二变换矩阵和旋转角度的调整将人脸图像上的点变换到所述掩膜mask内，包括线性变换和平移变换在内的变换。
5.根据权利要求1所述的用户自定义的表情制作方法，其特征在于，还包括：
S5：对所述掩膜mask的轮廓附近明显的锯齿进行平滑处理，具体为：
对换脸后的表情进行包括卷积滤波在内的平滑处理，得到平滑后的所述换脸后的表情；
将轮廓分别进行预设个数的像素的放大和缩小，得到放大和缩小的两个轮廓；
将未平滑处理的所述换脸后的表情两个轮廓中间的条带区域的像素值，替换为平滑后的所述换脸后的表情对应位置的像素值，保证轮廓附近的锯齿被平滑，而其他区域的质量不受影响。
6.一种用户自定义的表情制作系统，其特征在于，包括：
素材获取模块，用于获取用于替换到GIF表情中的前景人脸图像，同时获取作为自定义表情背景的带有掩膜mask的GIF背景，并将所述GIF背景解帧为PNG图片，提取所述PNG图片中的alpha通道作为所述掩膜mask，RGB通道作为背景图片；
人脸第一变换模块，用于使用人脸检测的RetinaFace技术，对前景人脸图像进行人脸识别，获取所述前景人脸图像中的人脸关键点，同时获取所述掩膜mask的轮廓，拟合外切方形，对前景人脸图像中的人脸关键点的坐标按照所述外切方形使用包括缩放平移、角度调整在内的第一变换矩阵进行调整，得到调整后的人脸关键点坐标；
人脸第二变换模块，用于由所述前景人脸图像中的人脸关键点坐标和按外切方形调整后的人脸关键点坐标计算第二变换矩阵，并对前景人脸图像进行仿射变换，得到变换后的前景人脸图像；
像素替换模块，用于将所述调整后的GIF背景的所述掩膜mask内的像素替换为所述变换后的前景人脸图像对应位置的像素值，得到换脸后的表情。
7.根据权利要求6所述的用户自定义的表情制作系统，其特征在于，所述人脸第一变换模块，具体包括：
人脸检测单元，用于使用人脸检测的RetinaFace技术，对所述前景人脸图像进行人脸识别，获取所述前景人脸图像中的人脸关键点；
缩放平移单元，用于针对于包括左眼中心、右眼中心、鼻尖、左嘴角、右嘴角在内的所述人脸关键点的坐标，加入所述人脸关键点中所有坐标的x值与y值的最小值与最大值进行自身的计算调整；使用根据实际应用场景设置的缩放因子，以及已有人脸数据集中的标准脸的鼻子坐标和人脸的宽、高进行缩放位移调整；
角度调整单元，用于根据GIF面部轮廓的偏移角度，进行角度旋转调整，调整后的GIF面部轮廓为正脸。
8.根据权利要求6所述的用户自定义的表情制作系统，其特征在于，所述人脸第二变换模块，具体包括：
人脸仿射变换单元，用于使用进行将所述前景人脸图像中的人脸关键点变换到所述掩膜mask按外切方形调整后人脸关键点所在位置内的第二变换矩阵，对所述前景人脸图像进行仿射变换，得到变换后的前景人脸图像。
9.根据权利要求6所述的用户自定义的表情制作系统，其特征在于，还包括：
平滑处理模块，用于对所述掩膜mask的轮廓附近明显的锯齿进行平滑处理，具体为：对换脸后的表情进行包括卷积滤波在内的平滑处理，得到平滑后的所述换脸后的表情；将轮廓分别进行预设个数的像素的放大和缩小，得到放大和缩小的两个轮廓；将未平滑处理的所述换脸后的表情两个轮廓中间的条带区域的像素值，替换为平滑后的所述换脸后的表情对应位置的像素值，保证轮廓附近的锯齿被平滑，而其他区域的质量不受影响。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如权利要求1至5中任一项所述的方法被执行。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011216624.9A CN112750071B (zh) | 2020-11-04 | 2020-11-04 | 一种用户自定义的表情制作方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011216624.9A CN112750071B (zh) | 2020-11-04 | 2020-11-04 | 一种用户自定义的表情制作方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112750071A true CN112750071A (zh) | 2021-05-04 |
| CN112750071B CN112750071B (zh) | 2023-11-24 |
Family
ID=75648318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011216624.9A Active CN112750071B (zh) | 2020-11-04 | 2020-11-04 | 一种用户自定义的表情制作方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112750071B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362411A (zh) * | 2021-06-01 | 2021-09-07 | 智裳科技(上海)有限公司 | 一种快速自动生成满印图案的方法及系统 |
| CN113507575A (zh) * | 2021-09-08 | 2021-10-15 | 上海英立视电子有限公司 | 一种人体自拍镜头生成方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3370208A2 (en) * | 2017-03-01 | 2018-09-05 | Sony Corporation | Virtual reality-based apparatus and method to generate a three dimensional (3d) human face model using image and depth data |
| CN109949390A (zh) * | 2017-12-21 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 图像生成方法、动态表情图像生成方法及装置 |
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| WO2019142127A1 (en) * | 2018-01-17 | 2019-07-25 | Feroz Abbasi | Method and system of creating multiple expression emoticons |
| CN110555796A (zh) * | 2019-07-24 | 2019-12-10 | 广州视源电子科技股份有限公司 | 图像调整方法、装置、存储介质以及设备 |
-
2020
- 2020-11-04 CN CN202011216624.9A patent/CN112750071B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3370208A2 (en) * | 2017-03-01 | 2018-09-05 | Sony Corporation | Virtual reality-based apparatus and method to generate a three dimensional (3d) human face model using image and depth data |
| CN109949390A (zh) * | 2017-12-21 | 2019-06-28 | 腾讯科技（深圳）有限公司 | 图像生成方法、动态表情图像生成方法及装置 |
| CN109978754A (zh) * | 2017-12-28 | 2019-07-05 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| WO2019142127A1 (en) * | 2018-01-17 | 2019-07-25 | Feroz Abbasi | Method and system of creating multiple expression emoticons |
| CN110555796A (zh) * | 2019-07-24 | 2019-12-10 | 广州视源电子科技股份有限公司 | 图像调整方法、装置、存储介质以及设备 |
Non-Patent Citations (1)
| Title |
|---|
| 黄诚;: "基于Candide-3算法的图像中面部替换技术", 计算技术与自动化, no. 02 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113362411A (zh) * | 2021-06-01 | 2021-09-07 | 智裳科技(上海)有限公司 | 一种快速自动生成满印图案的方法及系统 |
| CN113362411B (zh) * | 2021-06-01 | 2024-04-12 | 智裳科技(上海)有限公司 | 一种快速自动生成满印图案的方法及系统 |
| CN113507575A (zh) * | 2021-09-08 | 2021-10-15 | 上海英立视电子有限公司 | 一种人体自拍镜头生成方法及系统 |
| CN113507575B (zh) * | 2021-09-08 | 2021-11-26 | 上海英立视电子有限公司 | 一种人体自拍镜头生成方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112750071B (zh) | 2023-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Song et al. | EDRNet: Encoder–decoder residual network for salient object detection of strip steel surface defects | |
| CN109558832B (zh) | 一种人体姿态检测方法、装置、设备及存储介质 | |
| Sun et al. | Convolution neural networks with two pathways for image style recognition | |
| CN110263659B (zh) | 一种基于三元组损失和轻量级网络的指静脉识别方法及系统 | |
| Guo et al. | Automatic image cropping for visual aesthetic enhancement using deep neural networks and cascaded regression | |
| CN111160269A (zh) | 一种人脸关键点检测方法及装置 | |
| Kang et al. | Deep learning-based weather image recognition | |
| CN109472198A (zh) | 一种姿态鲁棒的视频笑脸识别方法 | |
| CN111881770A (zh) | 一种人脸识别方法及系统 | |
| CN111783749A (zh) | 一种人脸检测方法、装置、电子设备及存储介质 | |
| Ding et al. | Severely blurred object tracking by learning deep image representations | |
| WO2019196795A1 (zh) | 视频剪辑的方法以及装置及电子设备 | |
| CN112750071A (zh) | 一种用户自定义的表情制作方法及系统 | |
| Cai et al. | A novel saliency detection algorithm based on adversarial learning model | |
| Ji et al. | Research on real–time tracking of table tennis ball based on machine learning with low-speed camera | |
| CN114549557A (zh) | 一种人像分割网络训练方法、装置、设备及介质 | |
| Wang et al. | Action recognition using edge trajectories and motion acceleration descriptor | |
| Song et al. | To identify tree species with highly similar leaves based on a novel attention mechanism for CNN | |
| He et al. | Autolink: Self-supervised learning of human skeletons and object outlines by linking keypoints | |
| CN116912924B (zh) | 一种目标图像识别方法和装置 | |
| CN113298018A (zh) | 基于光流场和脸部肌肉运动的假脸视频检测方法及装置 | |
| CN112329663A (zh) | 一种基于人脸图像序列的微表情时刻检测方法及装置 | |
| CN116468895A (zh) | 一种相似度矩阵引导的少样本语义分割方法及系统 | |
| CN115660969A (zh) | 图像处理方法、模型训练方法、装置、设备和存储介质 | |
| CN114549857A (zh) | 图像信息识别方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |