CN110049351B - 视频流中人脸变形的方法和装置、电子设备、计算机可读介质 - Google Patents
视频流中人脸变形的方法和装置、电子设备、计算机可读介质 Download PDFInfo
- Publication number
- CN110049351B CN110049351B CN201910436504.0A CN201910436504A CN110049351B CN 110049351 B CN110049351 B CN 110049351B CN 201910436504 A CN201910436504 A CN 201910436504A CN 110049351 B CN110049351 B CN 110049351B
- Authority
- CN
- China
- Prior art keywords
- key points
- face
- frame image
- contour
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000009499 grossing Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims description 40
- 210000001061 forehead Anatomy 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 description 23
- 230000008859 change Effects 0.000 description 22
- 230000008901 benefit Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000036244 malformation Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001417519 Priacanthidae Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本公开提供了一种视频流中人脸变形的方法，该方法包括对视频流中的多帧图像中的每一帧进行人脸变形，对任意一帧图像进行人脸变形包括：采用预设的第一算法，确定当前帧图像中人脸上的多个初始点；依据相关帧图像中的初始点和/或关键点，通过平滑处理调整当前帧图像中的初始点的位置，以经过平滑处理的初始点为关键点；采用预设的第二算法，依据关键点进行三角剖分，得到多个以关键点为顶点的三角形；依据要进行的人脸变形的类型，采用对应的移动规则移动至少部分关键点，并在三角形中纹理不变的前提下，计算顶点有移动的三角形中的各像素点的像素值。本公开还提供了一种视频流中人脸变形的装置、电子设备、计算机可读介质。
Description
技术领域
本公开实施例涉及图像处理技术领域，特别涉及视频流中人脸变形的方法和装置、电子设备、计算机可读介质。
背景技术
在很多情况下，人们希望对图像中的人脸进行处理以改变其形貌，例如，使人脸看起来更美观(美颜)，或实现一定的影视特效等。在对图像中人脸的处理中，改变人脸全部或部分结构形状、位置的人脸变形(人脸塑形)是重要的一类，例如，大眼、减小鼻翼、瘦脸、挪眉等。
现有的人脸变形技术多存在变形幅度小、功能有限、运算速度慢、变形效果差等缺点。尤其是，在对视频流中的多帧图像中的人脸进行变形时，由于视频流中的人脸可能运动(包括整体位移和朝向改变)，故往往难以保证多帧图像处理效果的一致性，从而导致视频流出现抖动、不连续等突兀的效果。
发明内容
本公开实施例提供一种视频流中人脸变形的方法和装置、电子设备、计算机可读介质。
第一方面，本公开实施例提供一种视频流中人脸变形的方法，包括对所述视频流中的多帧图像中的每一帧进行人脸变形，其中，对任意一帧图像进行人脸变形包括：
采用预设的第一算法，确定当前帧图像中人脸上的多个初始点；
依据相关帧图像中的初始点和/或关键点，通过平滑处理调整所述当前帧图像中的所述初始点的位置，以经过所述平滑处理的所述初始点为关键点，所述相关帧图像为所述当前帧图像之前的一相邻帧的图像或多相邻帧的图像；
采用预设的第二算法，依据所述关键点进行三角剖分，得到多个以所述关键点为顶点的三角形；
依据要进行的人脸变形的类型，采用对应的移动规则移动至少部分所述关键点，并在所述三角形中纹理不变的前提下，计算顶点有移动的所述三角形中的各像素点的像素值。
在一些实施例中，在所述以经过所述平滑处理的所述初始点为关键点和所述依据所述关键点进行三角剖分之间，还包括：
依据已有的所述关键点，按照预设的第三算法扩展得到多个所述关键点。
在一些实施例中，扩展得到的所述关键点包括以下一项或多项：
对应人脸额头上轮廓的多个额头关键点；
位于人脸轮廓与所述当前帧图像边缘之间的多个保护关键点；
位于所述当前帧图像边缘的多个边缘关键点。
在一些实施例中，扩展得到的所述关键点包括位于所述当前帧图像边缘的多个边缘关键点；
所述三角剖分得到的多个三角形完全布满所述当前帧图像。
在一些实施例中，扩展得到的所述关键点包括位于人脸轮廓与所述当前帧图像边缘之间的多个保护关键点，所述保护关键点与位于人脸轮廓上的轮廓关键点一一对应；
任意两相邻轮廓关键点间通过三角剖分得到的一个三角形的一条边连接，各相邻轮廓关键点间的边构成对应人脸轮廓的轮廓圈；
任意两相邻保护关键点间通过三角剖分得到的一个三角形的一条边连接，各相邻保护关键点间的边构成围绕所述轮廓圈的外轮廓圈；
任意两相邻保护关键点间的边平行于与该两保护关键点对应的两轮廓关键点间的边。
在一些实施例中，所述平滑处理包括滤波处理或加权平均处理。
第二方面，本公开实施例提供一种视频流中人脸变形的装置，其用于对所述视频流中的多帧图像中的每一帧进行人脸变形，其中，所述装置包括：
初始点模块，用于采用预设的第一算法，确定当前帧图像中人脸上的多个初始点；
平滑模块，用于依据相关帧图像中的初始点和/或关键点，通过平滑处理调整所述当前帧图像中的所述初始点的位置，以经过所述平滑处理的所述初始点为关键点，所述相关帧图像为所述当前帧图像之前的一相邻帧的图像或多相邻帧的图像；
三角剖分模块，用于采用预设的第二算法，依据所述关键点进行三角剖分，得到多个以所述关键点为顶点的三角形；
变形模块，用于依据要进行的人脸变形的类型，采用对应的移动规则移动至少部分所述关键点，并在所述三角形中纹理不变的前提下，计算顶点有移动的所述三角形中的各像素点的像素值。
在一些实施例中，所述装置还包括：
扩展模块，用于依据已有的所述关键点，按照预设的第三算法扩展得到多个所述关键点。
在一些实施例中，扩展得到的所述关键点包括以下一项或多项：
对应人脸额头上轮廓的多个额头关键点；
位于人脸轮廓与所述当前帧图像边缘之间的多个保护关键点；
位于所述当前帧图像边缘的多个边缘关键点。
在一些实施例中，扩展得到的所述关键点包括位于所述当前帧图像边缘的多个边缘关键点；
所述三角剖分得到的多个三角形完全布满所述当前帧图像。
在一些实施例中，扩展得到的所述关键点包括位于人脸轮廓与所述当前帧图像边缘之间的多个保护关键点，所述保护关键点与位于人脸轮廓上的轮廓关键点一一对应；
任意两相邻轮廓关键点间通过三角剖分得到的一个三角形的一条边连接，各相邻轮廓关键点间的边构成对应人脸轮廓的轮廓圈；
任意两相邻保护关键点间通过三角剖分得到的一个三角形的一条边连接，各相邻保护关键点间的边构成围绕所述轮廓圈的外轮廓圈；
任意两相邻保护关键点间的边平行于与该两保护关键点对应的两轮廓关键点间的边。
在一些实施例中，所述平滑处理包括滤波处理或加权平均处理。
第三方面，本公开实施例提供一种电子设备，其包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任意一种视频流中人脸变形的方法。
第四方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任意一种视频流中人脸变形的方法。
本公开实施例的视频流中人脸变形的方法通过三角剖分后移动三角形顶点的方式实现人脸变形，相对于通过控制点的牵引而移动像素点以实现变形的方式，本公开实施例的方法至少具有以下优点：
(1)本公开实施例的方法中，各顶点的移动相对独立，在几何关系上受其它关键点(控制点)的影响和约束较少，故可实现更大幅度和更加自由的变形，进而可实现更多的功能(如整体移动结构位置，具体如挪眼)，甚至可实现变形幅度很大的影视特效变形(如哈哈镜效果变形)。
(2)本公开实施例的方法中，变形以三角形为单位，不同三角形的变形相对独立，故可保证只有相关区域发生变形，避免变形对无关结构造成影响(如避免瘦脸同时导致瘦嘴)。
(3)本公开实施例的方法中，变形以三角形为单位，且变形过程中各三角形的纹理不变，故其变形后图像的效果真实，可避免出现不合理的变形(如畸形)。
(4)本公开实施例的方法中，计算顶点移动等大量的运算可在CPU(中央处理器)中进行，而在GPU(图形处理器)中进行的运算较少；由于在常规的移动终端(如手机)等设备中，尤其是低端移动终端中，GPU的性能不如CPU，故本公开实施例的方法对运算量的分配更合理，可达到更快的运行速度，尤其是可满足在(低端)移动终端对视频流进行实时处理的要求。
(5)本公开实施例的方法中，各帧图像的关键点都是基于之前图像的关键点(初始点)进行平滑处理后得到的，故其可保证关键点位置的连续性和稳定性，进而保证视频流的连贯，提高处理效果。
(6)本公开实施例的方法中，不同帧图像采用的选取初始点的算法、三角剖分的算法、移动顶点的算法都是一致的，故其一方面可使运算过程简单(因为对一帧图像的处理可能仅相当于更新部分关键点的位置，然后通过GPU简单渲染三角形集合生成图像)，另一方面可保证各帧图像的变形效果一致，从提高视频流的连续性，避免视频流出现抖动、不连续等突兀的效果。
附图说明
附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述，以上和其它特征和优点对本领域技术人员将变得更加显而易见，在附图中：
图1为本公开实施例提供的一种视频流中人脸变形的方法的流程图；
图2为本公开实施例提供的另一种视频流中人脸变形的方法的流程图；
图3为一帧未经处理的图像；
图4为图3经本公开实施例的方法确定初始点后的图像；
图5为图4经本公开实施例的方法扩展关键点后的图像；
图6为图5经本公开实施例的方法进行三角剖分后的图像；
图7为另一帧未经处理的图像；
图8为图7经本公开实施例的方法进行人脸变形后的图像；
图9为另一帧未经处理的图像；
图10为图9经本公开实施例的方法进行人脸变形后的图像；
图11为另一帧未经处理的图像；
图12为图11经本公开实施例的方法进行人脸变形后的图像；
图13为图11经本公开实施例的方法进行人脸变形后的另一图像；
图14为本公开实施例提供的一种视频流中人脸变形的装置的组成框图；
图15为本公开实施例提供的另一种视频流中人脸变形的装置的组成框图。
具体实施方式
为使本领域的技术人员更好地理解本公开的技术方案，下面结合附图对本公开提供的视频流中人脸变形的方法和装置、电子设备、计算机可读介质进行详细描述。
在下文中将参考附图更充分地描述示例实施例，但是所述示例实施例可以以不同形式来体现且不应当被解释为限于本公开阐述的实施例。反之，提供这些实施例的目的在于使本公开透彻和完整，并将使本领域技术人员充分理解本公开的范围。
如本公开所使用的，术语“和/或”包括一个或多个相关列举条目的任何和所有组合。
本公开所使用的术语仅用于描述特定实施例，且不意欲限制本公开。如本公开所使用的，单数形式“一个”和“该”也意欲包括复数形式，除非上下文另外清楚指出。
当本公开中使用术语“包括”和/或“由……制成”时，指定存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。
本公开所述实施例可借助本公开的理想示意图而参考平面图和/或截面图进行描述。因此，可根据制造技术和/或容限来修改示例图示。
本公开的实施例不限于附图中所示的实施例，而是包括基于制造工艺而形成的配置的修改。因此，附图中例示的区具有示意性属性，并且图中所示区的形状例示了元件的区的具体形状，但并不旨在是限制性的。
除非另外限定，否则本公开所用的所有术语(包括技术和科学术语)的含义与本领域普通技术人员通常理解的含义相同。还将理解，诸如那些在常用字典中限定的那些术语应当被解释为具有与其在相关技术以及本公开的背景下的含义一致的含义，且将不解释为具有理想化或过度形式上的含义，除非本公开明确如此限定。
名词解释：
在本公开实施例中，如无特殊说明，则以下技术术语应按照以下解释理解：
视频流，其是指由多帧图像构成的数据，通过多帧图像的连续播放即可形成连贯的视频。具体的，视频流可以是预先获取(如录制)后存储下来的，也可以是通过摄像头等视频采集设备实时采集的；相应的，本公开实施例的视频流中人脸变形的方法可用于对存储的视频流进行处理后将新得到的视频流(处理结果)重新存储下来，也可用于对实时的视频流进行实时处理，并将处理后的视频流实时显示。
图像，其是一幅具有确定内容的图片，具体的，图像由多个像素点构成，每个像素点具有确定的像素值(即颜色和亮度)。
图像中的人脸，其是指存在于图像中的人的面部区域；其中，人脸可按照“正对(即图像中的人脸为正面)”的形式呈现，也可按照“侧向(即图像中的人脸为侧脸、抬头、低头等状态)”的形式呈现。具体的，图像中的人脸可以是通过摄像头等采集的真实人脸，也可以是通过虚拟方式生成的虚拟人脸。
人脸变形，其是指改变图像中人脸的全部或部分结构的尺寸(长度和/或宽度)、位置、形状、所处角度等形态，从而得到具有变形后的人脸的图像的过程。
纹理，其是指图像呈现的花纹或图案，或者说是图像的“实质内容”，当图像变形(如放大、缩小、形状改变)时，其各像素点的具体像素值必然变化，但其整体的纹理可保持不变(如原来内容为一个苹果，变形后仍为一个苹果)。
图1为本公开实施例的一种的视频流中人脸变形的方法的流程图。
第一方面，参照图1，本公开实施例提供一种视频流中人脸变形的方法，包括对视频流中的多帧图像中的每一帧进行人脸变形。
也就是说，视频流中人脸变形的本质是对视频流中各帧图像进行人脸变形，从而由多帧图像构成的视频流中的人脸自然也相应变形。
其中，对任意一帧图像进行人脸变形包括：
S101、采用预设的第一算法，确定当前帧图像中人脸上的多个初始点。
通过特定的图像处理技术，在当前处理的图像(当前帧图像)中确定人脸，之后在人脸中选取部分特定点为初始点。
显然，由于采用的算法相同，故在不同帧图像中，当人脸位置变化(整体位移和/或朝向改变)时，只有初始点的具体位置变化，而初始点的类型和数量不变。
S102、依据相关帧图像中的初始点和/或关键点，通过平滑处理调整当前帧图像中的初始点的位置，以经过平滑处理的初始点为关键点，相关帧图像为当前帧图像之前的一相邻帧的图像或多相邻帧的图像。
当前帧图像之前的各帧图像已完成了人脸变形，故其中必然有确定的初始点和关键点，故可依据这些初始点、关键点对当前帧图像中的初始点进行平滑处理，即根据之前一帧或多帧图像中初始点、关键点的位置，调整当前帧图像中相应初始点的位置，以使初始点的位置变化比较“平滑”；而改变位置后的初始点即可被作为关键点。
在平滑处理后，每帧图像中的关键点都和之前的图像相关，故视频流中的关键点有连续性，即在不同帧图像中，当人脸位置变化时，最终得到的关键点的位置变化是“平缓”的，而不会产生“跳变”。
S103、采用预设的第二算法，依据关键点进行三角剖分，得到多个以关键点为顶点的三角形。
采用特定的算法(如特定剖分模板)，以各关键点为依据对当前帧图像(或当前帧图像的一部分)进行三角剖分，即在不同关键点之间设置连线，从而形成多个以关键点为顶点，以“连线”为边的三角形，其中每个三角形中有部分像素点，并具有一定的“纹理(内容)”。
其中，三角剖分是对面进行分割的一种几何方式，其应满足以下条件：
(1)每个关键点都作为至少一个三角形的顶点，即不允许有“空闲”的关键点存在。
(2)任意不同三角形的边(即以上画出的“连线”)不存在除共同顶点外的“交点”，即剖分后形成的所有图形的顶点都是原有关键点，而不存在“新增顶点”。
(3)任意不同三角形之间没有区域重叠，例如，不能是剖分出的一个三角形位于另一个三角形内部。
由于采用的算法相同，故在不同帧图像中，当人脸位置变化而关键点位置相应变化时，剖分方式(或者说得到的三角形的形式)仍然相同，只有部分三角形的顶点的具体位置稍有变化，故本步骤相当于“更新”部分三角形顶点的位置。
S104、依据要进行的人脸变形的类型，采用对应的移动规则移动至少部分关键点，并在三角形中纹理不变的前提下，计算顶点有移动的三角形中的各像素点的像素值。
本公开实施例的方法能实现多种不同类型的人脸变形，而每类型型的人脸变形均有确定的对应移动规则，移动规则确定对哪些关键点进行何种移动(平移的移动方向和距离、旋转的旋转角度和方向)。
在确定要进行的人脸变形的类型后，可选择相应的移动规则，并按照移动规则移动相应的关键点至相应位置。关键点的移动会导致三角形变形，进而导致三角形中包括的像素点和像素值变化(三角形中会因变形“新增”像素点，也会因变形“减少”像素点，其中新得到的像素点一般是通过原来像素点插值得到，所以比较平滑连续)，或者说部分像素点“归属”的三角形变化。进而，可根据三角形中原有像素点的像素值确定其纹理(实质内容)，从而在保证变形的三角形中纹理不变的情况下，计算确定其中各像素点的新像素值，即得到“新的”三角形。以上过程相当于以三角形为基准，对图像的部分位置进行了“变形”，改变了图像中部分像素点的像素值，从而实现人脸变形。
当然，对各顶点位置均无变化的三角形(即未变形的三角形)，只要保持其中像素点的像素值不变即可。
显然，人脸变形类型相同的各帧图像中，采用的移动规则也相同，即其中关键点的移动方式(包括哪些关键点移动，以及如何移动)也是相同的，只是各关键点的初始位置和移动后的位置稍有不同。
本公开实施例的视频流中人脸变形的方法通过三角剖分后移动三角形顶点的方式实现人脸变形，相对于通过控制点的牵引而移动像素点以实现变形的方式，本公开实施例的方法至少具有以下优点：
(1)本公开实施例的方法中，各顶点的移动相对独立，在几何关系上受其它关键点(控制点)的影响和约束较少，故可实现更大幅度和更加自由的变形，故而可实现更多的功能(如整体移动结构位置，具体如挪眼)，甚至可实现变形幅度很大的影视特效变形(如哈哈镜效果变形)。
(2)本公开实施例的方法中，变形以三角形为单位，不同三角形的变形相对独立，故可保证只有相关区域发生变形，避免变形对无关结构造成影响(如避免瘦脸同时导致瘦嘴)。
(3)本公开实施例的方法中，变形以三角形为单位，且变形过程中各三角形的纹理不变，故其变形后图像的效果真实，可避免出现不合理的变形(如畸形)。
(4)本公开实施例的方法中，计算顶点移动等大量的运算可在CPU(中央处理器)中进行，而在GPU(图形处理器)中进行的运算较少；由于在常规的移动终端(如手机)等设备中，尤其是低端移动终端中，CPU的处理速度比GPU更大，故本公开实施例的方法对运算量的分配更合理，可达到更快的运行速度，尤其是可满足在(低端)移动终端对视频流进行实时处理的要求。
(5)本公开实施例的方法中，各帧图像的关键点都是基于之前图像的关键点(初始点)进行平滑处理后得到的，故其可保证关键点位置的连续性和稳定性，进而保证视频流的连贯，提高处理效果。
(6)本公开实施例的方法中，不同帧图像采用的选取初始点的算法、三角剖分的算法、移动顶点的算法都是一致的，故其一方面可使运算过程简单(因为对一帧图像的处理可能仅相当于更新部分关键点的位置，然后通过GPU简单渲染三角形集合生成图像)，另一方面可保证各帧图像的变形效果一致，从提高视频流的连续性，避免视频流出现抖动、不连续等突兀的效果。
图2为本公开实施例的另一种的视频流中人脸变形的方法的流程图。
在一些实施例中，参照图2，对任意一帧图像进行人脸变形包括：
S201、采用预设的第一算法，确定当前帧图像中人脸上的多个初始点。
通过特定的图像处理技术，在当前处理的图像(当前帧图像)中确定人脸，之后在人脸中选取部分特定点为初始点。
其中，具体的初始点包括但不限于鼻尖点、眼角点、瞳孔点、嘴角点、脸轮廓点等。例如，对图3所示的图像，即可选取如图4所示的150个初始点。
显然，由于采用的算法相同，故在不同帧图像中，当人脸位置变化(整体位移和/或朝向改变)时，只有初始点的具体位置变化，而初始点的类型和数量不变。
在一些实施例中，第一算法包括深度学习算法。
也就是说，可通过深度学习算法等机器学习算法来分析、确定初始点，以使初始点的选取更加准确、高效。
S202、依据相关帧图像中的初始点和/或关键点，通过平滑处理调整当前帧图像中的初始点的位置，以经过平滑处理的初始点为关键点，相关帧图像为当前帧图像之前的一相邻帧的图像或多相邻帧的图像。
当前帧图像之前的各帧图像已完成了人脸变形，故其中必然有确定的初始点和关键点，故可依据这些初始点、关键点对当前帧图像中的初始点进行平滑处理，即根据之前一帧或多帧图像中初始点、关键点的位置，调整当前帧图像中相应初始点的位置，以使初始点的位置变化比较“平滑”；而改变位置后的初始点即可被作为关键点。
在平滑处理后，每帧图像中的关键点都和之前的图像相关，故视频流中的关键点有连续性，即在不同帧图像中，当人脸位置变化时，最终得到的关键点的位置变化是“平缓”的，而不会产生“跳变”。
其中，平滑处理可依据之前图像中的未经平滑处理的初始点进行，这种方式的优点在于可避免误差的累积。或者，平滑处理也可依据之前图像中的已经被平滑处理过的关键点进行，这种方式的优点在于其依据的点本身已经经过平滑处理，位置准确性更高。当然，平滑处理也可同时依据初始点和关键点进行。
在一些实施例中，平滑处理包括加权平均处理或滤波处理。
例如，可通过加权平均处理的方式进行平滑处理，即为各帧图像设置不同的权重系数，从而当前帧图像中的某个关键点的位置(如坐标)，可通过将当前帧图像和之前帧图像中对应点的位置(坐标)分别乘以各自的权重系数后相加得到。
再如，也可对各帧图像中的点进行卡尔曼滤波、拉普拉斯滤波等滤波，以实现平滑处理。
其中，由于通常因平滑处理而造成的点的位置改变只在几个像素点的范围内，在专利附图的尺寸范围内难以清楚的显示，故本公开中以图4中的初始点近似表示经过平滑处理而得到的关键点。
S203、依据已有的关键点，按照预设的第三算法扩展得到多个关键点。
在通过平滑处理得到多个关键点(这些关键点必然是位于人脸上的，可称为初始关键点)后，可继续根据这些已有的初始关键点，按照确定的算法计算出更多的关键点(可称为扩展关键点)，从而增加关键点的总数，改善后续处理过程的效果。
在一些实施例中，扩展得到的关键点包括以下的任意一项或多项：
对应人脸额头上轮廓的多个额头关键点；
位于人脸轮廓与当前帧图像边缘之间的多个保护关键点；
位于当前帧图像边缘的多个边缘关键点。
其中，参照图5，扩展得到的关键点可包括额头上轮廓(即额头远离嘴的一侧的边缘)的额头关键点，通过扩展这些关键点，可确定额头的位置，从而实现对涉及额头的人脸变形处理(如放大额头)。
其中，参照图5，扩展得到的关键点可包括多个“围绕”在人脸外但没达到图像边缘的扩展关键点，即位于人脸“外圈”的关键点。
其中，参照图5，扩展得到的关键点可包括位于图像边缘的多个边缘关键点，即图像的边上也可有关键点。
其中，以上保护关键点和边缘关键点均是位于图像中“非人脸”的背景区域中的关键点，故根据这些关键点可实现对背景区域的三角剖分。进而，在涉及人脸轮廓的变形(如瘦脸)中，可使背景区域也相应发生相应的变形，以保证视频流中背景的连贯，改善视频流的处理效果。
具体的，边缘关键点位于图像的最外侧，故利用边缘关键点可使图像的所有区域均被划分至相应三角形中，从而实现对图像的所有区域的变形。
具体的，保护关键点可实现对图像的背景区域的进一步分割，进而减小在进行涉及人脸轮廓的变形时受到影响的背景区域。例如，当进行瘦脸时，需要将对应人脸轮廓的关键点向人脸内部移动，而此时保护关键点位置可不变，从而只有保护关键点所在的外轮廓圈(后续详细说明)内侧的区域会发生变形，而外轮廓圈之外的图像完全不变，以使处理过程简单，并保证处理结果尽可能真实。
其中，以上扩展得到关键点的具体算法可根据需要确定。例如，可以是人脸轮廓上的每个关键点(轮廓关键点)，向一定方向外移一定距离后，即得到一个对应保护关键点(即保护点可与轮廓关键点一一对应)；再如，可在图像的每侧边缘的多个预定位置分别各取一个边缘关键点(其中优选图像的每个角均有一个边缘关键点)。
对图4进行扩展关键点的结果如图5所示，其中以扩展了75个关键点(故共有225个关键点)为例进行说明。
当然，以上额头关键点、保护关键点、边缘关键点只是示例性的，而不是对可行的扩展得到的关键点的限制，即还可扩展出其它根据第一算法无法直接得到、同时又对三角剖分有帮助的关键点。
当然，本步骤(S203)是可选的，即如果通过初始点确定的关键点已经可以满足处理的要求，则也可不进行本步骤。
S204、采用预设的第二算法，依据关键点进行三角剖分，得到多个以关键点为顶点的三角形。
采用特定的算法(如特定剖分模板)，以各关键点为依据对当前帧图像(或当前帧图像的一部分)进行三角剖分，即在不同关键点之间设置连线，从而形成多个以关键点为顶点，以“连线”为边的三角形，其中每个三角形中有部分像素点，并具有一定的“纹理(内容)”。
其中，三角剖分是对面进行分割的一种几何方式，其应满足以下条件：
(1)每个关键点都作为至少一个三角形的顶点，即不允许有“空闲”的关键点存在。
(2)任意不同三角形的边(即以上画出的“连线”)不存在除共同顶点外的“交点”，即剖分后形成的所有图形的顶点都是原有关键点，而不存在“新增顶点”。
(3)任意不同三角形之间没有区域重叠，例如，不能是剖分出的一个三角形位于另一个三角形内部。
由于采用的算法相同，故在不同帧图像中，当人脸位置变化而关键点位置相应变化时，剖分方式(或者说得到的三角形的形式)仍然相同，只有部分三角形的顶点的具体位置稍有变化，故本步骤相当于“更新”部分三角形顶点的位置。
对图5进行三角剖分的结果可如图6所示。
在一些实施例中，当具有以上边缘关键点时，三角剖分得到的多个三角形完全布满当前帧图像。
参照图6，当具有边缘关键点，则边缘关键点的选取和三角剖分的方式应使得剖分得到的三角形可完全布满整个图像，即保证图像的所有部分均被划分到三角形中，实现对图像的“完全剖分”，而不存在“未剖分”的部分。由此，可使图像的所有区域都能进行变形，提高视频流的连贯性。
在一些实施例中，当具有以上保护关键点时，保护关键点与位于人脸轮廓上的轮廓关键点一一对应；
任意两相邻轮廓关键点间通过三角剖分得到的一个三角形的一条边连接，各相邻轮廓关键点间的边构成对应人脸轮廓的轮廓圈；
任意两相邻保护关键点间通过三角剖分得到的一个三角形的一条边连接，各相邻保护关键点间的边构成围绕轮廓圈的外轮廓圈；
任意两相邻保护关键点间的边平行于与该两保护关键点对应的两轮廓关键点间的边。
保护关键点可与人脸轮廓上原有的轮廓关键点(可包括额头关键点)一一对应。且参照图6，在三角剖分中，轮廓关键点被三角形的边依次连接为较小的、对应人脸轮廓的“轮廓圈”，而保护关键点被三角形的边依次连接为较大的、罩在人脸轮廓外的“外轮廓圈”。其中，外轮廓圈由多条与轮廓圈中的线段分别平行的线段组成，故其形式类似于轮廓圈的“放大”。由此，可将涉及人脸轮廓的变形限定在外轮廓圈之内，提高视频流的真实性。
当然，只要符合以上条件，三角剖分的具体方式可根据需要设定。但从改善处理效果的角度考虑，以上轮廓圈与外轮廓圈之间的各三角形的边，可按照从人脸内部向外“放射”的方式分布，或者说这些边优选基本沿轮廓圈的法线方向分布。
S205、依据要进行的人脸变形的类型，采用对应的移动规则移动至少部分关键点，并在三角形中纹理不变的前提下，计算顶点有移动的三角形中的各像素点的像素值。
本公开实施例的方法能实现多种不同类型的人脸变形，而每类型型的人脸变形均有确定的对应移动规则，移动规则确定对哪些关键点进行何种移动(平移的移动方向和距离、旋转的旋转角度和方向)。
其中，本公开实施例的方法能实现的人脸变形的具体类型包括但不限于修改全脸长、修改上中下停长度、瘦脸、肥脸、挪眉毛、修改下巴长宽、修改下颌宽、挪眼、大眼、转眼角、修改嘴型、修改嘴巴尺寸、修改鼻梁宽度、修改鼻翼宽度等。
在确定要进行的人脸变形的类型后，可选择相应的移动规则，并按照移动规则移动相应的关键点至相应位置。关键点的移动会导致三角形变形，进而导致三角形中包括的像素点和像素值变化(三角形中会因变形“新增”像素点，也会因变形“减少”像素点，其中新得到的像素点一般是通过原来像素点插值得到，所以比较平滑连续)，或者说部分像素点“归属”的三角形变化。进而，可根据三角形中原有像素点的像素值确定其纹理(实质内容)，从而在保证变形的三角形中纹理不变的情况下，计算确定其中各像素点的新像素值，即得到“新的”三角形。以上过程相当于以三角形为基准，对图像的部分位置进行了“变形”，改变了图像中部分像素点的像素值，从而实现人脸变形。
具体的，变形后的三角形中的每个像素点的像素值，都是根据变形前的三角形中的各像素点的像素值计算得到的(当然可能有部分保留下来的像素点的计算结果是像素值不变)，其具体的算法可根据图像变形算法确定，例如采用image warping算法。
当然，对各顶点位置均无变化的三角形(即未变形的三角形)，其只要保持其中像素点的像素值不变即可。
显然，人脸变形类型相同的各帧图像中，采用的移动规则也相同，即其中关键点的移动方式(包括哪些关键点移动，以及如何移动)也是相同的，只是各关键点的初始位置和移动后的位置稍有不同。
具体的，图7中的人脸经本公开实施例的方法进行大嘴、瘦鼻、大眼操作后最终得到的结果如图8所示。
可见，按照本公开实施例的方法可实现大幅度的变形，且变形不影响其它结构，变形后得到的图像效果自然真实。
具体的，图9中的人脸经本公开实施例的方法进行大嘴、大眼后最终得到的结果如图10所示。
可见，当人脸不是处于“正对”状态，而是对于处于“侧向(如侧脸)”状态时，本公开实施例的方法也可达到很好的处理效果。
具体的，图11中的人脸经本公开实施例的方法进行很大幅度的变形后最终得到的结果如图12、图13所示。
可见，在经过非常大的变形幅度后，得到的图像仍然给人自然变形的感觉，而不存在不合理的局部畸变等，这表明本公开实施例的方法也可实现很大幅度的影视特效变形(如哈哈镜效果变形)。
图14为本公开实施例提供的一种视频流中人脸变形的装置的组成框图。
第二方面，参照图14，本公开实施例提供一种视频流中人脸变形的装置，其用于对视频流中的多帧图像中的每一帧进行人脸变形，其中，装置包括：
初始点模块，用于采用预设的第一算法，确定当前帧图像中人脸上的多个初始点；
平滑模块，用于依据相关帧图像中的初始点和/或关键点，通过平滑处理调整当前帧图像中的初始点的位置，以经过平滑处理的初始点为关键点，相关帧图像为当前帧图像之前的一相邻帧的图像或多相邻帧的图像；
三角剖分模块，用于采用预设的第二算法，依据关键点进行三角剖分，得到多个以关键点为顶点的三角形；
变形模块，用于依据要进行的人脸变形的类型，采用对应的移动规则移动至少部分关键点，并在三角形中纹理不变的前提下，计算顶点有移动的三角形中的各像素点的像素值。
参照图15，本公开实施例的装置还包括：
扩展模块，用于依据已有的关键点，按照预设的第三算法扩展得到多个关键点。
在一些实施例中，扩展得到的关键点包括以下一项或多项：
对应人脸额头上轮廓的多个额头关键点；
位于人脸轮廓与当前帧图像边缘之间的多个保护关键点；
位于当前帧图像边缘的多个边缘关键点。
在一些实施例中，扩展得到的关键点包括位于当前帧图像边缘的多个边缘关键点；
三角剖分得到的多个三角形完全布满当前帧图像。
在一些实施例中，扩展得到的关键点包括位于人脸轮廓与当前帧图像边缘之间的多个保护关键点，保护关键点与位于人脸轮廓上的轮廓关键点一一对应；
任意两相邻轮廓关键点间通过三角剖分得到的一个三角形的一条边连接，各相邻轮廓关键点间的边构成对应人脸轮廓的轮廓圈；
任意两相邻保护关键点间通过三角剖分得到的一个三角形的一条边连接，各相邻保护关键点间的边构成围绕轮廓圈的外轮廓圈；
任意两相邻保护关键点间的边平行于与该两保护关键点对应的两轮廓关键点间的边。
在一些实施例中，平滑处理包括滤波处理或加权平均处理。
第三方面，本公开实施例提供一种电子设备，其包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任意一种视频流中人脸变形的方法。
第四方面，本公开实施例提供一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现上述任意一种视频流中人脸变形的方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其它数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其它的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其它传输机制之类的调制数据信号中的其它数据，并且可包括任何信息递送介质。
本公开已经公开了示例实施例，并且虽然采用了具体术语，但它们仅用于并仅应当被解释为一般说明性含义，并且不用于限制的目的。在一些实例中，对本领域技术人员显而易见的是，除非另外明确指出，否则可单独使用与特定实施例相结合描述的特征、特性和/或元素，或可与其它实施例相结合描述的特征、特性和/或元件组合使用。因此，本领域技术人员将理解，在不脱离由所附的权利要求阐明的本公开的范围的情况下，可进行各种形式和细节上的改变。
Claims (6)
1.一种视频流中人脸变形的方法，包括对所述视频流中的多帧图像中的每一帧进行人脸变形，其中，对任意一帧图像进行人脸变形包括：
采用预设的第一算法，确定当前帧图像中人脸上的多个初始点；
依据相关帧图像中的初始点和/或关键点，通过平滑处理调整所述当前帧图像中的所述初始点的位置，以经过所述平滑处理的所述初始点为关键点，所述相关帧图像为所述当前帧图像之前的一相邻帧的图像或多相邻帧的图像；所述平滑处理包括滤波处理或加权平均处理；
采用预设的第二算法，依据所述关键点进行三角剖分，得到多个以所述关键点为顶点的三角形；
依据要进行的人脸变形的类型，采用对应的移动规则移动至少部分所述关键点，并在所述三角形中纹理不变的前提下，计算顶点有移动的所述三角形中的各像素点的像素值；
在所述以经过所述平滑处理的所述初始点为关键点和所述依据所述关键点进行三角剖分之间，还包括：
依据已有的所述关键点，按照预设的第三算法扩展得到多个所述关键点；扩展得到的所述关键点包括：
对应人脸额头上轮廓的多个额头关键点；
位于人脸轮廓与所述当前帧图像边缘之间的多个保护关键点；
位于所述当前帧图像边缘的多个边缘关键点；
其中，所述保护关键点与位于人脸轮廓上的轮廓关键点一一对应；任意两相邻轮廓关键点间通过三角剖分得到的一个三角形的一条边连接，各相邻轮廓关键点间的边构成对应人脸轮廓的轮廓圈；任意两相邻保护关键点间通过三角剖分得到的一个三角形的一条边连接，各相邻保护关键点间的边构成围绕所述轮廓圈的外轮廓圈；任意两相邻保护关键点间的边平行于与该两保护关键点对应的两轮廓关键点间的边。
2.根据权利要求1所述的方法，其中，
扩展得到的所述关键点包括位于所述当前帧图像边缘的多个边缘关键点；
所述三角剖分得到的多个三角形完全布满所述当前帧图像。
3.一种视频流中人脸变形的装置，其用于对所述视频流中的多帧图像中的每一帧进行人脸变形，其中，所述装置包括：
初始点模块，用于采用预设的第一算法，确定当前帧图像中人脸上的多个初始点；
平滑模块，用于依据相关帧图像中的初始点和/或关键点，通过平滑处理调整所述当前帧图像中的所述初始点的位置，以经过所述平滑处理的所述初始点为关键点，所述相关帧图像为所述当前帧图像之前的一相邻帧的图像或多相邻帧的图像；所述平滑处理包括滤波处理或加权平均处理；
三角剖分模块，用于采用预设的第二算法，依据所述关键点进行三角剖分，得到多个以所述关键点为顶点的三角形；
变形模块，用于依据要进行的人脸变形的类型，采用对应的移动规则移动至少部分所述关键点，并在所述三角形中纹理不变的前提下，计算顶点有移动的所述三角形中的各像素点的像素值；
扩展模块，用于依据已有的所述关键点，按照预设的第三算法扩展得到多个所述关键点；扩展得到的所述关键点包括：
对应人脸额头上轮廓的多个额头关键点；
位于人脸轮廓与所述当前帧图像边缘之间的多个保护关键点；
位于所述当前帧图像边缘的多个边缘关键点；
其中，所述保护关键点与位于人脸轮廓上的轮廓关键点一一对应；任意两相邻轮廓关键点间通过三角剖分得到的一个三角形的一条边连接，各相邻轮廓关键点间的边构成对应人脸轮廓的轮廓圈；任意两相邻保护关键点间通过三角剖分得到的一个三角形的一条边连接，各相邻保护关键点间的边构成围绕所述轮廓圈的外轮廓圈；任意两相邻保护关键点间的边平行于与该两保护关键点对应的两轮廓关键点间的边。
4.根据权利要求3所述的装置，其中，
扩展得到的所述关键点包括位于所述当前帧图像边缘的多个边缘关键点；
所述三角剖分得到的多个三角形完全布满所述当前帧图像。
5.一种电子设备，其包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现根据权利要求1或2所述的视频流中人脸变形的方法。
6.一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求1或2所述的视频流中人脸变形的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910436504.0A CN110049351B (zh) | 2019-05-23 | 2019-05-23 | 视频流中人脸变形的方法和装置、电子设备、计算机可读介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910436504.0A CN110049351B (zh) | 2019-05-23 | 2019-05-23 | 视频流中人脸变形的方法和装置、电子设备、计算机可读介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110049351A CN110049351A (zh) | 2019-07-23 |
| CN110049351B true CN110049351B (zh) | 2022-01-25 |
Family
ID=67283334
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910436504.0A Active CN110049351B (zh) | 2019-05-23 | 2019-05-23 | 视频流中人脸变形的方法和装置、电子设备、计算机可读介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110049351B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110555812A (zh) * | 2019-07-24 | 2019-12-10 | 广州视源电子科技股份有限公司 | 图像调整方法、装置和计算机设备 |
| CN110365903B (zh) * | 2019-07-25 | 2022-11-29 | 腾讯科技（深圳）有限公司 | 基于视频的对象处理方法、装置、设备及可读存储介质 |
| CN110688948B (zh) * | 2019-09-26 | 2022-11-15 | 北京百度网讯科技有限公司 | 视频中人脸性别变换方法、装置、电子设备和存储介质 |
| CN110910478B (zh) * | 2019-11-05 | 2023-10-27 | 北京奇艺世纪科技有限公司 | Gif图生成方法、装置、电子设备及存储介质 |
| CN110941332A (zh) * | 2019-11-06 | 2020-03-31 | 北京百度网讯科技有限公司 | 表情驱动方法、装置、电子设备及存储介质 |
| CN111046801A (zh) * | 2019-12-13 | 2020-04-21 | 广州市久邦数码科技有限公司 | 一种人脸面部图像处理方法 |
| CN111489311B (zh) * | 2020-04-09 | 2023-08-08 | 北京百度网讯科技有限公司 | 一种人脸美化方法、装置、电子设备及存储介质 |
| CN112508773B (zh) | 2020-11-20 | 2024-02-09 | 小米科技(武汉)有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN113538644B (zh) * | 2021-07-19 | 2023-08-29 | 北京百度网讯科技有限公司 | 人物动态视频生成方法、装置、电子设备以及存储介质 |
| CN114913549B (zh) * | 2022-05-25 | 2023-07-07 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106446766A (zh) * | 2016-07-25 | 2017-02-22 | 浙江工业大学 | 一种视频中人脸特征点的稳定检测方法 |
| CN107330868A (zh) * | 2017-06-26 | 2017-11-07 | 北京小米移动软件有限公司 | 图片处理方法及装置 |
| CN107657590A (zh) * | 2017-09-01 | 2018-02-02 | 北京小米移动软件有限公司 | 图片处理方法及装置 |
| CN107818543A (zh) * | 2017-11-09 | 2018-03-20 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN108876732A (zh) * | 2018-05-25 | 2018-11-23 | 北京小米移动软件有限公司 | 人脸美颜方法及装置 |
| CN108898093A (zh) * | 2018-02-11 | 2018-11-27 | 陈佳盛 | 一种人脸识别方法及应用该方法的电子病历登陆系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2625263T3 (es) * | 2011-09-27 | 2017-07-19 | Huawei Technologies Co., Ltd. | Procedimiento y aparato para generar animación de metamorfosis |
| US10335045B2 (en) * | 2016-06-24 | 2019-07-02 | Universita Degli Studi Di Trento | Self-adaptive matrix completion for heart rate estimation from face videos under realistic conditions |
| CN108985132B (zh) * | 2017-05-31 | 2021-12-14 | 腾讯科技（深圳）有限公司 | 一种人脸图像处理方法、装置、计算设备及存储介质 |
| CN107680033B (zh) * | 2017-09-08 | 2021-02-19 | 北京小米移动软件有限公司 | 图片处理方法及装置 |
| CN107958479A (zh) * | 2017-12-26 | 2018-04-24 | 南京开为网络科技有限公司 | 一种移动端3d人脸增强现实实现方法 |
-
2019
- 2019-05-23 CN CN201910436504.0A patent/CN110049351B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106446766A (zh) * | 2016-07-25 | 2017-02-22 | 浙江工业大学 | 一种视频中人脸特征点的稳定检测方法 |
| CN107330868A (zh) * | 2017-06-26 | 2017-11-07 | 北京小米移动软件有限公司 | 图片处理方法及装置 |
| CN107657590A (zh) * | 2017-09-01 | 2018-02-02 | 北京小米移动软件有限公司 | 图片处理方法及装置 |
| CN107818543A (zh) * | 2017-11-09 | 2018-03-20 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN108898093A (zh) * | 2018-02-11 | 2018-11-27 | 陈佳盛 | 一种人脸识别方法及应用该方法的电子病历登陆系统 |
| CN108876732A (zh) * | 2018-05-25 | 2018-11-23 | 北京小米移动软件有限公司 | 人脸美颜方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110049351A (zh) | 2019-07-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110049351B (zh) | 视频流中人脸变形的方法和装置、电子设备、计算机可读介质 | |
| US11132824B2 (en) | Face image processing method and apparatus, and electronic device | |
| CN110807836B (zh) | 三维人脸模型的生成方法、装置、设备及介质 | |
| US8698796B2 (en) | Image processing apparatus, image processing method, and program | |
| EP3454250A1 (en) | Facial image processing method and apparatus and storage medium | |
| US20190251675A1 (en) | Image processing method, image processing device and storage medium | |
| US11238569B2 (en) | Image processing method and apparatus, image device, and storage medium | |
| US9041773B2 (en) | Conversion of 2-dimensional image data into 3-dimensional image data | |
| CN110264396B (zh) | 视频人脸替换方法、系统及计算机可读存储介质 | |
| WO2021169396A1 (zh) | 一种媒体内容植入方法以及相关装置 | |
| JP6135952B2 (ja) | 画像アンチエイリアシング方法および装置 | |
| CN113313730B (zh) | 直播场景中获取图像前景区域的方法和装置 | |
| CN104850847A (zh) | 具有自动瘦脸功能的图像优化系统和方法 | |
| CN111986212A (zh) | 一种人像发丝流动特效实现方法 | |
| CN112507766B (zh) | 人脸图像提取方法、存储介质及终端设备 | |
| US20220351340A1 (en) | Image processing method and image display device | |
| CN114549703B (zh) | 一种快速动画图像生成方法、系统、装置及存储介质 | |
| US20220374649A1 (en) | Face swapping with neural network-based geometry refining | |
| CN111047517B (zh) | 肤色调节方法及装置、可读存储介质 | |
| US9563940B2 (en) | Smart image enhancements | |
| CN109003250B (zh) | 一种图像与三维模型融合方法 | |
| CN107895343B (zh) | 一种基于五官定位快速简单上腮红的图像处理方法 | |
| CN117689773B (zh) | 贴图方法、装置、电子设备和存储介质 | |
| CN110599428B (zh) | 光流估计异构混合网络及其嵌入方法 | |
| CN117152805A (zh) | 图像处理方法及装置、计算设备、存储介质和程序产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |