CN108986016B - 图像美化方法、装置及电子设备 - Google Patents
图像美化方法、装置及电子设备 Download PDFInfo
- Publication number
- CN108986016B CN108986016B CN201810690342.9A CN201810690342A CN108986016B CN 108986016 B CN108986016 B CN 108986016B CN 201810690342 A CN201810690342 A CN 201810690342A CN 108986016 B CN108986016 B CN 108986016B
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- edge
- key points
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000004364 calculation method Methods 0.000 claims abstract description 13
- 210000000744 eyelid Anatomy 0.000 claims description 28
- 230000000694 effects Effects 0.000 claims description 22
- 238000003860 storage Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 17
- 210000000720 eyelash Anatomy 0.000 claims description 13
- 238000012937 correction Methods 0.000 claims description 8
- 230000004807 localization Effects 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 15
- 210000004709 eyebrow Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000003796 beauty Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000227 grinding Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本公开实施例公开了一种图像美化的方法、装置及电子设备,涉及图像美化领域。其中,图像美化方法,包括:在目标对象上获取第一边缘;基于所述第一边缘进行计算,得到定位点;基于所述定位点将第二图像贴合在目标对象上。依据目标对象上的第一边缘为基准,通过计算得到定位点,从而避免了现有技术采用三角剖分时,造成的图像畸变问题。
Description
技术领域
本公开涉及图像处理领域,尤其涉及一种图像美化的方法和装置。
背景技术
现在采用电子设备进行拍照时,可以使用内置的拍照软件实现拍照效果,也可以通过从网络端下载应用程序(Application,简称为:APP)来实现具有附加功能的拍照效果,例如可以实现暗光检测、美颜相机和超级像素等功能的APP。电子设备的美颜功能通常包括肤色调整、磨皮、大眼和瘦脸等美颜处理效果,能对图像中已识别出的所有人脸进行相同程度的美颜处理。
发明内容
现有技术中对图像进行美化时,首先对图像进行三角剖分,而在三角剖分时,往往需要选用两个参考目标,如在使用眼线图像对人脸进行美化时,需要依据眼睛的上边沿和眉毛为参考目标,对眼睛和眉毛之间的区域进行三角区分,但每个人的眉毛的形状都不一样,有的人眉毛中间会突出比较多,这种情况下,如果还依据眼睛的上边沿和眉毛为参考目标,会造成眼线图像出现畸变的问题。即现有技术中选用两个参考目标对图像进行美化时,存在美化后图像畸变的问题。
有鉴于此,本公开实施例提供了一种图像美化的方法、装置及电子设备,至少部分的解决现有技术中存在的问题。
第一方面,本公开实施例提供了一种图像美化的方法,包括:
在目标对象上获取第一边缘;
基于所述第一边缘进行计算,得到定位点;
基于所述定位点将第二图像贴合在目标对象上。
作为本公开实施例的一种具体实现方式,所述基于所述第一边缘进行计算,得到定位点步骤之后,还包括:
获取目标对象上的第二边缘;
检测所述定位点是否位于第一边缘和第二边缘之间;
如检测结果为否,则重新基于所述第一边缘进行计算,得到新的定位点。
作为本公开实施例的一种具体实现方式,所述基于所述第一边缘进行计算,得到定位点,包括:
获取第一边缘上的关键点;
基于所述关键点对目标对象进行三角剖分,得到三角网格;
基于所述三角网格,得到定位点。
作为本公开实施例的一种具体实现方式,所述基于所述定位点将第二图像贴合在目标对象上,包括:
获取第二图像;
提取第二图像上的关键点;
基于第二图像上的关键点和定位点将第二图像贴合在目标对象上。
作为本公开实施例的一种具体实现方式,其特征在于:
所述第二图像上的关键点为预设的关键点。
作为本公开实施例的一种具体实现方式,在基于所述三角网格,得到定位点之后,还包括:
对所述定位点进行误差校正。
作为本公开实施例的一种具体实现方式,所述在目标对象上获取第一边缘之前,包括:
获取第一图像的目标对象。
作为本公开实施例的一种具体实现方式,所述获取第一图像的目标对象,包括:
分离第一图像的前景图和背景图;
在所述前景图中获取目标对象。
作为本公开实施例的一种具体实现方式,所述第二图像包括睫毛图像、双眼皮图像、眼线图像或眼影图像中的一个或多个。
第二方面,本公开实施例还提供了一种图像美化的装置,包括:
获取模块:用于在目标对象上获取第一边缘;
计算模块:用于基于所述第一边缘进行计算,得到定位点;
贴合模块:用于基于所述定位点将第二图像贴合在目标对象上。
作为本公开实施例的一种具体实现方式,还包括:
第二边缘获取模块:用于获取目标对象上的第二边缘;
检测模块:用于检测所述计算模块得到的所述定位点是否位于所述第一边缘和所述第二边缘之间;
判断模块:用于判断检测结果,如检测结果为否,则重新基于所述第一边缘进行计算,得到新的定位点。
作为本公开实施例的一种具体实现方式,所述计算模块,包括:
关键点获取模块:用于获取第一边缘上的关键点;
三角剖分模块:用于基于所述关键点对目标对象进行三角剖分,得到三角网格;
定位点获取模块:用于基于所述三角网格,得到定位点。
作为本公开实施例的一种具体实现方式,所述贴合模块,包括:
第二图像获取模块:用于获取第二图像;
第二图像关键点提取模块:用于提取第二图像上的关键点;
第二图像贴合模块:用于基于第二图像上的关键点和定位点将第二图像贴合在目标对象上。
作为本公开实施例的一种具体实现方式,所述提取第二图像上关键点中:
所述第二图像上的关键点为预设的关键点。
作为本公开实施例的一种具体实现方式,还包括:
误差校正模块:用于对所述定位点获取模块得到的定位点进行误差校正。
作为本公开实施例的一种具体实现方式,还包括:
目标对象获取模块:用于获取第一图像的目标对象。
作为本公开实施例的一种具体实现方式,所述目标对象获取模块,包括:
分离模块:用于分离第一图像的前景图和背景图;
对象获取模块:用于在所述前景图中获取目标对象。
作为本公开实施例的一种具体实现方式,所述第二图像包括睫毛图像、双眼皮图像、眼线图像或眼影图像中的一个或多个。
第三方面,本公开实施例还提供了一种电子设备,该电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有能被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行第一方面任一所述的图像美化的方法。
第四方面,本公开实施例还提供了一种非暂态计算机可读存储介质,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行权利要求第一方面任一所述的图像美化的方法。
本公开实施例提供的图像美化的方法、装置、电子设备及非暂态计算机可读存储介质,其中该图像美化的方法:依据目标对象上的第一边缘为基准,通过计算得到定位点,从而避免了现有技术中采用两个基准进行三角剖分时,因一个基准畸变而造成图像畸变的问题。
上述说明仅是本公开技术方案的概述,为了能更清楚了解本公开的技术手段,而可依照说明书的内容予以实施,并且为让本公开的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本公开实施例提供的一种图像美化的方法的流程图;
图2为本公开实施例提供基于第二边缘对定位点进行检测的流程图;
图3为本公开实施例提供基于第一边缘进行计算得到定位点的流程图;
图4为本公开实施例提供的基于三角网格得到定位点的示意图;
图5为本公开实施例提供基于定位点将第二图像贴合在目标对象上的流程图;
图6为本公开实施例提供的一种图像美化的装置的原理框图;
图7为本公开实施例提供的一种电子设备的原理框图;
图8为本公开实施例提供的一种计算机可读存储介质的示意图;
图9为本公开实施例提供的一种终端的原理框图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
应当明确,以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
为了便于理解,首先对三角剖分进行示例性的解释。三角剖分的基本原理是:必定存在且仅存在一种算法,对一个平面域上的散乱点集进行三角剖分,使得所有三角形的最小内角之和最大。满足这种条件的三角剖分方法,被称为Delaunay三角剖分。由于该方法具有一系列独特的性质,因而在计算机图形处理、3D建模等领域得到了广泛的应用。
参见图1,本公开实施例提供一种图像美化的方法。该图像美化的方法,包括如下步骤:
S101:在目标对象上获取第一边缘。
在图像美化的时候,首先需要对需要美化的目标对象进行处理,获取第一边缘,可以为提取目标对象上的关键点,以提取的关键点作为第一边缘。
在一个具体的应用场景中,如在对人脸图像进行美化处理时,具体在人脸的眼睛部位粘贴眼影贴纸图像时,首先提取眼睛部分的关键点,而眼部关键点可以是通过人脸特征关键点检测得到的眼部位置处的关键点,例如眼角处的关键点;上眼睑上分布的一个或多个关键点;下眼睑上分布的一个或多个关键点。通过提取的眼角、上眼睑和下眼睑处的关键点可以标识出眼睛轮廓。在具体的应用中取眼角和上眼睑处的关键点作为第一边缘。
S102:基于所述第一边缘进行计算,得到定位点。
在上述提取关键点作为第一边缘后,以这些关键点为基准进行计算,比如可以将作为第一边缘的关键点进行等距离的平移计算,从而对应得到平移后的关键点,这些平移后的关键点即可作为定位点。
也可以在作为第一边缘的关键点中,选择两两相邻的关键点,并以相邻的两个关键点的连线为底边构建三角形,那么三角形的顶点即为定位点。
S103:基于所述定位点将第二图像贴合在目标对象上。
在一个具体的应用场景中,本公开中对图像的美化,主要是对图像中的目标对象粘贴贴纸,本步骤中的第二图像即为贴纸图像,如在步骤S102获得定位点后,即依据定位点的基准,将相应的睫毛、双眼皮、眼线或眼影等贴纸图像上的像素点数值写入到人脸图像的相应位置。
在对人脸图像的眼睛部位粘贴睫毛、双眼皮、眼线或眼影等贴纸图像的应用场景中,用户通过安装在电子设备(如智能手机、平板)上的应用程序为人脸图像的眼睛部位进行在线或者离线美妆时,可以从预设的多个标准模板中选择自己喜欢的眼妆效果图像,并通过拖拽或者按下相应按钮的方式触发眼妆效果图像与人脸图像的变换过程。当然,也可以应用程序为自动对人脸图像的眼睛部位进行美妆,本公开对此不做限制。应用程序首先获取待处理的人脸图像,之后再对人脸图像进行检测。在检测到人脸区域后,对人脸进行关键点提取,从而得到人脸图像上的关键点,然后选取眼睛部位的关键点。
在一具体应用中,对人脸进行关键点提取时,可以将人脸图像上的所有关键点都提取出来,包括眉毛、鼻子、嘴巴、眼睛、脸外轮廓等多处部位的关键点。然后只选择眼睛部位的关键点即可,也可以只将眼部预定位置的关键点提取出来。
而对于提取眼睛关键点,以提取一个眼睛的关键点为例,在两个眼角处各提取一个关键点,提取上眼睑最高处的一个关键点以及该关键点左右两边的两个关键点,下眼睑最低处的一个关键点以及该关键点左右两边的两个关键点,总共可以为8个关键点。本公开提取8个关键点只是示例性的说明,在实际应用中可以根据需要确定需要提取的关键点个数。在提取出眼睛部位的关键后,可以将两个眼睛处的关键点和上眼睑处的三个关键点共5个关键点作为第一边缘。
在检测出眼部关键点之后,可以根据三角剖分的原理以及用户所选择的眼妆效果图像插值得到定位点。定位点的位置可以基于作为第一边缘的关键点的位置来选择,定位点可以选择在眼部轮廓周围,例如在上眼皮、下眼皮以及眼角横向延长线上,定位点与作为第一边缘的关键点共同构成第一三角剖分网格。第一三角剖分网格包括多个三角形,每个三角形的顶点为眼部关键点或定位点。由于定位点位于上眼皮、下眼皮或者眼角横向延长线上,且定位点时依据作为第一边缘的关键点计算得出的,因此其与形状主要和作为第一边缘的关键点相关联,而人脸其他部位的形状不会对定位点的位置造成影响。如人脸图像上眉毛严重突起造成的畸变等不会使得定位点的位置发生变化,因此第一三角剖分网格中三角形形状比较固定,因此在根据第一三角剖分网格将眼妆效果图像变换到眼部预定位置处时,不会产生类似已有技术中的畸变,大大提高了用户体验效果。
本应用中根据人脸眼部关键点,并以作为第一边缘的关键点为基准在眼部周围通过计算得到定位点,并根据人脸眼部关键点和定位点构成的三角剖分网格将标准眼妆效果图像变换在人脸眼部预定位置处,以解决由于不同人、在眼睛不同状态下时三角剖分网格形状差距较大的问题,从而实现不同人、在眼睛不同状态下都能够较好地为眼部贴上预期眼妆效果图的技术效果,从而提高了用户体验效果。
作为本公开实施例的一种具体实现方式,步骤S102所述基于所述第一边缘进行计算,得到定位点步骤之后,还包括:
S201:获取目标对象上的第二边缘。
在目标对象上提取关键点作为第二边缘。
在具体的应用场景中,如在人脸图像中,可选择提取眉毛的关键点作为第二关键点。
S202:检测所述定位点是否位于第一边缘和第二边缘之间。
在具体应用场景中,对人脸图像眼睛部位粘贴眼线时,需要保证眼线位于眼睛和眉毛之前,其位置不能高于眉毛。因此需要提取眉毛处的关键点,以对眼线的位置进行限定。
S203:如检测结果为否,则重新基于所述第一边缘进行计算,得到新的定位点。
在具体应用场景中,如检测到眼线不是位于眼睛和眉毛之间,则从新回到步骤S102对定位点重新计算,直到定位点位于眼睛和眉毛之间。
作为本公开实施例的一种具体实现方式,步骤S102所述基于所述第一边缘进行计算,得到定位点,包括:
S301:获取第一边缘上的关键点。
在获取第一边缘后,获取第一边缘的关键点,如在上面的实施例中,选择眼睛部分的5个关键点作为第一边缘的关键点。
S302:基于所述关键点对目标对象进行三角剖分,得到三角网格。
即在获取到第一边缘的关键点后,可以将相邻的关键点相连,并以相邻的关键点相连得到的直线为底边,构建三角形,从而得到三角网格。
S303:基于所述三角网格,得到定位点。
在步骤S302中构建三角形后,三角形的顶点即为定位点。
如图4所示,a、b、c、d和e点为第一边缘上的5个关键点,分别以线段ab、线段bc、线段cd和线段de为底边构建三角形abf、三角形bcg、三角形cdh和三角形dei,则三角形abf、三角形bcg、三角形cdh和三角形dei的顶点f、g、h和i即为定位点。
作为本公开实施例的一种具体实现方式,步骤S103基于所述定位点将第二图像贴合在目标对象上,包括:
S501:获取第二图像。
第二图像即需要粘贴到第一图像上的图像,在一个具体的应用场景中,将睫毛、双眼皮、眼线和眼影等图像粘贴到人脸的眼睛部位。睫毛、双眼皮、眼线和眼影等图像即为第二图像。
S502:提取第二图像上关键点的特征数据。
提取第二图像中与定位点想对应的关键点,并提取关键点处的像素点数值。
S503:将所述特征数据贴合在定位点上。
将步骤S502中得到的第二图像上的关键点处的像素点数值通过图像处理算法写入到第一图像的定位点上,而其它像素点的数值,则可依据其与关键点的位置关系,相应的写入到第一图像对应位置。
作为本公开实施例的一种具体实现方式,所述第二图像上的关键点为预设的关键点。
即第二图像上的关键点个数和位置都是预先设定好的。在第二图像上的关键点为预设好的前提下,第一图像上的定位点为了保持与第二图像上的关键点相对应,在计算得到定位点时,需要依据第二图像上的关键点计算得到定位点。
如在步骤S302中构建三角形时,需要获得第二图像中相应三角形的夹角的度数,从而依据相应三角形的夹角的度数构建三角形,从而保证计算得到的定位点与第二图像上的关键点的对应关系。
如在图4中,构建三角形abf时,∠fab和∠fba的度数是依据第二图像中相应位置处的三角形的角度确定的,从而保证三角形abf与第二图像中相应位置处的三角形相似。
作为本公开实施例的一种具体实现方式,在基于所述三角网格,得到定位点之后,还包括:对所述定位点进行误差校正。
在一个具体的应用场景中,如在眼睛部位粘贴睫毛,则通过对现有图像中多个睫毛的在眼睛部分的位置进行采集,并通过计算得到一条标准的睫毛位置线,以该位置线为标准对得到的定位点进行校正,如定位点均匀的位于该标准位置线上或两侧则不需要校正,如定位点位于该标准位置线的单侧,则需要对定位点进行校正,移动定位点,使定位点均匀的位于该标准位置线上或两侧即可。
为本公开实施例的一种具体实现方式,步骤S101在目标对象上获取第一边缘步骤之前,还包括获取第一图像的目标对象。
当应用程序接收到对图像进行美化的命令后,首先需要在图像中获取目标对象。
在一个具体的应用场景中,如在对人脸图像进行美化时,首先要获取图像中的人脸图像。
应用程序中可以预先保存多种眼妆效果图像供用户选择,眼妆效果图像是设计在应用程序的标准模板上的。用户可以通过应用程序为人脸图像增加眼妆效果。用户在选定了应用程序提供的某个眼妆效果图像后,应用程序可以先获取用户待增加眼妆效果的图片或者视频帧。用户可以通过应用程序提供的接口上传包括人脸的图像,并对图像上的人脸进行离线处理,或者通过摄像头实时获取用户的视频帧,并对视频帧进行在线处理。无论是离线处理还是在线处理,在用户选定了眼妆效果图像后,从图片或者视频帧获取人脸图像之前,首先需要进行人脸图像的检测,而人脸图像的检测即判断待检测图片或视频帧中是否存在人脸,如果存在则返回人脸的大小、位置等信息。人脸图像的检测方法包括很多种,例如肤色检测、运动检测、边缘检测等等,相关的检测模型也很多,本公开对此不做限制。此外,如果检测到当前图片或视频帧中存在多个人脸,则对每个人脸都生成人脸图像。
而在检测到人脸图像后,可以通过提取人脸关键点的方式,获取到人脸图像的关键点,从而获取到图像中的目标对象。
作为本公开实施例的一种具体实现方式,在获取图像中的目标对象的步骤中,因图像中除了目标对象还包含其他信息,为了排除这些信息的干扰,还包括以下步骤;
分离第一图像的前景和背景;在所述前景中获取目标对象。
即将图像的背景和前景分离,而前景和背景分离有背景差分法、帧差分法及光流场法等等,在将前景和背景分离后,前景图像中干扰信息大部分被排除掉,因此在前景图像中获取目标对象会比在整个图像中获取目标对象简化许多。
如在一个具体的应用场景中,在包含人脸的图像中,首先将图像中的人或人的头部与图像的背景分离开来,从而得到人或人的头部的前景图像,然后在包含人或人头部的前景图像中提取人脸信息。
本公开还提供一种图像美化的装置,包括:
获取模块602:用于在目标对象上获取第一边缘;
计算模块603:用于基于所述第一边缘进行计算,得到定位点;
贴合模块608:用于基于所述定位点将第二图像贴合在目标对象上。
作为本公开实施例的一种具体实现方式,图像美化的装置,还包括:
第二边缘获取模块604:用于获取目标对象上的第二边缘;
检测模块605:用于检测所述计算模块得到的所述定位点是否位于所述第一边缘和所述第二边缘之间;
判断模块606:用于判断检测结果,如检测结果为否,则重新基于所述第一边缘进行计算,得到新的定位点。
作为本公开实施例的一种具体实现方式,所述计算模块603,包括:
关键点获取模块6031:用于获取第一边缘上的关键点;
三角剖分模块6032:用于基于所述关键点对目标对象进行三角剖分,得到三角网格;
定位点获取模块6033:用于基于所述三角网格,得到定位点。
作为本公开实施例的一种具体实现方式,所述贴合模块608,包括:
第二图像获取模块6081:用于获取第二图像;
第二图像关键点提取模块6082:用于提取第二图像上的关键点;
第二图像贴合模块6083:用于基于第二图像上的关键点和定位点将第二图像贴合在目标对象上。
作为本公开实施例的一种具体实现方式,所述提取第二图像上关键点中:
所述第二图像上的关键点为预设的关键点。
作为本公开实施例的一种具体实现方式,还包括:
误差校正模块607:用于对所述定位点获取模块得到的定位点进行误差校正。
作为本公开实施例的一种具体实现方式,还包括:
目标对象获取模块601:用于获取第一图像的目标对象。
作为本公开实施例的一种具体实现方式,所述目标对象获取模块601,包括:
分离模块6011:用于分离第一图像的前景图和背景图;
对象获取模块6012:用于在所述前景图中获取目标对象。
作为本公开实施例的一种具体实现方式,所述第二图像包括睫毛图像、双眼皮图像、眼线图像或眼影图像中的一个或多个。
图像美化的装置的整体示意图如图6所示。
图7是图示根据本公开的实施例的电子设备的硬件框图。如图7所示,根据本公开实施例的电子设备70包括存储器71和处理器72。
该存储器71用于存储非暂时性计算机可读指令。具体地,存储器71可以包括一个或多个计算机程序产品,该计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
该处理器72可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制电子设备70中的其它组件以执行期望的功能。在本公开的一个实施例中,该处理器72用于运行该存储器71中存储的该计算机可读指令,使得该电子设备70执行前述的本公开各实施例的图像美化的全部或部分步骤。
本领域技术人员应能理解,为了解决如何获得良好用户体验效果的技术问题,本实施例中也可以包括诸如通信总线、接口等公知的结构,这些公知的结构也应包含在本公开的保护范围之内。
有关本实施例的详细说明可以参考前述各实施例中的相应说明,在此不再赘述。
图8是图示根据本公开的实施例的计算机可读存储介质的示意图。如图8所示,根据本公开实施例的计算机可读存储介质80,其上存储有非暂时性计算机可读指令81。当该非暂时性计算机可读指令81由处理器运行时,执行前述的本公开各实施例的图像美化的全部或部分步骤。
上述计算机可读存储介质80包括但不限于:光存储介质(例如:CD-ROM和DVD)、磁光存储介质(例如:MO)、磁存储介质(例如:磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如:存储卡)和具有内置ROM的媒体(例如:ROM盒)。
有关本实施例的详细说明可以参考前述各实施例中的相应说明,在此不再赘述。
图9是图示根据本公开实施例的终端设备的硬件结构示意图。如图9所示,该终端90包括上述图像美化装置实施例。
该终端设备可以以各种形式来实施,本公开中的终端设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。
作为等同替换的实施方式,该终端90还可以包括其他组件。如图9所示,该终端90可以包括电源单元91、无线通信单元92、A/V(音频/视频)输入单元93、用户输入单元94、感测单元95、接口单元96、控制器97、输出单元98和存储单元99等等。图9示出了具有各种组件的终端,但是应理解的是,并不要求实施所有示出的组件,也可以替代地实施更多或更少的组件。
其中,无线通信单元92允许终端90与无线通信系统或网络之间的无线电通信。A/V输入单元93用于接收音频或视频信号。用户输入单元94可以根据用户输入的命令生成键输入数据以控制终端设备的各种操作。感测单元95检测终端90的当前状态、终端90的位置、用户对于终端90的触摸输入的有无、终端90的取向、终端90的加速或减速移动和方向等等,并且生成用于控制终端90的操作的命令或信号。接口单元96用作至少一个外部装置与终端90连接可以通过的接口。输出单元98被构造为以视觉、音频和/或触觉方式提供输出信号。存储单元99可以存储由控制器97执行的处理和控制操作的软件程序等等,或者可以暂时地存储己经输出或将要输出的数据。存储单元99可以包括至少一种类型的存储介质。而且,终端90可以与通过网络连接执行存储单元99的存储功能的网络存储装置协作。控制器97通常控制终端设备的总体操作。另外,控制器97可以包括用于再现或回放多媒体数据的多媒体模块。控制器97可以执行模式识别处理,以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元91在控制器97的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
本公开提出的图像美化的各种实施方式可以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,本公开提出的图像美化的各种实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施,在一些情况下,本公开提出的图像美化的各种实施方式可以在控制器97中实施。对于软件实施,本公开提出的图像美化的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储单元99中并且由控制器97执行。
有关本实施例的详细说明可以参考前述各实施例中的相应说明,在此不再赘述。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
在本公开中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序,本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
另外,如在此使用的,在以“至少一个”开始的项的列举中使用的“或”指示分离的列举,以便例如“A、B或C的至少一个”的列举意味着A或B或C,或AB或AC或BC,或ABC(即A和B和C)。此外,措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是,在本公开的系统和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外,本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而,所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (12)
1.一种应用于眼妆效果的图像美化的方法,其特征在于,包括:
在目标对象上获取眼角和上眼睑处的特征点作为第一边缘,所述目标对象为人脸图像;
基于所述第一边缘进行计算,得到定位点,所述定位点位于所述目标对象的上眼皮、下眼皮或眼角的横向延长线上,其中,所述定位点为,所述第一边缘上的关键点进行等距离平移得到的,或者,所述第一边缘上相邻的关键点为底边构建的三角形的顶点;
基于所述定位点将第二图像贴合在目标对象上,所述第二图像为包含睫毛、双眼皮、眼线或眼影的贴纸图像。
2.根据权利要求1所述的图像美化的方法,其特征在于,所述基于所述第一边缘进行计算,得到定位点步骤之后,还包括:
获取目标对象上的第二边缘;
检测所述定位点是否位于第一边缘和第二边缘之间;
如检测结果为否,则重新基于所述第一边缘进行计算,得到新的定位点。
3.根据权利要求1所述的图像美化的方法,其特征在于,所述基于所述第一边缘进行计算,得到定位点,包括:
获取第一边缘上的关键点;
基于所述关键点对目标对象进行三角剖分,得到三角网格;
基于所述三角网格,得到定位点。
4.根据权利要求3所述的图像美化的方法,其特征在于,所述基于所述定位点将第二图像贴合在目标对象上,包括:
获取第二图像;
提取第二图像上的关键点;
基于第二图像上的关键点和定位点将第二图像贴合在目标对象上。
5.根据权利要求4所述的图像美化的方法,其特征在于:
所述第二图像上的关键点为预设的关键点。
6.根据权利要求3所述的图像美化的方法,其特征在于,在基于所述三角网格,得到定位点之后,还包括:
对所述定位点进行误差校正。
7.根据权利要求1所述的图像美化的方法,其特征在于,所述在目标对象上获取第一边缘之前,包括:
获取第一图像的目标对象。
8.根据权利要求7所述的图像美化的方法,其特征在于,所述获取第一图像的目标对象,包括:
分离第一图像的前景图和背景图;
在所述前景图中获取目标对象。
9.根据权利要求3所述的图像美化的方法,其特征在于:
所述第二图像包括睫毛图像、双眼皮图像、眼线图像或眼影图像中的一个或多个。
10.一种应用于眼妆效果的图像美化的装置,其特征在于,包括:
获取模块:用于在目标对象上获取眼角和上眼睑处的特征点作为第一边缘,所述目标对象为人脸图像;
计算模块:用于基于所述第一边缘进行计算,得到定位点,所述定位点位于所述目标对象的上眼皮、下眼皮或眼角的横向延长线上,其中,所述定位点为,所述第一边缘上的关键点进行等距离平移得到的,或者,所述第一边缘上相邻的关键点为底边构建的三角形的顶点;
贴合模块:用于基于所述定位点将第二图像贴合在目标对象上,所述第二图像为包含睫毛、双眼皮、眼线或眼影的贴纸图像。
11.一种电子设备,其特征在于,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-9所述的图像美化的方法。
12.一种非暂态计算机可读存储介质,其特征在于,该非暂态计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行权利要求1-9任一所述的图像美化的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810690342.9A CN108986016B (zh) | 2018-06-28 | 2018-06-28 | 图像美化方法、装置及电子设备 |
PCT/CN2019/073075 WO2020001014A1 (zh) | 2018-06-28 | 2019-01-25 | 图像美化方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810690342.9A CN108986016B (zh) | 2018-06-28 | 2018-06-28 | 图像美化方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108986016A CN108986016A (zh) | 2018-12-11 |
CN108986016B true CN108986016B (zh) | 2021-04-20 |
Family
ID=64539533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810690342.9A Active CN108986016B (zh) | 2018-06-28 | 2018-06-28 | 图像美化方法、装置及电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN108986016B (zh) |
WO (1) | WO2020001014A1 (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108986016B (zh) * | 2018-06-28 | 2021-04-20 | 北京微播视界科技有限公司 | 图像美化方法、装置及电子设备 |
CN110211211B (zh) * | 2019-04-25 | 2024-01-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN110136054B (zh) * | 2019-05-17 | 2024-01-09 | 北京字节跳动网络技术有限公司 | 图像处理方法和装置 |
CN112132859A (zh) * | 2019-06-25 | 2020-12-25 | 北京字节跳动网络技术有限公司 | 贴纸生成方法、装置、介质和电子设备 |
CN110766631A (zh) * | 2019-10-21 | 2020-02-07 | 北京旷视科技有限公司 | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 |
CN111489311B (zh) * | 2020-04-09 | 2023-08-08 | 北京百度网讯科技有限公司 | 一种人脸美化方法、装置、电子设备及存储介质 |
CN114095647A (zh) * | 2020-08-24 | 2022-02-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN114095646B (zh) * | 2020-08-24 | 2022-08-26 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN112150387B (zh) * | 2020-09-30 | 2024-04-26 | 广州光锥元信息科技有限公司 | 对照片中的人像增强五官立体感的方法及装置 |
CN112365415B (zh) * | 2020-11-09 | 2024-02-09 | 珠海市润鼎智能科技有限公司 | 高动态范围图像的快速显示转换方法 |
CN112347979B (zh) * | 2020-11-24 | 2024-03-15 | 郑州阿帕斯科技有限公司 | 一种眼线绘制方法和装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013228765A (ja) * | 2012-04-24 | 2013-11-07 | General Electric Co <Ge> | イメージ位置合わせのための最適勾配追求 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102486868A (zh) * | 2010-12-06 | 2012-06-06 | 华南理工大学 | 一种基于平均脸的美丽人脸合成方法 |
US8605972B2 (en) * | 2012-03-02 | 2013-12-10 | Sony Corporation | Automatic image alignment |
CN103236066A (zh) * | 2013-05-10 | 2013-08-07 | 苏州华漫信息服务有限公司 | 一种基于人脸特征分析的虚拟试妆方法 |
CN104778712B (zh) * | 2015-04-27 | 2018-05-01 | 厦门美图之家科技有限公司 | 一种基于仿射变换的人脸贴图方法和系统 |
CN106709931B (zh) * | 2015-07-30 | 2020-09-11 | 中国艺术科技研究所 | 一种脸谱映射至人脸的方法、脸谱映射装置 |
CN108492247A (zh) * | 2018-03-23 | 2018-09-04 | 成都品果科技有限公司 | 一种基于网格变形的眼妆贴图方法 |
CN108986016B (zh) * | 2018-06-28 | 2021-04-20 | 北京微播视界科技有限公司 | 图像美化方法、装置及电子设备 |
-
2018
- 2018-06-28 CN CN201810690342.9A patent/CN108986016B/zh active Active
-
2019
- 2019-01-25 WO PCT/CN2019/073075 patent/WO2020001014A1/zh active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013228765A (ja) * | 2012-04-24 | 2013-11-07 | General Electric Co <Ge> | イメージ位置合わせのための最適勾配追求 |
Also Published As
Publication number | Publication date |
---|---|
CN108986016A (zh) | 2018-12-11 |
WO2020001014A1 (zh) | 2020-01-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108986016B (zh) | 图像美化方法、装置及电子设备 | |
CN109063560B (zh) | 图像处理方法、装置、计算机可读存储介质和终端 | |
EP3726476A1 (en) | Object modeling movement method, apparatus and device | |
CN108830892B (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN110072046B (zh) | 图像合成方法和装置 | |
CN110390632B (zh) | 基于妆容模板的图像处理方法、装置、存储介质及终端 | |
US20220237812A1 (en) | Item display method, apparatus, and device, and storage medium | |
CN108921798B (zh) | 图像处理的方法、装置及电子设备 | |
WO2020029554A1 (zh) | 增强现实多平面模型动画交互方法、装置、设备及存储介质 | |
WO2020024569A1 (zh) | 动态生成人脸三维模型的方法、装置、电子设备 | |
CN108921856B (zh) | 图像裁剪方法、装置、电子设备及计算机可读存储介质 | |
WO2019242271A1 (zh) | 图像变形方法、装置及电子设备 | |
JP7383714B2 (ja) | 動物顔部の画像処理方法と装置 | |
WO2020019664A1 (zh) | 基于人脸的形变图像生成方法和装置 | |
WO2020037924A1 (zh) | 动画生成方法和装置 | |
WO2019075656A1 (zh) | 图像处理方法、装置、终端和存储介质 | |
CN111275824A (zh) | 用于交互式增强现实的表面重建 | |
CN108898551B (zh) | 图像合并的方法和装置 | |
CN111199169A (zh) | 图像处理方法和装置 | |
WO2019237744A1 (zh) | 构建图像深度信息的方法及装置 | |
CN109146770A (zh) | 一种形变图像生成方法、装置、电子设备及计算机可读存储介质 | |
CN110069126A (zh) | 虚拟对象的控制方法和装置 | |
CN115702443A (zh) | 将存储的数字化妆增强应用于数字图像中的已辨识面部 | |
CN110941327A (zh) | 虚拟对象的显示方法和装置 | |
CN108989681A (zh) | 全景图像生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP03 | Change of name, title or address |
Address after: 2nd Floor, Building 4, No. 18 North Third Ring West Road, Haidian District, Beijing, 2022 Patentee after: Tiktok Technology Co.,Ltd. Country or region after: China Address before: 100080 408, 4th floor, 51 Zhichun Road, Haidian District, Beijing Patentee before: BEIJING MICROLIVE VISION TECHNOLOGY Co.,Ltd. Country or region before: China |
|
CP03 | Change of name, title or address |