CN110766631A - 人脸图像的修饰方法、装置、电子设备和计算机可读介质 - Google Patents

人脸图像的修饰方法、装置、电子设备和计算机可读介质 Download PDF

Info

Publication number
CN110766631A
CN110766631A CN201911003665.7A CN201911003665A CN110766631A CN 110766631 A CN110766631 A CN 110766631A CN 201911003665 A CN201911003665 A CN 201911003665A CN 110766631 A CN110766631 A CN 110766631A
Authority
CN
China
Prior art keywords
modified
curve
face image
modification
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911003665.7A
Other languages
English (en)
Inventor
马福鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN201911003665.7A priority Critical patent/CN110766631A/zh
Publication of CN110766631A publication Critical patent/CN110766631A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/77
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T5/70
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes

Abstract

本发明提供了一种人脸图像的修饰方法、装置、电子设备和计算机可读介质,包括:确定人脸图像中待修饰部位的特征点信息;根据待修饰部位的特征点信息确定与待修饰部位的边缘轮廓曲线匹配的修饰曲线;对修饰曲线进行颜色变换处理,得到人脸图像的修饰图像。在本发明中,在对人脸图像中待修饰部位进行修饰时,无需再借助第三方图像处理软件即可实现对人脸图像中待修饰部位的自动修饰,只需将该方法应用于某一具体应用上就能使得该应用具备了该人脸图像修饰的功能,并且在对人脸图像中待修饰部位进行修饰时,修饰效果好,大大提升了用户体验,缓解了现有的人脸图像的修饰方法无法智能的对人脸图像中待修饰部位进行修饰的技术问题。

Description

人脸图像的修饰方法、装置、电子设备和计算机可读介质
技术领域
本发明涉及图像处理的技术领域,尤其是涉及一种人脸图像的修饰方法、装置、电子设备和计算机可读介质。
背景技术
随着科学技术的发展和技术产业化应用水平的提升,移动终端的性能越来越好、硬件配置已经越来越完备。但同时,随着市场竞争越来越激烈,拼硬件配置已经不能吸引更多的电子消费者,所以大部分的终端厂商都在追求产品的差异化功能规划、设计、营销等。例如,逐步流行的终端技术应用有:人脸解锁、人脸重塑、3D美颜、3D打光等等。
对于人脸图像中的待修饰部位进行修饰的应用场景,在现有技术中,需要借助第三方图像处理软件(例如,Photoshop、美图秀秀)对人脸图像中的待修饰部位进行修饰,操作繁琐,修饰度不好把控,以及用户体验度较差等问题。
发明内容
有鉴于此,本发明的目的在于提供一种人脸图像的修饰方法、装置、电子设备和计算机可读介质,以缓解现有的人脸图像的修饰方法无法智能的对人脸图像中待修饰部位进行修饰的技术问题。
第一方面,本发明实施例提供了一种人脸图像的修饰方法,包括:确定人脸图像中待修饰部位的特征点信息;所述特征点信息包括:特征点的位置信息和特征点的属性信息;根据所述待修饰部位的特征点信息确定与所述待修饰部位的边缘轮廓曲线匹配的修饰曲线;对所述修饰曲线进行颜色变换处理,得到所述人脸图像的修饰图像。
进一步的,确定人脸图像中待修饰部位的特征点信息的步骤包括:采用人脸检测模型对所述人脸图像进行人脸检测,得到所述人脸图像中的关键点信息;所述关键点信息包括:人脸关键点的位置信息和人脸关键点的属性信息;根据所述人脸关键点的属性信息,在所述关键点信息中确定所述待修饰部位的特征点信息。
进一步的,根据所述待修饰部位的特征点信息确定与所述待修饰部位的边缘轮廓曲线匹配的修饰曲线的步骤包括:基于所述待修饰部位的特征点信息,对所述待修饰部位的目标特征点进行拟合,得到所述待修饰部位的边缘轮廓曲线;所述目标特征点为所述特征点信息对应的特征点中,属性信息为目标属性的特征点;基于所述边缘轮廓曲线生成与所述边缘轮廓曲线匹配的修饰轮廓曲线,并提取所述修饰轮廓曲线的曲线特征点;采用最短路径算法对所述曲线特征点进行最短路径计算,得到所述曲线特征点的最短路径;对所述最短路径进行预设的后处理操作,得到与所述边缘轮廓曲线匹配的修饰曲线。
进一步的,基于所述边缘轮廓曲线生成与所述边缘轮廓曲线匹配的修饰轮廓曲线的步骤包括:采用脊线提取算法从所述边缘轮廓曲线的起点进行脊线提取,得到所述边缘轮廓曲线的多条近似曲线;在所述多条近似曲线中筛选得到目标近似曲线;所述目标近似曲线为所述多条近似曲线中,与所述边缘轮廓曲线的相似度最大的近似曲线;对所述目标近似曲线进行平滑处理,得到平滑处理后的目标近似曲线;对所述平滑处理后的目标近似曲线进行长度调整,得到长度调整后的目标近似曲线;将所述长度调整后的目标近似曲线作为所述修饰轮廓曲线。
进一步的,所述最短路径算法包括以下任一种:Dijkstra算法、Floyd算法。
进一步的,对所述最短路径进行预设的后处理操作的步骤包括:根据预设阈值对所述最短路径进行抬高处理;所述抬高处理表示将所述最短路径上的点的位置坐标增加所述预设阈值;对抬高处理后的最短路径进行平滑处理,得到与所述边缘轮廓曲线匹配的修饰曲线。
进一步的,对所述修饰曲线进行颜色变换处理的步骤包括:确定与所述修饰曲线上的点对应的所述人脸图像中的像素点;对所述像素点进行颜色变换处理,得到所述人脸图像的修饰图像。
进一步的,对所述像素点进行颜色变换处理的步骤包括:对所述像素点进行像素颜色提取,得到RGB空间下各个通道的颜色信息;将所述RGB空间下各个通道的颜色信息转换至YUV空间下各个通道的明暗信息;在所述YUV空间下各个通道的明暗信息中,对Y通道的明亮信息进行低通滤波处理;将低通滤波处理后得到的YUV空间下各个通道的明暗信息转换为RGB空间下各个通道的目标颜色信息;通过所述RGB空间下各个通道的目标颜色信息对所述像素点进行着色处理。
进一步的,在根据所述待修饰部位的特征点信息确定与所述待修饰部位的边缘轮廓曲线匹配的修饰曲线之后,在对所述修饰曲线进行颜色变换处理之前,所述方法还包括:通过预设起点和预设终点对所述修饰曲线进行伸缩处理,得到伸缩处理后的修饰曲线,进而对所述伸缩处理后的修饰曲线进行颜色变换处理。
进一步的,所述待修饰部位包括以下任一种:眼睛和嘴巴。
第二方面,本发明实施例还提供了一种人脸图像的修饰装置,包括:第一确定单元,用于确定人脸图像中待修饰部位的特征点信息;所述特征点信息包括:特征点的位置信息和特征点的属性信息;第二确定单元,用于根据所述待修饰部位的特征点信息确定与所述待修饰部位的边缘轮廓曲线匹配的修饰曲线;颜色变换处理单元,用于对所述修饰曲线进行颜色变换处理,得到所述人脸图像的修饰图像。
第三方面,本发明实施例提供了一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面任一项所述的方法的步骤。
第四方面,本发明实施例提供了一种具有处理器可执行的非易失的程序代码的计算机可读介质,所述程序代码使所述处理器执行上述第一方面任一项所述的方法的步骤。
在本发明实施例中,首先,确定人脸图像中待修饰部位的特征点信息;然后,根据待修饰部位的特征点信息确定与待修饰部位的边缘轮廓曲线匹配的修饰曲线;最后,对修饰曲线进行颜色变换处理,得到人脸图像的修饰图像。通过上述描述可知,在本实施例中,在对人脸图像中待修饰部位进行修饰时,无需再借助第三方图像处理软件即可实现对人脸图像中待修饰部位的自动修饰,只需将该方法应用于某一具体应用上就能使得该应用具备了该人脸图像修饰的功能,并且在对人脸图像中待修饰部位进行修饰时,修饰效果好,大大提升了用户体验,缓解了现有的人脸图像的修饰方法无法智能的对人脸图像中待修饰部位进行修饰的技术问题。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的电子设备的示意图;
图2为本发明实施例提供的人脸图像的修饰方法的流程图;
图3为本发明实施例提供的确定与待修饰部位的边缘轮廓曲线匹配的修饰曲线的流程图;
图4为本发明实施例提供的拟合得到的上眼睑边缘轮廓曲线的示意图;
图5为本发明实施例提供的最短路径的示意图;
图6为本发明实施例提供的对修饰曲线进行颜色变换处理的流程图;
图7a为本发明实施例提供的人脸图像的示意图;
图7b为本发明实施例提供的人脸图像的修饰图像的示意图;
图8为本发明实施例提供的人脸图像的修饰装置的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例1:
首先,参照图1来描述用于实现本发明实施例的电子设备100,该电子设备可以用于运行本发明各实施例的人脸图像的修饰方法。
如图1所示,电子设备100包括一个或多个处理器102、一个或多个存储器104、输入装置106、输出装置108以及摄像机110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP,Digital Signal Processing)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)、可编程逻辑阵列(PLA,Programmable Logic Array)和ASIC(Application Specific Integrated Circuit)中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(CPU,Central ProcessingUnit)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储器104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述摄像机110用于进行人脸图像的采集,其中,摄像机所采集的人脸图像经过所述人脸图像的修饰方法进行处理之后得到人脸图像的修饰图像,例如,摄像机可以拍摄用户期望的图像(例如照片、视频等),然后,将该图像经过所述人脸图像的修饰方法进行处理之后得到人脸图像的修饰图像,摄像机还可以将所拍摄的图像存储在所述存储器104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的人脸图像的修饰方法的电子设备可以被实现为诸如智能手机、平板电脑等智能移动终端,还可以被实现为其它任何具备计算能力的设备。
实施例2:
根据本发明实施例,提供了一种人脸图像的修饰方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图2是根据本发明实施例的一种人脸图像的修饰方法的流程图,如图2所示,该方法包括如下步骤:
步骤S202,确定人脸图像中待修饰部位的特征点信息。
其中,特征点信息包括:特征点的位置信息和特征点的属性信息。
在本发明实施例中,人脸图像可以为实时获取的预览视频流中的包含人脸图像的预览图像帧,也可以为之前拍照得到的人脸图像,还可以为从目标存储位置中下载的人脸图像。即该方法可以实时对预览视频流中的包含人脸图像的预览图像帧进行修饰处理,也可以对已拍摄得到的人脸图像进行后处理,本发明实施例对人脸图像的形式不进行限定。
具体的,当要对人脸图像中的眼睛进行修饰时,那么待修饰部位即为眼睛;当要对人脸图像中的嘴巴进行修饰时,那么待修饰部位即为嘴巴,也就是待修饰部位可以根据具体的修饰情况而设定,其可以为人脸图像中所包含的任意一个或任意多个部位。
另外,特征点信息包括有特征点的位置信息和特征点的属性信息,所谓的特征点的属性信息是指特征点所属的人脸的具体器官的信息。例如,10号特征点的属性信息为眼睛上眼睑、上嘴唇或下嘴唇。如果人脸图像是二维,则生成的人脸图像的修饰图像为二维;如果人脸图像是三维,则特征点信息还包括三维模型信息,生成的人脸图像的修饰图像为三维。三维模型信息包括:特征点的三维坐标信息和特征点的法线方向,上述三维模型信息能够凸显出三维效果,后续得到的修饰结果更加逼真。
步骤S204,根据待修饰部位的特征点信息确定与待修饰部位的边缘轮廓曲线匹配的修饰曲线。
在本发明实施例中,当待修饰部位为眼睛时,待修饰部位的边缘轮廓曲线表示上眼睑轮廓曲线,与待修饰部位的边缘轮廓曲线匹配的修饰曲线表示双眼皮曲线;当待修饰部位为嘴巴时,待修饰部位的边缘轮廓曲线可以表示上嘴唇的唇线和/或下嘴唇的唇线,与待修饰部位的边缘轮廓曲线匹配的修饰曲线表示修饰后的上嘴唇唇线和/或下嘴唇唇线。当然,这里不对待修饰部位的边缘轮廓曲线和修饰曲线进行限定。
下文中再对确定修饰曲线的过程进行详细描述,在此不再赘述。
步骤S206,对修饰曲线进行颜色变换处理,得到人脸图像的修饰图像。
在本发明实施例中,首先,确定人脸图像中待修饰部位的特征点信息;然后,根据待修饰部位的特征点信息确定与待修饰部位的边缘轮廓曲线匹配的修饰曲线;最后,对修饰曲线进行颜色变换处理,得到人脸图像的修饰图像。通过上述描述可知,在本实施例中,在对人脸图像中待修饰部位进行修饰时,无需再借助第三方图像处理软件即可实现对人脸图像中待修饰部位的自动修饰,只需将该方法应用于某一具体应用上就能使得该应用具备了该人脸图像修饰的功能,并且在对人脸图像中待修饰部位进行修饰时,修饰效果好,大大提升了用户体验,缓解了现有的人脸图像的修饰方法无法智能的对人脸图像中待修饰部位进行修饰的技术问题。
需要说明的是,上述步骤S202至步骤S206所描述的方法可以应用在终端设备上安装的目标应用(例如,手机终端设备上的照相机应用)上。例如,可以在终端设备中安装目标应用时,即安装该应用程序插件,这样,在运行该目标应用时,即可实现通过应用程序插件来执行上述步骤。还可以应用在端设备上。例如,可以预先在终端设备上安装一个应用程序插件,进而通过该应用程序插件来实现上述方法。
下面以不同的应用场景对上述方法进行简要介绍:
场景一:
用户开启图像的修饰功能。例如,用户在目标应用(如:手机终端设备上的照相机应用)中启动上述应用程序插件。启动后,图像采集设备(如:手机终端设备的摄像头)开启预览视频流,对预览视频流中当前预览图像帧进行脸部检测,若检测到人脸图像,则上述应用程序插件从预览视频流中获取人脸图像的预览图像帧(即本实施例中的人脸图像),进而确定其中待修饰部位的特征点信息,然后,根据待修饰部位的特征点信息确定与待修饰部位的边缘轮廓曲线匹配的修饰曲线,最后,再对修饰曲线进行颜色变换处理,并将得到的人脸图像的修饰图像进行实时的显示。若未检测到人脸图像,则获取预览视频流中的下一预览图像帧。
场景二:
在终端设备的图像库中存储有一张人脸图像,要对该人脸图像中的待修饰部位进行修饰时,开启图像的修饰功能,在终端设备上启动上述应用程序插件,上述应用程序插件获取到人脸图像,进而确定其中待修饰部位的特征点信息,然后,根据待修饰部位的特征点信息确定与待修饰部位的边缘轮廓曲线匹配的修饰曲线,最后,再对修饰曲线进行颜色变换处理,将得到的人脸图像的修饰图像进行显示。
当然,是具体应用的考虑,还可以有其它应用场景,本实施例对上述所描述的应用场景不进行限定。
下面对本发明的人脸图像的修饰方法进行详细介绍:
在本实施例中,给出了上述步骤S202,确定人脸图像中待修饰部位的特征点信息的一种实现方式,包括如下(1)和(2)的步骤:
(1)采用人脸检测模型对人脸图像进行人脸检测,得到人脸图像中的关键点信息。
其中,关键点信息包括:人脸关键点的位置信息、人脸关键点的属性信息和人脸关键点的模型信息;
(2)根据人脸关键点的属性信息,在关键点信息中确定待修饰部位的特征点信息。
具体的,得到关键点信息后,就能根据其中的人脸关键点的属性信息确定待修饰部位的特征点信息(即为关键点信息中,属性信息为待修饰部位的信息)和待修饰部位的区域(例如,当待修饰部位为眼睛时,待修饰部位的区域即为上下眼睑的关键点所围成的区域),也能确定待修饰部位端点之间的距离(例如,内眼角和外眼角之间的距离,以及上下眼睑对应关键点的距离等)。
在本实施例中,采用人脸检测模型对人脸图像进行人脸检测,进而得到人脸图像中的关键点信息。上述的人脸检测模型是事先通过人脸图像样本对初始人脸检测模型进行训练得到的。训练时,采集人脸图像样本;然后,对采集的人脸图像样本进行人脸关键点标注(至少包括:脸部的轮廓点、眼睛的轮廓点、鼻子的轮廓点、眉毛的轮廓点、额头的轮廓点、上嘴唇的轮廓点、下嘴唇的轮廓点等),标注后,得到携带人脸关键点的人脸图像样本;进而,对携带人脸关键点的人脸图像样本进行划分,得到训练样本集合、验证样本集合和测试样本集合;通过训练样本集合对初始人脸检测模型进行训练,并通过验证样本集合对训练过程中的中间结果进行验证,当训练精度和验证精度都达到预设阈值时,停止训练,得到上述人脸检测模型,最后,在通过测试样本集合对训练得到的人脸检测模型进行测试,测试得到人脸检测模型的检测性能和能力。
需要说明的是,人脸检测模型对人脸图像进行人脸检测后,还能得到人脸属性信息,人脸属性信息不同于上述人脸关键点的属性信息,上述人脸关键点的属性信息表示人脸关键点所属的具体人脸器官,人脸属性信息可以包括:人脸中心点的位置,人脸各器官相对于中心点的位置,人脸图像的模糊度和人脸图像的光照强度等信息,在本实施例中,人脸属性信息主要用于确定人脸图像的质量,若人脸图像的质量差,检测到的关键点信息准确性差,后续的修饰效果要相对较差,所以人脸属性信息在本实施例中作为人脸图像的修饰方法的辅助信息使用。
在本实施例中,给出了上述步骤S204,根据待修饰部位的特征点信息确定与待修饰部位的边缘轮廓曲线匹配的修饰曲线的一种实现方式,参考图3,包括如下步骤:
步骤S301,基于待修饰部位的特征点信息,对待修饰部位的目标特征点进行拟合,得到待修饰部位的边缘轮廓曲线。
其中,目标特征点为特征点信息对应的特征点中,属性信息为目标属性的特征点。目标属性根据待修饰部位确定,若待修饰部位为眼睛,那么目标属性可以为上眼睑;若待修饰部位为嘴唇,那么目标属性可以为上嘴唇和/或下嘴唇。
例如,当待修饰部位为眼睛时,基于眼睛的特征点信息,从中便能得到上眼睑特征点(即上述目标特征点),进而对上眼睑特征点进行拟合,得到眼睛的上眼睑边缘轮廓曲线。参考图4,即为拟合得到的上眼睑边缘轮廓曲线的示意图。
步骤S302,基于边缘轮廓曲线生成与边缘轮廓曲线匹配的修饰轮廓曲线,并提取修饰轮廓曲线的曲线特征点。
上述基于边缘轮廓曲线生成与边缘轮廓曲线匹配的修饰轮廓曲线的步骤具体包括如下1)至5)的过程:
1)采用脊线提取算法从边缘轮廓曲线的起点进行脊线提取,得到边缘轮廓曲线的多条近似曲线。
2)在多条近似曲线中筛选得到目标近似曲线。
其中,目标近似曲线为多条近似曲线中,与边缘轮廓曲线的相似度最大的近似曲线。
具体的,在多条近似曲线中筛选目标近似曲线时,先计算每条近似曲线与边缘轮廓曲线的相似度,然后,将与边缘轮廓曲线的相似度最大的近似曲线作为目标近似曲线。
实现时,可以先分别计算每条近似曲线的曲率和边缘轮廓曲线的曲率,将与边缘轮廓曲线的曲率最接近的近似曲线确定为与边缘轮廓曲线的相似度最大的近似曲线,即目标近似曲线。
3)对目标近似曲线进行平滑处理,得到平滑处理后的目标近似曲线。
具体的,根据Dijkstra算法筛掉目标近似曲线中偏移过大的点,剩余点所连成的曲线即为平滑处理后的目标近似曲线。
4)对平滑处理后的目标近似曲线进行长度调整,得到长度调整后的目标近似曲线。
5)将长度调整后的目标近似曲线作为修饰轮廓曲线。
得到修饰轮廓曲线后,对修饰轮廓曲线进行特征点提取,得到曲线特征点。
步骤S303,采用最短路径算法对曲线特征点进行最短路径计算,得到曲线特征点的最短路径。
上述最短路径算法包括以下任一种:Dijkstra算法、Floyd算法。参考图5所示,即为得到的最短路径的示意图。
实现时,将得到的曲线特征点利用Dijkstra算法沿网格的边串联,剔除未被串联的曲线特征点。具体过程如下1)至8)的过程:
首先:初始化各顶点的相互距离bij为INT_MAX;
1)若曲线特征点Vi、曲线特征点Vj直接连接取权重为1,i=j置权重为0,无法直接连接取权重为INT_MAX;构造带权无向图G;
2)对曲线特征点Vn∈V,求G中顶点Vi到Vi的最短路径,设其距离为dij
3)对每个顶点Vi,若dij<bij,则bij=dij
4)跳至步骤2),直至所有的边界点都被处理;
5)取距离最长且不为INT_MAX的dij,Vi、Vj为线段端点,筛选0<dij<INT_MAX,对应的Vn为筛选出折线段上的点;
6)将已经筛选出的顶点对应的d置为0;
7)跳至步骤5),直至V中所有点都被处理;
8)判断筛选出线段端点位置,选取最近的两个端点相连,如图5所示。剔除V中不在折线段上的曲线特征点。
步骤S304,对最短路径进行预设的后处理操作,得到与边缘轮廓曲线匹配的修饰曲线。
具体包括如下i)至ii)的过程:
i)根据预设阈值对最短路径进行抬高处理。
其中,抬高处理表示将最短路径上的点的位置坐标增加预设阈值。
ii)对抬高处理后的最短路径进行平滑处理,得到与边缘轮廓曲线匹配的修饰曲线。进而,对修饰曲线进行颜色变换处理。
在本实施例中,给出了上述步骤S206,对修饰曲线进行颜色变换处理的一种实现方式,参考图6,包括如下步骤:
步骤S601,确定与修饰曲线上的点对应的人脸图像中的像素点;
步骤S602,对像素点进行颜色变换处理,得到人脸图像的修饰图像。
具体包括如下A)至E)的过程:
A)对像素点进行像素颜色提取,得到RGB空间下各个通道的颜色信息。
B)将RGB空间下各个通道的颜色信息转换至YUV空间下各个通道的明暗信息。
实现时,按照第一转换算式
Figure BDA0002241569180000141
将RGB空间下各个通道的颜色信息转换至YUV空间下各个通道的明暗信息,其中,
Figure BDA0002241569180000142
表示YUV空间下各个通道的明暗信息,
Figure BDA0002241569180000143
表示RGB空间下各个通道的颜色信息。
C)在YUV空间下各个通道的明暗信息中,对Y通道的明亮信息进行低通滤波处理。
D)将低通滤波处理后得到的YUV空间下各个通道的明暗信息转换为RGB空间下各个通道的目标颜色信息。
实现时,按照第二转换算式将低通滤波处理后得到的YUV空间下各个通道的明暗信息转换为RGB空间下各个通道的目标颜色信息,其中,
Figure BDA0002241569180000145
表示RGB空间下各个通道的目标颜色信息,
Figure BDA0002241569180000146
表示低通滤波处理后得到的YUV空间下各个通道的明暗信息。
E)通过RGB空间下各个通道的目标颜色信息对像素点进行着色处理。
另外,考虑到上述得到的修饰曲线不是用户想要的修饰曲线,用户想要对修饰曲线进行拉伸或者缩放,那么,可以通过预设起点和预设终点对修饰曲线进行伸缩处理,得到伸缩处理后的修饰曲线,进而对伸缩处理后的修饰曲线进行颜色变换处理,得到人脸图像的修饰图像。
图7a中示出了人脸图像,图7b中示出了人脸图像的修饰图像,通过对比可知,修饰前的人脸图像中眼睛为单眼皮,修饰后的人脸图像中眼睛为双眼皮,即该人脸图像的修饰过程是对人脸图像中的眼睛进行了修饰。
通过上述描述可知,在本实施例中,在对人脸图像中待修饰部位进行修饰时,无需再借助第三方图像处理软件即可实现对人脸图像中待修饰部位的自动修饰,只需将该方法应用于某一具体应用上就能使得该应用具备了该人脸图像修饰的功能,并且在对人脸图像中待修饰部位进行修饰时,修饰效果好,大大提升了用户体验。
实施例3:
本发明实施例还提供了一种人脸图像的修饰装置,该人脸图像的修饰装置主要用于执行本发明实施例上述内容所提供的人脸图像的修饰方法,以下对本发明实施例提供的人脸图像的修饰装置做具体介绍。
图8是根据本发明实施例的一种人脸图像的修饰装置的示意图,如图8所示,该人脸图像的修饰装置主要包括:第一确定单元10,第二确定单元20和颜色变换处理单元30,其中:
第一确定单元,用于确定人脸图像中待修饰部位的特征点信息;特征点信息包括:特征点的位置信息和特征点的属性信息;
第二确定单元,用于根据待修饰部位的特征点信息确定与待修饰部位的边缘轮廓曲线匹配的修饰曲线;
颜色变换处理单元,用于对修饰曲线进行颜色变换处理,得到人脸图像的修饰图像。
在本发明实施例中,首先,确定人脸图像中待修饰部位的特征点信息;然后,根据待修饰部位的特征点信息确定与待修饰部位的边缘轮廓曲线匹配的修饰曲线;最后,对修饰曲线进行颜色变换处理,得到人脸图像的修饰图像。通过上述描述可知,在本实施例中,在对人脸图像中待修饰部位进行修饰时,无需再借助第三方图像处理软件即可实现对人脸图像中待修饰部位的自动修饰,只需将该方法应用于某一具体应用上就能使得该应用具备了该人脸图像修饰的功能,并且在对人脸图像中待修饰部位进行修饰时,修饰效果好,大大提升了用户体验,缓解了现有的人脸图像的修饰方法无法智能的对人脸图像中待修饰部位进行修饰的技术问题。
可选地,第一确定单元还用于:采用人脸检测模型对人脸图像进行人脸检测,得到人脸图像中的关键点信息;关键点信息包括:人脸关键点的位置信息和人脸关键点的属性信息;根据人脸关键点的属性信息,在关键点信息中确定待修饰部位的特征点信息。
可选地,第二确定单元还用于:基于待修饰部位的特征点信息,对待修饰部位的目标特征点进行拟合,得到待修饰部位的边缘轮廓曲线;目标特征点为特征点信息对应的特征点中,属性信息为目标属性的特征点;基于边缘轮廓曲线生成与边缘轮廓曲线匹配的修饰轮廓曲线,并提取修饰轮廓曲线的曲线特征点;采用最短路径算法对曲线特征点进行最短路径计算,得到曲线特征点的最短路径;对最短路径进行预设的后处理操作,得到与边缘轮廓曲线匹配的修饰曲线。
可选地,第二确定单元还用于:采用脊线提取算法从边缘轮廓曲线的起点进行脊线提取,得到边缘轮廓曲线的多条近似曲线;在多条近似曲线中筛选得到目标近似曲线;目标近似曲线为多条近似曲线中,与边缘轮廓曲线的相似度最大的近似曲线;对目标近似曲线进行平滑处理,得到平滑处理后的目标近似曲线;对平滑处理后的目标近似曲线进行长度调整,得到长度调整后的目标近似曲线;将长度调整后的目标近似曲线作为修饰轮廓曲线。
可选地,最短路径算法包括以下任一种:Dijkstra算法、Floyd算法。
可选地,第二确定单元还用于:根据预设阈值对最短路径进行抬高处理;抬高处理表示将最短路径上的点的位置坐标增加预设阈值;对抬高处理后的最短路径进行平滑处理,得到与边缘轮廓曲线匹配的修饰曲线。
可选地,颜色变换处理单元还用于:确定与修饰曲线上的点对应的人脸图像中的像素点;对像素点进行颜色变换处理,得到人脸图像的修饰图像。
可选地,颜色变换处理单元还用于:对像素点进行像素颜色提取,得到RGB空间下各个通道的颜色信息;将RGB空间下各个通道的颜色信息转换至YUV空间下各个通道的明暗信息;在YUV空间下各个通道的明暗信息中,对Y通道的明亮信息进行低通滤波处理;将低通滤波处理后得到的YUV空间下各个通道的明暗信息转换为RGB空间下各个通道的目标颜色信息;通过RGB空间下各个通道的目标颜色信息对像素点进行着色处理。
可选地,该装置还用于:通过预设起点和预设终点对修饰曲线进行伸缩处理,得到伸缩处理后的修饰曲线,进而对伸缩处理后的修饰曲线进行颜色变换处理。
可选地,待修饰部位包括以下任一种:眼睛和嘴巴。
本发明实施例所提供的装置,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
在本发明的另一个实施例中,还提供了一种计算机存储介质,其上存储有计算机程序,计算机运行计算机程序时执行上述方法实施例所述的方法的步骤。
在本发明的另一个实施例中,还提供了一种计算机程序,该计算机程序可以存储在云端或本地的存储介质上。在该计算机程序被计算机或处理器运行时用于执行本发明实施例的所述方法的相应步骤,并且用于实现根据本发明实施例的图像的处理装置中的相应模块。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个分析单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个分析器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种人脸图像的修饰方法,其特征在于,包括:
确定人脸图像中待修饰部位的特征点信息;所述特征点信息包括:特征点的位置信息和特征点的属性信息;
根据所述待修饰部位的特征点信息确定与所述待修饰部位的边缘轮廓曲线匹配的修饰曲线;
对所述修饰曲线进行颜色变换处理,得到所述人脸图像的修饰图像。
2.根据权利要求1所述的方法,其特征在于,确定人脸图像中待修饰部位的特征点信息的步骤包括:
采用人脸检测模型对所述人脸图像进行人脸检测,得到所述人脸图像中的关键点信息;所述关键点信息包括:人脸关键点的位置信息和人脸关键点的属性信息;
根据所述人脸关键点的属性信息,在所述关键点信息中确定所述待修饰部位的特征点信息。
3.根据权利要求1所述的方法,其特征在于,根据所述待修饰部位的特征点信息确定与所述待修饰部位的边缘轮廓曲线匹配的修饰曲线的步骤包括:
基于所述待修饰部位的特征点信息,对所述待修饰部位的目标特征点进行拟合,得到所述待修饰部位的边缘轮廓曲线;所述目标特征点为所述特征点信息对应的特征点中,属性信息为目标属性的特征点;
基于所述边缘轮廓曲线生成与所述边缘轮廓曲线匹配的修饰轮廓曲线,并提取所述修饰轮廓曲线的曲线特征点;
采用最短路径算法对所述曲线特征点进行最短路径计算,得到所述曲线特征点的最短路径;
对所述最短路径进行预设的后处理操作,得到与所述边缘轮廓曲线匹配的修饰曲线。
4.根据权利要求3所述的方法,其特征在于,基于所述边缘轮廓曲线生成与所述边缘轮廓曲线匹配的修饰轮廓曲线的步骤包括:
采用脊线提取算法从所述边缘轮廓曲线的起点进行脊线提取,得到所述边缘轮廓曲线的多条近似曲线;
在所述多条近似曲线中筛选得到目标近似曲线;所述目标近似曲线为所述多条近似曲线中,与所述边缘轮廓曲线的相似度最大的近似曲线;
对所述目标近似曲线进行平滑处理,得到平滑处理后的目标近似曲线;
对所述平滑处理后的目标近似曲线进行长度调整,得到长度调整后的目标近似曲线;
将所述长度调整后的目标近似曲线作为所述修饰轮廓曲线。
5.根据权利要求3所述的方法,其特征在于,所述最短路径算法包括以下任一种:Dijkstra算法、Floyd算法。
6.根据权利要求3所述的方法,其特征在于,对所述最短路径进行预设的后处理操作的步骤包括:
根据预设阈值对所述最短路径进行抬高处理;所述抬高处理表示将所述最短路径上的点的位置坐标增加所述预设阈值;
对抬高处理后的最短路径进行平滑处理,得到与所述边缘轮廓曲线匹配的修饰曲线。
7.根据权利要求1所述的方法,其特征在于,对所述修饰曲线进行颜色变换处理的步骤包括:
确定与所述修饰曲线上的点对应的所述人脸图像中的像素点;
对所述像素点进行颜色变换处理,得到所述人脸图像的修饰图像。
8.根据权利要求7所述的方法,其特征在于,对所述像素点进行颜色变换处理的步骤包括:
对所述像素点进行像素颜色提取,得到RGB空间下各个通道的颜色信息;
将所述RGB空间下各个通道的颜色信息转换至YUV空间下各个通道的明暗信息;
在所述YUV空间下各个通道的明暗信息中,对Y通道的明亮信息进行低通滤波处理;
将低通滤波处理后得到的YUV空间下各个通道的明暗信息转换为RGB空间下各个通道的目标颜色信息;
通过所述RGB空间下各个通道的目标颜色信息对所述像素点进行着色处理。
9.根据权利要求1所述的方法,其特征在于,在根据所述待修饰部位的特征点信息确定与所述待修饰部位的边缘轮廓曲线匹配的修饰曲线之后,在对所述修饰曲线进行颜色变换处理之前,所述方法还包括:
通过预设起点和预设终点对所述修饰曲线进行伸缩处理,得到伸缩处理后的修饰曲线,进而对所述伸缩处理后的修饰曲线进行颜色变换处理。
10.根据权利要求1所述的方法,其特征在于,所述待修饰部位包括以下任一种:眼睛和嘴巴。
11.一种人脸图像的修饰装置,其特征在于,包括:
第一确定单元,用于确定人脸图像中待修饰部位的特征点信息;所述特征点信息包括:特征点的位置信息和特征点的属性信息;
第二确定单元,用于根据所述待修饰部位的特征点信息确定与所述待修饰部位的边缘轮廓曲线匹配的修饰曲线;
颜色变换处理单元,用于对所述修饰曲线进行颜色变换处理,得到所述人脸图像的修饰图像。
12.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至10中任一项所述的方法的步骤。
13.一种具有处理器可执行的非易失的程序代码的计算机可读介质,其特征在于,所述程序代码使所述处理器执行上述权利要求1至10中任一项所述的方法的步骤。
CN201911003665.7A 2019-10-21 2019-10-21 人脸图像的修饰方法、装置、电子设备和计算机可读介质 Pending CN110766631A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911003665.7A CN110766631A (zh) 2019-10-21 2019-10-21 人脸图像的修饰方法、装置、电子设备和计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911003665.7A CN110766631A (zh) 2019-10-21 2019-10-21 人脸图像的修饰方法、装置、电子设备和计算机可读介质

Publications (1)

Publication Number Publication Date
CN110766631A true CN110766631A (zh) 2020-02-07

Family

ID=69331536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911003665.7A Pending CN110766631A (zh) 2019-10-21 2019-10-21 人脸图像的修饰方法、装置、电子设备和计算机可读介质

Country Status (1)

Country Link
CN (1) CN110766631A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378715A (zh) * 2021-06-10 2021-09-10 北京华捷艾米科技有限公司 一种基于彩色人脸图像的活体检测方法及相关设备
CN113837067A (zh) * 2021-09-18 2021-12-24 成都数字天空科技有限公司 器官轮廓检测方法、装置、电子设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258343A (zh) * 2013-05-07 2013-08-21 中南大学 一种基于图像编辑的眼部图像处理方法
CN108986016A (zh) * 2018-06-28 2018-12-11 北京微播视界科技有限公司 图像美化方法、装置及电子设备
CN109584153A (zh) * 2018-12-06 2019-04-05 北京旷视科技有限公司 修饰眼部的方法、装置和系统
CN110136054A (zh) * 2019-05-17 2019-08-16 北京字节跳动网络技术有限公司 图像处理方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103258343A (zh) * 2013-05-07 2013-08-21 中南大学 一种基于图像编辑的眼部图像处理方法
CN108986016A (zh) * 2018-06-28 2018-12-11 北京微播视界科技有限公司 图像美化方法、装置及电子设备
CN109584153A (zh) * 2018-12-06 2019-04-05 北京旷视科技有限公司 修饰眼部的方法、装置和系统
CN110136054A (zh) * 2019-05-17 2019-08-16 北京字节跳动网络技术有限公司 图像处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
管桐 等: "面向双眼皮虚拟手术的三维网格编辑技术", 《系统仿真学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378715A (zh) * 2021-06-10 2021-09-10 北京华捷艾米科技有限公司 一种基于彩色人脸图像的活体检测方法及相关设备
CN113378715B (zh) * 2021-06-10 2024-01-05 北京华捷艾米科技有限公司 一种基于彩色人脸图像的活体检测方法及相关设备
CN113837067A (zh) * 2021-09-18 2021-12-24 成都数字天空科技有限公司 器官轮廓检测方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
JP7413400B2 (ja) 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
JP6636154B2 (ja) 顔画像処理方法および装置、ならびに記憶媒体
CN108764091B (zh) 活体检测方法及装置、电子设备和存储介质
CN109325437B (zh) 图像处理方法、装置和系统
CN107771336B (zh) 基于颜色分布的图像中的特征检测和掩模
CN106682632B (zh) 用于处理人脸图像的方法和装置
CN108961303B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
CN110839129A (zh) 图像处理方法、装置以及移动终端
JP6685827B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN111754415B (zh) 人脸图像处理方法及装置、图像设备及存储介质
CN108830892B (zh) 人脸图像处理方法、装置、电子设备及计算机可读存储介质
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
WO2022078041A1 (zh) 遮挡检测模型的训练方法及人脸图像的美化处理方法
JP2012530994A (ja) 半顔面検出のための方法および装置
CN108810406B (zh) 人像光效处理方法、装置、终端及计算机可读存储介质
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
KR20190053602A (ko) 얼굴 인증 방법 및 장치
KR20200118076A (ko) 생체 검출 방법 및 장치, 전자 기기 및 저장 매체
JP2021526698A (ja) 画像生成方法および装置、電子機器、並びに記憶媒体
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN113808277B (zh) 一种图像处理方法及相关装置
CN112036209A (zh) 一种人像照片处理方法及终端
CN110766631A (zh) 人脸图像的修饰方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200207