CN110414345A - 卡通图像生成方法、装置、设备及存储介质 - Google Patents

卡通图像生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110414345A
CN110414345A CN201910553103.3A CN201910553103A CN110414345A CN 110414345 A CN110414345 A CN 110414345A CN 201910553103 A CN201910553103 A CN 201910553103A CN 110414345 A CN110414345 A CN 110414345A
Authority
CN
China
Prior art keywords
image
generic attribute
face
key point
cartoon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910553103.3A
Other languages
English (en)
Inventor
程钰华
兰超
许开新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Handy Mobile Internet Technology Co Ltd
Original Assignee
Beijing Handy Mobile Internet Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Handy Mobile Internet Technology Co Ltd filed Critical Beijing Handy Mobile Internet Technology Co Ltd
Priority to CN201910553103.3A priority Critical patent/CN110414345A/zh
Publication of CN110414345A publication Critical patent/CN110414345A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Abstract

本申请公开了一种卡通图像生成方法、装置、设备及存储介质,该方法包括:提取待处理图像中面部关键点;基于面部关键点切分待处理图像,得到与面部的第一类属性对应的第一图像集合,第一图像集合包括与第一类属性对应的第一子图像区域;基于面部关键点构建与面部的第二类属性对应的第一特征向量;将第一图像集合和第一特征向量分别输入到与之对应的预先构建的属性分类器,以得到分别与第一类属性和第二类属性对应的分类结果;根据分类结果匹配生成卡通图像。该方法能够精准的控制待处理图像的每个五官属性特征,很大程度上逼真且生动的还原出符合待处理图像面部特征的卡通图像,具有很强的灵活性。

Description

卡通图像生成方法、装置、设备及存储介质
技术领域
本发明一般涉及图像处理技术领域,具体涉及卡通图像生成方法、装置、设备及存储介质。
背景技术
卡通图像可以是动态或者静态的图像。卡通图像可以被应用于即时通讯工具或其他与个人账户相关的网络资源中,作为个人标识一部分。
目前,现有技术获取卡通图像常见的有:直接使用提前绘制的卡通图像,或基于深度学习生成的整体卡通图像。前者与用户真实形象的关联度很低,不能充分体现用户真实形象的独特性。后者,通常基于固定的风格生成单一的卡通图形,虽与用户真实形象关联,但不能随意控制卡通图像的风格,也无法较好的展现用户的独特面部特征,其结果的相似度较低。
发明内容
鉴于现有技术中的上述缺陷或不足,期望提供一种卡通图像生成方法、装置、设备及存储介质,来有效地展现用户的独特面部特征,增强卡通图像与用户的关联性。
第一方面,本申请实施例提供了一种卡通图像生成方法,该方法包括:
提取待处理图像中面部关键点;
基于所述面部关键点切分所述待处理图像,得到与面部的第一类属性对应的第一图像集合,所述第一图像集合包括与所述第一类属性对应的第一子图像区域,所述第一子图像区域是所述待处理图像的一部分;
基于所述面部关键点构建与面部的第二类属性对应的第一特征向量;
将所述第一图像集合和所述第一特征向量分别输入到与之对应的预先构建的属性分类器,以得到分别与所述第一类属性和所述第二类属性对应的分类结果;
根据所述分类结果匹配生成卡通图像。
第二方面,本申请实施例提供了一种卡通图像生成装置,该装置包括:
提取模块,用于提取待处理图像中面部关键点;
确定模块,用于基于所述面部关键点切分所述待处理图像,得到与面部的第一类属性对应的第一图像集合,所述第一图像集合包括与所述第一类属性对应的第一子图像区域,所述子图像区域是所述待处理图像的一部分;
构建模块,用于基于所述面部关键点构建与面部的第二类属性对应的第一特征向量;
处理模型,用于将所述第一图像集合和所述第一特征向量分别输入到与之对应的预先构建的属性分类器,以得到分别与所述第一类属性和所述第二类属性对应的分类结果;
生成模块,用于根据所述分类结果匹配生成卡通图像。
第三方面,本申请实施例提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述所述卡通图像生成方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述所述卡通图像生成方法。
本申请提供的卡通图像生成方法,通过提取待处理图像中面部关键点,并基于面部关键点切分待处理图像,得到与面部的第一类属性对应的第一图像集合,且基于面部关键点构建与面部的第二类属性对应的第一特征向量,并将第一图像集合和第一特征向量分别输入到与之对应的预先构建的属性分类器,得到分别与第一类属性和第二类属性对应的分类结果,最后根据该分类结果匹配生成卡通图像。该技术方案中由于切分待处理图像,使得精确获取到按照第一类属性切分的第一图像集合,并且构建出面部的第二类属性对应的第一特征向量,通过将其分别输入到预先构建的属性分类器,得到面部的第一类属性和第二类属性对应的分类结果,从而精准地基于待处理图像的每个五官属性特征,动态地设计与其五官属性特征近似的卡通图像,以有效地展现用户的独特面部特征,增强卡通图像与用户的关联性,并提升用户对产品的体验度。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1为本发明实施例提供的卡通图像生成方法的流程示意图;
图2为本发明实施例提供的面部关键点位置分布示意图;
图3为本发明实施例提供的得到第一图像集合方法的流程示意图;
图4为本发明实施例提供的待处理图像的示意图;
图5为本发明实施例提供的提取的面部关键点的示意图;
图6为本发明实施例提供的切分待处理图像后得到第一图像集合的示意图;
图7为本发明实施例提供的构造第一特征向量方法的流程示意图;
图8为本发明实施例提供的构建属性分类器方法的流程示意图;
图9为本发明实施例提供的生成的卡通图像的示意图;
图10为本发明实施例提供的卡通图像生成装置的结构示意图;
图11为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
基于深度学习的生成对抗网络来获取卡通图像的方法,其需要预先定义图像的显示风格,结合该风格的纹理和色彩特征和用户的真实图像,输入到训练得到的生成对抗网络模型,以按照该风格生成用户的卡通图像。该方法限制图像的显示风格,不同卡通风格需要训练与之对应的模型,且在训练过程中将用户整体图像进行处理,生成的卡通图像不能贴合用户的真实形象,以致用户的体验度不好。
本申请为克服上述缺陷提出了一种卡通图像生成方法,以生成与用户的真实形象匹配度较高的卡通形象,来满足用户的需求。
为了便于理解和说明,下面通过图1至图11详细说明本申请实施例提供的卡通图像生成方法、装置、设备及存储介质。
图1为本申请实施例提供的卡通图像生成方法的流程示意图,如图1所示,该方法包括:
步骤S101、提取待处理图像中面部关键点。
具体的,上述待处理图像可以通过摄像头采集,也可以通过读取方式从终端或者云端获取,还可以通过其他设备导入方式来获取。
可选地,在获取待处理图像之后,可以通过调用人脸识别开源库dlib提取到待处理图像的面部关键点。其中,dlib是一个包含机器学习算法的C++开源工具包,dlib中的关键点模型可以识别出待处理图像的面部的68个特征点,参见图2所示,图2示出了面部关键点位置分布示意图。
还可以通过opencv等图像处理软件提取待处理图像的面部关键点。面部关键点用于表征面部的五官在面部图像显示区域的位置信息。
步骤S102、基于面部关键点切分待处理图像,得到与面部的第一类属性对应的第一图像集合。第一图像集合包括与第一类属性对应的第一子图像区域。第一子图像区域是待处理图像的一部分。
在提取待处理图像的面部关键点之后,可以根据该面部关键点,对待处理图像进行切分处理,从而得到与面部的第一类属性对应的第一图像集合。该面部的第一类属性可以包括以下至少一项:下巴区域、发型区域、鼻子区域、嘴巴区域、肤色属性、眼部区域和佩戴饰品形状,其中,该佩戴饰品形状可以是眼镜的形状,也可以面部贴覆的其他饰品的形状,例如面部贴画。
第一图像集合包括多个分别与第一类属性对应的第一子图像区域。例如与下巴区域对应的第一子图像区域,与发型区域对应的第一子图像区域等等。
可选地,在上述实施例的基础上,如图3所示,步骤S102可以包括:
步骤S201、根据面部关键点确定待处理图像中与第一类属性对应的裁剪边界。
需要说明的是,在提取待处理图像的面部关键点之后,对待处理图像的面部五官进行切分,首先确定与第一类属性对应的裁剪边界,其中,不同五官属性对应的裁剪边界不同。如图2所示,图2中显示出五官在图像中的位置信息。图2的横轴坐标值为x,纵轴坐标值为y,points[]表示每个面部关键点的位置数组。
示例性地,可以参见图2所示,第一类属性为眼部区域属性时,确定出为其下裁剪边界,points[20].y为上裁剪边界,points[18].x为左裁剪边界,points[27].x为右裁剪边界,其中,以上裁剪边界中,points[a].y表示points[]数组中第a个特征点位置的y轴坐标值,points[b].x表示points[]数组中第b个特征点位置的x轴坐标值,例如,表示第23个特征点位置的y轴坐标值与第28个特征点位置的y轴坐标值的均值。
同理,可以依次确定出第一类属性眉毛区域的裁剪边界,分别为:points[20].y-10为其上裁剪边界,为其下裁剪边界,为其左裁剪边界,为其右裁剪边界;还可以确定出第一类属性鼻子区域的裁剪边界,分别为:points[28].y为其上裁剪边界,为其下裁剪边界,points[40].x为其左裁剪边界,points[43].x为其右裁剪边界;还可以确定出第一类属性嘴巴区域的裁剪边界,分别为:为其上裁剪边界,points[58].y为其下裁剪边界,points[49].x为其左裁剪边界,points[55].x为其右裁剪边界,其中,以上各裁剪边界中,x为横轴坐标值,y为纵轴坐标值,points为关键点点位数组。
步骤S202、基于裁剪边界切分待处理图像,得到第一图像集合。
具体的,在确定出裁剪边界后,并根据裁剪边界对上述待处理图像进行切分处理,得到第一图像集合,第一图像集合包括与第一类属性对应的第一子图像区域。第一子图像区域是待处理图像的一部分。
待处理图像可以参见图4所示。基于图4显示的待处理图像提取得到的与该待处理图像对应的面部关键点位置区域可以参见图5。如图5所示,基于第一类属性对应的裁剪边界,对该待处理图像进行切分或裁剪处理,得到的第一类属性对应的第一图像集合,第一图像集合可以参见图6所示,从图6显示出的自上至下分别对应切分得到的眼睛区域、眉毛区域、嘴巴区域、鼻子区域、下巴区域的第一子图像区域。
本申请实施例提供的切分待处理图像的方法,通过根据面部关键点确定待处理图像中与第一类属性对应的裁剪边界,从而可以精准的对待处理图像进行切分,以得到第一图像集合,以便于对每个五官属性进行分类处理。
步骤S103、基于面部关键点构建与面部的第二类属性对应的第一特征向量。
需要说明的是,上述面部的第二类属性为面部轮廓形状。
可选地,在上述实施例的基础上,如图7所示,步骤S103可以包括:
步骤S301、根据面部关键点构造关键点特征。关键点特征用于表示面部的几何特征。
步骤S302、根据关键点特征构造第一特征向量。第一特征向量为用于表示面部几何特征的向量。
参见上述图2所示,构造的关键点特征分别为:
脸部宽长比:
下颌宽和脸部宽比:
下巴宽和脸部宽度比:
下巴长度和下颌宽度比:
下颌对角线长度和脸部宽度比:
左脸特征点和x轴连线角度分别为:
下巴特征点和x轴连线角度分别为:
其中,以上构造的关键点特征,x为横轴坐标值,y为纵轴坐标值,points[]为关键点的位置数组。
进一步的,在构造出关键点特征后,可以对该关键点特征进行拼接处理,以构造出第一特征向量,其中,该第一特征向量用于表征待处理图像的面部轮廓属性信息,且第一特征向量是用于表示面部几何特征的向量,是维度为1*n的特征向量,其中n为关键点特征数量。示例性地,当得到的关键点特征分别为1,2,3,..,6时,则构造的第一特征向量为(1,2,3,..,6)。
步骤S104、将第一图像集合和第一特征向量分别输入到与之对应的预先构建的属性分类器,得到第一类属性和第二类属性对应的分类结果。
具体的,在确定出第一图像集合和第一特征向量后,可以分别将该第一图像集合和第一特征向量输入到与之对应的预先构建的属性分类器中,对该待处理图像的第一类属性和第二类属性的属性类别进行分类处理,从而得到每个属性对应的分类结果。
需要说明的是,上述预先构建的属性分类器可以包括深度学习模型和支持向量机模型,其中,对于不同五官属性构建的属性分类器类型可以相同,也可以不同,即第一类属性构建的属性分类器类型为深度学习模型,对第二类属性构建的属性分类器类型为支持向量机模型,可选的,图8为预先构建的属性分类器方法的流程示意图,可以参见图8所示,该方法包括:
步骤S401、获取历史面部图像的面部关键点。
步骤S402、基于面部关键点切分历史面部图像,得到与面部的第一类属性对应的第二图像集合,第二图像集合包括按照第一类属性切分的图像。
步骤S403、基于面部关键点构建与面部的第二类属性对应的第二特征向量。
步骤S404、基于第二图像集合按照深度学习算法训练生成深度学习模型,深度学习模型输出第一类属性对应的分类结果。
步骤S405、基于第二特征向量按照支持向量机算法训练生成支持向量机模型,支持向量机模型输出第二类属性对应的分类结果。
具体的,在构建属性分类器之前,先获取历史面部图像的面部关键点,然后根据该面部关键点对历史面部图像进行切分处理,从而得到与面部的第一类属性对应的第二图像集合,其中,该第二图像集合包括发型、鼻子、嘴巴、肤色、下巴、眼睛和佩戴饰品信息的图像。
示例性的,对于第一类属性中的发型属性,当切分出发型属性对应的图像后,先对该发型属性的图片进行归一化处理,即使得输入均为宽和高为224*224的图片,然后对该图片的属性类别进行人工标注,并将该发型属性对应的图像按照深度学习算法训练生成深度学习模型,其中,该深度学习模型输出发型属性对应的分类结果,例如,发型属性对应的分类结果可以是短发、长发、卷发。
同样,对于其他第一类属性的属性类别图片,也可以先进行人工标注,并按照深度学习算法训练生成对应属性的深度学习模型,使得该深度学习模型输出对应属性的分类结果。
另外,在训练生成对应属性的深度学习模型之前,由于对应每个五官属性的训练数据较少,可以采用数据增强策略对人工标注的训练数据进行扩充,例如,对该属性的图片进行裁剪、旋转、颜色变换、仿射变换、分段仿射等操作,以增加训练数据的数量,使得训练的深度学习模型输出的分类结果准确度更高,其中,第一类属性中的每个五官属性类别均对应一个深度学习模型,即训练得到发型、鼻子、嘴巴、肤色、下巴、眼睛和佩戴饰品等深度学习模型。
进一步的,可以根据面部关键点构建出与面部的面部类型属性对应的第二特征向量,并对该第二特征向量进行归一化处理,根据该归一化处理后的第二特征向量按照支持向量机算法训练生成支持向量机模型,其中,该支持向量机模型输出面部类型属性对应的分类结果。
步骤S105、根据分类结果匹配生成卡通图像。
具体的,在得到第一图像集合和第一特征向量后,将该第一图像集合和第一特性向量分别输入到预先构建的属性分类器,从而得到与第一类属性和第二类属性对应的分类结果,即确定出上述待处理图像的每个五官属性的分类结果,然后根据预先设定的分类结果与卡通属性的对应规则,从素材库中选取与该卡通属性对应的卡通五官图像,并对该卡通五官图像进行拼接处理,且按照第二类属性面部类型属性对应的分类结果,生成卡通图像,该生成的卡通图像可以参见图9所示。
需要说明的是,由于分类结果和卡通属性对应规则可以预先设定,可以生成与不同卡通风格对应的卡通面部图像。另外地,还可以预先设定生成的卡通图像的清晰度,从而满足用户的不同需求。
本发明提供的卡通图像的生成方法,通过提取待处理图像中面部关键点,并基于面部关键点切分待处理图像,得到与面部的第一类属性对应的第一图像集合,且基于面部关键点构建与面部的第二类属性对应的第一特征向量,并将第一图像集合和第一特征向量分别输入到与之对应的预先构建的属性分类器,得到分别与第一类属性和第二类属性对应的分类结果,最后根据该分类结果匹配生成卡通图像。该技术方案中由于切分待处理图像,使得精确获取到按照第一类属性切分的第一图像集合,并且构建出面部的第二类属性对应的第一特征向量,通过将其分别输入到预先构建的属性分类器,从而精确得到面部的第一类属性和第二类属性对应的分类结果,从而精准地基于待处理图像的每个五官属性特征,动态地设计与其五官属性特征近似的卡通图像,以有效地展现用户的独特面部特征,增强卡通图像与用户的关联性,并提升用户对产品的体验度。
应当注意,尽管在附图中以特定顺序描述了本发明方法的操作,但是,这并非要求或者暗示必须按照该特定顺序来执行这些操作,或是必须执行全部所示的操作才能实现期望的结果。相反,流程图中描绘的步骤可以改变执行顺序。附加地或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,和/或将一个步骤分解为多个步骤执行。
图10为本发明实施例提供的卡通图像生成装置的结构示意图。如图10所示,该装置可以实现上述实施例所示的方法,该装置可以包括:
提取模块10,用于提取待处理图像中面部关键点;
确定模块20,用于基于所述面部关键点切分所述待处理图像,得到与面部的第一类属性对应的第一图像集合,所述第一图像集合包括与所述第一类属性对应的第一子图像区域,所述第一子图像区域是所述待处理图像的一部分;
构建模块30,用于基于所述面部关键点构建与面部的第二类属性对应的第一特征向量;
处理模块40,用于将所述第一图像集合和所述第一特征向量分别输入到与之对应的预先构建的属性分类器,以得到分别与所述第一类属性和所述第二类属性对应的分类结果;
生成模块50,用于根据所述分类结果匹配生成卡通图像。
优选的,所述确定模块20,包括:
第一确定单元201,根据所述面部关键点确定所述待处理图像中与所述第一类属性对应的裁剪边界;
第二确定单元202,用于基于所述裁剪边界切分所述待处理图像,得到第一图像集合。
优选的,所述构建模块30,包括:
第一构造单元301,用于根据所述面部关键点构造关键点特征,所述关键点特征用于表示所述面部的几何特征;
第二构造单元302,用于根据所述关键点特征构造所述第一特征向量。
优选的,所述预先构建的属性分类器包括以下步骤:
获取历史面部图像的面部关键点;
基于所述面部关键点切分所述历史面部图像,得到与面部的第一类属性对应的第二图像集合,所述第二图像集合包括与所述第一类属性对应的第二子图像区域,所述第二子图像区域是所述历史面部图像的一部分;
基于所述面部关键点构建与面部的第二类属性对应的第二特征向量;
利用所述第二图像集合按照深度学习算法训练生成深度学习模型,所述深度学习模型输出所述第一类属性对应的分类结果;
利用所述第二特征向量按照支持向量机算法训练生成支持向量机模型,所述支持向量机模型输出所述第二类属性对应的分类结果。
优选的,所述装置,还用于:
对所述第二特征向量进行归一化处理。
优选的,所述处理模块40,还包括:
选取单元401,用于基于预先设定对应规则从素材库中选取与所述卡通属性对应的卡通五官图像,所述对应规则是指分类结果和所述卡通属性的对应关系;
生成单元402,用于基于所述卡通五官图像按照与所述第二类属性对应的分类结果,生成所述卡通图像。
优选的,所述第一类属性包括以下至少一项:下巴区域、发型区域、鼻子区域、嘴巴区域、肤色属性、眼部区域和佩戴饰品形状;
所述第二类属性包括:面部轮廓形状。
本实施例提供的卡通图像生成装置,可以执行上述方法的实施例,其实现原理和技术效果类似,在此不再赘述。
图11为本发明实施例提供的一种计算机设备的结构示意图。如图11所示,其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统1100的结构示意图。
如图11所示,计算机系统1100包括中央处理单元(CPU)1101,其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM1103中,还存储有系统1100操作所需的各种程序和数据。CPU1101、ROM1102以及RAM1103通过总线1104彼此相连。输入/输出(I/O)接口1106也连接至总线1104。
以下部件连接至I/O接口1105:包括键盘、鼠标等的输入部分1106;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107;包括硬盘等的存储部分1108;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1106。可拆卸介质1111,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1110上,以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地,根据本公开的实施例,上文参考图1-8描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行图1-8的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1109从网络上被下载和安装,和/或从可拆卸介质1111被安装。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中,例如,可以描述为:一种处理器包括提取模块、确定模块、构建模块、处理模块及生成模块。其中,这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定,例如,提取模块还可以被描述为“用于提取待处理图像中面部关键点”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如上述实施例中所述的卡通图像生成方法。
例如,所述电子设备可以实现如图1中所示的:步骤S101,提取待处理图像中面部关键点;步骤S102,基于所述面部关键点切分所述待处理图像,得到与面部的第一类属性对应的第一图像集合,所述第一图像集合包括与所述第一类属性对应的第一子图像区域,所述第一子图像区域是所述待处理图像的一部分;步骤S103,基于所述面部关键点构建与面部的第二类属性对应的第一特征向量;步骤S104,将所述第一图像集合和所述第一特征向量分别输入到与之对应的预先构建的属性分类器,以得到分别与所述第一类属性和所述第二类属性对应的分类结果;步骤S105,根据所述分类结果匹配生成卡通图像。又如,所述电子设备可以实现如图3—图8中所示的各个步骤。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。

Claims (10)

1.一种卡通图像生成方法,其特征在于,包括:
提取待处理图像中面部关键点;
基于所述面部关键点切分所述待处理图像,得到与面部的第一类属性对应的第一图像集合,所述第一图像集合包括与所述第一类属性对应的第一子图像区域,所述第一子图像区域是所述待处理图像的一部分;
基于所述面部关键点构建与面部的第二类属性对应的第一特征向量;
将所述第一图像集合和所述第一特征向量分别输入到与之对应的预先构建的属性分类器,以得到分别与所述第一类属性和所述第二类属性对应的分类结果;
根据所述分类结果生成卡通图像。
2.根据权利要求1所述的卡通图像生成方法,其特征在于,所述基于所述面部关键点切分所述待处理图像,包括以下步骤:
根据所述面部关键点确定所述待处理图像中与所述第一类属性对应的裁剪边界;
基于所述裁剪边界切分所述待处理图像,得到第一图像集合。
3.根据权利要求1所述的卡通图像生成方法,其特征在于,所述基于所述面部关键点构建与面部的第二类属性对应的第一特征向量,包括以下步骤:
根据所述面部关键点构造关键点特征,所述关键点特征用于表示所述面部的几何特征;
根据所述关键点特征构造所述第一特征向量。
4.根据权利要求1所述的卡通图像生成方法,其特征在于,所述预先构建的属性分类器包括以下步骤:
获取历史面部图像的面部关键点;
基于所述面部关键点切分所述历史面部图像,得到与面部的第一类属性对应的第二图像集合,所述第二图像集合包括与所述第一类属性对应的第二子图像区域,所述第二子图像区域是所述历史面部图像的一部分;
基于所述面部关键点构建与面部的第二类属性对应的第二特征向量;
利用所述第二图像集合按照深度学习算法训练生成深度学习模型,所述深度学习模型输出所述第一类属性对应的分类结果;
利用所述第二特征向量按照支持向量机算法训练生成支持向量机模型,所述支持向量机模型输出所述第二类属性对应的分类结果。
5.根据权利要求4所述的卡通图像生成方法,其特征在于,在利用所述第二特征向量按照支持向量机算法训练生成支持向量机模型之前,所述方法还包括:
对所述第二特征向量进行归一化处理。
6.根据权利要求1所述的卡通图像生成方法,其特征在于,所述根据所述分类结果生成卡通图像,包括以下步骤:
基于预先设定的对应规则从素材库中选取与卡通属性对应的卡通五官图像,所述对应规则是指分类结果和所述卡通属性的对应关系;
基于所述卡通五官图像按照与所述第二类属性对应的分类结果,生成所述卡通图像。
7.根据权利要求1所述的卡通图像生成方法,其特征在于,所述第一类属性包括以下至少一项:下巴区域、发型区域、鼻子区域、嘴巴区域、肤色属性、眼部区域和佩戴饰品形状;
所述第二类属性包括:面部轮廓形状。
8.一种卡通图像生成装置,其特征在于,包括:
提取模块,用于提取待处理图像中面部关键点;
确定模块,用于基于所述面部关键点切分所述待处理图像,得到与面部的第一类属性对应的第一图像集合,所述第一图像集合包括与所述第一类属性对应的第一子图像区域,所述第一子图像区域是所述待处理图像的一部分;
构建模块,用于基于所述面部关键点构建与面部的第二类属性对应的第一特征向量;
处理模块,用于将所述第一图像集合和所述第一特征向量分别输入到与之对应的预先构建的属性分类器,以得到分别与所述第一类属性和所述第二类属性对应的分类结果;
生成模块,用于根据所述分类结果生成卡通图像。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1~7中任一项所述方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~7中任一项所述方法。
CN201910553103.3A 2019-06-25 2019-06-25 卡通图像生成方法、装置、设备及存储介质 Pending CN110414345A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910553103.3A CN110414345A (zh) 2019-06-25 2019-06-25 卡通图像生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910553103.3A CN110414345A (zh) 2019-06-25 2019-06-25 卡通图像生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110414345A true CN110414345A (zh) 2019-11-05

Family

ID=68359621

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910553103.3A Pending CN110414345A (zh) 2019-06-25 2019-06-25 卡通图像生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110414345A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292262A (zh) * 2020-01-19 2020-06-16 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备以及存储介质
CN111291812A (zh) * 2020-02-11 2020-06-16 浙江大华技术股份有限公司 属性类别的获取方法及装置、存储介质、电子装置
CN111667400A (zh) * 2020-05-30 2020-09-15 温州大学大数据与信息技术研究院 一种基于无监督学习的人脸轮廓特征风格化生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203263A (zh) * 2016-06-27 2016-12-07 辽宁工程技术大学 一种基于局部特征的脸型分类方法
CN107316333A (zh) * 2017-07-07 2017-11-03 华南理工大学 一种自动生成日漫肖像的方法
CN107730573A (zh) * 2017-09-22 2018-02-23 西安交通大学 一种基于特征提取的人物肖像漫画风格化生成方法
CN108596839A (zh) * 2018-03-22 2018-09-28 中山大学 一种基于深度学习的人脸漫画生成方法及其装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203263A (zh) * 2016-06-27 2016-12-07 辽宁工程技术大学 一种基于局部特征的脸型分类方法
CN107316333A (zh) * 2017-07-07 2017-11-03 华南理工大学 一种自动生成日漫肖像的方法
CN107730573A (zh) * 2017-09-22 2018-02-23 西安交通大学 一种基于特征提取的人物肖像漫画风格化生成方法
CN108596839A (zh) * 2018-03-22 2018-09-28 中山大学 一种基于深度学习的人脸漫画生成方法及其装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MYDDDFLY: "图像处理(二十一)基于数据驱动的人脸卡通动画生成", 《博客园》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292262A (zh) * 2020-01-19 2020-06-16 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备以及存储介质
CN111292262B (zh) * 2020-01-19 2023-10-13 腾讯科技(深圳)有限公司 图像处理方法、装置、电子设备以及存储介质
CN111291812A (zh) * 2020-02-11 2020-06-16 浙江大华技术股份有限公司 属性类别的获取方法及装置、存储介质、电子装置
CN111291812B (zh) * 2020-02-11 2023-10-17 浙江大华技术股份有限公司 属性类别的获取方法及装置、存储介质、电子装置
CN111667400A (zh) * 2020-05-30 2020-09-15 温州大学大数据与信息技术研究院 一种基于无监督学习的人脸轮廓特征风格化生成方法

Similar Documents

Publication Publication Date Title
US9396560B2 (en) Image-based color palette generation
US10049308B1 (en) Synthesizing training data
CN105184249B (zh) 用于人脸图像处理的方法和装置
US9552656B2 (en) Image-based color palette generation
US9311889B1 (en) Image-based color palette generation
WO2019228167A1 (zh) 一种辅助化妆方法、装置及智能镜
CN110414345A (zh) 卡通图像生成方法、装置、设备及存储介质
CN109872379A (zh) 数据处理装置和方法
CN108694719A (zh) 图像输出方法和装置
TWI780919B (zh) 人臉影像的處理方法、裝置、電子設備及儲存媒體
CN105096353A (zh) 一种图像处理方法及装置
CN109544444A (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN110148191A (zh) 视频虚拟表情生成方法、装置及计算机可读存储介质
CN112734633A (zh) 虚拟发型的替换方法、电子设备及存储介质
CN110288715A (zh) 虚拟项链试戴方法、装置、电子设备及存储介质
CN110378432A (zh) 图片生成方法、装置、介质及电子设备
CN108573192B (zh) 匹配人脸的眼镜试戴方法和装置
JP3444148B2 (ja) 眉描画方法
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
CN109753873A (zh) 图像处理方法及相关装置
CN114445528B (zh) 虚拟形象生成方法、装置、电子设备及存储介质
CN111107264A (zh) 图像处理方法、装置、存储介质以及终端
CN116977539A (zh) 图像处理方法、装置、计算机设备、存储介质和程序产品
CN113223128B (zh) 用于生成图像的方法和装置
CN109872277A (zh) 信息处理方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191105

RJ01 Rejection of invention patent application after publication