CN112614044A - 一种手绘头像动漫化方法、系统、电子设备及存储介质 - Google Patents
一种手绘头像动漫化方法、系统、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112614044A CN112614044A CN202011475692.7A CN202011475692A CN112614044A CN 112614044 A CN112614044 A CN 112614044A CN 202011475692 A CN202011475692 A CN 202011475692A CN 112614044 A CN112614044 A CN 112614044A
- Authority
- CN
- China
- Prior art keywords
- hand
- drawn
- animation
- current
- elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012549 training Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims 1
- 210000000697 sensory organ Anatomy 0.000 abstract description 6
- 210000003128 head Anatomy 0.000 description 38
- 210000001508 eye Anatomy 0.000 description 32
- 210000001331 nose Anatomy 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 210000000214 mouth Anatomy 0.000 description 9
- 210000005069 ears Anatomy 0.000 description 7
- 210000004209 hair Anatomy 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000272814 Anser sp. Species 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 241000233805 Phoenix Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 210000002221 olecranon process Anatomy 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例提供一种手绘头像动漫化方法、系统、电子设备及存储介质，该方法通过实时获取用户手绘头像时每一步骤的新增手绘元素，并基于该新增手绘元素实时生成对应的动漫化结果，可以根据用户手绘的整体内容实时更新识别结果和动漫形象，实时将用户的手绘元素动漫化，动漫化是从无到有、用户边手绘头像边动漫化，使得用户手绘头像过程中，实时获知当前手绘的五官等元素的动漫化结果，以能够在手绘头像过程中对最终形成的动漫风格进行调整。
Description
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种手绘头像动漫化方法、系统、电子设备及存储介质。
背景技术
动漫制作是我们国家的新兴产业，其中对于头像卡通化的设计和应用就广受欢迎。目前，头像动漫设计通常是在提取人脸特征后，保留器官特征，获得头像素描肖像画初样，然后对初样进行处理获得头像漫画。
目前常用的动漫化方法是用户上传一张头像照片，系统识别用户头像及五官，并将其一次性动漫化的过程，是在已有人像图片的基础上的动漫化。即其是基于已有的模板进行整体动漫化的结果，其动漫化风格是固定的，导致用户无法对动漫化细节进行适应性的修改，调整动漫化风格。
发明内容
本申请实施例的主要目的在于提出一种手绘头像动漫化方法、系统、电子设备及存储介质，解决了现有技术中基于已有的模板进行整体动漫化的结果，动漫化风格固定，导致用户无法对动漫化细节进行适应性的修改，调整动漫化风格。
为解决上述问题，第一方面，本发明实施例提供一种手绘头像动漫化方法，包括：
检测手绘屏幕区域的手绘头像；
若检测到有新增手绘步骤，则实时获取当前手绘步骤的手绘元素；
基于当前手绘步骤的手绘元素在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果。
与现有技术相比，本发明实施例通过实时获取用户手绘头像时每一步骤的手绘元素，并基于当前步骤的手绘元素实时生成对应的动漫化结果，可以根据用户手绘的整体内容实时更新识别结果和动漫形象，实时将用户的手绘元素动漫化，动漫化是从无到有、用户边手绘头像边动漫化，使得用户手绘头像过程中，实时获知当前手绘的五官等元素的动漫化结果，以能够在手绘头像过程中对最终形成的动漫风格进行调整。
第二方面，本发明实施例提供了一种手绘头像动漫化系统，包括：
手绘元素获取模块，用于检测手绘屏幕区域的手绘头像；
若检测到有新增手绘步骤，则实时获取当前手绘步骤的手绘元素；
动漫化生成模块，用于基于当前步骤的手绘元素在动漫显示区域实时生成当前步骤的手绘元素的动漫化结果。
第三方面，本发明实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述手绘头像动漫化方法的步骤。
第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述手绘头像动漫化方法的步骤。
可选地，基于所述当前手绘步骤的手绘元素在动漫显示区域实时生成所述当前手绘步骤的手绘元素的动漫化结果后，还包括：
基于当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，修正上一手绘步骤的手绘元素的动漫化结果。
可选地，所述基于当前手绘步骤的手绘元素在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果，基于当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，修正上一手绘步骤的手绘元素的动漫化结果，具体包括：
将当前手绘步骤的手绘元素和上一手绘步骤的手绘元素输入至训练好的动漫化生成模型；若当前手绘步骤的手绘元素为手绘屏幕区域的第一个手绘元素，则上一手绘步骤的手绘元素为空白画纸；
基于所述动漫化生成模型在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果，并根据当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，修正上一手绘步骤的手绘元素的动漫化结果。
可选地，基于当前手绘步骤的手绘元素在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果前，还包括：
采集不同风格的手绘元素和对应的动漫化结果；
以每个手绘元素和对应的动漫化结果一组图像数据对；
对不同手绘元素的图像数据对进行两两随机配对，构建训练样本集，以两个不同的手绘元素作为输入，以对应的识别结果、动漫化结果作为输出，进行深度学习训练，得到动漫化生成模型。
可选地，还包括：
将当前所述手绘头像中所有手绘元素按顺序输入至训练好的手绘预测模型，预测下一手绘步骤的手绘元素，并将预测的手绘元素的识别结果和动漫化结果推荐给用户。
可选地，还包括：
采集不同手绘头像绘画过程中的手绘元素顺序，按手绘元素顺序将手绘元素分成若干组输入输出对，并对每组输入输出对中的手绘元素类型进行随机搭配，以构成训练样本；
基于所述训练样本进行神经网络训练，得到用于预测下一手绘步骤的手绘元素的手绘预测模型。
可选地，待确认用户手绘头像结束后，调整各手绘元素对应动漫化结果的配色和大小，输出最终的动漫化头像。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1根据本发明实施例的一种手绘头像动漫化方法流程图；
图2为根据本发明实施例的手绘头像动漫化方法进行手绘元素动漫化过程示意图；
图3为根据本发明实施例的相邻两个手绘步骤的手绘元素间生成的识别结果和动漫化结果示意图；
图4为根据本发明实施例的动漫化生成模型示意图；
图5为根据本发明实施例的用户手绘元素特征提取网络示意图；
图6为根据本发明实施例的手绘预测模型示意图；
图7为根据本发明又一种实施例的手绘头像动漫化系统结构框图；
图8为根据本发明又一种实施例的一种服务器示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本申请实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列部件或单元的系统、产品或设备没有限定于已列出的部件或单元，而是可选地还包括没有列出的部件或单元，或可选地还包括对于这些产品或设备固有的其它部件或单元。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
目前常用的动漫化方法是用户上传一张头像照片，系统识别用户头像及五官，并将其一次性动漫化的过程，是在已有人像图片的基础上的动漫化。因此，用户需要画完一整张头像后才能知道动漫化效果，在用户手绘头像过程中，无法实时预测当前手绘的五官等元素的动漫化结果。
因此，本发明实施例提供一种手绘头像动漫化方法、系统、电子设备及存储介质，通过实时获取用户手绘头像时每一手绘步骤的手绘元素，并基于该手绘元素实时生成对应的动漫化结果，可以根据用户手绘的整体内容实时更新识别结果和动漫形象，实时将用户的手绘元素动漫化，并可以根据用户的手绘顺序及元素，预测下一个手绘元素及其动漫化，推荐给用户。以下将通过多个实施例进行展开说明和介绍。
图1为根据本发明实施例提供的一种手绘头像动漫化方法，包括：
S1、检测手绘屏幕区域的手绘头像；
若检测到有新增手绘步骤，则实时获取当前手绘步骤的手绘元素；
S2、基于当前手绘步骤的手绘元素在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果。
具体地，在本实施例中，可将屏幕分为两个部分，即手绘屏幕区域和动漫显示区域，其中，手绘屏幕区域用于用户手绘头像，动漫显示区域用于显示动漫化结果。以每新增一个手绘元素作为一个手绘步骤，手绘元素包括眼睛、鼻子、嘴、人脸、头发、耳朵等，其中，每个手绘步骤都需要在前面所有手绘步骤的基础上进行。将所有的手绘步骤拆开分行显示，如图2中所示，实际应用时，用户在左侧(即手绘屏幕区域)每手绘一个手绘步骤，则在右侧(即动漫显示区域)对应位置显示动漫化结果。如用户在左侧进行手绘头像，分步骤依次画出眼睛、鼻子、嘴、头等手绘元素，在右侧提取形状、大小等特征，实时识别用户的手绘内容，并根据用户手绘的整体内容实时更新识别结果和动漫形象。对于没有绘画功底的用户来说，本实施例的方法能在输出较高质量动漫化的同时，保持用户所绘头像的风格。
在采集手绘元素时，作为一种实施方式，通过在手绘屏幕区域实时获取用户手绘头像时的手绘轨迹，若判断获知用户在手绘轨迹终点绘完后的预设时间内未继续绘画，或用户确认绘画结束，则确认当前手绘步骤手绘结束；
将当前手绘步骤手绘结束时间与上一手绘步骤手绘结束时间之间的手绘过程作为用户手绘头像的一个手绘步骤；
提取每一手绘步骤的所有手绘轨迹，以作为手绘元素。
作为另一种实施方式，也可以根据用户选择每一手绘步骤的开始时间和结束时间。
在上述实施例的基础上，作为一种优选的实施方式，基于所述当前手绘步骤的手绘元素在动漫显示区域实时生成所述当前手绘步骤的手绘元素的动漫化结果后，还包括：
基于当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，修正上一手绘步骤的手绘元素的动漫化结果。
具体地，在本实施例中，如图3中所示，根据用户的绘画习惯，以当前手绘步骤的手绘元素和上一手绘步骤的手绘元素为输入进行分析，可以得到当前手绘步骤的动漫化结果和上一手绘步骤的动漫化结果，如第一步画人脸，第二步画眼睛，那么在人脸的动漫化过程中，以空白画纸和手绘出的人脸为输入进行分析，即空白画纸作为上一手绘步骤的手绘元素，人脸作为当前手绘步骤的手绘元素，最终分析生成的结果则是人脸的识别结果和动漫化结果，对应上一手绘步骤的动漫化结果和当前手绘步骤的动漫化结果。
本实施例中，在一次动漫化过程中，需要分别针对当前手绘步骤和上一手绘步骤的手绘元素同时进行处理，此种方式，可以根据当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，对上一手绘步骤的手绘元素的识别结果和动漫化结果进行修正，同时，每个手绘元素需要先后进行两次识别处理和动漫化处理，增加了识别和动漫化的可靠性。不同手绘元素之间的关系包括相对位置关系和大小比例关系。
在上述实施例的基础上，作为一种优选的实施方式，所述基于当前手绘步骤的手绘元素在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果，基于当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，修正上一手绘步骤的手绘元素的动漫化结果，具体包括：
将当前手绘步骤的手绘元素和上一手绘步骤的手绘元素输入至训练好的动漫化生成模型；若当前手绘步骤的手绘元素为手绘屏幕区域的第一个手绘元素，则上一手绘步骤的手绘元素为空白画纸；
基于所述动漫化生成模型在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果，并根据当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，修正上一手绘步骤的手绘元素的动漫化结果。
在本实施例中，基于上一手绘步骤的手绘元素连续两次的识别结果，对上一手绘步骤的手绘元素的动漫化结果进行修正；
若判断获知上一手绘步骤的手绘元素的两次识别结果不同，则基于后一次的识别结果修正前一次的识别结果，并基于后一次的动漫化结果修正前一次的动漫化结果。
具体地，在本实施例中，其中由于每次是分析当前手绘步骤和上一手绘步骤的手绘元素，因此，上一手绘步骤的手绘元素已经是分析过一次的，即已经经过一次识别和动漫化，因此，如同一手绘元素的前后两次识别结果不同，则需要进行修正，如第一步画人脸，第二步画眼睛，在眼睛的动漫化过程中，以手绘出的人脸和眼睛为输入，输出人脸和眼睛的识别结果，如果这一次对人脸的识别结果与上一次对人脸的识别结果相同，则只动漫化眼睛，否则动漫化眼睛的同时更改人脸的动漫化，这个手绘步骤是为了使模型具备智能学习到不同手绘元素之间的关系，并利用此关系在线修正识别结果的能力，防止出现将人脸识别为眼睛的情况，如果在第一次将人脸识别为眼睛，那么可以在第二次中修正人脸的识别结果。
由于手绘元素不存在重复绘画的可能，且头像中手绘元素会越来越多，因此，在本实施例中，通过对前后两次识别结果的比较，且每次对上一手绘步骤的识别结果都与当前手绘步骤的识别结果进行了比较对应，自动识别用户的手绘元素和元素之间的关系，并根据上一手绘步骤和当前手绘步骤的手绘元素的关系，修正上一手绘步骤的识别结果，可以对前一次识别进行验证，并在每次识别过程中，都基于后一次的识别结果对前一次的识别结果进行修正，并适应性的修正动漫化结果，增加了识别和动漫化的可靠性。
在上述实施例的基础上，作为一种优选的实施方式，还包括：
采集不同风格的手绘元素和对应的动漫化结果；同一手绘元素存在不同的绘画风格，并且对应多种动漫化结果，对同一手绘元素，采集其不同风格的绘画，以及每种风格绘画对应的多种动漫化结果，使得样本集更加全面。
以每个手绘元素和对应的动漫化结果一组图像数据对；
对不同手绘元素的图像数据对进行两两随机配对，构建训练样本集，以两个不同的手绘元素作为输入，以对应的识别结果、动漫化结果作为输出，进行深度学习训练，得到动漫化生成模型。
所述动漫化预测模型用于基于当前手绘步骤的所述手绘元素实时生成当前手绘步骤的所述手绘元素的动漫化结果，并基于当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，修正上一手绘步骤的手绘元素的识别结果，并修正上一手绘步骤的手绘元素的动漫化结果。
具体地，在本实施例中，需要预先训练得到动漫化生成模型，该动漫生成模型为编码—解码结构，用于实时将用户手绘元素动漫化。
在数据收集时，需要查找不同脸型的手绘样式图片，收集的数据包括：手绘头像图片和动漫头像图片，按照手绘的顺序，将其拆分为眼睛、鼻子、嘴、人脸、头发、耳朵等基本元素，并缩放到相同大小(如64*64)，得到一批<手绘眼睛，动漫眼睛>、<手绘鼻子，动漫鼻子>、<手绘嘴，动漫嘴>、<手绘人脸、动漫人脸>、<手绘头发、动漫头发>、<手绘耳朵、动漫耳朵>等图像数据对，分别作为模型的输入和输出。头像的基础组成部分主要包括人脸、眼睛、鼻子、嘴、耳朵、头发，根据人的绘画习惯，收集训练数据时，考虑不同样式的基本元素，如用户在手绘人脸时，会涉及脸型，包括杏仁形脸型、卵圆形脸型、圆形脸型、长圆形脸型、方形脸型、长方形脸型、菱形脸型和三角形脸型。眼睛的形状包括标准眼、丹凤眼、细长眼、圆眼、眯缝眼。鼻子形状包括多肉鼻、鹰钩鼻、狮鼻。在收集手绘和动漫图片时，需要收集上述提到的不同样式的元素的图片，增加丰富性。
在模型搭建时，在本实施例中，动漫化生成模型以卷积神经网络为基础结构，以编码-解码为基础框架，网络模型如图4所示，模型的基本结构由深度学习中的卷积神经网络(Convolutional Neural Networks,CNN)组成，CNN所涉及的参数如下：由于模型的处理对象为用户的手绘元素，其尺寸不会太大，所以使用3*3的卷积核，卷积核的格式为卷积核长度*卷积核宽度*输入通道数*输出通道数，如3*3*3*16的卷积核表示：卷积核尺寸为3*3，输入通道数为3，输出通道数为16。卷积层中用到的步长stride、图像填充padding如图中所示。上采样层使用双线性插值的方法进行特征图的放大，放大尺寸Scale＝2。1*1卷积可以进行特征的整合和维度的转换。所以，4组卷积可以实现特征图尺寸降为原图的1/16，从而提取输入图像的低级特征和高级特征。整个模型可以表示为：
Input->Conv(3,3,3,16)->Conv(3,3,16,32)->Conv(3,3,32,64)->Conv(3,3,64,128)->Ups
am(2)->Conv(1,1,128,64)->Upsam(2)->Conv(1,1,64,32)->Upsam(2)->Conv(1,1,32,16)->
Upsam(2)->Conv(1,1,16,3)->Output；
其中卷积操作Conv的参数表示(卷积核宽度，卷积核高度，输入通道，输出通道)，上采样Upsam的参数表示(上采样倍数)。模型的损失函数为模型输出与真实动漫化元素的均方误差。
在模型训练时，在本实施例中，根据人的绘画习惯，以当前手绘步骤和上一手绘步骤为输入，以动漫化的风格为输出，通过最小化损失函数，以梯度下降的方法调整模型的可训练参数，直至模型收敛。(如第一步画人脸，第二步画眼睛，那么在人脸的动漫化过程中，以空白画纸和手绘出的人脸为输入，分别对应图4中用户上一手绘步骤的手绘元素和用户当前手绘步骤的手绘元素，输出人脸的识别结果和动漫化结果，分别对应图4中上一手绘步骤的手绘元素动漫化结果和当前手绘步骤的手绘元素动漫化结果；在眼睛的动漫化过程中，以手绘出的人脸和眼睛为输入，输出人脸和眼睛的识别结果，如果这一次对人脸的识别结果与上一次对人脸的识别结果相同，则只动漫化眼睛，否则动漫化眼睛的同时更改人脸的动漫化，这个步骤是为了使模型具备智能学习到不同手绘元素之间的关系，并利用此关系在线修正识别结果的能力，防止出现将人脸识别为眼睛的情况，如果在第一次将人脸识别为眼睛，那么可以在第二次修正人脸的识别结果。
在上述模型训练完成之后，还需要对模型进行推理，具体地包括：提取用户当前手绘步骤和上一手绘步骤的手绘元素，作为已经训练好的模型的输入，模型自动识别用户的手绘元素和元素之间的关系，并根据上一步和当前步手绘元素的关系，修正上一手绘步骤的识别结果，同时输出当前手绘步骤的动漫化结果。如开始推理后，用户手绘第一个元素I1，则空白画布(I0)和第一个手绘元素分别作为上一步和当前步手绘元素，将其输入到模型，得到动漫化结果，A0、A1，即({A0,A1}＝Gen({I0,I1}))；之后，用户手绘第二个元素I2，将I1、I2分别作为上一步和当前步手绘元素，输入到模型，即({A1,A2}＝Gen({I1,I2}))，由于载入的模型已经是训练收敛的模型，所以此时的模型已具备根据手绘元素之间的关系，修正识别结果的能力。根据I1和I2的关系，模型会自动修正I1的动漫化结果，此时的A1已经是修正之后的结果。
在本实施例中，只需要将当前手绘步骤的手绘元素和上一手绘步骤的手绘元素作为动漫化预测模型的输入，即可同时实现上述各实施例中基于当前手绘步骤的所述手绘元素实时生成当前手绘步骤的所述手绘元素的动漫化结果，以及基于当前手绘步骤的手绘元素和上一手绘步骤的手绘元素生成当前手绘步骤的手绘元素的识别结果和上一手绘步骤的手绘元素的识别结果；
基于当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，修正上一手绘步骤的手绘元素的识别结果，并修正上一手绘步骤的手绘元素的动漫化结果。
在上述实施例的基础上，作为一种优选的实施方式，如图1中所示，还包括：
S3、基于当前所有手绘步骤中手绘元素的顺序，预测下一手绘步骤的手绘元素，并将预测的手绘元素的识别结果和动漫化结果推荐给用户。
具体地，在本实施例中，除手绘头像实时动漫化外，还需要为用户的手绘提供指导性建议，指导其下一手绘步骤的手绘元素及样式。得到动漫化的手绘元素，分别在屏幕的左侧和右侧闪烁显示预测的手绘元素和动漫化元素。通过为用户提供预测的手绘元素和动漫化元素，能够减少用户的手绘难度，即使是不专业的绘画用户也能够进行手绘，同时也为用户绘画提供指导，并且能够通过提前为用户展示动漫化效果，使用户选择所绘图像的风格。
在上述实施例的基础上，作为一种优选的实施方式，基于当前所有手绘步骤中手绘元素的顺序，预测下一手绘步骤的手绘元素前，还包括：
采集不同手绘头像绘画过程中的手绘元素顺序，按手绘元素顺序将手绘元素分成若干组输入输出对，并对每组输入输出对中的手绘元素类型进行随机搭配，以构成训练样本；
基于所述训练样本进行神经网络训练，得到用于预测下一手绘步骤的手绘元素的手绘预测模型。
具体地，在本实施例中，手绘预测模型为序列到序列的结构，收集不同手绘的绘画过程及顺序，将绘画过程拆分，如将人脸、眼睛、鼻子、嘴、耳朵、眉毛、睫毛、头发编码为数字1-8，以1-2-7-6-3-4-5-8的手绘顺序为例，可以将其分成<1,2-7-6-3-4-5-8>、<1-2,7-6-3-4-5-8>、<1-2-7,6-3-4-5-8>等输入输出对，收集不同类型的元素搭配(如鹅蛋脸搭配丹凤眼)，已构成训练样本，进行手绘预测模型的训练。
具体地，在本实施例中，手绘预测模型以循环神经网络(Recurrent NeuralNetwork,RNN)为基础结构，以序列到序列为基础框架，以用户手绘元素特征为输入，输出下一个元素的预测值。用户手绘元素特征的提取网络如图5所示，为了得到元素的特征向量，在动漫化生成模型编码网络的基础上加入全连接层，全连接层的神经元个数为128，即用户手绘元素的特征维度为128，整个模型可以表示为：
Input->Conv(3,3,3,16)->Conv(3,3,16,32)->Conv(3,3,32,64)->Conv(3,3,64,128)->
Flatten->FC(128)
其中卷积操作Conv的参数表示(卷积核宽度，卷积核高度，输入通道，输出通道)，Flatten表示将特征图展平为向量，全连接操作FC的参数表示(全连接层神经元个数)。如此，通过特征提取网络，可以将手绘元素的图片转换为128维的特征向量，作为RNN的输入，RNN的输出和隐层的维度同样设置为128。
具体地，在本实施例中，手绘预测模型网络结构如图6所示，分别提取用户之前的手绘步骤，并提取特征，作为RNN的输入，最后一个RNN用于预测下一个元素。RNN(128,128)->RNN(128,128)->RNN(128,128)->RNN(128,128)->RNN(128,6)，其中RNN操作的参数表示为(隐层神经元个数，输出层神经元个数)，最后一个RNN的输出层的神经元个数为6，表示眼睛、鼻子、嘴、人脸、头发、耳朵等基本元素的预测值，取预测值最大的元素作为最终的预测元素，即oi+1＝pred(o1,o2,...,oi)。
损失函数为预测值和真实值的交叉熵：L＝Cross(oi+1,o'i+1)＝o'i+1log(oi+1)。
提取用户的手绘步骤，输入到手绘预测模型中，输出其下一个手绘步骤的预测元素，并将其输入到动漫化生成模型中，得到动漫化的元素，分别在收集屏幕的左侧和右侧闪烁显示预测的手绘元素和动漫化元素。
在上述实施例的基础上，作为一种优选的实施方式，如图1中所示，还包括：
S4、待确认用户手绘头像结束后，调整各手绘元素对应动漫化结果的配色和大小，输出最终的动漫化头像。
具体地，在本实施例中，用户在左侧进行手绘头像，分步骤依次画出眼睛、鼻子、嘴、头等元素，在右侧提取形状、大小等特征，实时识别用户的手绘内容，并根据用户手绘的整体内容实时更新识别结果和动漫形象，待用户手绘结束后，调整动漫头像整体的配色和大小，输出最终结果。
本实施例的方法能够实时实时展示用户手绘内容动漫化的结果，并且能够对上一步的手绘元素的识别结果和动漫化结果进行修正，同时还可以根据前面手绘步骤中手绘元素的顺序，预测下一个手绘元素并将其动漫化，为用户提供指导性建议，与现有技术中依靠整张头像一次性进行动漫化相比，能在输出较高质量动漫化的同时，保持用户所绘头像的风格。
本发明实施例还提供了一种手绘头像动漫化系统，基于上述各实施例中的手绘头像动漫化方法，如图7中所示，包括手绘元素获取模块10、动漫化生成模块20和手绘预测模块30，其中：
手绘元素获取模块10，检测手绘屏幕区域的手绘头像；
若检测到有新增手绘步骤，则实时获取当前手绘步骤的手绘元素；
动漫化生成模块20，基于当前手绘步骤的手绘元素在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果，并基于当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，修正上一手绘步骤的手绘元素的动漫化结果。
手绘预测模块30，用于基于当前所有手绘步骤中手绘元素的顺序，预测下一手绘步骤的手绘元素，并将预测的手绘元素的动漫化结果推荐给用户。
具体地，在本实施例中，系统主要包括动漫化生成模型(Gen)和手绘预测模型(Pred)，两个模型需要用到的图像包括用户每一步的手绘元素、用户当前手绘步骤的手绘元素、用户上一步的手绘元素，这些图像可以先存储在存储器中，其训练方法如上述各实施例中所示。
基于相同的构思，本发明实施例还提供了一种服务器示意图，如图8所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行如上述各实施例所述手绘头像动漫化方法的步骤。例如包括：
S1、检测手绘屏幕区域的手绘头像；
若检测到有新增手绘步骤，则实时获取当前手绘步骤的手绘元素；
S2、基于当前手绘步骤的手绘元素在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包含至少一段代码，该至少一段代码可由主控设备执行，以控制主控设备用以实现如上述各实施例所述手绘头像动漫化方法的步骤。例如包括：
S1、检测手绘屏幕区域的手绘头像；
若检测到有新增手绘步骤，则实时获取当前手绘步骤的手绘元素；
S2、基于当前手绘步骤的手绘元素在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果。
基于相同的技术构思，本申请实施例还提供一种计算机程序，当该计算机程序被主控设备执行时，用以实现上述方法实施例。
所述程序可以全部或者部分存储在与处理器封装在一起的存储介质上，也可以部分或者全部存储在不与处理器封装在一起的存储器上。
基于相同的技术构思，本申请实施例还提供一种处理器，该处理器用以实现上述方法实施例。上述处理器可以为芯片。
综上所述，本发明实施例提供的一种手绘头像动漫化方法、系统、电子设备及存储介质，通过实时获取用户手绘头像时每一步骤的新增手绘元素，并基于该新增手绘元素实时生成对应的动漫化结果，可以根据用户手绘的整体内容实时更新识别结果和动漫形象，实时将用户的手绘元素动漫化，动漫化是从无到有、用户边手绘头像边动漫化，使得用户手绘头像过程中，实时获知当前手绘的五官等元素的动漫化结果，以能够在手绘头像过程中对最终形成的动漫风格进行调整。
本发明的各实施方式可以任意进行组合，以实现不同的技术效果。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidStateDisk)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种手绘头像动漫化方法，其特征在于，包括：
检测手绘屏幕区域的手绘头像；
若检测到有新增手绘步骤，则实时获取当前手绘步骤的手绘元素；
基于当前手绘步骤的手绘元素在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果。
2.根据权利要求1所述的手绘头像动漫化方法，其特征在于，基于所述当前手绘步骤的手绘元素在动漫显示区域实时生成所述当前手绘步骤的手绘元素的动漫化结果后，还包括：
基于当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，修正上一手绘步骤的手绘元素的动漫化结果。
3.根据权利要求2所述的手绘头像动漫化方法，其特征在于，所述基于当前手绘步骤的手绘元素在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果，基于当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，修正上一手绘步骤的手绘元素的动漫化结果，具体包括：
将当前手绘步骤的手绘元素和上一手绘步骤的手绘元素输入至训练好的动漫化生成模型；若当前手绘步骤的手绘元素为手绘屏幕区域的第一个手绘元素，则上一手绘步骤的手绘元素为空白画纸；
基于所述动漫化生成模型在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果，并根据当前手绘步骤的手绘元素和上一手绘步骤的手绘元素之间的关系，修正上一手绘步骤的手绘元素的动漫化结果。
4.根据权利要求3所述的手绘头像动漫化方法，其特征在于，基于当前手绘步骤的手绘元素在动漫显示区域实时生成当前手绘步骤的手绘元素的动漫化结果前，还包括：
采集不同风格的手绘元素和对应的动漫化结果；
以每个手绘元素和对应的动漫化结果一组图像数据对；
对不同手绘元素的图像数据对进行两两随机配对，构建训练样本集，以两个不同的手绘元素作为输入，以对应的识别结果、动漫化结果作为输出，进行深度学习训练，得到动漫化生成模型。
5.根据权利要求1所述的手绘头像动漫化方法，其特征在于，还包括：
将当前所述手绘头像中所有手绘元素按顺序输入至训练好的手绘预测模型，预测下一手绘步骤的手绘元素，并将预测的手绘元素的识别结果和动漫化结果推荐给用户。
6.根据权利要求5所述的手绘头像动漫化方法，其特征在于，还包括：
采集不同手绘头像绘画过程中的手绘元素顺序，按手绘元素顺序将手绘元素分成若干组输入输出对，并对每组输入输出对中的手绘元素类型进行随机搭配，以构成训练样本；
基于所述训练样本进行神经网络训练，得到用于预测下一手绘步骤的手绘元素的手绘预测模型。
7.根据权利要求1所述的手绘头像动漫化方法，其特征在于，还包括：
待确认用户手绘头像结束后，调整各手绘元素对应动漫化结果的配色和大小，输出最终的动漫化头像。
8.一种手绘头像动漫化系统，其特征在于，包括：
手绘元素获取模块，用于检测手绘屏幕区域的手绘头像；
若检测到有新增手绘步骤，则实时获取当前手绘步骤的手绘元素；
动漫化生成模块，用于基于当前步骤的手绘元素在动漫显示区域实时生成当前步骤的手绘元素的动漫化结果。
9.一种终端/电子设备/服务器，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7任一项所述手绘头像动漫化方法的步骤。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述手绘头像动漫化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011475692.7A CN112614044A (zh) | 2020-12-14 | 2020-12-14 | 一种手绘头像动漫化方法、系统、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011475692.7A CN112614044A (zh) | 2020-12-14 | 2020-12-14 | 一种手绘头像动漫化方法、系统、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112614044A true CN112614044A (zh) | 2021-04-06 |
Family
ID=75234118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011475692.7A Pending CN112614044A (zh) | 2020-12-14 | 2020-12-14 | 一种手绘头像动漫化方法、系统、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112614044A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101958007A (zh) * | 2010-09-20 | 2011-01-26 | 南京大学 | 一种采用草绘的三维动画姿态建模方法 |
| US20120075284A1 (en) * | 2010-09-24 | 2012-03-29 | Alec Rivers | Computer Method and Apparatus for Rotating 2D Cartoons Using 2.5D Cartoon Models |
| CN107330956A (zh) * | 2017-07-03 | 2017-11-07 | 广东工业大学 | 一种漫画手绘图无监督上色方法及装置 |
| CN108846386A (zh) * | 2018-07-10 | 2018-11-20 | 深圳市前海手绘科技文化有限公司 | 一种手绘图案智能识别和纠正方法 |
| CN112017257A (zh) * | 2020-08-31 | 2020-12-01 | 北京字节跳动网络技术有限公司 | 图像处理方法、设备及存储介质 |
-
2020
- 2020-12-14 CN CN202011475692.7A patent/CN112614044A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101958007A (zh) * | 2010-09-20 | 2011-01-26 | 南京大学 | 一种采用草绘的三维动画姿态建模方法 |
| US20120075284A1 (en) * | 2010-09-24 | 2012-03-29 | Alec Rivers | Computer Method and Apparatus for Rotating 2D Cartoons Using 2.5D Cartoon Models |
| CN107330956A (zh) * | 2017-07-03 | 2017-11-07 | 广东工业大学 | 一种漫画手绘图无监督上色方法及装置 |
| CN108846386A (zh) * | 2018-07-10 | 2018-11-20 | 深圳市前海手绘科技文化有限公司 | 一种手绘图案智能识别和纠正方法 |
| CN112017257A (zh) * | 2020-08-31 | 2020-12-01 | 北京字节跳动网络技术有限公司 | 图像处理方法、设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 储昭兵;王天宝;毛水凌;: "基于人脸识别的人脸漫画处理系统", 软件导刊, no. 04, 15 April 2019 (2019-04-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7246811B2 (ja) | 顔画像生成用のデータ処理方法、データ処理機器、コンピュータプログラム、及びコンピュータ機器 | |
| CN109308725B (zh) | 一种移动端表情趣图生成的系统 | |
| US11282257B2 (en) | Pose selection and animation of characters using video data and training techniques | |
| CN107705341B (zh) | 用户表情头像生成的方法及其装置 | |
| CN107784678B (zh) | 卡通人脸图像的生成方法、装置和终端 | |
| US20220335614A1 (en) | Digital Imaging and Learning Systems and Methods for Analyzing Pixel Data of a Scalp Region of a Users Scalp to Generate One or More User-Specific Scalp Classifications | |
| US20220164852A1 (en) | Digital Imaging and Learning Systems and Methods for Analyzing Pixel Data of an Image of a Hair Region of a User's Head to Generate One or More User-Specific Recommendations | |
| CN110909680A (zh) | 人脸图像的表情识别方法、装置、电子设备及存储介质 | |
| JP2024500896A (ja) | ３ｄ頭部変形モデルを生成するための方法、システム及び方法 | |
| CN110555896A (zh) | 一种图像生成方法、装置以及存储介质 | |
| CN110288513A (zh) | 用于改变人脸属性的方法、装置、设备和存储介质 | |
| WO2019142127A1 (en) | Method and system of creating multiple expression emoticons | |
| CN111968248A (zh) | 基于虚拟形象的智能化妆方法、装置、电子设备及存储介质 | |
| CN111191503A (zh) | 一种行人属性识别方法、装置、存储介质及终端 | |
| WO2022257766A1 (zh) | 图像处理方法、装置、设备及介质 | |
| CN108388889A (zh) | 用于分析人脸图像的方法和装置 | |
| CN112819718A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| JP2024503794A (ja) | ２次元（２ｄ）顔画像から色を抽出するための方法、システム及びコンピュータプログラム | |
| KR20230110787A (ko) | 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들 | |
| CN117078816A (zh) | 一种虚拟形象的生成方法、装置、终端设备和存储介质 | |
| CN111597926A (zh) | 图像处理方法及装置、电子设备及存储介质 | |
| CN112614044A (zh) | 一种手绘头像动漫化方法、系统、电子设备及存储介质 | |
| CN110766631A (zh) | 人脸图像的修饰方法、装置、电子设备和计算机可读介质 | |
| EP4083937A1 (en) | System and method for hair analysis of user | |
| KR102373608B1 (ko) | 디지털 휴먼 영상 형성을 위한 전자 장치 및 방법과, 그를 수행하도록 컴퓨터 판독 가능한 기록 매체에 저장된 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |