CN112862672B - 刘海生成方法、装置、计算机设备和存储介质 - Google Patents
刘海生成方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112862672B CN112862672B CN202110184795.6A CN202110184795A CN112862672B CN 112862672 B CN112862672 B CN 112862672B CN 202110184795 A CN202110184795 A CN 202110184795A CN 112862672 B CN112862672 B CN 112862672B
- Authority
- CN
- China
- Prior art keywords
- image
- vector
- bang
- hidden
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000013598 vector Substances 0.000 claims abstract description 251
- 238000012549 training Methods 0.000 claims abstract description 122
- 238000012706 support-vector machine Methods 0.000 claims abstract description 50
- 238000006243 chemical reaction Methods 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 16
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 17
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 230000003631 expected effect Effects 0.000 claims description 7
- 238000010606 normalization Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 4
- 210000004209 hair Anatomy 0.000 description 12
- 230000000694 effects Effects 0.000 description 10
- 239000000284 extract Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 235000016936 Dendrocalamus strictus Nutrition 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003814 hair luster Effects 0.000 description 1
- 230000003741 hair volume Effects 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006911 nucleation Effects 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种刘海生成方法、装置、计算机设备和存储介质，属于图像生成领域，具体包括采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，所述编码器是神经网络通过残差网络基于自加权机制对样本图像训练得到的；通过支持向量机训练模型生成与刘海生长方向对应的方向向量；根据所述方向向量对所述图像隐向量进行编辑；对编辑后的所述图像隐向量进行图片转换，生成具有刘海的人像图像。通过本申请的处理方案，基于神经网络生成发丝清晰、质感真实、没有违和感的刘海。
Description
技术领域
本发明涉及图像生成领域，具体涉及一种基于神经网络的刘海生成方法、装置、计算机设备和存储介质。
背景技术
在图像生成领域中，人脸属性编辑一直是备受重视的研究方向之一，而刘海生成是属于人脸属性编辑中的子项。每个人的头发都有自己的特点，颜色、走势、发量和光泽等属性不尽相同，这造成了想要生成逼真的刘海是一件非常困难的事情。想要整体头发没有违和感，就使得生成刘海必须尽可能的接近于原始头发的质感，同时也要求有很高的鲁棒性能够适应不同人的不同头发。如果生成刘海的质感与原始头发相差较多，那么最后生成的效果就像是戴了假发，极大的影响用户的体验。而且目前学术界人脸属性编辑的方案生成的刘海质量大都非常差，没有发丝的细节，同时也与原始头发差距较大，违和感严重。
发明内容
因此，为了克服上述现有技术的缺点，本发明提供了一种基于神经网络生成发丝清晰、质感真实、没有违和感的刘海的刘海生成方法、装置、计算机设备和存储介质。
为了实现上述目的，本发明提供一种基于神经网络的刘海生成方法，包括：采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，所述编码器是神经网络通过残差网络基于自加权机制对样本图像训练得到的；通过支持向量机训练模型生成与刘海生长方向对应的方向向量；根据所述方向向量对所述图像隐向量进行编辑；对编辑后的所述图像隐向量进行图片转换，生成具有刘海的人像图像。
在其中一个实施例中，所述采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，包括：采用所述编码器的卷积神经网络从所述待处理图像中提取特征图数据；采用残差网络分别提取所述特征图数据中的与每个通道域对应的通道权重和每个空间域对应的空间权重；根据所述通道权重和所述空间权重对所述特征图数据进行加权处理；采用Instance Normalization对每层所述残差网络的所述特征图数据进行归一化，输出与该层所述残差网络对应的隐向量；将所有所述残差网络输出的隐向量汇总到一起，就得到了与所述待处理图像对应的图像隐向量。
在其中一个实施例中，所述编码器的训练步骤，包括：获取包含不同的样本图片数据的网络训练数据集；采用卷积神经网络对所述样本图片数据做特征提取，经过残差网络对特征信息进行转换；将转换后的所述特征信息输入加权网络进行调整，将调整后的所述特征信息输入反卷积网络中生成对应的图像数据；根据预期效果与生成的所述图像数据对所述卷积网络、加权网络、残差网络进行调整，生成编码器。
在其中一个实施例中，所述支持向量机训练模型的训练方法，包括：随机生成一批带有隐向量的训练样本图片，并使用预训练的刘海分类器把训练图片分为有刘海标记和无刘海标记两类，将所述训练样本图片的隐向量与所述训练样本图片对应存储为两类；基于所述训练样本图片和所述隐向量作为正负样本训练支持向量机训练模型，所述支持向量机训练模型是一个具有将隐向量分配给有刘海或无刘海的超平面的非概率二元线性分类器；计算所述支持向量机模型超平面的法线，得到刘海生长方向的方向向量。
在其中一个实施例中，所述通过支持向量机训练模型生成与刘海生长方向对应的方向向量，包括：所述支持向量机训练模型将隐向量表示为空间中的点，通过所述超平面确定所述训练样本图片从无刘海到有刘海的方向向量；所述方向向量的形状和所述图像隐向量保持一致，其中在对刘海有影响的层中，方向向量具有不为零的值，而在对刘海没有影响的层中，方向向量的值为零。
在其中一个实施例中，所述根据所述方向向量对所述图像隐向量进行编辑，包括：将特定的步长乘上方向向量，得到修改向量；根据所述修改向量对所述图像隐向量进行编辑。
一种刘海生成装置，所述装置包括：隐向量提取模块，用于采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，所述编码器是神经网络通过残差网络基于自加权机制对样本图像训练得到的；方向向量生成模块，用于通过支持向量机训练模型生成与刘海生长方向对应的方向向量；编辑模块，用于根据所述方向向量对所述图像隐向量进行编辑；转换模块，用于对编辑后的所述图像隐向量进行图片转换，生成具有刘海的人像图像。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述的方法的步骤。
与现有技术相比，本发明的优点在于：将拥有人脸的图像输入到编辑器中，得到这张图片的隐向量，使用具有生长刘海的方向向量编辑隐向量，对编辑过的隐向量解码，得到生成了极为真实刘海的人像图片，不仅能够自动生成刘海，不需要手动贴图；生成的刘海颜色与原始发色保持一致，而且具有真实清晰发丝质感，与原始头发融合非常的自然。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为一个实施例中刘海生成方法的应用场景图；
图2为一个实施例中刘海生成方法的流程示意图；
图3为一个实施例中隐向量生成步骤的流程示意图；
图4为一个实施例中SVM线性分类隐向量示意图；
图5为一个实施例中刘海生成装置的结构框图；
图6为一个实施例中计算机设备的内部结构图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践方面。
本申请提供的刘海生成方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。终端102可以将待处理图像发送给服务器104，服务器104接收待处理图像，服务器104采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，编码器是神经网络通过残差网络基于自加权机制对样本图像训练得到的；服务器104通过支持向量机训练模型生成与刘海生长方向对应的方向向量；服务器104根据方向向量对图像隐向量进行编辑；服务器104对编辑后的图像隐向量进行图片转换，生成具有刘海的人像图像。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式智能设备，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，本申请实施例提供一种基于神经网络的刘海生成方法，包括以下步骤：
步骤202，采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，编码器是神经网络通过残差网络基于自加权机制对样本图像训练得到的。
编码器是神经网络通过残差网络基于自加权机制对样本图像训练得到的，编码器可以是Encode编码器。编码器承担了提取输入图片特征的作用，因为生成的刘海要符合原始头发的质感，所以提取原始图片特征的能力非常重要，同时编码出来的图像隐向量要具有一定的可解释性，这样才能通过编辑图像隐向量的方式来生成真实的刘海。编码器提取出来的图像隐向量与待处理图像具有对应的联系，在图像隐向量的前层主要包含了影响人的姿势、发型和脸型等较大范围粗略的属性，在图像隐向量的中层主要包含了影响更精细的面部特征，比如眼睛的睁闭、鼻子的大小和嘴唇的形状等，在图像隐向量的后层主要包含了影响图片的配色，比如眼睛、头发和皮肤的颜色以及一些更细微的特征，即拥有了一个特定的图像隐向量就能还原出一张特定的图片。服务器采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量。
步骤204，通过支持向量机训练模型生成与刘海生长方向对应的方向向量。
服务器通过支持向量机训练模型生成与刘海生长方向对应的方向向量。服务器可以事先对随机采样噪声通过映射网络映射到隐向量的分布中，再使用Decode随机生成一万张图片，并人工把这些图片和对应的隐向量分成有刘海和无刘海两类，使用这两类的隐向量作为正负样本通过支持向量机训练模型训练一个线性SVM，通过支持向量机算法创建一个将隐向量分配给有刘海和无刘海之一的超平面，使支持向量机训练模型成为非概率二元线性分类器。
步骤206，根据方向向量对图像隐向量进行编辑。
服务器根据方向向量对图像隐向量进行编辑。服务器可以对Encode出来的隐向量加上方向向量，就可以得到生成了刘海的隐向量。在其中一个实施例中，根据方向向量对图像隐向量进行编辑，包括：将特定的步长乘上方向向量，得到修改向量；根据修改向量对图像隐向量进行编辑。服务器将特定的步长乘上方向向量，得到修改向量；根据修改向量对图像隐向量进行编辑，在隐向量加方向向量前，将特定的步长乘上方向向量，可以控制生成刘海的程度。
步骤208，对编辑后的图像隐向量进行图片转换，生成具有刘海的人像图像。
服务器可以采用Decode对编辑后的图像隐向量进行图片转换，生成具有刘海的人像图像。Decode需要具备强大的解码能力，在一个实施例中，服务器可以采用预先训练好的StyleGAN作为解码器。StyleGAN能够通过隐向量还原出非常高分辨率的图片，即能够生成非常清晰的发丝细节，还原出真实刘海的质感，从而能够生成一张拥有刘海的图片。
上述刘海生成方法，将拥有人脸的图像输入到编辑器中，得到这张图片的隐向量，使用具有生长刘海的方向向量编辑隐向量，对编辑过的隐向量解码，得到生成了极为真实刘海的人像图片，不仅能够自动生成刘海，不需要手动贴图；生成的刘海颜色与原始发色保持一致，而且具有真实清晰发丝质感，与原始头发融合非常的自然。
在其中一个实施例中，如图3所示，采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，包括以下步骤：
步骤302，采用编码器的卷积神经网络从待处理图像中提取特征图数据。
服务器采用编码器的卷积神经网络从待处理图像中提取特征图数据。卷积神经网络可以是机器针对刘海图片学习训练后得到的，也可以是现有的图片特征提取网络，卷积神经网络可以从待处理图像中提取出影响人的姿势、发型和脸型等较大范围粗略的属性、影响更精细的面部特征以及影响图片的配色的特征等。
步骤304，采用残差网络分别提取特征图数据中的与每个通道域对应的通道权重和每个空间域对应的空间权重。
空间域可以将图片中的空间结构信息做对应的空间变换，从而能将关键的信息提取出来。在信号系统分析里面，任何一个信号其实都可以写成正弦波的线性组合，经过时频变换之后，时域上连续的正弦波信号就可以用一个频率信号数值代替了，生成通道域。在卷积神经网络中，每一张图片初始会由(R，G，B)三通道表示出来，之后经过不同的卷积核之后，每一个通道又会生成新的信号，比如图片特征的每个通道使用64核卷积，就会产生64个新通道的矩阵(H,W,64)，H,W分别表示图片特征的高度和宽度。每个通道的特征其实就表示该图片在不同卷积核上的分量，类似于时频变换，而这里面用卷积核的卷积类似于信号做了傅里叶变换，从而能够将这个特征一个通道的信息给分解成64个卷积核上的信号分量。既然每个信号都可以被分解成核函数上的分量，产生的新的64个通道对于关键信息的贡献肯定有多有少，可以通过给每个通道上的信号都增加一个权重来代表该通道与关键信息的相关度，权重越大，则表示相关度越高。
服务器采用残差网络分别提取特征图数据中的与每个通道域对应的通道权重和每个空间域对应的空间权重。服务器可以使用ResNet-18作为backbone，加入了self-attention机制，将上一层卷积网络提取出来的特征图数据分别通过通道域和空间域，分别提取出每个通道和每个空间重要性权重，即、提取特征图数据中的与每个通道域对应的通道权重和每个空间域对应的空间权重。
步骤306，根据通道权重和空间权重对特征图数据进行加权处理。
服务器根据通道权重和空间权重对特征图数据进行加权处理，将有限的算力集中在重点信息的处理上。
步骤308，采用Instance Normalization对每层残差网络的特征图数据进行归一化，输出与该层残差网络对应的隐向量。
服务器采用Instance Normalization(IN)对每层残差网络的特征图数据进行归一化，输出与该层残差网络对应的隐向量。IN计算归一化统计量时考虑单个样本、单个通道的所有元素。
步骤310，将所有残差网络输出的隐向量汇总到一起，就得到了与待处理图像对应的图像隐向量。
服务器将所有残差网络输出的隐向量汇总到一起，就得到了与待处理图像对应的图像隐向量。
在其中一个实施例中，编码器的训练步骤，包括以下步骤：获取包含不同的样本图片数据的网络训练数据集；采用卷积神经网络对样本图片数据做特征提取，经过残差网络对特征进行转换；将转换后的特征信息输入加权网络进行调整，将调整后的特征信息输入反卷积网络中生成对应的图像数据；根据预期效果与生成的图像数据对卷积网络、加权网络、残差网络进行调整，生成编码器。
服务器可以获取包含不同的样本图片数据的网络训练数据集。服务器采用卷积神经网络对样本图片数据做特征提取，并经过残差网络对特征信息进行转换。服务器将转换后的特征信息输入加权网络进行调整，将调整后的特征信息输入反卷积网络中生成对应的图像数据。服务器再根据预期效果与生成的图像数据对卷积网络、加权网络、残差网络进行调整，生成编码器。调整过程可以通过机器学习算法等实现。
在其中一个实施例中，支持向量机训练模型的训练方法，包括以下步骤：随机生成一批带有隐向量的训练样本图片，并使用预训练的刘海分类器把训练图片分为有刘海标记和无刘海标记两类，将所述训练样本图片的隐向量与所述训练样本图片对应存储为两类；基于所述训练样本图片和所述隐向量作为正负样本训练支持向量机训练模型，所述支持向量机训练模型是一个具有将隐向量分配给有刘海或无刘海的超平面的非概率二元线性分类器；计算所述支持向量机模型超平面的法线，得到刘海生长方向的方向向量。
服务器随机生成一批带有隐向量的训练样本图片，并使用预训练的刘海分类器把训练图片分为有刘海标记和无刘海标记两类，将所述训练样本图片的隐向量与所述训练样本图片对应存储为两类。服务器基于所述训练样本图片和所述隐向量作为正负样本训练支持向量机训练模型，支持向量机训练模型是一个具有将隐向量分配给有刘海或无刘海的超平面的非概率二元线性分类器。训练完成后，服务器计算所述支持向量机模型超平面的法线，得到刘海生长方向的方向向量。
在其中一个实施例中，通过支持向量机训练模型生成与刘海生长方向对应的方向向量，包括以下步骤：支持向量机训练模型将隐向量表示为空间中的点，通过超平面确定训练样本图片从无刘海到有刘海的方向向量；方向向量的形状和图像隐向量保持一致，其中在对刘海有影响的层中，方向向量具有不为零的值，而在对刘海没有影响的层中，方向向量的值为零。
如图4所示，支持向量机训练模型将隐向量表示为空间中的点，通过超平面确定训练样本图片从无刘海到有刘海的方向向量。方向向量的形状和图像隐向量保持一致，其中在对刘海有影响的层中，方向向量具有不为零的值，而在对刘海没有影响的层中，方向向量的值为零。
应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图5所示，提供了一种刘海生成装置，包括：隐向量提取模块502、方向向量生成模块504、编辑模块506和转换模块508，其中：
隐向量提取模块502，用于采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，编码器是神经网络通过残差网络基于自加权机制对样本图像训练得到的。
方向向量生成模块504，用于通过支持向量机训练模型生成与刘海生长方向对应的方向向量。
编辑模块506，用于根据方向向量对图像隐向量进行编辑。
转换模块508，用于对编辑后的图像隐向量进行图片转换，生成具有刘海的人像图像。
在其中一个实施例中，隐向量提取模块包括：
特征提取单元，用于采用编码器的卷积神经网络从待处理图像中提取特征图数据。
权重提取单元，用于采用残差网络分别提取特征图数据中的与每个通道域对应的通道权重和每个空间域对应的空间权重。
加权单元，用于根据通道权重和空间权重对特征图数据进行加权处理。
隐向量输出单元，用于采用Instance Normalization对每层残差网络的特征图数据进行归一化，输出与该层残差网络对应的隐向量。
隐向量生成单元，用于将所有残差网络输出的隐向量汇总到一起，就得到了与待处理图像对应的图像隐向量。
在其中一个实施例中，隐向量提取模块包括：
数据集获取单元，用于获取包含不同的样本图片数据的网络训练数据集。
特征提取转换单元，用于采用卷积神经网络对样本图片数据做特征提取，经过残差网络对特征信息进行转换。
特征调整单元，用于将转换后的特征信息输入加权网络进行调整，将调整后的特征信息输入反卷积网络中生成对应的图像数据。
编码器生成单元，用于根据预期效果与生成的图像数据对卷积网络、加权网络、残差网络进行调整，生成编码器。
在其中一个实施例中，方向向量生成模块包括：
样本图片获取单元，用于随机生成一批带有隐向量的训练样本图片，并使用预训练的刘海分类器把训练图片分为有刘海标记和无刘海标记两类，将所述训练样本图片的隐向量与所述训练样本图片对应存储为两类。
模型训练单元，用于基于所述训练样本图片和所述隐向量作为正负样本训练支持向量机训练模型，所述支持向量机训练模型是一个具有将隐向量分配给有刘海或无刘海的超平面的非概率二元线性分类器。
向量计算单元，用于计算所述支持向量机模型超平面的法线，得到刘海生长方向的方向向量。
在其中一个实施例中，方向向量生成模块包括：
方向向量确定单元，用于支持向量机训练模型将隐向量表示为空间中的点，通过超平面确定训练样本图片从无刘海到有刘海的方向向量。
方向向量生成单元，用于方向向量的形状和图像隐向量保持一致，其中在对刘海有影响的层中，方向向量具有不为零的值，而在对刘海没有影响的层中，方向向量的值为零。
在其中一个实施例中，编辑模块包括：
修改向量生成单元，用于将特定的步长乘上方向向量，得到修改向量。
编辑单元，用于根据修改向量对图像隐向量进行编辑。
关于刘海生成装置的具体限定可以参见上文中对于刘海生成方法的限定，在此不再赘述。上述刘海生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待处理图像、方向向量等刘海生成数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种刘海生成方法。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，编码器是神经网络通过残差网络基于自加权机制对样本图像训练得到的；通过支持向量机训练模型生成与刘海生长方向对应的方向向量；根据方向向量对图像隐向量进行编辑；对编辑后的图像隐向量进行图片转换，生成具有刘海的人像图像。
在一个实施例中，处理器执行计算机程序时实现的采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，包括：采用编码器的卷积神经网络从待处理图像中提取特征图数据；采用残差网络分别提取特征图数据中的与每个通道域对应的通道权重和每个空间域对应的空间权重；根据通道权重和空间权重对特征图数据进行加权处理；采用Instance Normalization对每层残差网络的特征图数据进行归一化，输出与该层残差网络对应的隐向量；将所有残差网络输出的隐向量汇总到一起，就得到了与待处理图像对应的图像隐向量。
在一个实施例中，处理器执行计算机程序时实现的编码器的训练步骤，包括：获取包含不同的样本图片数据的网络训练数据集；采用卷积神经网络对样本图片数据做特征提取，经过残差网络对特征信息进行转换；将转换后的特征信息输入加权网络进行调整，将调整后的特征信息输入反卷积网络中生成对应的图像数据；根据预期效果与生成的图像数据对卷积网络、加权网络、残差网络进行调整，生成编码器。
在一个实施例中，处理器执行计算机程序时实现的支持向量机训练模型的训练方法，包括：随机生成一批带有隐向量的训练样本图片，并使用预训练的刘海分类器把训练图片分为有刘海标记和无刘海标记两类，将所述训练样本图片的隐向量与所述训练样本图片对应存储为两类；基于所述训练样本图片和所述隐向量作为正负样本训练支持向量机训练模型，所述支持向量机训练模型是一个具有将隐向量分配给有刘海或无刘海的超平面的非概率二元线性分类器；计算所述支持向量机模型超平面的法线，得到刘海生长方向的方向向量。
在一个实施例中，处理器执行计算机程序时实现的通过支持向量机训练模型生成与刘海生长方向对应的方向向量，包括：支持向量机训练模型将隐向量表示为空间中的点，通过超平面确定训练样本图片从无刘海到有刘海的方向向量；方向向量的形状和图像隐向量保持一致，其中在对刘海有影响的层中，方向向量具有不为零的值，而在对刘海没有影响的层中，方向向量的值为零。
在一个实施例中，处理器执行计算机程序时实现的根据方向向量对图像隐向量进行编辑，包括：将特定的步长乘上方向向量，得到修改向量；根据修改向量对图像隐向量进行编辑。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，编码器是神经网络通过残差网络基于自加权机制对样本图像训练得到的；通过支持向量机训练模型生成与刘海生长方向对应的方向向量；根据方向向量对图像隐向量进行编辑；对编辑后的图像隐向量进行图片转换，生成具有刘海的人像图像。
在一个实施例中，计算机程序被处理器执行时实现的采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，包括：采用编码器的卷积神经网络从待处理图像中提取特征图数据；采用残差网络分别提取特征图数据中的与每个通道域对应的通道权重和每个空间域对应的空间权重；根据通道权重和空间权重对特征图数据进行加权处理；采用Instance Normalization对每层残差网络的特征图数据进行归一化，输出与该层残差网络对应的隐向量；将所有残差网络输出的隐向量汇总到一起，就得到了与待处理图像对应的图像隐向量。
在一个实施例中，计算机程序被处理器执行时实现的编码器的训练步骤，包括：获取包含不同的样本图片数据的网络训练数据集；采用卷积神经网络对样本图片数据做特征提取，经过残差网络对特征信息进行转换；将转换后的特征信息输入加权网络进行调整，将调整后的特征信息输入反卷积网络中生成对应的图像数据；根据预期效果与生成的图像数据对卷积网络、加权网络、残差网络进行调整，生成编码器。
在一个实施例中，计算机程序被处理器执行时实现的支持向量机训练模型的训练方法，包括：随机生成一批带有隐向量的训练样本图片，并使用预训练的刘海分类器把训练图片分为有刘海标记和无刘海标记两类，将所述训练样本图片的隐向量与所述训练样本图片对应存储为两类；基于所述训练样本图片和所述隐向量作为正负样本训练支持向量机训练模型，所述支持向量机训练模型是一个具有将隐向量分配给有刘海或无刘海的超平面的非概率二元线性分类器；计算所述支持向量机模型超平面的法线，得到刘海生长方向的方向向量。
在一个实施例中，计算机程序被处理器执行时实现的通过支持向量机训练模型生成与刘海生长方向对应的方向向量，包括：支持向量机训练模型将隐向量表示为空间中的点，通过超平面确定训练样本图片从无刘海到有刘海的方向向量；方向向量的形状和图像隐向量保持一致，其中在对刘海有影响的层中，方向向量具有不为零的值，而在对刘海没有影响的层中，方向向量的值为零。
在一个实施例中，计算机程序被处理器执行时实现的根据方向向量对图像隐向量进行编辑，包括：将特定的步长乘上方向向量，得到修改向量；根据修改向量对图像隐向量进行编辑。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (9)
1.一种基于神经网络的刘海生成方法，其特征在于，包括：
采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，所述编码器是神经网络通过残差网络基于自加权机制对样本图像训练得到的；
通过支持向量机训练模型生成与刘海生长方向对应的方向向量；
根据所述方向向量对所述图像隐向量进行编辑；
对编辑后的所述图像隐向量进行图片转换，生成具有刘海的人像图像。
2.根据权利要求1所述的刘海生成方法，其特征在于，所述采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，包括：
采用所述编码器的卷积神经网络从所述待处理图像中提取特征图数据；
采用残差网络分别提取所述特征图数据中的与每个通道域对应的通道权重和每个空间域对应的空间权重；
根据所述通道权重和所述空间权重对所述特征图数据进行加权处理；
采用Instance Normalization对每层所述残差网络的所述特征图数据进行归一化，输出与该层所述残差网络对应的隐向量；
将所有所述残差网络输出的隐向量汇总到一起，就得到了与所述待处理图像对应的图像隐向量。
3.根据权利要求1所述的刘海生成方法，其特征在于，所述编码器的训练步骤，包括：
获取包含不同的样本图片数据的网络训练数据集；
采用卷积神经网络对所述样本图片数据做特征提取，经过残差网络对特征信息进行转换；
将转换后的所述特征信息输入加权网络进行调整，将调整后的所述特征信息输入反卷积网络中生成对应的图像数据；
根据预期效果与生成的所述图像数据对所述卷积网络、加权网络、残差网络进行调整，生成编码器。
4.根据权利要求1所述的刘海生成方法，其特征在于，所述支持向量机训练模型的训练方法，包括：
随机生成一批带有隐向量的训练样本图片，并使用预训练的刘海分类器把训练图片分为有刘海标记和无刘海标记两类，将所述训练样本图片的隐向量与所述训练样本图片对应存储为两类；
基于所述训练样本图片和所述隐向量作为正负样本训练支持向量机训练模型，所述支持向量机训练模型是一个具有将隐向量分配给有刘海或无刘海的超平面的非概率二元线性分类器；
计算所述支持向量机模型超平面的法线，得到刘海生长方向的方向向量。
5.根据权利要求4所述的刘海生成方法，其特征在于，所述通过支持向量机训练模型生成与刘海生长方向对应的方向向量，包括：
所述支持向量机训练模型将隐向量表示为空间中的点，通过所述超平面确定所述训练样本图片从无刘海到有刘海的方向向量；
所述方向向量的形状和所述图像隐向量保持一致，其中在对刘海有影响的层中，方向向量具有不为零的值，而在对刘海没有影响的层中，方向向量的值为零。
6.根据权利要求1所述的刘海生成方法，其特征在于，所述根据所述方向向量对所述图像隐向量进行编辑，包括：
将特定的步长乘上方向向量，得到修改向量；
根据所述修改向量对所述图像隐向量进行编辑。
7.一种刘海生成装置，其特征在于，所述装置包括：
隐向量提取模块，用于采用预先训练的编码器从待处理图像中提取包含图像特征的图像隐向量，所述编码器是神经网络通过残差网络基于自加权机制对样本图像训练得到的；
方向向量生成模块，用于通过支持向量机训练模型生成与刘海生长方向对应的方向向量；
编辑模块，用于根据所述方向向量对所述图像隐向量进行编辑；
转换模块，用于对编辑后的所述图像隐向量进行图片转换，生成具有刘海的人像图像。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110184795.6A CN112862672B (zh) | 2021-02-10 | 2021-02-10 | 刘海生成方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110184795.6A CN112862672B (zh) | 2021-02-10 | 2021-02-10 | 刘海生成方法、装置、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112862672A CN112862672A (zh) | 2021-05-28 |
| CN112862672B true CN112862672B (zh) | 2024-04-16 |
Family
ID=75987973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110184795.6A Active CN112862672B (zh) | 2021-02-10 | 2021-02-10 | 刘海生成方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112862672B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113392791A (zh) * | 2021-06-24 | 2021-09-14 | 厦门美图之家科技有限公司 | 一种皮肤预测处理方法、装置、设备及存储介质 |
| CN113793254B (zh) * | 2021-09-07 | 2024-05-10 | 中山大学 | 人脸图像属性编辑方法、系统、计算机设备及存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678821A (zh) * | 2016-01-12 | 2016-06-15 | 浙江大学 | 一种基于自编码器图像融合的动态pet图像重建方法 |
| CN106980831A (zh) * | 2017-03-17 | 2017-07-25 | 中国人民解放军国防科学技术大学 | 基于自编码器的自亲缘关系识别方法 |
| CN107527318A (zh) * | 2017-07-17 | 2017-12-29 | 复旦大学 | 一种基于生成对抗式网络模型的发型更换方法 |
| CN109389671A (zh) * | 2018-09-25 | 2019-02-26 | 南京大学 | 一种基于多阶段神经网络的单图像三维重建方法 |
| CN109409198A (zh) * | 2018-08-31 | 2019-03-01 | 平安科技（深圳）有限公司 | Au检测模型训练方法、au检测方法、装置、设备及介质 |
| WO2019205318A1 (zh) * | 2018-04-25 | 2019-10-31 | 平安科技（深圳）有限公司 | 舆情信息分类方法、装置、计算机设备和存储介质 |
| CN111652038A (zh) * | 2020-04-13 | 2020-09-11 | 上海海洋大学 | 基于卷积神经网络的遥感的海冰图像分类方法 |
| CN111667342A (zh) * | 2020-06-03 | 2020-09-15 | 南京工业大学 | 一种顾客发型推荐的模型 |
| CN112184876A (zh) * | 2020-09-28 | 2021-01-05 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10672164B2 (en) * | 2017-10-16 | 2020-06-02 | Adobe Inc. | Predicting patch displacement maps using a neural network |
| CN109062937B (zh) * | 2018-06-15 | 2019-11-26 | 北京百度网讯科技有限公司 | 训练描述文本生成模型的方法、生成描述文本的方法及装置 |
-
2021
- 2021-02-10 CN CN202110184795.6A patent/CN112862672B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105678821A (zh) * | 2016-01-12 | 2016-06-15 | 浙江大学 | 一种基于自编码器图像融合的动态pet图像重建方法 |
| CN106980831A (zh) * | 2017-03-17 | 2017-07-25 | 中国人民解放军国防科学技术大学 | 基于自编码器的自亲缘关系识别方法 |
| CN107527318A (zh) * | 2017-07-17 | 2017-12-29 | 复旦大学 | 一种基于生成对抗式网络模型的发型更换方法 |
| WO2019205318A1 (zh) * | 2018-04-25 | 2019-10-31 | 平安科技（深圳）有限公司 | 舆情信息分类方法、装置、计算机设备和存储介质 |
| CN109409198A (zh) * | 2018-08-31 | 2019-03-01 | 平安科技（深圳）有限公司 | Au检测模型训练方法、au检测方法、装置、设备及介质 |
| CN109389671A (zh) * | 2018-09-25 | 2019-02-26 | 南京大学 | 一种基于多阶段神经网络的单图像三维重建方法 |
| CN111652038A (zh) * | 2020-04-13 | 2020-09-11 | 上海海洋大学 | 基于卷积神经网络的遥感的海冰图像分类方法 |
| CN111667342A (zh) * | 2020-06-03 | 2020-09-15 | 南京工业大学 | 一种顾客发型推荐的模型 |
| CN112184876A (zh) * | 2020-09-28 | 2021-01-05 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| "基于神经网络联合学习的文本摘要模型";李晨亮;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20190915;全文 * |
| 多模态深度学习综述;刘建伟;丁熙浩;罗雄麟;;计算机应用研究;20190426(第06期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112862672A (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI779970B (zh) | 圖像處理方法、處理器、電子設備與電腦可讀存儲介質 | |
| CN110457994B (zh) | 人脸图像生成方法及装置、存储介质、计算机设备 | |
| CN110070483B (zh) | 一种基于生成式对抗网络的人像卡通化方法 | |
| CN111325851B (zh) | 图像处理方法及装置、电子设备和计算机可读存储介质 | |
| Pan et al. | Loss functions of generative adversarial networks (GANs): Opportunities and challenges | |
| CN113269872A (zh) | 基于三维人脸重构和视频关键帧优化的合成视频生成方法 | |
| Yang et al. | Adaptive method for nonsmooth nonnegative matrix factorization | |
| CN112862672B (zh) | 刘海生成方法、装置、计算机设备和存储介质 | |
| CN110555896B (zh) | 一种图像生成方法、装置以及存储介质 | |
| CN107845072A (zh) | 图像生成方法、装置、存储介质及终端设备 | |
| US20220101121A1 (en) | Latent-variable generative model with a noise contrastive prior | |
| US20220398697A1 (en) | Score-based generative modeling in latent space | |
| Marin et al. | The effect of latent space dimension on the quality of synthesized human face images | |
| Wadhwani et al. | Controllable image generation with semi-supervised deep learning and deformable-mean-template based geometry-appearance disentanglement | |
| US20220101122A1 (en) | Energy-based variational autoencoders | |
| CN113421185B (zh) | 一种基于StyleGAN的移动端人脸年龄编辑方法 | |
| CN117218300B (zh) | 三维模型的构建方法、三维构建模型的训练方法及装置 | |
| CN115690276A (zh) | 虚拟形象的视频生成方法、装置、计算机设备和存储介质 | |
| US20220101145A1 (en) | Training energy-based variational autoencoders | |
| CN115631285A (zh) | 基于统一驱动的人脸渲染方法、装置、设备及存储介质 | |
| Jia et al. | Face aging with improved invertible conditional GANs | |
| CN113947520A (zh) | 一种基于生成对抗网络实现人脸妆容转换的方法 | |
| Maniyar et al. | Persons facial image synthesis from audio with Generative Adversarial Networks | |
| CN113793254A (zh) | 人脸图像属性编辑方法、系统、计算机设备及存储介质 | |
| Durall et al. | Local facial attribute transfer through inpainting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |