CN115423887B - 一种针对人脸线条图片的参考性上色方法、系统、装置及存储介质 - Google Patents

一种针对人脸线条图片的参考性上色方法、系统、装置及存储介质 Download PDF

Info

Publication number
CN115423887B
CN115423887B CN202210930886.4A CN202210930886A CN115423887B CN 115423887 B CN115423887 B CN 115423887B CN 202210930886 A CN202210930886 A CN 202210930886A CN 115423887 B CN115423887 B CN 115423887B
Authority
CN
China
Prior art keywords
image
feature
line
module
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210930886.4A
Other languages
English (en)
Other versions
CN115423887A (zh
Inventor
刘祎玮
徐舒畅
吴书楷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Lexin Shengwen Technology Co ltd
Original Assignee
Beijing Lexin Shengwen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Lexin Shengwen Technology Co ltd filed Critical Beijing Lexin Shengwen Technology Co ltd
Priority to CN202210930886.4A priority Critical patent/CN115423887B/zh
Publication of CN115423887A publication Critical patent/CN115423887A/zh
Application granted granted Critical
Publication of CN115423887B publication Critical patent/CN115423887B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种针对人脸线条图片的参考性上色方法、系统、装置及存储介质，所述方法步骤包括：图像预处理，接收待处理线条图像和参考彩色图像，将待处理线条图像和参考彩色图像处理为相同尺寸的图像；特征提取，将待处理线条图像输入线条编码器模块，得到线条特征图；将参考彩色图像输入参考编码器模块，得到参考特征图；特征融合，将线条特征图和参考特征图输入到预设的特征融合模块，由特征融合模块的基于ResNet的残差层输出融合特征图；特征解码，将融合特征图输入到预设的解码器模块中，输出目标图片。本方案不需要工作人员付出大量成本，且本申请的上色方式，根据参考彩色图像的风格，对相同的线条图像完成不同风格的上色，提高上色的灵活性。

Description

一种针对人脸线条图片的参考性上色方法、系统、装置及存储 介质
技术领域
本发明涉及游戏娱乐技术领域，尤其涉及一种针对人脸线条图片的参考性上色方法、系统、装置及存储介质。
背景技术
线条图片作为画师、设计师创作的基础，具有重要的价值。
现有技术通常采用人工对线条图片进行手动上色的方法，但是人工手动上色的方法需要耗费大量的人力和时间成本，并且最终效果容易受人为主观因素影响，不能自动、快速地基于线条图片生成具有目标风格的图片，相关工作人员的负担较大，成本较高，生产效率较低。
发明内容
鉴于此，本发明的实施例提供了一种针对人脸线条图片的参考性上色方法，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种针对人脸线条图片的参考性上色方法，所述方法的步骤包括：
图像预处理，接收待处理线条图像和参考彩色图像，将待处理线条图像和参考彩色图像处理为相同尺寸的图像；
特征提取，将待处理线条图像输入预设的线条编码器模块，得到线条特征图；将参考彩色图像输入预设的参考编码器模块，得到参考特征图；
特征融合，将线条特征图和参考特征图输入到预设的特征融合模块，由特征融合模块基于ResNet的残差层输出融合特征图；
特征解码，将所述融合特征图输入到预设的解码器模块中，输出目标图片。
采用上述方案，本方案的神经网络模型包括线条编码器模块、参考编码器模块、特征融合模块和解码器模块，四个模块相互配合，能够快速完成对线条图像的上色，提高处理效率，且不需要工作人员付出大量成本，且本申请的上色方式，根据参考彩色图像的风格，基于特征融合的步骤，可以对相同的线条图像完成不同风格的上色，提高上色的灵活性。
在本发明的一些实施方式中，将待处理线条图像和参考彩色图像处理为相同尺寸的图像的步骤包括，
将待处理线条图像和参考彩色图像处理为预定尺寸的相同大小；
对参考彩色图像进行TPS变形处理。
在本发明的一些实施方式中，所述线条编码器模块和参考编码器模块结构相同，均由多个结构相同的卷积子模块构成，每个卷积子模块均包括卷积层、批量归一化层和激活层。
在本发明的一些实施方式中，所述特征融合模块包括顺序连接的全局均值池化层、Sigmoid激活函数层、自适应实例归一化层、注意力机制层和基于ResNet的残差层。
在本发明的一些实施方式中，在全局均值池化层分别提取线条特征图和参考特征图在每个通道级别的特征，然后将两种特征相加；再经过Sigmoid激活函数层后获得每个通道的权重，将权重通过相乘的方式重新分配到线条特征图和参考特征图上；在自适应实例归一化层，采用AdaIN操作实现两种带权特征在通道上的映射；在注意力机制层利用Criss-cross注意力机制捕捉像素级别的特征；最后通过基于ResNet的残差层获取融合特征图。
在本发明的一些实施方式中，在自适应实例归一化层的处理步骤中，首先将线条特征图的特征值减去线条特征图特征值的均值，然后除以线条特征图特征值的方差，再乘以参考特征图特征值的方差，再加上参考特征图特征值的均值。
在本发明的一些实施方式中，所述方法的神经网络模型包括编码器模块、参考编码器模块、特征融合模块和解码器模块，所述方法的步骤还包括对神经网络模型进行训练，所述训练包括图像上色训练，所述图像上色训练的步骤包括：
获取训练图组，所述训练图组中包括待处理线条图像、参考彩色图像和真实上色图；
将待处理线条图像和参考彩色图像进行上述图像预处理、特征提取、特征融合和特征解码的步骤，得到目标图像，基于目标图像和真实上色图计算第一损失函数，基于第一损失函数值利用反向传播法更新神经网络模型的参数。
在本发明的一些实施方式中，所述训练包括特征对齐训练，所述特征对齐训练的步骤包括：
接收待处理线条图像和参考彩色图像，将待处理线条图像和参考彩色图像处理为相同尺寸的图像，记录进行TPS变形处理后的参考彩色图像和未变形处理的参考彩色图像，将待处理线条图像和进行变形处理后的参考彩色图像作为第一图像组，将待处理线条图像和未变形处理的参考彩色图像作为第二图像组，将第一图像组和第二图像组分别进行特征提取步骤和特征融合步骤，分别得到对应第一图像组和第二图像组的第一融合特征图和第二融合特征图，基于第一融合特征图和第二融合特征图计算第二损失函数，基于第二损失函数值利用反向传播法更新神经网络模型的参数。
本发明的另一方面还提供一种针对人脸线条图片的参考性上色系统，所述系统包括：
图像预处理模块，用于接收待处理线条图像和参考彩色图像，将待处理线条图像和参考彩色图像处理为相同尺寸的图像；
特征提取模块，用于将待处理线条图像输入预设的线条编码器模块，得到线条特征图；将参考彩色图像输入预设的参考编码器模块，得到参考特征图；
特征融合模块，用于将线条特征图和参考特征图输入到预设的特征融合模块，由特征融合模块基于ResNet的残差层输出融合特征图；
特征解码模块，用于将所述融合特征图输入到预设的解码器模块中，输出目标图片。
本发明的另一方面还提供一种针对人脸线条图片的参考性上色装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法所实现的步骤。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1为本发明针对人脸线条图片的参考性上色方法第一种实施方式的示意图；
图2为本发明针对人脸线条图片的参考性上色方法第二种实施方式的示意图；
图3为本发明针对人脸线条图片的参考性上色方法第三种实施方式的示意图；
图4为本发明的神经网络模型的训练示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为解决以上问题，如图1所示，本发明提出一种针对人脸线条图片的参考性上色方法，所述方法的步骤包括：
步骤S100、图像预处理，接收待处理线条图像和参考彩色图像，将待处理线条图像和参考彩色图像处理为相同尺寸的图像；
在本发明的一些实施方式中，将待处理线条图像和参考彩色图像处理为相同的256×256的尺寸。
步骤S200、特征提取，将待处理线条图像输入预设的线条编码器模块，得到线条特征图；将参考彩色图像输入预设的参考编码器模块，得到参考特征图；
在本发明的一些实施方式中，所述线条编码器模块和参考编码器模块输入的待处理线条图像和参考彩色图像均为256×256尺寸的图像，输出的线条特征图和参考特征图均为768通道，大小为16×16的特征图。
步骤S300、特征融合，将线条特征图和参考特征图输入到预设的特征融合模块，由特征融合模块基于ResNet的残差层输出融合特征图；
步骤S400、特征解码，将所述融合特征图输入到预设的解码器模块中，输出目标图片。
在本发明的一些实施方式中，所述解码器模块的输入维度为768×2，输出维度为3。
采用上述方案，本方案的神经网络模型包括线条编码器模块、参考编码器模块、特征融合模块和解码器模块，四个模块相互配合，将参考彩色图像融入到待处理线条图像，得到目标图片能够快速完成对线条图像的上色，提高处理效率，且不需要工作人员付出大量成本，且本申请的上色方式，根据参考彩色图像的风格，基于特征融合的步骤，可以对相同的线条图像完成不同风格的上色，提高上色的灵活性。
在本发明的一些实施方式中，所述线条编码器模块和参考编码器模块结构相同。
在本发明的一些实施方式中，将待处理线条图像和参考彩色图像处理为相同尺寸的图像的步骤包括，
将待处理线条图像和参考彩色图像处理为预定尺寸的相同大小；
对参考彩色图像进行TPS变形处理。
TPS变形处理为利用薄片扭曲形变算法(TPS，Thin Plate Spline)对参考彩色图像进行处理。
在本发明的一些实施方式中，收集的图片为待处理线条图像Il和其对应的参考彩色图像Ir，预处理为256×256的尺寸后，对参考彩色图像Ir做TPS变形处理，获得变形后的参考彩色图像Id。
256×256尺寸即为横纵均为256个像素。
在本发明的一些实施方式中，所述线条编码器模块和参考编码器模块结构相同，均由多个结构相同的卷积子模块构成，每个卷积子模块均包括卷积层、批量归一化层和激活层。
在本发明的一些实施方式中，线条编码器模块和参考编码器模块的第一个卷积子模块输入维度为3，输出维度为64，卷积的步长和填充均为1；第二个卷积子模块输入输出维度均为64，卷积的步长和填充均为1；第三个卷积子模块输入输出维度均为64，卷积的步长为2，填充为1；第四个卷积子模块输入维度为64，输出维度为128，卷积的步长和填充均为1；第五个卷积子模块输入输出维度均为128，卷积的步长为2，填充为1；第六个卷积子模块输入输出维度均为128，卷积的步长和填充均为1；第七个卷积子模块输入输出维度均为128，卷积的步长为2，填充为1；第八个卷积子模块输入输出维度为256，卷积的步长和填充均为1；第九个卷积子模块输入输出维度为256，卷积的步长为2，填充为1；最后一个卷积子模块输入输出维度均为256，卷积的步长和填充均为1。最后一个卷积子模块输出的特征图大小为16×16。线条特征图或参考特征图的通道数为256，大小为16×16。我们将第六、八个卷积模块输出的特征图通过均值池化操作下采样至与最后一个特征图相同大小，按照通道方向进行特征堆叠，获得最终的线条特征图或参考特征图。
线条特征图或参考特征图的通道数为768，大小为16×16。
线条特征图和参考特征图分别可以标记为fl和fr。
在本发明的一些实施方式中，所述特征融合模块包括顺序连接的全局均值池化层、Sigmoid激活函数层、自适应实例归一化层、注意力机制层和基于ResNet的残差层。
在本发明的一些实施方式中，在全局均值池化层分别提取线条特征图和参考特征图在每个通道级别的特征，然后将两种特征相加；再经过Sigmoid激活函数层后获得每个通道的权重，将权重通过相乘的方式重新分配到线条特征图和参考特征图上；在自适应实例归一化层，采用AdaIN操作实现两种带权特征在通道上的映射；在注意力机制层利用Criss-cross注意力机制捕捉像素级别的特征；最后通过基于ResNet的残差层获取融合特征图。
在本发明的一些实施方式中，在自适应实例归一化层的处理步骤中，首先将线条特征图的特征值减去线条特征图特征值的均值，然后除以线条特征图特征值的方差，再乘以参考特征图特征的方差，再加上参考特征图特征值的均值。
在本发明的一些实施方式中，使用解码器模块对融合特征图进行解码，结合线条编码器模块和参考编码器模块不同阶段的特征，获取最终的目标图片；
其中解码器模块同样包括多个卷积子模块，除第三、五、七、九个卷积子模块一开始进行了上采样操作，其余部分的卷积子模块都由3×3的卷积层、批量归一化层、LeakyReLU激活层构成，卷积的步长和填充均为1。
其中，解码器模块的第一个卷积子模块输入维度为768×2，输出维度为256，接受特征融合特征图和线条特征图作为输入；
解码器模块的第二个卷积子模块输入维度为256×2，输出维度为256，接受第一个卷积子模块的输出和线条编码器模块的第九个卷积子模块的输出作为输入；
解码器模块的第三个卷积子模块首先采用上采样的方式将第二个卷积子模块输出特征图的尺寸扩大一倍，然后与线条编码器模块的第八个卷积子模块的输出特征图按照通道方向进行特征堆叠，再进行卷积、批量归一化和激活操作，输出维度为256，输入维度为256×2，其中第二个卷积子模块的输出维度为256，线条编码器模块的第八个卷积子模块的输出维度为256，接受第二个卷积子模块的输出和线条编码器模块的第八个卷积子模块的输出作为输入；
解码器模块的第四个卷积子模块输出维度为128，输入维度为256+128，其中第三个卷积子模块的输出的维度为256，线条编码器模块的第七个卷积子模块的输出维度为128，接受第三个卷积子模块的输出和线条编码器模块的第七个卷积子模块的输出作为输入；
解码器模块的第五个卷积子模块首先采用上采样的方式将第四个卷积子模块输出特征图的尺寸扩大一倍，然后与线条编码器模块的第六个卷积子模块的输出特征图按照通道方向进行特征堆叠，再进行卷积、批量归一化和激活操作，输出维度为128，输入维度为128×2，其中第四个卷积子模块的输出维度为128，线条编码器模块的第六个卷积子模块的输出维度为128，接受第四个卷积子模块的输出和线条编码器模块的第六个卷积子模块的输出作为输入；
解码器模块的第六个卷积子模块输出维度为128，输入维度为128×2，接受第五个卷积子模块的输出和线条编码器模块的第五个卷积子模块的输出作为输入，其中第五个卷积子模块的输出维度为128，线条编码器模块的第五个卷积子模块的输出维度为128；
解码器模块的第七个卷积子模块首先采用上采样的方式将第六个卷积子模块输出特征图扩大一倍，然后与线条编码器模块的第四个卷积子模块的输出特征图按照通道方向进行特征堆叠，再进行卷积、批量归一化和激活操作，输出维度为128，输入维度为128×2，其中第六个卷积子模块的输出维度为128，线条编码器模块的第四个卷积子模块的输出维度为128，接受第六个卷积模块的输出和线条编码器模块的第四个卷积模块的输出作为输入；
解码器模块的第八个卷积子模块输出维度为64，输入维度为128+64，其中第七个卷积子模块的输出维度为128，线条编码器模块的第三个卷积子模块的输出维度为64，接受第七个卷积子模块的输出和线条编码器模块的第三个卷积子模块的输出作为输入；
解码器模块的第九个卷积子模块首先采用上采样的方式将第八个卷积子模块输出特征图的尺寸扩大一倍，然后与线条编码器模块的第二个卷积子模块的输出特征图按照通道方向进行特征堆叠，再进行卷积、批量归一化和激活操作，输出维度为64，输入维度为64×2，其中第八个卷积子模块的输出维度为64，线条编码器模块的第二个卷积子模块的输出维度为64，接受第八个卷积子模块的输出和线条编码器模块的第二个卷积子模块的输出作为输入；
解码器模块的第十个卷积子模块输出维度为64，输入维度为64×2，其中第九个卷积子模块的输出维度为64，线条编码器模块的第一个卷积子模块的输出维度为64，接受第九个卷积子模块的输出和线条编码器模块的第一个卷积子模块的输出作为输入；
解码器模块的最后一个卷积子模块输入维度为64，输出维度为3，接受第十个卷积子模块的输出作为输入。
如图2、3、4所示，在本发明的一些实施方式中，所述方法的神经网络模型包括线条编码器模块、参考编码器模块和解码器模块，所述方法的步骤还包括对神经网络模型进行训练，所述训练包括步骤S011图像上色训练，所述图像上色训练的步骤包括：
获取训练图组，所述训练图组中包括待处理线条图像、参考彩色图像和真实上色图；
将处理线条图像和参考彩色图像进行上述图像预处理、特征提取、特征融合和特征解码的步骤，得到目标图像，基于目标图像和真实上色图计算第一损失函数，基于第一损失函数值利用反向传播法更新神经网络模型的参数。
在本发明的一些实施方式中，所述训练包括步骤S012特征对齐训练，所述特征对齐训练的步骤包括：
接收待处理线条图像和参考彩色图像，将待处理线条图像和参考彩色图像处理为相同尺寸的图像，记录进行TPS变形处理后的参考彩色图像和未TPS变形处理的参考彩色图像，将待处理线条图像和进行TPS变形处理后的参考彩色图像作为第一图像组，将待处理线条图像和未TPS变形处理的参考彩色图像作为第二图像组，将第一图像组和第二图像组分别进行特征提取步骤和特征融合步骤，分别得到对应第一图像组和第二图像组的第一融合特征图和第二融合特征图，基于第一融合特征图和第二融合特征图进行特征对齐，计算第二损失函数，基于第二损失函数值利用反向传播法更新神经网络模型的参数。
在本发明的一些实施方式中，所述第二损失函数为第一融合特征图与第二融合特征图之差的绝对值。
第一融合特征图与第二融合特征图之差可以为第一融合特征图与第二融合特征图中每个位置的像素点的像素值之差的和。
图3、4中的特征对齐即为特征对齐训练的步骤。
在本发明的一些实施方式中，所述第一损失函数可以为对抗损失函数、感知损失函数和重建损失函数等的组合。
在本发明的一些实施方式中，本方案的训练步骤还包括构建包括待处理线条图像、参考彩色图像和真实上色图的数据集。
在本发明的一些实施方式中，本方案生成器的学习率设置为10-4，判别器学习率设置为2×10-4，优化器选用ADAM，其中参数β1＝0.5、β2＝0.999。
本发明能够在给定人脸参考图的情况下，对人脸线条图片实现快速地自动上色功能，有效缓解了人工上色速度慢、结果多样性差的问题，在图像生成、创作等领域具有较好的应用前景。通过数据预处理模块构建数据集；利用特征提取模块分别提取线条图片和参考图片的特征；使用特征融合模块实现线条特征和参考特征的融合；利用解码模块生成最终的目标图片；采用特征对齐机制实现不同参考特征的对齐；根据损失函数对模型进行训练优化；最后通过实际案例对模型进行测试。本发明能够在人脸线条图片的基础上，结合参考图片，实现自动化的上色功能，有效减轻了相关工作人员的负担，提升了生产效率。
本发明的另一方面还提供一种针对人脸线条图片的参考性上色系统，所述系统包括：
图像预处理模块，用于接收待处理线条图像和参考彩色图像，将待处理线条图像和参考彩色图像处理为相同尺寸的图像；
特征提取模块，用于将待处理线条图像输入预设的线条编码器模块，得到线条特征图；将参考彩色图像输入预设的参考编码器模块，得到参考特征图；
特征融合模块，用于将线条特征图和参考特征图输入到预设的特征融合模块，由特征融合模块基于ResNet的残差层输出融合特征图；
特征解码模块，用于将所述融合特征图输入到预设的解码器模块中，输出目标图片。
采用上述方案，本发明在线条图片的基础上，实现了高效的自动参考性上色功能，有效降低了人力资源成本，提升了生产的效率。同时，该方法可以迁移至其他数据集进行训练，具有较大的潜在应用价值。
本发明的另一方面还提供一种针对人脸线条图片的参考性上色装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法所实现的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述针对人脸线条图片的参考性上色方法所实现的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种针对人脸线条图片的参考性上色方法，其特征在于，所述方法的步骤包括：
图像预处理，接收待处理线条图像和参考彩色图像，将待处理线条图像和参考彩色图像处理为相同尺寸的图像；
特征提取，将待处理线条图像输入预设的线条编码器模块，得到线条特征图；将参考彩色图像输入预设的参考编码器模块，得到参考特征图；
特征融合，将线条特征图和参考特征图输入到预设的特征融合模块，由特征融合模块基于ResNet的残差层输出融合特征图；
特征解码，将所述融合特征图输入到预设的解码器模块中，输出目标图片；
所述方法的神经网络模型包括编码器模块、参考编码器模块、特征融合模块和解码器模块，所述方法的步骤还包括对神经网络模型进行训练，所述训练包括特征对齐训练，所述特征对齐训练的步骤包括：接收待处理线条图像和参考彩色图像，将待处理线条图像和参考彩色图像处理为相同尺寸的图像，记录进行TPS变形处理后的参考彩色图像和未TPS变形处理的参考彩色图像，将待处理线条图像和进行TPS变形处理后的参考彩色图像作为第一图像组，将待处理线条图像和未TPS变形处理的参考彩色图像作为第二图像组，将第一图像组和第二图像组分别进行特征提取步骤和特征融合步骤，分别得到对应第一图像组和第二图像组的第一融合特征图和第二融合特征图，基于第一融合特征图和第二融合特征图计算第二损失函数，基于第二损失函数值利用反向传播法更新神经网络模型的参数。
2.根据权利要求1所述的针对人脸线条图片的参考性上色方法，其特征在于，将待处理线条图像和参考彩色图像处理为相同尺寸的图像的步骤包括，
将待处理线条图像和参考彩色图像处理为预定尺寸的相同大小；
对参考彩色图像进行TPS变形处理。
3.根据权利要求1所述的针对人脸线条图片的参考性上色方法，其特征在于，所述线条编码器模块和参考编码器模块结构相同，均由多个结构相同的卷积子模块构成，每个卷积子模块均包括卷积层、批量归一化层和激活层。
4.根据权利要求1所述的针对人脸线条图片的参考性上色方法，其特征在于，所述特征融合模块包括顺序连接的全局均值池化层、Sigmoid激活函数层、自适应实例归一化层、注意力机制层和基于ResNet的残差层。
5.根据权利要求4所述的针对人脸线条图片的参考性上色方法，其特征在于，在自适应实例归一化层的处理步骤中，首先将线条特征图的特征值减去线条特征图特征值的均值，然后除以线条特征图特征值的方差，再乘以参考特征图特征值的方差，再加上参考特征图特征值的均值。
6.根据权利要求1-5任一项所述的针对人脸线条图片的参考性上色方法，其特征在于，所述训练包括图像上色训练，所述图像上色训练的步骤包括：
获取训练图组，所述训练图组中包括待处理线条图像、参考彩色图像和真实上色图；
将待处理线条图像和参考彩色图像进行上述图像预处理、特征提取、特征融合和特征解码的步骤，得到目标图像，基于目标图像和真实上色图计算第一损失函数，基于第一损失函数值利用反向传播法更新神经网络模型的参数。
7.一种针对人脸线条图片的参考性上色系统，其特征在于，所述系统包括：
图像预处理模块，用于接收待处理线条图像和参考彩色图像，将待处理线条图像和参考彩色图像处理为相同尺寸的图像；
特征提取模块，用于将待处理线条图像输入预设的线条编码器模块，得到线条特征图；将参考彩色图像输入预设的参考编码器模块，得到参考特征图；
特征融合模块，用于将线条特征图和参考特征图输入到预设的特征融合模块，由特征融合模块基于ResNet的残差层输出融合特征图；
特征解码模块，用于将所述融合特征图输入到预设的解码器模块中，输出目标图片。
8.一种针对人脸线条图片的参考性上色装置，其特征在于，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1-6任一项所述方法所实现的步骤。
9.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时以实现如权利要求1-6任一项所述方法所实现的步骤。
CN202210930886.4A 2022-08-04 2022-08-04 一种针对人脸线条图片的参考性上色方法、系统、装置及存储介质 Active CN115423887B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210930886.4A CN115423887B (zh) 2022-08-04 2022-08-04 一种针对人脸线条图片的参考性上色方法、系统、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210930886.4A CN115423887B (zh) 2022-08-04 2022-08-04 一种针对人脸线条图片的参考性上色方法、系统、装置及存储介质

Publications (2)

Publication Number Publication Date
CN115423887A CN115423887A (zh) 2022-12-02
CN115423887B true CN115423887B (zh) 2023-05-23

Family

ID=84195690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210930886.4A Active CN115423887B (zh) 2022-08-04 2022-08-04 一种针对人脸线条图片的参考性上色方法、系统、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115423887B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330956B (zh) * 2017-07-03 2020-08-07 广东工业大学 一种漫画手绘图无监督上色方法及装置
US20220237905A1 (en) * 2019-05-28 2022-07-28 Toyota Motor Europe Method and system for training a model for image generation
CN111145306A (zh) * 2019-12-25 2020-05-12 北京奇艺世纪科技有限公司 图片处理方法及装置、电子设备和计算机可读存储介质
CN111784565B (zh) * 2020-07-01 2021-10-29 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN112767507B (zh) * 2021-01-15 2022-11-18 大连理工大学 基于动态记忆模块和生成对抗网络的动漫草图上色方法
JP2022111704A (ja) * 2021-01-20 2022-08-01 キヤノン株式会社 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム
CN113537246B (zh) * 2021-08-12 2024-07-12 浙江大学 一种基于对抗学习的灰度图像同时上色超分方法

Also Published As

Publication number Publication date
CN115423887A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
WO2022267641A1 (zh) 一种基于循环生成对抗网络的图像去雾方法及系统
CN110163827B (zh) 图像去噪模型的训练方法、图像去噪方法、装置及介质
CN109389555B (zh) 一种全景图像拼接方法及装置
Liu et al. Exploit camera raw data for video super-resolution via hidden markov model inference
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
CN102378978A (zh) 变换的快速和存储有效实现的方法
CN113436076B (zh) 逐步融合特征的图像超分辨率重建方法及电子设备
CN112801904B (zh) 一种基于卷积神经网络的混合退化图像增强方法
CN110992244B (zh) 带有摩尔纹的图片生成方法、系统、设备和存储介质
CN111951172A (zh) 一种图像优化方法、装置、设备和存储介质
Guan et al. Srdgan: learning the noise prior for super resolution with dual generative adversarial networks
CN110378250B (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN115147426B (zh) 基于半监督学习的模型训练与图像分割方法和系统
CN115393191A (zh) 一种轻量级遥感图像超分辨率重建方法、装置及设备
CN114926336A (zh) 视频超分辨率重建方法、装置、计算机设备及存储介质
CN116152128A (zh) 基于注意力机制的高动态范围多曝光图像融合模型及方法
CN109993701B (zh) 一种基于金字塔结构的深度图超分辨率重建的方法
Zhou et al. RecDiffusion: Rectangling for Image Stitching with Diffusion Models
CN113706400A (zh) 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
CN115423887B (zh) 一种针对人脸线条图片的参考性上色方法、系统、装置及存储介质
US20230060988A1 (en) Image processing device and method
CN108898557B (zh) 图像恢复方法及装置、电子设备、计算机程序及存储介质
CN113538231B (zh) 一种基于像素分布估计的单张图像超分辨重建系统及方法
CN115330930A (zh) 基于稀疏到稠密特征匹配网络的三维重建方法和系统
CN115222606A (zh) 图像处理方法、装置、计算机可读介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Liu Daiwei

Inventor after: Xu Shuchang

Inventor after: Wu Shukai

Inventor before: Liu Daiwei

Inventor before: Xu Shuchang

GR01 Patent grant
GR01 Patent grant