CN113111791A - 图像滤镜转换网络训练方法、计算机可读存储介质 - Google Patents

图像滤镜转换网络训练方法、计算机可读存储介质 Download PDF

Info

Publication number
CN113111791A
CN113111791A CN202110409133.4A CN202110409133A CN113111791A CN 113111791 A CN113111791 A CN 113111791A CN 202110409133 A CN202110409133 A CN 202110409133A CN 113111791 A CN113111791 A CN 113111791A
Authority
CN
China
Prior art keywords
image
network
conversion
filter conversion
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110409133.4A
Other languages
English (en)
Other versions
CN113111791B (zh
Inventor
张清源
王昊然
尹露露
张华�
于波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Geling Institute Of Artificial Intelligence And Robotics
Shenzhen Geling Institute Of Artificial Intelligence And Robotics Co ltd
Original Assignee
Shenzhen Geling Institute Of Artificial Intelligence And Robotics
Shenzhen Geling Institute Of Artificial Intelligence And Robotics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Geling Institute Of Artificial Intelligence And Robotics, Shenzhen Geling Institute Of Artificial Intelligence And Robotics Co ltd filed Critical Shenzhen Geling Institute Of Artificial Intelligence And Robotics
Priority to CN202110409133.4A priority Critical patent/CN113111791B/zh
Publication of CN113111791A publication Critical patent/CN113111791A/zh
Application granted granted Critical
Publication of CN113111791B publication Critical patent/CN113111791B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像滤镜转换网络训练方法、计算机可读存储介质。本申请的图像滤镜转换网络训练方法包括：获取第一预设神经网络、第二预设神经网络；对所述第一预设神经网络进行目标风格训练得到目标风格生成网络，对所述第二预设神经网络进行真人图像训练得到真人图像转换网络；将所述目标风格生成网络、所述真人图像转换网络进行插值混合，得到图像滤镜转换模型。本申请所提供的方法通过图像滤镜转换模型对真人图像进行图像滤镜转换，能够生成相应风格并保留人物个人特色的图像。

Description

图像滤镜转换网络训练方法、计算机可读存储介质
技术领域
本申请涉及计算机图像处理技术领域，尤其涉及一种图像滤镜转换网络训练方法、计算机可读存储介质。
背景技术
在相关技术中，通过对图像中的人脸关键点进行识别，根据人脸关键点的位置将风格贴纸图像贴附于对应的位置，以对图像进行风格转换。
例如，对图像进行卡通风格风格转换，一般通过将卡通图像对应的眼睛、鼻子、嘴唇贴附于真人图像中的对应五官上。然而，上述方法使得风格转换后的图像相似度较高。
发明内容
本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提出一种图像滤镜转换网络训练方法、计算机可读存储介质。本申请所提供的图像滤镜转换网络训练方法，可通过图像滤镜转换模型对真人图像进行图像滤镜转换，能够生成相应风格并保留人物个人特色的图像。
本申请实施例第一方面提供一种图像滤镜转换网络训练方法，包括：获取第一预设神经网络、第二预设神经网络；对所述第一预设神经网络进行目标风格训练得到目标风格生成网络，对所述第二预设神经网络进行真人图像训练得到真人图像转换网络；将所述目标风格生成网络、所述真人图像转换网络进行插值混合，得到图像滤镜转换模型。
本申请实施例中图像滤镜转换网络训练方法包括如下技术效果：根据上述方法所训练得到的图像滤镜转换模型将真人图像作为原始数据进行转换，在转换的过程中交错进行，以进行图像滤镜转换。通过图像滤镜转换模型对真人进行图像滤镜转换能够生成相应风格并保留人物个人特色的图像。
在一些实施例中，所述第一预设神经网络和\或所述第二预设神经网络，包括：解码网络；所述解码网络，包括：正则化系数生成网络，用于根据初始潜码生成正则化系数；噪声数据生成网络，用于根据与信道相对应的噪声系数、随机噪声生成噪声数据；综合网络，用于根据预设常量、所述正则化系数、所述噪声数据生成目标图像。
在一些实施例中，所述正则化系数生成网络，包括：归一化单元，用于对所述初始潜码进行归一化处理得到归一化潜码；全链接层，用于对所述归一化潜码进行非线性变换得到潜码系数；仿射变换单元，用于对所述潜码系数进行仿射变换得到所述正则化系数。
在一些实施例中，所述综合网络，包括：第一综合子网络、第二综合子网络；所述第一综合子网络，用于根据所述预设常量、所述噪声数据、所述正则化系数进行卷积处理及正则化处理，并输出目标子图像；所述第二综合子网络，用于根据所述目标子图像、所述噪声数据、所述正则化系数进行上采样处理、卷积处理及正则化处理，并输出所述目标图像。
在一些实施例中，所述第二预设神经网络，还包括：图像数据转化网络，用于初始图像进行数据多维度转化，并将得到的数据作为所述解码网络的输入；所述图像数据转化网络，包括：残差网络，用于对所述初始图像进行特征提取，以得到与不同维度对应的多维度图像；转化卷积层，用于将所述多维度图像转换潜码。
在一些实施例中，所述对所述第一预设神经网络进行目标风格训练得到目标风格生成网络，包括：将随机噪声输入至所述第一预设神经网络，并输出风格图像；根据第一辨别器对所述风格图像、与所述风格图像对应的参照图像进行辨别，得到第一辨别结果；根据所述第一辨别结果对所述第一预设神经网络进行参数迭代修正，得到所述目标风格生成网络。
在一些实施例中，所述对所述第二预设神经网络进行真人图像训练得到真人图像转换网络，包括：将所述初始图像输入至所述第二预设神经网络，并输出真人图像；根据第二辨别器对所述真人图像、与所述真人图像对应的参照图像进行辨别，得到第二辨别结果；根据所述第二辨别结果对所述第二预设神经网络进行参数迭代修正，得到所述真人图像转换网络。
在一些实施例中，所述图像滤镜转换网络训练方法，还包括：将所述初始图像输入至图像滤镜转换模型，并输出滤镜转换图像；根据第三辨别器对所述滤镜转换图像、与所述滤镜转换图像对应的参照图像进行辨别，得到第三辨别结果；根据所述第三辨别结果对所述图像滤镜转换模型进行参数迭代修正；其中，所述第三辨别器用于对与所述滤镜转换图像对应的五官图像进行对应辨别。
在一些实施例中，所述将所述目标风格生成网络、所述真人图像转换网络进行插值混合，得到图像滤镜转换模型，包括：所述图像滤镜转换模型表达为：αf(x)+βg(x)；其中，f(x)为所述目标风格生成网络，α为所述目标风格生成网络的系数；g(x)为所述真人图像转换网络，β为所述真人图像转换网络的系数，α介于0.5至0.7之间。
本申请实施例第二方面提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：执行上述任一实施例中的图像滤镜转换网络训练方法。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显。
附图说明
下面结合附图和实施例对本申请做进一步的说明，其中：
图1为本申请一实施例一种图像滤镜转换网络训练方法的流程图；
图2为本申请又一实施例的解码网络的结构框图；
图3为本申请一实施例的图像滤镜转换网络训练方法的的流程图；
图4为本申请再一实施例的图像滤镜转换网络训练方法的的流程图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
在本申请的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本申请的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在相关技术中，对图像进行卡通风格风格转换，一般通过将卡通图像对应的眼睛、鼻子、嘴唇贴附于真人图像中的对应五官上。然而，上述方法使得风格转换后的图像相似度较高。
请参照图1，基于上述问题本申请提供一种图像滤镜转换网络训练方法，通过所提供的方法本申请提供一种图像滤镜转换网络训练方法，包括：步骤S100、获取第一预设神经网络、第二预设神经网络；步骤S200、对第一预设神经网络进行目标风格训练得到目标风格生成网络，对第二预设神经网络进行真人图像训练得到真人图像转换网络；步骤S300、将目标风格生成网络、真人图像转换网络进行插值混合，得到图像滤镜转换模型。
根据对应的训练集对第一预设神经网络、第二预设神经网络进行训练，以得到目标风格生成网络、真人图像转换网络。通过对目标风格生成网络、真人图像转换网络进行插值混合，以得到图像滤镜转换模型。
其中，目标风格生成网络中目标风格包括卡通图像、日本动漫，通过对目标风格生成网络的训练数据集进行替换，以使得训练得到的目标风格生成网络更加贴合于目标风格。
通过上述方法所训练得到的图像滤镜转换模型在接收真人图像后，对真人图像进行目标风格图像生成、真人图像生成并得到对应的目标风格图像、二次真人图像。由于对目标风格生成网络、真人图像转换网络进行插值混合，使得所生成的目标风格图像、二次真人图像在生成过程中，目标风格图像、二次真人图像相互混合，以实现对应真人图像进行图像滤镜转换，并得到目标滤镜状态的真人图像。
由于根据上述方法所训练得到的图像滤镜转换模型将真人图像作为原始数据进行转换，在转换的过程中交错进行，以进行图像滤镜转换。通过图像滤镜转换模型对真人进行图像滤镜转换能够生成相应风格并保留人物个人特色的图像。
此外，上述图像滤镜转换模型不需要根据人脸关键点的位置将风格贴纸图像贴附于对应的位置，能够使得人物与风格最大程度融合的同时，降低不同真人图像进行图像滤镜转换后的相似度。
请参照图2，在一些实施例中，第一预设神经网络和\或第二预设神经网络，包括：解码网络；解码网络，包括：正则化系数生成网络，用于根据初始潜码生成正则化系数；噪声数据生成网络，用于根据与信道相对应的噪声系数、随机噪声生成噪声数据；综合网络，用于根据预设常量、正则化系数、噪声数据生成目标图像。
可以理解地，第一预设神经网络和\第二预设神经网络均包括有解码网络，即训练后生成的目标风格生成网络、真人图像转换网络均包括有解码网络。
正则化系数生成网络根据输入的真人图像中的所对应的潜码生成正则化系数，噪声数据生成网络根据真人图像中的所对应噪声、与信道相对应的噪声系数输出噪声数据，并输送至对应的信道中。
综合网络根据预设常量、正则化系数生成网络所生成的正则化系数、噪声数据生成网络所生成的噪声数据生成目标图像生成目标图像。
在第一预设神经网络中，综合网络生成的是目标风格图像；在第二预设神经网络中，综合网络生成的是二次真人图像。
在一些实施例中，正则化系数生成网络，包括：归一化单元，用于对初始潜码进行归一化处理得到归一化潜码；全链接层，用于对归一化潜码进行非线性变换得到潜码系数；仿射变换单元，用于对潜码系数进行仿射变换得到正则化系数。
在第一预设神经网络和\第二预设神经网络中，将初始潜码输出至归一化单元中，初始潜码被进行归一化处理后得到归一化潜码，并作为全链接层的输入。全链接层对输入的归一化潜码进行非线性变换得到潜码系数，并将得到的潜码系数作为仿射变换单元的输入。
仿射变换单元对潜码系数进行仿射变换得到正则化系数，并将正则化系数输入值中对应的信道中。其中，8个全链接层相互连接，以对归一化潜码进行非线性变换得到潜码系数。
在一些实施例中，综合网络，包括：第一综合子网络、第二综合子网络；第一综合子网络，用于根据预设常量、噪声数据、正则化系数进行卷积处理及正则化处理，并输出目标子图像；第二综合子网络，用于根据目标子图像、噪声系数、正则化系数进行上采样处理、卷积处理及正则化处理，并输出目标图像。
第一综合子网络包括一个预设常量单元、一个正则化系数单元、一个卷积单元、一个正则化系数单元交替连接。
预设常量单元将常量设定为4*4*512维的常量，卷积单元的卷积核大小为3*3。根据正则化系数对噪声系数进行处理后进行卷积处理，并根据对应据正则化系数对卷积处理的结果进行处理，将对应的结果输入至第二综合子网络。
第二综合子网络由一个上采样单元、一个卷积单元、一个正则化系数单元、一个卷积单元、一个正则化系数单元依次连接构成。上采样单元对第二综合子网络的输入进行上采样处理，并通过卷积单元对上采样处理得到的结果进行卷积处理。通过正则化系数单元、卷积单元、正则化系数单元对输出结果进行依次处理，并输出目标图像。
其中，每一个正则化系数单元的正则化系数由正则化系数生成网络根据初始潜码生成，每一个正则化系数单元均输入一个对应的噪声系数。且第一综合子网络的输出大小为4*4，第二综合子网络的输出大小为8*8。
在一些实施例中，第二预设神经网络，还包括：图像数据转化网络，用于初始图像进行数据多维度转化，并将得到的数据作为解码网络的输入；图像数据转化网络，包括：残差网络，用于对输入图像进行特征提取，以得到与不同维度对应的多维度图像；转化卷积层，用于将多维度图像转换潜码。
可以理解地，第二预设神经网络由编码网络、解码网络构成，编码网络包括图像数据转化网络，用于将初始图像进行数据多维度转化，并将得到的潜码，以作为解码网络的输入。
图像数据转化网络，包括：残差网络，用于对输入图像进行特征提取，以得到与不同维度对应的多维度图像；转化卷积层，用于将多维度图像转换潜码。转化卷积层的卷积核大小依次为8*8*512、4*4*512、2*2*512、1*1*512。
通过图像数据转化网络将输入的初始图像(真人图像)转换为潜码，并作为第二预设神经网络中解码网络的输入。
请参照图3，在一些实施例中，步骤S200中的对第一预设神经网络进行目标风格训练得到目标风格生成网络，包括：步骤S210、将随机噪声输入至第一预设神经网络，并输出风格图像；步骤S220、根据第一辨别器对风格图像、与风格图像对应的参照图像进行辨别，得到第一辨别结果；步骤S230、根据第一辨别结果对第一预设神经网络进行参数迭代修正，得到目标风格生成网络。
基于生成对抗网络的方式对第一预设神经网络进行训练，将随机噪声输入至第一预设神经网络，并输出风格图像。可以理解地，第一预设神经网络根据随机噪声生成的风格图像为模拟图像，而与风格图像对应的参照图像为真实图像。将风格图像、与风格图像对应的参照图像作为第一辨别器的输入，第一辨别器对输入的图像进行辨别，并输出该输入图像为真实卡通图像的概率。
在训练过程中，通过第一预设神经网络中调节参数，以提高输入图像为真实卡通图像的概率。即第一预设神经网络、第一辨别器构成了一个对抗网络(GAN)，即动态的“博弈过程”。
其中，对抗网络(GAN)函数原理如下：第一辨别器(辨别网络D)最大概率地将训练样本辨别到正确的标签(即最大化log(1-D(G(z)))和(log D(x))。第一预设神经网络最小化log(1–
D(G(z)))，可以理解地，第一预设神经网络最大化第一辨别器(辨别网络D)的损失，对参照图像的一方进行固定，并对第一预设神经网络络的参数进行交替迭代，以使得第一辨别器的损失或者错误最大化。
例如，输入一个512维的潜码至正则化系数生成网络中，并通过全链接层对归一化处理后得到的归一化潜码进行非线性变换，以得到参数w。通过仿射变换单元对参数w进行仿射变换，以得到综合网络中每层网络(AdaIN函数)所需要的正则化系数。
其中，正则化系数包括ys,i、yb,i。正则化系数的数量于每一层神经网络的信道相同。
AdaIN函数，具体为：
Figure BDA0003023458720000071
且噪声数据生成网络中包括有与每个信道相对应的噪声系数。由于第一预设网络的每一个卷积单元(卷积层)的数据均被归一化处理，并由正则化系数生成网络中正则化系数ys,i、yb,i控制，故第一预设网络所输出的图像仅由所输出的潜码决定。
请参照图4，在一些实施例中，步骤S200中的对第二预设神经网络进行真人图像训练得到真人图像转换网络，包括：步骤S240、将初始图像输入至第二预设神经网络，并输出真人图像；步骤S250、根据第二辨别器对真人图像、与真人图像对应的参照图像进行辨别，得到第二辨别结果；步骤S260、根据第二辨别结果对第二预设神经网络进行参数迭代修正，得到真人图像转换网络。
由于第二预设神经网络包括解码网络、编码网络，编码网络用于将输入的真人图像进行转换，以转换为相对应的潜码，并作为解码网络的输入。
其中，第二预设神经网络与第一预设神经网络的解码网络结构相同。通过将真人图像、与真人图像对应的参照图像作为第二辨别器的输入，根据第二辨别结果对第二预设神经网络进行参数迭代修正，以使得第二预设神经网络所输出图像被判断为非真人图像的概率最大化，并对最终的参数进行保存，以得到真人图像转换网络。
通过对目标风格生成网络中除了风格层(正则化系数生成网络)之外的部分与真人图像转换网络的相应部分进行插值混合，以构建图像滤镜转换模型。
其中，图像滤镜转换模型的数学表达式为：αf(x)+βg(x)，f(x)为目标风格生成网络，g(x)为真人图像转换网络；α为目标风格生成网络的系数，β为真人图像转换网络的系数。
通过设置目标风格生成网络的系数、真人图像转换网络的系数以对真人图像转换网络的图像转换效果进行调节，以得到不同的效果。
在一些实施例中，图像滤镜转换网络训练方法，还包括：将初始图像输入至图像滤镜转换模型，并输出滤镜转换图像；根据第三辨别器对滤镜转换图像、与滤镜转换图像对应的参照图像进行辨别，得到第三辨别结果；根据第三辨别结果对图像滤镜转换模型进行参数迭代修正；其中，第三辨别器用于对滤镜转换图像的五官进行对应辨别。
对图像滤镜转换模型所输出的滤镜转换图像中五官中不同部分的图像进行截取，并将截取到的不同部分的图像输入至第三辨别器中，以进行二次识别。其中，第三辨别结果用于指向滤镜转换图像与风格图像的相似度更高。根据第三辨别结果对图像滤镜转换模型进行参数迭代修正，以降低滤镜转换图像与初始图像的相似度，并提高初始图像与风格图像的相似度。
在一些实施例中，将目标风格生成网络、真人图像转换网络进行插值混合，得到图像滤镜转换模型，包括：图像滤镜转换模型表达为：αf(x)+βg(x)；其中，f(x)为目标风格生成网络，α为目标风格生成网络的系数；g(x)为真人图像转换网络，β为真人图像转换网络的系数，α介于0.5至0.7之间。
通过将目标风格生成网络、真人图像转换网络进行插值混合，并将目标风格生成网络的系数设置为介于0.5至0.7之间，以使得滤镜转换图像与风格图像的相似度达到预设要求的同时，避免图像整体色调不自然，滤镜转换图像人物五官与初始图像的五官不太一致。
本申请还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于：执行上述任一实施例中的图像滤镜转换网络训练方法。
上面结合附图对本申请实施例作了详细说明，但是本申请不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本申请宗旨的前提下作出各种变化。此外，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

Claims (10)

1.图像滤镜转换网络训练方法，其特征在于，包括：
获取第一预设神经网络、第二预设神经网络；
对所述第一预设神经网络进行目标风格训练得到目标风格生成网络，对所述第二预设神经网络进行真人图像训练得到真人图像转换网络；
将所述目标风格生成网络、所述真人图像转换网络进行插值混合，得到图像滤镜转换模型。
2.根据权利要求1所述的图像滤镜转换网络训练方法，其特征在于，所述第一预设神经网络和\或所述第二预设神经网络，包括：解码网络；
所述解码网络，包括：
正则化系数生成网络，用于根据初始潜码生成正则化系数；
噪声数据生成网络，用于根据与信道相对应的噪声系数、随机噪声生成噪声数据；
综合网络，用于根据预设常量、所述正则化系数、所述噪声数据生成目标图像。
3.根据权利要求2所述的图像滤镜转换网络训练方法，其特征在于，所述正则化系数生成网络，包括：
归一化单元，用于对所述初始潜码进行归一化处理得到归一化潜码；
全链接层，用于对所述归一化潜码进行非线性变换得到潜码系数；
仿射变换单元，用于对所述潜码系数进行仿射变换得到所述正则化系数。
4.根据权利要求3所述的图像滤镜转换网络训练方法，其特征在于，所述综合网络，包括：第一综合子网络、第二综合子网络；
所述第一综合子网络，用于根据所述预设常量、所述噪声数据、所述正则化系数进行卷积处理及正则化处理，并输出目标子图像；
所述第二综合子网络，用于根据所述目标子图像、所述噪声数据、所述正则化系数进行上采样处理、卷积处理及正则化处理，并输出所述目标图像。
5.根据权利要求2所述的图像滤镜转换网络训练方法，其特征在于，所述第二预设神经网络，还包括：
图像数据转化网络，用于初始图像进行数据多维度转化，并将得到的数据作为所述解码网络的输入；
所述图像数据转化网络，包括：残差网络，用于对所述初始图像进行特征提取，以得到与不同维度对应的多维度图像；
转化卷积层，用于将所述多维度图像转换潜码。
6.根据权利要求5所述的图像滤镜转换网络训练方法，其特征在于，所述对所述第一预设神经网络进行目标风格训练得到目标风格生成网络，包括：
将随机噪声输入至所述第一预设神经网络，并输出风格图像；
根据第一辨别器对所述风格图像、与所述风格图像对应的参照图像进行辨别，得到第一辨别结果；
根据所述第一辨别结果对所述第一预设神经网络进行参数迭代修正，得到所述目标风格生成网络。
7.根据权利要求6所述的图像滤镜转换网络训练方法，其特征在于，所述对所述第二预设神经网络进行真人图像训练得到真人图像转换网络，包括：
将所述初始图像输入至所述第二预设神经网络，并输出真人图像；
根据第二辨别器对所述真人图像、与所述真人图像对应的参照图像进行辨别，得到第二辨别结果；
根据所述第二辨别结果对所述第二预设神经网络进行参数迭代修正，得到所述真人图像转换网络。
8.根据权利要求7所述的图像滤镜转换网络训练方法，其特征在于，所述图像滤镜转换网络训练方法，还包括：
将所述初始图像输入至图像滤镜转换模型，并输出滤镜转换图像；
根据第三辨别器对所述滤镜转换图像、与所述滤镜转换图像对应的参照图像进行辨别，得到第三辨别结果；
根据所述第三辨别结果对所述图像滤镜转换模型进行参数迭代修正；
其中，所述第三辨别器用于对与所述滤镜转换图像对应的五官图像进行对应辨别。
9.根据权利要求1所述的图像滤镜转换网络训练方法，其特征在于，所述将所述目标风格生成网络、所述真人图像转换网络进行插值混合，得到图像滤镜转换模型，包括：
所述图像滤镜转换模型表达为：αf(x)+βg(x)；
其中，f(x)为所述目标风格生成网络，α为所述目标风格生成网络的系数；g(x)为所述真人图像转换网络，β为所述真人图像转换网络的系数，α介于0.5至0.7之间。
10.计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：执行权利要求1至9中任一项所述的图像滤镜转换网络训练方法。
CN202110409133.4A 2021-04-16 2021-04-16 图像滤镜转换网络训练方法、计算机可读存储介质 Active CN113111791B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110409133.4A CN113111791B (zh) 2021-04-16 2021-04-16 图像滤镜转换网络训练方法、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110409133.4A CN113111791B (zh) 2021-04-16 2021-04-16 图像滤镜转换网络训练方法、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113111791A true CN113111791A (zh) 2021-07-13
CN113111791B CN113111791B (zh) 2024-04-09

Family

ID=76717997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110409133.4A Active CN113111791B (zh) 2021-04-16 2021-04-16 图像滤镜转换网络训练方法、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113111791B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658066A (zh) * 2021-08-09 2021-11-16 维沃移动通信有限公司 图像处理方法及装置、电子设备
CN113837934A (zh) * 2021-11-26 2021-12-24 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090087035A1 (en) * 2007-10-02 2009-04-02 Microsoft Corporation Cartoon Face Generation
CN107516290A (zh) * 2017-07-14 2017-12-26 北京奇虎科技有限公司 图像转换网络获取方法、装置、计算设备及存储介质
US20180144509A1 (en) * 2016-09-02 2018-05-24 Artomatix Ltd. Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备及存储介质
US20180373999A1 (en) * 2017-06-26 2018-12-27 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
CN109840575A (zh) * 2019-01-16 2019-06-04 广西师范大学 一种基于卷积神经网络的二维码风格转换方法
CN109859295A (zh) * 2019-02-01 2019-06-07 厦门大学 一种特定动漫人脸生成方法、终端设备及存储介质
CN110062267A (zh) * 2019-05-05 2019-07-26 广州虎牙信息科技有限公司 直播数据处理方法、装置、电子设备及可读存储介质
CN110335206A (zh) * 2019-05-31 2019-10-15 平安科技（深圳）有限公司 智能滤镜方法、装置及计算机可读存储介质
CN110796080A (zh) * 2019-10-29 2020-02-14 重庆大学 一种基于生成对抗网络的多姿态行人图像合成算法
CN111489287A (zh) * 2020-04-10 2020-08-04 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质
CN111784565A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN112132208A (zh) * 2020-09-18 2020-12-25 北京奇艺世纪科技有限公司 图像转换模型的生成方法、装置、电子设备及存储介质
CN112232485A (zh) * 2020-10-15 2021-01-15 中科人工智能创新技术研究院(青岛)有限公司 漫画风格图像转换模型的训练方法、图像生成方法及装置
US20210104012A1 (en) * 2019-09-30 2021-04-08 Beijing Sensetime Technology Development Co., Ltd. Image processing method and device, and electronic device
US20210365710A1 (en) * 2019-02-19 2021-11-25 Boe Technology Group Co., Ltd. Image processing method, apparatus, equipment, and storage medium

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090087035A1 (en) * 2007-10-02 2009-04-02 Microsoft Corporation Cartoon Face Generation
US20180144509A1 (en) * 2016-09-02 2018-05-24 Artomatix Ltd. Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures
US20180373999A1 (en) * 2017-06-26 2018-12-27 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
CN107516290A (zh) * 2017-07-14 2017-12-26 北京奇虎科技有限公司 图像转换网络获取方法、装置、计算设备及存储介质
CN108564127A (zh) * 2018-04-19 2018-09-21 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备及存储介质
CN109840575A (zh) * 2019-01-16 2019-06-04 广西师范大学 一种基于卷积神经网络的二维码风格转换方法
CN109859295A (zh) * 2019-02-01 2019-06-07 厦门大学 一种特定动漫人脸生成方法、终端设备及存储介质
US20210365710A1 (en) * 2019-02-19 2021-11-25 Boe Technology Group Co., Ltd. Image processing method, apparatus, equipment, and storage medium
CN110062267A (zh) * 2019-05-05 2019-07-26 广州虎牙信息科技有限公司 直播数据处理方法、装置、电子设备及可读存储介质
CN110335206A (zh) * 2019-05-31 2019-10-15 平安科技（深圳）有限公司 智能滤镜方法、装置及计算机可读存储介质
US20210104012A1 (en) * 2019-09-30 2021-04-08 Beijing Sensetime Technology Development Co., Ltd. Image processing method and device, and electronic device
CN110796080A (zh) * 2019-10-29 2020-02-14 重庆大学 一种基于生成对抗网络的多姿态行人图像合成算法
CN111489287A (zh) * 2020-04-10 2020-08-04 腾讯科技（深圳）有限公司 图像转换方法、装置、计算机设备和存储介质
CN111784565A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN112132208A (zh) * 2020-09-18 2020-12-25 北京奇艺世纪科技有限公司 图像转换模型的生成方法、装置、电子设备及存储介质
CN112232485A (zh) * 2020-10-15 2021-01-15 中科人工智能创新技术研究院(青岛)有限公司 漫画风格图像转换模型的训练方法、图像生成方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113658066A (zh) * 2021-08-09 2021-11-16 维沃移动通信有限公司 图像处理方法及装置、电子设备
CN113837934A (zh) * 2021-11-26 2021-12-24 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质
CN113837934B (zh) * 2021-11-26 2022-02-22 北京市商汤科技开发有限公司 图像生成方法及装置、电子设备和存储介质
WO2023093356A1 (zh) * 2021-11-26 2023-06-01 上海商汤智能科技有限公司 图像生成方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113111791B (zh) 2024-04-09

Similar Documents

Publication Publication Date Title
CN110322416B (zh) 图像数据处理方法、装置以及计算机可读存储介质
CN109361934B (zh) 图像处理方法、装置、设备及存储介质
Liu et al. Learning converged propagations with deep prior ensemble for image enhancement
CN112541864A (zh) 一种基于多尺度生成式对抗网络模型的图像修复方法
KR101183391B1 (ko) 메트릭 임베딩에 의한 이미지 비교
CN110706303B (zh) 基于GANs的人脸图像生成方法
CN113111791A (zh) 图像滤镜转换网络训练方法、计算机可读存储介质
CN110009018B (zh) 一种图像生成方法、装置以及相关设备
CN111108508B (zh) 脸部情感识别方法、智能装置和计算机可读存储介质
CN109920021A (zh) 一种基于正则化宽度学习网络的人脸素描合成方法
CN113792659A (zh) 文档识别方法、装置及电子设备
US7620246B2 (en) Method and apparatus for image processing
CN115457183A (zh) 序列化草图生成与重建模型训练方法、重建方法及装置
CN113642479B (zh) 人脸图像的评价方法、装置、电子设备及存储介质
CN111860840B (zh) 深度学习模型训练方法、装置、计算机设备及存储介质
US11763436B2 (en) Facial reconstruction network
CN114862699B (zh) 基于生成对抗网络的人脸修复方法、装置及存储介质
CN112884679A (zh) 一种图像转换方法、装置、存储介质和电子设备
CN113936320B (zh) 人脸图像质量评价方法、电子设备及存储介质
CN113177556A (zh) 一种文本图像增强模型、训练方法、增强方法及电子设备
CN113240589A (zh) 一种多尺度特征融合的图像去雾方法及系统
Ogawa et al. POCS-based texture reconstruction method using clustering scheme by kernel PCA
Yenamandra et al. Learning image inpainting from incomplete images using self-supervision
RU2817316C2 (ru) Способ и устройство для обучения модели генерирования изображений, способ и устройство для генерирования изображений и их устройства
US20240169758A1 (en) Method and system for increasing face images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant