CN111583165B - 图像处理方法、装置、设备及存储介质 - Google Patents

图像处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111583165B
CN111583165B CN201910124973.9A CN201910124973A CN111583165B CN 111583165 B CN111583165 B CN 111583165B CN 201910124973 A CN201910124973 A CN 201910124973A CN 111583165 B CN111583165 B CN 111583165B
Authority
CN
China
Prior art keywords
image
style
network model
sample
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910124973.9A
Other languages
English (en)
Other versions
CN111583165A (zh
Inventor
朱丹
刘瀚文
那彦波
张丽杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910124973.9A priority Critical patent/CN111583165B/zh
Priority to PCT/CN2020/070424 priority patent/WO2020168844A1/en
Priority to US16/959,786 priority patent/US11403838B2/en
Publication of CN111583165A publication Critical patent/CN111583165A/zh
Application granted granted Critical
Publication of CN111583165B publication Critical patent/CN111583165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Multimedia (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置、设备及存储介质。该图像处理方法包括：获取待处理的第一图像和第二图像；将第一图像和第二图像进行拼贴，形成拼贴后的第三图像；通过预先训练出的风格转换网络模型，提取第三图像的内容特征和第二图像的风格特征，根据第二图像的风格特征对第三图像的内容特征进行归一化处理，得到处理后的目标图像特征，根据目标图像特征生成相应的目标图像并输出。本申请实施例可对第一图像和第二图像进行拼贴，并可使第三图像的内容特征和第二图像的风格特征深度融合，使拼贴后的第三图像和第二图像的风格高度统一，更适用于不同风格的图像，可应用于智能贴图领域，实现实时、快速的智能贴图。

Description

图像处理方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，本申请涉及一种图像处理方法、装置、设备及存储介质。
背景技术
现有的图像处理算法在对不同的图像进行合成时，通常只能简单地将将两个图像进行拼贴，而无法对两个图像进行深度融合，从而使两个图像的风格高度统一。
为了提高合成效果，现有技术通常对拼贴的图像像素值进行优化，但该方法对合成效果的提高并不显著，且同一像素优化方法无法适用于不同风格的图像，因而无法应用于智能贴图领域，满足智能贴图的需求。
发明内容
本申请针对现有方式的缺点，提出一种图像处理方法、装置、设备及存储介质，用以解决现有技术存在的无法对两个图像进行深度融合以及无法适用于不同风格的图像的技术问题。
第一方面，本申请实施例提供了一种图像处理方法，包括：
获取待处理的第一图像和第二图像；
将第一图像和第二图像进行拼贴，形成拼贴后的第三图像；
通过预先训练出的风格转换网络模型，提取第三图像的内容特征和第二图像的风格特征，根据第二图像的风格特征对第三图像的内容特征进行归一化处理，得到处理后的目标图像特征，根据目标图像特征生成相应的目标图像并输出；
风格转换网络模型包括：依次级联的编码器、归一化网络和解码器。
第二方面，本申请实施例提供了一种图像处理装置，包括：
图像获取模块，用于获取待处理的第一图像和第二图像；
图像拼贴模块，用于将第一图像和第二图像进行拼贴，形成拼贴后的第三图像；
图像处理模块，用于过预先训练出的风格转换网络模型，提取第三图像的内容特征和第二图像的风格特征，根据第二图像的风格特征对第三图像的内容特征进行归一化处理，得到处理后的目标图像特征，根据目标图像特征生成相应的目标图像并输出；风格转换网络模型包括：依次级联的编码器、归一化网络和解码器。
第三方面，本申请实施例提供了一种图像处理设备，包括：存储器和处理器，存储器存储有计算机程序，该计算机程序由处理器执行以实现本申请实施例第一方面提供的图像处理方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面提供的图像处理方法。
本申请实施例提供的技术方案，至少具有如下有益效果：
1)本申请实施例可对第一图像和第二图像进行拼贴，并基于第二图像采用预先训练的风格转换网络模型对拼贴后的第三图图像进行合成效果进行优化，可使第三图像的内容特征和第二图像的风格特征深度融合，使拼贴后的第三图像和第二图像的风格高度统一，更适用于不同风格的图像，可应用于智能贴图领域，实现实时、快速的智能贴图。
2)现有技术在对不同类型的图像进行处理时，往往需要使用不同的图像处理方法或模型，相对于现有技术，本申请实施例可基于单一模型(即预先训练出的风格转换网络模型)实现多种类型的图像的处理和融合。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例涉及的卷积神经网络的一种结构示意图；
图2为本申请实施例提供的一种图像处理方法的流程示意图；
图3为本申请实施例涉及的VGG16网络的结构示意图；
图4为本申请实施例中风格转换网络模型的一种迭代训练方法的流程示意图；
图5为本申请实施例中风格转换网络模型的训练原理的一种示例图；
图6为本申请实施例中风格转换网络模型的训练原理的另一种示例图；
图7为本申请实施例提供的一种图像处理装置的结构框架示意图；
图8为本申请实施例提供的另一种图像处理装置的结构框架示意图；
图9为本申请实施例提供的一种图像处理设备的结构框架示意图。
具体实施方式
下面详细描述本申请，本申请实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的部件或具有相同或类似功能的部件。此外，如果已知技术的详细描述对于示出的本申请的特征是不必要的，则将其省略。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语 (包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
首先对本申请涉及的几个名词和原理进行介绍和解释：
智能贴图：从照片中复制元素粘贴到绘画中，并且使元素完全融合到绘画中，称之为智能贴图。
卷积神经网络：
卷积神经网络是神经网络的一种特殊结构，将图像作为系统的输入、输出并用卷积核替代标量的权值。一个三层结构的卷积神经网络如图1所示。该网络具有4个输入，隐藏层中具有3个输出，输出层含有2个输出，最终系统输出两幅图像。每个模块表示一个卷积核。k表示输入层编号， i和j表示输入和输出的单位编号。偏置/>是一组叠加在卷积层输出上的标量。叠加了偏置的卷积层输出接下来会进入到激活层(通常为RELU或者 sigmoid函数)。经过训练后，系统的卷积核和偏置是固定的。训练则是通过一组匹配的输入输出以及优化算法对卷积核和偏置进行参数调优。通常情况下每个卷积层可包含数十个或数百个卷积核，深度神经网络往往包含 5层以上的卷积层。
池化层：
池化层是下采样的一种形式，能够减小卷积特征的尺寸。常用的池化层包括max-pooling(最大池化)、avg-pooling(平均池化)、decimation (抽样)和demuxout(分解)。
实例归一化Instance Normalization(IN)层：
Instance Normalization用于将卷积层输出的特征图像进行标准化处理。假设mini-batch的尺寸为T，某卷积层输出的特征数量为C，每个特征图像均为H行W列的矩阵，则特征图像的shape为(T,C,W,H)，Instance Normalization的标准化公式如下：
其中xtijk为某卷积层输出的特征图像集合中的第t个patch、第i个特征图像、第j列、第k行的值。ytijk表示xtijk输入Instance Normalization层得到的结果。ε为一个很小的整数，避免分母为0。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种图像处理方法，如图2所示，该图像处理方法包括：
S201，获取待处理的第一图像和第二图像。
第一图像和第二图像可根据实际需求选择，例如可以是风格不同的两种图像。
S202，将第一图像和第二图像进行拼贴，形成拼贴后的第三图像。
在一个示例中，将第一图像和第二图像进行拼贴，可以是将第一图像和第二图像拼接，可以将尺寸较小的第一图像粘贴于尺寸较大的第二图像上，也可以将第一图像和第二图像部分重合，从而形成一个新的图像，本领域技术人员可以理解还可以是其它拼贴方式，此处不再一一列举。
S203，通过预先训练出的风格转换网络模型，提取第三图像的内容特征和第二图像的风格特征，根据第二图像的风格特征对第三图像的内容特征进行归一化处理，得到处理后的目标图像特征，根据目标图像特征生成相应的目标图像并输出。
可选地，根据第二图像的风格特征对第三图像的内容特征进行归一化处理，得到处理后的目标图像特征，包括：根据第三图像的内容特征的均值和方差调整第三图像的内容特征的数值范围，使第三图像的内容特征与第二图像的风格特征匹配；将第二图像的风格特征添加到调整后的第三图像的内容特征中，得到目标图像特征。
可选地，风格转换网络(Style Transfer Network)模型包括：依次级联的编码器(Encoder)、归一化网络和解码器(Decoder)；以及，步骤S203 包括：
通过编码器，提取第三图像的内容特征和第二图像的风格特征；根据第二图像的风格特征，通过归一化网络对第三图像的内容特征进行归一化处理，得到处理后的目标图像特征；根据目标图像特征，通过解码器生成相应的目标图像并输出。
编码器可用于将第三图像和第二图像由图像空间转换到特征空间，从而提取第三图像的内容特征和第二图像的风格特征；可选地，编码器具体为VGG(Visual GeometryGroup，视觉几何群)网络，包括至少一个卷积块、编码池化层和编码全连接；各卷积块、编码池化层与编码全连接层依次级联，第一个卷积块中包括级联的至少一个卷积层，其它卷积块中包括级联的池化层和至少一个卷积层。
VGG网络的具体类型可根据实际需求选择，例如VGG16网络或 VGG19网络。
VGG16网络的结构如图3所示的结构，图3中的每个正方体或长方体表示一层，同样大小的正文体或长方体结构形成了同一阶梯(卷积块、编码池化层或者编码全连接层)。图3中由左到右的每个阶梯(最后一个阶梯除外)的第一层为最大池化层(max pooling)，图3中最后一个阶梯中的由左至右的前三层为全连接层(fully connected+Relu)，图3中最后一个阶梯中的由左至右的最后一层为激活层(softmax)，图3中的其余各层均为卷积层(convolution+Relu)。各层的含义和作用为现有，本申请中不作赘述。
当采用图3所示的VGG16网络作为风格转换网络模型中的编码器时，可以只使用图3中的Relu_1部分(即图3中矩形框内的部分，Relu表示一种激活函数)，将第三图像和第二图像从图像空间转到特征空间。
归一化网络可用于根据风格特征对内容特征进行归一化处理，可选地，归一化网络包括AdaIN(Adaptive Instance Normalization，自适应实例归一化)处理层，编码全连接层连接至该AdaIN处理层；具体地，AdaIN处理层可通过如下表达式将每个通道的内容特征和每个通道的风格特征进行匹配，从而将第二图像的风格特征传输至第三图像。
在该表达式中，μ(x)和μ(x)分别为第三图像中每个通道的内容特征的均值和方差，μ(y)和σ(y)分别为第二图像中每个通道的风格特征的均值和方差。
解码器可用于将归一化网络处理后的特征由特征空间转换到图像空间，可选地，解码器具体为残差网络、密集网络以及与编码器对称的网络中的任意一种，当解码器为与编码器对称的网络时，解码器包括依次级联的解码全连接层、解码池化层和至少一个返卷积块；自适应实例归一化处理层连接至编码全连接层；最后一个返卷积块包括级联的至少一个返卷积层，最后一个返卷积层输出的目标图像的分辨率与输入编码器的第二图像或第三图像的分辨率相同，其它返卷积块包括级联的至少一个返卷积层和池化层。解码器部分的权重参数可在对风格转换网络模型的预先训练过程中确定。
可选地，在风格转换网络模型通过下述方式训练得出：获取至少一组第一样本图像和第二样本图像；将每组中的第一样本图像和第二样本图像进行拼贴，形成拼贴后的第三样本图像；根据至少一组第三样本图像和第二样本图像，对初始风格转换网络模型进行迭代训练，直到满足预设的收敛条件。
如图4所示，每次迭代训练包括如下步骤S401-S404：
S401，将当前的一组第三样本图像和第二样本图像，输入初始风格转换网络模型或上一次迭代训练出的风格转换网络模型。
每次迭代训练的训练过程如图5所示，图5中的训练过程均由左向右推进。
图5中虚线框内的网络模型均表示未经本申请实施例中所述的迭代训练方式训练的初始风格转换网络模型或上一次迭代训练出的风格转换网络模型。
在图5中，左侧输入虚线框的两个图像分别为第三样本图像和第二样本图像，具体地，输入虚线框的两个图像中上方的图像为第三样本图像，下方的人物图像为第二样本图像，其中，由第三样本图像是由第一样本图像(图5左侧的盾牌图像)和第二样本图像组合而成。
S402，通过初始风格转换网络模型或上一次迭代训练出的风格转换网络模型，提取第三样本图像的内容特征和第二样本图像的风格特征，根据第二样本图像的风格特征对第三样本图像的内容特征进行归一化处理，提到处理后的样本图像特征，根据样本图像特征生成相应的结果图像。
可选地，初始风格转换网络模型或上一次迭代训练出的风格转换网络模型均包括依次级联的编码器(Encoder)、归一化网络和解码器(Decoder)，分别如图5中虚线框内的VGG Encoder、AdaIN和Decoder。
初始风格转换网络模型或上一次迭代训练出的风格转换网络模型中的编码器(Encoder)、归一化网络和解码器(Decoder)的作用以及所采用的网络均如前所述，每次迭代训练中所使用的解码器的权重参数是根据前次迭代训练调整得出的，在多次迭代训练过程中，解码器的权重参数可以是实时变化的。
步骤S402生成的结果图像如图5中虚线框右侧输出的图像所示。
S403，根据第二样本图像、样本图像特征和结果图像，确定结果图像的图像总损失。
可选地，将第二样本图像、样本图像特征和结果图像，输入预设的分析网络模型；通过分析网络模型提取第二样本图像的风格特征和结果图像中的结果图像特征；将结果图像特征、样本图像特征和第二样本图像的风格特征输入预设的损失函数，通过损失函数确定图像总损失。
可选地，分析网络模型可以包括编码器，该分析网络模型中的编码器具体为VGG网络，包括至少一个卷积块、编码池化层和编码全连接层；各卷积块、编码池化层与编码全连接层依次级联，第一个卷积块中包括级联的至少一个卷积层，其它卷积块中包括级联的池化层和至少一个卷积层。
可选的VGG网络如如图3所示的VGG16网络或VGG19网络，在图 5的示例中，分析网络模型如图5右侧的VGG Encoder所示。
由图5可知，该分析网络模型中的编码器可用于计算图像总损失，并向前述的初始风格转换网络模型或上一次迭代训练出的风格转换网络模型中的Deconder部分输出计算出的图像总损失。
可选地，将结果图像特征、样本图像特征和第二样本图像的风格特征输入预设的损失函数，通过损失函数确定图像总损失，包括：将结果图像特征和样本图像特征输入损失函数中的第一损失函数，通过第一损失函数确定结果图像特征与样本图像特征的差值，根据差值确定结果图像的内容损失；将结果图像特征和第二样本图像的风格特征输入损失函数中第二损失函数，通过第二损失函数确定结果图像特征与第二样本图像的风格特征的均值差值和方差差值，根据均值差值和方差差值确定结果图像的风格损失；根据内容损失、内容损失的权重、风格损失以及风格损失的权重，确定图像总损失。
以图5所示的训练过程为例，右侧的VGG Encoder作为分析网络模型在提取出结果图像特征、第二样本图像的风格特征并获取到由归一化网络处理后得到的样本图像特征后，可将结果图像特征和样本图像特征输入到第一损失函数中，通过第一损失函数确定结果图像的内容损失Lc(或表示为Lcontent)，并可将结果图像特征和样本风格特征输入第二损失函数中，通过第二损失函数确定出结果图像的风格损失Ls(或表示为Lstyle)。
可选地，内容损失的一种计算原理如下：
在分析网络模型中，每一个卷积层的输出都是输入图像的特征。假设某个具有Nl个卷积核的卷积层，其输出包含Nl个特征图像，假设每个特征图像的尺寸都是Ml(特征图像的宽×高)。这样l层的输出可以存储在矩阵中。
定义和/>分别为原始输入图像和生成图像，Pl和Fl分别为他们在分析网络模型中第l层的输出的特征图像，则内容损失函数可定义如下：
其中，Lcontent为内容损失，表示第l层中第第i个卷积核输出的特征图像(对应原始输入图像)中第j个位置的值，/>表示第l层中第i个卷积核输出的特征图像(对应生成图像)中第j个位置的值，C1为一个常数，用于对结果进行标准化处理。
具体在如图5所示的训练网络中，内容损失为结果图像经图5右侧的 VGG Encoder网络输出的内容特征与AdaIN处理层输出的样本图像特征之间的欧式距离，该欧式距离可表示为：
其中，f(g(t))表示图5中Deconder输出的结果图像经图5右侧的VGG Encoder提取并输出的内容特征，f(t)表示图5中的AdaIN处理层输出的样本图像特征，其余参数含义同前。
可选地，风格损失的一种计算原理如下：
由于图5中所示的AdaIN部分只传递了样本风格特征的均值和方差，所以风格损失不采用Gram矩阵，而是采用均值和方差对数据进行匹配。风格特征在Relu1_1、Relu2_1、Relu3_1和Relu4_1四层的特征均进行计算，即风格损失只是基于IN统计的损耗，公式如下：
其中，f(g(t))为图5中Deconder输出的结果图像经图5右侧的VGG Encoder提取并输出的内容特征，f(s)为样本风格图像经图5右侧的VGG Encoder提取并输出的风格特征，μ代表均值，σ代表方差。
可选地，图像总损失可通过如下表达式计算得出：
Ltotal＝αLcontent+βLstyle
其中，Ltotal、Lcontent、Lstyle分别表示图像总损失、内容损失、风格损失，α、β分别表示内容损失、风格损失在图像总损失中所占的权重。
可选地，α、β的数值可根据如下方式确定：根据实际需求设置α和β的初始值，在如图5所示的训练过程中，可根据每次迭代训练过程中得到的图像总损失对该初始值进行调整。
S404，根据图像总损失，对初始风格转换网络模型或上一次迭代训练出的风格转换网络模型中的权重参数进行修正，得到本次迭代训练出的风格转换网络模型。
可选地，对初始风格转换网络模型或上一次迭代训练出的风格转换网络模型中的权重参数进行修正，包括：对初始风格转换网络模型或上一次迭代训练出的风格转换网络模型中的解码器的权重参数进行修正。
解码器的初始权重参数可根据实际需求设置或随机设置，在多次迭代训练过程中，通过梯度下降可以不断地对解码器的权重参数进行更新和调整，以使解码器输出的结果图像的图像损失不断减小，网络逐渐收敛。
可选地，本申请实施例还提供了风格转换网络模型的另一种训练方法，如图6所示，该训练过程与图5所示的训练过程大致相同，区别在于图6 所示的训练方法中输入初始风格转换网络模型或上一次迭代训练出的风格转换网络模型的样本图像为两个独立图像，而非拼贴后的图像，在图6 所示的训练方法中无需对两个独立的样本图像进行拼贴。
应用本申请实施例提供的图像处理方法，至少可以实现如下有益效果：
1)本申请实施例可对第一图像和第二图像进行拼贴，并基于第二图像采用预先训练的风格转换网络模型对拼贴后的第三图图像进行合成效果进行优化，可使第三图像的内容特征和第二图像的风格特征深度融合，使拼贴后的第三图像和第二图像的风格高度统一，更适用于不同风格的图像，可应用于智能贴图领域，实现实时、快速的智能贴图。
2)本申请实施例采用预先训练出的风格转换网络模型，可提高对第三图像和第二图像的图像融合速度，且可保证融合后图像的融合效果，相对于现有技术在每次生成融合后图像后继续进行图像像素值优化的方案，本申请实施例无需对融合后图像进行优化，可节约图像融合的工序，大大缩减合成时间，从而可实现对第三图像和第二图像的实时处理和融合。
3)现有技术在对不同类型的图像进行处理时，往往需要使用不同的图像处理方法或模型，相对于现有技术，本申请实施例的迭代训练方法可训练出适应多种类型图像的风格转换网络模型，基于训练出的风格转换网络模型进行图像融合的方法，可适用于多种风格的图像。
基于同一发明构思，本申请实施例提供了一种图像处理装置，可执行前面所述的方法实施例中提供的图像处理方法，如图7所示，该图像处理装置700包括图像获取模块701、图像拼贴模块702和图像处理模块703。
图像获取模块701用于获取待处理的第一图像和第二图像；图像拼贴模块702用于将第一图像和第二图像进行拼贴，形成拼贴后的第三图像；图像处理模块703用于通过预先训练出的风格转换网络模型，提取第三图像的内容特征和第二图像的风格特征，根据第二图像的风格特征对第三图像的内容特征进行归一化处理，得到处理后的目标图像特征，根据目标图像特征生成相应的目标图像并输出；风格转换网络模型包括：依次级联的编码器、归一化网络和解码器。
可选地，图像处理模块703具体用于：通过编码器，提取第三图像的内容特征和第二图像的风格特征；根据第二图像的风格特征，通过归一化网络对第三图像的内容特征进行归一化处理，得到处理后的目标图像特征；根据目标图像特征，通过解码器生成相应的目标图像并输出。
可选地，如图8所示，本申请实施提供的图像处理装置700，还包括：模型训练模块704。
模型训练模块704用于通过下述方式训练得出风格转换网络模型：获取至少一组第一样本图像和第二样本图像；将每组中的第一样本图像和第二样本图像进行拼贴，形成拼贴后的第三样本图像；根据至少一组第三样本图像和第二样本图像，对初始风格转换网络模型进行迭代训练，直到满足预设的收敛条件；
每次迭代训练包括：
将当前的一组第三样本图像和第二样本图像，输入初始风格转换网络模型或上一次迭代训练出的风格转换网络模型；
通过初始风格转换网络模型或上一次迭代训练出的风格转换网络模型，提取第三样本图像的内容特征和第二样本图像的风格特征，根据第二样本图像的风格特征对第三样本图像的内容特征进行归一化处理，提到处理后的样本图像特征，根据样本图像特征生成相应的结果图像；
根据第二样本图像、样本图像特征和结果图像，确定结果图像的图像总损失；
根据图像总损失，对初始风格转换网络模型或上一次迭代训练出的风格转换网络模型中的权重参数进行修正，得到本次迭代训练出的风格转换网络模型。
可选地，模型训练模块704具体用于：将第二样本图像、样本图像特征和结果图像，输入预设的分析网络模型；通过分析网络模型提取第二样本图像的风格特征和结果图像中的结果图像特征；将结果图像特征、样本图像特征和第二样本图像的风格特征输入预设的损失函数，通过损失函数确定图像总损失。
可选地，模型训练模块704具体用于：对初始风格转换网络模型或上一次迭代训练出的风格转换网络模型中的解码器的权重参数进行修正。
可选地，图像处理模块703具体用于：根据第三图像的内容特征的均值和方差调整第三图像的内容特征的数值范围，使第三图像的内容特征与第二图像的风格特征匹配；将第二图像的风格特征添加到调整后的第三图像的内容特征中，得到目标图像特征。
本申请实施例提供的图像处理装置700，与前面的方法实施例具有相同的发明构思及相同的有益效果，该图像处理装置700中未详细示出的内容可参照前面的方法实施例，在此不再赘述。
基于同一发明构思，本申请实施例提供了一种图像处理设备，如图9 所示，该图像处理设备900包括：存储器901和处理器902。
本申请实施例中的存储器901上存储有计算机程序，该计算机程序由处理器902执行以实现本申请实施例所提供的图像处理方法。
本申请实施例中的存储器901可以是ROM(Read-Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，可以是 RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically Erasable Programmable Read Only Memory，电可擦可编程只读存储器)、CD-ROM (Compact Disc Read-Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
本申请实施例中的处理器902可以是CPU(Central Processing Unit，中央处理器)、通用处理器、DSP(Digital Signal Processor，数据信号处理器)、ASIC(ApplicationSpecific Integrated Circuit，专用集成电路)、 FPGA(Field－Programmable GateArray，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器902也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
本技术领域技术人员可以理解，本申请实施例提供的图像处理设备 900可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机) 可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中。
本申请实施例提供的图像处理设备900，与前面所述的各实施例具有相同的发明构思及相同的有益效果，该图像处理设备900中未详细示出的内容可参照前面所述的各实施例，在此不再赘述。
基于同一发明构思，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所提供的图像处理方法。
该计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM、RAM、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。
本申请实施例提供的计算机可读存储介质，与前面所述的各实施例具有相同的发明构思及相同的有益效果，该计算机可读存储介质中未详细示出的内容可参照前面所述的各实施例，在此不再赘述。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
获取待处理的第一图像和第二图像；
将所述第一图像和所述第二图像进行拼贴，形成拼贴后的第三图像；
通过预先训练出的风格转换网络模型，提取所述第三图像的内容特征和所述第二图像的风格特征，根据所述第二图像的风格特征对所述第三图像的内容特征进行归一化处理，得到处理后的目标图像特征，根据所述目标图像特征生成相应的目标图像并输出；
所述风格转换网络模型包括：依次级联的编码器、归一化网络和解码器。
2.根据权利要求1所述的方法，其特征在于，所述通过预先训练出的风格转换网络模型，提取所述第三图像的内容特征和所述第二图像的风格特征，根据所述第二图像的风格特征对所述第三图像的内容特征进行归一化处理，得到处理后的目标图像特征，根据所述目标图像特征生成相应的目标图像并输出，包括：
通过所述编码器，提取所述第三图像的内容特征和所述第二图像的风格特征；
根据所述第二图像的风格特征，通过所述归一化网络对所述第三图像的内容特征进行归一化处理，得到处理后的所述目标图像特征；
根据所述目标图像特征，通过所述解码器生成相应的目标图像并输出。
3.根据权利要求1或2所述的方法，其特征在于，所述编码器具体为视觉几何群网络，包括至少一个卷积块、编码池化层和编码全连接；各所述卷积块、编码池化层与编码全连接层依次级联，第一个所述卷积块中包括级联的至少一个卷积层，其它所述卷积块中包括级联的池化层和至少一个卷积层；
所述归一化网络包括自适应实例归一化处理层；所述编码全连接层连接至所述自适应实例归一化处理层；
所述解码器具体为残差网络、密集网络以及与所述编码器对称的网络中的任意一种；当所述解码器为与所述编码器对称的网络时，所述解码器包括依次级联的解码全连接层、解码池化层和至少一个返卷积块；所述自适应实例归一化处理层连接至所述编码全连接层；最后一个所述返卷积块包括级联的至少一个返卷积层，最后一个所述返卷积层输出的所述目标图像的分辨率与输入所述编码器的第二图像或第三图像的分辨率相同，其它所述返卷积块包括级联的至少一个返卷积层和池化层。
4.根据权利要求1所述的方法，其特征在于，在所述风格转换网络模型通过下述方式训练得出：
获取至少一组第一样本图像和第二样本图像；
将每组中的所述第一样本图像和所述第二样本图像进行拼贴，形成拼贴后的第三样本图像；
根据所述至少一组所述第三样本图像和所述第二样本图像，对初始风格转换网络模型进行迭代训练，直到满足预设的收敛条件；
每次所述迭代训练包括：
将当前的一组所述第三样本图像和所述第二样本图像，输入所述初始风格转换网络模型或上一次迭代训练出的风格转换网络模型；
通过所述初始风格转换网络模型或上一次迭代训练出的风格转换网络模型，提取所述第三样本图像的内容特征和所述第二样本图像的风格特征，根据所述第二样本图像的风格特征对所述第三样本图像的内容特征进行归一化处理，提到处理后的样本图像特征，根据所述样本图像特征生成相应的结果图像；
根据所述第二样本图像、所述样本图像特征和所述结果图像，确定所述结果图像的图像总损失；
根据所述图像总损失，对所述初始风格转换网络模型或上一次迭代训练出的风格转换网络模型中的权重参数进行修正，得到本次迭代训练出的风格转换网络模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第二样本图像、所述样本图像特征和所述结果图像，确定所述结果图像的图像总损失，包括：
将所述第二样本图像、所述样本图像特征和所述结果图像，输入预设的分析网络模型；
通过所述分析网络模型提取所述第二样本图像的风格特征和所述结果图像中的结果图像特征；
将所述结果图像特征、所述样本图像特征和所述第二样本图像的风格特征输入预设的损失函数，通过所述损失函数确定所述图像总损失。
6.根据权利要求5所述的方法，其特征在于，所述分析网络模型包括视觉几何群网络，包括至少一个卷积块、编码池化层和编码全连接层；
各所述卷积块、编码池化层与编码全连接层依次级联，第一个所述卷积块中包括级联的至少一个卷积层，其它所述卷积块中包括级联的池化层和至少一个卷积层。
7.根据权利要求5所述的方法，其特征在于，所述将所述结果图像特征、所述样本图像特征和所述第二样本图像的风格特征输入预设的损失函数，通过所述损失函数确定所述图像总损失，包括：
将所述结果图像特征和所述样本图像特征输入所述损失函数中的第一损失函数，通过所述第一损失函数确定所述结果图像特征与所述样本图像特征的差值，根据所述差值确定所述结果图像的内容损失；
将所述结果图像特征和所述第二样本图像的风格特征输入所述损失函数中第二损失函数，通过所述第二损失函数确定所述结果图像特征与所述第二样本图像的风格特征的均值差值和方差差值，根据所述均值差值和所述方差差值确定所述结果图像的风格损失；
根据所述内容损失、所述内容损失的权重、所述风格损失以及所述风格损失的权重，确定所述图像总损失。
8.根据权利要求4所述的方法，其特征在于，所述对所述初始风格转换网络模型或上一次迭代训练出的风格转换网络模型中的权重参数进行修正，包括：
对所述初始风格转换网络模型或上一次迭代训练出的所述风格转换网络模型中的所述解码器的权重参数进行修正。
9.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像的风格特征对所述第三图像的内容特征进行归一化处理，得到处理后的目标图像特征，包括：
根据所述第三图像的内容特征的均值和方差调整所述第三图像的内容特征的数值范围，使所述第三图像的内容特征与所述第二图像的风格特征匹配；
将所述第二图像的风格特征添加到调整后的所述第三图像的内容特征中，得到所述目标图像特征。
10.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取待处理的第一图像和第二图像；
图像拼贴模块，用于将所述第一图像和所述第二图像进行拼贴，形成拼贴后的第三图像；
图像处理模块，用于通过预先训练出的风格转换网络模型，提取所述第三图像的内容特征和所述第二图像的风格特征，根据所述第二图像的风格特征对所述第三图像的内容特征进行归一化处理，得到处理后的目标图像特征，根据所述目标图像特征生成相应的目标图像并输出；所述风格转换网络模型包括：依次级联的编码器、归一化网络和解码器。
11.根据权利要求10所述的装置，其特征在于，
所述图像处理模块具体用于：通过所述编码器，提取所述第三图像的内容特征和所述第二图像的风格特征；根据所述第二图像的风格特征，通过所述归一化网络对所述第三图像的内容特征进行归一化处理，得到处理后的所述目标图像特征；根据所述目标图像特征，通过所述解码器生成相应的目标图像并输出。
12.根据权利要求10所述的装置，其特征在于，还包括：模型训练模块；
所述模型训练模块用于通过下述方式训练得出所述风格转换网络模型：获取至少一组第一样本图像和第二样本图像；将每组中的所述第一样本图像和所述第二样本图像进行拼贴，形成拼贴后的第三样本图像；根据所述至少一组所述第三样本图像和所述第二样本图像，对初始风格转换网络模型进行迭代训练，直到满足预设的收敛条件；
每次所述迭代训练包括：
将当前的一组所述第三样本图像和所述第二样本图像，输入所述初始风格转换网络模型或上一次迭代训练出的风格转换网络模型；
通过所述初始风格转换网络模型或上一次迭代训练出的风格转换网络模型，提取所述第三样本图像的内容特征和所述第二样本图像的风格特征，根据所述第二样本图像的风格特征对所述第三样本图像的内容特征进行归一化处理，提到处理后的样本图像特征，根据所述样本图像特征生成相应的结果图像；
根据所述第二样本图像、所述样本图像特征和所述结果图像，确定所述结果图像的图像总损失；
根据所述图像总损失，对所述初始风格转换网络模型或上一次迭代训练出的风格转换网络模型中的权重参数进行修正，得到本次迭代训练出的风格转换网络模型。
13.根据权利要求10所述的装置，其特征在于，
所述图像处理模块具体用于：根据所述第三图像的内容特征的均值和方差调整所述第三图像的内容特征的数值范围，使所述第三图像的内容特征与所述第二图像的风格特征匹配；将所述第二图像的风格特征添加到调整后的所述第三图像的内容特征中，得到所述目标图像特征。
14.一种图像处理设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序由所述处理器执行以实现如权利要求1至9中任一项所述的图像处理方法。
15.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的图像处理方法。
CN201910124973.9A 2019-02-19 2019-02-19 图像处理方法、装置、设备及存储介质 Active CN111583165B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910124973.9A CN111583165B (zh) 2019-02-19 2019-02-19 图像处理方法、装置、设备及存储介质
PCT/CN2020/070424 WO2020168844A1 (en) 2019-02-19 2020-01-06 Image processing method, apparatus, equipment, and storage medium
US16/959,786 US11403838B2 (en) 2019-02-19 2020-01-06 Image processing method, apparatus, equipment, and storage medium to obtain target image features

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910124973.9A CN111583165B (zh) 2019-02-19 2019-02-19 图像处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111583165A CN111583165A (zh) 2020-08-25
CN111583165B true CN111583165B (zh) 2023-08-08

Family

ID=72125977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910124973.9A Active CN111583165B (zh) 2019-02-19 2019-02-19 图像处理方法、装置、设备及存储介质

Country Status (3)

Country Link
US (1) US11403838B2 (zh)
CN (1) CN111583165B (zh)
WO (1) WO2020168844A1 (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963748B1 (en) * 2018-08-31 2021-03-30 Snap Inc. Generative neural network distillation
CN109766895A (zh) * 2019-01-03 2019-05-17 京东方科技集团股份有限公司 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法
CN111815509B (zh) * 2020-09-02 2021-01-01 北京邮电大学 一种图像风格转换及模型训练的方法及装置
CN112752147A (zh) * 2020-09-04 2021-05-04 腾讯科技（深圳）有限公司 视频处理方法、装置和存储介质
CN112052819A (zh) * 2020-09-15 2020-12-08 浙江智慧视频安防创新中心有限公司 一种行人重识别方法、装置、设备及存储介质
CN112233015A (zh) * 2020-10-19 2021-01-15 珠海金山网络游戏科技有限公司 一种图片风格转换方法及装置
CN112241941B (zh) * 2020-10-20 2024-03-22 北京字跳网络技术有限公司 获取图像的方法、装置、设备和计算机可读介质
CN112381707B (zh) * 2020-11-02 2023-06-20 腾讯科技（深圳）有限公司 图像生成方法、装置、设备以及存储介质
CN112419435A (zh) * 2020-11-10 2021-02-26 贵州大学 一种用于挑花和蜡染组合图案设计的方法
CN113761831A (zh) * 2020-11-13 2021-12-07 北京沃东天骏信息技术有限公司 风格书法生成方法、装置、设备及存储介质
CN112346703B (zh) * 2020-11-24 2021-10-22 华中科技大学 一种用于卷积神经网络计算的全局平均池化电路
CN113111791B (zh) * 2021-04-16 2024-04-09 深圳市格灵人工智能与机器人研究院有限公司 图像滤镜转换网络训练方法、计算机可读存储介质
CN113191404B (zh) * 2021-04-16 2023-12-12 深圳数联天下智能科技有限公司 发型迁移模型训练方法、发型迁移方法及相关装置
CN113240599A (zh) * 2021-05-10 2021-08-10 Oppo广东移动通信有限公司 图像调色方法及装置、计算机可读存储介质、电子设备
CN113449613B (zh) * 2021-06-15 2024-02-27 北京华创智芯科技有限公司 多任务长尾分布图像识别方法、系统、电子设备及介质
CN113592971B (zh) * 2021-07-29 2024-04-16 西安交通大学 一种虚拟人体图像生成方法、系统、设备及介质
US20230114402A1 (en) * 2021-10-11 2023-04-13 Kyocera Document Solutions, Inc. Retro-to-Modern Grayscale Image Translation for Preprocessing and Data Preparation of Colorization
CN114418919B (zh) * 2022-03-25 2022-07-26 北京大甜绵白糖科技有限公司 图像融合方法及装置、电子设备和存储介质
CN115222581A (zh) * 2022-07-18 2022-10-21 维沃移动通信有限公司 图像生成方法、模型训练方法、相关装置及电子设备
CN117036180A (zh) * 2022-10-13 2023-11-10 腾讯科技（深圳）有限公司 图像优化方法、装置、电子设备、介质和程序产品
CN115936983A (zh) * 2022-11-01 2023-04-07 青岛哈尔滨工程大学创新发展中心 基于风格迁移的核磁图像超分辨率方法、装置及计算机存储介质
CN115914630B (zh) * 2023-01-06 2023-05-30 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种图像压缩方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778928A (zh) * 2016-12-21 2017-05-31 广州华多网络科技有限公司 图像处理方法及装置
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和系统
CN108537720A (zh) * 2017-03-01 2018-09-14 杭州九言科技股份有限公司 一种图像处理方法和装置
CN109191382A (zh) * 2018-10-18 2019-01-11 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2008202672B2 (en) * 2008-06-17 2011-04-28 Canon Kabushiki Kaisha Automatic layout based on visual context
EP3507773A1 (en) * 2016-09-02 2019-07-10 Artomatix Ltd. Systems and methods for providing convolutional neural network based image synthesis using stable and controllable parametric models, a multiscale synthesis framework and novel network architectures
US10482639B2 (en) * 2017-02-21 2019-11-19 Adobe Inc. Deep high-resolution style synthesis
US10318889B2 (en) * 2017-06-26 2019-06-11 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
US10891723B1 (en) * 2017-09-29 2021-01-12 Snap Inc. Realistic neural network based image style transfer
US10719742B2 (en) * 2018-02-15 2020-07-21 Adobe Inc. Image composites using a generative adversarial neural network
US20190279075A1 (en) * 2018-03-09 2019-09-12 Nvidia Corporation Multi-modal image translation using neural networks
US10607065B2 (en) * 2018-05-03 2020-03-31 Adobe Inc. Generation of parameterized avatars
CN109308679B (zh) * 2018-08-13 2022-08-30 深圳市商汤科技有限公司 一种图像风格转换方法及装置、设备、存储介质
US11580395B2 (en) * 2018-11-14 2023-02-14 Nvidia Corporation Generative adversarial neural network assisted video reconstruction
US11354791B2 (en) * 2018-12-19 2022-06-07 General Electric Company Methods and system for transforming medical images into different styled images with deep neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106778928A (zh) * 2016-12-21 2017-05-31 广州华多网络科技有限公司 图像处理方法及装置
CN108537720A (zh) * 2017-03-01 2018-09-14 杭州九言科技股份有限公司 一种图像处理方法和装置
CN107767328A (zh) * 2017-10-13 2018-03-06 上海交通大学 基于少量样本生成的任意风格和内容的迁移方法和系统
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109191382A (zh) * 2018-10-18 2019-01-11 京东方科技集团股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
US11403838B2 (en) 2022-08-02
CN111583165A (zh) 2020-08-25
WO2020168844A1 (en) 2020-08-27
US20210365710A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
CN111583165B (zh) 图像处理方法、装置、设备及存储介质
CN109191382B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112101190B (zh) 一种遥感图像分类方法、存储介质及计算设备
CN111767979A (zh) 神经网络的训练方法、图像处理方法、图像处理装置
CN112529146B (zh) 神经网络模型训练的方法和装置
CN112862774B (zh) 一种遥感影像建筑物精确分割方法
CN110245683B (zh) 一种少样本目标识别的残差关系网络构建方法及应用
CN111368118B (zh) 一种图像描述生成方法、系统、装置和存储介质
US8682086B2 (en) Systems and methods for determining image representations at a pixel level
CN115511767B (zh) 一种自监督学习的多模态图像融合方法及其应用
CN113744136A (zh) 基于通道约束多特征融合的图像超分辨率重建方法和系统
RU2745010C1 (ru) Способы реконструкции карты глубины и электронное вычислительное устройство для их реализации
CN109949217A (zh) 基于残差学习和隐式运动补偿的视频超分辨率重建方法
CN110516724A (zh) 可视化作战场景的高性能多层字典学习特征图像处理方法
CN114742985A (zh) 一种高光谱特征提取方法、装置及存储介质
CN110633706B (zh) 一种基于金字塔网络的语义分割方法
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
CN110188621B (zh) 一种基于ssf-il-cnn的三维人脸表情识别方法
CN116882469B (zh) 用于情感识别的脉冲神经网络部署方法、装置及设备
CN113361194A (zh) 一种基于深度学习的传感器漂移校准方法、电子设备及存储介质
CN116386803A (zh) 一种基于图的细胞病理报告生成方法
CN112149711B (zh) 水文地形数据生成方法、装置、计算机设备和存储介质
CN113724307A (zh) 基于特征自校准网络的图像配准方法、装置及相关组件
CN113674383A (zh) 生成文本图像的方法及装置
CN117173552B (zh) 一种水下目标检测方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant