CN110473141A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110473141A
CN110473141A CN201910713641.4A CN201910713641A CN110473141A CN 110473141 A CN110473141 A CN 110473141A CN 201910713641 A CN201910713641 A CN 201910713641A CN 110473141 A CN110473141 A CN 110473141A
Authority
CN
China
Prior art keywords
image
style
features
feature
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910713641.4A
Other languages
English (en)
Other versions
CN110473141B (zh
Inventor
朱圣晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910713641.4A priority Critical patent/CN110473141B/zh
Publication of CN110473141A publication Critical patent/CN110473141A/zh
Application granted granted Critical
Publication of CN110473141B publication Critical patent/CN110473141B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备，其中，本申请实施例获取待处理图像，根据预设的卷积神经网络模型的编码网络提取待处理图像的第一内容特征，其中，卷积神经网络模型包括编码网络、特征融合层和解码网络，编码网络与解码网络的结构互为镜像；获取第一风格特征；在特征融合层，对第一内容特征和第一风格特征进行融合处理，得到第一融合特征；根据解码网络对第一融合特征进行解码处理，生成第一风格迁移图像，提高了图像风格迁移的效率。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
图像风格迁移，即输入图像作为内容图像，输入另一图像作为风格图像，利用风格迁移算法生成新的图像，该图像的内容与内容图像相似，风格与风格图像相似。相关图像风格迁移方案，多是通过统计特征的方式实现，风格迁移时间长，效率低下。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备，能够提高图像风格迁移效率。
第一方面，本申请实施例提供一种图像处理方法，包括：
获取待处理图像；
根据预设的卷积神经网络模型的编码网络提取所述待处理图像的第一内容特征，其中，所述卷积神经网络模型包括编码网络、特征融合层和解码网络，所述编码网络与所述解码网络的结构互为镜像；
获取第一风格特征；
在所述特征融合层，对所述第一内容特征和所述第一风格特征进行融合处理，得到第一融合特征；
根据所述解码网络对所述第一融合特征进行解码处理，生成第一风格迁移图像。
第二方面，本申请实施例提供一种图像处理装置，包括：
图像获取模块，用于获取待处理图像；
特征提取模块，用于根据预设的卷积神经网络模型的编码网络提取所述待处理图像的第一内容特征，其中，所述卷积神经网络模型包括编码网络、特征融合层和解码网络，所述编码网络与所述解码网络的结构互为镜像；
特征获取模块，用于获取第一风格特征；
特征融合模块，用于在所述特征融合层，对所述第一内容特征和所述第一风格特征进行融合处理，得到第一融合特征；
特征解码模块，用于根据所述解码网络对所述第一融合特征进行解码处理，生成第一风格迁移图像。
第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如本申请任一实施例提供的图像处理方法。
第四方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行如本申请任一实施例提供的图像处理方法。
本申请实施例提供的技术方案，获取待处理图像，根据预设的卷积神经网络模型的编码网络提取待处理图像的第一内容特征，其中，卷积神经网络模型包括编码网络、特征融合层和解码网络，编码网络与解码网络的结构互为镜像；获取第一风格特征；在特征融合层，对第一内容特征和第一风格特征进行融合处理，得到第一融合特征；根据解码网络对第一融合特征进行解码处理，生成第一风格迁移图像。该方案中，使用一个卷积神经网络模型，基于该模型的编码网络提取内容特征，使用与编码网络成镜像的解码网络将融合特征转换为风格迁移图像，实现快速高效的图像风格迁移。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的图像处理方法的第一种流程示意图。
图2为本申请实施例提供的图像处理方法中的卷积神经网络模型的结构示意图。
图3为本申请实施例提供的图像处理方法中的卷积神经网络模型的编码网络的结构示意图。
图4为本申请实施例提供的图像处理方法中获取第一风格特征的第一种实施方式的示意图。
图5为本申请实施例提供的图像处理方法中获取第一风格特征的第二种实施方式的示意图。
图6为本申请实施例提供的图像处理方法中的卷积神经网络模型的解码网络的结构示意图。
图7为本申请实施例提供的图像处理方法得到的风格迁移图像与待处理图像的对比示意图。
图8为本申请实施例提供的图像处理方法的第二种流程示意图。
图9为本申请实施例提供的图像处理装置的结构示意图。
图10为本申请实施例提供的电子设备的第一种结构示意图。
图11为本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请的保护范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本申请实施例提供一种图像处理方法，该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置，或者集成了该图像处理装置的电子设备，其中该图像处理装置可以采用硬件或者软件的方式实现。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等设备。
请参阅图1，图1为本申请实施例提供的图像处理方法的第一种流程示意图。本申请实施例提供的图像处理方法的具体流程可以如下：
101、获取待处理图像。
本实施例的方案可以应用于第三方图像处理应用程序中或者移动终端的操作系统提供的原生图像处理应用程序中，用户输入待处理图像，例如，通过启动摄像头拍摄得到待处理图像，或者从本地相册上传待处理图像。
在获取到待处理图像后，根据预先训练好卷积神经网络模型提取待处理图像的内容特征。
102、根据预设的卷积神经网络模型的编码网络提取待处理图像的第一内容特征，其中，卷积神经网络模型包括编码网络、特征融合层和解码网络，编码网络与解码网络的结构互为镜像。
该实施例中利用卷积神经网络模型对图像作风格迁移处理，请参阅图2，图2为本申请实施例提供的图像处理方法中的卷积神经网络模型的结构示意图。卷积神经网络模型包括依次连接的编码网络、特征融合层和解码网络，编码网络与解码网络的结构互为镜像。编码网络可以从用户上传的待处理图像中提取内容特征，也可以从风格图像中提取目标风格特征，特征融合层可以对内容特征和风格特征进行融合处理，得到融合特征，解码网络再对融合特征进行解码处理，得到具有风格图像的风格特征、同时具有待处理图像的内容特征的风格迁移图像。
其中，该实施例的编码网络可以通过对预训练squeezenet网络进一步简化得到。在一些实施例中，取预训练squeezenet网络的fire5层及其之前的几层构成编码网络。
由于本实施例中卷积神经网络模型中各层的处理对象均为图像，每一层的输入和输出事实上都是feature map(特征图)，故下文中出现的输出特征、输入特征均是指feature map。该实施例中的第一内容特征、第一风格特征、第一融合特征等也是featuremap。并且feature map为三维的，可以看作由多个二维图像叠在一起构成。
请参阅图3，图3为本申请实施例提供的图像处理方法中的卷积神经网络模型的编码网络的结构示意图。编码网络依次包括第一卷积层、第一最大池化层、三个连续的第一fire层(分别为fire2、fire3、fire4)、第二最大池化层和一个第一fire层(fire5)。其中每一个fire层又包含有squeeze(压缩)层、expand(膨胀)层和concat(拼接)层。
假设fire层输入的feature map的大小为H*W*M的，则输出的feature map为H*M*(e1+e3)，也就是说，经过fire层处理后，feature map的分辨率不变，变的仅是维数(通道数)。其中，H*W*M的feature map经过Squeeze层，进行了压缩，得到S1个feature map，S1小于M。
expand层包括并列的expand1×1层和expand3×3层，H*W*S1的feature map输入到expand层，在expand1×1层，对该层的输入特征按照大小为1×1的卷积核进行卷积操作，得到H*W*e1的feature map；在expand3×3层，对该层的输入特征按照大小为3×3的卷积核进行卷积操作，得到H*W*e3的feature map。在concat层对expand1×1层和expand3×3层的输出特征进行concat操作，得到整个fire层的输出特征，fire层的输出特征为H*W*(e1+e3)的feature map。
其中，在一些实施例中，将最后一个第一fire层(fire5)输出的特征作(featuremap)为待处理图像的内容特征。
将待处理图像输入卷积神经网络模型，在该模型的编码网络进行计算，得到待处理图像的内容特征。
可以理解的是，在其他实施例中，也可以取预训练squeezenet网络的fire4层及其之前的几层构成编码网络，将fire4层的算输出特征作为图像的内容特征；或者也可以取预训练squeezenet网络的fire6层及其之前的几层构成编码网络，将fire6层的输出特征作为图像的内容特征。或者取预训练squeezenet网络的其他几层，对预训练squeezenet网络进行简化得到编码网络。
103、获取第一风格特征。
在得到待处理图像的内容特征后，获取第一风格特征，即用户想要迁移的风格特征。比如，提供多个预先设置好的风格迁移模板供用户选择，根据用户的选择指令，确定第一风格特征。请参阅图4，图4为本申请实施例提供的图像处理方法中获取第一风格特征的第一种实施方式的示意图。
又比如，用户可以自己上传喜欢的风格图像，根据该卷积神经网络模型的编码网络提取该风格图像的风格特征，作为第一风格特征。在一些实施例中，“获取第一风格特征”可以包括：获取风格图像；根据编码网络提取风格图像的风格特征，作为第一风格特征。请参阅图5，图5为本申请实施例提供的图像处理方法中获取第一风格特征的第二种实施方式的示意图。
可以理解的是，可以将风格图像输入编码网络计算，将编码网络中第一卷积层、fire2、fire3、fire4或者fire5层中的任意一层输出的特征作为第一风格特征，其中，层数越浅，则输出的特征的风格越明显。比如，相对于fire5层的输出特征，fire2层的输出特征体现出的图像风格更明显。
例如，在一实施例中，将风格图像输入编码网络计算，将编码网络的fire5层输出的特征作为第一风格特征，即将fire5层输出的feature map作为第一风格特征。
104、在特征融合层，对第一内容特征和第一风格特征进行融合处理，得到第一融合特征。
获取到第一内容特征和第一风格特征之后，将第一内容特征和第一风格特征输入到卷积神经网络模型的特征融合层，在特征融合层进行特征融合处理，将第一内容特征和第一风格特征融合成一个特征，得到融合特征。该融合特征中既能够体现出待处理图像的内容，又可以体现出待迁移的风格。
105、根据解码网络对第一融合特征进行解码处理，生成第一风格迁移图像。
得到融合特征后，将融合特征输入到解码网络，对第一融合特征进行解码处理。其中，解码网络与编码网络的网络结构成镜像，第二fire层与第一fire层成镜像。因此，解码网络的结构由编码网络决定。若编码网络的结构为图3所示的结构，则解码网络可以依次包括一个第二fire层、第一上采样层、三个连续的第二fire层、第二上采样层和第二卷积层；第一上采样层包括最近邻上采样层和第三卷积层。
请参阅图6，图6为本申请实施例提供的图像处理方法中的卷积神经网络模型的解码网络的结构示意图。解码网络可以依次包括一个第二fire层(fire5transpose)、第一上采样层、三个连续的第二fire层(依次为fire4transpose、fire3transpose、fire2transpose)、第二上采样层和第二卷积层。
其中，第二fire层依次包括split(分割)层、squeeze(压缩)层、sum(求和)层和expand(膨胀)层。squeeze层包括并列的squeeze1×1层和squeeze3×3层。
在split层，对该层的输入特征进行分割操作，按照通道数平均分成两部分，将两部分分别输入并列的squeeze1×1层和squeeze3×3层。在squeeze1×1层，对该层的输入特征按照大小为1×1的卷积核进行卷积操作；在squeeze3×3层，对该层的输入特征按照大小为3×3的卷积核进行卷积操作。在expand层，对该层的输入特征按照大小为1×1的卷积核进行卷积操作。在一些实施例中，squeeze1×1层、squeeze3×3层和的步长均为1。
可以理解的是，若编码网络为其他结构，则解码网络也对应的为与该编码网络的网络结构成镜像的网路结构。
通过该解码网络对融合特征进行反向解码，得到第一风格迁移图像。请参阅图7，图7为本申请实施例提供的图像处理方法得到的风格迁移图像与待处理图像的对比示意图。
现有相关图像风格迁移一般采用与训练分类模型VGG19，提取图像内容特征和风格特征，但是这类模型通常较大，训练时耗费大量的内存和时间，并且训练后的模型较大，迁移速度慢，不适合布置在智能移动终端上。同时，这些模型在生成风格迁移图像时采用的上采样方法为反卷积，当卷积核大小不能被卷积步长整除时，可能会在图像上产生棋盘格效应，迁移效果差；同时卷积操作时未进行合理的边缘像素填充，导致出现人工伪边现象。
针对现有风格迁移模型尺寸较大的缺点，本申请的方案实现了一种轻量级的任意风格迁移模型，极大的降低了模型尺寸，并且减少了模型计算量，有利于部署在智能移动端上，同时有效的改善了以往模型生成图像的棋盘格和人工伪边，使得生成图像在尽可能得保留内容图像的内容特征的同时，具有更为强烈的风格特征。
与采用VGG16网络进行风格迁移相比，本申请实施例提出的用于风格迁移的卷积神经网络模型的尺寸很大程度上减小了，能够部署在智能移动终端，并实现高效运算。详情如下：
此外，本实施例中，为了减小运算量，编码网络的第一卷积层后的最大池化层的步长为2，实现了在网络前段对特征尺寸进行了减半，在解码网络第二上采样层将尺寸还原回去，这一操作极大地减少了模型运算量，缩短运算时间。
其中，待处理图像的分辨率越高，模型的计算量越大，对内存的负担也越大，使用这一方案可有效解决这一问题。在处理低分辨率图像时，这一方案会降低风格迁移后的效果，此时可采用预备方案，即将编码网络的第一卷积层后的最大池化层步长改为1，同时在解码网络中去掉第二上采样层，通过牺牲运算速度保证风格迁移效果。
具体实施时，本申请不受所描述的各个步骤的执行顺序的限制，在不产生冲突的情况下，某些步骤还可以采用其它顺序进行或者同时进行。
由上可知，本申请实施例提供的图像处理方法，获取待处理图像，根据预设的卷积神经网络模型的编码网络提取待处理图像的第一内容特征，其中，卷积神经网络模型包括编码网络、特征融合层和解码网络，编码网络与解码网络的结构互为镜像；获取第一风格特征；在特征融合层，对第一内容特征和第一风格特征进行融合处理，得到第一融合特征；根据解码网络对第一融合特征进行解码处理，生成第一风格迁移图像。该方案中，使用一个卷积神经网络模型，基于该模型的编码网络提取内容特征，使用与编码网络成镜像的解码网络将融合特征转换为风格迁移图像，实现快速高效的图像风格迁移。
在一些实施例中，“根据预设的卷积神经网络模型的编码网络提取待处理图像的第一内容特征”可以包括：根据第一卷积层的卷积核大小确定填充参数；根据对待处理图像进行镜像填充；将经过镜像填充处理的待处理图像输入卷积神经网络模型的编码网络，获取编码网络最后一个fire层输出的特征，作为待处理图像的第一内容特征。
该实施例中，解码网络的第一层为第一卷积层，在将待处理图像输入到第一卷积层进行计算之前，先对图像进行镜像填充(Reflect Padding)，例如，待处理图像的四个边分别填充为[[0，0]、[padding，padding]、[padding，padding]、[0，0]]，padding为卷积核大小除以2取整，舍弃小数点后面的数。将经过镜像填充处理的待处理图像输入编码网络，进行内容特征的提取。
在其他实施例中，也可以解码网络的所有卷积层输入之前，都对输入进行镜像填充，包括第一卷积层，以及fire层中的卷积层。
在一些实施例中，“对第一内容特征和第一风格特征进行融合处理，得到第一融合特征”可以包括：计算第一内容特征的第一均值和第一标准差，计算第一风格特征的第二均值和第二标准差；根据第一均值、第一标准差、第二均值和第二标准差，以及预设融合计算公式，对第一内容特征中的每一个像素点进行特征融合处理，得到第一融合特征。
例如，根据特征融合层分别计算第一内容特征和第一风格特征的均值和标准差，其中，第一内容特征c的第一均值为Cmean，第一标准差为Cstd；第一风格特征的第二均值为Smean，第二标准差为Sstd，融合特征feature的计算公式如下：
针对内容特征中的每一个像素点，都可以按照上述公式将风格特征融合到内容特征中。
在一些实施例中，解码网络中，如图6所示，第一上采样层包括最近邻上采样层和第三卷积层；解码网络中的每一个卷积层后具有非线性激活函数。其中，非线性激活函数可以是relu非线性激活函数等。
其中，第一上采样层的具体操作如下：假设第一上采样层的输入特征的形状参数为b、h、w、c，使用最近邻上采样操作将输入特征变为b、2h、2w、c；第三卷积层的步长为1，将上采样后的特征输入步长为1的卷积层，得到输出特征。第二上采样层可以与第一上采样层具有相同的结构。其中，b为输入特征中图像的数量，h为图像的高，w为图像的宽，c为输入特征的通道数。
在一些实施例中，解码网络的各层具体参数可以为：
fire5 transpose：squeeze层的卷积核数量为32，expand层的卷积核数量为256。
第一上采样层：卷积核数量为256。
fire4transpose：squeeze层的卷积核数量为32，expand层的卷积核数量为128。
fire3transpose：squeeze层的卷积核数量为16，expand层的卷积核数量为128。
fire2transpose：squeeze层的卷积核数量为16，expand层的卷积核数量为64。
第二上采样层：卷积核数量为64。
第二卷积层：卷积核大小为3，卷积核数量为3,步长为1。
在一些实施例中，解码网络的各层具体参数可以为：
fire5transpose：squeeze层的卷积核数量为32，expand层的卷积核数量为256。
第一上采样层：卷积核数量为256。
fire4transpose：squeeze层的卷积核数量为32，expand层的卷积核数量为128。
fire3transpose：squeeze层的卷积核数量为16，expand层的卷积核数量为128。
fire2transpose：squeeze层的卷积核数量为16，expand层的卷积核数量为64。
第二上采样层：卷积核数量为64。
第二卷积层：卷积核大小为3，卷积核数量为3，步长为1。
请参阅图8，图8为本申请实施例提供的图像处理方法的第二种流程示意图。
在一些实施例中，可以按照如下流程训练卷积神经网络模型：
106、获取内容图像集和风格图像集，从内容图像集和风格图像集中获取多个图像对，构成训练集。
107、对于训练集中的每一个图像对，将图像对输入卷积神经网络模型，得到第二风格迁移图像。
108、根据编码网络提取图像对中内容图像的第二内容特征和风格图像的第二风格特征，并根据特征融合特征层对第二内容特征和第二风格特征融合处理，得到第二融合特征。
109、根据编码网络提取第二风格迁移图像的第三风格特征。
110、根据第二融合特征、第二内容特征、第二风格特征和第三风格特征，对损失函数进行计算，以训练卷积神经网络模型，直至模型收敛。
预先构建内容图像集和风格图像集，分别从内容图像集和风格图像集中各取出N张图像，构成N个图像对，由这个N个图像对构成训练集。使用训练集中的N个图像对训练预设的卷积神经网络模型。
该实施例中，使用内容损失函数和风格损失函数训练模型，其中，针对内容特征，构建均方差损失函数，将均方差损失函数作为内容损失函数；针对风格特征，构建风格损失函数。
本实施例中，对于训练集中的每一个图像对，将图像对输入卷积神经网络模型，得到第二风格迁移图像；根据编码网络提取图像对中内容图像的第二内容特征和风格图像的第二风格特征，并根据特征融合特征层对第二内容特征和第二风格特征融合处理，得到第二融合特征。根据编码网络提取第二风格迁移图像的第三风格特征。
在一些实施例中，损失函数由内容损失函数和风格损失函数按照对应的权重加权计算得到；“根据第二融合特征、第二内容特征、第二风格特征和第三风格特征，对损失函数进行计算，以训练卷积神经网络模型，直至模型收敛”可以包括：根据第二融合特征和第二内容特征，对内容损失函数进行计算，并根据第二风格特征和第三风格特征，对风格损失函数进行计算，以训练卷积神经网络模型，直至模型收敛。
该实施例中，使用第二融合特征和第二内容特征，基于内容损失函数计算内容损失；使用第二风格特征和第三风格特征，基于风格损失函数计算风格损失，以训练卷积神经网络模型。
其中，内容损失函数Lcontent的公式如下：
其中，p为图像对中的内容图像，x为第二风格迁移图像，为第二内容特征中的第i行第j个像素点的值。为第二融合特征的第i行第j个像素点的值。其中，i和j的大小由特征图的尺寸决定。
由于图像的风格特征可以用第一卷积层、fire2、fire3、fire5层输出的特征联合表征，因此对图像对中的风格图像和第二风格迁移图像，各自提取这几层特征，只要第二风格迁移图像的这几层特征与风格图像提取的这几层特征相近，即可认为两者的风格相似。
基于此，该实施例中的第二风格特征包括将图像对中的风格图像输入编码网络进行计算，编码网络的第一卷积层、fire2、fire3、fire5层输出的特征。第三风格特征包括将第二风格迁移图像输入编码网络进行计算，编码网络的第一卷积层、fire2、fire3、fire5层输出的特征。可以理解的是，在计算第二融合特征时，第二风格特征只取fire5层输出的特征进行计算即可。
计算风格损失时，首先分别计算第二风格特征和第三风格特征的感知矩阵，计算感知矩阵的公式如下：
其中，中()为编码网络，k为这个网络的第k层，在该实施例中k的取值范围为第一卷积层，fire2层，fire3层，fire5层。Ck为通道数，Hk为特征高度，Wk为特征宽度，X为公式的输入数据，该实施例中为第二风格特征或第三风格特征，(h，w，c′)是(h，w，c)的转置。
然后，计算第三风格特征与第二风格特征的感知矩阵之间的距离，作为风格损失。其中，距离可以用二范数衡量。则风格损失函数可以表示为：
其中，y′为第三风格特征，y为第二风格特征。则模型最终总的损失函数L为：
L＝αLcontent+βLstyle
其中，α和β分别控制内容损失和风格损失在总损失函数中的权重，当α越大时，风格迁移图像保留的内容特征越多，当β越大时，生成图像的风格特征更浓。可以根据对内容特征和风格特征的保留程度，设置α和β的值。
根据第二融合特征、第二内容特征、第二风格特征和第三风格特征，带入上述公式中，计算模型总的损失。根据损失函数，使用Adam优化器对风格迁移模型进行迭代训练，直至网络模型收敛，总的损失达到最小，确定此时的模型参数。保存该卷积神经网络模型，用于图像风格迁移。
其中，由于编码网络采用的预训练网络，其参数不变。而解码网络是编码网络的镜像，解码网络的每一层卷积核尺寸，卷积核大小，卷积核数量，训练使用的批处理参数、学习率、学习率下降策略、总损失函数中的α和β等超参数是预先确定的，经过模型训练确定每一个卷积核中的具体数值。
在一实施例中还提供一种图像处理装置。请参阅图9，图9为本申请实施例提供的图像处理装置200的结构示意图。其中该图像处理装置200应用于电子设备，该图像处理装置200包括图像获取模块201、特征提取模块202、特征获取模块203、特征融合模块204以及特征解码模块205，如下：
图像获取模块201，用于获取待处理图像；
特征提取模块202，用于根据预设的卷积神经网络模型的编码网络提取所述待处理图像的第一内容特征，其中，所述卷积神经网络模型包括编码网络、特征融合层和解码网络，所述编码网络与所述解码网络的结构互为镜像；
特征获取模块203，用于获取第一风格特征；
特征融合模块204，用于在所述特征融合层，对所述第一内容特征和所述第一风格特征进行融合处理，得到第一融合特征；
特征解码模块205，用于根据所述解码网络对所述第一融合特征进行解码处理，生成第一风格迁移图像。
在一些实施例中，特征获取模块203还用于：
获取风格图像；
根据所述编码网络提取所述风格图像的风格特征，作为所述第一风格特征。
在一些实施例中，所述编码网络依次包括第一卷积层、第一最大池化层、三个连续的第一fire层、第二最大池化层和一个第一fire层；特征提取模块202还用于：
根据所述第一卷积层的卷积核大小确定填充参数；
根据对所述待处理图像进行镜像填充；
将经过镜像填充处理的所述待处理图像输入所述卷积神经网络模型的编码网络，获取所述编码网络最后一个fire层输出的特征，作为所述待处理图像的第一内容特征。
在一些实施例中，特征融合模块204还用于：
计算第一内容特征的第一均值和第一标准差，计算第一风格特征的第二均值和第二标准差；
根据所述第一均值、第一标准差、第二均值和第二标准差，以及预设融合计算公式，对所述第一内容特征中的每一个像素点进行特征融合处理，得到第一融合特征。
在一些实施例中，所述解码网络依次包括一个第二fire层、第一上采样层、三个连续的第二fire层、第二上采样层和第二卷积层；
所述第一上采样层包括最近邻上采样层和第三卷积层；所述解码网络中的每一个卷积层后具有非线性激活函数。
在一些实施例中，该图像处理装置200还包括模型训练模块，该模型训练模块用于：
获取内容图像集和风格图像集，从所述内容图像集和风格图像集中获取多个图像对，构成训练集；
对于训练集中的每一个图像对，将所述图像对输入所述卷积神经网络模型，得到第二风格迁移图像；
根据所述编码网络提取所述图像对中内容图像的第二内容特征和风格图像的第二风格特征，并根据所述特征融合特征层对所述第二内容特征和第二风格特征融合处理，得到第二融合特征；
根据所述编码网络提取第二风格迁移图像的第三风格特征；
根据所述第二融合特征、所述第二内容特征、所述第二风格特征和所述第三风格特征，对损失函数进行计算，以训练所述卷积神经网络模型，直至模型收敛。
在一些实施例中，所述损失函数由内容损失函数和风格损失函数按照对应的权重加权计算得到；该模型训练模块还用于：
根据所述第二融合特征和所述第二内容特征，对内容损失函数进行计算，并根据所述第二风格特征和所述第三风格特征，对风格损失函数进行计算，以训练所述卷积神经网络模型，直至模型收敛。
在一些实施例中，该模型训练模块还用于：
将所述第二风格迁移图像数输入所述编码网络进行计算；
将所述编码网络的第一卷积层和多个第一fire层输出的特征作为所述第二风格迁移图像的第三风格特征。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
应当说明的是，本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思，在图像处理装置上可以运行图像处理方法实施例中提供的任一方法，其具体实现过程详见图像处理方法实施例，此处不再赘述。
由上可知，本申请实施例提出的图像处理装置，图像获取模块201获取待处理图像，特征提取模块202根据预设的卷积神经网络模型的编码网络提取待处理图像的第一内容特征，其中，卷积神经网络模型包括编码网络、特征融合层和解码网络，编码网络与解码网络的结构互为镜像；特征获取模块203获取第一风格特征；特征融合模块204在特征融合层，对第一内容特征和第一风格特征进行融合处理，得到第一融合特征；特征解码模块205根据解码网络对第一融合特征进行解码处理，生成第一风格迁移图像。该方案中，使用一个卷积神经网络模型，基于该模型的编码网络提取内容特征，使用与编码网络成镜像的解码网络将融合特征转换为风格迁移图像，实现快速高效的图像风格迁移。
本申请实施例还提供一种电子设备。所述电子设备可以是智能手机、平板电脑等设备。请参阅图10，图10为本申请实施例提供的电子设备的第一种结构示意图。电子设备300包括处理器301和存储器302。其中，处理器301与存储器302电性连接。
处理器301是电子设备300的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或调用存储在存储器302内的计算机程序，以及调用存储在存储器302内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。
存储器302可用于存储计算机程序和数据。存储器302存储的计算机程序中包含有可在处理器中执行的指令。计算机程序可以组成各种功能模块。处理器301通过调用存储在存储器302的计算机程序，从而执行各种功能应用以及数据处理。
在本实施例中，电子设备300中的处理器301会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中，并由处理器301来运行存储在存储器302中的计算机程序，从而实现各种功能：
获取待处理图像；
根据预设的卷积神经网络模型的编码网络提取所述待处理图像的第一内容特征，其中，所述卷积神经网络模型包括编码网络、特征融合层和解码网络，所述编码网络与所述解码网络的结构互为镜像；
获取第一风格特征；
在所述特征融合层，对所述第一内容特征和所述第一风格特征进行融合处理，得到第一融合特征；
根据所述解码网络对所述第一融合特征进行解码处理，生成第一风格迁移图像。
在一些实施例中，请参阅图11，图11为本申请实施例提供的电子设备的第二种结构示意图。电子设备300还包括：射频电路303、显示屏304、控制电路305、输入单元306、音频电路307、传感器308以及电源309。其中，处理器301分别与射频电路303、显示屏304、控制电路305、输入单元306、音频电路307、传感器308以及电源309电性连接。
射频电路303用于收发射频信号，以通过无线通信与网络设备或其他电子设备进行通信。
显示屏304可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图像、文本、图标、视频和其任意组合来构成。
控制电路305与显示屏304电性连接，用于控制显示屏304显示信息。
输入单元306可用于接收输入的数字、字符信息或用户特征信息(例如指纹)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。其中，输入单元306可以包括指纹识别模组。
音频电路307可通过扬声器、传声器提供用户与电子设备之间的音频接口。其中，音频电路307包括麦克风。所述麦克风与所述处理器301电性连接。所述麦克风用于接收用户输入的语音信息。
传感器308用于采集外部环境信息。传感器308可以包括环境亮度传感器、加速度传感器、陀螺仪等传感器中的一种或多种。
电源309用于给电子设备300的各个部件供电。在一些实施例中，电源309可以通过电源管理系统与处理器301逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图11中未示出，电子设备300还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本实施例中，电子设备300中的处理器301会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器302中，并由处理器301来运行存储在存储器302中的计算机程序，从而实现各种功能：
获取待处理图像；
根据预设的卷积神经网络模型的编码网络提取所述待处理图像的第一内容特征，其中，所述卷积神经网络模型包括编码网络、特征融合层和解码网络，所述编码网络与所述解码网络的结构互为镜像；
获取第一风格特征；
在所述特征融合层，对所述第一内容特征和所述第一风格特征进行融合处理，得到第一融合特征；
根据所述解码网络对所述第一融合特征进行解码处理，生成第一风格迁移图像。
在一些实施例中，在获取第一风格特征时，处理器301执行：
获取风格图像；
根据所述编码网络提取所述风格图像的风格特征，作为所述第一风格特征。
在一些实施例中，所述编码网络依次包括第一卷积层、第一最大池化层、三个连续的第一fire层、第二最大池化层和一个第一fire层；在根据预设的卷积神经网络模型的编码网络提取所述待处理图像的第一内容特征时，处理器301执行：
根据所述第一卷积层的卷积核大小确定填充参数；
根据对所述待处理图像进行镜像填充；
将经过镜像填充处理的所述待处理图像输入所述卷积神经网络模型的编码网络，获取所述编码网络最后一个fire层输出的特征，作为所述待处理图像的第一内容特征。
在一些实施例中，在对所述第一内容特征和所述第一风格特征进行融合处理，得到第一融合特征时，处理器301执行：
计算第一内容特征的第一均值和第一标准差，计算第一风格特征的第二均值和第二标准差；
根据所述第一均值、第一标准差、第二均值和第二标准差，以及预设融合计算公式，对所述第一内容特征中的每一个像素点进行特征融合处理，得到第一融合特征。
在一些实施例中，所述解码网络依次包括一个第二fire层、第一上采样层、三个连续的第二fire层、第二上采样层和第二卷积层；
所述第一上采样层包括最近邻上采样层和第三卷积层；所述解码网络中的每一个卷积层后具有非线性激活函数。
在一些实施例中，处理器301执行：
获取内容图像集和风格图像集，从所述内容图像集和风格图像集中获取多个图像对，构成训练集；
对于训练集中的每一个图像对，将所述图像对输入所述卷积神经网络模型，得到第二风格迁移图像；
根据所述编码网络提取所述图像对中内容图像的第二内容特征和风格图像的第二风格特征，并根据所述特征融合特征层对所述第二内容特征和第二风格特征融合处理，得到第二融合特征；
根据所述编码网络提取第二风格迁移图像的第三风格特征；
根据所述第二融合特征、所述第二内容特征、所述第二风格特征和所述第三风格特征，对损失函数进行计算，以训练所述卷积神经网络模型，直至模型收敛。
在一些实施例中，所述损失函数由内容损失函数和风格损失函数按照对应的权重加权计算得到；在根据所述第二融合特征、所述第二内容特征、所述第二风格特征和所述第三风格特征，对损失函数进行计算，以训练所述卷积神经网络模型，直至模型收敛时，处理器301执行：
根据所述第二融合特征和所述第二内容特征，对内容损失函数进行计算，并根据所述第二风格特征和所述第三风格特征，对风格损失函数进行计算，以训练所述卷积神经网络模型，直至模型收敛。
在一些实施例中，在根据所述编码网络提取第二风格迁移图像的第三风格特征时，处理器301执行：
将所述第二风格迁移图像数输入所述编码网络进行计算；
将所述编码网络的第一卷积层和多个第一fire层输出的特征作为所述第二风格迁移图像的第三风格特征。
由上可知，本申请实施例提供了一种电子设备，所述电子设备获取待处理图像，根据预设的卷积神经网络模型的编码网络提取待处理图像的第一内容特征，其中，卷积神经网络模型包括编码网络、特征融合层和解码网络，编码网络与解码网络的结构互为镜像；获取第一风格特征；在特征融合层，对第一内容特征和第一风格特征进行融合处理，得到第一融合特征；根据解码网络对第一融合特征进行解码处理，生成第一风格迁移图像。该方案中，使用一个卷积神经网络模型，基于该模型的编码网络提取内容特征，使用与编码网络成镜像的解码网络将融合特征转换为风格迁移图像，实现快速高效的图像风格迁移。
本申请实施例还提供一种存储介质，所述存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，所述计算机执行上述任一实施例所述的图像处理方法。
需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。
此外，本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上对本申请实施例所提供的图像处理方法、装置、存储介质及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
获取待处理图像；
根据预设的卷积神经网络模型的编码网络提取所述待处理图像的第一内容特征，其中，所述卷积神经网络模型包括编码网络、特征融合层和解码网络，所述编码网络与所述解码网络的结构互为镜像；
获取第一风格特征；
在所述特征融合层，对所述第一内容特征和所述第一风格特征进行融合处理，得到第一融合特征；
根据所述解码网络对所述第一融合特征进行解码处理，生成第一风格迁移图像。
2.如权利要求1所述的图像处理方法，其特征在于，所述获取第一风格特征，包括：
获取风格图像；
根据所述编码网络提取所述风格图像的风格特征，作为所述第一风格特征。
3.如权利要求1所述的图像处理方法，其特征在于，所述编码网络依次包括第一卷积层、第一最大池化层、三个连续的第一fire层、第二最大池化层和一个第一fire层；所述根据预设的卷积神经网络模型的编码网络提取所述待处理图像的第一内容特征，包括：
根据所述第一卷积层的卷积核大小确定填充参数；
根据对所述待处理图像进行镜像填充；
将经过镜像填充处理的所述待处理图像输入所述卷积神经网络模型的编码网络，获取所述编码网络最后一个fire层输出的特征，作为所述待处理图像的第一内容特征。
4.如权利要求1所述的图像处理方法，其特征在于，所述对所述第一内容特征和所述第一风格特征进行融合处理，得到第一融合特征，包括：
计算第一内容特征的第一均值和第一标准差，计算第一风格特征的第二均值和第二标准差；
根据所述第一均值、第一标准差、第二均值和第二标准差，以及预设融合计算公式，对所述第一内容特征中的每一个像素点进行特征融合处理，得到第一融合特征。
5.如权利要求1所述的图像处理方法，其特征在于，所述解码网络依次包括一个第二fire层、第一上采样层、三个连续的第二fire层、第二上采样层和第二卷积层；
所述第一上采样层包括最近邻上采样层和第三卷积层；所述解码网络中的每一个卷积层后具有非线性激活函数。
6.如权利要求1至5任一项所述的图像处理方法，其特征在于，所述方法还包括：
获取内容图像集和风格图像集，从所述内容图像集和风格图像集中获取多个图像对，构成训练集；
对于训练集中的每一个图像对，将所述图像对输入所述卷积神经网络模型，得到第二风格迁移图像；
根据所述编码网络提取所述图像对中内容图像的第二内容特征和风格图像的第二风格特征，并根据所述特征融合特征层对所述第二内容特征和第二风格特征融合处理，得到第二融合特征；
根据所述编码网络提取第二风格迁移图像的第三风格特征；
根据所述第二融合特征、所述第二内容特征、所述第二风格特征和所述第三风格特征，对损失函数进行计算，以训练所述卷积神经网络模型，直至模型收敛。
7.如权利要求6所述的图像处理方法，其特征在于，所述损失函数由内容损失函数和风格损失函数按照对应的权重加权计算得到；
所述根据所述第二融合特征、所述第二内容特征、所述第二风格特征和所述第三风格特征，对损失函数进行计算，以训练所述卷积神经网络模型，直至模型收敛，包括：
根据所述第二融合特征和所述第二内容特征，对内容损失函数进行计算，并根据所述第二风格特征和所述第三风格特征，对风格损失函数进行计算，以训练所述卷积神经网络模型，直至模型收敛。
8.如权利要求6所述的图像处理方法，其特征在于，所述根据所述编码网络提取第二风格迁移图像的第三风格特征，包括：
将所述第二风格迁移图像数输入所述编码网络进行计算；
将所述编码网络的第一卷积层和多个第一fire层输出的特征作为所述第二风格迁移图像的第三风格特征。
9.一种图像处理装置，其特征在于，包括：
图像获取模块，用于获取待处理图像；
特征提取模块，用于根据预设的卷积神经网络模型的编码网络提取所述待处理图像的第一内容特征，其中，所述卷积神经网络模型包括编码网络、特征融合层和解码网络，所述编码网络与所述解码网络的结构互为镜像；
特征获取模块，用于获取第一风格特征；
特征融合模块，用于在所述特征融合层，对所述第一内容特征和所述第一风格特征进行融合处理，得到第一融合特征；
特征解码模块，用于根据所述解码网络对所述第一融合特征进行解码处理，生成第一风格迁移图像。
10.一种存储介质，其上存储有计算机程序，其特征在于，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1至8任一项所述的图像处理方法。
11.一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，其特征在于，所述处理器通过调用所述计算机程序，用于执行如权利要求1至8任一项所述的图像处理方法。
CN201910713641.4A 2019-08-02 2019-08-02 图像处理方法、装置、存储介质及电子设备 Active CN110473141B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910713641.4A CN110473141B (zh) 2019-08-02 2019-08-02 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910713641.4A CN110473141B (zh) 2019-08-02 2019-08-02 图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN110473141A true CN110473141A (zh) 2019-11-19
CN110473141B CN110473141B (zh) 2023-08-18

Family

ID=68509388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910713641.4A Active CN110473141B (zh) 2019-08-02 2019-08-02 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110473141B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN111127378A (zh) * 2019-12-23 2020-05-08 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质
CN111179215A (zh) * 2019-11-29 2020-05-19 北京航空航天大学合肥创新研究院 一种基于细胞明场图片对细胞内部结构的分析方法及系统
CN111223039A (zh) * 2020-01-08 2020-06-02 广东博智林机器人有限公司 图像风格转换方法、装置、电子设备及存储介质
CN111242220A (zh) * 2020-01-14 2020-06-05 广东博智林机器人有限公司 基于编解码网络的图像处理方法、装置、设备及介质
CN111325252A (zh) * 2020-02-12 2020-06-23 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、介质
CN111325664A (zh) * 2020-02-27 2020-06-23 Oppo广东移动通信有限公司 风格迁移方法、装置、存储介质及电子设备
CN111494946A (zh) * 2020-04-23 2020-08-07 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111583352A (zh) * 2020-04-24 2020-08-25 天津大学 一种用于移动终端的风格化图标智能生成方法
CN111681195A (zh) * 2020-06-09 2020-09-18 中国人民解放军63811部队 红外图像和可见光图像的融合方法、装置及可读存储介质
CN111784565A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111985544A (zh) * 2020-08-07 2020-11-24 中移（杭州）信息技术有限公司 分形图形风格融合方法、装置、电子设备及存储介质
CN112036137A (zh) * 2020-08-27 2020-12-04 哈尔滨工业大学（深圳） 一种基于深度学习的多风格书法数字墨水仿真方法和系统
CN112508774A (zh) * 2020-11-24 2021-03-16 维沃移动通信有限公司 图像的处理方法及装置
CN112862909A (zh) * 2021-02-05 2021-05-28 北京百度网讯科技有限公司 一种数据处理方法、装置、设备以及存储介质
CN113012038A (zh) * 2021-03-19 2021-06-22 深圳市兴海物联科技有限公司 一种图像风格迁移处理方法、移动终端和云端服务器
CN113052757A (zh) * 2021-03-08 2021-06-29 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
WO2021134311A1 (zh) * 2019-12-30 2021-07-08 苏州臻迪智能科技有限公司 拍摄对象切换方法及装置、图像处理方法及装置
CN113191944A (zh) * 2021-05-31 2021-07-30 大连民族大学 一种多通道图像内容特征融合风格迁移方法及系统
CN113240599A (zh) * 2021-05-10 2021-08-10 Oppo广东移动通信有限公司 图像调色方法及装置、计算机可读存储介质、电子设备
CN113327194A (zh) * 2021-06-30 2021-08-31 北京百度网讯科技有限公司 图像风格迁移方法、装置、设备和存储介质
CN113468981A (zh) * 2021-06-10 2021-10-01 的卢技术有限公司 图像处理方法、装置、计算机设备和存储介质
CN113723480A (zh) * 2021-08-18 2021-11-30 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备和存储介质
CN113723294A (zh) * 2021-08-31 2021-11-30 杭州海康威视数字技术股份有限公司 数据处理方法、装置及对象识别方法、装置
WO2024032075A1 (zh) * 2022-08-08 2024-02-15 华为技术有限公司 图像处理网络的训练、编解码方法及电子设备
CN117611953A (zh) * 2024-01-18 2024-02-27 深圳思谋信息科技有限公司 图形码生成方法、装置、计算机设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357800A1 (en) * 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109426858A (zh) * 2017-08-29 2019-03-05 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
CN109766895A (zh) * 2019-01-03 2019-05-17 京东方科技集团股份有限公司 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法
CN109949214A (zh) * 2019-03-26 2019-06-28 湖北工业大学 一种图像风格迁移方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180357800A1 (en) * 2017-06-09 2018-12-13 Adobe Systems Incorporated Multimodal style-transfer network for applying style features from multi-resolution style exemplars to input images
CN109426858A (zh) * 2017-08-29 2019-03-05 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109766895A (zh) * 2019-01-03 2019-05-17 京东方科技集团股份有限公司 用于图像风格迁移的卷积神经网络的训练方法和图像风格迁移方法
CN109949214A (zh) * 2019-03-26 2019-06-28 湖北工业大学 一种图像风格迁移方法及系统

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN111179215B (zh) * 2019-11-29 2022-09-13 北京航空航天大学合肥创新研究院 一种基于细胞明场图片对细胞内部结构的分析方法及系统
CN111179215A (zh) * 2019-11-29 2020-05-19 北京航空航天大学合肥创新研究院 一种基于细胞明场图片对细胞内部结构的分析方法及系统
WO2021129642A1 (zh) * 2019-12-23 2021-07-01 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质
CN111127378A (zh) * 2019-12-23 2020-05-08 Oppo广东移动通信有限公司 图像处理方法、装置、计算机设备及存储介质
WO2021134311A1 (zh) * 2019-12-30 2021-07-08 苏州臻迪智能科技有限公司 拍摄对象切换方法及装置、图像处理方法及装置
CN111223039A (zh) * 2020-01-08 2020-06-02 广东博智林机器人有限公司 图像风格转换方法、装置、电子设备及存储介质
CN111242220A (zh) * 2020-01-14 2020-06-05 广东博智林机器人有限公司 基于编解码网络的图像处理方法、装置、设备及介质
CN111325252A (zh) * 2020-02-12 2020-06-23 腾讯科技（深圳）有限公司 图像处理方法、装置、设备、介质
CN111325664B (zh) * 2020-02-27 2023-08-29 Oppo广东移动通信有限公司 风格迁移方法、装置、存储介质及电子设备
CN111325664A (zh) * 2020-02-27 2020-06-23 Oppo广东移动通信有限公司 风格迁移方法、装置、存储介质及电子设备
CN111494946A (zh) * 2020-04-23 2020-08-07 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111494946B (zh) * 2020-04-23 2021-05-18 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN111583352A (zh) * 2020-04-24 2020-08-25 天津大学 一种用于移动终端的风格化图标智能生成方法
CN111583352B (zh) * 2020-04-24 2023-10-13 天津大学 一种用于移动终端的风格化图标智能生成方法
CN111681195A (zh) * 2020-06-09 2020-09-18 中国人民解放军63811部队 红外图像和可见光图像的融合方法、装置及可读存储介质
CN111784565A (zh) * 2020-07-01 2020-10-16 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111784565B (zh) * 2020-07-01 2021-10-29 北京字节跳动网络技术有限公司 图像处理方法、迁移模型训练方法、装置、介质及设备
CN111985544A (zh) * 2020-08-07 2020-11-24 中移（杭州）信息技术有限公司 分形图形风格融合方法、装置、电子设备及存储介质
CN112036137A (zh) * 2020-08-27 2020-12-04 哈尔滨工业大学（深圳） 一种基于深度学习的多风格书法数字墨水仿真方法和系统
CN112508774A (zh) * 2020-11-24 2021-03-16 维沃移动通信有限公司 图像的处理方法及装置
CN112508774B (zh) * 2020-11-24 2024-05-24 维沃移动通信有限公司 图像的处理方法及装置
CN112862909A (zh) * 2021-02-05 2021-05-28 北京百度网讯科技有限公司 一种数据处理方法、装置、设备以及存储介质
CN113052757A (zh) * 2021-03-08 2021-06-29 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
CN113012038A (zh) * 2021-03-19 2021-06-22 深圳市兴海物联科技有限公司 一种图像风格迁移处理方法、移动终端和云端服务器
CN113012038B (zh) * 2021-03-19 2023-11-28 深圳市兴海物联科技有限公司 一种图像风格迁移处理方法、移动终端和云端服务器
CN113240599A (zh) * 2021-05-10 2021-08-10 Oppo广东移动通信有限公司 图像调色方法及装置、计算机可读存储介质、电子设备
CN113191944A (zh) * 2021-05-31 2021-07-30 大连民族大学 一种多通道图像内容特征融合风格迁移方法及系统
CN113191944B (zh) * 2021-05-31 2023-11-07 大连民族大学 一种多通道图像内容特征融合风格迁移方法及系统
CN113468981A (zh) * 2021-06-10 2021-10-01 的卢技术有限公司 图像处理方法、装置、计算机设备和存储介质
CN113327194A (zh) * 2021-06-30 2021-08-31 北京百度网讯科技有限公司 图像风格迁移方法、装置、设备和存储介质
CN113723480A (zh) * 2021-08-18 2021-11-30 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备和存储介质
CN113723480B (zh) * 2021-08-18 2024-03-05 北京达佳互联信息技术有限公司 一种图像处理方法、装置、电子设备和存储介质
CN113723294A (zh) * 2021-08-31 2021-11-30 杭州海康威视数字技术股份有限公司 数据处理方法、装置及对象识别方法、装置
WO2024032075A1 (zh) * 2022-08-08 2024-02-15 华为技术有限公司 图像处理网络的训练、编解码方法及电子设备
CN117611953A (zh) * 2024-01-18 2024-02-27 深圳思谋信息科技有限公司 图形码生成方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN110473141B (zh) 2023-08-18

Similar Documents

Publication Publication Date Title
CN110473141A (zh) 图像处理方法、装置、存储介质及电子设备
CN110298361B (zh) 一种rgb-d图像的语义分割方法和系统
CN110136136A (zh) 场景分割方法、装置、计算机设备及存储介质
CN111325271B (zh) 图像分类方法及装置
CN110929569B (zh) 人脸识别方法、装置、设备及存储介质
CN112651438A (zh) 多类别图像的分类方法、装置、终端设备和存储介质
CN108062780A (zh) 图像压缩方法和装置
CN109492612A (zh) 基于骨骼点的跌倒检测方法及其跌倒检测装置
CN108765278A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
WO2021248859A1 (zh) 视频分类方法、装置、设备及计算机可读存储介质
CN108960288B (zh) 基于卷积神经网络的三维模型分类方法及系统
CN109858333A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN110598715A (zh) 图像识别方法、装置、计算机设备及可读存储介质
CN108898549A (zh) 图片处理方法、图片处理装置及终端设备
CN110543895A (zh) 一种基于VGGNet和ResNet的图像分类方法
CN112950640A (zh) 视频人像分割方法、装置、电子设备及存储介质
CN112015934B (zh) 基于神经网络和Unity的智能发型推荐方法、装置及系统
CN109816659A (zh) 图像分割方法、装置及系统
CN109598250A (zh) 特征提取方法、装置、电子设备和计算机可读介质
CN109255768A (zh) 图像补全方法、装置、终端及计算机可读存储介质
CN113361387A (zh) 人脸图像融合方法及装置、存储介质及电子设备
CN115410274A (zh) 一种手势识别方法、装置及存储介质
CN112329808A (zh) 一种Deeplab语义分割算法的优化方法及系统
CN114360018B (zh) 三维人脸表情的渲染方法及装置、存储介质及电子装置
CN117576402B (zh) 一种基于深度学习的多尺度聚合Transformer遥感图像语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant