CN111429388B - 一种图像处理方法、装置和终端设备 - Google Patents

一种图像处理方法、装置和终端设备 Download PDF

Info

Publication number
CN111429388B
CN111429388B CN201910020045.8A CN201910020045A CN111429388B CN 111429388 B CN111429388 B CN 111429388B CN 201910020045 A CN201910020045 A CN 201910020045A CN 111429388 B CN111429388 B CN 111429388B
Authority
CN
China
Prior art keywords
image
feature
feature map
strokes
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910020045.8A
Other languages
English (en)
Other versions
CN111429388A (zh
Inventor
任健强
姚远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201910020045.8A priority Critical patent/CN111429388B/zh
Publication of CN111429388A publication Critical patent/CN111429388A/zh
Application granted granted Critical
Publication of CN111429388B publication Critical patent/CN111429388B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像处理方法、装置和终端设备，该方法包括：分别将待处理的原始图像和风格图像进行编码处理，得到第一特征图和第二特征图像；将第一特征图与获取的多个不同尺寸的特征图中的每一个特征图进行特征交换，得到多个笔触的第三特征图；根据多个笔触对原始图像对应的注意力图像进行图像处理的结果和多个笔触的第三特征图，得到多笔触融合的第四特征图；对第四特征图进行解码处理，得到风格转换后的目标图像。通过本申请的技术方案，解决图像进行风格转换时存在的视觉显著性不一致和细节畸变或缺失的问题，且整个图像风格转换过程中不需要人工参与，在进行特征交换时可以自动决定某个图像区域应该选择的笔触尺寸。

Description

一种图像处理方法、装置和终端设备
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像处理方法、装置和终端设备。
背景技术
图像智能设计依托人工智能技术，能够高效地完成海量的平面广告设计制作工作，生成千人千面的海报广告。在智能设计流程中，往往需要对一个图像元素进行多种颜色或风格的拓展，或者按照另一种图像风格进行视觉效果的转换，而人工设计师显然无法实现海量图像的实时转换。因此，实时的，针对任意风格的图像风格转换算法在图像智能设计中有着强烈的需求和广泛的应用场景。
然而，现有的图像风格转换算法无法保证转换后的图像与原始图像具有视觉显著性方面的一致性，导致原图中视觉重要区域在转换后被削弱，同时，存在细节缺失或畸变等问题。
发明内容
本说明书实施例的目的是提供一种图像处理方法和装置、终端设备，以解决图像进行风格转换时存在的视觉显著性不一致和细节畸变或缺失的问题。
为了实现上述目的，本申请实施例采用下述技术方案：
第一方面，提供一种图像处理方法，包括：
分别将待处理的原始图像和风格图像进行编码处理，得到第一特征图和第二特征图像；
将所述第一特征图分别与获取的多个不同尺寸的特征图中的每一个特征图进行特征交换，得到多个笔触的第三特征图，其中，所述多个不同尺寸的特征图为所述第二特征图中多个不同尺寸的块状区域；
根据多个笔触对所述原始图像对应的注意力图像进行图像处理的结果和所述多个笔触的第三特征图，得到多笔触融合的第四特征图；
对所述第四特征图进行解码处理，得到风格转换后的目标图像。
第二方面，提供一种图像处理装置，包括：
编码模块，用于分别将待处理的原始图像和风格图像进行编码处理，得到第一特征图和第二特征图像；
交换模块，用于将所述编码模块得到的所述第一特征图分别与获取的多个不同尺寸的特征图中的每一个特征图进行特征交换，得到多个笔触的第三特征图，其中，所述多个不同尺寸的特征图为所述第二特征图中多个不同尺寸的块状区域；
融合模块，用于根据多个笔触对所述原始图像对应的注意力图像进行图像处理的结果和所述交换模块得到的所述多个笔触的第三特征图，得到多笔触融合的第四特征图；
解码模块，用于对所述融合模块得到的所述第四特征图进行解码处理，得到风格转换后的目标图像。
第三方面，提供一种终端设备，包括：
存储器，用于存储计算机指令；
处理器，用于执行所述计算机指令实现如第一方面提供的图像处理方法的步骤。
由以上本说明书实施例提供的技术方案可见，本说明书实施例中，通过将风格图像和待处理的原始图像分别进行编码处理，对两者的特征图以块状区域为单元进行特征交换，既保留了原始图像的整体特征布局，又将局部块状区域的纹理和颜色替换为风格图像的纹理和颜色信息，从而实现了风格迁移，由此可以解决图像进行风格转换时存在的视觉显著性不一致和细节畸变或缺失的问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书的一个实施例提供的一种图像处理方法的示意性流程图；
图2为本说明书的一个实施例提供的卷积神经网络的示意性结构图；
图3为本说明书的另一个实施例提供的一种图像处理方法的示意性流程图；
图4为本说明书的另一个实施例提供的一种图像处理方法的示意性流程图；
图5为本说明书的另一个实施例提供的一种图像处理方法的示意性流程图；
图6为本说明书实施例一种图像处理装置的功能结构示意图；
图7为本说明书实施例一种终端设备的功能结构示意图；
图8为本说明书实施例的多笔触效果图；
图9为本说明书实施例的多笔触融合过程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
本说明书实施例提供的一种图像处理方法可以以终端设备为执行主体。终端设备可以为可移动设备，例如：智能手机、平板终端设备、便携式计算机、个人数字助理(PDA)、车载设备、POS机、或智能穿戴设备等。或者，终端设备还可以为桌面设备，例如：电视机、服务器、工控机(工业控制计算机)、个人计算机(PC机)、一体机、或智能自助终端(kiosk)等。
由于每个图像I都具有两类信息，即：内容信息Ic和风格信息Is。内容信息Is指的是图像的整体空间结构和布局，风格信息Is指的是图像的局部纹理和颜色信息。
对图像A进行风格转换，即为：将图像A视为内容图像，将图像B视为风格图像，得到具有图像A的结构，且具有图像B的颜色纹理的目标图像。
本发明的发明人在研究过程中发现：现有技术中在对图像进行风格转换时，全图采用同一笔触大小，无法对图像细节区域和非细节区域进行差异性处理，导致转换后存在图像细节畸变或缺失等问题。尽管，为了解决这个问题，有一些解决方案中考虑采用多笔触，但是，为了实现对不同图像区域使用不同笔触进行处理的目标，通常是采用人工提供的图像区域掩膜并人为设定笔触大小进行风格转换。因此，在整个图像风格转换过程中都需要人工参与，无法自动地决定某个图像区域应该选择多少尺寸的笔触。
基于上述原因，本说明书的实施例提供一种图像处理方法，通过对内容图像A和风格图像B进行编码处理，对图像A和图像B的特征图以块状区域为单元进行特征交换，既保留了内容图像A的整体特征布局，又将局部块状区域的纹理和颜色替换为风格图像B的纹理和颜色信息，从而实现了风格迁移，由此可以解决图像进行风格转换时存在的视觉显著性不一致和细节畸变或缺失的问题。
另外，整个图像风格转换过程中不需要人工参与，在进行特征交换时可以自动决定某个图像区域应该选择的笔触尺寸。
如图1所示的一种图像处理方法100，包括：
110、分别将待处理的原始图像和风格图像进行编码处理，得到第一特征图和第二特征图像。
120、将第一特征图与获取的多个不同尺寸的特征图中的每一个特征图进行特征交换，得到多个笔触的第三特征图。其中，多个不同尺寸的特征图为第二特征图中多个不同尺寸的块状区域。
130、根据多个笔触对原始图像对应的注意力图像进行图像处理的结果和多个笔触的第三特征图，得到多笔触融合的第四特征图。
140、对第四特征图进行解码处理，得到风格转换后的目标图像。
具体的，在该实施例中，可以预先构建包括：编码器、解码器、注意力检测模块、多尺度特征交换模块和多笔触融合模块的卷积神经网络。具体的，本说明书实施例中卷积神经网络的结构可参见附图2。
则步骤110具体可以为：利用卷积神经网络中的编码器对原始图像进行编码处理，得到第一特征图，并利用卷积神经网络中的编码器对风格图像进行编码处理，得到第二特征图。
步骤140具体可以为：利用卷积神经网络中的解码器对第四特征图进行解码处理，得到目标图像。
需要说明的是，利用卷积神经网络的编码和解码之前，通过随机梯度下降法优化损失函数对编码和解码进行优化处理。具体的，在构建卷积神经网络的过程中，对编码器和解码器训练时，可以将编码器和解码器级联构成自编码器，并利用随机梯度下降法优化损失函数，得到优化后的编码器和解码器。
为训练得到编码器和解码器，可以将编码器和解码器级联构成自编码器重建网络，并利用随机梯度下降法优化如下的损失函数。
Figure BDA0001940450940000061
其中，Ic为自编码器输入图像，
Figure BDA0001940450940000062
为自编码器重建图像，λp为感知损失的权重系数。
Figure BDA0001940450940000063
表示图像/>
Figure BDA0001940450940000064
在感知神经网络φ的第l个卷积层的特征图，lδ是网络总层数。本实施例中，利用随机梯度下降法优化损失函数的目的是为了使得自编码器输入图像和自编码器重建图像，两者之间的差别尽量小，从而在应用到本说明书实施例提供的图像处理方法中时，可以减小原始图像在进行风格转换时的细节畸变或缺失。
具体的，在该实施例中，编码器可以为：依次连接的卷积层1-1、1-2，池化层1，卷积层2-1、2-2，池化层2，卷积层3-1、3-2、3-3、3-4，池化层3和卷积层4-1。解码器可以为：依次连接的反卷积层4-1，上采样层1，反卷积层3-4、3-3、3-2、3-1，上采样层3，反卷积层2-2、2-1，上采样层3和反卷积层1-2、1-1。也就是说，在该实施例中，编码器和解码器分别包括9个卷积层。
可选地，作为一个实施例，步骤120可以为：将第一特征图中的每一个第一块状区域替换为每一个特征图中的第二块状区域，得到多个笔触的第三特征图。其中，第二块状区域与第一块状区域的相似度最高。
优选的，在该实施例中，第一块状区域与第二块状区域的大小相同。
具体的，在该实施例中，将第一特征图中的每一个第一块状区域替换为多个特征图中的每一个特征图中与第一块状区域最相似的第二块状区域，得到多个笔触的第三特征图。从而，可以自动决定某个图像区域应该选择的笔触尺寸，在整个图像风格转换过程中不需要人工参与。
可选地，在一个实施例中，如图3所示，在步骤120之前，方法100还包括：
150、从第二特征图中选取多个不同尺寸的特征图。
具体的，在该实施例中，多个不同尺寸的特征图可以为从第二特征图像中选取的多个不同尺寸的块状区域，然后分别用不同大小的块状区域进行特征交换。
或者，如图4所示，在步骤120之前，方法100还包括：
160、对第二特征图进行多个目标尺寸的图像缩放处理，得到多个不同尺寸的特征图。
需要说明的是，在该实施例中，当采用不同尺寸的块状区域进行交换时，会受限于整个卷积神经网络的感受野范围，当块状区域的尺寸大于感受野范围时，则结果变化就不明显了。例如：感受野范围是5*5，用尺寸为2*2的块状区域进行特征交换，用尺寸为3*3的块状区域进行特征交换，都可以而且都有不同笔触效果。但是，用尺寸为6*6的块状区域进行交换，因为超过了感受野范围，就没有区别了。
而在该实施例中增加了缩放操作，相当于改变了整个卷积神经网络的感受野范围。缩小操作就相当于加了一个下采样层，放大操作就相当于加了一个上采样层，等价于改变了网络结构，也就改变了感受野范围。所以，采用K个目标尺寸的图像缩放操作，不受限与感受野范围的约束，不同笔触的变化的程度可以更大。
例如，如图8所示，fc是原始图像的特征图，采用不同的缩放比例β(分别取1，
Figure BDA0001940450940000071
1/2)得到的第二特征图进行特征交换，得到的笔触效果。
可选地，在一个实施例中，如图5所示，方法100还包括：
170、通过图像显著性检测算法模型对原始图像进行处理得到注意力图像。
另外，还可以对注意力图像的灰度值进行归一化处理，使得注意力图像的灰度值的取值范围为【0，1】。
具体的，在该实施例中，通过将原始图像输入注意力检测模块，经卷积神经网络输出原始图像的注意力图像，并将注意力图像的灰度值归一化至【0，1】，在后续根据用户设定的K个笔触对注意力图像的灰度值进行聚类时，可以使得聚类的效果更好。
需要说明的是，在该实施例中，注意力检测模块可以根据使用需要,选用适合的图像显著性检测算法模型。例如，可以选用传统的图像显著性检测算法，也可以使用基于深度学习的注意力检测神经网络，本说明书实施例对此不做任何限定。
可选地，在一个实施例中，步骤130可以包括：
根据多个笔触对注意力图像的灰度值进行聚类，得到多个聚类结果。
根据多个聚类结果对应的聚类中心的灰度值对多个笔触的第三特征图进行加权计算，得到第四特征图。
下面结合附图2，详细描述本说明书实施例的技术方案。
将原始图像和风格图像分别输入卷积神经网络的编码器进行编码，分别得到原始图像的特征图fc和风格图像的特征图fs。
将原始图像输入卷积神经网络的注意力检测模块，通过卷积神经网络输出原始图像的注意力图像
Figure BDA0001940450940000083
其中，/>
Figure BDA0001940450940000082
的灰度值归一化至【0，1】。
在多尺度特征交换模块中，首先，对风格图像特征图fs进行K个目标尺寸的图像缩放操作，得到K个多尺度风格特征图
Figure BDA0001940450940000084
其中k为尺度系数。其次，对内容图像特征图fc和每一个多尺度风格特征图/>
Figure BDA0001940450940000085
进行特征交换操作/>
Figure BDA0001940450940000086
得到K个笔触的内容图像特征图/>
Figure BDA0001940450940000087
具体的特征交换操作Swap(A，B)是指，对A图像的每一个尺度大小为p×p的块状区域，在B图像中查找最相似的尺度大小为p×p块状区域进行替换。例如：可以是5*5的块状区域。
在多笔触融合模块中，根据用户设定的笔触K,对注意力图像
Figure BDA0001940450940000081
按照灰度值进行k-means聚类，获得K个聚类，对应聚类中心的灰度值为mi(i＝1，2，...，K)。对K个笔触的原始图像特征图/>
Figure BDA0001940450940000091
计算加权和，得到多笔触融合的特征图/>
Figure BDA0001940450940000096
Figure BDA0001940450940000092
其中，γ为融合平滑度系数。
将多笔触融合的特征图
Figure BDA0001940450940000093
输入解码器，解码得到风格转换后的输出图像。
例如：用户设定的笔触K＝4，则对注意力图像
Figure BDA0001940450940000094
的灰度值进行k-means聚类，获得4个聚类，对应聚类中心的灰度值为mi(i＝1，2，3，4)，对4个笔触的原始图像特征图
Figure BDA0001940450940000095
计算加权和，得到多笔触融合的特征图。具体，可参见附图9。
应理解，在本发明各实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
以上说明书部分结合图1-图5详细介绍了图像处理方法实施例，下面结合图6介绍图像处理装置，如图6所示，本说明书还提供了一种图像处理装置200，该装置200包括：编码模块210、交换模块220、融合模块230和解码模块240。其中，
编码模块210，可以用于分别将待处理的原始图像和风格图像进行编码处理，得到第一特征图和第二特征图像。
交换模块220，可以用于将编码模块210得到的第一特征图与获取的多个不同尺寸的特征图中的每一个特征图进行特征交换，得到多个笔触的第三特征图。其中，多个不同尺寸的特征图为第二特征图中多个不同尺寸的块状区域。
融合模块230，可以用于根据多个笔触对原始图像对应的注意力图像进行图像处理的结果和交换模块220得到的多个笔触的第三特征图，得到多笔触融合的第四特征图。
解码模块240，可以用于对融合模块230得到的第四特征图进行解码处理，得到风格转换后的目标图像。
本说明书实施例提供的图像处理装置，通过将风格图像和待处理的原始图像进行编码处理，对两者的特征图以块状区域为单元进行特征交换，既保留了原始图像的整体特征布局，又将局部块状区域的纹理和颜色替换为风格图像的纹理和颜色信息，从而实现了风格迁移，由此可以解决图像进行风格转换时存在的视觉显著性不一致和细节畸变或缺失的问题。
可选地，作为一个实施例，交换模块210具体可以用于，将第一特征图中的每一个第一块状区域替换为每一个特征图中的第二块状区域，得到多个笔触的第三特征图。其中，第二块状区域与第一块状区域的相似度最高。
具体的，在该实施例中，第一块状区域与第二块状区域的大小相同。
可选地，作为一个实施例，装置200还可以包括：选取模块(未图示)，可以用于从第二特征图中选取多个不同尺寸的特征图。
或者，在一个实施例中，装置200还可以包括：缩放模块(未图示)，可以用于对第二特征图进行多个目标尺寸的图像缩放处理，得到多个不同尺寸的特征图。
可选地，作为一个实施例，编码模块210可以具体用于，利用构建的卷积神经网络中的编码器对原始图像进行编码处理，得到第一特征图，并利用卷积神经网络中的编码器对风格图像进行编码处理，得到第二特征图。
解码模块240可以具体用于，利用卷积神经网络中的解码器对第四特征图进行解码处理，得到目标图像。
可选地，作为一个实施例，装置200还可以包括：优化模块(未图示)，可以用于利用所述卷积神经网络的编码和解码之前，通过随机梯度下降法优化损失函数对编码和解码进行优化处理。
具体的，在该实施例中，构建模块可以具体用于，在训练编码器和解码器时，将编码器和解码器级联构成自编码器，并利用随机梯度下降法优化损失函数，得到优化后的编码器和解码器。
可选地，作为一个实施例，装置200还可以包括：图像处理模块(未图示)，可以用于通过图像显著性检测算法模型对原始图像进行处理得到注意力图像。
可选地，作为一个实施例，装置200还可以包括：归一化处理模块(未图示)，可以用于对注意力图像的灰度值进行归一化处理，使得注意力图像的灰度值的取值范围为【0，1】。
可选地，作为一个实施例，融合模块230可以具体用于，根据多个笔触对注意力图像A的灰度值进行聚类，得到多个聚类结果，并根据多个聚类结果对应的聚类中心的灰度值对多个笔触的第三特征图进行加权计算，得到第四特征图。
应理解，在本说明书实施例中，根据本说明书实施例的图像处理装置，可对应于根据本说明书实施例的方法的执行主体，并且该图像处理装置中的各个模块的上述和其它操作和/或功能分别为了实现图1至图5中的各个方法的相应流程，为了简洁，在此不再赘述。
下面将结合图7详细描述根据本说明书实施例的终端设备。参考图7，在硬件层面，终端设备包括处理器，可选地，包括内部总线、网络接口、存储器。其中，如图7所示，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该终端设备还可能包括实现其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成转发聊天信息的装置。处理器，执行存储器所存放的程序，并具体用于执行本说明书前文所述的方法实施例的操作。
上述图1至图5所示实施例揭示的方法、装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的图像处理方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
图7所示的终端设备还可执行图1至图5的方法，并实现图像处理方法在图1至图5所示实施例的功能，本申请实施例在此不再赘述。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于图像处理装置实施例和终端设备实施例而言，由于其基本相似于图像处理方法实施例，所以描述的比较简单，相关之处参见图像处理方法实施例的部分说明即可。
另外，可以理解的是，本领域技术人员在阅读本说明书文件之后，可以无需创造性劳动想到将本说明书列举的部分或全部实施例进行任意组合，这些组合也在本说明书公开和保护的范围内。
当然，除了软件实现方式之外，本申请的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书各个实施例或者实施例的某些部分所述的方法。
本说明书可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施例描绘了本说明书，本领域普通技术人员知道，本说明书有许多变形和变化而不脱离本说明书的精神，希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种图像处理方法，其特征在于，包括：
分别将待处理的原始图像和风格图像进行编码处理，得到第一特征图和第二特征图像；
将所述第一特征图分别与获取的多个不同尺寸的特征图中的每一个特征图进行特征交换，得到多个笔触的第三特征图，其中，所述多个不同尺寸的特征图为所述第二特征图中多个不同尺寸的块状区域；
根据多个笔触对所述原始图像对应的注意力图像进行图像处理的结果和所述多个笔触的第三特征图，得到多笔触融合的第四特征图；
对所述第四特征图进行解码处理，得到风格转换后的目标图像；
其中，所述根据多个笔触对所述原始图像对应的注意力图像进行图像处理的结果和所述多个笔触的第三特征图，得到多笔触融合的第四特征图，包括：
根据多个笔触对所述注意力图像的灰度值进行聚类，得到多个聚类结果；
根据所述多个聚类结果对应的聚类中心的灰度值对所述多个笔触的第三特征图进行加权计算，得到所述第四特征图。
2.根据权利要求1所述的方法，其特征在于，将第一特征图分别与获取的多个不同尺寸的特征图中的每一个特征图进行特征交换，得到多个笔触的第三特征图，包括：
将所述第一特征图中的每一个第一块状区域替换为每一个特征图中的第二块状区域，得到多个笔触的第三特征图，其中，所述第二块状区域与所述第一块状区域的相似度最高。
3.根据权利要求2所述的方法，其特征在于，所述第一块状区域与所述第二块状区域的大小相同。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述将第一特征图与获取的多个不同尺寸的特征图中的每一个特征图进行特征交换，得到多个笔触的第三特征图之前，还包括：
从所述第二特征图中选取所述多个不同尺寸的特征图；
或者，
对所述第二特征图进行多个目标尺寸的图像缩放处理，得到所述多个不同尺寸的特征图。
5.根据权利要求1至3中任一项所述的方法，其特征在于，分别将待处理的原始图像和风格图像进行编码处理，得到第一特征图和第二特征图像，包括：
利用构建的卷积神经网络对所述原始图像进行编码处理，得到所述第一特征图，并利用所述卷积神经网络对所述风格图像进行编码处理，得到所述第二特征图像；
对所述第四特征图进行解码处理，得到风格转换后的目标图像，包括：
利用所述卷积神经网络对所述第四特征图进行解码处理，得到所述目标图像。
6.根据权利要求5所述的方法，其特征在于，还包括：利用所述卷积神经网络的编码和解码之前，通过随机梯度下降法优化损失函数对编码和解码进行优化处理。
7.根据权利要求1所述的方法，其特征在于，还包括：
通过图像显著性检测算法模型对所述原始图像进行处理得到所述注意力图像。
8.一种图像处理装置，其特征在于，包括：
编码模块，用于分别将待处理的原始图像和风格图像进行编码处理，得到第一特征图和第二特征图像；
交换模块，用于将所述编码模块得到的所述第一特征图分别与获取的多个不同尺寸的特征图中的每一个特征图进行特征交换，得到多个笔触的第三特征图，其中，所述多个不同尺寸的特征图为所述第二特征图中多个不同尺寸的块状区域；
融合模块，用于根据多个笔触对所述原始图像对应的注意力图像进行图像处理的结果和所述交换模块得到的所述多个笔触的第三特征图，得到多笔触融合的第四特征图；
解码模块，用于对所述融合模块得到的所述第四特征图进行解码处理，得到风格转换后的目标图像；
其中，所述融合模块具体用于：根据多个笔触对所述注意力图像的灰度值进行聚类，得到多个聚类结果，并根据所述多个聚类结果对应的聚类中心的灰度值对所述多个笔触的第三特征图进行加权计算，得到所述第四特征图。
9.根据权利要求8所述的装置，其特征在于，所述交换模块具体用于，将所述第一特征图中的每一个第一块状区域替换为每一个特征图中的第二块状区域，得到多个笔触的第三特征图，其中，所述二块状区域与所述第一块状区域的相似度最高。
10.根据权利要求9所述的装置，其特征在于，所述第一块状区域与所述第二块状区域的大小相同。
11.根据权利要求8至10中任一项所述装置，其特征在于，还包括：获取模块或者缩放模块，其中，
所述获取模块，用于从所述第二特征图中选取所述多个不同尺寸的特征图；
或者，
所述缩放模块，用于对所述第二特征图进行多个目标尺寸的图像缩放处理，得到所述多个不同尺寸的特征图。
12.根据权利要求8至10中任一项所述的装置，其特征在于，
所述编码模块具体用于，利用构建的卷积神经网络对所述原始图像进行编码处理，得到所述第一特征图，并利用所述卷积神经网络中对所述风格图像进行编码处理，得到所述第二特征图像；
所述解码模块具体用于，利用所述卷积神经网络中对所述第四特征图进行解码处理，得到所述目标图像。
13.根据权利要求12所述的装置，其特征在于，还包括：
优化模块，用于利用所述卷积神经网络的编码和解码之前，通过随机梯度下降法优化损失函数对编码和解码进行优化处理。
14.根据权利要求8所述的装置，其特征在于，还包括：
图像处理模块，用于通过图像显著性检测算法模型对所述原始图像进行处理得到所述注意力图像。
15.一种终端设备，其特征在于，包括：
存储器，用于存储计算机指令；
处理器，用于执行所述计算机指令实现如权利要求1-7中任一项所述的图像处理方法的步骤。
CN201910020045.8A 2019-01-09 2019-01-09 一种图像处理方法、装置和终端设备 Active CN111429388B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910020045.8A CN111429388B (zh) 2019-01-09 2019-01-09 一种图像处理方法、装置和终端设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910020045.8A CN111429388B (zh) 2019-01-09 2019-01-09 一种图像处理方法、装置和终端设备

Publications (2)

Publication Number Publication Date
CN111429388A CN111429388A (zh) 2020-07-17
CN111429388B true CN111429388B (zh) 2023-05-26

Family

ID=71546630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910020045.8A Active CN111429388B (zh) 2019-01-09 2019-01-09 一种图像处理方法、装置和终端设备

Country Status (1)

Country Link
CN (1) CN111429388B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113052757A (zh) * 2021-03-08 2021-06-29 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
CN113658084B (zh) * 2021-10-20 2022-06-28 阿里巴巴达摩院(杭州)科技有限公司 图像处理方法、装置、存储介质以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
WO2018194863A1 (en) * 2017-04-20 2018-10-25 Microsoft Technology Licensing, Llc Visual style transfer of images
CN108734653A (zh) * 2018-05-07 2018-11-02 商汤集团有限公司 图像风格转换方法及装置
CN108961350A (zh) * 2018-07-17 2018-12-07 北京工业大学 一种基于显著度匹配的画风迁移方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110660037B (zh) * 2018-06-29 2023-02-10 京东方科技集团股份有限公司 图像间脸部交换的方法、装置、系统和计算机程序产品

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法
WO2018194863A1 (en) * 2017-04-20 2018-10-25 Microsoft Technology Licensing, Llc Visual style transfer of images
CN108734653A (zh) * 2018-05-07 2018-11-02 商汤集团有限公司 图像风格转换方法及装置
CN108961350A (zh) * 2018-07-17 2018-12-07 北京工业大学 一种基于显著度匹配的画风迁移方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
窦亚玲 ; 周武彬 ; 季人煌 ; .基于卷积神经网络的图像风格迁移技术.现代计算机(专业版).2018,(30),全文. *

Also Published As

Publication number Publication date
CN111429388A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN108876792B (zh) 语义分割方法、装置和系统及存储介质
CN112613581B (zh) 一种图像识别方法、系统、计算机设备和存储介质
CN106779057B (zh) 基于gpu的计算二值神经网络卷积的方法及装置
CN111860398B (zh) 遥感图像目标检测方法、系统及终端设备
CN109919110B (zh) 视频关注区域检测方法、装置及设备
CN112257578B (zh) 人脸关键点检测方法、装置、电子设备及存储介质
CN111429388B (zh) 一种图像处理方法、装置和终端设备
CN111104941B (zh) 图像方向纠正方法、装置及电子设备
CN113222813A (zh) 图像超分辨率重建方法、装置、电子设备及存储介质
CN114821096A (zh) 一种图像处理方法、神经网络的训练方法以及相关设备
CN113240585A (zh) 基于生成对抗网络的图像处理方法、装置及存储介质
CN112561826A (zh) 基于人工智能的图像去模糊方法、装置、设备及存储介质
CN116434303A (zh) 基于多尺度特征融合的人脸表情捕捉方法、装置及介质
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN113705686B (zh) 图像分类方法、装置、电子设备及可读存储介质
CN114882247A (zh) 图像的处理方法、装置和电子设备
CN109583512B (zh) 图像处理方法、装置及系统
CN110544221B (zh) 训练方法及装置、去雨方法、终端设备、存储介质
CN116309274B (zh) 图像中小目标检测方法、装置、计算机设备及存储介质
CN112700362B (zh) 一种图像处理方法、装置、电子设备和存储介质
CN117058668B (zh) 一种三维模型减面评估方法及装置
CN113298931B (zh) 一种物体模型的重建方法、装置、终端设备和存储介质
CN116597078A (zh) 基于三维重建的单体化方法、装置及存储介质
CN114519398A (zh) 提升模型泛化性的方法、装置、设备及存储介质
CN114140807A (zh) 临摹图识别方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant