CN106709532A - 图像处理方法和装置 - Google Patents

图像处理方法和装置 Download PDF

Info

Publication number
CN106709532A
CN106709532A CN201710060897.0A CN201710060897A CN106709532A CN 106709532 A CN106709532 A CN 106709532A CN 201710060897 A CN201710060897 A CN 201710060897A CN 106709532 A CN106709532 A CN 106709532A
Authority
CN
China
Prior art keywords
convolutional layer
output
convolutional
convolution
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710060897.0A
Other languages
English (en)
Other versions
CN106709532B (zh
Inventor
刘瀚文
那彦波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710060897.0A priority Critical patent/CN106709532B/zh
Publication of CN106709532A publication Critical patent/CN106709532A/zh
Priority to US15/712,654 priority patent/US10395167B2/en
Application granted granted Critical
Publication of CN106709532B publication Critical patent/CN106709532B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

一种图像处理方法和图像处理装置。该图像处理方法包括：使用第一卷积神经网络提取输入的第一图像的特征，以及使用第二卷积神经网络重构并输出图像。所述第一卷积神经网络包括依次连接的多个第一卷积层和间插于相邻第一卷积层之间的多个第一池化层，所述第一卷积层每个用于产生并输出第一卷积特征；第二卷积神经网络包括依次连接的多个第二卷积层和间插于相邻第二卷积层之间的多个复合层，所述复合层为上采样层。该图像处理方法可以用于例如图像的风格迁移处理。

Description

图像处理方法和装置
技术领域
本发明的实施例涉及一种图像处理方法和装置。
背景技术
当前，基于人工神经网络的深度学习技术已经在诸如图像分类、图像捕获和搜索、面部识别、年龄和语音识别等领域取得了巨大进展。深度学习的优势在于可以利用通用的结构以相对类似的系统解决非常不同的技术问题。卷积神经网络(Convolutional NeuralNetwork，CNN)是近年发展起来并引起广泛重视的一种人工神经网络，CNN是一种特殊的图像识别方式，属于非常有效的带有前向反馈的网络。现在，CNN的应用范围已经不仅仅限于图像识别领域，也可以应用在人脸识别、文字识别、图像处理等应用方向。
发明内容
本发明的至少一个实施例提供了一种图像处理方法，该方法包括：使用第一卷积神经网络提取输入的第一图像的特征，以及使用第二卷积神经网络重构并输出图像。所述第一卷积神经网络包括依次连接的多个第一卷积层和间插于相邻第一卷积层之间的多个第一池化层，所述第一卷积层每个用于产生并输出第一卷积特征；第二卷积神经网络包括依次连接的多个第二卷积层和间插于相邻第二卷积层之间的多个复合层，所述复合层为上采样层；所述第一卷积层的数量与所述第二卷积层的数量相等，最后的第一卷积层的输出被连接到最初的第二卷积层，且所述多个第二卷积层中除最初的层级外，至少之一接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。
例如，在至少一个实施例的图像处理方法中，所述多个第二卷积层中除最初的层级外，每个都接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。
例如，在至少一个实施例的图像处理方法中，所述复合层每个获取被输入到其中的第一数量的输入图像并将这些输入图像的像素值交织以产生所述第一数量的输出图像。
例如，根据至少一个实施例的图像处理方法，还包括使用第三卷积神经网络提取输入的第三图像的特征，其中，所述第三卷积神经网络包括依次连接的多个第三卷积层和间插于相邻第三卷积层之间的多个第三池化层，每级所述第三卷积层用于产生并输出第三卷积特征，所述第三卷积层的数量与所述第一卷积层的数量相等，并且所述多个第二卷积层中除最初的层级以及连接到所述第一卷积层的层级外，至少之一接收对应的所述第三卷积层输出的第三卷积特征，且融合其同一层级的复合层的输出以及对应的所述第三卷积层输出的第三卷积特征以得到其输出数据。
例如，根据至少一个实施例的图像处理方法，还包括对于所述多个第二卷积层中至少之一，选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。
例如，根据至少一个实施例的图像处理方法，还包括对于所述多个第二卷积层中每个，都选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。
例如，在至少一个实施例的图像处理方法中，所述第一卷积特征是内容特征，所述第三卷积特征是风格特征；或者，所述第一卷积特征是风格特征，所述第三卷积特征是内容特征。
例如，在至少一个实施例的图像处理方法中，所述第一卷积神经网络和所述第三卷积神经网络的构造相同。
本发明的至少一个实施例提供了一种图像处理装置，该装置包括：第一卷积神经网络模块和第二卷积神经网络模块。第一卷积神经网络模块用于提取输入的第一图像的特征，其中，所述第一卷积神经网络包括依次连接的多个第一卷积层和间插于相邻第一卷积层之间的多个第一池化层，所述第一卷积层每个用于产生并输出第一卷积特征；第二卷积神经网络模块用于重构并输出图像，其中，所述第二神经网络包括依次连接的多个第二卷积层和间插于相邻第二卷积层之间的多个复合层，所述复合层为上采样层；并且，所述第一卷积层的数量与所述第二卷积层的数量相等，最后的第一卷积层的输出被连接到最初的第二卷积层，且所述多个第二卷积层中除最初的层级外，至少之一接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。
例如，在至少一个实施例的图像处理装置中，所述多个第二卷积层中除最初的层级外，每个都接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。
例如，在至少一个实施例的图像处理装置中，所述复合层获取被输入到其中的第一数量的输入图像并将这些输入图像的像素值交织以产生所述第一数量的输出图像。
例如，根据至少一个实施例的图像处理装置还包括第三卷积神经网络模块，第三卷积神经网络模块用于提取输入的第三图像的特征，其中，所述第三卷积神经网络包括依次连接的多个第三卷积层和间插于相邻第三卷积层之间的多个第三池化层，每级所述第三卷积层用于产生并输出第三卷积特征，所述第三卷积层的数量与所述第一卷积层的数量相等；并且，所述多个第二卷积层中除最初的层级以及连接到所述第一卷积层的层级外，至少之一接收对应的所述第三卷积层输出的第三卷积特征，且融合其同一层级的复合层的输出以及对应的所述第三卷积层输出的第三卷积特征以得到其输出数据。
例如，根据至少一个实施例的图像处理装置，还包括选择模块，其中，对于所述多个第二卷积层中至少之一，通过所述选择模块配置为选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。
例如，在至少一个实施例的图像处理装置中，对于所述多个第二卷积层中每个，所述选择模块配置为选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。
例如，在至少一个实施例的图像处理装置中，所述第一卷积神经网络和所述第三卷积神经网络的构造相同。
本发明的至少一个实施例提供了一种图像处理装置，该图像处理装置包括处理器和存储器，该存储器上存储有计算机程序，所述计算机程序被所述处理器运行时可以执行根据本发明至少一实施例的图像处理方法。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。
图1示出了一种神经网络的简单示意图。
图2A示出了卷积神经网络的一种典型构型；图2B抽象地示出了的卷积神经网络中一个神经元的输入与输出。
图3示出了一个使用卷积神经网络的输入图像的分析模块的示意图。
图4A和图4B分别示出了根据本发明至少一个实施例的图像处理装置和处理方法的示意图。
图5A和图5B示出了复合层的两个示例。
图6示出了根据本发明另一个实施例的图像处理方法和装置的示意图。
图7A和图7B示出了根据本发明再一个实施例的图像处理装置和方法的示意图。
图8示出了根据本发明再一个实施例的图像处理方法和装置的示意图。
图9示出了可以用于实现本公开的图像处理方法的示例性计算设备。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性连接或信号连接，不管是直接的还是间接的。
随着图像处理技术的发展，人们开始构思对图像进行风格化迁移处理的方法，例如，基于参考图像所给出的风格(style)，对输入的数字化图像进行处理以获得至少部分体现出该风格的输出图像。例如，参考图像为某个艺术家(例如梵高、莫奈等大师)的作品，输出的图像则可以在保留原有内容的同时还呈现出该艺术家作画的某些特征，甚至使人将其误认为该艺术家的作品。传统的图像处理效果(例如，instagram公司提供的各种滤镜等)无法获得这样的风格化迁移处理效果。目前，依靠最近发展起来的深度学习等技术才实现了类似的处理效果。
例如由Leon A.Gatys等人提出一种利用卷积神经网络实现图像风格迁移的方法，请参见文献，Leon A.Gatys,Alexander S.Echer,Matthias Bethge.A Neural Algorithmfor Artistic Style.arXiv:1508.06576v2[cs.CV]，2015年9月2日。在此将该文献全文引用结合于此，以作为本申请的一部分。该方法主要是基于经过训练的卷积神经网络(CNN)，对输入的图片进行了不同层次的分解，然后通过风格表达(Style Representation)和内容重建(Content Reconstruction)两个方面构建映射关系，从而进行风格迁移。该方法能够实现较好风格迁移效果，然而该方法非常复杂，需要的计算资源较多，处理速度较慢，难以实现商用化。
本发明的至少一个实施例提供了一种图像处理方法和图像处理装置，可以用于实现图像风格迁移，在处理效果和处理速度等方面得以兼顾，不但可以实现较好的风格迁移效果，而且能够以较快甚至实时的方式进行处理，具有更好、更广泛的应用前景。
图1示出了一种神经网络的简单示意图。该神经网络例如用于图像处理，使用图像作为输入和输出，例如通过滤波器(即，卷积)替代标量权重。图1中示出了具有3层的简单结构。如图1所示，在输入层101输入4个输入图像，在中间的隐藏层102存在3个单元以输出3个输出图像，而在输出层103存在2个单元以输出2个输出图像。输入层101中的具有权重的每个盒子对应于滤波器，其中k是指示输入层号的标签，并且i和j分别是指示输入和输出单元的标签。偏置是添加到卷积的输出的标量。若干卷积和偏置的相加结果然后通过激活盒，其通常对应于整流线性单元(ReLU)、S型函数或双曲正切函数。在利用卷积神经网络的图像处理系统中，各滤波器和偏置在系统的操作期间是固定的。各滤波器和偏置是预先通过使用一组输入/输出示例图像并且调整以满足依赖于应用的一些优化标准来获取的。
图2A示出了卷积神经网络的一种典型构型。图像数据通过输入层输入到卷积神经网络后，依次经过若干个处理过程(如图2A中的每个层级)后输出识别结果。每个层级的处理过程可包括：卷积(convolution)以及子采样(sub-sampling)。每个层级的处理过程根据需要还可以包括归一化处理(如图中的LCN，即local constant normalization)等。图2B抽象地示出了的卷积神经网络中一个神经元的输入与输出，如图所示，C1、C2到Cn指代不同的信号通道，针对某一个局部感受域(该局部感受域包含多个通道)，使用不同的过滤器对该局部感受域的C1到Cn信号通道上的数据进行卷积，卷积结果被输入刺激节点，该刺激节点根据相应的函数进行计算以得到特征信息。因此，卷积神经网络通常最主要的组成部分包括：多个卷积层、多个子采样层(又称为池化层)、全连接层。一个完整的卷积神经网络由这三种层叠加组成。
卷积层是卷积神经网络的核心层，对输入数据(图像)应用若干个过滤器，输入数据被用来进行多种类型的特征提取。对于输入数据应用一个过滤器之后得到的结果被称为特征图(feature map)，特征图的数目与过滤器的数目相等。一个卷积层输出的特征图可以被输入到下一个层级的卷积层再次处理以得到新的特征图。子采样层是夹在连续的卷积层之间的中间层，用于缩减输入数据的规模，也在一定程度上减小过拟合的现象。例如，输入一个12×12的图像，通过6×6的子采样，那么可以得到2×2的输出图像，这意味着原图像上的36个像素合并为输出图像中的1个像素。实现子采样的方法由很多种，这些方法包括但不限于：最大值合并(max-pooling)、平均值合并(avg-pooling)、随机合并、欠采样(decimation，例如选择固定的像素)、解复用输出(demuxout，将输入图像拆分为多个更小的图像)等。通常最后一个子采样层或卷积层连接到一个或多个全连接层，全连接层的输出作为最终输出，可得到一个一维矩阵，也就是向量。
又例如，参见图3所示的示例，最后一个卷积层(即第n个卷积层)的输出被输入到平坦化模块进行平坦化操作(Flatten)，将特征图像(2D图像)转换为向量(1D)，该向量可以被用于全连接层。该平坦化操作可以按照如下的方式进行：
vk＝fk/j,k％j
其中，v是包含k个元素的向量，f是具有i行j列的矩阵。
然后，平坦化模块的输出被输入到一个全连接层(FCN)，该全连接层例如可以为如图1所示的卷积网络，可使用不同的标量值以替代滤波器。
例如，也可以将最后一个卷积层(即第L个卷积层)的输出进行平均操作(AVG)，即使用特征的平均值来表示图像，由此2D特征变为一个数。如果进行平均操作，则可以不需要平坦化模块。
神经网络的输出可以采用多种形式，例如输出层的激活函数根据需要可以采用softmax函数、sigmoid函数或者tanh函数等。通过softmax函数等，每个标识(label)被赋予一定的概率，而具有最大概率的标识被选择为图像的标识或类别。
卷积神经网络的训练过程例如可以通过改进的反向传播实现，将子采样层作为考虑的因素并基于所有值来更新卷积过滤器的权重；在实践中，也可以设定前向反馈部分数据，以便调整。
图4A和图4B分别示出了根据本发明至少一个实施例的图像处理装置和处理方法的示意图。如图4A所示，该处理装置包括两个卷积神经网络：第一卷积神经网络(模块)CNN1用于提取输入的第一图像的特征，第二卷积神经网络(模块)CNN2重构(reconstruction)并输出图像。相比于图3所示的分析模块，在图4A所示的图像处理装置没有包括平坦化模块、全连接层以及Softmax模块。
如图4A所示，待处理的第一图像可以通过例如输入层(图中未示出)输入至第一卷积神经网络，经过第一卷积神经网络处理之后可以得到不同层级的特征数据(特征图像)，然后，至少部分层级的特征数据，例如最后一层的特征数据以及至少部分之前层级的特征数据，被第二卷积神经网络用于重构图像，被重构的图像从第二卷积神经网络输出。例如，该重构图像与输入的第一图像可以具有相同的分辨率，也可以具有不同的分辨率。
第一卷积神经网络CNN1包括依次连接的并列的多个第一卷积层C1-1～C1-n和间插于相邻第一卷积层之间的多个第一池化层P1-1～P1-n-1。除最后一个第一卷积层C1-n外，每个第一卷积层输出至同一层级的第一池化层，该第一池化层输出至下一层级的第一卷积层。每级第一卷积层用于产生并输出第一卷积特征。
第二卷积神经网络CNN2包括依次连接的并列的多个第二卷积层C2-n+1～C2-2n和间插于相邻第二卷积层之间的多个复合层Mn+1～M2n。除最后的卷积层C2-2n外，上一层级的卷积层输出至下一层级的复合层，该复合层输出至同一层级的卷积层。该复合层为上采样层。
第一卷积神经网络CNN1的第一卷积层的数量与第二卷积神经网络CNN2的第二卷积层的数量相等，如图4A所示，第一卷积层C1-1～C1-n与第二卷积层C2-n+1～C2-2n呈倒序一一对应；相应地，第一池化层P1-1～P1-n-1与多个复合层Mn+1～M2n呈倒序一一对应。最后的第一卷积层C1-n的输出被连接到(信号连接)到最初的第二卷积层C2-n+1，即该最后的第一卷积层C1-n输出的数据可以被输入到最初的第二卷积层C2-n+1；所述多个第二卷积层中除最初的层级外，至少之一接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据，这些输出数据被逐层处理以重构图像。例如，除最初的层级外，无需每个第二卷积层都接收对应的第一卷积层的输出。
又例如，该多个第二卷积层中除最初的层级外，每个都接收对应的第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的第一卷积层输出的第一卷积特征以得到其输出数据。
如图4B所示，该实施例中相应的处理方法包括如下的步骤101和201：
步骤101：使用第一卷积神经网络提取输入的第一图像的特征；
步骤201：使用第二卷积神经网络重构并输出图像。
该复合层为卷积神经网络的上采样层(up-sampling)，用于增加输入的图像数据各个维度的值，从而增加数据量，从而可以用于实现图像的重构。
通常的上采样法包括内插法等，图5A示出了在本发明的一个实施例中采用像素差值法实现上采样的复合层的示例。在图5A的示例中，复合层采用了2×2的倍增因子，可以将4个特征图像结合得到1个具有固定像素顺序的特征图像。
在本发明的另一个实施例中，对于二维的特征图像，第二卷积神经网络的复合层获取输入的第一数量的输入图像，将这些输入图像的像素值交织(interleave)以产生相同的第一数量的输出图像。相比于输入图像(特征图像)，输出图像的数量没有改变，但是每个特征图像的大小增加相应倍数。由此，该复合层可用更多组合为下一层级的特征图像增加更多的信息，这些组合可给出所有可能的上采样组合，由此可通过激活函数从其中进行选择。
图5B根据本发明另一个实施例的采用交织方法实现上采样的复合层的示例。在图5B的示例中，复合层同样采用2×2的倍增因子，即以每4个输入图像为一组，将它们的像素值交织生成4个输出特征图像。复合层输出的特征图像的个数不变，而各特征图像的大小增加为原来的4倍，即具有原来4倍的像素数量。
现在回到图4A所示的实施例。第一卷积神经网络中从第一卷积层C1-1到C1-n，共n个层次的卷积层，n通常大于3，甚至可以上百。随着层次的增加，更高层级的卷积层提取更高阶的特征。各个第一卷积层提取的第一卷积特征可以是输入图像的内容特征。第一卷积神经网络可以采用例如AlexNet、GoogleNet、VGG、Deep Residual Learning等神经网络模型实现，提取输入图像的内容特征。例如，VGG网络系牛津大学视觉几何组(VisualGeometry Group)开发，已经在视觉识别得到广泛应用，VGG网络例如可以包括19层，并且可以对其中的一些层进行归一化处理。第二卷积神经网络中的各个第二卷积层也可以采用上述神经网络模型中的卷积层实现。
由于在该实施例中，由于多个第二卷积层中除最初的层级外，至少之一接收对应的第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据，由此重构所得到的图像具有好的质量。而且，在该多个第二卷积层中除最初的层级外，每个都接收对应的第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的第一卷积层输出的第一卷积特征以得到其输出数据的情况下，从而第二卷积神经网络输出的输出图像可以更大程度地接近输入至第一卷积神经网络的输入图像。
图6示出了根据本发明另一个实施例的图像处理方法和装置的示意图。与图4所示的实施例相比，图6的实施例还包括选择模块，以选择将第一卷积神经网络中的哪些第一卷积层的处理结果输出至第二卷积神经网络中对应的第二卷积层，以用于进一步的处理。在该实施例中，该选择模块的输入特征集例如为内容特征集C：
C＝[C1,C2,…,Cn-1]
选择模块的输出为特征集F：
F＝[F1,F2,…,Fn-1]
对于该选择模块可以定义一个筛选器集α，其中每个元素都是布尔型变量，取值为0或1：
α＝[α1,α2,…,αn-1]α为0或1
并且，α的值可以预先设定，或者α的值可以经过训练和调整后得到，由此输出特征集F与输入特征集C之间的映射关系可以为：
Fx＝Cx，αx＝1
图6所示的实施例可以根据需要灵活地选择需要输入哪些层级的特征图像以用于重构。与此相应地，对于图4B所示的图像处理方法还可以步骤：选择将第一卷积神经网络中的哪些第一卷积层的处理结果输出至第二卷积神经网络中对应的第二卷积层，以用于进一步的处理。
图7A和图7B示出了根据本发明再一个实施例的图像处理装置和方法的示意图。如图7A所示，该处理装置使用了三个卷积神经网络：第一卷积神经网络(模块)CNN1提取输入的第一图像的第一特征，第三卷积神经网络(模块)CNN3提取输入的第三图像的第三特征，第二卷积神经网络(模块)CNN2重构并输出图像。与图4A所示的实施例相比，该处理装置增加了第三卷积神经网络CNN3。
如图所示，待处理的第一图像可以通过例如第一卷积神经网络的输入层(图中未示出)输入至第一卷积神经网络，经过第一卷积神经网络处理之后可以得到不同层级的第一特征数据(特征图像)，然后最后一层第一卷积层的第一特征数据以及至少部分之前层级的第一特征数据可被第二卷积神经网络用于重构图像。相应地，待处理的第三图像可以通过例如第三卷积神经网络的输入层(图中未示出)输入至第三卷积神经网络，经过第三卷积神经网络处理之后可以得到不同层级的第二特征数据(特征图像)，然后最后一层第三卷积层的第二特征数据以及至少部分之前层级的第二特征数据也可以被第二卷积神经网络用于重构图像，被重构的图像从第二卷积神经网络输出。第一图像和第三图像可以彼此不同。因此，该实施例可以将不同的输入图像彼此融合从而产生新的输出图像。
第三卷积神经网络CNN3包括依次连接的并列的多个第三卷积层C3-1～C3-n和间插于相邻第一卷积层之间的多个第一池化层P3-1～P3-n-1。除最后一个第三卷积层C3-n外，每个第三卷积层输出至同一层级的第三池化层，该第三池化层输出至下一层级的第三卷积层。每级第三卷积层用于产生并输出第三卷积特征。
第三卷积神经网络CNN3的第三卷积层的数量与第一卷积神经网络CNN1的第一卷积层的数量相等。如图7所示，第一卷积层C1-1～C1-n与第三卷积层C3-1～C3-n一一对应；相应地，第一池化层P1-1～P1-n-1与第三池化层P3-1～P3-n-1一一对应。最后的第三卷积层C3-n的输出被连接(信号连接)到最初的第二卷积层C2-n+1，即该最后的第三卷积层C3-n输出的数据可以被输入到最初的第二卷积层C2-n+1，且所述多个第二卷积层中除最初的层级外，至少之一接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据，这些输出数据被逐层处理以重构图像。例如，除最初的层级外，无需每个第二卷积层都接收对应的第三卷积层的输出。同时，同一个第二卷积层不会同时接收来自对应的第一卷积层的输出和对应的第三卷积层的输出，例如如图7所示，最初的第二个卷积层C2-n+1可以接收最后一个第一卷积层C1-n或最后一个第三卷积层C3-n的输出(因此图中连接线标识为虚线)。
又例如，该多个第二卷积层中除最初的层级外，每个都要么接收对应的第一卷积层输出的第一卷积特征，要么接收对应的第二卷积层的输出，且融合同一层级的复合层的输出以及对应的第一卷积层输出的第一卷积特征或对应的第三卷积层输出的第三卷积特征以得到其输出数据，这些输出数据被逐层处理以重构图像。重构得到的输出图像例如可以与第一图像具有相同的分辨率。
第三卷积神经网络中从第三卷积层C3-1到C3-n，共n个层次的卷积层，例如各个第三卷积层提取的第三卷积特征可以是输入图像的风格特征。第三卷积神经网络也可以采用例如AlexNet、GoogleNet、VGG、Deep Residual Learning等神经网络模型实现，提取输入图像的风格特征。例如，第一卷积特征是内容特征，第三卷积特征是风格特征，或者相反。虽然如此，第一卷积神经网络和第三卷积神经网络的构造可以彼此相同，例如都为VGG网络。
为了获得输入图像的风格特征表达，可以使用设计来捕捉纹理(texture)信息的特征空间，该特征空间可以基于该卷积神经网络中任何层中的过滤器响应建立，其由不同过滤器响应之间的相关性构成。这些特征相关性可以由Gram矩阵给出，其中为第l层中向量特征图i和j之间的内积(inner product)：
通过包括多层的特征相关性，可以获得输入图像静态的多尺度(scale)表达，由此提取了输入图像的纹理信息而非全局布局，进而获得风格特征。
在一个示例中，第二卷积神经网络将源自第一卷积神经网络的第一输入图像的内容特征以及源自第三卷积神经网络的第二输入图像的风格特征进行融合，由此可以得到视觉上既表达第一输入图像的内容又呈现出第二输入图像的风格的新图像。
如图7B所示，该实施例中相应的处理方法包括如下的步骤101、102和201：
步骤101：使用第一卷积神经网络提取输入的第一图像的特征；
步骤102：使用第三卷积神经网络提取输入的第三图像的特征；
步骤201：使用第二卷积神经网络重构并输出图像。
图8示出了根据本发明再一个实施例的图像处理方法和装置的示意图。与图7A所示的实施例相比，图8的实施例还包括选择模块，以选择将第一卷积神经网络中的哪些第一卷积层的处理结果或第三卷积神经网络中的哪些第三卷积层的处理结果输出至第二卷积神经网络中对应的第二卷积层，以用于处理。在该实施例中，该选择模块的输入特征集例如为内容特征集C和风格特征集S：
C＝[C1,C2,…,Cn-1]
S＝[S1,S2,…,Sn-1]
选择模块的输出为特征集F：
F＝[F1,F2,…,Fn-1]
对于该选择模块可以定义一个筛选器集α，其中每个元素都是布尔型变量，取值为0或1：
α＝[α1,α2,…,αn-1]α为0或1
并且，α的值可以预先设定，或者经过训练和调整后得到，由此输出特征集F与输入特征集C之间的映射关系可以为：
图8所示的实施例可以根据需要灵活地选择需要输入哪些层级的特征图像以用于重构。在对应于该实施例，当图像处理装置还包括选择模块时，则对于图7B的图像处理方法还相应地包括步骤：对于所述多个第二卷积层中至少之一或每一个，选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。
图9示出了可以用于实现本公开的图像处理方法的示例性计算设备1000的图示。该计算设备1000包括执行存储在存储器1004中的指令的至少一个处理器1002。这些指令可以是例如用于实现被描述为由上述一个或多个模块执行的功能的指令或用于实现上述方法中的一个或多个步骤的指令。处理器1002可以通过系统总线1006访问存储器1004。除了存储可执行指令，存储器1004还可存储训练数据等。处理器1002可以为中央处理器(CPU)或图形处理器GPU等各种具有计算能力的器件。该CPU可以为X86或ARM处理器；GPU可单独地直接集成到主板上，或者内置于主板的北桥芯片中，也可以内置于中央处理器(CPU)上，由于其具有强大的图像处理能力，本发明实施例可优选地使用GPU对卷积神经网络进行训练以及基于卷积神经网络进行图像处理。
计算设备1000还包括可由处理器1002通过系统总线1006访问的数据存储1008。数据存储1008可包括可执行指令、多图像训练数据等。计算设备1000还包括允许外部设备与计算设备1000进行通信的输入接口1010。例如，输入接口1010可被用于从外部计算机设备、从用户等处接收指令。计算设备1000也可包括使计算设备1000和一个或多个外部设备相接口的输出接口1012。例如，计算设备1000可以通过输出接口1012显示图像等。考虑了通过输入接口1010和输出接口1012与计算设备1000通信的外部设备可被包括在提供实质上任何类型的用户可与之交互的用户界面的环境中。用户界面类型的示例包括图形用户界面、自然用户界面等。例如，图形用户界面可接受来自用户采用诸如键盘、鼠标、遥控器等之类的(诸)输入设备的输入，以及在诸如显示器之类的输出设备上提供输出。此外，自然语言界面可使得用户能够以无需受到诸如键盘、鼠标、遥控器等之类的输入设备强加的约束的方式来与计算设备1000交互。相反，自然用户界面可依赖于语音识别、触摸和指示笔识别、屏幕上和屏幕附近的手势识别、空中手势、头部和眼睛跟踪、语音和语音、视觉、触摸、手势、以及机器智能等。
另外，计算设备1000尽管图中被示出为单个系统，但可以理解，计算设备1000也可以是分布式系统，还可以布置为云设施(包括公有云或私有云)。因此，例如，若干设备可以通过网络连接进行通信并且可共同执行被描述为由计算设备1000执行的任务。
本文中描述的各功能(包括但不限于卷积神经网络模块、选择模块等)可在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则这些功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机可读存储介质。计算机可读存储介质可以是能被计算机访问的任何可用存储介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或能被用来承载或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。另外，所传播的信号不被包括在计算机可读存储介质的范围内。计算机可读介质还包括通信介质，其包括促成计算机程序从一地向另一地转移的任何介质。连接例如可以是通信介质。例如，如果软件使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外线、无线电、以及微波之类的无线技术来从web网站、服务器、或其它远程源传输，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外线、无线电、以及微波之类的无线技术被包括在通信介质的定义中。上述的组合应当也被包括在计算机可读介质的范围内。替换地或另选地，此处描述的功能可以至少部分由一个或多个硬件逻辑组件来执行。例如，可使用的硬件逻辑组件的说明性类型包括现场可编程门阵列(FPGA)、程序专用的集成电路(ASIC)、程序专用的标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑器件(CPLD)等。
本发明的实施例涉及一种图像处理方法和图像处理装置在用于图像处理，例如融合两幅图像，特别是用于风格化迁移处理时，不但可以实现较好的风格迁移效果，而且能够以较快甚至实时的方式进行处理，具有更好、更广泛的应用前景。
以上所述仅是本发明的示范性实施方式，而非用于限制本发明的保护范围，本发明的保护范围由所附的权利要求确定。

Claims (16)

1.一种图像处理方法，包括：
使用第一卷积神经网络提取输入的第一图像的特征，其中，所述第一卷积神经网络包括依次连接的多个第一卷积层和间插于相邻第一卷积层之间的多个第一池化层，所述第一卷积层每个用于产生并输出第一卷积特征；
使用第二卷积神经网络重构并输出图像，其中，第二卷积神经网络包括依次连接的多个第二卷积层和间插于相邻第二卷积层之间的多个复合层，所述复合层为上采样层；
其中，所述第一卷积层的数量与所述第二卷积层的数量相等，最后的第一卷积层的输出被连接到最初的第二卷积层，且所述多个第二卷积层中除最初的层级外，至少之一接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。
2.根据权利要求1的图像处理方法，其中，所述多个第二卷积层中除最初的层级外，每个都接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。
3.根据权利要求1的图像处理方法，其中，所述复合层每个获取被输入到其中的第一数量的输入图像并将这些输入图像的像素值交织以产生所述第一数量的输出图像。
4.根据权利要求1-3任一的图像处理方法，还包括：
使用第三卷积神经网络提取输入的第三图像的特征，其中，所述第三卷积神经网络包括依次连接的多个第三卷积层和间插于相邻第三卷积层之间的多个第三池化层，每级所述第三卷积层用于产生并输出第三卷积特征，所述第三卷积层的数量与所述第一卷积层的数量相等，并且
所述多个第二卷积层中除最初的层级以及连接到所述第一卷积层的层级外，至少之一接收对应的所述第三卷积层输出的第三卷积特征，且融合其同一层级的复合层的输出以及对应的所述第三卷积层输出的第三卷积特征以得到其输出数据。
5.根据权利要求4的图像处理方法，还包括：
对于所述多个第二卷积层中至少之一，选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。
6.根据权利要求4的图像处理方法，还包括：
对于所述多个第二卷积层中每个，都选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。
7.根据权利要求5或6的图像处理方法，所述第一卷积特征是内容特征，所述第三卷积特征是风格特征；或者，所述第一卷积特征是风格特征，所述第三卷积特征是内容特征。
8.根据权利要求4的图像处理方法，其中，所述第一卷积神经网络和所述第三卷积神经网络的构造相同。
9.一种图像处理装置，包括：
第一卷积神经网络模块，用于提取输入的第一图像的特征，其中，所述第一卷积神经网络包括依次连接的多个第一卷积层和间插于相邻第一卷积层之间的多个第一池化层，所述第一卷积层每个用于产生并输出第一卷积特征；
第二卷积神经网络模块，用于重构并输出图像，其中，所述第二神经网络包括依次连接的多个第二卷积层和间插于相邻第二卷积层之间的多个复合层，所述复合层为上采样层；并且，
所述第一卷积层的数量与所述第二卷积层的数量相等，最后的第一卷积层的输出被连接到最初的第二卷积层，且所述多个第二卷积层中除最初的层级外，至少之一接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。
10.根据权利要求9的图像处理装置，其中，所述多个第二卷积层中除最初的层级外，每个都接收对应的所述第一卷积层输出的第一卷积特征，且融合同一层级的复合层的输出以及对应的所述第一卷积层输出的第一卷积特征以得到其输出数据。
11.根据权利要求9或10的图像处理装置，其中，所述复合层获取被输入到其中的第一数量的输入图像并将这些输入图像的像素值交织以产生所述第一数量的输出图像。
12.根据权利要求9的图像处理装置，还包括：
第三卷积神经网络模块，用于提取输入的第三图像的特征，其中，所述第三卷积神经网络包括依次连接的多个第三卷积层和间插于相邻第三卷积层之间的多个第三池化层，每级所述第三卷积层用于产生并输出第三卷积特征，所述第三卷积层的数量与所述第一卷积层的数量相等；并且，
所述多个第二卷积层中除最初的层级以及连接到所述第一卷积层的层级外，至少之一接收对应的所述第三卷积层输出的第三卷积特征，且融合其同一层级的复合层的输出以及对应的所述第三卷积层输出的第三卷积特征以得到其输出数据。
13.根据权利要求12的图像处理装置，还包括：
选择模块，
其中，对于所述多个第二卷积层中至少之一，通过所述选择模块配置为选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。
14.根据权利要求13的图像处理装置，其中，对于所述多个第二卷积层中每个，所述选择模块配置为选择使其接收对应的所述第一卷积层或对应的所述第三卷积层的输出，由此选择对应的所述第一卷积层输出的第一卷积特征或对应的所述第三卷积层输出的第三卷积特征与同一层级的复合层的输出融合以得到其输出数据。
15.根据权利要求12的图像处理装置，其中，所述第一卷积神经网络和所述第三卷积神经网络的构造相同。
16.一种图像处理装置，包括：
处理器；
存储器，其上存储有计算机程序，所述计算机程序被所述处理器运行时可以执行根据权利要求1-9任一所述的图像处理方法。
CN201710060897.0A 2017-01-25 2017-01-25 图像处理方法和装置 Active CN106709532B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710060897.0A CN106709532B (zh) 2017-01-25 2017-01-25 图像处理方法和装置
US15/712,654 US10395167B2 (en) 2017-01-25 2017-09-22 Image processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710060897.0A CN106709532B (zh) 2017-01-25 2017-01-25 图像处理方法和装置

Publications (2)

Publication Number Publication Date
CN106709532A true CN106709532A (zh) 2017-05-24
CN106709532B CN106709532B (zh) 2020-03-10

Family

ID=58909748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710060897.0A Active CN106709532B (zh) 2017-01-25 2017-01-25 图像处理方法和装置

Country Status (2)

Country Link
US (1) US10395167B2 (zh)
CN (1) CN106709532B (zh)

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277615A (zh) * 2017-06-30 2017-10-20 北京奇虎科技有限公司 直播风格化处理方法、装置、计算设备及存储介质
CN107277391A (zh) * 2017-06-30 2017-10-20 北京奇虎科技有限公司 图像转换网络处理方法、服务器、计算设备及存储介质
CN107391599A (zh) * 2017-06-30 2017-11-24 中原智慧城市设计研究院有限公司 基于风格特征的图像检索方法
CN107578054A (zh) * 2017-09-27 2018-01-12 北京小米移动软件有限公司 图像处理方法及装置
CN107679619A (zh) * 2017-10-13 2018-02-09 中国人民解放军信息工程大学 一种类卷积人工神经网络的构造方法及装置
CN107705242A (zh) * 2017-07-20 2018-02-16 广东工业大学 一种结合深度学习与深度感知的图像风格化迁移方法
CN107832843A (zh) * 2017-10-30 2018-03-23 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法
CN108550107A (zh) * 2018-04-27 2018-09-18 Oppo广东移动通信有限公司 一种图片处理方法、图片处理装置及移动终端
CN108876726A (zh) * 2017-12-12 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
CN108921017A (zh) * 2018-05-24 2018-11-30 北京飞搜科技有限公司 人脸检测方法及系统
CN109002715A (zh) * 2018-07-05 2018-12-14 东北大学秦皇岛分校 一种基于卷积神经网络的恶意软件识别方法及系统
CN109101806A (zh) * 2018-08-17 2018-12-28 浙江捷尚视觉科技股份有限公司 一种基于风格迁移的隐私人像数据标注方法
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN109426858A (zh) * 2017-08-29 2019-03-05 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
CN109472270A (zh) * 2018-10-31 2019-03-15 京东方科技集团股份有限公司 图像风格转换方法、装置及设备
CN109711136A (zh) * 2017-10-26 2019-05-03 武汉极意网络科技有限公司 存储设备、验证码图片生成方法和装置
CN110097604A (zh) * 2019-05-09 2019-08-06 杭州筑象数字科技有限公司 图像颜色风格转移方法
CN110507288A (zh) * 2019-08-29 2019-11-29 重庆大学 基于一维卷积神经网络的视觉诱导晕动症检测方法
CN110660037A (zh) * 2018-06-29 2020-01-07 京东方科技集团股份有限公司 图像间脸部交换的方法、装置、系统和计算机程序产品
CN111194458A (zh) * 2017-10-11 2020-05-22 高通股份有限公司 用于处理图像的图像信号处理器
CN111797855A (zh) * 2019-04-09 2020-10-20 腾讯科技（深圳）有限公司 图像处理、模型训练方法、装置、介质和设备
CN112241934A (zh) * 2019-07-19 2021-01-19 华为技术有限公司 一种图像处理方法以及相关设备
US10936938B2 (en) 2017-12-28 2021-03-02 International Business Machines Corporation Method for visualizing neural network models
CN112818146A (zh) * 2021-01-26 2021-05-18 山西三友和智慧信息技术股份有限公司 一种基于产品图像风格的推荐方法
US11321593B2 (en) 2017-02-23 2022-05-03 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
CN116559169A (zh) * 2023-07-11 2023-08-08 中南大学 一种路面状态实时检测方法
US11836951B2 (en) 2017-10-11 2023-12-05 Qualcomm Incorporated Image signal processor for processing images
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678379B (zh) * 2016-01-12 2020-08-07 腾讯科技（深圳）有限公司 一种cnn的处理方法和装置
US11372956B2 (en) * 2017-04-17 2022-06-28 Splunk Inc. Multiple input neural networks for detecting fraud
US11102225B2 (en) 2017-04-17 2021-08-24 Splunk Inc. Detecting fraud by correlating user behavior biometrics with other data sources
US11315010B2 (en) 2017-04-17 2022-04-26 Splunk Inc. Neural networks for detecting fraud based on user behavior biometrics
CN107124609A (zh) * 2017-04-27 2017-09-01 京东方科技集团股份有限公司 一种视频图像的处理系统、其处理方法及显示装置
KR102601604B1 (ko) * 2017-08-04 2023-11-13 삼성전자주식회사 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
US10872392B2 (en) 2017-11-07 2020-12-22 Digimarc Corporation Generating artistic designs encoded with robust, machine-readable data
US11062108B2 (en) 2017-11-07 2021-07-13 Digimarc Corporation Generating and reading optical codes with variable density to adapt for visual quality and reliability
US10896307B2 (en) 2017-11-07 2021-01-19 Digimarc Corporation Generating and reading optical codes with variable density to adapt for visual quality and reliability
US20190213705A1 (en) 2017-12-08 2019-07-11 Digimarc Corporation Artwork generated to convey digital messages, and methods/apparatuses for generating such artwork
US10706267B2 (en) * 2018-01-12 2020-07-07 Qualcomm Incorporated Compact models for object recognition
WO2019182159A1 (ja) * 2018-03-23 2019-09-26 シャープ株式会社 画像フィルタ装置、画像復号装置、及び画像符号化装置
JP7472413B2 (ja) 2018-06-08 2024-04-23 ディジマーク コーポレイション 点描法、ボロノイ法、及びドロネー法を使用して信号運搬アートを生成すること、並びにこれを読み取ること
CN109255772B (zh) * 2018-08-27 2024-05-03 平安科技（深圳）有限公司 基于风格迁移的车牌图像生成方法、装置、设备及介质
CN111353944B (zh) * 2018-12-20 2024-05-28 深圳市中兴微电子技术有限公司 一种图像重建方法、装置及计算机可读存储介质
US11562171B2 (en) * 2018-12-21 2023-01-24 Osaro Instance segmentation by instance label factorization
CN111582007A (zh) * 2019-02-19 2020-08-25 富士通株式会社 物体识别方法、装置和网络
CN109949214A (zh) * 2019-03-26 2019-06-28 湖北工业大学 一种图像风格迁移方法及系统
CN110263809B (zh) * 2019-05-16 2022-12-16 华南理工大学 池化特征图处理方法、目标检测方法、系统、装置和介质
CN110334584B (zh) * 2019-05-20 2023-01-20 广东工业大学 一种基于区域全卷积网络的手势识别方法
CN110147788B (zh) * 2019-05-27 2021-09-21 东北大学 一种基于特征增强crnn的金属板带产品标签文字识别方法
CN111797881B (zh) * 2019-07-30 2024-06-28 华为技术有限公司 图像分类方法及装置
CN110472086B (zh) * 2019-08-02 2023-01-31 西安工程大学 一种基于视网膜关键特征提取的骨架图像检索方法
CN110909790A (zh) * 2019-11-20 2020-03-24 Oppo广东移动通信有限公司 图像的风格迁移方法、装置、终端及存储介质
CN111127309B (zh) * 2019-12-12 2023-08-11 杭州格像科技有限公司 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN111583107A (zh) * 2020-04-03 2020-08-25 长沙理工大学 一种基于注意力机制的图像超分辨率重建方法和系统
US20220101084A1 (en) * 2020-09-29 2022-03-31 International Business Machines Corporation Pipelining for analog-memory-based neural networks with all-local storage
US11602132B2 (en) 2020-10-06 2023-03-14 Sixgill, LLC System and method of counting livestock
CN112288044B (zh) * 2020-12-24 2021-07-27 成都索贝数码科技股份有限公司 基于树型结构的多尺度残差网络的新闻画面属性识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574277A (zh) * 2015-01-30 2015-04-29 京东方科技集团股份有限公司 图像插值方法和图像插值装置
CN104732274A (zh) * 2015-03-10 2015-06-24 华南理工大学 一种智能计算机
CN105005774A (zh) * 2015-07-28 2015-10-28 中国科学院自动化研究所 一种基于卷积神经网络的人脸亲属关系识别方法及装置
US20160148080A1 (en) * 2014-11-24 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
CN105981051A (zh) * 2014-10-10 2016-09-28 北京旷视科技有限公司 用于图像解析的分层互连多尺度卷积网络
CN106157319A (zh) * 2016-07-28 2016-11-23 哈尔滨工业大学 基于卷积神经网络的区域和像素级融合的显著性检测方法
CN106295714A (zh) * 2016-08-22 2017-01-04 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法
US20170011291A1 (en) * 2015-07-07 2017-01-12 Adobe Systems Incorporated Finding semantic parts in images

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430829B2 (en) * 2014-01-30 2016-08-30 Case Western Reserve University Automatic detection of mitosis using handcrafted and convolutional neural network features
JP6345276B2 (ja) * 2014-06-16 2018-06-20 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 顔認証方法およびシステム
CN106537379A (zh) * 2014-06-20 2017-03-22 谷歌公司 细粒度图像相似性
US9552510B2 (en) * 2015-03-18 2017-01-24 Adobe Systems Incorporated Facial expression capture for character animation
CN106156807B (zh) * 2015-04-02 2020-06-02 华中科技大学 卷积神经网络模型的训练方法及装置
US10002313B2 (en) * 2015-12-15 2018-06-19 Sighthound, Inc. Deeply learned convolutional neural networks (CNNS) for object localization and classification
US9904871B2 (en) * 2016-04-14 2018-02-27 Microsoft Technologies Licensing, LLC Deep convolutional neural network prediction of image professionalism
US10223610B1 (en) * 2017-10-15 2019-03-05 International Business Machines Corporation System and method for detection and classification of findings in images

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105981051A (zh) * 2014-10-10 2016-09-28 北京旷视科技有限公司 用于图像解析的分层互连多尺度卷积网络
US20160148080A1 (en) * 2014-11-24 2016-05-26 Samsung Electronics Co., Ltd. Method and apparatus for recognizing object, and method and apparatus for training recognizer
CN104574277A (zh) * 2015-01-30 2015-04-29 京东方科技集团股份有限公司 图像插值方法和图像插值装置
CN104732274A (zh) * 2015-03-10 2015-06-24 华南理工大学 一种智能计算机
US20170011291A1 (en) * 2015-07-07 2017-01-12 Adobe Systems Incorporated Finding semantic parts in images
CN105005774A (zh) * 2015-07-28 2015-10-28 中国科学院自动化研究所 一种基于卷积神经网络的人脸亲属关系识别方法及装置
CN106157319A (zh) * 2016-07-28 2016-11-23 哈尔滨工业大学 基于卷积神经网络的区域和像素级融合的显著性检测方法
CN106295714A (zh) * 2016-08-22 2017-01-04 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEON A.GATYS,ALEXANDER S.ECHER,MATTHIAS BETHGE: "A Neural Algorithm for Artistic Style", 《ARXIV:1508.06576》 *
SIMONYANK,ZISSERMANA: "Verydeepconvolutionalnetworksfbrlarge-scaleimagerecognition", 《ARXIV:1409.1556》 *

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11321593B2 (en) 2017-02-23 2022-05-03 Beijing Sensetime Technology Development Co., Ltd Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device
CN107277391A (zh) * 2017-06-30 2017-10-20 北京奇虎科技有限公司 图像转换网络处理方法、服务器、计算设备及存储介质
CN107391599A (zh) * 2017-06-30 2017-11-24 中原智慧城市设计研究院有限公司 基于风格特征的图像检索方法
CN107391599B (zh) * 2017-06-30 2021-01-12 中原智慧城市设计研究院有限公司 基于风格特征的图像检索方法
CN107277391B (zh) * 2017-06-30 2020-06-23 北京奇虎科技有限公司 图像转换网络处理方法、服务器、计算设备及存储介质
CN107277615B (zh) * 2017-06-30 2020-06-23 北京奇虎科技有限公司 直播风格化处理方法、装置、计算设备及存储介质
CN107277615A (zh) * 2017-06-30 2017-10-20 北京奇虎科技有限公司 直播风格化处理方法、装置、计算设备及存储介质
CN107705242B (zh) * 2017-07-20 2021-12-17 广东工业大学 一种结合深度学习与深度感知的图像风格化迁移方法
CN107705242A (zh) * 2017-07-20 2018-02-16 广东工业大学 一种结合深度学习与深度感知的图像风格化迁移方法
EP3678059A4 (en) * 2017-08-29 2021-05-26 BOE Technology Group Co., Ltd. IMAGE PROCESSING METHOD, IMAGE PROCESSING DEVICE, AND METHOD FOR TRAINING A NEURAL NETWORK
CN109426858A (zh) * 2017-08-29 2019-03-05 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
CN109426858B (zh) * 2017-08-29 2021-04-06 京东方科技集团股份有限公司 神经网络、训练方法、图像处理方法及图像处理装置
WO2019042139A1 (zh) * 2017-08-29 2019-03-07 京东方科技集团股份有限公司 图像处理方法、图像处理装置、神经网络的训练方法
CN107578054A (zh) * 2017-09-27 2018-01-12 北京小米移动软件有限公司 图像处理方法及装置
CN111194458B (zh) * 2017-10-11 2023-10-13 高通股份有限公司 用于处理图像的图像信号处理器
US11836951B2 (en) 2017-10-11 2023-12-05 Qualcomm Incorporated Image signal processor for processing images
CN111194458A (zh) * 2017-10-11 2020-05-22 高通股份有限公司 用于处理图像的图像信号处理器
CN107679619B (zh) * 2017-10-13 2020-04-24 中国人民解放军信息工程大学 一种类卷积人工神经网络的构造方法及装置
CN107679619A (zh) * 2017-10-13 2018-02-09 中国人民解放军信息工程大学 一种类卷积人工神经网络的构造方法及装置
CN109711136A (zh) * 2017-10-26 2019-05-03 武汉极意网络科技有限公司 存储设备、验证码图片生成方法和装置
US11762631B2 (en) 2017-10-30 2023-09-19 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US11922132B2 (en) 2017-10-30 2024-03-05 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US12050887B2 (en) 2017-10-30 2024-07-30 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
CN107832843A (zh) * 2017-10-30 2018-03-23 上海寒武纪信息科技有限公司 一种信息处理方法及相关产品
CN108038821A (zh) * 2017-11-20 2018-05-15 河海大学 一种基于生成式对抗网络的图像风格迁移方法
CN108876726A (zh) * 2017-12-12 2018-11-23 北京旷视科技有限公司 图像处理的方法、装置、系统及计算机存储介质
US10936938B2 (en) 2017-12-28 2021-03-02 International Business Machines Corporation Method for visualizing neural network models
CN108550107A (zh) * 2018-04-27 2018-09-18 Oppo广东移动通信有限公司 一种图片处理方法、图片处理装置及移动终端
CN108921017B (zh) * 2018-05-24 2021-05-18 苏州飞搜科技有限公司 人脸检测方法及系统
CN108921017A (zh) * 2018-05-24 2018-11-30 北京飞搜科技有限公司 人脸检测方法及系统
CN110660037B (zh) * 2018-06-29 2023-02-10 京东方科技集团股份有限公司 图像间脸部交换的方法、装置、系统和计算机程序产品
CN110660037A (zh) * 2018-06-29 2020-01-07 京东方科技集团股份有限公司 图像间脸部交换的方法、装置、系统和计算机程序产品
CN109002715A (zh) * 2018-07-05 2018-12-14 东北大学秦皇岛分校 一种基于卷积神经网络的恶意软件识别方法及系统
CN109101806A (zh) * 2018-08-17 2018-12-28 浙江捷尚视觉科技股份有限公司 一种基于风格迁移的隐私人像数据标注方法
US11990137B2 (en) 2018-09-13 2024-05-21 Shanghai Cambricon Information Technology Co., Ltd. Image retouching method and terminal device
US12094456B2 (en) 2018-09-13 2024-09-17 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and system
US12057109B2 (en) 2018-09-13 2024-08-06 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US11996105B2 (en) 2018-09-13 2024-05-28 Shanghai Cambricon Information Technology Co., Ltd. Information processing method and terminal device
US12057110B2 (en) 2018-09-13 2024-08-06 Shanghai Cambricon Information Technology Co., Ltd. Voice recognition based on neural networks
US11227364B2 (en) 2018-09-25 2022-01-18 Boe Technology Group Co., Ltd. Computer-implemented method using convolutional neural network, apparatus for generating composite image, and computer-program product
JP2022500734A (ja) * 2018-09-25 2022-01-04 京東方科技集團股▲ふん▼有限公司Boe Technology Group Co., Ltd. 畳み込みニューラルネットワークを利用したコンピュータ実現方法、合成画像生成用の装置及びコンピュータプログラム製品
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
JP7350841B2 (ja) 2018-09-25 2023-09-26 京東方科技集團股▲ふん▼有限公司 畳み込みニューラルネットワークを利用したコンピュータ実現方法、合成画像生成用の装置及びコンピュータプログラム
WO2020062894A1 (en) * 2018-09-25 2020-04-02 Boe Technology Group Co., Ltd. Computer-implemented method using convolutional neural network, apparatus for generating composite image, and computer-program product
CN109472270A (zh) * 2018-10-31 2019-03-15 京东方科技集团股份有限公司 图像风格转换方法、装置及设备
CN109472270B (zh) * 2018-10-31 2021-09-24 京东方科技集团股份有限公司 图像风格转换方法、装置及设备
US10970830B2 (en) 2018-10-31 2021-04-06 Boe Technology Group Co., Ltd. Image style conversion method, apparatus and device
CN111797855A (zh) * 2019-04-09 2020-10-20 腾讯科技（深圳）有限公司 图像处理、模型训练方法、装置、介质和设备
CN111797855B (zh) * 2019-04-09 2024-08-13 腾讯科技（深圳）有限公司 图像处理、模型训练方法、装置、介质和设备
CN110097604A (zh) * 2019-05-09 2019-08-06 杭州筑象数字科技有限公司 图像颜色风格转移方法
CN110097604B (zh) * 2019-05-09 2021-05-11 杭州筑象数字科技有限公司 图像颜色风格转移方法
CN112241934B (zh) * 2019-07-19 2024-05-14 华为技术有限公司 一种图像处理方法以及相关设备
CN112241934A (zh) * 2019-07-19 2021-01-19 华为技术有限公司 一种图像处理方法以及相关设备
CN110507288A (zh) * 2019-08-29 2019-11-29 重庆大学 基于一维卷积神经网络的视觉诱导晕动症检测方法
CN112818146A (zh) * 2021-01-26 2021-05-18 山西三友和智慧信息技术股份有限公司 一种基于产品图像风格的推荐方法
CN116559169B (zh) * 2023-07-11 2023-10-10 中南大学 一种路面状态实时检测方法
CN116559169A (zh) * 2023-07-11 2023-08-08 中南大学 一种路面状态实时检测方法

Also Published As

Publication number Publication date
US10395167B2 (en) 2019-08-27
CN106709532B (zh) 2020-03-10
US20180211157A1 (en) 2018-07-26

Similar Documents

Publication Publication Date Title
CN106709532A (zh) 图像处理方法和装置
CN110310221B (zh) 一种基于生成对抗网络的多域图像风格迁移方法
CN108664974A (zh) 一种基于rgbd图像与全残差网络的语义分割方法
CN108537742A (zh) 一种基于生成对抗网络的遥感图像全色锐化方法
CN109214250A (zh) 一种基于多尺度卷积神经网络的静态手势识别方法
CN113792641B (zh) 一种结合多谱注意力机制的高分辨率轻量级的人体姿态估计方法
CN111046855A (zh) 图片识别方法、识别模型训练方法、装置及电子装置
CN110309811A (zh) 一种基于胶囊网络的高光谱图像分类方法
CN108875900A (zh) 视频图像处理方法和装置、神经网络训练方法、存储介质
CN110377049B (zh) 基于脑-机接口的无人机集群编队队形重构控制方法
CN111784582A (zh) 一种基于dec_se的低照度图像超分辨率重建方法
Zhang et al. Transformer based conditional GAN for multimodal image fusion
DE102021105249A1 (de) Mikrotraining zur iterativen verfeinerung eines neuronalen netzes mit wenigen anpassungen
CN113706380B (zh) 基于弱监督生成对抗网络提高地震资料分辨率方法及系统
CN115311184A (zh) 基于半监督深度神经网络的遥感图像融合方法及系统
CN117575746B (zh) 虚拟试穿方法、装置、电子设备及存储介质
CN112149802A (zh) 一种语义结构一致的图像内容转换方法
Fu Digital image art style transfer algorithm based on CycleGAN
CN109272450A (zh) 一种基于卷积神经网络的图像超分方法
CN105225214B (zh) 一种基于直觉模糊处理理论的图像融合方法及其系统
Qin et al. Virtual reality video image classification based on texture features
CN116128722A (zh) 基于频域-纹理特征融合的图像超分辨率重建方法及系统
CN116978057A (zh) 图像中人体姿态迁移方法、装置、计算机设备和存储介质
Huang et al. Image completion based on gans with a new loss function
CN116152263A (zh) 一种基于cm-mlp网络的医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant