CN108205803A - 图像处理方法、神经网络模型的训练方法及装置 - Google Patents

图像处理方法、神经网络模型的训练方法及装置 Download PDF

Info

Publication number
CN108205803A
CN108205803A CN201710591856.4A CN201710591856A CN108205803A CN 108205803 A CN108205803 A CN 108205803A CN 201710591856 A CN201710591856 A CN 201710591856A CN 108205803 A CN108205803 A CN 108205803A
Authority
CN
China
Prior art keywords
image
information
network
training
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710591856.4A
Other languages
English (en)
Other versions
CN108205803B (zh
Inventor
黄明杨
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710591856.4A priority Critical patent/CN108205803B/zh
Publication of CN108205803A publication Critical patent/CN108205803A/zh
Application granted granted Critical
Publication of CN108205803B publication Critical patent/CN108205803B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了图像处理方法、神经网络模型的训练方法及装置。其中图像处理方法包括：基于第一神经网络提取待处理图像的深度信息；根据所述深度信息并基于所述第一神经网络对所述待处理图像进行立体化处理。本发明实施例可基于神经网络生成具有立体视觉效果的图像。

Description

图像处理方法、神经网络模型的训练方法及装置
技术领域
本发明实施例涉及计算机视觉技术，尤其涉及图像处理技术方案以及神经网络模型的训练方案。
背景技术
目前，对图像进行特定效果处理的技术成为计算机视觉领域的研究热点之一。
对图像增加特定效果处理的技术也可称为“图像滤镜”。图像滤镜广泛应用于图像增强、图像娱乐化以及图像特殊效果化等方面。例如，图像风格化滤镜可将日常的图像添加目标艺术作品的艺术风格效果。
发明内容
本发明实施例提供图像处理技术方案以及神经网络模型的训练方案。
第一方面，本发明实施例提供了一种图像处理方法，该方法包括：
基于第一神经网络提取待处理图像的深度信息；
根据所述深度信息并基于所述第一神经网络对所述待处理图像进行立体化处理。
可选的，所述第一神经网络预先训练而得且训练方法包括：
经待训练的第一神经网络对训练图像进行处理以生成第一合成图像；
分别提取所述训练图像的深度信息和所述第一合成图形的深度信息；
确定所述训练图像的深度信息和所述第一合成图像的深度信息之间的深度损失信息；
基于所述深度损失信息调整第一神经网络的网络参数。
可选的，所述图像处理方法还包括：
基于第二神经网络提取所述待处理图像的图像内容信息；
根据所述图像内容信息并基于所述第二神经网络对所述待处理图像进行风格化处理，其中，风格化处理后的图像的纹理特征与所述第二神经网络预先训练所基于的目标风格图像的纹理特征匹配。
可选的，预先训练所述第二神经网络的方法包括：
经待训练的第二神经网络对训练图像进行处理以生成第二合成图像；
提取所述训练图像的图像内容信息，以及所述第二合成图像的图像内容信息和纹理特征信息；
确定所述训练图像的图像内容信息和所述第二合成图像的图像内容信息之间的内容损失信息、以及所述第二合成图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息；
根据所述内容损失信息和所述纹理损失信息调整第二神经网络的网络参数。
可选的，所述第一神经网络和所述第二神经网络为同一神经网络，预先训练所述第二神经网络的方法包括：
经待训练的第二神经网络对训练图像进行处理以生成第三合成图像；
提取所述第三合成图像的图像内容信息、纹理特征信息和深度信息，以及所述训练图像的图像内容信息和深度信息；
确定所述训练图像的图像内容信息和所述第三合成图像的图像内容信息之间的内容损失信息、所述训练图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息、以及所述训练图像的深度信息和所述第三合成图像的深度信息之间的深度损失信息；
根据所述内容损失信息、所述纹理损失信息和所述深度损失信息调整第二神经网络的网络参数。
可选的，对所述第二神经网络训练之前，所述图像处理方法还包括：
对所述预定目标风格图像进行用于增强图像纹理特征的预处理。
可选的，所述对所述预定目标风格图像进行用于增强图像纹理特征的预处理，包括：
对所述预定目标风格图像进行滤波去噪处理；和/或，
对所述预定目标风格图像进行图像参数的增强处理。
可选的，所述图像参数包括以下至少之一：光度、色度、饱和度、对比度、强度。
可选的，所述第二神经网络包括：依次对输入的图像进行处理的下采样卷积子网络、卷积或残差子网络、以及上采样卷积子网络，所述上采样卷积子网络包括双线性插值层和卷积层。
可选的，所述待处理图像为静态图像或者视频序列中的视频帧图像。
可选的，针对任一神经网络，所述图像处理方法还包括：
分别训练网络层具有不同通道数且结构相同的至少二个神经网络；
比较各自训练后的神经网络的图像处理效果的差异；
响应于图像处理效果的差异满足预定容许条件，将网络层具有最少通道数的神经网络确定为待进行图像处理的神经网络。
第二方面，本发明实施例还提供了一种神经网络模型的训练方法，该方法包括：
经待训练的神经网络对训练图像进行处理以生成合成图像；
至少提取所述训练图像的深度信息和所述合成图像的深度信息；
确定训练图像的深度信息和所述合成图像的深度信息之间的深度损失信息；
至少基于所述深度损失信息调整神经网络的网络参数。
可选的，至少提取所述训练图像的深度信息和所述合成图像的深度信息，包括：提取所述合成图像的图像内容信息、纹理特征信息和深度信息，以及提取所述训练图像的深度信息和内容信息；
所述训练方法还包括：确定所述训练图像的图像内容信息和所述合成图像的内容信息之间的内容损失信息、以及所述训练图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息；
所述至少基于所述深度损失信息调整神经网络的网络参数，包括：根据所述内容损失信息、所述纹理损失信息和所述深度损失信息调整神经网络的网络参数。
可选的，对所述神经网络训练之前，所述训练方法还包括：
对所述预定目标风格图像进行用于增强图像纹理特征的预处理。
可选的，所述对所述预定目标风格图像进行用于增强图像纹理特征的预处理，包括：
对所述预定目标风格图像进行滤波去噪处理；和/或，
对所述预定目标风格图像进行图像参数的增强处理。
可选的，所述图像参数包括以下至少之一：光度、色度、饱和度、对比度、强度。
可选的，所述神经网络包括：依次对输入的图像进行处理的下采样卷积子网络、卷积或残差子网络、以及上采样卷积子网络，所述上采样卷积子网络包括双线性插值层和卷积层。
可选的，所述训练方法还包括：
分别训练网络层具有不同通道数且结构相同的至少二个神经网络；
比较各自训练后的神经网络的图像处理效果的差异；
响应于图像处理效果的差异满足预定容许条件，将网络层具有最少通道数的神经网络确定为待进行图像处理的神经网络。
第三方面，本发明实施例还提供了一种图像处理装置，该装置包括：
第一深度信息提取模块，用于基于第一神经网络提取待处理图像的深度信息；
第一立体化处理模块，用于根据所述深度信息并基于所述第一神经网络对所述待处理图像进行立体化处理。
可选的，所述装置包括第一神经网络训练模块，包括：
第一合成图像生成单元，用于经待训练的第一神经网络对训练图像进行处理以生成第一合成图像；
深度信息提取单元，用于分别提取所述训练图像的深度信息和所述第一合成图形的深度信息；
深度损失信息确定单元，用于确定所述训练图像的深度信息和所述第一合成图像的深度信息之间的深度损失信息；
第一网络参数调整单元，用于基于所述深度损失信息调整第一神经网络的网络参数。
可选的，所述图像处理装置还包括：
图像内容信息提取模块，用于基于第二神经网络提取所述待处理图像的图像内容信息；
风格化处理模块，用于根据所述图像内容信息并基于所述第二神经网络对所述待处理图像进行风格化处理，其中，风格化处理后的图像的纹理特征与所述第二神经网络预先训练所基于的目标风格图像的纹理特征匹配。
可选的，所述装置还包括第二神经网络训练模块，包括：
第二合成图像生成单元，用于经待训练的第二神经网络对训练图像进行处理以生成第二合成图像；
第一特征信息提取单元，用于提取所述训练图像的图像内容信息，以及所述第二合成图像的图像内容信息和纹理特征信息；
第一损失信息确定单元，用于确定所述训练图像的图像内容信息和所述第二合成图像的图像内容信息之间的内容损失信息、以及所述第二合成图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息；
第二网络参数调整单元，用于根据所述内容损失信息和所述纹理损失信息调整第二神经网络的网络参数。
可选的，所述第一神经网络和所述第二神经网络为同一神经网络，所述第二神经网络训练模块包括：
第三合成图像生成单元，用于经待训练的第二神经网络对训练图像进行处理以生成第三合成图像；
第二特征信息提取单元，用于提取所述第三合成图像的图像内容信息、纹理特征信息和深度信息，以及所述训练图像的图像内容信息和深度信息；
第二损失信息确定单元，用于确定所述训练图像的图像内容信息和所述第三合成图像的图像内容信息之间的内容损失信息、所述训练图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息、以及所述训练图像的深度信息和所述第三合成图像的深度信息之间的深度损失信息；
第三网络参数调整单元，用于根据所述内容损失信息、所述纹理损失信息和所述深度损失信息调整第二神经网络的网络参数。
可选的，所述图像处理装置还包括：
第一预处理模块，用于在对所述第二神经网络训练之前，对所述预定目标风格图像进行用于增强图像纹理特征的预处理。
可选的，所述第一预处理模块具体用于：
对所述预定目标风格图像进行滤波去噪处理；和/或，
对所述预定目标风格图像进行图像参数的增强处理。
可选的，所述图像参数包括以下至少之一：光度、色度、饱和度、对比度、强度。
可选的，所述第二神经网络包括：依次对输入的图像进行处理的下采样卷积子网络、卷积或残差子网络、以及上采样卷积子网络，所述上采样卷积子网络包括双线性插值层和卷积层。
可选的，所述待处理图像为静态图像或者视频序列中的视频帧图像。
可选的，针对任一神经网络，所述图像处理装置还包括：
第一神经网络训练模块，用于分别训练网络层具有不同通道数且结构相同的至少二个神经网络；
第一效果差异比较单元，用于比较各自训练后的神经网络的图像处理效果的差异；
第一神经网络筛选模块，用于根据响应于图像处理效果的差异满足预定容许条件，将网络层具有最少通道数的神经网络确定为待进行图像处理的神经网络。
第四方面，本发明实施例还提供了一种神经网络模型的训练装置，该装置包括：
合成图像生成模块，用于经待训练的神经网络对训练图像进行处理以生成合成图像；
特征信息提取模块，用于至少提取所述训练图像的深度信息和所述合成图像的深度信息；
损失信息确定模块，用于确定训练图像的深度信息和所述合成图像的深度信息之间的深度损失信息；
网络参数调整模块，用于至少基于所述深度损失信息调整神经网络的网络参数。
可选的，所述特征信息提取模块具体用于：提取所述合成图像的图像内容信息、纹理特征信息和深度信息，以及提取所述训练图像的深度信息和内容信息；
所述损失信息确定模块还包括：确定所述训练图像的图像内容信息和所述合成图像的内容信息之间的内容损失信息、以及所述训练图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息；
所述网络参数调整单元还包括：根据所述内容损失信息、所述纹理损失信息和所述深度损失信息调整神经网络的网络参数。
可选的，所述训练装置还包括：
第二预处理模块，用于在对所述神经网络训练之前，对所述预定目标风格图像进行用于增强图像纹理特征的预处理。
可选的，所述第二预处理模块具体用于：
对所述预定目标风格图像进行滤波去噪处理；和/或，
对所述预定目标风格图像进行图像参数的增强处理。
可选的，所述图像参数包括以下至少之一：光度、色度、饱和度、对比度、强度。
可选的，所述神经网络包括：依次对输入的图像进行处理的下采样卷积子网络、卷积或残差子网络、以及上采样卷积子网络，所述上采样卷积子网络包括双线性插值层和卷积层。
可选的，所述训练装置还包括：
第二神经网络训练模块，用于分别训练网络层具有不同通道数且结构相同的至少二个神经网络；
第二效果差异比较单元，用于比较各自训练后的神经网络的图像处理效果的差异；
第二神经网络筛选模块，用于根据响应于图像处理效果的差异满足预定容许条件，将网络层具有最少通道数的神经网络确定为待进行图像处理的神经网络。
第五方面，本发明实施例还提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明任意实施例提供的图像处理方法。
第六方面，本发明实施例还提供了一种计算机可读存储介质，该程序被处理器执行时实现本发明任意实施例提图像处理方法。
第七方面，本发明实施例还提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明任意实施例提供的神经网络模型的训练方法。
第八方面，本发明实施例还提供了一种计算机可读存储介质，该程序被处理器执行时实现本发明任意实施例提供的神经网络模型的训练方法。
本发明实施例的技术方案，通过神经网络提取待处理图像的深度信息，并基于该深度信息对待处理图像进行立体化处理，由此实现了基于神经网络生成具有立体视觉效果的图像。
附图说明
图1是本发明实施例一提供的图像处理方法的流程图；
图2A是本发明实施例一提供的立体化处理前的原始图像；
图2B是本发明实施一提供的立体化处理后的图像；
图2C是本发明实施例提供的一种神经网络的结构示意图；
图2D是本发明实施例一提供的包含反卷积层的神经网络生成的图像展示图；
图2E是本发明实施例一提供的包含双线性差值和卷积层的神经网络生成的图像展示图；
图2F是本发明实施例一提供的深度特征图提取示意图；
图3A是本发明实施例二提供的一种图像处理方法的流程图；
图3B是本发明实施例二提供的VGG-16神经网络模型的结构示意图；
图3C是本发明实施例二提供的不同通道数量的神经网络生成的风格图像的对比展示图；
图3D是本发明实施例二提供的保边滤波处理前后的目标风格图像的对比展示图；
图3E是本发明实施例二提供的不同明暗对比度的目标风格图像的对比展示图；
图3F是本发明实施例二提供的风格化图像对比展示图；
图4是本发明实施例三提供的一种神经网络模型的训练方法的流程图；
图5是本发明实施例四提供的一种图像处理装置的结构示意图；
图6是本发明实施例五提供的一种神经网络模型的训练装置的结构示意图；
图7为本发明实施例六提供的一种计算设备的结构示意图；
图8为本发明实施例八提供的一种计算设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一提供的一种图像处理方法的流程图。该方法可以由本发明实施例提供的图像处理装置来执行，该装置可采用软件和/或硬件的方式实现，例如，图像处理装置可通过其设置的处理器运行存储器存储的相应指令来实现。参见图1，该方法包括：
S110、基于第一神经网络提取待处理图像的深度信息。
其中，神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法模型，通过调整模型内部大量节点之间相互连接关系，达到处理信息的目的。可选的，第一神经网络为卷积神经网络，卷积神经网络(Convolutional Neural Network，CNN)是一种前馈神经网络，包括卷积层和归一化层。应当理解，除了卷积神经网络之外，第一神经网络还可为非卷积类型的神经网络，神经网络的网络结构除了上述列举的例子之外，还可选用层数、层、不同卷积核和/或权重等网络参数的其他网络结构。
本实施例中，深度信息指的是图像中各物体实际的层次信息或远近距离信息，若图像具有深度信息，则具有层次感和立体感，视觉效果较好。示例性的，参见图2A和图2B，图2A是本发明实施例一提供的立体化处理前的原始图像，图2B是本发明实施一提供的立体化处理后的图像，图像的立体化视觉效果相对原始图像得以增强。通过图像视觉效果的比较可见，图2A给人的立体视觉感较差，图2B是根据深度信息进行的立体化处理，使得图像内容和纹理随着实际物体的距离远近变化更为明显，视觉上具有层次感和立体感，符合人眼的美学要求。
S120、根据深度信息并基于第一神经网络对待处理图像进行立体化处理。
立体化处理指的是使得生成的图像具有层次感和立体感的处理方式。本实施例中，第一神经网络在不同的网络层(如卷积层等)提取对应的深度特征图，并根据各网络层(如卷积层)的权值对上述深度特征图进行加权计算，生成新的图像。也就是说，该新的图像是输入图像经神经网络进行了包括深度信息的特征提取和加权计算等处理后而得，因此该新的图像在输入图像的基础上增强了立体化的视觉效果，鉴于此，该新的图像不妨称为立体化图像。
第一神经网络是预先训练得到的，通过训练过程调整第一神经网络的网络参数，使得第一神经网络具有针对图像的深度特征信息的提取、加权计算等处理能力。本发明实施例对第一神经网络的具体训练方法并不限制，本领域技术人员可采用监督、半监督、无监督或者满足深度特征信息处理的任务需求的其他训练方法训练第一神经网络。
本实施例的技术方案，通过第一神经网络提取待处理图像的深度信息，并基于该深度信息对待处理图像进行立体化处理，实现了基于神经网络增强图像的立体视觉效果。
需要说明的是：待处理图像可以为静态图像；或者，待处理图像可以为视频序列中的视频帧图像，其中，将视频的多个视频帧图像或各个视频帧图像分别输入第一神经网络，经第一神经网络对视频中多个视频帧图像或各个视频帧图像分别进行立体化处理，输出立体化视觉效果的视频，增强了视频的立体化效果，提高了视频的艺术性和可观赏性。
在上述实施例的基础上，第一神经网络包括：依次对输入的图像进行处理的下采样卷积子网络、卷积或残差子网络、以及上采样卷积子网络，上采样卷积子网络包括双线性插值层和卷积层。示例性的，参见图2C，图2C是本发明实施例提供的一种神经网络的结构示意图，其中神经网络例如可以是11层神经网络，包括底层三层卷积神经子网络，用于对输入图像进行下采样，中间五层残差子网络，用于对下采样图像进行残差计算，顶层三层卷积神经子网络，用于对图像进行上采样。每一个卷积层和残差网络均由多个卷积滤波器组成，每个卷积滤波器后均连接有BN(Batch Normalization，归一化层)和ReLU(Rectified LinearUnits，激活函数)层。可选的，顶层三层卷积神经网络中的前两层包括双线性差值和卷积层，其中，每一层的双线性差值的放大倍数例如可以是2。需要说明的是，图2C中的神经网络仅是一种可选实例，各子网络的层数以及每一个卷积层的卷积滤波器的数量可以根据实际应用需求设置，其中，实际应用需求包括但不限于图像处理效果和处理速度，本发明实施例对此并不限制。
本实施例中，神经网络的上采样可基于反卷积层实现，也可采用双线性插值和卷积层的结构实现。示例性的，卷积层和反卷积层中各滤波器的大小均可以为3*3；通过双线性差值对数据进行放大，可减少甚至避免对部分数据进行重复采样计算，由此减少处理结果中可能存在的噪声，提高了卷积神经网络对图像处理质量。参见图2D和图2E，图2D是本发明实施例一提供的包含反卷积层的神经网络生成的图像展示图；图2E是本发明实施例一提供的包含双线性差值和卷积层的神经网络生成的图像展示图，相对于图2D，采用包含双线性差值和卷积层的神经网络有利于提高图像的清晰度。
一种可选的实施方式中，第一神经网络的训练方法包括：经待训练的第一神经网络对训练图像进行处理以生成第一合成图像；分别提取所述训练图像和所述第一合成图形的深度信息；确定所述训练图像的深度信息和所述第一合成图像的深度信息之间的深度损失信息；基于所述深度损失信息调整第一神经网络的网络参数。
本实施例中，根据上述训练方式确定的第一神经网络具有针对图像的深度特征信息的提取、加权计算等处理能力，能够提高输出图像的立体效果。
其中，设置包含多个训练图像的第一训练样本集。在第一神经网络的训练过程中，将训练图像作为待训练的第一神经网络的输入信息，并经第一神经网络各网络层卷积、加权计算等处理后输出第一合成图像。根据训练图像的深度信息和第一合成图像的深度信息确定上述两个图像深度信息的损失信息。本实施例中，可选的，训练图像的深度信息(如深度特征图)可预先获得，或者，也可在第一神经网络训练过程期间进行提取。例如，通过预设深度图提取信息模型提取训练图像的深度信息。第一合成图像的深度特征图也可通过预设深度图提取信息模型在第一神经网络训练期间进行提取。示例性的，预设深度图提取信息模型例如可以是HourGlass模型，其中，HourGlass模型预先得到的。其中深度特征图通过像素灰度值(0-255)表征图像中物体远近信息，像素灰度值越大，表明实际物体越远，灰度值越小，表明实际物体越近。示例性的，参见图2F，图2F是本发明实施例一提供的深度特征图提取示意图。图2F中HourGlass模型为平躺漏斗式的网络模型，根据图2F中左上训练样本和右上训练样本对HourGlass模型进行优化训练。将待提取信息图像输入训练好的HourGlass模型，生成深度特征图，其中该深度特征图中人物距离较近，树木距离较远。
本实施例中，可选的，深度损失信息可通过深度损失函数表示，损失函数是用来表征神经网络生成图像的特征信息与图像标准特征信息的不一致程度，损失函数的值越小，神经网络的鲁棒性通常越好。示例性的，训练图像和第一合成图像的深度损失函数为如下公式(1)：
其中，为训练图像和第一合成图像对应的深度特征图之间的损失函数，φ(x)为深度图提取神经网络最后一层输出的深度特征图，C表示深度特征图的通道数，H表示高，W表示宽，示例性的，C、H、W例如可以是3、256、256。需要说明的是，上述深度损失函数仅是深度损失信息的一种可选的表示方式，而非唯一的表示方式。
其中，第一神经网络的训练过程包括训练图像的正传过程和损失信息的反传过程。在正传过程中，训练图像输入第一神经网络，依次经过各卷积层和归一化层的处理，输出第一合成图像。在反传过程中，损失函数值反向输入神经网络，并反向依次经过各卷积层和归一化层，确定各卷积层和归一化层的损失函数值，并将该各层的损失函数值作为各卷积层和归一化层的网络参数的调节依据。上述正传过程和反传过程是迭代进行的，网络参数不断调节的过程直至满足训练完成条件，该过程就是第一神经网络的优化训练过程。本实施例中，将深度损失信息作为损失函数值进行梯度反传，并根据深度损失信息调节第一神经网络的网络参数。可选的，网络参数包括但不限于权重和偏移值。
可选的训练完成条件可根据实际情况确定，实现方式灵活，例如：若深度损失函数的值满足预设条件，则可停止对第一神经网络的训练，即第一神经网络训练完成；或者，若迭代次数超过预定次数阈值，可停止对第一神经网络的训练，即第一神经网路训练完成。本实施例中，基于深度损失函数值进行训练判停的预设条件可以是深度损失函数值为零，或者小于某一阈值，或者深度损失函数值达到稳定不下降状态，例如若当前深度损失函数值小于上一次深度损失函数值，则继续对第一神经网络进行优化训练，直到当前深度损失函数值为零，或者等于上一次损失函数值，确定第一神经网络训练成功。
在上述实施例的基础上，第一神经网络的训练方法，包括：
分别训练网络层具有不同通道数且结构相同的至少二个神经网络；
比较各自训练后的神经网络的图像处理效果的差异；
响应于图像处理效果的差异满足预定容许条件，将网络层具有最少通道数的神经网络确定为待进行图像处理的神经网络。
神经网络的通道数量对图像处理速度和图像处理品质会产生一定的影响。通道数量多，通常来说神经网络的表达能力强，但涉及的运算也较为复杂，在相同软/硬件资源的条件下图像处理速度相对较慢；反之亦然。因此，在实际应用过程中，可根据实际任务的需要确定适宜的神经网络。例如，对于手机等移动终端的图像处理任务来说，由于移动终端的软/硬件资源有限并且高速图像处理的用户体验很重要，因此，可采用本实施例提供的技术方案在性能相近或相同的情况下确定通道数量较小的神经网络来作为实际进行图像处理的第一神经网络。例如，在训练过程中，可生成结构相同但网络层的通道数不同的二个或者更多的第一神经网络，分别训练网络层具有不同通道数且结构相同的至少二个第一神经网络。基于据上述至少二个第一神经网络对训练图像进行立体化处理，生成对应的合成图像，并比较各合成图像的立体化效果的差异。
可选的，通过各合成图像与训练图像深度损失信息，比较各合成图像的立体化效果，示例性的，深度损失信息越小，则表明立体化效果越好。
筛选立体化效果在预设容许条件内的合成图像对应的各神经网络，将通道数量最少的神经网络确定为第一神经网络。示例性的，提供了一种神经网络中各卷积层的各通道数量，需要说明的是，如下通道数量仅为一种可选实例，在不同的神经网络中可根据需求设置不同的通道数量。示例性的，底层三层神经网络中第一层的卷积滤波器数量为8，每个滤波器的大小为9*9，步长为1，第二层和第三层的卷积滤波器数量分别为16和32，每个滤波器的大小为3*3，步长为2；中间误差残差网络参数设置相同，每个残差层具有两个卷积层，每一卷积层具有32各卷积滤波器，步长为1；顶层三层神经网络，每一层包含的卷积滤波器数量分别为16、8、3，每个滤波器的大小为3*3，步长为1，可选的，前两层中设置双线性差值。
本实施例中，在图像立体化效果的差异满足预定容许条件，选择具有最少通道数的神经网络确定为第一神经网络，在保证了图像处理效果的基础上，简化了神经网络的结构，压缩了神经网络的的通道数量，提高了图像处理速度以及神经网络中各通道的利用率。
实施例二
图3A是本发明实施例二提供的一种图像处理方法的流程图，在上述实施例的基础上，
S210、基于第一神经网络提取待处理图像的深度信息。
S220、根据深度信息并基于第一神经网络对待处理图像进行立体化处理。
S230、基于第二神经网络提取待处理图像的图像内容信息。
其中，内容信息指的是图像包含的内容，所述内容例如可以是但不限于建筑、树木和/或人物等。
S240、根据图像内容信息并基于第二神经网络对待处理图像进行风格化处理。
其中，风格化处理后的图像的纹理特征与第二神经网络预先训练所基于的目标风格图像的纹理特征匹配。
本实施例中，风格化处理指的是对待处理图像赋予预设图像风格的处理方式，即使得风格化处理后的图像具有预设的纹理特征。纹理特征是用于表征图像风格的信息，可根据但不限于图像的色彩和/或图案确定。目标风格图像指的是待学习风格的图像，其中目标风格图像包括但不限于波浪纹理风格图像、漫画风格图像、素描风格图像、方块风格图像、色块风格图像。
本实施例中，基于第二神经网络的各网络层(包括但不限于卷积层)提取图像的内容特征图和纹理特征图，并根据各网络层的权重对上述内容特征图和纹理特征图分别进行加权处理，由此生成具有纹理特征信息的风格化图像，其中，该风格化图像的图像内容信息是基于待处理的图像的内容特征图而得的，因此该风格化图像的图像内容信息与待处理图像的图像内容信息从视觉角度来看是相同或者说是很相似的。
可选的，第二神经网络可为卷积神经网络。可选的，第二神经网络包括：依次对输入的图像进行处理的下采样卷积子网络、卷积或残差子网络、以及上采样卷积子网络，上采样卷积子网络包括双线性插值层和卷积层。其中，下采样卷积子网络用于对输入图像进行下采样，卷积或残差子网络，用于对下采样图像进行残差计算，上采样卷积神经子网络，用于对图像进行上采样。
应当理解，除了卷积神经网络之外，第二神经网络还可为非卷积类型的神经网络，神经网络的网络结构除了上述列举的例子之外，还可选用层数、层、不同卷积核和/或权重等网络参数的其他网络结构。
本实施例的技术方案，通过第一神经网络对待处理图像进行立体化图像，通过第二神经网络对待处理图像进行风格化处理，建立了具有立体化效果处理能力以及风格化处理能力的神经网络，实现了生成具有立体化效果的风格化图像。
需要说明的是：待处理图像可以为静态图像；或者，待处理图像可以为视频序列中的视频帧图像，其中，将视频的多个视频帧图像或各个视频帧图像分别输入第一神经网络和第二神经网络，经第一神经网络和第二神经网络对视频中多个视频帧图像或各个视频帧图像分别进行立体化处理和风格化处理，输出立体化视觉效果的风格化视频，增强了视频的立体风格化效果，提高了视频的艺术性和可观赏性。
可选的，第二神经网络是预选训练得到的，本发明实施例对第二神经网络的具体训练方法并不限制，本领域技术人员可采用监督、半监督、无监督或者满足深度特征信息处理的任务需求的其他训练方法训练第二神经网络。
一种可选的实施方式中，第二神经网络的训练方法为：经待训练的第二神经网络对训练图像进行处理以生成第二合成图像；提取训练图像的图像内容信息，以及第二合成图像的图像内容信息和纹理特征信息；确定训练图像的图像内容信息和第二合成图像的图像内容信息之间的内容损失信息、以及第二合成图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息；根据内容损失信息和纹理损失信息调整第二神经网络的网络参数。
本实施例中，通过上述训练过程得到的第二神经网络，具有针对输入图像的内容特征信息的提取、加权计算等处理能力，以及对输入图像赋予预设纹理特征信息的能力，增强了输出图像的风格化效果。
其中，设置包含多个训练图像的风格化第二训练样本集，第二训练样本集和第一训练样本集可以相同或者不同，只要满足相应神经网络训练所需即可，本发明实施例对此并不限制。在第二神经网络的训练过程中，将训练图像作为待训练的第二神经网络的输入信息，并经第二神经网络各网络层卷积、加权计算等处理后输出第二合成图像，确定训练图像的图像内容信息和第二合成图像的图像内容信息之间的内容损失信息，以及第二合成图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息。可选的，训练样本集中包含与训练图像对应的内容特征图，可根据训练图像提取对应的内容特征图，用于进一步获取训练图像的图像内容信息；和/或，训练样本集中包含与预定目标风格图像对应的纹理特征图，提取该纹理特征图，可进一步获取预定目标风格图像的纹理特征信息。可选的，根据预设特征提取模型提取训练图像的内容特征图，以及第二合成图像的图像内容信息和纹理特征图。示例性的，预设特征提取模型可以是VGG(Visual Geometry Group)神经网络模型。可选的，预设特征提取模型可以但不限于是VGG-16神经网络模型，参见图3B，图3B是本发明实施例二提供的VGG-16神经网络模型的结构示意图。示例性的，卷积层3-64表示为卷积层的卷积核为3*3，输出通道数为64。内容特征图指的是包含图像内容信息的特征图，例如可以是提取VGG-16网络模型的ReLU3_3层的特征图作为内容特征图；纹理特征图指的是包含图像纹理信息的特征图，例如可以是提取VGG-16网络ReLU1_2、ReLU2_2、ReLU3_3以及ReLU4_5的特征图作为纹理特征图。其中，ReLU(Rectified Linear Units，激活函数)用于增加神经网络模型的非线性因素,提高损失函数梯度反传过程中梯度计算的准确度。
可选的，内容损失信息可通过内容损失函数表示，纹理损失信息可通过纹理损失函数表示。示例性的，训练图像和第二合成图像的内容损失函数为如下公式(2)：
其中：是训练图像和第二合成图像对应的内容特征图之间的损失函数，i是一个卷积层,Ψi(x)是VGG-16网络模型第i层的输出特征图，Ci*Hi*Wi为第i层的输出特征图的大小，C表示第i层特征图的通道数，H表示高，W表示宽。
示例性的，训练图像和第二合成图像的纹理损失函数为如下公式(3)：
其中，为第一合成图像和预设目标风格图像对应的纹理特征图之间的损失函数，为每层通道C和C’的格拉姆矩阵，且每层通道C和C’的格拉姆矩阵为公式(4)：
其中，i是一个卷积层,Ψi(x)是VGG-16网络模型第i层的输出特征图，Ci*Hi*Wi为第i层的输出特征图的大小，C表示第i层特征图的通道数，H表示高，W表示宽。
需要说明的是，上述内容损失函数和纹理损失函数仅是损失信息的一种可选的表示方式，而非唯一的表示方式。
本实施例中，将纹理损失信息和内容损失信息进行梯度反传，并调节第二神经网络的网络参数。可选的，网络参数包括但不限于权重和偏移值。可选的，若纹理损失函数的值和内容损失函数的值满足预设条件，则确定第二神经网络训练成功。示例性的，纹理损失函数和内容损失函数中的至少之一的预设条件可以是损失函数值为零或者损失函数值达到稳定不下降状态。若纹理损失函数和内容损失函数中的至少之一的当前损失函数值小于上一次损失函数值，则继续对第二神经网络进行优化训练，直到相应函数的当前损失函数值为零，或者等于上一次损失函数值，确定第二神经网络训练成功。可选的，若第二神经网络的迭代训练次数大于预设训练阈值，则停止对第二神经网络的训练。
需要说明的是，可选的，第二神经网络与第一神经网络不同，或者第二神经网络与第一神经网络相同。若第二神经网络与第一神经网络相同，则上述第二神经网络(即第一神经网络)的训练方法可以为：
经待训练的第二神经网络对训练图像进行处理以生成第三合成图像；
提取第三合成图像的图像内容信息、纹理特征信息和深度信息，以及训练图像的图像内容信息和深度信息；
确定训练图像的图像内容信息和第三合成图像的图像内容信息之间的内容损失信息、训练图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息、以及训练图像的深度信息和第三合成图像的深度信息之间的深度损失信息；
根据内容损失信息、纹理损失信息和深度损失信息调整第二神经网络的网络参数。
本实施例中，通过上述训练过程得到的神经网络，具有针对输入图像的内容特征信息和深度信息的提取、加权计算等处理能力，以及对输入图像赋予预设纹理特征信息的能力，增量了输出图像的立体风格化效果。应当理解，上述神经网络可以是卷积神经网络，还可为非卷积类型的神经网络，神经网络的网络结构除了上述列举的例子之外，还可选用层数、层、不同卷积核和/或权重等网络参数的其他网络结构。
一种可选实时方式中，第二神经网络(即第一神经网络)包括依次对输入的图像进行处理的下采样卷积子网络、卷积或残差子网络、以及上采样卷积子网络，上采样卷积子网络包括双线性插值层和卷积层。其中，下采样卷积子网络用于对输入图像进行下采样，卷积或残差子网络，用于对下采样图像进行残差计算，上采样卷积神经子网络，用于对图像进行上采样。
本实施例中，根据训练图像、预设目标风格图像和第三合成图像的特征信息，生成损失函数，并根据损失函数对待训练的神经网络中各卷积层和归一化层的网络参数进行调整，生成第二神经网络，使得训练得到的神经网络具有处理图像内容信息、纹理特征信息以及深度信息的能力，能够生成具有深度信息的立体化效果的风格化图像，提高了风格化图像的层次感和立体感。
需要说明的是，本实施例通过S210-S240执行图像处理方法仅是一个可选实例，在其他实施例中，步骤S230-S240可单独执行图像处理方法，用于对待处理图像进行风格化处理。
需要说明的是：待处理图像可以为静态图像；或者，待处理图像可以为视频序列中的视频帧图像，其中，将视频的多个视频帧图像或各个视频帧图像分别输入第一神经网络(即第二神经网络)，经第一神经网络对视频中多个视频帧图像或各个视频帧图像分别进行立体化处理和风格化处理，输出立体化视觉效果的风格化视频，增强了视频的立体风格化效果，提高了视频的艺术性和可观赏性。
在上述实施例的基础上，第二神经网络(即第一神经网络)的训练方法，包括：
分别训练网络层具有不同通道数且结构相同的至少二个神经网络；
比较各自训练后的神经网络的图像处理效果的差异；
响应于图像处理效果的差异满足预定容许条件，将网络层具有最少通道数的神经网络确定为待进行图像处理的神经网络。
示例性的，参见图3C，图3C是本发明实施例二提供的不同通道数量的神经网络生成的风格图像的对比展示图。其中，图3C中右图为上述通道数量的神经网络生成的风格图像，左图为四倍上述通道数量的神经网络生成的风格图像。可知右图中通道数量被压缩，而生成的图像中图像内容信息、纹理特征信息以及深度信息几乎与左图一致，同时提高了图像处理速度，以及提高了神经网络中每个通道的利用率。
在上述实施例的基础上，对所述第二神经网络训练之前，包括：
对预定目标风格图像进行用于增强图像纹理特征的预处理。其中，增强预定目标风格图像的图像纹理特征，用于提高预定目标风格图像的准确性，提高第二神经网络的网络参数的精确度，以及进一步提高合成图像的风格化效果。
可选的，对预定目标风格图像的预处理可以包括：对所述预定目标风格图像进行滤波去噪处理；和/或，对所述预定目标风格图像进行图像参数的增强处理。
其中，可选的，滤波去噪处理可以是保边滤波处理。保边滤波处理例如可以是通过双边滤波器或者引导滤波器等对目标风格图像进行滤波处理，以使目标风格图像中局部区域平滑，图像边缘区域锐利突出。参见图3D，图3D是本发明实施例二提供的保边滤波处理前后的目标风格图像的对比展示图。其中，左图为保边滤波处理前的目标风格图像，右图为保边滤波处理后的目标风格图像。通过对目标风格图像进行保边滤波处理，提高了目标风格图像的边缘清晰度。
可选的，图像参数包括以下至少之一：光度、色度、饱和度、对比度、强度。本实施例中，以对比度为例进行描述：对比度指的是图像中明部与暗部的亮度对比，本实施例中，可通过调节图像亮度曲线的方式，实现提升图像的明暗对比度。参见图3E，图3E是本发明实施例二提供的不同明暗对比度的目标风格图像的对比展示图，其中，左图为明暗对比度提升前的目标风格图像，右图为明暗对比度提升后的目标风格图像。通过提升目标风格图像的明暗对比度，提高了目标风格图像的图像清晰度，提高了目标风格图像中纹理信息的准确度。
本实施例中，在对神经网络进行训练之前，对预设目标风格图像进行上述两种形式的预处理，提高了目标风格图像的清晰度和纹理信息的准确度，增强了图像纹理特征，减少甚至避免了图像细节的丢失。示例性的，参见图3F，图3F是本发明实施例二提供的风格化图像对比展示图，其中，左图是使用预处理后的预设目标风格图像训练得到的神经网络输出的合成图像，右图是使用未进行预处理的预设目标风格图像训练得到的神经网络输出的合成图像。图3F中两个图中虽内容信息相似度较高，但是相对于左图，右图中保留了大量的图像细节，目标风格效果较好，图像质量更佳。
实施例三
图4是本发明实施例三提供的一种神经网络模型的训练方法的流程图，本实施例可适用于建立可生成具有立体化效果图像的神经网络的情况，该方法可以由本发明实施例提供的神经网络模型的训练装置来执行，该装置可采用软件和/或硬件的方式实现。参见图4，该方法具体包括：
S310、经待训练的神经网络对训练图像进行处理以生成合成图像。
S320、至少提取所述训练图像的深度信息和所述合成图像的深度信息。
S330、确定训练图像的深度信息和所述合成图像的深度信息之间的深度损失信息。
S340、至少基于所述深度损失信息调整神经网络的网络参数。
本实施例的技术方案，通过根据将经待训练的神经网络对训练图像进行处理以生成合成图像和训练图像的深度信息，确定训练图像和合成图形的深度损失函数，并根据该深度损失函数调整神经网络的的网络参数，建立具有深度信息处理能力的神经网络，使得训练得到的神经网络能够生成具有立体效果的图像。
可选的，至少提取所述训练图像的深度信息和所述合成图像的深度信息，包括：提取所述合成图像的图像内容信息、纹理特征信息和深度信息，以及提取所述训练图像的深度信息和内容信息；
所述训练方法还包括：确定所述训练图像的图像内容信息和所述合成图像的内容信息之间的内容损失信息、以及所述训练图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息；
所述至少基于所述深度损失信息调整神经网络的网络参数，包括：根据所述内容损失信息、所述纹理损失信息和所述深度损失信息调整神经网络的网络参数。
本实施例中，根据训练图像、预设目标风格图像和合成图像的特征信息，其中，特征信息包括图像内容信息、纹理特征信息和深度信息，生成相应的损失函数，并根据损失函数对待训练的神经网络中网络参数进行调整，建立了具有立体化处理和风格化处理的能力的神经网络，使得训练得到的神经网络能够生成具有立体化效果的风格化图像。
可选的，对所述神经网络训练之前，所述训练方法还包括：
对所述预定目标风格图像进行用于增强图像纹理特征的预处理。
可选的，所述对所述预定目标风格图像进行用于增强图像纹理特征的预处理，包括：
对所述预定目标风格图像进行滤波去噪处理；和/或，
对所述预定目标风格图像进行图像参数的增强处理。
可选的，所述图像参数包括以下至少之一：光度、色度、饱和度、对比度、强度。
可选的，所述神经网络包括：依次对输入的图像进行处理的下采样卷积子网络、卷积或残差子网络、以及上采样卷积子网络，所述上采样卷积子网络包括双线性插值层和卷积层。
可选的，所述训练方法还包括：
分别训练网络层具有不同通道数且结构相同的至少二个神经网络；
比较各自训练后的神经网络的图像处理效果的差异；
响应于图像处理效果的差异满足预定容许条件，将网络层具有最少通道数的神经网络确定为待进行图像处理的神经网络。
实施例四
图5是本发明实施例四提供的一种图像处理装置的结构示意图，该装置具体包括：
第一深度信息提取模块510，用于基于第一神经网络提取待处理图像的深度信息；
第一立体化处理模块520，用于根据所述深度信息并基于所述第一神经网络对所述待处理图像进行立体化处理。
可选的，所述装置包括第一神经网络训练模块，包括：
第一合成图像生成单元，用于经待训练的第一神经网络对训练图像进行处理以生成第一合成图像；
深度信息提取单元，用于分别提取所述训练图像的深度信息和所述第一合成图形的深度信息；
深度损失信息确定单元，用于确定所述训练图像的深度信息和所述第一合成图像的深度信息之间的深度损失信息；
第一网络参数调整单元，用于基于所述深度损失信息调整第一神经网络的网络参数。
可选的，所述图像处理装置还包括：
图像内容信息提取模块，用于基于第二神经网络提取所述待处理图像的图像内容信息；
风格化处理模块，用于根据所述图像内容信息并基于所述第二神经网络对所述待处理图像进行风格化处理，其中，风格化处理后的图像的纹理特征与所述第二神经网络预先训练所基于的目标风格图像的纹理特征匹配。
可选的，所述装置还包括第二神经网络训练模块，包括：
第二合成图像生成单元，用于经待训练的第二神经网络对训练图像进行处理以生成第二合成图像；
第一特征信息提取单元，用于提取所述训练图像的图像内容信息，以及所述第二合成图像的图像内容信息和纹理特征信息；
第一损失信息确定单元，用于确定所述训练图像的图像内容信息和所述第二合成图像的图像内容信息之间的内容损失信息、以及所述第二合成图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息；
第二网络参数调整单元，用于根据所述内容损失信息和所述纹理损失信息调整第二神经网络的网络参数。
可选的，所述第一神经网络和所述第二神经网络为同一神经网络，所述第二神经网络训练模块包括：
第三合成图像生成单元，用于经待训练的第二神经网络对训练图像进行处理以生成第三合成图像；
第二特征信息提取单元，用于提取所述第三合成图像的图像内容信息、纹理特征信息和深度信息，以及所述训练图像的图像内容信息和深度信息；
第二损失信息确定单元，用于确定所述训练图像的图像内容信息和所述第三合成图像的图像内容信息之间的内容损失信息、所述训练图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息、以及所述训练图像的深度信息和所述第三合成图像的深度信息之间的深度损失信息；
第三网络参数调整单元，用于根据所述内容损失信息、所述纹理损失信息和所述深度损失信息调整第二神经网络的网络参数。
可选的，所述图像处理装置还包括：
第一预处理模块，用于在对所述第二神经网络训练之前，对所述预定目标风格图像进行用于增强图像纹理特征的预处理。
可选的，所述第一预处理模块具体用于：
对所述预定目标风格图像进行滤波去噪处理；和/或，
对所述预定目标风格图像进行图像参数的增强处理。
可选的，所述图像参数包括以下至少之一：光度、色度、饱和度、对比度、强度。
可选的，所述第二神经网络包括：依次对输入的图像进行处理的下采样卷积子网络、卷积或残差子网络、以及上采样卷积子网络，所述上采样卷积子网络包括双线性插值层和卷积层。
可选的，所述待处理图像为静态图像或者视频序列中的视频帧图像。
可选的，针对任一神经网络，所述图像处理装置还包括：
第一神经网络训练模块，用于分别训练网络层具有不同通道数且结构相同的至少二个神经网络；
第一效果差异比较单元，用于比较各自训练后的神经网络的图像处理效果的差异；
第一神经网络筛选模块，用于根据响应于图像处理效果的差异满足预定容许条件，将网络层具有最少通道数的神经网络确定为待进行图像处理的神经网络。
本发明实施例提供的图像处理装置可执行本发明实施例一或实施例二所提供的图像处理方法，具备执行图像处理方法相应的功能模块和有益效果。
实施例五
图6是本发明实施例五提供的一种神经网络模型的训练装置的结构示意图，该装置具体包括：
合成图像生成模块610，用于经待训练的神经网络对训练图像进行处理以生成合成图像；
特征信息提取模块620，用于至少提取所述训练图像的深度信息和所述合成图像的深度信息；
损失信息确定模块630，用于确定训练图像的深度信息和所述合成图像的深度信息之间的深度损失信息；
网络参数调整模块640，用于至少基于所述深度损失信息调整神经网络的网络参数。
可选的，所述特征信息提取模块620具体用于：提取所述合成图像的图像内容信息、纹理特征信息和深度信息，以及提取所述训练图像的深度信息和内容信息；
所述损失信息确定模块630还包括：确定所述训练图像的图像内容信息和所述合成图像的内容信息之间的内容损失信息、以及所述训练图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息；
所述网络参数调整模块640还包括：根据所述内容损失信息、所述纹理损失信息和所述深度损失信息调整神经网络的网络参数。
可选的，所述训练装置还包括：
第二预处理模块，用于在对所述神经网络训练之前，对所述预定目标风格图像进行用于增强图像纹理特征的预处理。
可选的，所述第二预处理模块具体用于：
对所述预定目标风格图像进行滤波去噪处理；和/或，
对所述预定目标风格图像进行图像参数的增强处理。
可选的，所述图像参数包括以下至少之一：光度、色度、饱和度、对比度、强度。
可选的，所述神经网络包括：依次对输入的图像进行处理的下采样卷积子网络、卷积或残差子网络、以及上采样卷积子网络，所述上采样卷积子网络包括双线性插值层和卷积层。
可选的，所述训练装置还包括：
第二神经网络训练模块，用于分别训练网络层具有不同通道数且结构相同的至少二个神经网络；
第二效果差异比较单元，用于比较各自训练后的神经网络的图像处理效果的差异；
第二神经网络筛选模块，用于根据响应于图像处理效果的差异满足预定容许条件，将网络层具有最少通道数的神经网络确定为待进行图像处理的神经网络。
本发明实施例提供的神经网络模型的训练装置可执行本发明实施例三所提供的神经网络模型的训练方法，具备执行神经网络模型的训练方法相应的功能模块和有益效果。
实施例六
图7为本发明实施例六提供的一种计算设备的结构示意图。图7示出了适于用来实现本发明实施方式的示例性计算设备12的框图。图7显示的计算设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图7所示，计算设备12可包括具有运算处理能力的电子设备，其类型可包括但不限于终端设备和服务端设备，其中终端设备例如可以是移动终端、PC机等，服务端设备例如可以是服务器或计算机集群等。计算设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算设备12交互的设备通信，和/或与使得该计算设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16可包括但不限于中央处理单元(CPU)和/或图像处理器(GPU)，通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请发明实施例提供的任一种图像处理方法：基于第一神经网络提取待处理图像的深度信息；根据所述深度信息并基于所述第一神经网络对所述待处理图像进行立体化处理。
实施例七
本发明实施例七提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请发明实施例提供的图像处理方法：基于第一神经网络提取待处理图像的深度信息；
根据所述深度信息并基于所述第一神经网络对所述待处理图像进行立体化处理。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
实施例八
图8为本发明实施例八提供的一种计算设备的结构示意图。图8示出了适于用来实现本发明实施方式的示例性计算设备52的框图。图8显示的计算设备52仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图8所示，计算设备52可包括具有运算处理能力的电子设备，其类型可包括但不限于终端设备和服务端设备，其中终端设备例如可以是移动终端、PC机等，服务端设备例如可以是服务器或计算机集群等。计算设备52的组件可以包括但不限于：一个或者多个处理器或者处理单元56，系统存储器68，连接不同系统组件(包括系统存储器68和处理单元56)的总线58。
总线58表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算设备52典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算设备52访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器68可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)70和/或高速缓存存储器72。计算设备52可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统74可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线58相连。存储器68可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块82的程序/实用工具80，可以存储在例如存储器68中，这样的程序模块82包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块82通常执行本发明所描述的实施例中的功能和/或方法。
计算设备52也可以与一个或多个外部设备54(例如键盘、指向设备、显示器64等)通信，还可与一个或者多个使得用户能与该计算设备52交互的设备通信，和/或与使得该计算设备52能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口62进行。并且，计算设备52还可以通过网络适配器60与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器60通过总线58与计算设备52的其它模块通信。应当明白，尽管图中未示出，可以结合计算设备52使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元56可包括但不限于中央处理单元(CPU)和/或图像处理器(GPU)，通过运行存储在系统存储器68中的程序，从而执行各种功能应用以及数据处理，例如实现本申请发明实施例提供的任一种神经网络模型的训练方法：经待训练的神经网络对训练图像进行处理以生成合成图像；至少提取所述训练图像的深度信息和所述合成图像的深度信息；确定训练图像的深度信息和所述合成图像的深度信息之间的深度损失信息；至少基于所述深度损失信息调整神经网络的网络参数。
实施例九
本发明实施例九提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请发明本申请发明实施例提供的神经网络模型的训练方法：经待训练的神经网络对训练图像进行处理以生成合成图像；
至少提取所述训练图像的深度信息和所述合成图像的深度信息；
确定训练图像的深度信息和所述合成图像的深度信息之间的深度损失信息；
至少基于所述深度损失信息调整神经网络的网络参数。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的部分实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
基于第一神经网络提取待处理图像的深度信息；
根据所述深度信息并基于所述第一神经网络对所述待处理图像进行立体化处理。
2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：
基于第二神经网络提取所述待处理图像的图像内容信息；
根据所述图像内容信息并基于所述第二神经网络对所述待处理图像进行风格化处理，其中，风格化处理后的图像的纹理特征与所述第二神经网络预先训练所基于的目标风格图像的纹理特征匹配。
3.一种神经网络模型的训练方法，其特征在于，包括：
经待训练的神经网络对训练图像进行处理以生成合成图像；
至少提取所述训练图像的深度信息和所述合成图像的深度信息；
确定训练图像的深度信息和所述合成图像的深度信息之间的深度损失信息；
至少基于所述深度损失信息调整神经网络的网络参数。
4.根据权利要求3所述的训练方法，其特征在于，至少提取所述训练图像的深度信息和所述合成图像的深度信息，包括：提取所述合成图像的图像内容信息、纹理特征信息和深度信息，以及提取所述训练图像的深度信息和内容信息；
所述训练方法还包括：确定所述训练图像的图像内容信息和所述合成图像的内容信息之间的内容损失信息、以及所述训练图像的纹理特征信息和预定目标风格图像的纹理特征信息之间的纹理损失信息；
所述至少基于所述深度损失信息调整神经网络的网络参数，包括：根据所述内容损失信息、所述纹理损失信息和所述深度损失信息调整神经网络的网络参数。
5.一种图像处理装置，其特征在于，包括：
第一深度信息提取模块，用于基于第一神经网络提取待处理图像的深度信息；
第一立体化处理模块，用于根据所述深度信息并基于所述第一神经网络对所述待处理图像进行立体化处理。
6.一种神经网络模型的训练装置，其特征在于，包括：
合成图像生成模块，用于经待训练的神经网络对训练图像进行处理以生成合成图像；
特征信息提取模块，用于至少提取所述训练图像的深度信息和所述合成图像的深度信息；
损失信息确定模块，用于确定训练图像的深度信息和所述合成图像的深度信息之间的深度损失信息；
网络参数调整模块，用于至少基于所述深度损失信息调整神经网络的网络参数。
7.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-2中任一所述的一种图像处理方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-2中任一所述的一种图像处理方法。
9.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求3-4任一所述的一种神经网络模型的训练方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求3-4任一所述的一种神经网络模型的训练方法。
CN201710591856.4A 2017-07-19 2017-07-19 图像处理方法、神经网络模型的训练方法及装置 Active CN108205803B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710591856.4A CN108205803B (zh) 2017-07-19 2017-07-19 图像处理方法、神经网络模型的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710591856.4A CN108205803B (zh) 2017-07-19 2017-07-19 图像处理方法、神经网络模型的训练方法及装置

Publications (2)

Publication Number Publication Date
CN108205803A true CN108205803A (zh) 2018-06-26
CN108205803B CN108205803B (zh) 2020-12-25

Family

ID=62603668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710591856.4A Active CN108205803B (zh) 2017-07-19 2017-07-19 图像处理方法、神经网络模型的训练方法及装置

Country Status (1)

Country Link
CN (1) CN108205803B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921225A (zh) * 2018-07-10 2018-11-30 深圳市商汤科技有限公司 一种图像处理方法及装置、计算机设备和存储介质
CN109191409A (zh) * 2018-07-25 2019-01-11 北京市商汤科技开发有限公司 图像处理、网络训练方法、装置、电子设备和存储介质
CN109344840A (zh) * 2018-08-07 2019-02-15 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、存储介质、程序产品
CN109584179A (zh) * 2018-11-29 2019-04-05 厦门美图之家科技有限公司 一种卷积神经网络模型生成方法及图像质量优化方法
CN109710255A (zh) * 2018-12-24 2019-05-03 网易（杭州）网络有限公司 特效处理方法、特效处理装置、电子设备及存储介质
CN109859116A (zh) * 2018-12-29 2019-06-07 北京三快在线科技有限公司 图像处理模型的训练方法、装置、电子设备及存储介质
CN109993698A (zh) * 2019-03-29 2019-07-09 西安工程大学 一种基于生成对抗网络的单幅图像超分辨纹理增强方法
CN110008923A (zh) * 2019-04-11 2019-07-12 网易有道信息技术（北京）有限公司 图像处理方法和训练方法、以及装置、介质、计算设备
CN110189246A (zh) * 2019-05-15 2019-08-30 北京字节跳动网络技术有限公司 图像风格化生成方法、装置及电子设备
CN110379209A (zh) * 2019-07-22 2019-10-25 捻果科技(深圳)有限公司 一种航班作业流程节点规范监控报警方法
CN110517180A (zh) * 2019-07-24 2019-11-29 北京旷视科技有限公司 基于高精度神经网络的图像处理方法、装置及电子设备
CN110969651A (zh) * 2018-09-29 2020-04-07 Tcl集团股份有限公司 3d景深估计方法、装置及终端设备
CN111710011A (zh) * 2020-06-10 2020-09-25 广州梦映动漫网络科技有限公司 一种漫画生成方法、系统、电子设备及介质
WO2020258902A1 (zh) * 2019-06-24 2020-12-30 商汤集团有限公司 图像生成和神经网络训练方法、装置、设备和介质
US10949684B2 (en) 2019-05-08 2021-03-16 Ford Global Technologies, Llc Vehicle image verification
CN112819685A (zh) * 2019-11-15 2021-05-18 青岛海信移动通信技术股份有限公司 一种图像的风格模式推荐方法和终端
CN112884124A (zh) * 2021-02-24 2021-06-01 中国工商银行股份有限公司 神经网络的训练方法及设备、图像处理方法及设备
TWI777112B (zh) * 2019-02-22 2022-09-11 大陸商上海商湯智能科技有限公司 圖像處理方法、電子設備和儲存介質

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2225727B1 (en) * 2007-11-29 2013-09-25 NEC Laboratories America, Inc. Efficient multi-hypothesis multi-human 3d tracking in crowded scenes
CN105979244A (zh) * 2016-05-31 2016-09-28 十二维度（北京）科技有限公司 一种基于深度学习的2d图像转3d图像的方法及系统
CN106023302A (zh) * 2016-05-06 2016-10-12 刘进 一种移动通信终端及其实现三维重建的方法及服务器
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2225727B1 (en) * 2007-11-29 2013-09-25 NEC Laboratories America, Inc. Efficient multi-hypothesis multi-human 3d tracking in crowded scenes
CN106023302A (zh) * 2016-05-06 2016-10-12 刘进 一种移动通信终端及其实现三维重建的方法及服务器
CN105979244A (zh) * 2016-05-31 2016-09-28 十二维度（北京）科技有限公司 一种基于深度学习的2d图像转3d图像的方法及系统
CN106651766A (zh) * 2016-12-30 2017-05-10 深圳市唯特视科技有限公司 一种基于深度卷积神经网络的图像风格迁移方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108921225A (zh) * 2018-07-10 2018-11-30 深圳市商汤科技有限公司 一种图像处理方法及装置、计算机设备和存储介质
CN108921225B (zh) * 2018-07-10 2022-06-24 深圳市商汤科技有限公司 一种图像处理方法及装置、计算机设备和存储介质
CN109191409A (zh) * 2018-07-25 2019-01-11 北京市商汤科技开发有限公司 图像处理、网络训练方法、装置、电子设备和存储介质
JP7065199B2 (ja) 2018-08-07 2022-05-11 深▲チェン▼市商▲湯▼科技有限公司 画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品
CN109344840B (zh) * 2018-08-07 2022-04-01 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、存储介质、程序产品
CN109344840A (zh) * 2018-08-07 2019-02-15 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、存储介质、程序产品
JP2021507439A (ja) * 2018-08-07 2021-02-22 深▲チェン▼市商▲湯▼科技有限公司Ｓｈｅｎｚｈｅｎ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． 画像処理方法及び装置、電子機器、記憶媒体並びにプログラム製品
CN110969651A (zh) * 2018-09-29 2020-04-07 Tcl集团股份有限公司 3d景深估计方法、装置及终端设备
CN109584179A (zh) * 2018-11-29 2019-04-05 厦门美图之家科技有限公司 一种卷积神经网络模型生成方法及图像质量优化方法
CN109710255A (zh) * 2018-12-24 2019-05-03 网易（杭州）网络有限公司 特效处理方法、特效处理装置、电子设备及存储介质
CN109710255B (zh) * 2018-12-24 2022-07-12 网易（杭州）网络有限公司 特效处理方法、特效处理装置、电子设备及存储介质
CN109859116A (zh) * 2018-12-29 2019-06-07 北京三快在线科技有限公司 图像处理模型的训练方法、装置、电子设备及存储介质
TWI777112B (zh) * 2019-02-22 2022-09-11 大陸商上海商湯智能科技有限公司 圖像處理方法、電子設備和儲存介質
CN109993698A (zh) * 2019-03-29 2019-07-09 西安工程大学 一种基于生成对抗网络的单幅图像超分辨纹理增强方法
CN110008923A (zh) * 2019-04-11 2019-07-12 网易有道信息技术（北京）有限公司 图像处理方法和训练方法、以及装置、介质、计算设备
US10949684B2 (en) 2019-05-08 2021-03-16 Ford Global Technologies, Llc Vehicle image verification
CN110189246A (zh) * 2019-05-15 2019-08-30 北京字节跳动网络技术有限公司 图像风格化生成方法、装置及电子设备
CN110189246B (zh) * 2019-05-15 2023-02-28 北京字节跳动网络技术有限公司 图像风格化生成方法、装置及电子设备
WO2020258902A1 (zh) * 2019-06-24 2020-12-30 商汤集团有限公司 图像生成和神经网络训练方法、装置、设备和介质
CN110379209B (zh) * 2019-07-22 2021-11-09 捻果科技(深圳)有限公司 一种航班作业流程节点规范监控报警方法
CN110379209A (zh) * 2019-07-22 2019-10-25 捻果科技(深圳)有限公司 一种航班作业流程节点规范监控报警方法
CN110517180A (zh) * 2019-07-24 2019-11-29 北京旷视科技有限公司 基于高精度神经网络的图像处理方法、装置及电子设备
CN110517180B (zh) * 2019-07-24 2023-09-19 北京旷视科技有限公司 基于高精度神经网络的图像处理方法、装置及电子设备
CN112819685A (zh) * 2019-11-15 2021-05-18 青岛海信移动通信技术股份有限公司 一种图像的风格模式推荐方法和终端
CN112819685B (zh) * 2019-11-15 2022-11-04 青岛海信移动通信技术股份有限公司 一种图像的风格模式推荐方法和终端
CN111710011B (zh) * 2020-06-10 2021-06-25 广州梦映动漫网络科技有限公司 一种漫画生成方法、系统、电子设备及介质
CN111710011A (zh) * 2020-06-10 2020-09-25 广州梦映动漫网络科技有限公司 一种漫画生成方法、系统、电子设备及介质
CN112884124A (zh) * 2021-02-24 2021-06-01 中国工商银行股份有限公司 神经网络的训练方法及设备、图像处理方法及设备

Also Published As

Publication number Publication date
CN108205803B (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN108205803A (zh) 图像处理方法、神经网络模型的训练方法及装置
CN104067311B (zh) 数字化妆
CN108734749A (zh) 图像的视觉风格变换
CN111667399A (zh) 风格迁移模型的训练方法、视频风格迁移的方法以及装置
CN111986075B (zh) 一种目标边缘清晰化的风格迁移方法
CN108038823A (zh) 图像型变网络模型的训练方法、图像型变方法及计算设备
CN108345892A (zh) 一种立体图像显著性的检测方法、装置、设备及存储介质
CN110222717A (zh) 图像处理方法和装置
CN108665408A (zh) 肤色调整方法、装置和电子设备
CA3137297C (en) Adaptive convolutions in neural networks
CN108012091A (zh) 图像处理方法、装置、设备及其存储介质
CN112823379A (zh) 用于训练机器学习模型的方法和装置、用于视频风格转移的装置
US20220172322A1 (en) High resolution real-time artistic style transfer pipeline
CN112102477A (zh) 三维模型重建方法、装置、计算机设备和存储介质
CN110415184A (zh) 一种基于正交元空间的多模态图像增强方法
CN113808277B (zh) 一种图像处理方法及相关装置
Magdics et al. Post-processing NPR effects for video games
CN111127309A (zh) 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置
CN111080746A (zh) 图像处理方法、装置、电子设备和存储介质
CN115100337A (zh) 一种基于卷积神经网络的全身人像视频重照明方法和装置
Huang et al. A fully-automatic image colorization scheme using improved CycleGAN with skip connections
CN110189385A (zh) 模型训练及图片压缩、解压方法、装置、介质和电子设备
Pu et al. Fractional-order retinex for adaptive contrast enhancement of under-exposed traffic images
CN108805095A (zh) 图片处理方法、装置、移动终端及计算机可读存储介质
CN112862712A (zh) 美颜处理方法、系统、存储介质和终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant