CN112884124A - 神经网络的训练方法及设备、图像处理方法及设备 - Google Patents

Abstract

本公开提供了一种神经网络的训练方法及设备、图像处理方法及设备、存储介质和产品，可用于云计算、金融领域、图像处理领域或其他领域，神经网络包括对抗学习网络，用于根据输入的第一图像生成第二图像，第一图像是来自训练图像集的图像且具有标签值；特征获取网络，用于获取第一图像的深度卷积特征和第二图像的深度卷积特征；以及特征融合网络，用于将第一图像的深度卷积特征和第二图像的深度卷积特征融合，以得到深度卷积融合特征；回归网络，用于处理深度卷积融合特征，以得到评测值；训练方法包括：通过调整神经网络的网络参数，使得利用神经网络处理第一图像与第二图像得到的评测值，趋近于第一图像的标签值。

Description

神经网络的训练方法及设备、图像处理方法及设备

技术领域

本公开涉及图像处理领域，更具体地，涉及神经网络的训练方法及设备、图像处理方法及设备、计算机可读存储介质和计算机程序产品。

背景技术

随着互联网技术的发展，线上购物变得越来越普遍。相关技术在线上购物时，顾客无法直接观察货品的形状构造等信息，并且多数货品在线上商店仅仅以二维静态图像的形式展示。但是，二维图像不能全面直观地反映货品的三维信息。因此，很多线上商店通过向顾客展示货品的三维模型的形式，或者其他形式(例如视频等)，使顾客对于货品信息有更加全面的了解。然而，对于数量多，形状复杂的货品，采用三维模型或者视频展示时，将会耗费大量的财力物力，成本较高，不利于推广。

相关技术中，可以通过将二维图像转换三维图像的方法来提升展示效果，但是图像转换过程存在诸多问题，导致生成的三维图像不符合标准，或者无法有效展示物品的信息，顾客体验较差。

发明内容

有鉴于此，本公开提供一种神经网络的训练方法及设备、图像处理方法及设备、计算机可读存储介质和计算机程序产品，通过对神经网络的训练，调整神经网络中的至少一个网络参数，使调整后的神经网络能够准确的对二维图像进行评测。此外，通过将训练后的神经网络运用到图像处理方法中，提高二维图像辨别的准确率，至少部分地解决二维图像转换三维图像出现的不符合标准或无法有效展示物品信息的问题。

本公开的一方面提供了一种神经网络的训练方法，其中，神经网络包括：对抗学习网络，用于根据输入的第一图像生成第二图像，第一图像是来自训练图像集的图像且具有标签值；特征获取网络，用于获取第一图像的深度卷积特征和第二图像的深度卷积特征；以及特征融合网络，用于将第一图像的深度卷积特征和第二图像的深度卷积特征融合，以得到深度卷积融合特征；回归网络，用于处理深度卷积融合特征，以得到评测值；训练方法包括：通过调整神经网络的至少一个网络参数，使得利用神经网络处理第一图像与第二图像得到的评测值，趋近于第一图像的标签值。

根据本公开的实施例，对抗学习网络包括：生成网络；纹理生成模块；第一判别网络；以及第二判别网络；训练方法包括：获取训练图像集；由生成网络根据第一图像生成第二图像和第三图像，并由第一判别网络确定第二图像与目标图像之间的第一判别结果，其中，第三图像包含第二图像的纹理信息，目标图像是训练图像集中与第一图像配对的图像；由纹理生成模块根据第一图像和目标图像生成第四图像，并由第二判别网络确定第三图像与第四图像之间的第二判别结果；根据第一判别结果和/或第二判别结果调整生成网络的参数。

根据本公开的实施例，根据第一图像和目标图像生成第四图像包括：通过纹理提取函数提取第一图像的第一纹理信息和目标图像的目标纹理信息，并将第一纹理信息与目标纹理信息进行融合得到第四图像。

根据本公开的实施例，通过调整神经网络的网络参数包括以下中的至少一个：调整特征获取网络的参数；调整特征融合网络的参数；调整回归网络的参数。

本公开的另一方面提供了一种图像处理方法，用于将二维图像转换成三维图像，包括：获取二维图像，二维图像具有图像属性；根据图像属性中的至少一个参数权重值计算属性得分；若属性得分高于第一预设阈值，则利用质量评价模型对二维图像进行质量评价，得到质量得分；以及若质量得分高于第二预设阈值，则通过图像转换模型将二维图像转换成三维图像；

质量评价模型包括：对抗学习网络，用于根据输入的第一图像生成第二图像，第一图像是来自训练图像集的图像且具有标签值；特征获取网络，用于获取第一图像的深度卷积特征和第二图像的深度卷积特征；以及特征融合网络，用于将第一图像的深度卷积特征和第二图像的深度卷积特征融合，以得到深度卷积融合特征；回归网络，用于处理深度卷积融合特征，以得到评测值；其中，质量评价模型是通过上文的神经网络的训练方法训练的。

根据本公开的实施例，通过图像转换模型将二维图像转换成三维图像包括：提取二维图像的RGB-D图像信息，并基于RGB-D图像信息得到分层的深度图像。

根据本公开的实施例，基于RGB-D图像信息得到分层的深度图像包括：图像转换模型根据输入的RGB-D图像，得到单层深度图像，检测深度图像中的深度信息，将深度图像的深度信息连续的像素点划分为连续区域，将深度信息不连续的像素点断开，形成断开边，得到与所述断开边连接的前景像素和背景像素；选择位于所述背景像素一侧的连续区域，根据连续区域的靠近断开边的像素点的颜色和深度，合成与连续区域相连接且具有相近深度和颜色的合成区域，并将所述合成区域补入所述分层的深度图像。

根据本公开的实施例，图像属性包括：亮度值、梯度值、清晰度值、深度值中至少一个。

根据本公开的实施例，图像处理方法还包括：存储三维图像；将存储的三维图像通过显示装置进行显示。

本公开的另一个方面提供了一种用于训练神经网络的设备，包括：存储器，用于存储指令和数据；处理器，配置为执行指令，以便构建神经网络，使其包括：对抗学习网络，根据输入的第一图像生成第二图像，第一图像是来自训练图像集的图像且具有标签值；特征获取网络，用于获取第一图像的深度卷积特征和第二图像的深度卷积特征；特征融合网络，用于将第二图像的深度卷积特征和第一图像的深度卷积特征融合，得到深度卷积融合特征；回归网络，用于处理深度卷积融合特征，得到评测值。

本公开的另一个方面提供了一种图像处理设备，包括：存储器，用于存储指令和数据，处理器，配置为执行指令，以实现如上文的训练方法，或如上文的处理方法。

本公开的另一个方面提供了一种计算机可读存储介质，其中，存储介质存储有计算机指令，当计算机指令被处理器执行时实现如上文的训练方法，或者如上文的处理方法。

本公开的另一个方面提供了一种计算机程序产品，其中，产品存储有计算机程序，计算机程序在被执行时能够实现如上文的训练方法，或者如上文所述的处理方法。

本公开实施例提供了一种神经网络的训练方法，以及图像处理方法、设备、计算机可读存储介质和计算机程序产品。通过对神经网络的训练，调整神经网络中的至少一个网络参数，使调整后的神经网络能够准确的对二维图像进行评测。此外，通过将训练后的神经网络运用到图像处理方法中，提高二维图像辨别的准确率，至少部分地解决二维图像转换三维图像出现的不符合标准或无法有效展示货品信息的问题，用户在可以通过三维图像获取更多的货品信息。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的神经网络的训练方法以及图像处理方法的应用场景；

图2A示意性示出了根据本公开实施例的神经网络的结构图；

图2B示意性示出了根据本公开实施例的神经网络的训练方法的流程图；

图3示意性示出了根据本公开实施例的对抗学习网络的结构示意图；

图4示意性示出了根据本公开实施例的神经网络的训练方法中对对抗学习网络的训练的流程图；

图5示意性示出了根据本公开实施例的图像处理方法的流程图；

图6A～图6D示意性示出了根据本公开实施例的图像转换模型将二维图像转换成三维图像的示意图；以及

图7示意性示出了根据本公开实施例的用于训练神经网络或者进行图像处理的设备的结构示意图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。

相关技术中，将二维图像转换成三维图像以便用于物品展示已经成为趋势。但是，各种物品的二维图像质量存在差别，例如，图像存在清晰度较差，或者亮度不足等问题。因此，在转换过程中，可以通过对二维图像进行清晰度等图像属性信息进行评测，丢弃不符合要求的二维图像，以使待进行转换的二维图像都满足要求，由此减少因二维图像转换前的图像属性较差导致图像转换过程中出现信息不完整的问题。

图1示意性示出了根据本公开实施例可以应用的神经网络的训练方法以及图像处理方法的示例性系统架构100。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的神经网络的训练方法和图像处理方法一般可以由服务器105执行。相应地，本公开实施例所提供的用于训练神经网络的设备和图像处理设备一般可以设置于服务器105中。本公开实施例所提供的神经网络的训练方法和图像处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的用于训练神经网络的设备和图像处理设备也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。本公开的实施例所提供的神经网络的训练方法和图像处理方法也可以选择由终端设备101、102、103中的一者或多者执行。

图2A示意性示出了根据本公开实施例的神经网络的结构图。

图2B示意性示出了根据本公开实施例的神经网络的训练方法的流程图。

如图2A所示，本公开的一个实施例的神经网络210包括但不限于：对抗学习网络211、特征获取网络212、特征融合网络213以及回归网络214。神经网络210通过训练图像集中的图像进行训练，训练图像集可以包括第一图像以及与第一图像配对的目标图像，第一图像具有标签值。例如，目标图像是未经处理的原图像，第一图像为原图像进行失真处理后的失真图像，失真图像具有标签值，表示失真图像与原图像之间的差别。

本实施例中，对抗学习网络用于根据输入的第一图像生成第二图像；特征获取网络用于获取第一图像的深度卷积特征和第二图像的深度卷积特征；特征融合网络用于将第一图像的深度卷积特征和第二图像的深度卷积特征融合，以得到深度卷积融合特征；回归网络，用于处理深度卷积融合特征，以得到评测值。

如图2B所示，根据本公开实施例的神经网络的训练方法200可以包括操作S201至操作S205。

在操作S201中，对抗学习网络根据输入的第一图像生成第二图像。第一图像例如可以是图像集中的二维图像。例如，第二图像是对抗学习网络针对失真图像通过对抗学习生成的模拟仿真图。

在操作S202中，特征获取网络获取第一图像的深度卷积特征和第二图像的深度卷积特征。例如，特征获取网络由2个卷积层和1个池化层组成，负责对第一图像和第二图像的特征获取。用于获取第一图像的深度卷积特征的特征获取网络与用于获取第二图像的深度卷积特征的特征获取网络可以是相同的特征获取网络，也可以是不同的特征获取网络。

在操作S203中，特征融合网络将第一图像的深度卷积特征和第二图像的深度卷积特征融合，以得到深度卷积融合特征。

在操作S204中，回归网络处理深度卷积融合特征，以得到评测值。例如，回归网络可以是由2个卷积层构成的全连接结构。

在操作S205中，通过调整神经网络的至少一个网络参数，使得利用神经网络处理第一图像与第二图像得到的评测值趋近于第一图像的标签值。例如，调整对抗学习网络、特征获取网络、特征融合网络和回归网络中的至少一个参数，从而使得到的评测值不断趋近于第一图像的标签值。例如，该参数例如可以是学习率、批大小(mini-batch)、损失函数、激励函数的选择等。

图3示意性示出了根据本公开实施例的示例对抗学习网络的结构示意图。

在本实施例中，如图3所示，对抗学习网络310包括但不限于：生成网络311、纹理生成模块312、第一判别网络313以及第二判别网络314。生成网络311用于根据第一图像321生成第二图像322和第三图像323。纹理生成模块312用于根据第一图像321和目标图像320生成第四图像324。第一判别网络313用于确定第二图像322和目标图像320的第一判别结果Value₁。第二判别网络314用于确定第三图像323和第四图像324的第二判别结果Value₂。

在本实施例中，第一判别网络和第二判别网络例如可以为采用2个卷积神经网络(CNN)架构的判别器模型。

图4示意性示出了根据本公开实施例的神经网络的训练方法中对对抗学习网络的训练的流程图。

如图4所示，对抗学习网络的训练方法400可以包括操作S401至操作S407。

在操作S401中，对抗学习网络获取训练图像集开始进行训练。例如，从图像训练集中获得第一图像，第一图像具有标签值。

在操作S402中，由生成网络根据获取图像集中的第一图像生成第二图像。

在操作S403中，由第一判别网络确认第二图像和目标图像的第一判别结果。

在操作S404中，生成网络根据获取图像集中的第一图像生成第三图像，其中第三图像包含有第二图像的纹理信息。

在本实施例中，第三图像包含有第二图像的纹理信息，使第三图像与第二图像存在关联性，从而提高对抗学习网络的训练精度。

在操作S405中，由纹理生成模块根据第一图像和目标图像生成第四图像。

在本实施例中，纹理生成模块通过纹理提取函数提取第一图像的第一纹理信息和目标图像的目标纹理信息，并将第一纹理信息和目标纹理信息进行融合得到第四图像。例如，纹理提取函数可以是灰度共生矩阵GLCM或者图像的LBP特征。根据本实施例，通过纹理提取函数提取图像的纹理信息。鉴于纹理图的梯度变化明显，因此，在提取纹理信息时具有更高的精确度。例如，在对抗学习网络中增加纹理生成模块，并通过纹理生成模块提取图像的纹理信息，使对抗学习网络在训练过程中，可以得到更精确的计算结果。

在操作S406中，由第二判别网络确定第三图像与第四图像之间的第二判别结果。

在操作S407中，根据第一判别结果和/或第二判别结果调整生成网络的参数。

例如，在操作S401至S407中，可以执行操作S401至S407的所有操作，通过同时反馈第一判别结果和第二判别结果，调整生成网络的参数。也可以是依次执行操作S401、S402、S403和S407，通过反馈第一判别结果调整生成网络的参数。也可以是依次执行操作S201、S204、S205、S206、和S207，通过反馈第二判别结果调整生成网络的参数，例如可以是学习率、mini-batch、损失函数等。根据本实施例，第一判别结果和第二判别结果可以同时进行反馈，也可以是选择其中的一个进行反馈。

在本实施例中，神经网络的训练方法中，调整神经网络的网络参数可以包括调整对抗学习网络、特征获取网络、特征融合网络、回归网络中的一个或者多个的网络参数。例如，调整对抗学习网络的网络参数，具体的调整对抗学习网络中的生成网络的参数，通过不断输入图像训练集中的图像，调整生成网络的参数，并且当第一判别网络确定的第一判别结果和第二判别网络确定的第二判别结果都趋近于预设阈值，例如第一判别结果和第二判别结果为50％、49％或51％时，即第一判别网络无法确认第二图像和目标图像的真假，第二判别网络无法确认第三图像和第四图像的真假，则表明对抗学习网络的生成网络训练完成。

在本实施例中，对生成网络训练完成后，将训练图像集中的图像再次输入神经网络，以对神经网络中的其他网络(例如特征获取网络、特征融合网络、回归网络)进行训练。例如，在将对抗学习网络中的生成网络训练完成后，再依次训练特征提取网络、特征融合网络、回归网络。本领域技术人员应当理解，本实施例中的训练顺序只是举例说明，并不对其他网络的训练顺序构成限定，也可以是其他的可选的训练顺序。

图5示意性示出了根据本公开实施例的图像处理方法的流程图。

本公开的另一实施例提供了一种图像处理方法，其用于将二维图像转换成三维图像，其可以包括操作S501至S508。

在操作S501中，获取二维图像，并根据二维图像的图像属性中的至少一个参数权重值计算属性得分。

在操作S502中，判断属性得分是否高于第一预设阈值。例如，若属性得分高于第一预设阈值，则执行操作S503，若属性得分等于或低于第一预设阈值，则执行操作S507，丢弃不符合要求的二维图像，结束将二维图像转换为三维图像。

在操作S503中，利用质量评价模型对二维图像进行质量评价，得到质量得分。

在操作S504中，判断质量得分是否高于第二预设阈值，若质量得分高于第二预设阈值，则执行操作S505，即进行后续的二维图像转换操作。若质量得分低于第二预设阈值，则执行操作S508，丢弃不符合要求的二维图像，结束将二维图像转换为三维图像的转换操作。

在操作S505中，通过图像转换模型将二维图像转换为三维图像。例如，图像转换模型可以是基于深度学习的inpainting模型。

在操作S506中，存储三维图像，并通过显示装置进行动态显示，例如手机、平板电脑、笔记本电脑等具有显示功能的终端设备。

在本实施例的操作S501中，二维图像的属性例如可以包括亮度值、梯度值、清晰度值、深度值中至少一个。计算属性得分的方法可以包括如下步骤：统计二维图像的图像属性，根据不同的图像属性分配参数权重。例如：亮度值的参数权重为a，梯度值的参数权重为b，清晰度的参数权重为c，深度值的参数权重为d。其中a+b+c+d＝1，例如a、b、c、d各自的权重分别为(0.2、0.1、0.2、0.5)，也可以是其他权重(例如，0.2、0.2、0.2、0.4)，可以根据使用的场景不同进行调整。

在本实施例的操作S502中，判断属性得分如下：例如可以是当亮度值满足条件，则令a’＝a*1，若亮度值不满足条件，则令a’＝a*0，同理b’、c’、d’的值也依据同种算法。属性得分x＝a’+b’+c’+d’，当x＞0.7(第一预设阈值)即表明二维图像的属性得分高于第一预设阈值，对满足条件的二维图像进行操作S503。当x≤0.7，即表明二维图像的属性得分低于第一预设阈值，丢弃不符合要求的二维图像，结束将二维图像转换为三维图像。

根据本实施例，操作S502对二维图像进行初步筛选，将满足第一预设阈值的二维图像继续执行后续操作，丢弃不满足第一预设阈值的二维图像，可以节省时间。此外，在操作S502中，增加了属性得分的判断，可以在二维图像转换三维图像之前进行初步筛选，有效减少因输入的二维图像的图像属性不满足条件(例如不清晰)，导致转换过程中出现的图像断层，或者导致转换后的三维图像信息不完整的问题出现，提高二维图像转换的效果。

在操作S503中，质量评价模型例如可以包括上文的对抗学习网络、特征获取网络、特征融合网络以及回归网络，并且质量评价模型是通过上文的训练神经网络的方法训练的。通过质量评价模型对二维图像进行质量评价，得到质量得分。

在本实施例中，向质量评价模型输入需要进行质量评价的二维图像，其中，该质量评价模型中的对抗学习网络、特征获取网络、特征融合网络以及回归网络均已经训练完成。输入二维图像至质量评价模型后，由对抗学习网络中的生成网络根据输入的二维图像生成第二图像。特征提取网络通过提取第二图像的深度卷积特征和输入的二维图像的深度卷积特征，并由特征融合网络将该二维图像的深度卷积特征和第二图像的深度卷积特征进行融合，得到深度卷积特征融合特征。最后由回归网络处理深度卷积融合特征，得到评测值。该评测值可知作为质量得分，用于与第二预设阈值进行比较。

在本实施例中，操作S504的质量得分例如是由训练后的神经网络根据输入的二维图像得到的评测值。在判断质量得分时，通过将得到的评测值与第二预设阈值进行比较，若评测值大于第二预设阈值，则执行操作S505。

根据本实施例，通过执行操作S502和操作S504，对输入的二维图像进行评测和筛选，并丢弃不满足第一预设阈值和第二预设阈值的二维图像，以使待进行转换的二维图像都满足要求。由此减少因二维图像转换前的图像属性较差导致图像转换过程中出现信息不完整的问题。通过采用两次不同的评测方式，例如计算图像属性得分以及对图像质量评价得到质量得分，可以有效排除不符合转换要求的二维图像，提高二维图像转换三维图像的成功率。

图6A～图6D示意性示出了根据本公开实施例的图像转换模型将二维图像转换成三维图像的示意图。

在本实施例中，图像转换模型例如可以是基于深度学习的inpainting模型，该模型以一种感知空间上下文的方式迭代地将新的局部颜色和深度内容合成到遮挡区域中，可将单一RGB-D输入图像转换为三维模型，使用标准的图形引擎，可以有效的使用运动视差来呈现三维图像。输入一张RGB-D图像，输出分层的深度图像，在原始图像中被遮挡的部位填补了颜色和深度。

在本实施例中，将二维图像转换成三维图像可以包括：提取二维图像的RGB-D图像信息，并基于RGB-D图像信息得到分层的深度图像。

在本实施例中，图像转换模型根据输入的RGB-D图像，得到单层的四连通的简单深度图像，进入预处理阶段。在预处理阶段，检测深度图像中的深度信息，将深度图像的深度信息连续的像素点划分为连续区域A1和A3，如图6A所示。将深度信息不连续区域A2的像素点进行断开，形成断开边d1和d2，其中，与断开边d2连接的为前景像素，与断开边d1连接的为背景像素，如图6B所示。

选择位于背景像素一侧的连续区域A1，即与断开边d1连接，根据连续区域A1的靠近断开边d1的像素点的颜色和深度，合成与连续区域A1相连接且具有相近深度和颜色的合成区域A1’，如图6C所示。并在进行上述操作后，将具有连续区域A1和合成区域A1’的像素进行合并，形成具有连续区域A1和合成区域A1’的分层的深度图像。通过上述方法，对二维图像的所有的深度信息不连续的点进行处理，得到三维图像，如图6D所示。

本公开的另一方面提供了一种用于训练神经网络的设备，可以包括存储器，用于存储指令和数据；处理器，配置为执行指令，以便对神经网络进行训练，其中，神经网络可以包括：对抗学习网络，根据输入的第一图像生成第二图像，第一图像是来自训练图像集的图像且具有标签值；特征获取网络，用于获取第一图像的深度卷积特征和第二图像的深度卷积特征；特征融合网络，用于将第二图像的深度卷积特征和第一图像的深度卷积特征融合，得到深度卷积融合特征；回归网络，用于处理深度卷积融合特征，得到评测值。

本公开的另一方面提供了一种图像处理设备，包括但不限于：存储器，用于存储指令和数据，处理器，配置为执行存储器存储的指令，以实现如上文的神经网络的训练方法，和/或上文的图像处理方法。

如图7所示，根据本公开实施例的用于训练神经网络或者图像处理的设备700可以包括处理器701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行根据本公开实施例的神经网络的训练方法或图像处理方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 703中，存储有设备700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行根据本公开实施例的神经网络的训练方法或图像处理方法流程的各种操作。需要注意，程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在一个或多个存储器中的程序来执行根据本公开实施例的神经网络的训练方法或图像处理方法流程的各种操作。

根据本公开的实施例，设备700还可以包括输入/输出(I/O)接口705，输入/输出(I/O)接口705也连接至总线704。设备700还可以包括连接至I/O接口705的以下部件中的一项或多项：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

本公开的实施例还包括一种计算机可读存储介质，存储介质存储有计算机指令，当计算机指令被处理器执行时实现如上文所述的神经网络的训练方法，或者上文所述的图像处理方法。该计算机可读存储介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的神经网络训练方法或图像处理方法。

在该计算机程序被处理器执行时，执行本公开实施例的设备中限定的上述功能。根据本公开的实施例，上文描述的设备等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分被下载和安装，和/或从可拆卸介质被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (13)

1.一种神经网络的训练方法，其中，所述神经网络包括：

对抗学习网络，用于根据输入的第一图像生成第二图像，所述第一图像是来自训练图像集的图像且具有标签值；

特征获取网络，用于获取所述第一图像的深度卷积特征和所述第二图像的深度卷积特征；

特征融合网络，用于将所述第一图像的深度卷积特征和所述第二图像的深度卷积特征融合，以得到深度卷积融合特征；以及

回归网络，用于处理所述深度卷积融合特征，以得到评测值；

所述训练方法包括：

通过调整所述神经网络的至少一个网络参数，使得利用所述神经网络处理所述第一图像与第二图像得到的评测值，趋近于所述第一图像的标签值。

2.根据权利要求1所述的训练方法，其中，所述对抗学习网络包括：生成网络；纹理生成模块；第一判别网络；以及第二判别网络；

其中，所述训练方法包括：

获取训练图像集；

由生成网络根据所述第一图像生成所述第二图像和第三图像，并由第一判别网络确定所述第二图像与目标图像之间的第一判别结果，其中，所述第三图像包含所述第二图像的纹理信息，所述目标图像是所述训练图像集中与所述第一图像配对的图像；

由纹理生成模块根据所述第一图像和所述目标图像生成所述第四图像，并由第二判别网络确定所述第三图像与所述第四图像之间的第二判别结果；

根据所述第一判别结果和/或所述第二判别结果调整所述生成网络的参数。

3.根据权利要求2所述的训练方法，其中，所述根据所述第一图像和所述目标图像生成第四图像包括：

通过纹理提取函数提取所述第一图像的第一纹理信息和所述目标图像的目标纹理信息，并将所述第一纹理信息与所述目标纹理信息进行融合得到所述第四图像。

4.根据权利要求1所述的训练方法，其中，所述通过调整所述神经网络的网络参数包括以下中的至少一个：

调整所述特征获取网络的参数；

调整所述特征融合网络的参数；

调整所述回归网络的参数。

5.一种图像处理方法，用于将二维图像转换成三维图像，包括：

获取二维图像，所述二维图像具有图像属性；

根据所述图像属性中的至少一个参数权重值计算属性得分；

若所述属性得分高于第一预设阈值，则利用质量评价模型对所述二维图像进行质量评价，得到质量得分；以及

若所述质量得分高于第二预设阈值，则通过图像转换模型将所述二维图像转换成三维图像；

其中，所述质量评价模型包括：对抗学习网络，用于根据输入的第一图像生成第二图像，所述第一图像是来自训练图像集的图像且具有标签值；特征获取网络，用于获取所述第一图像的深度卷积特征和所述第二图像的深度卷积特征；特征融合网络，用于将所述第一图像的深度卷积特征和所述第二图像的深度卷积特征融合，以得到深度卷积融合特征；以及回归网络，用于处理所述深度卷积融合特征，以得到评测值；

其中，所述质量评价模型是通过权利要求1-4中任意一项所述的神经网络的训练方法训练的。

6.如权利要求5所述的处理方法，其中，所述通过图像转换模型将所述二维图像转换成三维图像包括：

提取所述二维图像的RGB-D图像信息，并基于所述RGB-D图像信息得到分层的深度图像。

7.如权利要求6所述的处理方法，其中，基于所述RGB-D图像信息得到分层的深度图像包括：

所述图像转换模型根据输入的RGB-D图像，得到单层深度图像，检测所述深度图像中的深度信息，将所述深度图像的深度信息连续的像素点划分为连续区域，将深度信息不连续的像素点断开，形成断开边，得到与所述断开边连接的前景像素和背景像素；

选择位于所述背景像素一侧的所述连续区域，根据所述连续区域的靠近所述断开边的像素点的颜色和深度，合成与所述连续区域相连接且具有相近深度和颜色的合成区域，并将所述合成区域补入所述分层的深度图像。

8.如权利要求5所述的处理方法，其中，所述图像属性包括：亮度值、梯度值、清晰度值、深度值中至少一个。

9.如权利要求5所述的处理方法，其中，还包括：存储所述三维图像；

将存储的所述三维图像通过显示装置进行显示。

10.一种用于训练神经网络的设备，包括：

存储器，用于存储指令和数据；

处理器，配置为执行所述指令，以便构建所述神经网络，使其包括：

对抗学习网络，根据输入的第一图像生成第二图像，所述第一图像是来自训练图像集的图像且具有标签值；

特征获取网络，用于获取所述第一图像的深度卷积特征和所述第二图像的深度卷积特征；

特征融合网络，用于将所述第二图像的深度卷积特征和所述第一图像的深度卷积特征融合，得到深度卷积融合特征；

回归网络，用于处理所述深度卷积融合特征，得到评测值。

11.一种图像处理设备，包括：

存储器，用于存储指令和数据，

处理器，配置为执行所述指令，以实现如权利要求1-4中任意一项所述的训练方法，或权利要求5-9中任意一项所述的处理方法。

12.一种计算机可读存储介质，其中，所述存储介质存储有计算机指令，当所述计算机指令被处理器执行时实现如权利要求1-4中任意一项所述的训练方法，或者权利要求5-9中任意一项所述的处理方法。

13.一种计算机程序产品，其中，所述产品存储有计算机程序，所述计算机程序在被执行时能够实现如权利要求1-4中任意一项所述的训练方法，或者权利要求5-9中任意一项所述的处理方法。

Images