CN107622274A - 用于图像处理的神经网络训练方法、装置以及计算机设备 - Google Patents

Abstract

本发明实施例提供了一种用于图像处理的神经网络训练方法、装置以及计算机设备。用于图像处理的神经网络训练方法包括：训练用于图像识别的第一深度神经网络；通过标注有图像美学分类数据的第一图像训练样本对所述第一深度神经网络的网络参数进行第一更新；将网络参数进行第一更新后的所述第一深度神经网络的分类器层的参数，替换为用于图像识别的分类器层的参数以及用于图像美学分类的分类器层的参数；通过所述第一图像训练样本对分类器层的参数替换后的所述第一深度神经网络的网络参数进行第二更新。由此，可获得图像识别分类的分类器和图像美学分类的分类器，并且提高该两个分类器的准确性和鲁棒性。

Description

用于图像处理的神经网络训练方法、装置以及计算机设备

技术领域

本发明实施例涉及图像处理技术，尤其涉及一种用于图像处理的神经网络训练方法、装置以及计算机设备。

背景技术

图像美学质量评估(Image Aesthetic Quality Assessment)是计算机视觉领域的研究热点之一，用于其通过计算机基于美观、美学的标准来判断图像美学质量或图像美感度。

在现有的图像美学质量评估方案中，对训练样本图像进行特征提取来训练分类器，进而使用训练的分类器对待分类的图像进行美学质量的分类。然而，现有的图像美学质量评估方案中的分类器训练与图像识别类型的分类方案中的分类器训练是相互独立的任务。

发明内容

本发明实施例的目的在于，提供了一种用于图像处理的神经网络训练方案。

根据本发明实施例的一方面，提供了一种用于图像处理的神经网络训练方法，包括：训练用于图像识别的第一深度神经网络；通过标注有图像美学分类数据的第一图像训练样本对所述第一深度神经网络的网络参数进行第一更新；将网络参数进行第一更新后的所述第一深度神经网络的分类器层的参数替换为用于图像识别的分类器层的参数以及用于图像美学分类的分类器层的参数；通过所述第一图像训练样本对分类器层的参数替换后的所述第一深度神经网络的网络参数进行第二更新。

可选地，所述通过所述第一图像训练样本对分类器层的参数替换后的所述第一深度神经网络的网络参数进行第二更新，包括：以所述第一图像训练样本作为分类器层的参数替换后的所述第一深度神经网络的输入，采用批量随机梯度下降的方式对所述第一深度神经网络的网络参数进行第二更新，其中，在执行批量随机梯度下降的图像样本批次中，作为正样本图像样本的个数和作为负样本的图像样本的个数一致或者二者个数的差值落入容许范围。

可选地，所述方法还包括：从各个所述第一图像训练样本提取局部图像，将所述局部图像以及标注的图像美学分类数据作为第二图像训练样本；通过所述第二图像训练样本训练用于图像美学分类的第二深度神经网络；将所述第二深度神经网络的特征提取层拼连到所述第一深度神经网络的特征提取层中；对具有拼连的特征提取层的所述第一深度神经网络的网络参数进行第三更新。

可选地，所述方法还包括：在训练所述第一深度神经网络后，将所述第一深度神经网络的分类器层的参数替换为三元组计算损耗层的参数；所述通过标注有图像美学分类数据的第一图像训练样本对所述第一深度神经网络的网络参数进行第一更新包括：以所述第一图像训练样本作为输入，采用批量随机梯度下降的方式更新具有三元组计算损耗层的所述第一深度神经网络的网络参数；所述将所述第一深度神经网络的分类器层的参数替换为用于图像识别的分类器层的参数以及用于图像美学分类的分类器层的参数包括：将所述三元组计算损耗层的参数替换为用于图像美学分类的分类器层的参数，并且添加用于图像识别的分类器层的参数。

可选地，所述方法还包括：获取多个新的样本图像；分别将所述多个新的样本图像输入所述第一深度神经网络，获取所述多个新的样本图像的美学分类标注，并且以所述多个新的样本图像及其相应的美学分类标注作为第三图像训练样本；以所述第一图像训练样本和第三图像训练样本作为输入，采用批量随机梯度下降的方式更新所述第一深度神经网络，其中，在执行批量随机梯度下降的图像样本批次中，所述第一图像训练样本的个数和使用第三图像训练样本的个数一致或者二者个数的差值落入容许范围。

可选地，所述方法还包括：移除经过所述第二更新的所述第一深度神经网络中的特征提取层和分类器层，设置新的特征提取层；通过标注有图像剪切坐标数据的第四图像训练样本对设置有新的特征提取层的所述第一深度神经网络的网络参数进行第四更新。

可选地，所述方法还包括：构建第三深度神经网络，其中，从经过所述第二更新的所述第一深度神经网络提取图像特征抽取层作为所述第三深度神经网络的图像特征抽取层并且设置新的特征提取层；通过标注有图像剪切坐标数据的第四图像训练样本对所述第三深度神经网络的网络参数进行第四更新。

可选地，所述第一深度神经网络为VGG-16卷积神经网络，所述分类器层为VGG-16的FC8层，所述特征提取层为VGG-16的FC7层。

根据本发明实施例的另一方面，提供了一种用于图像处理的神经网络训练装置，包括：初始训练单元，用于训练用于图像识别的第一深度神经网络；第一更新单元，用于通过标注有图像美学分类数据的第一图像训练样本对所述第一深度神经网络的网络参数进行第一更新；分类器层设置单元，用于将经过所述第一更新单元进行第一更新后的第一深度神经网络的分类器层的参数替换为用于图像识别的分类器层的参数以及用于图像美学分类的分类器层的参数；第二更新单元，用于通过所述第一图像训练样本对分类器层设置单元进行分类器层的参数替换后的所述第一深度神经网络的网络参数进行第二更新。

可选地，所述第二更新单元用于以所述第一图像训练样本作为分类器层的参数替换后的所述第一深度神经网络的输入，采用批量梯度下降的方式对所述第一深度神经网络的网络参数进行第二更新，其中，在执行批量随机梯度下降的图像样本批次中，作为正样本图像样本的个数和作为负样本的图像样本的个数一致或者二者个数的差值落入容许范围。

可选地，所述装置还包括：局部图像样本获取单元，用于从各个所述第一图像训练样本提取局部图像，将所述局部图像以及标注的图像美学分类数据作为第二图像训练样本；局部图像训练单元，用于通过所述第二图像训练样本训练用于图像美学分类的第二深度神经网络；特征提取层拼连单元，用于将所述第二深度神经网络的特征提取层拼连到所述第一深度神经网络的特征提取层中；第三更新单元，用于对具有所述特征提取层拼连单元拼连的特征提取层的所述第一深度神经网络的网络参数进行第三更新。

可选地，所述装置还包括：分类器层第一替换单元，用于将所述初始训练单元训练得到的第一深度神经网络的分类器层的参数替换为三元组计算损耗层的参数；所述第一更新单元用于以所述第一图像训练样本作为输入，采用批量梯度下降的方式更新具有三元组计算损耗层的所述第一深度神经网络的网络参数；所述分类器层设置单元用于将所述三元组计算损耗层的参数替换为用于图像美学分类的分类器层的参数，并且添加用于图像识别的分类器层的参数。

可选地，所述装置还包括：新样本图像获取单元，用于获取多个新的样本图像；新训练样本构建单元，用于分别将所述多个新的样本图像输入所述第一深度神经网络，获取所述多个新的样本图像的美学分类标注，并且以所述多个新的样本图像及其相应的美学分类标注作为第三图像训练样本；组合更新单元，用于以所述第一图像训练样本和第三图像训练样本作为输入，采用批量梯度下降的方式更新所述第一深度神经网络，其中，在执行批量随机梯度下降的图像样本批次中，所述第一图像训练样本的个数和使用第三图像训练样本的个数一致或者二者个数的差值落入容许范围。

可选地，所述装置还包括：剪切网络初始化单元，用于移除经过所述第二更新的所述第一深度神经网络中的特征提取层和分类器层，设置新的特征提取层，或者用于构建第三深度神经网络，其中，从经过所述第二更新的所述第一深度神经网络提取图像特征抽取层作为所述第三深度神经网络的图像特征抽取层并且设置新的特征提取层；第四更新单元，用于通过标注有图像剪切坐标数据的第四图像训练样本对设置有新的特征提取层的所述第一深度神经网络或第三深度神经网络的网络参数进行第四更新。

可选地，所述第一深度神经网络为VGG-16卷积神经网络，所述分类器层为VGG-16的FC8层，所述特征提取层为VGG-16的FC7层。

根据本发明实施例的另一方面，还提供了一种计算机设备，包括：一个或多个处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如前所述的用于图像处理的神经网络训练方法对应的操作。

根据本发明实施例的再一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于训练用于图像识别的第一深度神经网络的可执行指令；用于通过标注有图像美学分类数据的第一图像训练样本对所述第一深度神经网络的网络参数进行第一更新的可执行指令；用于将网络参数进行第一更新后的所述第一深度神经网络的分类器层的参数替换为用于图像识别的分类器层的参数以及用于图像美学分类的分类器层的参数；用于通过所述第一图像训练样本对分类器层的参数替换后的所述第一深度神经网络的网络参数进行第二更新的可执行指令。

根据本发明实施例提供的用于图像处理的神经网络训练方法、装置和计算机设备，在图像识别分类的深度神经网络的基础上，通过图像美学分类的训练样本来更新该深度神经网络的网络参数，使得该深度神经网络的网络参数适于图像的美学分类，从而利用图像识别分类的网络参数来预训练图像美学分类的网络参数。此后，为该深度神经网络设置用于图像识别分类的分类器层和图像美学分类的分类器层来进行两个任务分类器的多任务同时学习，并且获得图像识别分类的分类器和图像美学分类的分类器，并且提高该两个分类器的准确性和鲁棒性。

附图说明

图1是示出根据本发明实施例一的用于图像处理的神经网络训练方法的流程图；

图2是示出根据本发明实施例一的用于图像处理的神经网络训练方法的示例性示意图；

图3是示出根据本发明实施例二的用于图像处理的神经网络训练方法的流程图；

图4是示出根据本发明实施例二的用于图像处理的神经网络训练方法的示例性示意图；

图5是示出根据本发明实施例三的用于图像处理的神经网络训练方法的流程图；

图6是示出根据本发明实施例四的用于图像处理的方法的流程图；

图7是示出根据本发明实施例五的用于图像处理的神经网络训练方法的流程图；

图8是示出根据本发明实施例五的用于图像处理的神经网络训练方法的示例性示意图；

图9是示出根据本发明实施例六的用于图像处理的神经网络训练方法的流程图；

图10是示出根据本发明实施例七的用于图像处理的方法的流程图；

图11是示出根据本发明实施例八的用于图像处理的神经网络训练装置的逻辑框图；

图12是示出根据本发明实施例九的用于图像处理的神经网络训练装置的逻辑框图；

图13是示出根据本发明实施例十的计算机设备的逻辑框图。

具体实施方式

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

实施例一

图1是示出根据本发明实施例一的用于图像处理的神经网络训练方法的流程图。可例如通过图11所示的神经网络训练装置或者包括该神经网络训练装置的计算机设备来执行实施例一的用于图像处理的神经网络训练方法。

参照图1，首先，在步骤S110，训练用于图像识别的第一深度神经网络。

具体地，先对第一深度神经网络的各层参数进行随机初始化。此后，可通过已有的图片分类数据库(如1000类图片分类超大规模数据库)进行图像识别的第一深度神经网络的训练，在图片分类数据库中存储有标注有图像类型的大量图像，获得可识别具有多种颗粒度的图像类型(例如人物、风景、水果、汽车等)的分类器，并且保留用于图像识别的第一深度神经网络的网络参数，这些网络参数通常为较典型的图像的特征参数。

此后，在步骤S120，通过标注有图像美学分类数据的第一图像训练样本对所述第一深度神经网络的网络参数进行第一更新。

具体地，在获得可识别图像类型的第一深度神经网络后，通过标注有图像美学分类数据的第一图像训练样本来对所述第一深度神经网络的网络参数进行微调。这里所说的图像美学分类是指根据美观、美学的标准(如图像的色彩、纹理、分割比例等)对图像的美学质量进行的分类。具体地，图像美学分类数据可以为二分类，即美和不美，也可以是预定的美学等级，如很美、美、一般、差等。

可选地，在步骤S120，可以所述第一图像训练样本作为输入，采用批量随机梯度下降(Batch Stochastic Gradient Descent)的方式对所述第一深度神经网络的网络参数进行第二更新，从而使第一深度神经网络的网络参数更适于图像美学分类。

这里，可通过标准的美学视觉分析数据集(AVA dataset，Aesthetic VisualAnalysis dataset)作为第一图像训练样本来训练第一深度神经网络，由此对第一深度神经网络的网络参数进行第一更新。

在步骤S130，将网络参数进行第一更新后的所述第一深度神经网络的分类器层的参数替换为用于图像识别的分类器层的参数以及用于图像美学分类的分类器层的参数。

具体地，在第一深度神经网络的分类器层，设置用于图像识别的分类器层的参数以及用于图像美学分类的分类器层的参数，以通过后续的训练获取用于图像识别的分类器以及用于图像美学分类的分类器，实现图像识别分类和图像美学分类的多任务同时学习。

在步骤S140，通过所述第一图像训练样本对分类器层的参数替换后的所述第一深度神经网络的网络参数进行第二更新。

类似地，在步骤S140，通过图像美学分类数据的第一图像训练样本来对第一深度神经网络的网络参数再次进行微调，从而获得用于图像识别的分类和用于图像美学分类的网络参数。

本发明实施例提供的用于图像处理的神经网络训练方案，在图像识别分类的深度神经网络的基础上，通过图像美学分类的训练样本来更新该深度神经网络的网络参数，并设置用于图像识别分类的分类器层和图像美学分类的分类器层来进行多任务分类器的多任务同时学习，获得图像识别分类的分类器和图像美学分类的分类器，并且提高该两个分类器的准确性和鲁棒性。

图2是示出根据本发明实施例一的用于图像处理的神经网络训练方法的示例性示意图。在图2示出的示例中，以卷积神经网络(CNN)作为示例的第一深度神经网络。参照图2，在进行多重卷积的第一深度神经网络中，在分类器层(如VGG-16的FC8层)设置了用于图像美学分类的参数(FC8-1 2)和用于图像识别的分类器层的参数(FC8-2 30)，其中，FC8-1用于二分类的图像美学质量分类的预测(即好或坏)，FC8-2用于30个分类的图像识别分类的预测。

在传统现有的图像美学质量评估方案中，分类器训练与图像识别类型的分类方案中的分类器训练是相互独立的任务，不具有交叉，无法利用彼此的优势。从对前述步骤S110～S140的处理的描述可见，与传统的独立单任务训练方案不同，实施例一的用于图像处理的神经网络训练方法在图像识别分类的深度神经网络的基础上，通过图像美学分类的训练样本来更新该深度神经网络的网络参数，使得该深度神经网络的网络参数适于图像的美学分类，从而利用图像识别分类的网络参数来预训练图像美学分类的网络参数。此后，为该深度神经网络设置用于图像识别分类的分类器层和图像美学分类的分类器层来进行两个任务分类器的多任务同时学习，并且获得图像识别分类的分类器和图像美学分类的分类器，并且提高该两个分类器的准确性和鲁棒性。

实施例二

图3是示出根据本发明实施例二的用于图像处理的神经网络训练方法的流程图。可例如通过图12所示的神经网络训练装置或者包括该神经网络训练装置的计算机设备来执行实施例二的用于图像处理的神经网络训练方法。

参照图3，在步骤S310，训练用于图像识别的第一深度神经网络。步骤S310与步骤S110的处理类似，在此不再给予赘述。

在步骤S315，将所述第一深度神经网络的分类器层的参数替换为三元组计算损耗层的参数。

在步骤S320，通过标注有图像美学分类数据的第一图像训练样本对所述第一深度神经网络的网络参数进行第一更新，其中，第一深度神经网络的分类器层的参数替换为三元组计算损耗层的参数。

这里，基于标注的训练样本在优化层(如softmax-loss层)中彼此之间的距离来优化第一深度神经网络中各层的网络参数。例如，通过输入的图1(好)、图2(好)和图3(坏)，计算在优化层中图1和图2之间的距离D1、图1和图3之间的距离D2，通过优化网络参数使得D1较D2小。

具体地，以所述第一图像训练样本作为输入，采用批量随机梯度下降的方式更新具有三元组的所述第一深度神经网络的网络参数。

通过采用批量随机梯度下降的方式来对具有三元组计算损耗层的第一深度神经网络的网络参数进行更新，可利用批量随机梯度的方式和三元组计算损耗层的优势来对第一深度神经网络的网络参数进行优化，获得更为优化的第一深度神经网络的网络参数。

在步骤S330，将所述三元组计算损耗层的参数替换为用于图像美学分类的分类器层的参数，并且添加用于图像识别的分类器层的参数。

步骤S340为步骤S140的优化实施方式。在步骤S340，以所述第一图像训练样本作为输入，采用批量随机梯度下降的方式对所述第一深度神经网络的网络参数进行第二更新，其中，在执行批量随机梯度下降的图像样本批次中，作为正样本的图像样本的个数和作为负样本的图像样本的个数一致，或者，二者的样本个数的差值落入容差范围。

也就是说，在执行批量随机梯度下降的图像样本批次中，作为正样本的图像样本的个数和作为负样本的图像样本的个数之间大体上等量，从而保持正负样本在梯度下降时数目一致。例如，在对每个批次的图像样本(如20张图像样本)进行随机梯度下降(stochastic gradient descent)处理时，随机抽样抽取10张正样本图像和10张负样本图像。这里，如果抽取到的负样本图像不足，则可重复使用部分负样本，从而构建的每批次图片含等量正负样本，确保对第一深度神经网络获得更优的训练效果。

通过前述控制批量随机梯度下降过程的正样本和负样本的数目的均衡程度，可降低第一深度神经网络在参数预测中出现假正样本的概率，避免出现在正样本图片的识别过程中产生的过拟合，进一步提高训练的第一深度神经网络的分类准确性和鲁棒性。

通过步骤S310～S340的处理，可在获得具有图像识别分类的分类器和图像美学分类的分类器的深度神经网络的基础上，还能够在对具有图像识别分类的分类器和图像美学分类的分类器的深度神经网络的参数更新的过程中，平衡批量随机梯度下降过程中正负样本的数目，避免出现在正样本图片的识别过程中产生的过拟合，进一步提高训练的第一深度神经网络的分类准确性和鲁棒性。

通过前述步骤S110～140或步骤S310～S340的处理获得基于整体图像信息的用于图像识别和图像美学分类的深度神经网络。通过整体图像信息可使该深度神经网络学习到图像的构图、景深等全局的图像美学特征。另一方面，局部图像信息可体现图像的细节纹理质量：高像素图像的局部信息细节明显，低像素图像的局部信息则比较粗糙。仅通过整体图像信息来训练该深度神经网络会忽略由于图像像素低而导致的美学质量欠佳的情况。因此，可选地，实施例二的用于图像处理的神经网络训练方法还包括步骤S350～380，以基于整体图像信息和局部图像信息来训练基于整体图像信息的用于图像识别和图像美学分类的深度神经网络。

在步骤S350，从各个所述第一图像训练样本提取局部图像，将所述局部图像以及标注的图像美学分类数据作为第二图像训练样本。

具体地，在步骤S350中，可从每个所述第一图像训练样本截取指定位置和区域的局部图像，或者从每个所述第一图像训练样本随机截取指定大小的局部图像。

在步骤S360，通过所述第二图像训练样本训练用于图像美学分类的第二深度神经网络。

在步骤S370，将所述第二深度神经网络的特征提取层拼连到所述第一深度神经网络的特征提取层中。

具体地，前述的“拼连”是指将第二深度神经网络的特征提取层的特征向量与所述第一深度神经网络的特征提取层的特征向量进行组合。例如，假设第一深度神经网络的特征提取层和第二深度神经网络的特征提取层各自具有4096维度的特征向量，则“拼连”处理将两个4096维度的特征向量拼连为具有8196维度的特征向量。

在步骤S380，对具有拼连的特征提取层的所述第一深度神经网络的网络参数进行第三更新。

图4是示出根据本发明实施例二的用于图像处理的神经网络训练方法的示例性示意图。在图4示出的示例中，仍以卷积神经网络(CNN)作为示例的第一深度神经网络。

图4上端的左侧示出基于整体图像信息进行第一深度神经网络的训练的处理，图4下端的左侧示出基于局部图像信息进行第二深度神经网络的训练的处理。在410，将所述第二深度神经网络的特征提取层(FC7)拼连到所述第一深度神经网络的特征提取层(FC7)中，此后对具有拼连的特征提取层(FC7-new)的所述第一深度神经网络的网络参数进行第三更新，以用于图像识别和图像美学分类。

通过步骤S350～S380的处理，训练基于局部图像信息的用于图像美学分类的第二深度神经网络，将第二深度神经网络的特征提取层拼连到所述第一深度神经网络的特征提取层中，并且对具有拼连的特征提取层的所述第一深度神经网络的网络参数再进行更新，可训练得到结合整体图像信息和局部图像信息的用于图像识别和图像美学分类的第一深度神经网络，进一步提高图像识别和图像美学分类的深度神经网络的准确性和鲁棒性。例如，对于分辨率低的图像来说，如果要截取的局部图像大小小于原整体图像的大小，则需要将原整体图像拉伸到要截取的局部图像大小，因此在最终获得的第一深度神经网络中可学习到低分辨率图像纹理粗糙的情况，提高第一深度神经网络的准确性和鲁棒性。

优选地，第一深度神经网络为VGG-16卷积神经网络，其分类器层为VGG-16的FC8层，其特征提取层为VGG-16的FC7层。

实施例三

图5是示出根据本发明实施例三的用于图像处理的神经网络训练方法的流程图。可例如通过图12所示的神经网络训练装置或者包括该神经网络训练装置的计算机设备来执行实施例三的用于图像处理的神经网络训练方法。

在通过实施例一或实施例二的方法的处理得到前述任一种第一深度神经网络后，还可基于更多的图像训练样本来进一步训练该第一深度神经网络。例如，可能需要通过新的数据源采集的图像训练该第一深度神经网络，通常某个数据源的数据(如图像)具有某些共有的特性/特征，因此在进一步训练该第一深度神经网络时需要将来自该数据源的图像与已有的图像训练样本进行均衡，并更新第一深度神经网络的网络参数。

参照图5，在步骤S510，获取多个新的样本图像。例如，来自新数据源的多个样本图像。

在步骤S520，分别将所述多个新的样本图像输入所述第一深度神经网络，获取所述多个新的样本图像的美学分类标注，并且以所述多个新的样本图像及其相应的美学分类标注作为第三图像训练样本。

具体地，先通过前述训练的第一深度神经网络来分别进行多个样本图像的图像美学分类，对多个样本图像进行初步标注。

在步骤S530，以所述第一图像训练样本和第三图像训练样本作为所述第一深度神经网络的输入，采用批量随机梯度下降的方式对所述第一深度神经网络的网络参数进行第二更新，其中，在执行批量随机梯度下降的图像样本批次中，所述第一图像训练样本的个数和使用第三图像训练样本的个数一致或者二者个数的差值落入容许范围。

通过步骤S530的处理，通过第一图像训练样本和第三图像训练样本对第一深度神经网络的网络参数进一步进行更新，其中，均衡先前训练使用的图像训练样本和新的图像训练样本的个数，以获得更为准确的训练结果，并且增强更新的第一深度神经网络的鲁棒性。

实施例四

图6是示出根据本发明实施例四的用于图像处理的方法的流程图。实施例四示出使用基于前述实施例一～实施例三的任一用于图像处理的神经网络训练方法进行图像处理的过程，以获得图像识别和图像美学分类的信息。

参照图6，在步骤S610，获取待处理的图像。

在步骤S620，将待处理的图像正向传输到第一深度神经网络，在第一深度神经网络的分类器层获得图像识别分类和图像美学分类的预测信息。

为了加强图像特征提取的鲁棒性，在执行步骤S620前，对待处理的图像进行去均值归一化的处理。

实施例五

图7是示出根据本发明实施例五的用于图像处理的神经网络训练方法的流程图。可例如通过图12所示的神经网络训练装置或者包括该神经网络训练装置的计算机设备来执行实施例五的用于图像处理的神经网络训练方法。

根据前述实施例一～实施例三种任一用于图像处理的神经网络训练方法训练得到的第一深度神经网络还可用于基于图像美学分类进行图像剪切的预测处理。

在前述实施例一～实施例三种任一用于图像处理的神经网络训练方法的基础上，实施例四的用于图像处理的神经网络训练方法还包括步骤S710～S720。

在执行前述步骤S140、S340或S380获得第一深度神经网络后，在步骤S710，移除所述第一深度神经网络中的特征提取层和分类器层，设置新的特征提取层。

具体地，对于作为卷积神经网络的第一深度神经网络来说，移除其进行特征投影映射和特征表示的特征提取层和分类器层，仅保留其各个卷积层，保留各个卷积层的网络参数(如图像边缘、纹理、色彩等)，即基于图像美学分类的图像特征抽取的网络参数。

在步骤S720，通过标注有图像剪切坐标数据的第四图像训练样本对所述第一深度神经网络的网络参数进行第四更新。

通过步骤S720的训练处理，可获得基于图像美学对图像进行剪切预测的第一深度神经网络。也就是说，通过步骤S710～720的处理，将第一深度神经网络更新为用于基于图像美学对图像进行剪切预测。

图8是示出根据本发明实施例五的用于图像处理的神经网络训练方法的示例性示意图。在图8示出的示例中，仍以卷积神经网络(CNN)作为示例的第一深度神经网络。

参照图8，通过将用于图像识别和用于图像美学分类的第一深度神经网络的全连接层全部移除，仅保留各个卷积层，再嫁接新的特征提取层，通过标注有图像剪切坐标数据的第四图像训练样本继续进行网络参数的更新，获得用于基于图像美学对图像进行剪切预测的深度神经网络。

实施例六

图9是示出根据本发明实施例六的用于图像处理的神经网络训练方法的流程图。可例如通过图12所示的神经网络训练装置或者包括该神经网络训练装置的计算机设备来执行实施例四的用于图像处理的神经网络训练方法。

实施例六示出的用于图像处理的神经网络训练方法可视为实施例五的一种变形。

在执行前述步骤S140、S340或S380获得第一深度神经网络后，在步骤S910，构建第三深度神经网络，其中，从所述第一深度神经网络提取图像特征抽取层作为所述第三深度神经网络的图像特征抽取层并且设置新的特征提取层。

与实施例五的步骤S710不同的是，在步骤S910，基于已训练得到的第一深度神经网络来构建新的第三深度神经网络，其中，将第一深度神经网络的图像特征抽取层(如卷积神经网络的卷积层)作为第三深度神经网络的图像特征抽取层并且设置新的特征提取层。

在步骤S920，通过标注有图像剪切坐标数据的第四图像训练样本对所述第三深度神经网络的网络参数进行第四更新。

步骤S920的处理与前述步骤S720的处理类似，不同之处在于，在步骤S920对第三深度神经网络的网络参数进行第四更新。

通过步骤S910～S920的处理，结合前述实施例一～实施例三种任一用于图像处理的神经网络训练方法的处理，实施例六的方法可获得用于图像识别和用于图像美学分类的第一深度神经网络和用于基于图像美学对图像进行剪切预测的第三深度神经网络。

实施例七

图10是示出根据本发明实施例七的用于图像处理的方法的流程图。实施例七示出使用基于前述实施例五或实施例六的用于图像处理的神经网络训练方法进行图像处理的过程，以获得基于图像美学对图像进行剪切预测的信息。

参照图10，在步骤S1010，获取待处理的图像。

在步骤S1020，将待处理的图像正向传输到第一深度神经网络(实施例五)或第三深度神经网络(实施例六)，在特征提取层获得基于图像美学对图像进行剪切的预测信息。

在步骤S1030，根据预测的图像剪切信息(如剪切坐标)对待处理的图像进行剪切。

为了加强图像特征提取的鲁棒性，在执行步骤S1020前，对待处理的图像进行去均值归一化的处理。

实施例八

图11是示出根据本发明实施例八的用于图像处理的神经网络训练装置的逻辑框图。

参照图11，实施例八的用于图像处理的神经网络训练装置包括初始训练单元1110、第一更新单元1120、分类器层设置单元1130和第二更新单元1140。

初始训练单元1110用于训练用于图像识别的第一深度神经网络。

第一更新单元1120用于通过标注有图像美学分类数据的第一图像训练样本对所述第一深度神经网络的网络参数进行第一更新。

分类器层设置单元1130用于将经过所述第一更新单元进行第一更新后的第一深度神经网络的分类器层的参数替换为用于图像识别的分类器层的参数以及用于图像美学分类的分类器层的参数。

第二更新单元1140用于通过所述第一图像训练样本对所述分类器层设置单元进行分类器层的参数替换后的所述第一深度神经网络的网络参数进行第二更新。

实施例九

图12是示出根据本发明实施例九的用于图像处理的神经网络训练装置的逻辑框图。

在实施例九的用于图像处理的神经网络训练装置的基础上，所述装置还包括：局部图像样本获取单元1210，用于从各个所述第一图像训练样本提取局部图像，将所述局部图像以及标注的图像美学分类数据作为第二图像训练样本；局部图像训练单元1220，用于通过所述第二图像训练样本训练用于图像美学分类的第二深度神经网络；特征提取层拼连单元1230，用于将所述第二深度神经网络的特征提取层拼连到所述第一深度神经网络的特征提取层中；第三更新单元1240，用于对具有所述特征提取层拼连单元1230拼连的特征提取层的所述第一深度神经网络的网络参数进行第三更新。

可选地，第二更新单元1140用于以所述第一图像训练样本作为输入，采用批量梯度下降的方式对所述第一深度神经网络的网络参数进行第二更新，其中，在执行批量随机梯度下降的图像样本批次中，作为正样本图像样本的个数和作为负样本的图像样本的个数一致或者二者个数的差值落入容许范围。

可选地，所述装置还包括：分类器层替换单元1250，用于将所述初始训练单元训练得到的第一深度神经网络的分类器层的参数替换为三元组计算损耗层的参数。第一更新单元1120用于以所述第一图像训练样本作为输入，采用批量梯度下降的方式更新具有三元组计算损耗层的所述第一深度神经网络的网络参数。分类器层设置单元1130用于将所述三元组计算损耗层的参数替换为用于图像美学分类的分类器层的参数，并且添加用于图像识别的分类器层的参数。

可选地，所述第一深度神经网络为VGG-16卷积神经网络，所述分类器层为VGG-16的FC8层，所述特征提取层为VGG-16的FC7层。

可选地，用于图像处理的神经网络训练装置还包括：新样本图像获取单元，用于获取多个新的样本图像；新训练样本构建单元，用于分别将所述多个新的样本图像输入所述第一深度神经网络，获取所述多个新的样本图像的美学分类标注，并且以所述多个新的样本图像及其相应的美学分类标注作为第三图像训练样本；组合更新单元，用于以所述第一图像训练样本和第三图像训练样本作为所述批量随机梯度下降算法的输入，采用批量梯度下降的方式更新所述第一深度神经网络，其中，在执行批量随机梯度下降的图像样本批次中，所述第一图像训练样本的个数和使用第三图像训练样本的个数一致或者二者个数的差值落入容许范围。

可选地，所述装置还包括：剪切网络初始化单元，用于移除经过所述第二更新的所述第一深度神经网络中的特征提取层和分类器层，设置新的特征提取层，或者用于构建第三深度神经网络，其中，从经过所述第二更新的所述第一深度神经网络提取图像特征抽取层作为所述第三深度神经网络的图像特征抽取层并且设置新的特征提取层；第四更新单元，用于通过标注有图像剪切坐标数据的第四图像训练样本对所述第一深度神经网络或第三深度神经网络的网络参数进行第四更新。

实施例十

图13是示出根据本发明实施例十的计算机设备的逻辑框图。

参照图13，该计算机设备包括一个或多个处理器(processor)1310、通信接口(Communications Interface)1320、存储器(memory)1330、以及通信总线1340。处理器1310、通信接口1320、以及存储器1330通过通信总线1340完成相互间的通信。

通信接口1320用于与比如客户端等的网元通信。

处理器1310用于执行程序1332，具体可以执行上述方法实施例中的相关步骤。

具体地，程序1332可以包括程序代码，该程序代码包括计算机操作指令。

处理器1310可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路，或者是图形处理器(Graphics Processing Unit，GPU)。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU，或者，一个或多个GPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个GPU。

存储器1330，用于存放程序1332。存储器1330可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序1332具体可以用于使得处理器1310执行以下操作：训练用于图像识别的第一深度神经网络；通过标注有图像美学分类数据的第一图像训练样本对所述第一深度神经网络的网络参数进行第一更新；将所述第一深度神经网络的分类器层的参数替换为用于图像识别的分类器层的参数以及用于图像美学分类的分类器层的参数，以进行图像识别分类和图像美学分类的多任务同时学习；通过所述第一图像训练样本对所述第一深度神经网络的网络参数进行第二更新。

在一种可选的实施方式中，程序1332还用于使得处理器1310执行以下操作：以所述第一图像训练样本作为输入，采用批量梯度下降的方式对所述第一深度神经网络的网络参数进行第二更新，其中，在执行批量随机梯度下降的图像样本批次中，作为正样本图像样本的个数和作为负样本的图像样本的个数一致或者二者个数的差值落入容许范围。

在一种可选的实施方式中，程序1332还用于使得处理器1310执行以下操作：从各个所述第一图像训练样本提取局部图像，将所述局部图像以及标注的图像美学分类数据作为第二图像训练样本；通过所述第二图像训练样本训练用于图像美学分类的第二深度神经网络；将所述第二深度神经网络的特征提取层拼连到所述第一深度神经网络的特征提取层中；对具有拼连的特征提取层的所述第一深度神经网络的网络参数进行第三更新。

在一种可选的实施方式中，程序1332还用于使得处理器1310执行以下操作：在训练所述第一深度神经网络后，将所述第一深度神经网络的分类器层的参数替换为三元组计算损耗层的参数；在以所述第一图像训练样本作为输入，采用批量梯度下降的方式更新具有三元组计算损耗层的所述第一深度神经网络的网络参数；将所述三元组计算损耗层的参数替换为用于图像美学分类的分类器层的参数，并且添加用于图像识别的分类器层的参数。

在一种可选的实施方式中，程序1332还用于使得处理器1310执行以下操作：获取多个新的样本图像；分别将所述多个新的样本图像输入所述第一深度神经网络，获取所述多个新的样本图像的美学分类标注，并且以所述多个新的样本图像及其相应的美学分类标注作为第三图像训练样本；以所述第一图像训练样本和第三图像训练样本作为所述批量随机梯度下降算法的输入，采用批量梯度下降的方式更新所述第一深度神经网络，其中，在执行批量随机梯度下降的图像样本批次中，所述第一图像训练样本的个数和使用第三图像训练样本的个数一致或者二者个数的差值落入容许范围。

在一种可选的实施方式中，程序1332还用于使得处理器1310执行以下操作：移除经过所述第二更新的所述第一深度神经网络中的特征提取层和分类器层，设置新的特征提取层；通过标注有图像剪切坐标数据的第四图像训练样本对所述第一深度神经网络的网络参数进行第四更新。

在一种可选的实施方式中，程序1332还用于使得处理器1310执行以下操作：构建第三深度神经网络，其中，从经过所述第二更新的所述第一深度神经网络提取图像特征抽取层作为所述第三深度神经网络的图像特征抽取层并且设置新的特征提取层；通过标注有图像剪切坐标数据的第四图像训练样本对所述第三深度神经网络的网络参数进行第四更新。

程序1332中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

根据本发明实施例提供的用于图像处理的神经网络训练方法、装置和计算机设备，在图像识别分类的深度神经网络的基础上，通过图像美学分类的训练样本来更新该深度神经网络的网络参数，使得该深度神经网络的网络参数适于图像的美学分类，从而利用图像识别分类的网络参数来预训练图像美学分类的网络参数。此后，为该深度神经网络设置用于图像识别分类的分类器层和图像美学分类的分类器层来进行两个任务分类器的多任务同时学习，并且获得图像识别分类的分类器和图像美学分类的分类器，并且提高该两个分类器的准确性和鲁棒性。

此外，在通过批量随机梯度下降对深度神经网络的网络参数进行更新的过程中，保持批量随机梯度下降过程的正样本和负样本的数目一致，可降低第一深度神经网络在参数预测中出现假正样本的概率，避免出现在正样本图片的识别过程中产生的过拟合，进一步提高训练的第一深度神经网络的分类准确性和鲁棒性。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，RAM、ROM、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的处理方法。此外，当通用计算机访问用于实现在此示出的处理的代码时，代码的执行将通用计算机转换为用于执行在此示出的处理的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。

Claims (10)

1.一种用于图像处理的神经网络训练方法，包括：

训练用于图像识别的第一深度神经网络；

通过标注有图像美学分类数据的第一图像训练样本对所述第一深度神经网络的网络参数进行第一更新；

将网络参数进行第一更新后的所述第一深度神经网络的分类器层的参数，替换为用于图像识别的分类器层的参数以及用于图像美学分类的分类器层的参数；

通过所述第一图像训练样本对分类器层的参数替换后的所述第一深度神经网络的网络参数进行第二更新。

2.根据权利要求1所述的方法，其中，所述通过所述第一图像训练样本对分类器层的参数替换后的所述第一深度神经网络的网络参数进行第二更新，包括：

以所述第一图像训练样本作为分类器层的参数替换后的所述第一深度神经网络的输入，采用批量随机梯度下降的方式对所述第一深度神经网络的网络参数进行第二更新，其中，在执行批量随机梯度下降的图像样本批次中，作为正样本图像样本的个数和作为负样本的图像样本的个数一致或者二者个数的差值落入容许范围。

3.根据权利要求1或2所述的方法，其中，所述方法还包括：

从各个所述第一图像训练样本提取局部图像，将所述局部图像以及标注的图像美学分类数据作为第二图像训练样本；

通过所述第二图像训练样本训练用于图像美学分类的第二深度神经网络；

将所述第二深度神经网络的特征提取层拼连到所述第一深度神经网络的特征提取层中；

对具有拼连的特征提取层的所述第一深度神经网络的网络参数进行第三更新。

4.根据权利要求1～3中任一项所述的方法，其中，所述方法还包括：

获取多个新的样本图像；

分别将所述多个新的样本图像输入所述第一深度神经网络，获取所述多个新的样本图像的美学分类标注，并且以所述多个新的样本图像及其相应的美学分类标注作为第三图像训练样本；

以所述第一图像训练样本和第三图像训练样本作为输入，采用批量随机梯度下降的方式更新所述第一深度神经网络，其中，在执行批量随机梯度下降的图像样本批次中，所述第一图像训练样本的个数和使用第三图像训练样本的个数一致或者二者个数的差值落入容许范围。

5.根据权利要求1～4中任一项所述的方法，其中，所述方法还包括：

移除经过所述第二更新的所述第一深度神经网络中的特征提取层和分类器层，设置新的特征提取层，并且通过标注有图像剪切坐标数据的第四图像训练样本对设置有新的特征提取层的所述第一深度神经网络的网络参数进行第四更新；或者

构建第三深度神经网络，其中，从经过所述第二更新的所述第一深度神经网络提取图像特征抽取层作为所述第三深度神经网络的图像特征抽取层并且设置新的特征提取层，并且通过标注有图像剪切坐标数据的第四图像训练样本对所述第三深度神经网络的网络参数进行第四更新。

6.一种用于图像处理的神经网络训练装置，包括：

初始训练单元，用于训练用于图像识别的第一深度神经网络；

第一更新单元，用于通过标注有图像美学分类数据的第一图像训练样本对所述第一深度神经网络的网络参数进行第一更新；

分类器层设置单元，用于将经过所述第一更新单元进行第一更新后的第一深度神经网络的分类器层的参数替换为用于图像识别的分类器层的参数以及用于图像美学分类的分类器层的参数；

第二更新单元，用于通过所述第一图像训练样本对所述分类器层设置单元进行分类器层的参数替换后的所述第一深度神经网络的网络参数进行第二更新。

7.根据权利要求6所述的装置，其中，所述第二更新单元用于以所述第一图像训练样本作为分类器层的参数替换后的所述第一深度神经网络的输入，采用批量梯度下降的方式对所述第一深度神经网络的网络参数进行第二更新，其中，在执行批量随机梯度下降的图像样本批次中，作为正样本图像样本的个数和作为负样本的图像样本的个数一致或者二者个数的差值落入容许范围。

8.根据权利要求6或7所述的装置，其中，所述装置还包括：

局部图像样本获取单元，用于从各个所述第一图像训练样本提取局部图像，将所述局部图像以及标注的图像美学分类数据作为第二图像训练样本；

局部图像训练单元，用于通过所述第二图像训练样本训练用于图像美学分类的第二深度神经网络；

特征提取层拼连单元，用于将所述第二深度神经网络的特征提取层拼连到所述第一深度神经网络的特征提取层中；

第三更新单元，用于对具有所述特征提取层拼连单元拼连的特征提取层的所述第一深度神经网络的网络参数进行第三更新。

9.根据权利要求6～8中任一项所述的装置，其中，所述装置还包括：

分类器层第一替换单元，用于将所述初始训练单元训练得到的第一深度神经网络的分类器层的参数替换为三元组计算损耗层的参数；

所述第一更新单元用于以所述第一图像训练样本作为输入，采用批量梯度下降的方式更新具有三元组计算损耗层的所述第一深度神经网络的网络参数；

所述分类器层设置单元用于将所述三元组计算损耗层的参数替换为用于图像美学分类的分类器层的参数，并且添加用于图像识别的分类器层的参数。

10.一种计算机设备，包括：一个或多个处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1至5任一项所述的用于图像处理的神经网络训练方法对应的操作。