CN109241968A - 图像内容倾斜角度预测网络训练方法及修正方法、系统 - Google Patents

Abstract

本发明公开一种图像内容倾斜角度预测网络训练方法，首先获取作为训练数据集的若干图片，图片的图像内容为正向，将数据集中用于训练网络模型的一批次图片对应旋转后的图片迭代输入到预先构建的角度预测网络内进行训练，然后将数据集中用于测试网络模型的一批次图片对应旋转后的图片输入训练得到的角度预测网络内，对初步训练的角度预测网络测试，获得最终的图像内容倾斜角度预测网络。本发明还公开一种图像内容倾斜修正方法及系统，使用训练得到的图像内容倾斜角度预测网络，将待处理图片输入网络内能够运算出待处理图片内容倾斜的角度，而后根据运算出的角度对图片修正，与现有技术相比不依赖于特定的标识物，更具有适应性和可靠性，更加智能化。

Description

图像内容倾斜角度预测网络训练方法及修正方法、系统

技术领域

本发明涉及图像处理技术领域，特别是涉及一种图像内容倾斜角度预测网络训练方法。本发明还涉及一种图像内容倾斜修正方法及系统。

背景技术

在人们日常生活的拍照或者摄像中，常常会较为随意地拍摄或者抓拍，或者拍摄者不专业而手持的相机倾斜，进而导致拍摄出的图像内容倾斜，失去了较佳的美感和观赏性，影响相片的观赏和使用。遇到上述情况，一些用户会使用图像编辑软件对图像进行旋转修正，而这种方法费时费力，并且不能批量处理，每一张相片需要人工操作调整。

现有技术中，已公开针对图像内容倾斜的图像，基于图像内容对图像进行旋转修正的方法，这类方法依赖于某几种既定的、具备已知方向信息的标识物，通过在图像上寻找预先指定的标识物，或者用户在图像上绘制参考线，再根据它们的已知方向信息，利用预设算法或函数推断出图像内容的倾斜角度，进而转正图像。比如，专利公告号CN 104838420A、名称为“基于图像内容进行图像旋转以修正图像取向”的专利文献中，记载了一种基于图像内容或图像内容的一个或多个标识，来确定图像的当前旋转量并转正图像的方法，首先识别出目标图像中具备的标识物，如人脸或户外环境等，再基于所识别出来的标识物选择某一种分析算法，分析出当前图像的旋转量之后，将图像转至令人满意的取向。

然而，上述这类方法存在以下缺陷：(1)适应性不高。如果图像出现的标识物不在已知既定的几种标识物之内，或者标识物较为复杂，或者图像上没有出现特别明显的标识物，将不能应用本方法。(2)智能度不高。这类方法在某些情况下需要与用户交互地定义参考线或标识物，才能做出正确的旋转。(3)可靠性不高。在计算倾斜角度时，根据识别出的标识物不同，需要选择不同的算法或能量函数，这是较为复杂和麻烦的，一定程度上降低了算法的可靠性。

发明内容

有鉴于此，本发明提供一种图像内容倾斜角度预测网络训练方法以及一种图像内容倾斜修正方法及系统，使用训练得到的图像内容倾斜角度预测网络能够运算出图片内容的倾斜角度，进而能够根据运算出的角度来修正图片，与现有技术相比不依赖于特定的标识物，更具有适应性和可靠性，更加智能化。

为实现上述目的，本发明提供如下技术方案：

一种图像内容倾斜角度预测网络训练方法，包括：

获取作为训练数据集的若干图片，所述图片的图像内容为正向；

将所述数据集中图片相对于正向随机旋转并对应记录旋转角度；

将所述数据集中用于训练网络模型的一批次图片对应旋转后的图片迭代输入到预先构建的角度预测网络内，预先构建的所述角度预测网络以图片为输入，其输出为运算出的输入图片的图像内容相对于正向的倾斜角度，在一次迭代训练过程中，根据由所述角度预测网络输出的预测角度以及实际的旋转角度计算当前所述角度预测网络的损失，根据计算出的损失调整当前所述角度预测网络各层的权重，将调整后的角度预测网络作为下一次迭代训练的角度预测网络，直到计算的损失满足第一预设范围时停止迭代训练；

将所述数据集中用于测试网络模型的一批次图片对应旋转后的图片输入训练得到的所述角度预测网络内，在一次测试过程中，计算由所述角度预测网络输出的预测角度与实际的旋转角度的偏差，若所述预测角度与实际的旋转角度的偏差满足第二预设范围，则停止测试，获得最终训练得到的所述角度预测网络，若所述预测角度与实际的旋转角度的偏差不满足所述第二预设范围，则修改当前所述角度预测网络的各项参数，再进行下一次测试。

优选的，根据以下公式计算当前所述角度预测网络的损失：

其中，loss表示所述角度预测网络的损失，m表示用于训练网络模型的一批次图片的数量，θ_i表示对应第i幅图片由当前所述角度预测网络输出的预测角度，θ_i′表示第i幅图片实际的旋转角度，i∈[1,m]。

优选的，所述预测角度与实际的旋转角度的偏差满足第二预设范围具体为满足以下条件式：

|θ-θ′|＜1；

其中，θ表示图片由当前所述角度预测网络输出的预测角度，θ′表示图片实际的旋转角度。

优选的，所述将所述数据集中用于训练网络模型的图片对应旋转后的图片迭代输入到预先构建的角度预测网络内包括：

在旋转后的图片中计算最大正向内接矩形，截取出所述最大正向内接矩形内图像块，将截取的所述图像块的长度和宽度分别调整到预设尺寸，作为输入所述角度预测网络的图片。

优选的，所述根据计算出的损失调整当前所述角度预测网络各层的权重包括：

根据计算出的损失值计算所述角度预测网络各层的梯度；

根据所述角度预测网络各层的学习率以及梯度，调整当前所述角度预测网络各层的权重。

优选的，预先构建所述角度预测网络包括：

使用迁移学习技术对用于图像分类的卷积神经网络改进；

对得到的卷积神经网络去除最后一层softmax层；

在网络的输出端添加新的全连接层，所述全连接层具有一个神经元，并且以tanh函数为激活函数；

通过线性映射将网络的输出映射到-180到+180的实数域。

一种图像内容倾斜修正方法，包括：

将待处理图片输入到预先训练好的图像内容倾斜角度预测网络内，得到对应所述待处理图片的角度，所述图像内容倾斜角度预测网络应用以上所述的图像内容倾斜角度预测网络训练方法训练得到；

根据得到的所述角度旋转所述待处理图片，从旋转后的图片中截取得到修正的图片。

优选的，所述根据得到的所述角度旋转所述待处理图片包括：

将所述待处理图片相对于正向旋转-β，由所述图像内容倾斜角度预测网络输出的对应所述待处理图片的角度为β。

优选的，所述从旋转后的图片中截取得到最终转正后的图片包括：

在旋转后的图片中计算最大正向内接矩形，截取出所述最大正向内接矩形内图像块，作为最终修正后的图片；

或者，计算旋转后的图片的最小正向外接矩形，截取出所述最小正向外接矩形内图像块，得到最终修正后的图片。

一种图像内容倾斜修正系统，用于执行以上所述图像内容倾斜修正方法。

由上述技术方案可知，本发明所提供的一种图像内容倾斜角度预测网络训练方法，首先获取作为训练数据集的若干图片，图片的图像内容为正向，而后将数据集中图片相对于正向随机旋转并对应记录旋转角度，进一步将数据集中用于训练网络模型的一批次图片对应旋转后的图片迭代输入到预先构建的角度预测网络内进行训练，预先构建的角度预测网络以图片为输入，其输出为运算出的输入图片的图像内容相对于正向的倾斜角度，最终得到初步训练后的角度预测网络，然后将数据集中用于测试网络模型的一批次图片对应旋转后的图片输入训练得到的角度预测网络内，对初步训练的角度预测网络测试，获得最终训练得到的图像内容倾斜角度预测网络。

本发明提供的图像内容倾斜修正方法及系统，使用训练得到的图像内容倾斜角度预测网络，将待处理图片输入网络内能够运算出待处理图片内容倾斜的角度，而后根据运算出的角度对图片修正，与现有技术相比不依赖于特定的标识物，更具有适应性和可靠性，更加智能化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像内容倾斜角度预测网络训练方法的流程图；

图2为本发明实施例中初步训练角度预测网络的流程图；

图3为本发明实施例中测试角度预测网络的流程图；

图4为本发明实施例提供的一种图像内容倾斜修正方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

请参考图1，本发明实施例提供的一种图像内容倾斜角度预测网络训练方法，包括以下步骤：

S10：获取作为训练数据集的若干图片，所述图片的图像内容为正向。

选取作为训练数据集的图片要求图像内容清晰，具有明确的方向信息。要求图片的图像内容为正向取向，具体是指图片的图像内容能够被大多数观察者认可为是正向的，没有倾斜的。所述的正向是指观察者正视图片时图片的竖直方向。

在具体实施时，可使用网络爬虫技术获取大量的各种场景的自然图片，筛选掉其中模糊的、有大面积水印或者有其它瑕疵的低质量图片，筛选掉内容倾斜的或者不具备明确方向信息的图片。

S11：将所述数据集中图片相对于正向随机旋转并对应记录旋转角度。

将数据集中的各图片相对于正向随机地旋转一个角度，对应记录下旋转角度值。具体的，在本实施例方法中定义，将图片相对于正向沿顺时针方向旋转角度θ记为旋转θ，将图片相对于正向沿逆时针方向旋转角度θ，记为旋转-θ。

在实际应用中可使用图像处理软件openCV中的warpAffine方法将各图片随机地旋转一个角度。

将数据集中图片按照一定比例划分为用于训练网络模型的训练集和用于测试网络模型的测试集，具体比例值可以根据实际情况灵活设置，本实施例中并不做限定。示例性的，划分比例可以是7:3或者8:2等。

S12：将所述数据集中用于训练网络模型的一批次图片对应旋转后的图片迭代输入到预先构建的角度预测网络内，预先构建的所述角度预测网络以图片为输入，其输出为运算出的输入图片的图像内容相对于正向的倾斜角度，在一次迭代训练过程中，根据由所述角度预测网络输出的预测角度以及实际的旋转角度计算当前所述角度预测网络的损失，根据计算出的损失调整当前所述角度预测网络各层的权重，将调整后的角度预测网络作为下一次迭代训练的角度预测网络，直到计算的损失满足第一预设范围时停止迭代训练。

本实施例中，所构建的角度预测网络是使用迁移学习技术，对能够提取图像特征、用于图像分类的卷积神经网络改进得到。在一种实施方式中，预先构建角度预测网络包括以下步骤：

S20：使用迁移学习技术对用于提取图像特征、进行图像分类的卷积神经网络改进。

本实施例中选用的卷积神经网络可以是VGG19网络，VGG19网络在ImageNet图像分类竞赛中取得了出色的成绩。为了实现图片分类，VGG19能够提取出图片中的关键特征，比如人脸、车轮、建筑等，而这些特征正是判断图像方向的依据，因此本方法中使用VGG19网络是一种优选。但并不限于此，本方法也可使用其它具备一定实用性的、能提取输入图像特征的卷积神经网络为基础，比如ResNet，AlexNet()等。

S21：对得到的卷积神经网络去除最后一层softmax层。

S22：在网络的输出端添加新的全连接层，所述全连接层具有一个神经元，并且以tanh函数为激活函数；

S23：通过线性映射将网络的输出映射到-180到+180的实数域。

所构建的角度预测网络以图片为输入，其输出为运算出的输入图片的图像内容相对于正向的倾斜角度，是-180到+180之间的实数。

本步骤中，将数据集中用于训练网络模型的一批次图片对应旋转后的图片迭代输入到预先构建的角度预测网络内，对角度预测网络初步训练。请参考图2，初步训练角度预测网络的过程具体包括以下步骤：

S120：对预先构建的所述角度预测网络初始化。

对构建的角度预测网络初始化，设置各卷积层的初始学习率和全连接层的学习率，示例性的，可设置各卷积层的初始学习率为lr_base1＝1e-5，设置全连接层的学习率为lr_base2＝1e-3，学习率的调整策略设置为固定学习率。

S121：将所述数据集中用于训练网络模型的一批次图片对应旋转后的图片输入到所述角度预测网络内，对应各图片分别由所述角度预测网络输出预测角度。

从训练集中选取出一批次图片输入到网络内训练，选取的一批次图片的数量主要取决于训练网络所用计算机的性能，在实际应用中可根据实际情况设定图片数量。

进一步具体的，在具体实施时，对于训练样本图片，可以在旋转后的图片中计算最大正向内接矩形，截取出所述最大正向内接矩形内图像块，将截取的所述图像块的长度和宽度分别调整到预设尺寸，作为输入所述角度预测网络的图片。

将一批次的经过上述处理的图片输入到当前的角度预测网络内，对应各图片分别由角度预测网络计算出图像内容相对于正向的倾斜角度，为预测角度。

S122：根据由所述角度预测网络输出的预测角度以及实际的旋转角度计算当前所述角度预测网络的损失。

所述角度预测网络的损失用于表征所述角度预测网络根据输入图片运算出的预测角度与该输入图片实际的旋转角度之间的偏差。示例性的，在一种实施方式中，计算预测角度与实际的旋转角度之间的L2距离作为角度预测网络的损失值，具体可根据以下公式计算当前角度预测网络的损失：

其中，loss表示所述角度预测网络的损失，m表示用于训练网络模型的一批次图片的数量，θ_i表示对应第i幅图片由当前所述角度预测网络输出的预测角度，θ_i′表示第i幅图片实际的旋转角度，i∈[1,m]。

在本方法的其它实施例中当然也可以使用其它计算参数来表征所述角度预测网络根据输入图片运算出的预测角度与该输入图片实际的旋转角度之间的偏差，来表征所述角度预测网络的损失，也在本发明保护范围内。

S123：判断计算出的当前所述角度预测网络的损失是否满足第一预设范围，若是，则执行步骤S124，若否，则执行步骤S125。

S124：停止迭代训练。得到初步训练后的角度预测网络。

S125：根据计算出的损失调整当前所述角度预测网络各层的权重。

具体的，本步骤中，首先，根据计算出的损失值计算所述角度预测网络各层的梯度。可以使用随机梯度下降法，将损失值反馈回角度预测网络，根据反馈回的损失值计算出网络每层的梯度。

然后，根据所述角度预测网络各层的学习率以及梯度，调整当前所述角度预测网络各层的权重。根据各层的学习率及梯度，调整网络每一层的权重值，优化网络。将优化后的网络模型作为下一次迭代训练的角度预测网络，而后循环进入步骤S121。

S13：将所述数据集中用于测试网络模型的一批次图片对应旋转后的图片输入训练得到的所述角度预测网络内，在一次测试过程中，计算由所述角度预测网络输出的预测角度与实际的旋转角度的偏差，若所述预测角度与实际的旋转角度的偏差满足第二预设范围，则停止测试，获得最终训练得到的所述角度预测网络，若所述预测角度与实际的旋转角度的偏差不满足所述第二预设范围，则修改当前所述角度预测网络的各项参数，再进行下一次测试。

请参考图3，对初训练得到的角度预测网络进行测试，具体包括以下过程：

S130：将所述数据集中用于测试网络模型的一批次图片对应旋转后的图片输入训练得到的所述角度预测网络内，对应各图片分别由所述角度预测网络输出预测角度。

在具体实施时，对于测试样本图片，可以在旋转后的图片中计算最大正向内接矩形，截取出所述最大正向内接矩形内图像块，将截取的所述图像块的长度和宽度分别调整到预设尺寸，作为输入所述角度预测网络的图片。

将一批次的经过上述处理的图片输入到训练得到的角度预测网络内，对应各图片分别由角度预测网络计算出图像内容相对于正向的倾斜角度，为预测角度。

S131：计算由所述角度预测网络输出的预测角度与实际的旋转角度的偏差，并判断由所述角度预测网络输出的预测角度与实际的旋转角度的偏差是否满足第二预设范围，若是，则执行步骤S132，若否，则执行步骤S133。

示例性的，在一种实施方式中预测角度与实际的旋转角度的偏差满足第二预设范围具体为满足以下条件式：

|θ-θ′|＜1；

其中，θ表示图片由当前所述角度预测网络输出的预测角度，θ′表示图片实际的旋转角度。

但不限于此，在本方法的其它实施例中可以根据实际的运算需求来设置第二预设范围，也都在本发明保护范围内。

S132：停止测试。得到最终的角度预测网络。

S133：修改当前所述角度预测网络的各项参数。并循环进入步骤S130。

由上述内容可知，本实施例提供的图像内容倾斜角度预测网络训练方法，选取图像内容为正向的图片为训练样本图片，通过对图片随机旋转并记录旋转角度，输入到预先构建的角度预测网络内进行训练及测试，从而能够训练得到可运算出图片内容倾斜角度的图像内容倾斜角度预测网络，所训练得到的图像内容倾斜角度预测网络能够运算出待处理图片的图像内容倾斜角度。

进一步的，请参考图4，本发明实施例还提供一种图像内容倾斜修正方法，包括以下步骤：

S30：将待处理图片输入到预先训练好的图像内容倾斜角度预测网络内，得到对应所述待处理图片的角度，所述图像内容倾斜角度预测网络应用如上所述的图像内容倾斜角度预测网络训练方法训练得到。

在具体实施时，首先对训练好的角度预测网络初始化，而后将待处理图片输入。

优选的，若训练好的角度预测网络使用的图片要求具有设定的长度和宽度，则相应的，先将待处理图片的长度和宽度调整到设定尺寸，而后将调整尺寸后的待处理图片输入到训练好的角度预测网络内。

S31：根据得到的所述角度旋转所述待处理图片，从旋转后的图片中截取得到修正的图片。

对应待处理图片由图像内容倾斜角度预测网络输出的角度为β，则将待处理图片相对于正向旋转-β。

从旋转后的图片中截取得到修正的图片包括：

在旋转后的图片中计算最大正向内接矩形，截取出所述最大正向内接矩形内图像块，作为最终修正后的图片。

或者，计算旋转后的图片的最小正向外接矩形，截取出所述最小正向外接矩形内图像块，得到最终修正后的图片。在具体实施时，对于截取出的最小正向外接矩形内图像块，可以使用原图的一些纹理或马赛克填充增加的四个空白区。

因此，本实施例提供的图像内容倾斜修正方法，使用训练得到的图像内容倾斜角度预测网络能够运算得到图片图像内容的倾斜角度，进而根据倾斜角度来修正图片，与现有技术相比不依赖于特定的标识物，更具有适应性和可靠性，更加智能化。

相应的，本发明实施例还提供一种图像内容倾斜修正系统，用于执行以上所述图像内容倾斜修正方法。

本实施例提供的一种图像内容倾斜修正系统，使用训练得到的图像内容倾斜角度预测网络能够运算得到图片图像内容的倾斜角度，进而根据倾斜角度来修正图片，与现有技术相比不依赖于特定的标识物，更具有适应性和可靠性，更加智能化。

以上对本发明所提供的图像内容倾斜角度预测网络训练方法及修正方法、系统进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种图像内容倾斜角度预测网络训练方法，其特征在于，包括：

获取作为训练数据集的若干图片，所述图片的图像内容为正向；

将所述数据集中图片相对于正向随机旋转并对应记录旋转角度；

将所述数据集中用于训练网络模型的一批次图片对应旋转后的图片迭代输入到预先构建的角度预测网络内，预先构建的所述角度预测网络以图片为输入，其输出为运算出的输入图片的图像内容相对于正向的倾斜角度，在一次迭代训练过程中，根据由所述角度预测网络输出的预测角度以及实际的旋转角度计算当前所述角度预测网络的损失，根据计算出的损失调整当前所述角度预测网络各层的权重，将调整后的角度预测网络作为下一次迭代训练的角度预测网络，直到计算的损失满足第一预设范围时停止迭代训练；

将所述数据集中用于测试网络模型的一批次图片对应旋转后的图片输入训练得到的所述角度预测网络内，在一次测试过程中，计算由所述角度预测网络输出的预测角度与实际的旋转角度的偏差，若所述预测角度与实际的旋转角度的偏差满足第二预设范围，则停止测试，获得最终训练得到的所述角度预测网络，若所述预测角度与实际的旋转角度的偏差不满足所述第二预设范围，则修改当前所述角度预测网络的各项参数，再进行下一次测试。

2.根据权利要求1所述的图像内容倾斜角度预测网络训练方法，其特征在于，根据以下公式计算当前所述角度预测网络的损失：

其中，loss表示所述角度预测网络的损失，m表示用于训练网络模型的一批次图片的数量，θ_i表示对应第i幅图片由当前所述角度预测网络输出的预测角度，θ_i′表示第i幅图片实际的旋转角度，i∈[1,m]。

3.根据权利要求1所述的图像内容倾斜角度预测网络训练方法，其特征在于，所述预测角度与实际的旋转角度的偏差满足第二预设范围具体为满足以下条件式：

|θ-θ′|＜1；

其中，θ表示图片由当前所述角度预测网络输出的预测角度，θ′表示图片实际的旋转角度。

4.根据权利要求1-3任一项所述的图像内容倾斜角度预测网络训练方法，其特征在于，所述将所述数据集中用于训练网络模型的图片对应旋转后的图片迭代输入到预先构建的角度预测网络内包括：

在旋转后的图片中计算最大正向内接矩形，截取出所述最大正向内接矩形内图像块，将截取的所述图像块的长度和宽度分别调整到预设尺寸，作为输入所述角度预测网络的图片。

5.根据权利要求1-3任一项所述的图像内容倾斜角度预测网络训练方法，其特征在于，所述根据计算出的损失调整当前所述角度预测网络各层的权重包括：

根据计算出的损失值计算所述角度预测网络各层的梯度；

根据所述角度预测网络各层的学习率以及梯度，调整当前所述角度预测网络各层的权重。

6.根据权利要求1所述的图像内容倾斜角度预测网络训练方法，其特征在于，预先构建所述角度预测网络包括：

使用迁移学习技术对用于图像分类的卷积神经网络改进；

对得到的卷积神经网络去除最后一层softmax层；

在网络的输出端添加新的全连接层，所述全连接层具有一个神经元，并且以tanh函数为激活函数；

通过线性映射将网络的输出映射到-180到+180的实数域。

7.一种图像内容倾斜修正方法，其特征在于，包括：

将待处理图片输入到预先训练好的图像内容倾斜角度预测网络内，得到对应所述待处理图片的角度，所述图像内容倾斜角度预测网络应用权利要求1-6任一项所述的图像内容倾斜角度预测网络训练方法训练得到；

根据得到的所述角度旋转所述待处理图片，从旋转后的图片中截取得到修正的图片。

8.根据权利要求7所述的图像内容倾斜修正方法，其特征在于，所述根据得到的所述角度旋转所述待处理图片包括：

将所述待处理图片相对于正向旋转-β，由所述图像内容倾斜角度预测网络输出的对应所述待处理图片的角度为β。

9.根据权利要求7所述的图像内容倾斜修正方法，其特征在于，所述从旋转后的图片中截取得到最终转正后的图片包括：

在旋转后的图片中计算最大正向内接矩形，截取出所述最大正向内接矩形内图像块，作为最终修正后的图片；

或者，计算旋转后的图片的最小正向外接矩形，截取出所述最小正向外接矩形内图像块，得到最终修正后的图片。

10.一种图像内容倾斜修正系统，其特征在于，用于执行权利要求7-9任一项所述图像内容倾斜修正方法。