CN113077390B - 一种基于深度学习的图像摆正方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的图像摆正算法，包括：获取包含目标对象标注的分类图像样本集，每张图像样本的标注按目标对象的左上角、右上角、右下角和左下角的4个顶点组成；将图像样本集输入Hourglass网络模型训练，产生图像的4个顶点和中心点的heatmap；针对每个类别的图像，穷举训练产生的4个顶点组合，计算4个顶点组合对应的组合中心点，筛选出与训练产生的中心点的heatmap的匹配度高于阈值的组合中心点，根据筛选出的组合中心点获得对应筛选出的4个顶点组合；根据筛选出的4个顶点组合从图像中提取出每个类别的目标对象，并通过透视变换得到摆正后的目标分类图像。本发明有效提高边缘、角点、轮廓特征相对模糊或者部分遮挡等场景下的图像摆正精度。

Description

一种基于深度学习的图像摆正方法

技术领域

本发明涉及深度学习技术领域，特别是一种基于深度学习的图像摆正算法。

背景技术

目前常见的图像摆正方法，主要是通过图形学算法和深度学习的方法实现。图形学方式主要采用轮廓识别或边缘/角点检查方法对图像进行处理摆正。此类方法的问题在于只对特定情况的图像有效，对边缘、角点、轮廓特征相对模糊的图像或文字内容在图像内颠倒等情况的处理能力较弱，整体适应性较差。

深度学习的方式主要通过图像分类的方法对90°、180°和270°等大倾角的图像进行粗略的图像摆正，无法进行较高精度的图像摆正。

发明内容

本发明要解决的技术问题是：为了解决边缘、角点、轮廓特征相对模糊或者部分遮挡等场景下的图像摆正精度低的问题，提出了一种基于深度学习的图像摆正算法。

为实现上述目的，本发明采用的技术方案如下：一种基于深度学习的图像摆正算法，包括：

步骤S1，获取包含目标对象标注的分类图像样本集，每张图像样本均具有标注，所述标注按目标对象的左上角、右上角、右下角和左下角的4个顶点组成；

步骤S2，将图像样本集输入Hourglass网络模型训练，产生图像的左上角、右上角、右下角、左下角的4个顶点和中心点的heatmap；其中，Hourglass网络模型为沙漏网络模型，沙漏网络模型以resnet50为主干，heatmap为热图；

步骤S3，针对每个类别的图像，穷举训练产生的左上角、右上角、右下角和左下角的4个顶点组合，计算4个顶点组合对应的组合中心点，筛选出与训练产生的中心点的heatmap的匹配度高于阈值的组合中心点，根据筛选出的组合中心点获得对应筛选出的4个顶点组合；

步骤S4，根据筛选出的4个顶点组合从图像中提取出每个类别的目标对象，并通过透视变换得到摆正后的目标分类图像。

进一步的，所述步骤S2还包括以下过程：构建左上角、右上角、右下角、左下角的4个顶点和中心点的offset。

进一步的，所述步骤S2中的训练过程包括以下步骤：

步骤S21，记(C_x,C_y)为中心点坐标，按左上角、右上角、右下角和左下角的顺序记4个顶点坐标分别为:(P_x1,P_y1)、(P_x2,P_y2)、(P_x3,P_y3)和(P_x4,P_y4)，则计算中心点坐标:

步骤S22，根据点坐标(P_x,P_y)，其中P_x∈(C_x、P_x1、P_x2、P_x3、P_x4)，P_y∈(C_y、P_y1、P_y2、P_x3、P_y4)，即：

其中，X为当前点的横坐标，Y为当前点的纵坐标,W为当前图像的宽，H为当前图像的高；则坐标点(P_x,P_y)的heatmap值Y_xyc为：

其中，σ为常数，试验中默认取值为0.02；

步骤S23，通过offset进行修正：

其中，offset是偏移量，o_xk、o_yk分别是横坐标、纵坐标方向的第k个偏移量，x_k、y_k分别是横坐标、纵坐标方向缩放前的坐标值；

步骤S24，输出训练产生的左上角、右上角、右下角、左下角的4个顶点和中心点的heatmap向量，并输出左上角、右上角、右下角、左下角的4个顶点和中心点的offset。

进一步的，所述步骤S3包括以下过程：

步骤S31，将训练产生的左上角、右上角、右下角、左下角的4个顶点的heatmap进行非极大值抑制；筛选出符合置信度要求的左上角、右上角、右下角、左下角的4个顶点，并获得符合置信度要求的4个顶点的heatmap，根据offset修正符合置信度要求的4个顶点的heatmap；在修正后的4个顶点中穷举左上角、右上角、右下角和左下角的4个顶点组合，并计算每4个顶点组合对应的组合中心点；根据offset修正训练产生的中心点的heatmap，得到修正后的中心点；

步骤S32，比对组合中心点和修正后的中心点，筛选出与修正后中心点匹配度高于阈值的组合中心点，根据筛选出的组合中心点获得对应筛选出的4个顶点组合。

与现有技术相比，本发明具有以下有益效果：本发明的技术方案在训练数据时采用顺时针方式标准左上角、右上角、右下角、左下角的数据，检测出图像的4各带方向属性的顶点，然后将图像带入透视变化中，能有效提高边缘、角点、轮廓特征相对模糊或者部分遮挡等场景下的图像摆正精度。

附图说明

图1为本发明基于深度学习的图像摆正算法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于深度学习的图像摆正算法，包括：

步骤S1，获取包含目标对象标注的分类图像样本集，每张图像样本均具有标注，所述标注按目标对象的左上角、右上角、右下角和左下角的4个顶点组成；

步骤S2，采用Hourglass网络作为backbone的模型，将图像样本输入Hourglass网络模型训练，产生图像的左上角、右上角、右下角、左下角的4个顶点和中心点的heatmap，即：5*C*H*W，C表示目标分类，即图像样本中可以有多类不同的图像，比如有身份证、营业执照、护照，这样就有3类不同的图像样本；

步骤S3，针对每个类别的图像，穷举训练产生的左上角、右上角、右下角和左下角的4个顶点组合，计算4个顶点组合对应的组合中心点，筛选出与训练产生的中心点的heatmap的匹配度高于阈值的组合中心点，根据筛选出的组合中心点获得对应筛选出的4个顶点组合；

步骤S4，根据筛选出的4个顶点组合从图像中提取出每个类别的目标对象，以身份证、营业执照、护照为例，就可以提取出3个类别的目标对象，并通过透视变换得到摆正后的目标分类图像。

作为其中一种实施例，为了提高图像精度，所述步骤S2还包括以下过程：构建左上角、右上角、右下角、左下角的4个顶点和中心点的offset。

作为其中一种实施例，所述步骤S2中训练过程包括以下步骤：

步骤S21，手工标注数据时，需按照顺时针的方式从左上角、右上角、右下角和左下角的顺序标注目标物件；

记(C_x,C_y)为中心点坐标，即按左上角、右上角、右下角和左下角的顺序记4个顶点坐标分别为:(P_x1,P_y1)、(P_x2,P_y2)、(P_x3,P_y3)和(P_x4,P_y4)，,则计算中心点坐标:

步骤S22，根据点坐标(P_x,P_y)，其中P_x∈(C_x、P_x1、P_x2、P_x3、P_x4)，P_y∈(C_y、P_y1、P_y2、P_x3、P_y4)，即：

其中，X为当前点的横坐标，Y为当前点的纵坐标,W为当前图像的宽，H为当前图像的高；则坐标点(P_x,P_y)的heatmap值Y_xyc为：

其中，σ为常数，试验中默认取值为0.02；这里求出左上角、右上角、右下角、左下角的4个顶点和中心点的heatmap；

步骤23，由于图像做(H/4,W/4)的缩放以及顶点取整，所以需要通过offset提高精度，即通过offset函数进行修正：

其中，o_xk、o_yk分别是横坐标、纵坐标方向的第k个偏移量，x_k、y_k分别是横坐标、纵坐标方向缩放前的坐标值；

步骤S24，输出训练产生的左上角、右上角、右下角、左下角的4个顶点和中心点的heatmap向量，并输出左上角、右上角、右下角、左下角的4个顶点和中心点的offset，具体输出数据结构为：

image:在[0,1]范围内表示像素值的RGB图像，向量维度:[3,H,W]，其中通道数为3；heatmap:4个顶点和1个中心点的高斯热力图向量，向量维度:[5,C,H/4,W/4]，其中通道数为5，C表示目标分类；

offset:5个点的偏移量，向量维度:[10,H/4,W/4]，其中通道数为10。

训练模型中，模型相关损失函数：

(1)heatmap损失函数:

其中，p_cij是类别C在位置(i,j)的score，y_cij是非标准化高斯增强的ground-truth,N是图像中的目标数，α和β是超参数；

(2)offset损失函数:

其中，0_k为目标偏移量,

为预测偏移量。

作为其中一种实施例，所述步骤S3包括以下过程：

将训练产生的左上角、右上角、右下角、左下角的4个顶点的heatmap进行非极大值抑制；筛选出符合置信度要求的左上角、右上角、右下角、左下角的4个顶点，并获得符合置信度要求的4个顶点的heatmap，根据offset修正符合置信度要求的4个顶点的heatmap；

在修正后的4个顶点heatmap中获取左上角、右上角、右下角和左下角的4个顶点坐标数值，穷举左上角、右上角、右下角和左下角的4个顶点组合，并计算每4个顶点组合对应的组合中心点，参见步骤S11中的计算公式，组合中心点的坐标数值为对应4个顶点组合坐标数值之和除以4；

根据offset修正训练产生的中心点的heatmap，得到修正后的中心点；

比对组合中心点和修正后的中心点，筛选出与修正后中心点匹配度高于阈值(阈值需要预先设定)的组合中心点，根据筛选出的组合中心点获得对应筛选出的4个顶点组合。

筛选出的4个顶点组合后即可得到图像边界框数组，从原始图像做提取出目标物件图像，最后将边界框提供的4个顶点坐标通过透视变换算法实现对目标物件的摆正。

最后应说明的是：以上各实施例仅仅为本发明的较优实施例用以说明本发明的技术方案，而非对其限制，当然更不是限制本发明的专利范围；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围；也就是说，但凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内；另外，将本发明的技术方案直接或间接的运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种基于深度学习的图像摆正方法，其特征在于，包括：

步骤S1，获取包含目标对象标注的分类图像样本集，每张图像样本均具有标注，所述标注按目标对象的左上角、右上角、右下角和左下角的4个顶点组成；

步骤S2，将图像样本集输入Hourglass网络模型训练，产生图像的左上角、右上角、右下角、左下角的4个顶点和中心点的heatmap；

步骤S3，针对每个类别的图像，穷举训练产生的左上角、右上角、右下角和左下角的4个顶点组合，计算4个顶点组合对应的组合中心点，筛选出与训练产生的中心点的heatmap的匹配度高于阈值的组合中心点，根据筛选出的组合中心点获得对应筛选出的4个顶点组合；

步骤S4，根据筛选出的4个顶点组合从图像中提取出每个类别的目标对象，并通过透视变换得到摆正后的目标分类图像；

所述步骤S2中还包括以下过程：构建左上角、右上角、右下角、左下角的4个顶点和中心点的offset；

所述步骤S3包括以下过程：

步骤S31，将训练产生的左上角、右上角、右下角、左下角的4个顶点的heatmap进行非极大值抑制；筛选出符合置信度要求的左上角、右上角、右下角、左下角的4个顶点，并获得符合置信度要求的4个顶点的heatmap，根据offset修正符合置信度要求的4个顶点的heatmap；在修正后的4个顶点中穷举左上角、右上角、右下角和左下角的4个顶点组合，并计算每4个顶点组合对应的组合中心点；根据offset修正训练产生的中心点的heatmap，得到修正后的中心点；

步骤S32，比对组合中心点和修正后的中心点，筛选出与修正后中心点匹配度高于阈值的组合中心点，根据筛选出的组合中心点获得对应筛选出的4个顶点组合。

2.如权利要求1所述的基于深度学习的图像摆正方法，其特征在于，所述步骤S2中的训练过程包括以下步骤：

步骤S21，记(C_x,C_y)为中心点坐标，按左上角、右上角、右下角和左下角的顺序记4个顶点坐标分别为:(P_x1,P_y1)、(P_x2,P_y2)、(P_x3,P_y3)和(P_x4,P_y4)，则计算中心点坐标:

步骤S22，根据点坐标(P_x,P_y)，其中P_x∈(C_x、P_x1、P_x2、P_x3、P_x4)，P_y∈(C_y、P_y1、P_y2、P_x3、P_y4)，即：

其中，X为当前点的横坐标，Y为当前点的纵坐标,W为当前图像的宽，H为当前图像的高；

则坐标点(P_x,P_y)的heatmap值Y_xyc为：

其中，σ为常数，试验中默认取值为0.02；

步骤S23，通过offset进行修正：

其中，o_xk、o_yk分别是横坐标、纵坐标方向的第k个偏移量，x_k、y_k分别是横坐标、纵坐标方向缩放前的坐标值；

步骤S24，输出训练产生的左上角、右上角、右下角、左下角的4个顶点和中心点的heatmap向量，并输出左上角、右上角、右下角、左下角的4个顶点和中心点的offset。

Images