CN112580382A - 基于目标检测二维码定位方法 - Google Patents

Abstract

本发明公开了一种基于目标检测二维码定位方法，包括：构建二维码图像数据集，并划分为训练集和测试集，分别对两个数据集进行预处理，得到处理后的图像数据及每张图像所对应的标签文件；构建特征提取网络，利用特征提取网络对卷积操作进行优化，得到多个特征图；构建预测模块，采用空间注意力机制获得多个特征图中每个目标中心点特征；将训练集和每张图像所对应的标签文件输入特征提取网络和预测模块中进行训练，得到训练好的二维码定位模型；将训练集输入训练好的二维码定位模型中进行测试，得到最终二维码在图像上的位置坐标。该方法实现快速定位与较少参数模型的二维码定位模型。

Description

基于目标检测二维码定位方法

技术领域

本发明涉及目标检测技术领域，特别涉及一种基于目标检测二维码定位方法。

背景技术

二维码是用特殊的编码方式将信息存储在一张长宽相同的平面集合图形上，其中黑白相间的编码图形代表着”0”、”1”信息。在图形上左上、左下、右上一共有三个回型标志，方便于二维码的定位以及图形的矫正。随着二维码在生活中广泛的应用，如养殖业的可视耳标、钢管的溯源等等特殊需要远距离的场景，对于该特定领域，对速度要求不同。人们对二维码的识别的速度要求越来越高。目前对二维码识别速度优化有精简解码码制、扩大扫码截图大小、缩短自动聚焦的间隔时间、对二维码的定位。

目标检测是计算机视觉领域中最基础的任务。当前使用最广泛的检测框架分为一阶段目标检测与两阶段目标检测。一阶段目标检测网络如SSD系类、YOLO系列都是先对图像进行划分然后进行回归训练，虽然识别速度相对两阶段目标检测识别速度上升，但是也导致类内失衡。两阶段网络以RCNN系列为主，识别速度较慢，但准确率比一阶段目标检测高。但基于锚点的目标检测方法会导致锚点盒的尺寸对于不同应用场景需要手动设置。同时基于锚点盒子的目标检测需要一张图片上划分大量的锚点盒子导致计算量较大。另外现有的目标检测框架使用的特征提取模型的参数较多导致无法在移动端使用。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的目的在于提出一种基于目标检测二维码定位方法，该方法实现快速定位与较少参数模型的二维码定位模型。

为达到上述目的，本发明实施例提出了基于目标检测二维码定位方法，包括以下步骤：步骤S1，构建二维码图像数据集，将所述二维码图像数据集划分为训练集和测试集，并分别对所述训练集和所述测试集进行预处理，得到处理后的图像数据及每张图像所对应的标签文件；步骤S2，构建特征提取网络，利用所述特征提取网络对卷积操作进行优化，得到多个特征图，并保证数据在所述特征提取网络的输入与输出特征图的大小一致；步骤S3，构建预测模块，采用空间注意力机制获得所述多个特征图中每个目标中心点特征；步骤S4，将所述训练集和所述每张图像所对应的标签文件输入所述特征提取网络和所述预测模块中进行训练，得到训练好的二维码定位模型；步骤S5，将所述训练集输入所述训练好的二维码定位模型中进行测试，得到最终二维码在图像上的位置坐标。

本发明实施例的基于目标检测二维码定位方法，通过使用优化的特征提取框架减少了整个模型中参数数量，使用基于锚点的预测方法实现端到端的训练，并且没有锚点盒子避免了锚点的手动调参以及过多锚点盒子导致的大量计算，提高整体计算速度。

另外，根据本发明上述实施例的基于目标检测二维码定位方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述步骤S1进一步包括：

选取不同距离、不同角度的二维码图像构建所述二维码图像数据集，随机从所述二维码图像数据集中按照预设策略选取部分图像作为训练数据集，剩下余图像作为测试数据集，并使用图像标签制作软件生成所述每张图像形成对应的标签；

将所述二维码图像数据集中不同尺寸的图像进行缩放操作，修改为相同尺寸；

依据每张图像的缩放比例修改所述每张图像对应的标签文件，以保证标签文件存储的每个二维码的位置坐标、尺寸大小与缩放后的图像中二维码位置、尺寸一一对应。

进一步地，在本发明的一个实施例中，所述步骤S2还需利用下采样与上采样操作保证所述特征提取网络的输入与输出特征图的大小一致。

进一步地，在本发明的一个实施例中，所述下采样与上采样操作的具体过程为：

下采样操作过程中利用深度可分离卷积，在所述特征提取网络中连续进行4次下采样，每次操作的输出都为输入的尺寸的1/2大小，上采样操作过程中利用可变卷积，将经历所述下采样操作的输出进行所述上采样操作，每次采样均扩大一倍，其中，所述下采样与上采样操作的输出结果为F(x_i；x_j)，F(x_i)为上采样函数，x_i为输入特征图，x_j为下采样输出的结果，且x_i与x_j特征图的大小一致，输出的结果为x_i与x_j特征图叠加。

进一步地，在本发明的一个实施例中，所述预测模块包括中心点预测单元、偏移模块预测单元和所述二维码尺寸预测单元，其中，所述中心点预测单元用于预测二维码中心位置，所述偏移模块预测单元用于预测二维码中心的偏移量，所述二维码尺寸预测单元用于预测图像中二维码的尺寸大小。

进一步地，在本发明的一个实施例中，所述每个目标中心点特征包括所述二维码中心位置、所述二维码中心的偏移量和所述二维码的尺寸大小。

进一步地，在本发明的一个实施例中，所述步骤S4中训练时的损失函数为：

其中，L1为中心点对应的损失函数，L2为中心点偏移的损失函数，L3为二维码尺寸的损失函数，

为预测坐标为(x，y)处是中心点的概率，Y_xy为真实中心点的概率，α，β为超参数，N为图像中二维码数量，

为预测的中心点偏移值，R为下采样尺度，p为原图像目标点位置，

为下采样后目标点位置，

为预测二维码尺寸，

为真实二维码尺寸。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1是本发明一个实施例的基于目标检测二维码定位方法的流程图；

图2是本发明一个实施例的特征提取网络的架构示意图；

图3是本发明一个实施例的预测模块网络的架构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于目标检测二维码定位方法。

图1是本发明一个实施例的基于目标检测二维码定位方法的流程图。

如图1所示，该基于目标检测二维码定位方法包括以下步骤：

在步骤S1中，构建二维码图像数据集，将二维码图像数据集划分为训练集和测试集，并分别对训练集和测试集进行预处理，得到处理后的图像数据及每张图像所对应的标签文件。

具体而言，从收集的二维码图像中选取不同距离、不同角度的二维码图像作为二维码图像数据集，随机从二维码图像数据集中按照预设策略选取部分图像作为训练数据集，剩下的图像作为测试数据集，使用图像标签制作软件为每张图像形成对应的标签；然后将二维码图像数据中不同尺寸的图像进行缩放操作，修改为相同尺寸；同时也对二维码图像数据集中每个图像所对应的标签文件进行处理，按每个图像的缩放比例修改每个图像所对应点标签文件，使每个标签文件存储的二维码的位置坐标、尺寸大小与缩放后的图像中二维码位置、尺寸一一对应。

例如，将拍摄的2000张不同距离的二维码图像作为二维码图像数据集，随机从二维码图像数据集中选取1800张图像作为训练数据集，剩下的图像作为测试数据集，使用labelme等相关标签软件，为每个图像形成自己的对应的标签文件。对二维码图像数据集与标签图像进行处理，将数据集中不同尺寸的图像进行缩放操作，使得不同大小的图像变成相同的尺寸，修改为相同的512*512大小尺寸。

需要说明的是，在进行训练时通过下采样操作变换为128*128大小尺寸的图像，按照需要输入到特征提取模块的数据格式，对现在标签文件进行数据处理，按照每张图像缩放的比例修改对应标签文件的中心点的位置，修改中心点偏移数据，以及二维码边框的规模尺寸，取其高的一半用于作为边框大小。

在步骤S2中，构建特征提取网络，利用特征提取网络对卷积操作进行优化，得到多个特征图，并保证数据在特征提取网络的输入与输出特征图的大小一致。

进一步地，为保证在输入端与输出端的特征图尺寸规模一致，使用下采样与上采样操作，如图2所示，下采样过程中使用深度可分离卷积，该操作过程可以有效的降低每次卷积操作中的加乘操作次数，通过减少乘法与加法运算来提高整体网络的运算速度。在上采样操作过程中使用可变卷积来更准确地提取到目标特征。由于在步骤S1操作过程中已经使得数据变为原来图像的1/4大小，所以在输入与输出的特征图对应都为原图像的1/4的尺寸大小。在图2的架构中先进行4次下采样，每次操作的输出都为输入的尺寸的1/2大小。经历过下采样后进行上采样操作，每次上采样都扩大一倍。输出结果为F(x_i；x_j)。其中F(x_i)为上采样函数，其中x_i为输入特征图，x_j为下采样输出的结果，且x_i与x_j特征图的大小一致，输出的结果为x_i与x_j特征图叠加。

在步骤S3中，构建预测模块，采用空间注意力机制获得多个特征图中每个目标中心点特征。

进一步地，在本发明的一个实施例中，预测模块包括中心点预测单元、偏移模块预测单元和二维码尺寸预测单元，其中，中心点预测单元用于预测二维码中心位置，偏移模块预测单元用于预测二维码中心的偏移量，二维码尺寸预测单元用于预测图像中二维码的尺寸大小，因此，每个目标中心点特征包括二维码中心位置、二维码中心的偏移量和二维码的尺寸大小。

具体地，如图3所示，从步骤S2的特征提取网络获得输入各个模块的特征图，输入到各个模块的特征图尺寸大小都为W/4*H/4*C，其中W为缩放前特征图的宽，H为缩放前特征图的高，C为特征图通道数量；在空间注意力机制下对输入特征图进行一次卷积操作获得一个概率特征图，该概率特征图中每个像素点的值为该像素点位置是二维码中心点位置的概率值，其特征图大小为W/4*H/4*1，再将输入的特征图与概率特征图进行一次点乘操作来捕获特征图中每个目标中心点特征。其中，在预测模块中中心点预测单元预测中心点的位置，输出特征图大小为W/4*H/4*1；偏移单元预测中心点的偏移，其特征图大小为W/4*H/4*1；尺寸预测单元预测每个二维码的尺寸，其输出特征图大小为W/4*H/4*1。

在步骤S4中，将训练集和每张图像所对应的标签文件输入特征提取网络和预测模块中进行训练，得到训练好的二维码定位模型。

其中，步骤S4中训练时，每个单元对应损失函数如下：

损失函数分别有中心点对应的损失函数L1、中心点偏移的损失函数L2、二位码尺寸损失函数L3。

其中，L1为中心点对应的损失函数，L2为中心点偏移的损失函数，L3为二维码尺寸的损失函数，

为预测坐标为(x，y)处是中心点的概率，Y_xy为真实中心点的概率，α，β为超参数，N为图像中二维码数量，

为预测的中心点偏移值，R为下采样尺度，p为原图像目标点位置，

为下采样后目标点位置，

为预测二维码尺寸，

为真实二维码尺寸。

在步骤S5中，将训练集输入训练好的二维码定位模型中进行测试，得到最终二维码在图像上的位置坐标。

也就是说，将步骤S1中划分好的测试集选取一张图像输入到步骤S4中训练好的二维码定位模型进行测试，得到最终二维码在图像上的坐标位置。

本发明实施例提出的基于目标检测二维码定位方法，只需采集拍摄的二维码图像，然后经过后台自动化处理即可定位图像中二维码的位置，从而实现了较快的二维码定位，且整个检测过程所需成本较低、检测效率较高，检测准确度也较高。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种基于目标检测二维码定位方法，其特征在于，包括以下步骤：

步骤S1，构建二维码图像数据集，将所述二维码图像数据集划分为训练集和测试集，并分别对所述训练集和所述测试集进行预处理，得到处理后的图像数据及每张图像所对应的标签文件；

步骤S2，构建特征提取网络，利用所述特征提取网络对卷积操作进行优化，得到多个特征图，并保证数据在所述特征提取网络的输入与输出特征图的大小一致；

步骤S3，构建预测模块，采用空间注意力机制获得所述多个特征图中每个目标中心点特征；

步骤S4，将所述训练集和所述每张图像所对应的标签文件输入所述特征提取网络和所述预测模块中进行训练，得到训练好的二维码定位模型；

步骤S5，将所述训练集输入所述训练好的二维码定位模型中进行测试，得到最终二维码在图像上的位置坐标。

2.根据权利要求1所述的基于目标检测二维码定位方法，其特征在于，所述步骤S1进一步包括：

选取不同距离、不同角度的二维码图像构建所述二维码图像数据集，随机从所述二维码图像数据集中按照预设策略选取部分图像作为训练数据集，剩下余图像作为测试数据集，并使用图像标签制作软件生成所述每张图像形成对应的标签；

将所述二维码图像数据集中不同尺寸的图像进行缩放操作，修改为相同尺寸；

依据每张图像的缩放比例修改所述每张图像对应的标签文件，以保证标签文件存储的每个二维码的位置坐标、尺寸大小与缩放后的图像中二维码位置、尺寸一一对应。

3.根据权利要求1所述的基于目标检测二维码定位方法，其特征在于，所述步骤S2利用下采样与上采样操作保证所述特征提取网络的输入与输出特征图的大小一致。

4.根据权利要求3所述的基于目标检测二维码定位方法，其特征在于，所述下采样与上采样操作的具体过程为：

下采样操作过程中利用深度可分离卷积，在所述特征提取网络中连续进行4次下采样，每次操作的输出都为输入的尺寸的1/2大小，上采样操作过程中利用可变卷积，将经历所述下采样操作的输出进行所述上采样操作，每次采样均扩大一倍，其中，所述下采样与上采样操作的输出结果为F(x_i；x_j)，F(x_i)为上采样函数，x_i为输入特征图，x_j为下采样输出的结果，且x_i与x_j特征图的大小一致，输出的结果为x_i与x_j特征图叠加。

5.根据权利要求1所述的基于目标检测二维码定位方法，其特征在于，所述预测模块包括中心点预测单元、偏移模块预测单元和所述二维码尺寸预测单元，其中，所述中心点预测单元用于预测二维码中心位置，所述偏移模块预测单元用于预测二维码中心的偏移量，所述二维码尺寸预测单元用于预测图像中二维码的尺寸大小。

6.根据权利要求5所述的基于目标检测二维码定位方法，其特征在于，所述每个目标中心点特征包括所述二维码中心位置、所述二维码中心的偏移量和所述二维码的尺寸大小。

7.根据权利要求1所述的基于目标检测二维码定位方法，其特征在于，所述步骤S4中训练时的损失函数为：

其中，L1为中心点对应的损失函数，L2为中心点偏移的损失函数，L3为二维码尺寸的损失函数，

为预测坐标为(x,y)处是中心点的概率，Y_xy为真实中心点的概率，α，β为超参数，N为图像中二维码数量，

为预测的中心点偏移值，R为下采样尺度，p为原图像目标点位置，

为下采样后目标点位置，

为预测二维码尺寸，

为真实二维码尺寸。

Images