CN113033233B - 一种几何变形qr码的定位方法、装置及存储介质 - Google Patents

Abstract

提出了一种几何变形QR码的定位方法即装置。所述方法包括：对待识别图像进行角点检测得到包含角点的角点图像；对所述角点图像进行划分以得到多个角点子图像，并统计每个角点子图像的角点密度以得到角点密度图；基于所述角点密度图确定QR码的三个位置探测图形的多个候选区域；获取所述多个候选区域的梯度极值点，并基于所述梯度极值点之间的距离确定所有符合位置探测图形条件的多个候选中心定位点；根据所述多个候选中心定位点中任意三个候选中心定位点之间的距离关系确定所述三个位置探测图形的三个中心定位点，并定位直角定位点；根据所述待识别图像的梯度确定所述QR码的边缘点，对所述QR码的边缘点进行直线拟合，并定位所述QR码的四个顶点。

Description

一种几何变形QR码的定位方法、装置及存储介质

技术领域

本申请属于QR码识别技术领域，尤其涉及一种几何变形QR码的定位方法、装置及存储介质。

发明背景

QR码具有三个位置探测图形，由于该位置探测图形满足特定的像素比例关系并具有旋转不变性，较容易从图片或图像中检测出来，故QR码可利用该位置探测图在图片或图像中被快速定位和提取。然而，由于应用场景的多样性，所采集的含有QR码的图像通常容易受到杂乱、不均匀光照、几何变形等不利因素的影响，现有技术难以在含有杂乱、不均匀亮度值或者变形的图像中对QR码进行精准的定位。

发明内容

为了解决以上技术问题，本申请提出了以下技术方案。

根据本申请的第一方面，提出了一种几何变形QR码的定位方法，所述方法包括：

对待识别图像进行角点检测，得到包含角点的角点图像；

对所述角点图像进行划分以得到多个角点子图像，并统计所述多个角点子图像中每个角点子图像的角点密度以得到角点密度图，其中所述角点密度为所述角点子图像中所包含的角点数量与所述角点子图像中所包含的像素数量之比；

基于所述角点密度图确定QR码的三个位置探测图形的多个候选区域；

获取所述多个候选区域的梯度极值点，并基于所述梯度极值点之间的距离确定所有符合位置探测图形条件的多个候选中心定位点；

从所述多个候选中心定位点中选出任意三个候选中心定位点，并根据所述任意三个候选中心定位点之间的距离关系从所述多个候选中心定位点中确定所述三个位置探测图形的三个中心定位点，并定位所述三个中心定位点中的直角定位点；

根据所述待识别图像的梯度确定所述QR码的边缘点，对所述QR码的边缘点进行直线拟合，并获取直线的交点以定位所述QR码的四个顶点。

根据本申请的第二方面，提出了一种几何变形QR码的定位装置，所述装置包括：

图像采集设备，所述图像采集设备被配置为采集待识别图像；

存储器，所述存储器存储有计算机程序；

处理器，所述处理器运行所述计算机程序时执行根据本申请第一方面所述的方法。

根据本申请的第三方面，提出了一种几何变形QR码的定位装置，所述装置包括：

存储器，所述存储器存储有计算机程序；

处理器，所述处理器运行所述计算机程序时执行根据本申请第一方面所述的方法。

根据本申请的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时执行根据本申请第一方面所述的方法。

以上仅是对本申请发明内容的概述，其不能作为衡量本申请相对现有技术做出贡献的依据或代表本申请相对现有技术所做出的所有突出贡献，具体需参见本申请具体实施例部分的描述。

本发明采用基于角点分布的区域定位方法，能够快速定位QR码候选区域，并对所述中心定位点中的直角定位点进行定位，解决了复杂场景下条码难定位的问题。本发明采用对多个候选点集中的候选点进行直线拟合来计算中心定位点坐标，能够有效地克服了光照和透视的影响，提高了QR码定位及识别的鲁棒性。本发明还提出了一种基于梯度角搜索QR码边缘点的方法，即采用位置探测图形L形轮廓上的某一点为初始搜索点，找出满足梯度条件的所有边缘点，进一步通过直线拟合得到QR码边界的直线方程。在本发明中，由于边界点的检测只与梯度相关因而可以图像不受几何变形的影响，因此基于此方法能有效地定位QR码图像。

附图说明

图1为根据本申请第一方面一实施例的一种几何变形QR码的定位方法的流程示意图。

图2为图1所示实施例的角点图像示意图。

图3为根据本申请第一方面一实施例的QR码的三个位置探测图形的三个中心定位点的示意图。

图4为根据本申请第一方面一实施例的确定所述中心定位点中直角定位点的示意图。

图5为根据本申请第一方面一实施例的QR码边缘搜索示意图。

图6为图5实施例中确定的QR码边缘点的示意图。

图7为对图6中QR码边缘点进行直线拟合并得到待识别图像中QR码四个顶点的示意图。

图8为根据本申请第二方面一实施例的一种几何变形QR码的定位装置的结构示意图。

图9为根据本申请第三方面一实施例的一种几何变形QR码的定位装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

除非另有定义，本说明书所使用的所有技术和科学术语与属于本申请技术领域的技术人员通常理解的含义相同。在本申请的说明书中所使用的术语只是为了描述具体的实施例，而不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意组合和所有组合。

此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示技术特征的数量或相对重要性。以下对本申请的各个具体实施例进行描述，且所描述的不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

以下对本申请的第一方面的各个实施例进行具体描述。

在一实施例中，如图1所示，本申请提出了一种几何变形QR码的定位方法。所述方法可以包括：

对待识别图像进行角点检测，得到如图2所示的包含角点的角点图像；

对所述角点图像进行划分以得到多个角点子图像，并统计所述多个角点子图像中每个角点子图像的角点密度以得到角点密度图，其中所述角点密度为所述角点子图像中所包含的角点数量与所述角点子图像中所包含的像素数量之比；

基于所述角点密度图确定QR码的三个位置探测图形的多个候选区域；

获取所述多个候选区域的梯度极值点，并基于所述梯度极值点之间的距离确定所有符合位置探测图形条件的多个候选中心定位点；

从所述多个候选中心定位点中选出任意三个候选中心定位点，并根据所述任意三个候选中心定位点之间的距离关系从所述多个候选中心定位点中确定如图3所示的所述三个位置探测图形的三个中心定位点，并定位所述三个中心定位点中的直角定位点；

根据所述待识别图像的梯度确定所述QR码的边缘点，对所述QR码的边缘点进行直线拟合，并获取直线的交点以定位所述QR码的四个顶点。

在此实施例中，可以使用任何现有的角点检测方法来得到所述待识别图像的角点图像。

在此实施例中，所述待识别图像的大小跟采集图像的设备的分辨率有关。

在一实施例中，可以以固定步长，例如一个像素，逐行或逐列对所述角点图像进行划分。所划分的角点子图像可以具有固定的大小，例如，4*4像素、8*8像素、16*16像素或32*32像素等，该尺寸可以根据用户实际情况而定。

在一实施例中，所述基于所述角点密度图确定QR码的三个位置探测图形的多个候选区域可以包括：

采用非极大值抑制算法对所述角点密度图进行处理，以得到所述角点密度图的局部极大值；

基于所述局部极大值对所述角点密度图进行区域生长；

获得与所述区域生长后的角点密度图所对应的角点图像区域，并仅保留符合第一预设条件的角点图像区域作为所述QR码的三个位置探测图形的多个候选区域。

在此实施例中，所述角点密度图中每一点的值代表了一个子图像的角度密度值，即所述角点密度图的每一点可以对应于一个子图像。所述区域生长后的角点密度图可以有多个连通区域，其中每个连通区域可以对应所述角点图像的一个区域，因此一个角点图像区域可以认为是将角点密度图的一个相应连通区域中所有点对应的子图像进行合并后得到的。从而，可以通过获得与所述区域生长后的角点密度图所对应的多个角点图像区域得到位置探测图形的多个候选区域。然而，所得到的多个角点图像区域可能还会存在干扰区域，即很大程度上能够确定某个角点图像区域并非位置探测图形的候选区域，因此可以对所得到的角点区域图像进行筛选，仅将筛选后的角点图像区域作为所述QR码的三个位置探测图形的多个候选区域。

作为优选的实施方式，所述第一预设条件可以为所述角点图像区域中的角点数量大于6。

在一实施例中，所述采用非极大值抑制算法对所述角点密度图进行处理以得到所述角点密度图的局部极大值可以包括：

采用固定大小的窗口，例如5*5像素大小的窗口，也可以使用其他尺寸的窗口来计算所述角点密度图中的所有局部极大值，即计算所述角点密度图中每个具有固定窗口大小的区域中的局部极大值；

仅保留大于第一阈值的局部极大值，优选地所述第一阈值可以为10。

在一实施例中，所述基于所述局部极大值对所述角点密度图进行区域生长可以包括对每个保留的局部极大值点进行如下区域生长：

在角点密度图中，判断所述每个保留的局部极大值点的邻域的值与该个局部极大值之比是否大于第二阈值，若大于则保留所述邻域点，否则剔除所述邻域点。

作为优选的实施方式，所述第二阈值可以为70％。

在一实施例中，所述基于所述梯度极值点之间的距离确定所有符合位置探测图形条件的多个候选中心定位点可以包括：

对所述多个候选区域中的每个候选区域执行如下操作以得到所述多个候选中心定位点的候选点集：

对所述候选区域进行逐行扫描梯度极值点，并记录每两个梯度极值点之间的距离；

搜索连续相邻的五段距离符合位置探测图形条件的六个梯度极值点，并将这六个梯度极值点的坐标均值点保留在候选点集中；

确定所述候选点集的列的范围，对所述候选区域在所述列的范围内进行逐列扫描梯度极值点，并记录每两个梯度极值点之间的距离；

搜索连续相邻的五段距离符合位置探测图形条件的六个梯度极值点，并将这六个梯度极值点的坐标均值点保留在候选点集中；

将所述候选点集划分成多个候选点集组；

仅保留符合第二预设条件的候选点集组，优选地，所述第二预设条件可以为候选点集组中候选点数量大于第四阈值的候选点集组，优选地，所述第四阈值可以为100；

分别为所述保留的每组候选点集组确定一个候选中心定位点，以得到所述符合位置探测图形条件的多个候选中心定位点。

在该实施例中，所述连续相邻的五段距离是指六个梯度极值点首位相连所得的距离。例如，对于任意6个梯度极值点，为了便于描述此处分别称为第一梯度极值点、第二梯度极值点、第三梯度极值点、第四梯度极值点、第五梯度极值点和第六梯度极值点，将第一梯度极值点、第二梯度极值点、第三梯度极值点、第四梯度极值点、第五梯度极值点和第六梯度极值点进行首尾相连可以得到五段距离。若这五段距离符合位置探测图形条件，则可以将这六个梯度极值点的坐标均值点保留在候选点集中。由于位置探测图形的“回”字形特殊结构，因此在该实施例中，符合位置探测图形条件是指这五段距离大致满足1:1:3:1:1的距离特征。

在一实施例中，在所述获取所述多个候选区域的梯度极值点并基于所述梯度极值点之间的距离确定所有符合位置探测图形条件的多个候选中心定位点之前，所述方法还可以包括将所述多个候选区域缩放至合适大小。在此实施例中，将候选区域缩放至合适的大小，例如放大至一定倍数，可以有利于提高定位中心定位点的精度。

在一实施例中，所述将所述候选点集划分成多个候选点集组可以包括：

将所述候选点集中距离小于第三阈值的两个候选点划分为同一个候选点集组，并将所述候选点集中距离大于所述第三阈值的两个候选点划分为不同的候选点集组，以得到所述多个候选点集组。作为优选的实施方式，所述第三阈值可以为10个像素。

在一实施例中，所述分别为所述保留的每组候选点集组确定一个候选中心定位点以得到所述符合位置探测图形条件的多个候选中心定位点可以包括：

分别对每个保留的候选点集组中的候选点进行直线拟合，可以在每个保留的候选点集组中分别拟合得到两条直线，将这两条直线中的一条直线定义为第一直线并将另一条直线定义为第二直线；

由所述第一直线和所述第二直线的交点得到所述每个保留的候选点集组的候选中心点，以得到所述符合位置探测图形条件的多个候选中心定位点。

作为优选的实施方式，在对每个保留的候选点集组中的候选点进行直线拟合时，横坐标最小的候选点作为所述第一直线的拟合起点，并且横坐标最大的候选点作为所述第一直线的拟合终点。

作为优选的实施方式，在对每个保留的候选点集组中的候选点进行直线拟合时，纵坐标最小的候选点作为所述第二直线的拟合起点，并且纵坐标最大的候选点作为所述第二直线的拟合终点。

在一实施例中，所述根据所述任意三个候选中心定位点之间的距离关系从所述多个候选中心定位点中确定所述三个位置探测图形的三个中心定位点可以包括：

确定所述任意三个候选中心定位点中每两个候选中心定位点之间的距离，分别得到两个较小距离和一个最大距离；

将两个较小距离之比大于第五阈值且所述两个较小距离之和大于所述最大距离的三个候选中心定位点确定为所述三个位置探测图形的三个中心定位点。

在此实施例中，作为优选的实施方式，所述第五阈值可以为0.8。

在一实施例中，如图4所示，所述定位所述三个中心定位点A、B、C中的直角定位点可以包括：

基于所述三个中心定位点A、B、C分别建立三个平行四边形，例如图4(a)中的平行四边形ABDC、图4(b)中的平行四边形ACBE、图4(c)中的平行四边形ABCF；

仅保留其中包含角点数量最多的一个平行四边形，例如图4(a)中的平行四边形ABDC中包含角点数量最多；

得到所保留的平行四边形ABDC的四个顶点A、B、C、D中不同于所述三个中心定位点A、B、C的第四顶点D，并将所述第四顶点D的对角处的顶点A确定为所述直角定位点。

在本实施例中，确定了所述三个中心定位点中的直角定位点，就相当于确定了所述QR码的主体方向，即解码时的正方向。

在一实施例中，在所述基于所述三个中心定位点分别建立三个平行四边形之后，所述方法还可以包括：

判断所述三个平行四边形中的每个平行四边形是否落在所述待识别图像内；

剔除未完全落在所述待识别图像内的平行四边形，例如图4(b)中的平行四边形ACBE和图4(c)中的平行四边形ABCF。

在一实施例中，所述根据所述待识别图像的梯度确定所述QR码的边缘点可以包括：

基于所述三个中心定位点分别确定所述三个位置探测图形的搜索点，并将所述搜索点的梯度方向的法向量作为搜索方向；

重复如下操作以确定所述QR码的边缘点：

寻找所述搜索点的8邻域内的边缘点，并计算每一所述边缘点梯度方向与所述搜索点梯度方向之间的梯度角差值；

确定是否存在所述梯度角差值小于角度阈值的边缘点，优选地，所述角度阈值可以为20度；

若存在，则保留所述边缘点作为新的搜索点，将所述边缘点梯度方向与所述搜索点梯度方向的梯度均值方向作为进行下次梯度角差值比较的参考梯度方向，并将所述梯度均值方向的法向量作为新的搜索方向；

若不存在，则沿着所述法向量继续搜索，并将搜索到的边缘点保留作为新的搜索点。

在此实施例中，如图5中示例的位置探测图形所示，可以由定位到的位置探测图形的中心定位点(例如A点)向外寻找黑白切换次数为3的点，即可确定与此位置探测图形相对应的搜索点A1和A2。类似地，根据中心定位点B，可以确定与位置探测图像相对应的搜索点B1和B2，根据中心定位点C，可以确定与位置探测图像相对应的搜索点C1和C2。

在此实施例中，如图5所示，例如以搜索点A1点为例进行说明，可以沿着搜索点A1的梯度方向a的法向量方向c或者d进行搜索。可以一边搜索一边确定新的搜索点与邻域点之间的梯度角差值，并将符合条件的边缘点作为QR码的边缘点，直到遍历所有的边界。搜索结束后的QR码的边缘点如图6所示。对所述QR码的边缘点进行直线拟合，得到图7所示的四条直线。最后定位这四条直线中每两条直线的交点即可定位所述QR码的四个顶点。

在通过本方法的各个实施例获得所述QR码的直角定位点之后可以确定所述RQ码的主体方向。进一步，在通过本方法的各个实施例获得所述QR码的四个顶点之后，可以对定位的QR码进行图像校正、网格划分和取样，以及解码，最终得到用户所需的信息。可以采用现有技术对所定位到的QR码进行图像校正、网格划分和取样以及解码，本申请在此不做限定。

根据本申请的第二方面，提出了一种几何变形QR码的定位装置。如图8所示，所述装置可以包括：

图像采集设备，所述图像采集设备被配置为采集待识别图像；

存储器，所述存储器存储有计算机程序；

处理器，所述处理器运行所述计算机程序时执行根据本申请第一方面各个实施例所述的方法。

根据本申请的第三方面，提出了一种几何变形QR码的定位装置。如图9所示，所述装置可以包括：

存储器，所述存储器存储有计算机程序；

处理器，所述处理器运行所述计算机程序时执行根据本申请第一方面各个实施例所述的方法。

根据本申请的第四方面，提出了一种计算机可读存储介质。所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时执行根据本申请第一方面各个实施例所述的方法。

以上所述的本申请的具体实施例，并不构成对本申请保护范围的限定。任何在本申请的原理之内所作的修改、等同替换和改进等，均应包含在本申请的保护范围之内。

Claims (8)

1.一种几何变形QR码的定位方法，其特征在于，所述方法包括：

对待识别图像进行角点检测，得到包含角点的角点图像；

对所述角点图像进行划分以得到多个角点子图像，并统计所述多个角点子图像中每个角点子图像的角点密度以得到角点密度图，其中所述角点密度为所述角点子图像中所包含的角点数量与所述角点子图像中所包含的像素数量之比；

基于所述角点密度图确定QR码的三个位置探测图形的多个候选区域；

获取所述多个候选区域的梯度极值点，并基于所述梯度极值点之间的距离确定所有符合位置探测图形条件的多个候选中心定位点；

从所述多个候选中心定位点中选出任意三个候选中心定位点，并根据所述任意三个候选中心定位点之间的距离关系从所述多个候选中心定位点中确定所述三个位置探测图形的三个中心定位点，并定位所述三个中心定位点中的直角定位点；

根据所述待识别图像的梯度确定所述QR码的边缘点，对所述QR码的边缘点进行直线拟合，并获取直线的交点以定位所述QR码的四个顶点；

其中，所述基于所述角点密度图确定QR码的三个位置探测图形的多个候选区域包括：

采用非极大值抑制算法对所述角点密度图进行处理，以得到所述角点密度图的局部极大值；

基于所述局部极大值对所述角点密度图进行区域生长；

获得与所述区域生长后的角点密度图所对应的角点图像区域，并仅保留符合第一预设条件的角点图像区域作为所述QR码的三个位置探测图形的多个候选区域；

其中，所述基于所述梯度极值点之间的距离确定所有符合位置探测图形条件的多个候选中心定位点包括：

对所述多个候选区域中的每个候选区域执行如下操作以得到所述多个候选中心定位点的候选点集：

对所述候选区域进行逐行扫描梯度极值点，并记录每两个梯度极值点之间的距离；

搜索连续相邻的五段距离符合位置探测图形条件的六个梯度极值点，并将这六个梯度极值点的坐标均值点保留在候选点集中；

确定所述候选点集的列的范围，对所述候选区域在所述列的范围内进行逐列扫描梯度极值点，并记录每两个梯度极值点之间的距离；

搜索连续相邻的五段距离符合位置探测图形条件的六个梯度极值点，并将这六个梯度极值点的坐标均值点保留在候选点集中；

将所述候选点集划分成多个候选点集组；

仅保留符合第二预设条件的候选点集组；

分别为所述保留的每组候选点集组确定一个候选中心定位点，以得到所述符合位置探测图形条件的多个候选中心定位点。

2.根据权利要求1所述的几何变形QR码的定位方法，其特征在于，所述将所述候选点集划分成多个候选点集组包括：

将所述候选点集中距离小于第三阈值的两个候选点划分为同一个候选点集组，并将所述候选点集中距离大于第二阈值的两个候选点划分为不同的候选点集组，以得到所述多个候选点集组。

3.根据权利要求2所述的几何变形QR码的定位方法，其特征在于，所述分别为所述保留的每组候选点集组确定一个候选中心定位点以得到所述符合位置探测图形条件的多个候选中心定位点包括：

分别对每个保留的候选点集组中的候选点进行直线拟合，得到每个保留的候选点集组各自的第一直线和第二直线；

由所述第一直线和所述第二直线的交点得到所述每个保留的候选点集组的候选中心点，以得到所述符合位置探测图形条件的多个候选中心定位点。

4.根据权利要求1所述的几何变形QR码的定位方法，其特征在于，所述根据所述任意三个候选中心定位点之间的距离关系从所述多个候选中心定位点中确定所述三个位置探测图形的三个中心定位点包括：

确定所述任意三个候选中心定位点中每两个候选中心定位点之间的距离，分别得到两个较小距离和一个最大距离；

将两个较小距离之比大于第五阈值且所述两个较小距离之和大于所述最大距离的三个候选中心定位点确定为所述三个位置探测图形的三个中心定位点。

5.根据权利要求1所述的几何变形QR码的定位方法，其特征在于，所述根据所述待识别图像的梯度确定所述QR码的边缘点包括：

基于所述三个中心定位点分别确定所述三个位置探测图形的搜索点，并将所述搜索点的梯度方向的法向量作为搜索方向；

重复如下操作以确定所述QR码的边缘点：

寻找所述搜索点的8邻域内的边缘点，并计算每一所述边缘点梯度方向与所述搜索点梯度方向之间的梯度角差值；

确定是否存在所述梯度角差值小于角度阈值的边缘点；

若存在，则保留所述边缘点作为新的搜索点，将所述边缘点梯度方向与所述搜索点梯度方向的梯度均值方向作为进行下次梯度角差值比较的参考梯度方向，并将所述梯度均值方向的法向量作为新的搜索方向；

若不存在，则沿着所述法向量继续搜索，并将搜索到的边缘点保留作为新的搜索点。

6.一种几何变形QR码的定位装置，其特征在于，所述装置包括：

图像采集设备，所述图像采集设备被配置为采集待识别图像；

存储器，所述存储器存储有计算机程序；

处理器，所述处理器运行所述计算机程序时执行根据权利要求1-5任一项所述的方法。

7.一种几何变形QR码的定位装置，其特征在于，所述装置包括：

存储器，所述存储器存储有计算机程序；

处理器，所述处理器运行所述计算机程序时执行根据权利要求1-5任一项所述的方法。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行根据权利要求1-5任一项所述的方法。