CN102171707A - 用于基于照相机的设备的二维条形码定位 - Google Patents

Abstract

描述的是一种通过查找指示高密度的大致垂直和/或水平角度的角度签名来在图像内定位二维条形码符号(例如QR码())的技术。图像被分为多个像素块。角度与每个像素相关联，根据与每个角度相关联的像素有多少来形成块的角度签名。角度签名指示哪个块具有与最多的大致垂直和/或水平角度相关联的像素。确定具有最多数量的含有这样的角度签名的块的一个区域，并且通过估算附近块来找出包含该条形码符号的最外面的块来从该区域块生成条形码符号的边界框。

Description

用于基于照相机的设备的二维条形码定位

背景技术

QR码(

)(ISO/IEC 18004)是一种二维条形码格式，它正变得越来越流行地用于方便各种面向消费者的情景。使用QR码的一种方法是结合配备照相机的移动电话。

然而，移动设备上的当前的QR码解码应用在定位，也就是自动在较大的容器图像内定位QR码图像的能力方面受到限制。定位是必需的，因为它使得QR码解码器能够忽略会打断或减慢解码算法的性能的背景伪像。

当前的QR码解码应用通常尝试通过对位于符号的三个角上的QR码位置检测图案(三个小黑框)进行专门扫描以确定边界框来实施定位。然而，这不是特别有效，因为它对于环境条件(尤其是光照、噪声以及模糊)以及算法性能非常敏感。

用户能尝试通过以将条形码图像完全填满照相机的预览屏(通常是位于重叠的十字瞄准线图形内)的方式手动定位照相机来自己进行定位。这一技术很容易出错，并且遭受可用性和/或可访问性问题。另外，手动定位有时候是不可能的，诸如当条形码在远处而移动电话缺乏相机变焦功能时。

发明内容

提供本发明内容以便以简化形式介绍将在以下的详细描述中进一步描述的一些代表性概念。本发明内容不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在以限制所要求保护的主题的范围的任何方式来使用。

简单来说，此处所描述的主题的各方面涉及基于与构成条形码符号(例如QR码)的像素对应的角度签名来在图像内定位条形码符号(例如QR码)的技术。在一方面，图像被分成多个像素块。角度与每个像素相关联，并且基于每个角度所对应的块中的像素的数量的计数，赋予该块一个角度签名。该角度签名随后被用于定位该条形码符号。

在一方面，角度签名指示哪个块具有与最多的大致垂直和/或水平的角度相关联的像素。那些块被选为候选块。选择(在图像的一组区域内的)具有最多个数的候选块的区域，并且从该区域逐块生成边界框，边界框的生成是通过将那些具有最多的大致垂直和/或水平的角度的块包含在边界框内并排除其它块来实现的。在生成时，边界框标识条形码符号的位置。

结合附图阅读以下具体实施方式，本发明的其他优点会变得显而易见。

附图说明

作为示例而非限制，在附图中示出了本发明，附图中相同的附图标记指示相同或相似的元素，附图中：

图1是示出示例计算设备/环境的方框图，在其中可实现条形码定位的各个方面。

图2表示了确定对应于像素的角度以供定位过程中使用。

图3表示了对角度进行归一化以供定位过程中使用。

图4标识了对应于块的角度签名的直方图，其示出了一组可能的角度中的每个角度的像素计数。

图5是表示用于图像的定位处理的示例步骤的流程图。

图6是表示用于确定对应于图像的子部分内的可能的条形码位置的候选图像块的示例步骤的流程图。

具体实施方式

此处描述的技术的各方面一般针对根据从对条形码符号的像素的分布的角度分布分析中收集的签名来定位二维条形码符号；签名是从符号内以高频率发生的块状的大块中得到的。尽管此处描述的一些示例针对QR码条形码符号，但应当理解这些只是示例。例如，其它符号，包括具有可标识签名的其它类型的条形码，也可得益于类似的定位技术。如此，本发明不限于此处所描述的任何特定实施例、方面、概念、结构、功能或示例。相反，在此所描述的实施例、方面、概念、结构、功能或示例中的任何一个都是非限制性的，并且本发明可以按一般在计算和图像处理中提供益处和优点的各种方式来使用。

转到图1，其中示出了照相机设备102，其通过照相机程序104捕捉原始图像106之类来获得设备存储器中的包含图像108。包含图像包括二维条形码110，二维条形码包括本示例中的QR码。

如下所述的，定位应用112(例如，由设备用户所启动的)定位包含图像108内的二维条形码110。得到的结果是例如以围绕条形码的边界框形式的条形码数据112(其可以是在同一存储器位置或被复制到一不同的位置)以根据用户所需来使用。

如将被理解的，定位应用112要求有限的手工劳动，例如用户仅需要将他们的设备指向系统的QR码的大致方向来定位该QR码。定位应用112是稳健的，这反映在它能够可靠地定位遭受低光照、图像噪声/虚拟伪像、倾斜的捕捉角度和/或焦点失真/模糊的包含图像内的QR码边界框。另外，其性能在当代移动设备上足够快，以使得对于消费者使用来说可被认为是实时的。因此，此处所描述的技术即使在较差的环境条件下依然可靠，并且即使对于具有有限的硬件能力的设备来说也是足够轻便以维持高计算性能。

在一实现中，进行了包括角度分布分析的各步骤。更具体地，取代了作为现有定位技术基础的搜索众所周知的位置检测图案(具有位于任何QR码符号的三个角上的围绕的正方形的黑块)，定位应用将整个QR码视为一个整体。也就是说，应用通过在考虑QR码的像素的角度分布时利用QR码在整体上具有一定的独特签名的事实来定位包含图像内的QR码；这是符号内以高频率发生的块状的大块的结果。

如由图5的步骤502(以及子步骤503-505)所大致表示的，为了执行角度分布分析，整个源图像被分为多个子集图像块(步骤503)。总的来说，这将定位问题降低为较小的问题，这使得系统更能从由虚拟伪像和其它环境条件引起的干扰中恢复。这可以实现，是由于当这些较小的问题被解决时，被确定为QR码的可能的部分的相邻块有助于指示QR码最有可能的位置。需要注意的是，块的实际像素大小是应用专用的。

对于每一图像块，计算像素级角度分布(步骤504)。需要注意的是，图像最初被处理以检测边缘。这一任务的合适的算法是卷积遮罩(诸如Sobel)，以估算图像A的X轴和Y轴的梯度，记为Gx和Gy，如以下Sobel卷积矩阵中所示：

每个像素的角度值可使用以下等式得到：

$\mathrm{Angle}(x,y)={\tan }^{-1}\mathrm{Gy}/\mathrm{Gx}$

图2表示了角度计算，其中对于位于坐标(x，y)处的像素，首先用Sobel遮罩来估算Gx和Gy；接着，获取在该点的像素的角度。在计算之后，在0°到180°的范围内对每个角度进行归一化。这是通过将角度Z和Z+180°视为同一值来实现的。角度归一化结果被表示在图3中。

在一实现中，执行优化。更具体地，存储和查找角度的计算数据的快速方法是通过再次使用同一方向的临时的8位图像作为源块来实现的，其中每个像素是当前保持对应于其获取的角度(0°到180°)的值的字节。

角度分布表示通过测量(例如计算)最常显示的角度值来生成测量块；这对应于该块的角度签名。在图4中，大致以直方图的形式示出了这一示例分布，其中x轴表示角度，单位为度数，而y轴表示示例图像块中的像素计数。如该块的分布所指示的，两个最普遍角度是0°和90°——这分别表示垂直线和水平线，它们是QR码符号的最普遍特征。较少普遍的但仍然常见的角度是45°和135°——它们表示垂直线和水平线交叉的角，从而完成了构成QR码符号的框状图形。值得注意的是，图4是为解释的目的的理想(或近似理想)的示例；在实际图像中，如果找到了条形码符号，将存在不止仅仅这四个角度的计数。

对于成角度的图像，可使用各种机制来解决用户没有将照相机握持得对于捕捉图像来说非常的正。如此处所述的一种机制是基于对图像进行预处理，其使用已知技术在尝试定位条形码符号之前校正图像。此处所述的另一种机制通过估算在90度角范围内的计数来预测概率，例如，计数是否在90度角加减一定调整数的角度处是较高的。如此处所用的，“大致”垂直和/或水平指的是在这一范围内的任何角度，包括完全垂直和完全水平。取代大致垂直的角度或除了大致垂直的角度之外，还可考虑大致水平的角度。取代上述机制或除了上述机制之外，还可使用另一机制来寻找角度计数中的峰值，峰值被间隔约90°，该角度是相对于彼此的而不是相对于正的图像；例如，如果用户以相对于正的图像15°来握持照相机，条形码符号将具有在15°和105°附近的峰值。

许多块可适应于允许的分布阈值内。应用因此通过包括属于QR码的可能部分的块来确定候选图像块。值得注意的是，这要求某些进一步分析，因为在现实图像中，块的角度分布将不像图4中所表示的一样被清晰地定义。

一般来说，相似的角度分布图案对于QR码内或作为QR码的一部分的现实图像块也成立。因此，在给定有些潜在的模糊分布图案的情况下，应用需要高效地并且可靠地标识这些候选块。为了这一目的，如大致通过图5的示例子步骤505所示的，应用执行被称为候选块选择的算法，在图6的流程图的示例步骤中将进一步现实其细节。该算法最初通过首先获取块的角度分布(步骤602)并随后使用快速排序来对分布值进行排序(步骤602)来进行。

一旦排序以后，算法(根据某一阈值)选择最高的值并确定它们是否在指示QR码分布的可接受范围内。在图6的示例中，通过步骤608和612选择最高的10个角度计数。通过步骤610，估算这些最高计数以确定它们中是否有足够个是位于想要的角度(例如，90°)、位于大致范围(adj_val)内例如，大致水平和/或垂直。如果是的话，该块是候选块(步骤614)，否则该块被丢弃(步骤616)。直观上，最高的值代表整个块分布，并且同时避免了噪声。使用这一算法，由此在以高性能和效率运行的同时维持了准确性。

在获取可能是QR码一部分的候选块的列表后，如大致由图5的步骤507所示，过程移除任何虚假肯定样本并且确定区域中的最佳可能候选块。一般来说，这基于各个候选块与图像中的其它候选块被组合在一起的位置；那些最紧密的组合对应于最可能获得该条形码符号的区域。

为了实现这一步骤，图像可用逻辑指针来扫描，该逻辑指针的大小为块大小的几倍；(值得注意的是，指针的实际大小是应用专用的)。当指针在整个图像中移动时，跟踪位于该指针内的候选块的个数。在扫描完图像后，包含最多候选块的指针位置指示了最可能包含条形码符号的区域。

一旦发现了具有最多候选块的区域，通过对区域内的全部候选块进行迭代并确定哪一个具有最接近于理想情况的角度分布来找出最佳候选块。在标识最佳候选块之后，该最佳候选块被视为种子，并且由快速区域生成算法使用以建立QR码的大致的边界框。算法通过估算在当前块的径直的上、下、左和右方向上的附近的块(块的实际个数是应用专用的)来运行。在每个块的估算(通过某一阈值)确定角度分布是否松散地匹配于QR码的角度分布。如果是的话，该块变为当前块并且处理递归地继续。以此方式，知晓了大致边界框，并且也由此定位了条形码符号。

此时，知晓了条形码符合的位置，藉此其可被解码或以其它方式用于进一步处理。值得注意的是，该进一步处理能够定位位于符号的三个角上的QR码位置检测图案(三个小黑框)以确定边界框，这在迄今为至的定位QR码符号本身中未曾被需要。

尽管本发明易于作出各种修改和替换构造，但其某些说明性实施例在附图中示出并在上面被详细地描述。然而应当了解，这不旨在将本发明限于所公开的具体形式，而是相反地，旨在覆盖落入本发明的精神和范围之内的所有修改、替换构造和等效方案。

Claims (20)

1.在计算环境中，一种方法包括：定位图像内的二维条形码符号，包括处理(502)所述图像以确定(504)对应于像素的角度签名，以及基于所述角度签名确定(507，509)所述条形码符号的位置。

2.如权利要求1所述的方法，其特征在于，每个像素由一角度所表示，并且其中处理所述图像包括将所述图像分成块，并且对于块中的每个像素，确定对应于该像素的角度，并且对每一可能的角度，对该块中对应于该角度的像素的个数进行计数，并且维持对可能的角度的计数。

3.如权利要求2所述的方法，其特征在于，所述方法还包括，归一化大于180度的角度，使得可能的角度的范围为0到180度。

4.如权利要求2所述的方法，其特征在于，对应于一像素的所述角度被维持在包含该像素的原始像素值的存储空间中。

5.如权利要求2所述的方法，其特征在于，处理所述图像以确定角度签名包括估算所述块来确定是否每个块包含具有角度签名的像素，所述角度签名指示就成为所述条形码符号的一部分而言该块是否有资格作为候选块。

6.如权利要求5所述的方法，其特征在于，估算所述块包括根据所述计数确定所述块是否包含最多的大致垂直或大致水平、或者最多的大致垂直和大致水平的角度。

7.如权利要求5所述的方法，其特征在于，还包括通过处理所述候选块来确定最佳候选块。

8.如权利要求7所述的方法，其特征在于，所述图像被分为区域，并且其中确定最佳候选块包括确定哪个区域具有最多的候选块。

9.如权利要求8所述的方法，其特征在于，确定条形码符号的位置包括逼近包含所述条形码符号的一边界框，包括通过估算靠近最佳候选块的其它块来确定那些其它块的每个块的角度签名是否指示该其它块对应于所述条形码符号的一部分。

10.在计算环境中，一种系统，包括：标识图像(106)内的条形码符号(110)所在的位置的定位程序(112)，包括通过估算所述图像的像素来将一角度与每一像素相关联，并通过根据与所述像素相关联的所述角度来确定所述条形码所在的位置。

11.如权利要求10所述的系统，其特征在于，所述条形码符号是QR码。

12.如权利要求10所述的系统，其特征在于，所述定位程序运行在具有照相机的移动电话设备中。

13.如权利要求10所述的系统，其特征在于，定位程序通过确定具有至少一个阈值数量的大致垂直或大致水平的角度、或大致垂直的角度和大致水平的角度两者的区域来定位所述条形码。

14.如权利要求13所述的系统，其特征在于，所述定位程序通过以下动作来来确定所述区域：将图像分成块，根据每个块中大致垂直或水平的角度或每个块中大致垂直的角度和大致水平的角度两者的数量来确定哪些块是候选块，并根据该区域内的候选块的数量相对于其它区域中候选块的数量来确定区域。

15.如权利要求14所述的系统，其特征在于，所述定位程序根据每个块中大致垂直或大致水平的角度或每个块中大致垂直的角度和大致水平的角度两者的数量来确定哪些块是候选块。

16.如权利要求14所述的系统，其特征在于，所述定位程序通过以下动作来定位所述条形码：选择所述区域内的一已选块，并通过估算靠近所述已选块的其它块来确定其它块中的哪些块具有指示那些块的像素是所述条形码符号的一部分的角度签名。

17.如权利要求16所述的系统，其特征在于，所述定位程序通过确定所述区域内的哪个候选块具有最多的大致垂直的角度、或最多的大致水平的角度、或最多的大致垂直和最多的大致水平的角度来选择所述已选块。

18.一个或多个具有计算机可执行指令的计算机可读介质，所述计算机可执行指令在被执行时执行以下步骤，包括：

将图像分(503)成块；

执行(602)角度分布分析以确定(614)就成为所述条形码符号的一部分而言哪些块是候选块；

将所述图像分(507)成比所述块大的区域；

确定(507)所述图像内的已选区域，其中基于每个区域内有多少候选块来定位所述条形码符号的至少一部分；以及

通过基于所述已选区域内的块来生成边界框以标识(509)包含所述条形码符号的边界框。

19.如权利要求18所述的一个或多个计算机可读介质，其特征在于，执行所述角度分布分析包括，对于每个块，确定所述块中的每一像素的角度值，并对每个可能的角度值的像素的个数进行计数。

20.如权利要求19所述的一个或多个计算机可读介质，其特征在于，执行所述角度分布分析来确定就成为所述条形码符号的一部分而言哪些块是候选块包括，从每个可能的角度值的像素的个数来确定所述块是否包含大致水平或大致垂直的角度，或者大致水平的角度和大致垂直的角度两者。

Images