CN114913318B - 视觉图形码的识别方法、识别系统以及出入库管理方法 - Google Patents

Abstract

本发明公开了一种视觉图形码的识别方法、识别系统以及出入库管理方法。所述识别方法包括：获取视频信息中的原始图像；获得所述原始图像对应的二值图像；从所述二值图像中提取感兴趣区域；使所述感兴趣区域的轮廓调整为水平矩形；获取依次相接的多个图像条；采用模板匹配算法获取所述图像条匹配多个模板的对应信息，并依据所述图像条的次序以及各图像条的对应信息获取所述视觉图形码的识别结果。本发明提供的识别方法通过将图像中的感兴趣区域分割后提取多个图像条，并基于对应信息，排列获得图形码所包含的完整信息，将整体任务分块同步进行，减轻了每一分支任务的压力，同时保证了整体的识别效率与识别准确性。

Description

视觉图形码的识别方法、识别系统以及出入库管理方法

技术领域

本发明涉及图形码识别技术领域，尤其涉及一种视觉图形码的识别方法、识别系统以及出入库管理方法。

背景技术

图形码是将黑白相间或包含不同色彩的图形按照一定的编码规则排布形成的某种特定的几何图形，可以用来记录信息，如网页地址、电话号码、物品编号等，通过识别图形码可以获取图形码包含的信息。

例如，在物流或库存管理领域，通过在物品上粘贴或喷涂图形码，可以非常方便地通过机器视觉识别该图形码所包含的信息，进而高效地进行物品的登记以及状态变更等操作。

然而，现有的视觉图形码的识别方法的识别准确性以及识别效率还有待提高。

发明内容

针对现有技术的不足，本发明的目的在于提供一种视觉图形码的识别方法、识别系统以及出入库管理方法。

为实现前述发明目的，本发明采用的技术方案包括：

第一方面，本发明提供一种视觉图形码的识别方法，包括：

1)获取视频信息中的原始图像；

2)通过图像预处理获得所述原始图像对应的二值图像；

3)采用寻找轮廓算法从所述二值图像中提取感兴趣区域；

4)使所述感兴趣区域的轮廓调整为水平矩形；

5)从水平矩形的所述感兴趣区域中获取依次相接的多个图像条；

6)采用模板匹配算法获取所述图像条匹配多个模板的对应信息，并依据所述图像条的次序以及各图像条的对应信息获取所述视觉图形码的识别结果。

第二方面，本发明还提供一种出入库管理方法，应用上述识别方法获取的识别结果进行标记物的出入库管理；

将视频信息中的当前时刻的一帧原始图像对应的第一识别结果与该帧原始图像后的连续多帧原始图像的第二识别结果进行比较；

当连续预设数量以上第二识别结果与第一识别结果均不同时，判定所述第一识别结果对应的所述标记物已出库。

第三方面，本发明还提供一种视觉图形码的识别系统，包括：

图像获取模块，用于获取视频信息中的原始图像；

预处理模块，用于通过图像预处理获得所述原始图像对应的二值图像；

区域提取模块，用于采用寻找轮廓算法从所述二值图像中提取感兴趣区域；

轮廓调整模块，用于使所述感兴趣区域的轮廓调整为水平矩形；

图像条获取模块，用于从水平矩形的所述感兴趣区域中获取依次相接的多个图像条；

模板匹配模块，用于采用模板匹配算法获取所述图像条匹配多个模板的对应信息，并依据所述图像条的次序以及各图像条的对应信息获取所述视觉图形码的识别结果。

基于上述技术方案，与现有技术相比，本发明的有益效果至少包括：

本发明所提供的视觉图形码的识别方法通过将图像中的感兴趣区域分割后提取多个图像条，并基于模板匹配识别每一图像条的对应信息，最后根据图像条的次序将对应信息进行排列即可获得图形码所包含的完整信息，将整体任务分块同步进行，减轻了每一分支任务的压力，同时保证了整体的识别效率与识别准确性；将上述识别方法应用于出入库管理中时，通过间隔采样的方法，当连续一定数量的第二识别结果相比于第一识别结果发生了稳定变化时，才判定第一识别结果对应的标记物出库，能够保证识别的结果是相对稳定且准确的，避免了误识别带来的干扰，提高了管理效率。

上述说明仅是本发明技术方案的概述，为了能够使本领域技术人员能够更清楚地了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例。

具体实施方式

鉴于现有技术中的不足，本案发明人经长期研究和大量实践，得以提出本发明的技术方案。如下将对该技术方案、其实施过程及原理等作进一步的解释说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

而且，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个与另一个具有相同名称的部件或方法步骤区分开来，而不一定要求或者暗示这些部件或方法步骤之间存在任何这种实际的关系或者顺序。

本发明实施例提供一种视觉图形码的识别方法，包括如下的步骤：

1)获取视频信息中的原始图像。

2)通过图像预处理获得所述原始图像对应的二值图像。

3)采用寻找轮廓算法从所述二值图像中提取感兴趣区域。

4)使所述感兴趣区域的轮廓调整为水平矩形。

5)从水平矩形的所述感兴趣区域中获取依次相接的多个图像条。

6)采用模板匹配算法获取所述图像条匹配多个模板的对应信息，并依据所述图像条的次序以及各图像条的对应信息获取所述视觉图形码的识别结果。

其中，所述视频信息可以是通过摄像头，例如彩色摄像头或红外摄像头实时获取的视频信息，也可以是通过摄像头拍摄但经过缓存或存储的非实时视频信息，该原始图像可以是视频信息中的某一帧，也可以是连续多帧，还可以是间隔的多帧图像等。

该技术方案通过将图像中的感兴趣区域分割后提取多个图像条，并基于模板匹配识别每一图像条的对应信息，最后根据图像条的次序将对应信息进行排列即可获得图形码所包含的完整信息，将整体任务分块同步进行，减轻了每一分支任务的压力，同时保证了整体的识别效率与识别准确性。

在一些实施方案中，步骤1)中，可以获取视频信息中的预设数量的连续帧作为所述原始图像。

在一些实施方案中，可以从预设数量的多个所述原始图像中投票选择出现概率最高的识别结果作为所述视频信息对应的最终识别结果。

基于上述技术方案，作为一些非常具体的应用实例，为了能够稳定地输出图形码的识别结果，不受光线扰动等带来的影响，在图像码出入库程序中增加投票机制来提升图形码的检测效果。具体做法是：收集连续若干帧(比如30帧)图像的图形码的识别结果，对于每一个图形码，在这若干帧中以最大概率出现的输出作为图形码的识别结果，忽略其他因扰动等干扰影响的图形码结果。这样的做法能够有效防止在一定时间段内，例如工器具管理中的工具(下述标记物中的一种)固定的时间段内，多次添加与实际图形码相似的错误结果，从而对工具的管理造成干扰。

在一些实施方案中，步骤2)具体可以包括如下的步骤：

使所述原始图像经过第一处理获得灰度图像。

使所述灰度图像经过第二处理获得二值中间图像。

使所述二值中间图像经过第三处理获得所述二值图像。

在一些实施方案中，所述第一处理可以包括高斯模糊、灰度转化、Sobel算子边缘提取和图像增强。

在一些实施方案中，所述第二处理可以包括膨胀、腐蚀、开运算和闭运算。

在一些实施方案中，所述第三处理可以包括中值模糊运算。

在一些实施方案中，步骤3)具体可以包括如下的步骤：

采用寻找轮廓算法从所述二值图像中提取候选区域。

计算所述候选区域的轮廓面积，并基于所述轮廓面积从所述候选区域中提取所述感兴趣区域。

在一些实施方案中，当所述视觉图形码的识别为单任务模式时，可以提取所述轮廓面积最大的候选区域作为所述感兴趣区域。

在一些实施方案中，当所述视觉图形码的识别为多任务模式时，可以提取所有所述轮廓面积在预设面积阈值以上的候选区域作为所述感兴趣区域。

在一些实施方案中，步骤4)具体可以包括如下的步骤：

计算所述感兴趣区域的最小外接矩形。

依照所述最小外接矩形的旋转角度计算将所述最小外接矩形旋转至水平的二维旋转矩阵，采用仿射变换将所述感兴趣区域旋转至相对水平状态。

在一些实施方案中，步骤5)具体可以包括如下的步骤：

获取所述感兴趣区域的轮廓的边界坐标值。

基于所述坐标值等分所述感兴趣区域，获取每一等分中的所述图像条。

在一些实施方案中，步骤6)具体可以包括如下的步骤：

计算每一图像条与多个所述模板的匹配度。

确定与所述图像条匹配度最大的模板的名称作为所述对应信息。

使多个所述对应信息按照所述图像条的次序进行排序，获得所述识别结果。

基于上述技术方案，在一些非常具体的应用实例中，一种视觉图形码的识别方法可以通过如下的具体步骤得以实施：

步骤一：读取视频帧，采用红外摄像头对准工作台并读取视频，针对每一帧图像实施以下步骤。

步骤二：图像预处理，图像预处理步骤的目的是为了获得具有清晰大面积连通区域轮廓信息的二值图像。首先通过高斯模糊、灰度转化、Sobel算子边缘提取、图像增强等过程获得一个边缘轮廓清晰的灰度图像。接下来，二值化图像并在形态学处理的作用下，采用膨胀、腐蚀、开运算、闭运算等方式获得具有相对大面积连通区域的图像。最后采用中值模糊运算获取去除噪声以及更加清晰的二值图像。

步骤三：提取感兴趣区域，本步骤采用寻找轮廓算法从预处理好的二值图像中提取感兴趣区域。感兴趣区域的描述采用轮廓结构表示，通过设定轮廓面积的阈值来判断图像中是否存在感兴趣的区域。在单图形码识别任务中，返回最大轮廓面积所对应的轮廓信息以对应所述感兴趣区域；在多图形码识别任务中，返回超过面积阈值的所有轮廓信息以对应多个所述感兴趣区域。

步骤四：旋转图像至水平，取定某一感兴趣区域，计算该区域轮廓的最小外接矩形。依照最小外接矩形的旋转角度计算将其旋转至水平的二维旋转矩阵，采用仿射变换将原始图像帧中的感兴趣区域旋转至相对水平状态。检测图形码中的起始符与结束符，如果起始符与结束符的位置颠倒，则再将感兴趣区域水平旋转180°，至待检测区域为正向水平。其他感兴趣区域重复本步骤及之后步骤。

步骤五：切分图形码区域，在获取水平图形码区域的基础上，利用高斯模糊、Cannv边缘提取、二值化等步骤获取图形轮廓清晰的图形码区域。采用寻找轮廓算法获取图形码区域图像中的所有轮廓。定位所有轮廓，获取轮廓的边界坐标值。接下来按列将图形码区域进行N等分，N为一条图形码中图形的个数。保存裁剪后的N条图像条数据。

步骤六：检测图形码，对感兴趣区域中所有切分下来的图像条分别进行识别。对于每一列裁剪下来的图像条采用模板匹配的方式，将图像条与模板库中所有的模板进行匹配，按照匹配程度的大小排序，返回最佳匹配的模板名称。按照图像条的顺序依次识别，最终获得图形码的识别结果。

在一些实施方案中，所述图形码的非首尾位可以设置有校验位。

当所述校验位对应的图像条的对应信息与所述校验位不匹配时，所述识别结果作废。

在一些实施方案中，所述校验位的值可以根据所述图形码中各位对应信息的顺序编号累加并经除余运算获得。

此时，既可以结束本次识别，也可以重新开始识别，相关的后续措施对于本领域技术人员而言可以适应性地进行设置，无论其后续采用何种处置方法，基于本发明的技术构思所组成的整体技术方案均应属于本发明的保护范围之内。

基于上述技术方案，作为一些具体的应用实例，可以在图形码的倒数第二位(最后一位为结束符)设置校验位。校验位的算法例如可以是首先为图形库中的图形码进行0～37编号，然后对除开始符、结束符与校验位之外的所有位进行累加计算，之后将累加和进行模36的运算，得到的结果作为校验位的期望结果。当然，也可以通过其他计算方法来获得校验位的值，例如 0～10循环编号等等；在对图形码的识别过程中，忽略那些校验位与期望校验值不符合的识别结果，仅保留通过校验的识别结果，从一定程度上保证了图形码检测程序的输出的正确率。

通过间隔采样的方法，当连续一定数量的第二识别结果相比于第一识别结果发生了稳定变化时，才判定第一识别结果对应的标记物出库，能够保证识别的结果是相对稳定且准确的，避免了误识别带来的干扰，提高了管理效率。

本发明实施例还提供一种出入库管理方法，应用上述任一实施方式中的识别方法获取的识别结果进行标记物的出入库管理。

在一些实施方案中，所述出入库管理方法可以包括如下的步骤：

将视频信息中的当前时刻的一帧原始图像对应的第一识别结果与该帧原始图像后的连续多帧原始图像的第二识别结果进行比较。

当连续预设数量以上第二识别结果与第一识别结果均不同时，判定所述第一识别结果对应的所述标记物已出库。

基于上述技术方案，作为一些具体的应用实例，可以构建一种图形码出入库程序，利用间隔采样提升检测速度。将一帧图像的识别结果与之后连续若干帧的识别结果综合比较。如果当前帧图像之后的连续若干帧图像识别结果发生了稳定的变化，才会更新识别结果。例如，连续 30帧检测不到某个之前入库的某个图形码的识别结果，方可认为该图形码对应的标记物出库。这样能够保证识别的结果是相对稳定的。

本发明实施例还提供一种视觉图形码的识别系统，包括：

图像获取模块，用于获取视频信息中的原始图像。

预处理模块，用于通过图像预处理获得所述原始图像对应的二值图像。

区域提取模块，用于采用寻找轮廓算法从所述二值图像中提取感兴趣区域。

轮廓调整模块，用于使所述感兴趣区域的轮廓调整为水平矩形。

图像条获取模块，用于从水平矩形的所述感兴趣区域中获取依次相接的多个图像条。

模板匹配模块，用于采用模板匹配算法获取所述图像条匹配多个模板的对应信息，并依据所述图像条的次序以及各图像条的对应信息获取所述视觉图形码的识别结果。

本发明实施例还提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器运行时能够执行上述实施例提供的任一视觉图形码的识别方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被运行时执行上述实施例提供的任一视觉图形码的识别方法的步骤。

应当理解，上述实施例仅为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种视觉图形码的识别方法，其特征在于，包括：

1）获取视频信息中的原始图像；

2）通过图像预处理获得所述原始图像对应的二值图像；

3）采用寻找轮廓算法从所述二值图像中提取感兴趣区域；

4）使所述感兴趣区域的轮廓调整为水平矩形；

5）从水平矩形的所述感兴趣区域中获取依次相接的多个图像条，具体包括：获取所述感兴趣区域的轮廓的边界坐标值，基于所述坐标值等分所述感兴趣区域，获取每一等分中的所述图像条；

6）采用模板匹配算法获取所述图像条匹配多个模板的对应信息，并依据所述图像条的次序以及各图像条的对应信息获取所述视觉图形码的识别结果，具体包括：计算每一图像条与多个所述模板的匹配度，确定与所述图像条匹配度最大的模板的名称作为所述对应信息，使多个所述对应信息按照所述图像条的次序进行排序，获得所述识别结果；

所述图形码的非首尾位设置有校验位；当所述校验位对应的图像条的对应信息与所述校验位的期望值不匹配时，所述识别结果作废；所述校验位的期望值根据所述模板的图形码中各位对应信息的顺序编号累加并经除余运算获得，具体的计算方法为，将图形码进行编号，然后对除开始符、结束符与所述校验位之外的所有位进行累加计算，之后将累加和进行除余的运算，得到的结果作为校验位的期望结果。

2.根据权利要求1所述的识别方法，其特征在于，步骤1）中，获取视频信息中的预设数量的连续帧作为所述原始图像；

步骤6）中，从预设数量的多个所述原始图像中投票选择出现概率最高的识别结果作为所述视频信息对应的最终识别结果。

3.根据权利要求1所述的识别方法，其特征在于，步骤2）具体包括：

使所述原始图像经过第一处理获得灰度图像；

使所述灰度图像经过第二处理获得二值中间图像；

使所述二值中间图像经过第三处理获得所述二值图像；

所述第一处理包括高斯模糊、灰度转化、Sobel算子边缘提取和图像增强；

所述第二处理包括膨胀、腐蚀、开运算和闭运算；

所述第三处理包括中值模糊运算。

4.根据权利要求1所述的识别方法，其特征在于，步骤3）具体包括：

采用寻找轮廓算法从所述二值图像中提取候选区域；

计算所述候选区域的轮廓面积，并基于所述轮廓面积从所述候选区域中提取所述感兴趣区域；

当所述视觉图形码的识别为单任务模式时，提取所述轮廓面积最大的候选区域作为所述感兴趣区域；

或，当所述视觉图形码的识别为多任务模式时，提取所有所述轮廓面积在预设面积阈值以上的候选区域作为所述感兴趣区域。

5.根据权利要求1所述的识别方法，其特征在于，步骤4）具体包括：

计算所述感兴趣区域的最小外接矩形；

依照所述最小外接矩形的旋转角度计算将所述最小外接矩形旋转至水平的二维旋转矩阵，采用仿射变换将所述感兴趣区域旋转至相对水平状态。

6.一种出入库管理方法，其特征在于，应用权利要求1-5中任意一项所述的识别方法获取的识别结果进行标记物的出入库管理。

7.根据权利要求6所述的出入库管理方法，其特征在于，所述出入库管理方法包括：将视频信息中的当前时刻的一帧原始图像对应的第一识别结果与该帧原始图像后的连续多帧原始图像的第二识别结果进行比较；

当连续预设数量以上第二识别结果与第一识别结果均不同时，判定所述第一识别结果对应的所述标记物已出库。

8.一种用于实现权利要求1-5中任意一项所述的识别方法的视觉图形码的识别系统，其特征在于，包括：

图像获取模块，用于获取视频信息中的原始图像；

预处理模块，用于通过图像预处理获得所述原始图像对应的二值图像；

区域提取模块，用于采用寻找轮廓算法从所述二值图像中提取感兴趣区域；

轮廓调整模块，用于使所述感兴趣区域的轮廓调整为水平矩形；

图像条获取模块，用于从水平矩形的所述感兴趣区域中获取依次相接的多个图像条；

模板匹配模块，用于采用模板匹配算法获取所述图像条匹配多个模板的对应信息，并依据所述图像条的次序以及各图像条的对应信息获取所述视觉图形码的识别结果。