CN109165538A

CN109165538A - 基于深度神经网络的条形码检测方法及装置

Info

Publication number: CN109165538A
Application number: CN201810790007.6A
Authority: CN
Inventors: 黄泽桑; 董远; 白洪亮; 熊风烨
Original assignee: Beijing Faceall Co
Current assignee: SUZHOU FEISOU TECHNOLOGY Co.,Ltd.
Priority date: 2018-07-18
Filing date: 2018-07-18
Publication date: 2019-01-08
Anticipated expiration: 2038-07-18
Also published as: CN109165538B

Abstract

本发明提供一种基于深度神经网络的条形码检测方法及装置，所述方法包括：将获取到的待检测图像输入至训练好的深度神经网络模型，输出所述待检测图像中的条形码的预测边界框；根据所述预测边界框，确定目标检测图像区域，所述目标检测图像区域是所述待检测图像的一部分，并且包含所述条形码；基于所述目标检测图像区域，获取所述条形码的最终边界框。本发明提供的基于深度神经网络的条形码检测方法及装置，通过将深度神经网络和图像处理技术相结合，先用深度神经网络获取待检测图像中的条形码的预测边界框，再利用图像处理技术对待检测图像有针对性的检测，提高了条形码检测的召回率，降低了误检率，并提高了检测速率。

Description

基于深度神经网络的条形码检测方法及装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于深度神经网络的条形码检测方法及装置。

背景技术

条形码在日常的生产和生活中应用广泛，特别是在智能终端飞速发展的今天，采集含有条形码的图像，检测出条形码的位置，然后识别出条形码中的信息是智能终端最基本的功能。然而，在这一过程中，如何更准确、更快速的检测出条形码是本领域研究的重点。

现有技术中，条形码的信号采集设备大致可以分为两类，一维采集设备和二维采集设备。一维采集采用光束扫过条码表面，条码符号反射光束，经过光电转换后，形成矩形波，比如激光枪。虽然这种方法简单易行，但往往需要人工辅助完成。二维采集设备主要利用计算机图像处理技术识读条形码，例如摄像头，扫描仪等，都是二维采集设备，这种技术无需人工参与，非常灵活，可以利用检测，定位分割，识别等技术实现真正的全自动化识读。而对于条形码检测，主要方法是基于Gabor小波纹理分析的条码检测，用形态学方法检测条形码，主要的方法是利用梯度特征，先根据梯度方向将图像分为多个梯度图像，再选取其中梯度值较大的区域分析并合并。这种基于图像梯度特征的方法在图像纹理特征良好的情况下，往往具有不错的性能，但在较为复杂的背景下，比如有污损，重叠的条形码区域，梯度信息往往容易受到复杂背景的干扰，使得检测出的区域出现不完整，形变较大，误检严重等问题。

发明内容

本发明的目的是提供一种基于深度神经网络的条形码检测方法及装置，解决了现有技术中条形码检测的准确度低，检测速度慢的技术问题。

为了解决上述技术问题，一方面，本发明提供一种基于深度神经网络的条形码检测方法，包括：

将获取到的待检测图像输入至训练好的深度神经网络模型，输出所述待检测图像中的条形码的预测边界框；

根据所述预测边界框，确定目标检测图像区域，所述目标检测图像区域是所述待检测图像的一部分，并且包含所述条形码；

基于所述目标检测图像区域，获取所述条形码的最终边界框。

另一方面，本发明提供一种基于深度神经网络的条形码检测装置，包括：

预测模块，用于将获取到的待检测图像输入至训练好的深度神经网络模型，输出所述待检测图像中的条形码的预测边界框；

确定模块，用于根据所述预测边界框，确定目标检测图像区域，所述目标检测图像区域是所述待检测图像的一部分，并且包含所述条形码；

检测模块，用于基于所述目标检测图像区域，获取所述条形码的最终边界框。

再一方面，本发明提供一种用于基于深度神经网络的条形码检测的电子设备，包括：

存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述的方法。

又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本发明提供的基于深度神经网络的条形码检测方法及装置，通过将深度神经网络和图像处理技术相结合，先用深度神经网络获取待检测图像中的条形码的预测边界框，再利用图像处理技术对待检测图像有针对性的检测，提高了条形码检测的召回率，降低了误检率，并提高了检测速率。

附图说明

图1为依照本发明实施例的基于深度神经网络的条形码检测方法示意图；

图2为依照本发明实施例的基于深度神经网络的条形码检测装置示意图；

图3为本发明实施例提供的用于基于深度神经网络的条形码检测的电子设备的结构示意图。

具体实施方式

为了使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为依照本发明实施例的基于深度神经网络的条形码检测方法示意图，如图1所示，本发明实施例提供一种基于深度神经网络的条形码检测方法，包括：

步骤S101、将获取到的待检测图像输入至训练好的深度神经网络模型，输出所述待检测图像中的条形码的预测边界框；

步骤S102、根据所述预测边界框，确定目标检测图像区域，所述目标检测图像区域是所述待检测图像的一部分，并且包含所述条形码；

步骤S103、基于所述目标检测图像区域，获取所述条形码的最终边界框。

具体的，对获取到的图像中的二维码进行识别主要包括两个步骤，一是条形码的检测，二是条形码的识别。而此方法最关键的步骤是第一步，即，条形码区域的检测，通常检测出条形码区域后，用一个矩形框在图像中显示，条形码位于该矩形框内，该矩形框称为边界框(Bounding Box)或边框。

首先，需获取待检测图像，待检测图像中含有待识别的条形码，待检测图像通常由照相机或者摄像机采集。

然后，将获取到的待检测图像输入至训练好的深度神经网络模型，输出待检测图像中的条形码的预测边界框，该预测边界框用于表示初步预测的条形码位置和旋转角度。

然后，根据该预测边界框，确定目标检测图像区域，目标检测图像区域是待检测图像的一部分，并且包含条形码，通过确定目标检测图像区域，可以除去大量的条形码的背景图像，从而除去背景图像中的干扰，减少图像处理的运算量，提高检测效率。

最后，基于目标检测图像区域，获取条形码的最终边界框，该最终边界框用于表示最终确定的条形码位置和旋转角度。实际应用中，基于目标检测图像区域，获取条形码的最终边界框的方法采用图像处理法，例如，形态学法、背景差分法，光流法，边缘检测法、基于小波纹理分析法、基于梯度法和基于图像分割法等。

本发明实施例提供的基于深度神经网络的条形码检测方法，通过将深度神经网络和图像处理技术相结合，先用深度神经网络获取待检测图像中的条形码的预测边界框，再利用图像处理技术对待检测图像有针对性的检测，提高了条形码检测的召回率，降低了误检率，并提高了检测速率。

在上述实施例的基础上，进一步地，所述根据所述预测边界框，确定目标检测图像区域，具体为：

以所述预测边界框为中心向外扩展，扩展为所述预测边界框的若干倍，将扩展后的图像区域作为所述目标检测图像区域。

具体的，通过训练好的深度神经网络模型可以获取待检测图像中的目标检测图像区域，该目标检测图像区域是待检测图像的一部分，并且包含条形码，通过确定目标检测图像区域，可以除去大量的条形码的背景图像，从而除去背景图像中的干扰，减少图像处理的运算量，提高检测效率。

以预测边界框为中心，沿着预测边界框的每个边向外扩展，扩展为所述预测边界框的若干倍，得到一个更大的边界框，将该更大的边界框所在的图像区域作为目标检测图像区域。

或者，以预测边界框为中心，向外扩展成一个圆形，使预测边界框包含于该圆形中，得到一个更大的圆形框，将该更大的圆形框所在的图像区域作为目标检测图像区域。

需要说明的是，上述示例性方法中仅给出两种确定目标检测图像区域的大小和位置的方式，而在实际应用中不限于此，具体可以视情况而定。

在以上各实施例的基础上，进一步地，所述基于所述目标检测图像区域，获取所述条形码的最终边界框，具体为：

对所述目标检测图像区域进行边缘点提取，获取边缘点；

对所述边缘点进行分类并拟合，获取所述条形码的最终边界框。

具体的，利用图像处理法，从目标检测图像区域中获取条形码的最终边界框的具体方法如下：

首先，对目标检测图像区域进行边缘点提取，获取边缘点，这里的边缘点是指条形码区域轮廓上的特征点。

然后，条形码区域的轮廓近似一个矩形，对边缘点进行分类，即可获得哪些边缘点位于矩形的其中一个边上，哪些边缘点位于矩形的另外一个边上。

让后对矩形的边界进行拟合和特征参数计算，例如，可以采用最小二乘法进行拟合等，最终获取条形码的最终边界框。

在以上各实施例的基础上，进一步地，所述对所述目标检测图像区域进行边缘检测之前，还包括：

依次、分别对所述目标检测图像区域进行滤波处理、灰度化处理和梯度化处理。

具体的，为了获得更精确的检测结果，利用图像处理法，获取条形码的最终边界框时，还需要对目标检测图像区域进行滤波处理，以消除噪声。再进行灰度化处理突出基本模块同时减弱背景的影响，再梯度化处理获取全局阈值二值化梯度图，即可保留边界去掉大部分背景，再结合条形码轮廓的几何形状，即可获取条形码区域边界上的特征点。

另外，还可以利用数据增强技术，对目标检测图像区域进行数据增强，提高检测的准确性。

在以上各实施例的基础上，进一步地，所述深度神经网络模型包含第一神经网络和第二神经网络；其中，所述第一神经网络，用于回归出所述待检测图像中的条形码的预测边界框的位置；所述第二神经网络，用于回归出所述待检测图像中的条形码的预测边界框的旋转角度。

具体的，深度神经网络模型包含第一神经网络和第二神经网络，其中，第一神经网络，用于回归出待检测图像中的条形码的预测边界框的位置，第一神经网络可以选择卷积神经网络，例如，采用目标检测中速度较快，精度较为准确的SSD框架的卷积神经网络进行训练，将分类的类别改为只有条形码一类，训练后回归得到目标框的位置。利用卷积神经网络，可以利用自身的多层结构自动学习特征，并且可以学习到多个层次的特征，较低层的网络感受野较小，更容易学习到一些局部区域的特征；较高层的网络有较大的感受野，能够学习到更抽象的语义信息，这些语义信息对物体的大小，位置和方向等敏感度较低，卷积神经网络利用卷积提取特征，具有位移不变性的特点，在复杂的环境下，往往能够提取到条形码更为本质的特征，有助于检测性能的提高。

第二神经网络，用于回归出待检测图像中的条形码的预测边界框的旋转角度，因为数据在标注中，不可避免存在一定角度的偏差，图片的拍摄或扫描角度变化，并不总是以水平的角度呈现，所以需要算法对不同角度下的条形码有较好的容忍度。所以需要另外一个网络，训练并回归出条形码的旋转角度，因为这个任务较为简单，可以采用层数较少的神经网络进行训练，最终得到条形码区域相对于水平方向的旋转角度。

利用卷积神经网络，可以有效地提取图像中的语义信息，通过反向传播梯度更新权值的方式，提取更深层的特征，大大减少复杂环境对条形码检测的干扰。在回归出条形码的具体位置后，辅助以传统图像处理技术，能够有效地提高条形码的召回率，减少误检。

在以上各实施例的基础上，进一步地，所述获取所述训练好的深度神经网络模型的具体步骤如下：

获取训练数据集；

将所述训练数据集输入至所述深度神经网络模型，输出所述深度神经网络模型的预设参数值；

将所述预设参数值带入所述深度神经网络模型，获取所述训练好的深度神经网络模型。

具体的，在利用训练好的深度神经网络模型对待检测图像中的条形码进行检测之前，需要对构建好的深度神经网络模型进行训练，对深度神经网络模型进行训练的具体步骤如下：

首先，获取训练数据集，训练数据集可以选择现有的第三方训练数据集，例如，Arte-Lab数据集，Muenster Barcode DB数据集，PASCAL VOC数据集，或者COCO数据集等。也可以是人工收集的条形码数据。若选择的数据集的格式不一致，需要进行预处理操作，将数据格式统一转化成相同的格式。深度学习通常需要大量的训练数据，以适应不同光照，色彩，亮度变化，从而使训练得到的模型具有更好的泛化能力。除了多个公开的数据集外，还需要对图片做各种数据增强，使数据具有丰富的多样性。并且，需要对目标区域进行标注，并对标注后的数据进行候选框的校验，确保为矩形。

然后，将训练数据集输入至构建好的深度神经网络模型，输出深度神经网络模型的预设参数值。

最后，将获取到的预设参数值带入构建好的深度神经网络模型，完成深度神经网络模型的训练，获取训练好的深度神经网络模型。

在以上各实施例的基础上，进一步地，所述训练数据集包含第三方数据集和/或手动收集的数据集。

具体的，获取训练数据集，训练数据集可以选择现有的第三方训练数据集，例如，Arte-Lab数据集，Muenster Barcode DB数据集，PASCAL VOC数据集，或者COCO数据集等。也可以是人工收集的条形码数据。若选择的数据集的格式不一致，需要进行预处理操作，将数据格式统一转化成相同的格式。深度学习通常需要大量的训练数据，以适应不同光照，色彩，亮度变化，从而使训练得到的模型具有更好的泛化能力。除了多个公开的数据集外，还需要对图片做各种数据增强，使数据具有丰富的多样性。并且，需要对目标区域进行标注，并对标注后的数据进行候选框的校验，确保为矩形。

图2为依照本发明实施例的基于深度神经网络的条形码检测装置示意图，如图2所示，本发明实施例提供一种基于深度神经网络的条形码检测装置，用于完成上述实施例中所述的方法，具体包括预测模块201、确定模块202和检测模块203，其中，

预测模块201用于将获取到的待检测图像输入至训练好的深度神经网络模型，输出所述待检测图像中的条形码的预测边界框；

确定模块202用于根据所述预测边界框，确定目标检测图像区域，所述目标检测图像区域是所述待检测图像的一部分，并且包含所述条形码；

检测模块203用于基于所述目标检测图像区域，获取所述条形码的最终边界框。

本发明实施例提供一种基于深度神经网络的条形码检测装置，用于完成上述实施例中所述的方法，通过本实施例提供的装置完成上述实施例中所述的方法的具体步骤与上述实施例相同，此处不再赘述。

本发明实施例提供的基于深度神经网络的条形码检测装置，通过将深度神经网络和图像处理技术相结合，先用深度神经网络获取待检测图像中的条形码的预测边界框，再利用图像处理技术对待检测图像有针对性的检测，提高了条形码检测的召回率，降低了误检率，并提高了检测速率。

图3为本发明实施例提供的用于基于深度神经网络的条形码检测的电子设备的结构示意图，如图3所示，所述设备包括：处理器301、存储器302和总线303；

其中，处理器301和存储器302通过所述总线303完成相互间的通信；

处理器301用于调用存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：

本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：

本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置及设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于深度神经网络的条形码检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述预测边界框，确定目标检测图像区域，具体为：

3.根据权利要求1所述的方法，其特征在于，所述基于所述目标检测图像区域，获取所述条形码的最终边界框，具体为：

对所述目标检测图像区域进行边缘点提取，获取边缘点；

4.根据权利要求3所述的方法，其特征在于，所述对所述目标检测图像区域进行边缘检测之前，还包括：

5.根据权利要求1所述的方法，其特征在于，所述深度神经网络模型包含第一神经网络和第二神经网络；其中，所述第一神经网络，用于回归出所述待检测图像中的条形码的预测边界框的位置；所述第二神经网络，用于回归出所述待检测图像中的条形码的预测边界框的旋转角度。

6.根据权利要求1所述的方法，其特征在于，所述获取所述训练好的深度神经网络模型的具体步骤如下：

获取训练数据集；

7.根据权利要求6所述的方法，其特征在于，所述训练数据集包含第三方数据集和/或手动收集的数据集。

8.一种基于深度神经网络的条形码检测装置，其特征在于，包括：

9.一种用于基于深度神经网络的条形码检测的电子设备，其特征在于，包括：

存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一所述的方法。