CN110427793B - 一种基于深度学习的条码检测方法及其系统 - Google Patents

一种基于深度学习的条码检测方法及其系统 Download PDF

Info

Publication number
CN110427793B
CN110427793B CN201910706173.8A CN201910706173A CN110427793B CN 110427793 B CN110427793 B CN 110427793B CN 201910706173 A CN201910706173 A CN 201910706173A CN 110427793 B CN110427793 B CN 110427793B
Authority
CN
China
Prior art keywords
bar code
size
barcode
feature map
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910706173.8A
Other languages
English (en)
Other versions
CN110427793A (zh
Inventor
林玉玲
庄国金
陈文传
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Shangji Network Technology Co ltd
Original Assignee
Xiamen Shangji Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Shangji Network Technology Co ltd filed Critical Xiamen Shangji Network Technology Co ltd
Priority to CN201910706173.8A priority Critical patent/CN110427793B/zh
Publication of CN110427793A publication Critical patent/CN110427793A/zh
Application granted granted Critical
Publication of CN110427793B publication Critical patent/CN110427793B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习的条码检测方法及其系统，通过训练样本集和测试样本集，训练深度学习条码检测模型，通过具有三个不同尺寸特征图的神经网络快速识别含有条码的待检测图像，提取特征，标记出条码的精确位置，并分类出目标条码为二维码或一维码。相比于传统检测系统，速度更快，平均一张图像可以节省0.5‑2秒的解码时间，检测成功率更高，特别是对于条码占比很小的图像和分辨率大于1200万像素的图像。

Description

一种基于深度学习的条码检测方法及其系统
技术领域
本发明涉及一种基于深度学习的条码检测方法及其系统，属于条码识别领域。
背景技术
在日常生活和工业应用中,条码的使用越来越广泛，诸如：零售行业、物流行业、金融行业对条码的使用需求越来越大。条码技术的发展非常迅速，条码技术的发展对相应的条码识读技术提出了更高的要求，为了实现快速读取条码，对于条码定位需要提高准确度和快速性。
现有技术的条码识别方法通过全图搜索定位一维码的起始位置或者二维码的定位图案。然而对于较大尺寸的图像，如快递单、自然场景或文档等，因为条码在整副图像中只有很小的占比，并且因为图像类别的差异，条码位置所在区域不同，对整图的逐行逐区域的搜索往往耗时过长，且容易遗漏或者检测不到条码的定位图案，进而影响到条码的识别速度和结果。
发明内容
为了解决上述技术问题，本发明提供一种基于深度学习的条码检测方法及其系统，通过深度学习目标检测模型，将含有条码的待检测图像送入神经网络中，提取特征，回归出条码的精确位置，并分类出目标条码的类别，实现对条码的快速高效的定位检测。
本发明的技术方案一：
一种基于深度学习的条码检测方法，包括如下步骤：
S1：获取多个带有未标记条码的图像。
S2：将获取的多个带有未标记条码的图像组建训练样本集，对所述训练样本集中的条码进行标记，框出图像中大致的条码位置，并标注条码类别，作为标签文件存储。
S3：建立深度学习条码检测模型，包括如下步骤：
S31：建立条码特征提取网络，所述条码特征提取网络通过卷积运算将像素大小为416*416的输入图像输出为三个不同尺寸的特征图，尺寸分别为52*52、26*26、13*13。
S32：建立后处理网络，所述后处理网络使用步骤S31产生的所述特征图执行条码区域预测和类别判断，其中，所述三个特征图分别具有三个预先设置的标记框，使用所述标记框对所述三个特征图分别做条码检测，标记条码位置并判断条码类型。
S33：建立全连接层，将经过步骤S32处理的带有标记框的特征图进行卷积处理转化为一个一维向量，所述一维向量是长度值为7的数组，表示所述标记框的预测信息，其中，4个数值表示所述标记框的坐标偏移量tx、ty、tw、th，tx表示标记框中点横坐标，ty表示标记框中点纵坐标，tw表示标记框宽度，th表示标记框高度，1个数值表示标记框的置信度to，2个数值表示每个类别的概率p1、p2，p1表示所述条码是一维码的概率，p2表示所述条码是二维码的概率。
S4：训练所述深度学习条码检测模型，将所述训练样本集及标签文件送入所述深度学习条码检测模型，训练修正出可用于检测的条码检测模型，并封装成条码检测模块。
S5：将待检测图像缩放为固定尺寸大小416*416的图像，送入所述条码检测模块进行条码检测，输出条码位置坐标和条码类别，根据输出的坐标切割出条码区域图像，执行对应的解码操作。
所述条码特征提取网络的主干采用53层残差卷积网络。
所述特征图的尺寸变换是通过改变网络中的卷积核的步长来获取，包括如下步骤：
输入416*416像素大小的图像，经过3次卷积核步长为2的卷积运算操作得到52*52像素大小的特征图。
对52*52像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到26*26像素大小的特征图。
对26*26像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到13*13像素大小的特征图。
所述预先设置的标记框通过聚类方法获得，训练样本集中的标记框通过聚类运算得到9个聚类中心，即9个标记框尺寸，所述9个标记框按尺寸的大小依次从小到大分给52*52，26*26，13*13三个特征图，其中52*52的特征图获得最小的3个标记框。
技术方案二
一种基于深度学习的条码检测系统，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤：
S1：获取多个带有未标记条码的图像。
S2：将获取的多个带有未标记条码的图像组建训练样本集，对所述训练样本集中的条码进行标记，框出图像中大致的条码位置，并标注条码类别，作为标签文件存储。
S3：建立深度学习条码检测模型，包括如下步骤：
S31：建立条码特征提取网络，所述条码特征提取网络通过卷积运算将像素大小为416*416的输入图像输出为三个不同尺寸的特征图，尺寸分别为52*52、26*26、13*13。
S32：建立后处理网络，所述后处理网络使用步骤S31产生的所述特征图进行目标预测，所述三个特征图分别具有三个预先设置的标记框，使用所述标记框对所述三个特征图分别做目标预测，标记条码位置并判断条码类型。
S33：建立全连接层，将经过步骤S32处理的带有标记框的特征图进行卷积处理转化为一个一维向量，所述一维向量是长度值为7的数组，表示所述标记框的预测信息，其中，4个数值表示所述标记框的坐标偏移量tx、ty、tw、th，tx表示标记框中点横坐标，ty表示标记框中点纵坐标，tw表示标记框宽度，th表示标记框高度，1个数值表示标记框的置信度to，2个数值表示每个类别的概率p1、p2，p1表示所述条码是一维码的概率，p2表示所述条码是二维码的概率。
S4：训练所述深度学习条码检测模型，将所述训练样本集及标签文件送入所述深度学习条码检测模型，训练修正出可用于检测的条码检测模型，并封装成条码检测模块。
S5：将待检测图像缩放为固定尺寸大小416*416的图像，送入所述条码检测模块进行条码检测，输出条码位置坐标和条码类别，根据输出的坐标切割出条码区域图像，执行对应的解码操作。
所述条码特征提取网络的主干采用53层残差卷积网络。
所述特征图的尺寸变换是通过改变网络中的卷积核的步长来获取，包括如下步骤：
输入416*416像素大小的图像，经过3次卷积核步长为2的卷积运算操作得到52*52像素大小的特征图。
对52*52像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到26*26像素大小的特征图。
对26*26像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到13*13像素大小的特征图。
所述预先设置的标记框通过聚类算法获得，训练样本集中的标记框通过聚类运算得到9个聚类中心，即9个标记框尺寸，所述9个标记框按尺寸的大小依次从小到大分给52*52，26*26，13*13三个特征图，其中52*52的特征图获得最小的3个标记框。
本发明具有如下有益效果：
1、本发明的一种基于深度学习的条码检测方法及其系统，通过搭建神经网络进行目标条码预测，预测精度高，效率快；
2、本发明的一种基于深度学习的条码检测方法及其系统，使用3种不同尺寸特征图对目标进行预测，可以对不同尺寸的条码进行快速检测。
附图说明
图1为本发明的一种基于深度学习的条码检测方法及其系统的流程图；
图2为本发明的一种基于深度学习的条码检测方法及其系统的一个实施例的标记操作示意图；
图3为本发明的一种基于深度学习的条码检测方法及其系统的一个实施例的标记操作示意图；
图4为本发明的一种基于深度学习的条码检测方法及其系统的一个实施例的神经网络示意图；
图5为本发明的一种基于深度学习的条码检测方法及其系统的一个实施例的训练模型输入图；
图6为本发明的一种基于深度学习的条码检测方法及其系统的一个实施例的检测输入图；
图7为本发明的一种基于深度学习的条码检测方法及其系统的一个实施例的检测输出图。
具体实施方式
下面结合附图和具体实施例来对本发明进行详细的说明。
实施例一
如图1所示，一种基于深度学习的条码检测方法，包括如下步骤：
S1：获取多个带有未标记条码的图像。
所述带有未标记条码的图像包括快递面单，商品外包装等表面具有条码的物品，通过拍摄或扫描其带有条码的一面，将其转化为电子图像，并所缩放为416*416像素大小的图像进行储存。
S2：将获取的多个带有未标记条码的图像组建训练样本集，对所述训练样本集中的条码进行标记，框出图像中大致的条码位置，并标注条码类别，作为标签文件存储。
训练样本集中的图像数量越多越好，在本实施例中，训练样本集中的图像数目为1000张，针对特定对象还可细分为不同小组，比如快递单组，商品包装组，文件组等。对条码进行标记初期使用人工标记，后期可通过机器和人工辅助进行标注。条码标记使用LabelImg软件，是一个可视化的图像标定工具，属于深度学习领域常用的标注工具。
如图2和图3所示，识别图像中的条码，使用线框将条码框住，并在弹出的标记信息栏里填写该条码的类型，如图2中的正在框取的条码为普通一维条码，则在信息栏内标注为barcode，图3中的正在框取的条码为qr二维码，则标注为qrcode。
保存标记框坐标和标记信息栏为标签数据，一张图像对应一个标签文件，一个标签文件可含多个标签数据。如图2所示，其图中包括上方的一维条码和下方的QR二维条码，一维条码信息和QR二维条码信息分别保存为一个标签数据，其合并为一个标签文件，对应当前的快递单图像。
S3：建立深度学习条码检测模型，包括如下步骤：
本实施例中的条码检测模型所使用的神经网络是目前的常用技术，包括后续的卷积操作和一维向量转化，如图四所示。
S31：建立条码特征提取网络，所述条码特征提取网络通过卷积运算将像素大小为416*416的输入图像输出为三个不同尺寸的特征图，尺寸分别为52*52、26*26、13*13；
条码特征提取网络的主干采用53层残差卷积网络。
残差卷积网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。本实施例使用的53层是经过多次实验得出的最佳层数。
所述特征图的尺寸变换是通过改变网络中的卷积核的步长来获取，包括如下步骤：
输入416*416像素大小的图像，经过3次卷积核步长为2的卷积运算操作得到52*52像素大小的特征图；
对52*52像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到26*26像素大小的特征图；
对26*26像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到13*13像素大小的特征图。
之所以输出三个尺寸的特征图，是为了适应不同尺寸的目标。对于13*13的输出，其下采样倍数较高，感受视野比较大，适合检测图像中尺寸比较大的目标；26*26则适合检测中等尺寸的目标；52*52其感受视野比较小，适合检测小尺寸的目标。
S32：建立后处理网络，所述后处理网络使用步骤S31产生的所述特征图执行条码区域预测和类别判断，其中，所述三个特征图分别具有三个预先设置的标记框，使用所述标记框对所述三个特征图分别做条码检测，标记条码位置并判断条码类型；
标记框就是类似图2和图3中的标记框，用于标记条码位置，对框中的条码判断类型，由于标记框的坐标是模型自身不断学习并调节大小，因此，这里事先给定9个尺寸的标记框作为备选，可以使模型学习更快、更精确，9个标记框尺寸不同，按照大小分配给三个不同尺寸的特征图，通过不断的学习，模型最终确定不同特征图对应的最佳标记框。
所述预先设置的标记框通过聚类方法获得，训练样本集中的标记框通过聚类运算得到9个聚类中心，即9个标记框尺寸，所述9个标记框按尺寸的大小依次从小到大分给52*52，26*26，13*13三个特征图，其中52*52的特征图获得最小的3个标记框。
聚类就是按照某个特定标准(如距离准则，即数据点之间的距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。可以具体地理解为，聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。
S33：建立全连接层，将经过步骤S32处理的带有标记框的特征图进行卷积处理转化为一个一维向量，所述一维向量是长度值为7的数组，表示所述标记框的预测信息，其中，4个数值表示所述标记框的坐标偏移量tx、ty、tw、th，tx表示标记框中点横坐标，ty表示标记框中点纵坐标，tw表示标记框宽度，th表示标记框高度，1个数值表示标记框的置信度to，2个数值表示每个类别的概率p1、p2，p1表示所述条码是一维码的概率，p2表示所述条码是二维码的概率。
如图5所示，训练模型时输入此图，模型经过神经网络检测识别图中的QR二维码位置，经过卷积处理输出一维向量浮点型数组，数值在0-1之间：[0.41548332, 0.88691297,0.71792224, 0.13609899, 0.92670371, 0.06525489, 0.83815314]。前四个数值标识条码位置标记框坐标，后两个数值表示系统判定当前该条码为QR二维码的几率为83%，为一维码的几率为6%。当前坐标和类别正确度和标签文件进行对比还有数值差异，经过后续多次训练，确保数值无误。
整个网络搭建后，需要经过训练，神经网络逐步自行调整网络权值适用于条码检测，最后输入一张图片就得到图片上的所有条码坐标，真正实现预测。
以上步骤在神经网络内部运行，运行方法和使用到的算法是本领域的公知常识，属于机器内部数据。
S4：训练所述深度学习条码检测模型，将所述训练样本集及标签文件送入所述深度学习条码检测模型，训练修正出可用于检测的条码检测模型，并封装成条码检测模块；
自我训练将步骤S33输出的预测信息和标签文件进行对比，并不断修正直至结果和标签文件相同。神经网络的修正方法即为修改网络中的各输入权值，神经网络自行处理。
S5：将待检测图像缩放为固定尺寸大小416*416的图像，送入所述条码检测模块进行条码检测，输出条码位置坐标和条码类别，根据输出的坐标切割出条码区域图像，执行对应的解码操作。
如图5所示，输入待检测图像，经过条码检测后输出如图6显示，图中上方的条码已被准确标记出，同时接收到该条码为一维条码，启动一维码解码程序。
本发明的一种基于深度学习的条码检测方法及其系统，通过搭建神经网络进行目标条码预测，预测精度高，效率快；使用3种不同尺寸特征图对目标进行预测，可以对不同尺寸的原图进行快速检测。
实施例二
一种基于深度学习的条码检测系统，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤：
S1：获取多个带有未标记条码的图像。
S2：将获取的多个带有未标记条码的图像组建训练样本集，对所述训练样本集中的条码进行标记，框出图像中大致的条码位置，并标注条码类别，作为标签文件存储。
S3：建立深度学习条码检测模型，包括如下步骤：
S31：建立条码特征提取网络，所述条码特征提取网络通过卷积运算将像素大小为416*416的输入图像输出为三个不同尺寸的特征图，尺寸分别为52*52、26*26、13*13。
S32：建立后处理网络，所述后处理网络使用步骤S31产生的所述特征图进行目标预测，所述三个特征图分别具有三个预先设置的标记框，使用所述标记框对所述三个特征图分别做目标预测，标记条码位置并判断条码类型。
S33：建立全连接层，将经过步骤S32处理的带有标记框的特征图进行卷积处理转化为一个一维向量，所述一维向量是长度值为7的数组，表示所述标记框的预测信息，其中，4个数值表示所述标记框的坐标偏移量tx、ty、tw、th，tx表示标记框中点横坐标，ty表示标记框中点纵坐标，tw表示标记框宽度，th表示标记框高度，1个数值表示标记框的置信度to，2个数值表示每个类别的概率p1、p2，p1表示所述条码是一维码的概率，p2表示所述条码是二维码的概率。
S4：训练所述深度学习条码检测模型，将所述训练样本集及标签文件送入所述深度学习条码检测模型，训练修正出可用于检测的条码检测模型，并封装成条码检测模块。
S5：将待检测图像缩放为固定尺寸大小416*416的图像，送入所述条码检测模块进行条码检测，输出条码位置坐标和条码类别，根据输出的坐标切割出条码区域图像，执行对应的解码操作。
所述条码特征提取网络的主干采用53层残差卷积网络。
所述特征图的尺寸变换是通过改变网络中的卷积核的步长来获取，包括如下步骤：
输入416*416像素大小的图像，经过3次卷积核步长为2的卷积运算操作得到52*52像素大小的特征图。
对52*52像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到26*26像素大小的特征图。
对26*26像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到13*13像素大小的特征图。
所述预先设置的标记框通过聚类算法获得，训练样本集中的标记框通过聚类运算得到9个聚类中心，即9个标记框尺寸，所述9个标记框按尺寸的大小依次从小到大分给52*52，26*26，13*13三个特征图，其中52*52的特征图获得最小的3个标记框。
本发明的一种基于深度学习的条码检测方法及其系统，通过搭建神经网络进行目标条码预测，预测精度高，效率快；使用3种不同尺寸特征图对目标进行预测，可以对不同尺寸的原图进行快速检测。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包含在本发明的专利保护范围内。

Claims (8)

1.一种基于深度学习的条码检测方法，其特征在于，包括如下步骤：
S1：获取多个带有未标记条码的图像；
S2：将获取的多个带有未标记条码的图像组建训练样本集，对所述训练样本集中的条码进行标记，框出图像中大致的条码位置，并标注条码类别，作为标签文件存储；
S3：建立深度学习条码检测模型，包括如下步骤：
S31：建立条码特征提取网络，所述条码特征提取网络通过卷积运算将像素大小为416*416的输入图像输出为三个不同尺寸的特征图，尺寸分别为52*52、26*26、13*13；
S32：建立后处理网络，所述后处理网络使用步骤S31产生的所述特征图执行条码区域预测和类别判断，其中，三个特征图分别具有三个预先设置的标记框，使用所述标记框对所述三个特征图分别做条码检测，标记条码位置并判断条码类型；
S33：建立全连接层，将经过步骤S32处理的带有标记框的特征图进行卷积处理转化为一个一维向量，所述一维向量是长度值为7的数组，表示所述标记框的预测信息，其中，4个数值表示所述标记框的坐标偏移量tx、ty、tw、th，tx表示标记框中点横坐标，ty表示标记框中点纵坐标，tw表示标记框宽度，th表示标记框高度，1个数值表示标记框的置信度to，2个数值表示每个类别的概率p1、p2，p1表示所述条码是一维码的概率，p2表示所述条码是二维码的概率；
S4：训练所述深度学习条码检测模型，将所述训练样本集及标签文件送入所述深度学习条码检测模型，训练修正出可用于检测的条码检测模型，并封装成条码检测模块；
S5：将待检测图像缩放为固定尺寸大小416*416的图像，送入所述条码检测模块进行条码检测，输出条码位置坐标和条码类别，根据输出的坐标切割出条码区域图像，执行对应的解码操作。
2.根据权利要求1所述的一种基于深度学习的条码检测方法，其特征在于，所述条码特征提取网络的主干采用53层残差卷积网络。
3.根据权利要求2所述的一种基于深度学习的条码检测方法，其特征在于，所述特征图的尺寸变换是通过改变网络中的卷积核的步长来获取，包括如下步骤：
输入416*416像素大小的图像，经过3次卷积核步长为2的卷积运算操作得到52*52像素大小的特征图；
对52*52像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到26*26像素大小的特征图；
对26*26像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到13*13像素大小的特征图。
4.根据权利要求3所述的一种基于深度学习的条码检测方法，其特征在于：所述预先设置的标记框通过聚类方法获得，训练样本集中的标记框通过聚类运算得到9个聚类中心，即9个标记框尺寸，9个标记框按尺寸的大小依次从小到大分给52*52，26*26，13*13三个特征图，其中52*52的特征图获得最小的3个标记框。
5.一种基于深度学习的条码检测系统，其特征在于，包括存储器和处理器，所述存储器存储有指令，所述指令适于由处理器加载并执行以下步骤：
S1：获取多个带有未标记条码的图像；
S2：将获取的多个带有未标记条码的图像组建训练样本集，对所述训练样本集中的条码进行标记，框出图像中大致的条码位置，并标注条码类别，作为标签文件存储；
S3：建立深度学习条码检测模型，包括如下步骤：
S31：建立条码特征提取网络，所述条码特征提取网络通过卷积运算将像素大小为416*416的输入图像输出为三个不同尺寸的特征图，尺寸分别为52*52、26*26、13*13；
S32：建立后处理网络，所述后处理网络使用步骤S31产生的所述特征图进行目标预测，三个特征图分别具有三个预先设置的标记框，使用所述标记框对所述三个特征图分别做目标预测，标记条码位置并判断条码类型；
S33：建立全连接层，将经过步骤S32处理的带有标记框的特征图进行卷积处理转化为一个一维向量，所述一维向量是长度值为7的数组，表示所述标记框的预测信息，其中，4个数值表示所述标记框的坐标偏移量tx、ty、tw、th，tx表示标记框中点横坐标，ty表示标记框中点纵坐标，tw表示标记框宽度，th表示标记框高度，1个数值表示标记框的置信度to，2个数值表示每个类别的概率p1、p2，p1表示所述条码是一维码的概率，p2表示所述条码是二维码的概率；
S4：训练所述深度学习条码检测模型，将所述训练样本集及标签文件送入所述深度学习条码检测模型，训练修正出可用于检测的条码检测模型，并封装成条码检测模块；
S5：将待检测图像缩放为固定尺寸大小416*416的图像，送入所述条码检测模块进行条码检测，输出条码位置坐标和条码类别，根据输出的坐标切割出条码区域图像，执行对应的解码操作。
6.根据权利要求5所述的一种基于深度学习的条码检测系统，其特征在于，特征提取网络的主干采用53层残差卷积网络。
7.根据权利要求6所述的一种基于深度学习的条码检测系统，其特征在于，所述特征图的尺寸变换是通过改变网络中的卷积核的步长来获取，包括如下步骤：
输入416*416像素大小的图像，经过3次卷积核步长为2的卷积运算操作得到52*52像素大小的特征图；
对52*52像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到26*26像素大小的特征图；
对26*26像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到13*13像素大小的特征图。
8.根据权利要求7所述的一种基于深度学习的条码检测系统，其特征在于：所述预先设置的标记框通过聚类方法获得，训练样本集中的标记框通过聚类运算得到9个聚类中心，即9个标记框尺寸，9个标记框按尺寸的大小依次从小到大分给52*52，26*26，13*13三个特征图，其中52*52的特征图获得最小的3个标记框。
CN201910706173.8A 2019-08-01 2019-08-01 一种基于深度学习的条码检测方法及其系统 Active CN110427793B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910706173.8A CN110427793B (zh) 2019-08-01 2019-08-01 一种基于深度学习的条码检测方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910706173.8A CN110427793B (zh) 2019-08-01 2019-08-01 一种基于深度学习的条码检测方法及其系统

Publications (2)

Publication Number Publication Date
CN110427793A CN110427793A (zh) 2019-11-08
CN110427793B true CN110427793B (zh) 2022-04-26

Family

ID=68411997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910706173.8A Active CN110427793B (zh) 2019-08-01 2019-08-01 一种基于深度学习的条码检测方法及其系统

Country Status (1)

Country Link
CN (1) CN110427793B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110929774B (zh) * 2019-11-18 2023-11-14 腾讯科技（深圳）有限公司 图像中目标物的分类方法、模型训练方法和装置
CN111222355A (zh) * 2019-12-30 2020-06-02 新大陆数字技术股份有限公司 Pcb板上的条码定位方法及系统
CN111310509A (zh) * 2020-03-12 2020-06-19 北京大学 基于物流运单的实时条码检测系统及方法
CN111723815B (zh) * 2020-06-23 2023-06-30 中国工商银行股份有限公司 模型训练方法、图像处理方法、装置、计算机系统和介质
CN111931530B (zh) * 2020-07-01 2021-05-28 上海视界纵横智能科技有限公司 基于深度学习的工业条码识别装置及方法
CN111881702A (zh) * 2020-07-17 2020-11-03 深圳牛图科技有限公司 一种基于YOLO-barQR算法的多码快速识读方法
CN112464687A (zh) * 2020-11-19 2021-03-09 苏州摩比信通智能系统有限公司 图形码处理方法、装置以及终端设备
CN112580382B (zh) * 2020-12-28 2022-06-17 哈尔滨工程大学 基于目标检测二维码定位方法
CN113378598B (zh) * 2021-06-21 2023-04-25 北方工业大学 一种基于深度学习的动态条码检测方法
CN113553874A (zh) * 2021-07-27 2021-10-26 张金翼 一种复杂环境下快递条码检测方法
CN113627207B (zh) * 2021-08-02 2024-03-22 深圳思谋信息科技有限公司 条码识别方法、装置、计算机设备和存储介质
CN113705749A (zh) * 2021-08-31 2021-11-26 平安银行股份有限公司 基于深度学习的二维码识别方法、装置、设备及存储介质
CN114021596B (zh) * 2021-09-22 2024-08-27 厦门华联电子股份有限公司 一种基于深度学习的条码识别方法及装置
CN114139564B (zh) * 2021-12-07 2024-05-07 Oppo广东移动通信有限公司 二维码检测方法、装置、终端设备及检测网络的训练方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416412A (zh) * 2018-01-23 2018-08-17 浙江瀚镪自动化设备股份有限公司 一种基于多任务深度学习的物流复合码识别方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN109325947A (zh) * 2018-09-20 2019-02-12 北京航空航天大学 一种基于深度学习的sar图像铁塔目标检测方法
CN109543486A (zh) * 2018-10-29 2019-03-29 华南理工大学 基于神经网络的条形码定位方法及系统
CN109858305A (zh) * 2019-01-17 2019-06-07 柳州康云互联科技有限公司 一种基于深度学习的二维码定位识别系统及方法
CN109886060A (zh) * 2019-02-21 2019-06-14 苏州天准科技股份有限公司 一种基于深度学习的条码区域定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8851379B2 (en) * 2012-06-29 2014-10-07 Intel Corporation Method and system for decoding small sized barcodes from blurred images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108416412A (zh) * 2018-01-23 2018-08-17 浙江瀚镪自动化设备股份有限公司 一种基于多任务深度学习的物流复合码识别方法
CN108564109A (zh) * 2018-03-21 2018-09-21 天津大学 一种基于深度学习的遥感图像目标检测方法
CN109325947A (zh) * 2018-09-20 2019-02-12 北京航空航天大学 一种基于深度学习的sar图像铁塔目标检测方法
CN109543486A (zh) * 2018-10-29 2019-03-29 华南理工大学 基于神经网络的条形码定位方法及系统
CN109858305A (zh) * 2019-01-17 2019-06-07 柳州康云互联科技有限公司 一种基于深度学习的二维码定位识别系统及方法
CN109886060A (zh) * 2019-02-21 2019-06-14 苏州天准科技股份有限公司 一种基于深度学习的条码区域定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于深度学习的多条形码检测与实现";周勉，刘秉瀚;《信息技术与网络安全》;20180910;第65-69页 *

Also Published As

Publication number Publication date
CN110427793A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN110427793B (zh) 一种基于深度学习的条码检测方法及其系统
CN110046529B (zh) 二维码识别方法、装置及设备
EP2414992A1 (en) Apparatus and methods for analysing goods packages
CN109741551B (zh) 一种商品识别结算方法、装置及系统
CN105678322A (zh) 样本标注方法和装置
CN111461133B (zh) 快递面单品名识别方法、装置、设备及存储介质
Tribak et al. QR code recognition based on principal components analysis method
US11741685B2 (en) Commodity identification device, non-transitory computer-readable storage medium, and learning method
CN111597857B (zh) 一种物流包裹检测方法、装置、设备及可读存储介质
CN110114781B (zh) 用于检测和识别远程高密度视觉标记的方法
CN113989604B (zh) 基于端到端深度学习的轮胎dot信息识别方法
CN115619791B (zh) 一种物品陈列检测方法、装置、设备及可读存储介质
US20210073500A1 (en) System for multiple decode of captured images
CN107403179B (zh) 一种物品包装信息的注册方法及装置
CN112365453A (zh) 快递货物堆放的检测方法、装置、设备和存储介质
CN114528865A (zh) 条形码检测模型的训练方法、装置及条形码检测方法、装置
CN114241469A (zh) 一种面向电表轮换过程的信息识别方法和装置
CN101833644A (zh) 一种基于动态模板的校正图形搜索方法
US11941863B2 (en) Imaging system and method using a multi-layer model approach to provide robust object detection
CN113297870A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111079575B (zh) 一种基于包装图像特征的物料识别方法及系统
CN115205861B (zh) 一种获取异常文字识别区域的方法、电子设备及存储介质
CN117195928A (zh) 一种基于深度学习的条码定位检测方法
Wang et al. FRCA: High-efficiency container number detection and recognition algorithm with enhanced attention
JPH07168910A (ja) 文書レイアウト解析装置及び文書フォ−マット識別装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant