CN113553874A - 一种复杂环境下快递条码检测方法 - Google Patents
一种复杂环境下快递条码检测方法 Download PDFInfo
- Publication number
- CN113553874A CN113553874A CN202110852404.3A CN202110852404A CN113553874A CN 113553874 A CN113553874 A CN 113553874A CN 202110852404 A CN202110852404 A CN 202110852404A CN 113553874 A CN113553874 A CN 113553874A
- Authority
- CN
- China
- Prior art keywords
- picture
- bar code
- express delivery
- complex environment
- detection method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 14
- 230000002452 interceptive effect Effects 0.000 claims abstract description 13
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 238000012216 screening Methods 0.000 claims abstract description 5
- 238000004519 manufacturing process Methods 0.000 claims abstract description 4
- 238000009432 framing Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 description 9
- 238000011160 research Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1413—1D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Electromagnetism (AREA)
- Toxicology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种复杂环境下快递条码检测方法，包括采集条码图片，使用相机或手机拍摄快递包裹；筛选采集到的图片，保证图片上的快递条码不是模糊的；使用标注数据集的软件，对图片进行标注并将框选后的图片信息输出后的文件用于YOLOV4神经网络训练；制作交互界面，交互界面包括视频显示模块、文本模块、开始模块和结束模块，在界面上显示摄像头读取到的画面并且将画面中出现的条码框出来，并将条码带有的信息读取并显示。本发明方法合理可行，能在复杂环境中快速成功识别快递条码，用时短，成功率高，对现有技术来说，具有很好的市场前景和发展空间。
Description
技术领域
本发明涉及条码检测方法技术领域，具体涉及一种复杂环境下快递条码检测方法。
背景技术
条形码的检测是一种目标检测，在图片上将所有物体分为两类——条码、非条码，依照其原理可在目标检测的算法中选取合适的算法。目前主流的目标检测算法分为one-stage网络和two-stage网络，两种网络的结构如图1、图2所示。one-stage不需要产生候选区域，直接产生物体的类别概率和位置坐标值，经过单次检测即可得到最终结果。two-stage网络首先产生候选区域然后利用卷积神经网络对候选区域分类。one-stage算法省略了一个步骤所以它检测速度较快，但损失了一定的精度，two-stage算法精度普遍较前者高但用时相对较长。
目前工业现场对于快递条码的检测大多使用的是传统图像处理的方法或调用python中的库，如形态学处理、zbar等等，但通过在现场的实际调查及其他学者所做的研究发现这些方法对于复杂环境（昏暗、快递单出现污损、背景对比度不强等）下的快递条码检测及识别效果并不好，识别成功率不高。
如何设计一种方法合理可行，能在复杂环境中快速成功识别快递条码，用时短，成功率高的一种复杂环境下快递条码检测方法是目前需要解决的问题。
发明内容
为了解决现有快递条码的检测及识别效果不好，识别成功率不高等技术问题，本发明提供一种复杂环境下快递条码检测方法，来实现方法合理可行，能在复杂环境中快速成功识别快递条码，用时短，成功率高的目的。
本发明为解决上述技术问题所采用的技术方案是：一种复杂环境下快递条码检测方法，包括以下步骤：
步骤一，采集条码图片，使用相机或手机拍摄快递包裹；
步骤二，筛选步骤一采集到的图片，保证图片上的快递条码不是模糊的；
步骤三，使用标注数据集的软件，对图片中的条码进行标记，作为标签文件存储；
步骤四：将标记后的文件用于神经网络训练，采用YOLOV4目标检测算法对图片进行目标检测，主要包含如下步骤：
4.1：输入大小为（416,416,3）的图像，图像先通过DarknetConv2D_BN_Mish卷积块进行卷积，得到大小为(416,416,32)，再进行5次resblockbody，每一次宽高都减半，深度翻倍；
4.2：经过由SPP结构与PANet结构组成的特征金字塔提取图像中条形码的特征；
4.3：经过一个一个3×3卷积，一个是1×1卷积，进行通道调整最后得到三个输出(52,52,75)，(26,26,75)，(13,13,75)；
4.4：将上个分步骤中得到的输出进行解码，得到条形码在图片中的位置，将其框出；
步骤五，将步骤三中检测到的条码区域传递给条码扫描库，条码扫描库采用pyzbar库，由pyzbar库识别读取条码信息并输出；
步骤六，制作交互界面，交互界面包括视频显示模块、文本模块、开始模块和结束模块，在界面上显示摄像头读取到的并已框出条码的画面，同时将条码带有的信息显示。
所述步骤一挑选的画面扭曲、包裹受损、快递单有污损的图片放入数据集以使其符合工业现场中复杂环境。
所述步骤二中筛选的光线昏暗且对比度不明显的图片、快递条码占整张图片比例较低且背景复杂的图片、快递单褶皱有破损。
所述步骤三使用标注数据集的软件采用labelimg软件，对图片进行标注并将框选后的图片信息输出为xml后缀的文件用于YOLOV4神经网络训练。
所述步骤五中开发交互界面使用的是pyqt软件。
与现有技术相比，本发明的有益效果是：
1）本发明复杂环境下快递条码检测方法能在复杂环境中快速成功识别快递条码，用时短，成功率高；
2）标注数据集的软件采用labelimg软件，labelimg软件在目标检测中比较常用，方便进行神经网络训练；
3）开发交互界面使用的是pyqt软件，使用python语言直接编写且可以在视窗模式下创作界面；
4）训练网络使用YOLOV4，该方法对于小目标、多尺度的检测效果更强，优于现有方法，该算法在YOLOV3的基础上做出了改进，是一种高效而强大的目标检测模型，较YOLOV3而言检测速度更快、检测效果更好，它在检测器训练过程中验证了一些最先进的研究成果对目标检测器的影响，改进了SOTA方法，使其更有效、更适合单GPU训练。
附图说明
图1是one-stage网络结构图；
图2是two-stage网络结构图；
图3是公开数据集图片；
图4是代表性数据集图片；
图5是标记图片；
图6是pyqt软件制成的GUI界面图片。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细的说明。
一种复杂环境下快递条码检测方法，包括以下步骤：
步骤一，采集条码图片，使用相机或手机拍摄快递包裹；
步骤二，筛选步骤一采集到的图片，保证图片上的快递条码不是模糊的；
步骤三，使用标注数据集的软件，对图片中的条码进行标记，作为标签文件存储，使用标注数据集的软件采用labelimg软件，对图片进行标注并将框选后的图片信息输出为xml后缀的文件用于YOLOV4神经网络训练；
步骤四：将标记后的文件用于神经网络训练，采用YOLOV4目标检测算法对图片进行目标检测，主要包含如下步骤：
4.1：输入大小为（416,416,3）的图像，图像先通过DarknetConv2D_BN_Mish卷积块进行卷积，得到大小为(416,416,32)，再进行5次resblockbody，每一次宽高都减半，深度翻倍，这个是卷积的内部过程，resblockbody为一个模块，宽高即为416，深度为32，对其做5次变换；
4.2：经过由SPP结构与PANet结构组成的特征金字塔提取图像中条形码的特征；
4.3：经过一个一个3×3卷积，一个是1×1卷积，进行通道调整最后得到三个输出(52,52,75)，(26,26,75)，(13,13,75)；
4.4：将上个分步骤中得到的输出进行解码（上个分步骤的输出中蕴含了框出条码的框的中心点位置和概率），得到条形码在图片中的位置及概率，将其框出；
步骤五，将步骤三中检测到的条码区域传递给条码扫描库，条码扫描库采用pyzbar库，开发交互界面使用的是pyqt软件，由pyzbar库识别读取条码信息并输出；
步骤六，制作交互界面，交互界面包括视频显示模块、文本模块、开始模块和结束模块，在界面上显示摄像头读取到的并已框出条码的画面，同时将条码带有的信息显示。
以上为本发明的基本实施方式，可在以上基础上做进一步的改进、完善和限定：如所述步骤一挑选的画面扭曲、包裹受损、快递单有污损的图片放入数据集以使其符合工业现场中复杂环境。
以上为本发明的基本实施方式，可在以上基础上做进一步的改进、完善和限定：如所述步骤二中筛选的光线昏暗且对比度不明显的图片、快递条码占整张图片比例较低且背景复杂的图片、快递单褶皱有破损。
实际操作中，首先，为了保证数据集来源的广泛性，在大学内选取了常见的几家快递公司如顺丰、京东、韵达、中通、圆通、德邦及申通作为数据集的来源，由于缺少工业相机，采集者选择使用手机拍摄快递包裹，在拍摄时着重注意了背景的复杂性并确保快递包裹占画面比例不为恒定，混合拍摄了光线昏暗、强光、正常光线的快递图片，此外挑选了画面扭曲、包裹受损、快递单有污损的图片放入数据集以使其更符合工业现场中复杂环境这一前提设定。以这些原则采集，受限于时间及快递点的人流量，作者最终采集到了375张图片作为数据集；然后，通过人工观察每一张图片中条码的情况剔除其中不符合要求的照片。在筛选之后数据集中余下276张图片。这也从侧面说明了数据集采集中使用的设备也是很重要的。图4为三张具有代表性的图片。从左至右分别为光线昏暗且对比度不明显的图片、快递条码占整张图片比例较低且背景复杂的图片、快递单褶皱有破损的图片；目标检测中需要手工将图片中要检测的物品框选出来才能让计算机学习，可用于标注数据集的软件有labelme、labelimg、labelhub、vgg等，这些软件各有优缺点，能输出不同格式的标注文件，在此使用了目标检测中比较常用的labelimg软件对图片进行标注并将框选后的图片信息输出为xml后缀的文件用于神经网络训练。如图5所示，打开labelimg软件后加载图片所在目录，使用鼠标在界面上框出标记区域然后加上标签，选择输出文件类型即可，本研究中使用VOC格式文件。需要注意的是标记后的文件需与原始图片一一对应否则在训练时会出现问题；在制作交互界面的时候使用pyqt5作为开发GUI的工具，制成的GUI界面如图6所示，视频显示模块负责将由算法框好条码的图片一帧一帧地显示出来，文本模块负责显示快递信息及检测耗时，开始模块中记录让整个程序开始运行的命令，结束模块负责中止图像的传递。综上，运行main.py后点击开始即可实现对快递条码的检测、识别，所有快递条码信息读取之后点击结束则关闭程序；YOLOV3、YOLOV4、SSD均是one-stage系列的深度学习算法，在此处作者以同一数据集、同样的迭代次数对其进行训练得到模型，应用pyzbar识别信息，以它们对相同测试环境下同样10张图片中快递条码的检测、识别10次的平均精度与平均耗时为评判标准来对其进行评估，对比数据如表1所示，复杂环境下成功概率高，平均精度高，平均耗时短。
表1 YOLOV3、YOLOV4、SSD效果对比
| 算法名称 | 复杂环境下成功概率 | 平均精度 | 平均耗时/s |
| YOLOV4 | 100% | 0.96 | 0.08 |
| YOLOV3 | 50% | 0.69 | 0.05 |
| SSD | 70% | 0.81 | 0.04 |
根据上述图表可知，SSD算法在检测时间上要优于YOLOV3和YOLOV4，精准度、复杂环境下的识别成功率要高于YOLOV3，YOLOV4的检测时间虽长于两者但其精准度、在复杂环境下的识别成功率最高。综合而言YOLOV4算法于SSD算法对于快递条码的检测均是很好的选择，但针对于复杂环境下的检测而言YOLOV4以其稳定性要优于SSD算法。
产生这些结果的原因为：SSD及YOLOV3的模型比YOLOV4要小，故运行时间会短一些，SSD相较于YOLOV3对于单目标检测的效果要好，更适合条码检测。YOLOV4在YOLOV3的基础上做出了很多的改进提升了对于小目标的检测效果因此其训练效果更好，在复杂环境中能准确检测到条码。
本发明方法合理可行，能在复杂环境中快速成功识别快递条码，用时短，成功率高，解决现有快递条码的检测及识别效果不好，识别成功率不高等技术问题，对现有技术来说，具有很好的市场前景和发展空间。
上面结合附图对本发明优选的具体实施方式和实施例作了详细说明，但是本发明并不限于上述实施方式和实施例，在本领域技术人员所具备的知识范围内，还可以在不脱离本发明构思的前提下作出各种变化。
Claims (5)
1.一种复杂环境下快递条码检测方法，其特征在于：包括以下步骤：
步骤一，采集条码图片，使用相机或手机拍摄快递包裹；
步骤二，筛选步骤一采集到的图片，保证图片上的快递条码不是模糊的；
步骤三，使用标注数据集的软件，对图片中的条码进行标记，作为标签文件存储；
步骤四：将标记后的文件用于神经网络训练，采用YOLOV4目标检测算法对图片进行目标检测，主要包含如下步骤：
4.1：输入大小为（416,416,3）的图像，图像先通过DarknetConv2D_BN_Mish卷积块进行卷积，得到大小为(416,416,32)，再进行5次resblockbody，每一次宽高都减半，深度翻倍；
4.2：经过由SPP结构与PANet结构组成的特征金字塔提取图像中条形码的特征；
4.3：经过一个一个3×3卷积，一个是1×1卷积，进行通道调整最后得到三个输出(52,52,75)，(26,26,75)，(13,13,75)；
4.4：将上个分步骤中得到的输出进行解码，得到条形码在图片中的位置，将其框出；
步骤五，将步骤三中检测到的条码区域传递给条码扫描库，条码扫描库采用pyzbar库，由pyzbar库识别读取条码信息并输出；
步骤六，制作交互界面，交互界面包括视频显示模块、文本模块、开始模块和结束模块，在界面上显示摄像头读取到的并已框出条码的画面，同时将条码带有的信息显示。
2.如权利要求1所述的一种复杂环境下快递条码检测方法，其特征在于：所述步骤一挑选的画面扭曲、包裹受损、快递单有污损的图片放入数据集以使其符合工业现场中复杂环境。
3.如权利要求1所述的一种复杂环境下快递条码检测方法，其特征在于：所述步骤二中筛选的光线昏暗且对比度不明显的图片、快递条码占整张图片比例较低且背景复杂的图片、快递单褶皱有破损。
4.如权利要求1所述的一种复杂环境下快递条码检测方法，其特征在于：所述步骤三使用标注数据集的软件采用labelimg软件，对图片进行标注并将框选后的图片信息输出为xml后缀的文件用于YOLOV4神经网络训练。
5.如权利要求1所述的一种复杂环境下快递条码检测方法，其特征在于：所述步骤六中开发交互界面使用的是pyqt软件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110852404.3A CN113553874A (zh) | 2021-07-27 | 2021-07-27 | 一种复杂环境下快递条码检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110852404.3A CN113553874A (zh) | 2021-07-27 | 2021-07-27 | 一种复杂环境下快递条码检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113553874A true CN113553874A (zh) | 2021-10-26 |
Family
ID=78104622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110852404.3A Pending CN113553874A (zh) | 2021-07-27 | 2021-07-27 | 一种复杂环境下快递条码检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113553874A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115410196A (zh) * | 2022-10-31 | 2022-11-29 | 南昌理工学院 | 一种基于复杂背景下的小目标识别系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427793A (zh) * | 2019-08-01 | 2019-11-08 | 厦门商集网络科技有限责任公司 | 一种基于深度学习的条码检测方法及其系统 |
| CN111144151A (zh) * | 2019-12-25 | 2020-05-12 | 山东财经大学 | 一种基于图像识别的高速动态条码实时检测方法 |
| CN112001339A (zh) * | 2020-08-27 | 2020-11-27 | 杭州电子科技大学 | 一种基于YOLO v4的行人社交距离实时监测方法 |
-
2021
- 2021-07-27 CN CN202110852404.3A patent/CN113553874A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110427793A (zh) * | 2019-08-01 | 2019-11-08 | 厦门商集网络科技有限责任公司 | 一种基于深度学习的条码检测方法及其系统 |
| CN111144151A (zh) * | 2019-12-25 | 2020-05-12 | 山东财经大学 | 一种基于图像识别的高速动态条码实时检测方法 |
| CN112001339A (zh) * | 2020-08-27 | 2020-11-27 | 杭州电子科技大学 | 一种基于YOLO v4的行人社交距离实时监测方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115410196A (zh) * | 2022-10-31 | 2022-11-29 | 南昌理工学院 | 一种基于复杂背景下的小目标识别系统 |
| CN115410196B (zh) * | 2022-10-31 | 2023-02-07 | 南昌理工学院 | 一种基于复杂背景下的小目标识别系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wei et al. | RPC: A large-scale retail product checkout dataset | |
| CN108537269B (zh) | 一种弱交互式的物体检测深度学习方法及其系统 | |
| KR102220174B1 (ko) | 머신러닝 학습 데이터 증강장치 및 증강방법 | |
| CN110765907A (zh) | 一种基于深度学习的视频中试卷纸质文档信息提取系统及方法 | |
| CN108596046A (zh) | 一种基于深度学习的细胞检测计数方法及系统 | |
| CN112966684A (zh) | 一种注意力机制下的协同学习文字识别方法 | |
| CN113807276B (zh) | 基于优化的YOLOv4模型的吸烟行为识别方法 | |
| CN110245697B (zh) | 一种表面脏污检测方法、终端设备及存储介质 | |
| CN109857878B (zh) | 物品标注方法及装置、电子设备及存储介质 | |
| CN115937887A (zh) | 文档结构化信息的提取方法及装置、电子设备、存储介质 | |
| CN116597438A (zh) | 一种基于Yolov5的改进型水果识别方法及识别系统 | |
| CN112070080A (zh) | 基于Faster R-CNN的戏曲卡通人物的分类方法 | |
| CN114882325A (zh) | 基于二阶段物体检测器的半监督物检测及训练方法、装置 | |
| CN113553874A (zh) | 一种复杂环境下快递条码检测方法 | |
| CN113284122B (zh) | 基于深度学习的卷纸包装缺陷检测方法、装置及存储介质 | |
| CN113139452A (zh) | 基于目标检测的使用手机行为的检测方法 | |
| CN117609583A (zh) | 一种基于图像文本组合检索的海关进出口商品归类方法 | |
| Coelho et al. | Object detection with retinanet on aerial imagery: The algarve landscape | |
| CN114359912B (zh) | 基于图神经网络的软件页面关键信息提取方法及系统 | |
| CN111753618A (zh) | 图像识别方法、装置、计算机设备及计算机可读存储介质 | |
| CN105913024A (zh) | 基于lap算子的抵抗重放攻击的安卓手机终端检测方法 | |
| CN115601675A (zh) | 一种基于Swin-transformer与yolov5模型集成的手术器械清点方法 | |
| Kucuk et al. | Multi-wavelength solar event detection using faster R-CNN | |
| Rahul et al. | Deep reader: Information extraction from document images via relation extraction and natural language | |
| CN112802049B (zh) | 一种家庭物品检测数据集构建方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211026 |