CN113378598A - 一种基于深度学习的动态条码检测方法 - Google Patents
一种基于深度学习的动态条码检测方法 Download PDFInfo
- Publication number
- CN113378598A CN113378598A CN202110685243.3A CN202110685243A CN113378598A CN 113378598 A CN113378598 A CN 113378598A CN 202110685243 A CN202110685243 A CN 202110685243A CN 113378598 A CN113378598 A CN 113378598A
- Authority
- CN
- China
- Prior art keywords
- detection
- frame
- network
- mask
- branches
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 60
- 238000013135 deep learning Methods 0.000 title claims abstract description 14
- 238000010586 diagram Methods 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 14
- 238000005457 optimization Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 230000005284 excitation Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 239000000654 additive Substances 0.000 claims 1
- 230000000996 additive effect Effects 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 18
- 238000012549 training Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/146—Methods for optical code recognition the method including quality enhancement steps
- G06K7/1482—Methods for optical code recognition the method including quality enhancement steps using fuzzy logic or natural solvers, such as neural networks, genetic algorithms and simulated annealing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Automation & Control Theory (AREA)
- Evolutionary Biology (AREA)
- Fuzzy Systems (AREA)
- Quality & Reliability (AREA)
- Electromagnetism (AREA)
- Toxicology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的动态条码检测方法，模型参考SiamMask。首先在模板帧中选定要跟踪的目标(称为template)，作为后续检测帧(称为detection)的搜索依据。其次将template以及detection送入SiameseNetwork，对网络得到的特征图做互相关操作。最后将得互相关操作到的特征图送入三分支或二分支，每个分支对应不同的任务，网络最终可以对动态条码的检测、跟踪以及分割。本发明的优点是：在骨干网络ResNet‑50中添加了注意力机制，在不影响检测速度的情况下，主观指标与客观指标均有提高。
Description
技术领域
本发明涉及条码检测技术领域，特别涉及一种基于深度学习的动态条码检测方法。
背景技术
屏幕相机通信(Screen to Camera Communication)是光通信技术和光感知技术交叉发展的技术方向，既有光通信高度定向、抗干扰能力强的特点，又因接收设备具有接收有效面积大、设备对准简单等特点，使屏幕相机通信具备了更加广阔的应用前景。条码作为屏幕相机通信技术的主要信息载体，是现实与互联网的桥梁，在我们的生活中扮演着不可或缺的角色。条码可以简单的分为一维条码和二维条码。它是一种及时、准确、可靠、经济的数据媒介。此外，由于现代智能设备硬件的快速发展和智能手机的普及，条码已经被广泛应用于金融、交通、医疗等诸多领域。此外，有研究报道，条码可以用来建立基于屏幕相机通信的车对车(vehicle-to-vehicle，V2V)和车对基础设施(vehicle-to-infrastructure，V2I)通信。随着现代科技的发展，条码已经成为不可或缺的一部分，其应用也越来越多样化，如无线光组网通信、物联网等。然而，条码在采集过程中可能会受到各种环境因素的影响而发生变形，这给现有的解码器带来了挑战。因此，条码预处理方法是主要研究方向之一。
近年来，越来越多的研究者开始关注条码检测技术，主要方法有两种：(1)基于传统图像处理的检测方法。(2)基于深度学习(如CNN)的检测方法。传统图像处理的方法采用边缘检测或Hough变换等算法对图像进行预处理后提取图像特征信息，并利用特征信息定位条码的位置。该类算法通常计算量大，对阈值设置具有较强依赖性，并且在复杂环境中的效果不理想，存在局限性。随着近年来深度学习技术的发展，基于CNN的方法可以优化传统图像处理方法的缺点。与基于传统图像处理的方法相比，基于CNN的方法可以自动提取目标特征，具在精度与鲁棒性上均优于传统图像处理算法。随着条码技术广泛应用于V2X(vehicle-to-X)、无线光组网以及物联网等场景，问题也随之出现：上述场景下条码不再以静态出现，而是以动态出现(例如条码视频流或发送端与接收端处于移动状态)，现有的条码检测算法大多是处理静态条码的，无法有效处理动态条码检测问题。
与本发明相关的现有技术一
如图1所示，现有技术一的流程如下：
S11：相机取得图像；
S12：取得图像中一区域内的每一个像素的水平图像梯度及垂直图像梯度；
S13：依据水平图像梯度及垂直图像梯度，产生每一个像素的梯度相位角度及梯度能量强度；
S14：将图像中的区域内的每一个像素的梯度能量强度二值化，以产生二值化后的图像；
S15：将该二值化后的图像以N个像素为间隔的V个垂直扫描线进行垂直采样，以统计该二值化后的图像于垂直方向上的V个灰阶值变化次数；
S16：将该二值化后的图像以M个像素为间隔的H个水平扫描线进行水平采样，以统计该二值化后的图像于水平方向上的H个灰阶值变化次数；
S17：依据该垂直方向上的该V个灰阶值变化次数以及该水平方向上的该H个灰阶值变化次数，定位条码的图像区域；
S18：提取图像区域中的所有像素的多个梯度相位角度，以产生梯度相位角度分布；
S19：依据梯度相位角度分布，产生条码的格式检测结果。
现有技术一的缺点
(1)若条形码区域和背景区域颜色相近，区域分割的效果就不会理想，从而影响了条形码区域定位的准确性。同时，在使用拍摄等手段获取图片时，光照条件和角度变化等干扰因素都是存在的，而送些条件变化对图像形态学处理会有极大的影响。
(2)现有的技术分析的主要是静态条码，没有动态条码的检测能力。
与本发明相关的现有技术二
如图2所示，现有技术二的流程步骤如下：
S21：获取多个带有未标记条码的图像。
S22：将获取的多个带有未标记条码的图像组建训练样本集，对所述训练样本集中的条码进行标记，框出图像中大致的条码位置，并标注条码类别，作为标签文件存储。
S23：建立深度学习条码检测模型。
S24：训练所述深度学习条码检测模型，将所述训练样本集及标签文件送入所述深度学习条码检测模型，训练出可用于检测的条码检测模型，并封装成条码检测模块。
S25：将待检测图像缩放为固定尺寸大小416*416的图像，送入所述条码检测模块进行条码检测，输出条码位置坐标和条码类别，根据输出的坐标切割出条码区域图像，执行对应的解码操作。
所述条码特征提取网络的主干采用53层残差卷积网络。
所述特征图的尺寸变换是通过改变网络中的卷积核的步长来获取，包括如下步骤：
输入416*416像素大小的图像，经过3次卷积核步长为2的卷积运算操作得到52*52像素大小的特征图。
对52*52像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到26*26像素大小的特征图。
对26*26像素大小的特征图经过1次卷积核步长为2的卷积运算操作得到13*13像素大小的特征图。
现有技术二的缺点
(1)分析的主要是静态条码，缺乏对动态条码的检测能力。
(2)生成的检测网络是轴对称矩形框，不贴合检测目标，当条码旋转时，会受到背景图案的影响，从而降低了检测精度。
发明内容
本发明针对现有技术的缺陷，提供了一种基于深度学习的动态条码检测方法。
为了实现以上发明目的，本发明采取的技术方案如下：
一种基于深度学习的动态条码检测方法，包括以下步骤：
S1：通过相机或手机拍摄动态条码视频，从所获视频中逐帧提取图片。
S2：将获得的图片尺寸变换为127*127*3，然后送入模板帧，获得模板帧图像，同时将获得的特征图尺寸变换为255*255*3，然后送入检测帧，得到检测帧图像。
S3：将模板帧图像和检测帧图像送入孪生网络进行处理后得到候选窗口的响应RoW(response of a candidate window)。
S4：采用注意力机制来改进空间，在孪生网络中的骨干网络中使用ResNet-50的前四个block，并添加了adjust层。模板帧图像和检测帧图像共享从卷积第一层到第四层的网络参数，而adjust层不共享网络参数。
S5：在骨干网络上添加了压缩激励网络，这样的注意力机制通过学习自动获得每个特征通道的重要性，之后根据重要性增强有用特征，并抑制对当前任务无用的特征。
S6：将RoW送入三分支或二分支，二分支分别为掩膜分支和分类分支，再选择RoW中得分最高的特征图用于生成掩膜，之后根据掩膜生成矩形框；三分支通过分类分支中置信度最高的RoW用于生成掩膜，矩形框通过回归分支生成。
S7：将S6得到的最高的RoW送入优化模块并执行反卷积操作和仿射变换。
S8：将结果与检测区域中CNN网络各层输出的特征图进行加性耦合。最后，得到维度为(127，127，4)的特征图在经过卷积操作与sigmoid函数，以确定此矩阵的值是否为掩膜，通过仿射变换将掩膜矩阵映射回原始图像，以完成掩膜生成任务。
进一步地，S3具体步骤如下：
S31：对模板帧图像和检测帧图像进行深度互相关操作，如下式：
gθ(z,x)＝fθ(z)*fθ(x) (1)
模板分支在历史帧中接收模板帧作为该分支的输入z；检测分支在当前帧中接收检测帧作为该分支的输入x，这两个输入由同一个CNN网络fθ处理，可以得到两个特征图fθ(z)及fθ(x)。对两个特征图进行深度互相关操作(用*表示)：
此处gθ(z,x)为每个空间元素的响应图RoW。
进一步地，为了产生更精确的目标掩膜，使用具有特征融合的多个优化模块，将低层的空间信息和高层的语义信息相融合。
与现有技术相比，本发明的优点在于：
(1)数据集种类丰富，考虑了OCC技术的主要应用场景。(2)为了在动态情况下捕获数据集，捕获的条形码必须包含不同级别的几何失真样本和模糊样本。(3)考虑环境的不同照明条件，例如正常，室内和室外。(4)本发明数据集也可以用于静态检测。
附图说明
图1是现有技术一的流程图；
图2是现有技术二的流程图；
图3是本发明实施例SiamMask网络结构图，其中(a)为三分支结构，(b)为二分支结构；
图4是本发明实施例互相关操作对比图，其中(a)为传统互相关，(b)为深度互相关；
图5是本发明实施例优化模块结构图；
图6是本发明实施例SE-ResNet架构图；
图7是本发明实施例SE模块结构图；
图8是本发明实施例构建的条形码数据集部分示例图；
图9是本发明实施例损失函数变化情况图；
图9(a)是分类损失变化情况图；
图9(b)是回归损失变化情况图；
图9(c)是掩膜损失变化情况图。
图10是本发明实施例检测结果对比图；
图10(a)和(b)为Faster R-CNN对条形码的结果图；
图10(c)和(d)为本发明方法的结果图；
图10(e)为边框初始化示意图，图10(f)为所捕获视频的第1帧图、图10(g)所捕获视频的第45帧图；图10(h)所捕获视频的第100帧图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下根据附图并列举实施例，对本发明做进一步详细说明。
如图3所示，本发明所使用的SiamMask是孪生网络(Siamese Network)中的主流算法。首先介绍孪生网络，它由两个分支组成，一个称为模板分支，在历史帧中接收模板帧(template frame)作为该分支的输入；另一个称为检测分支，在当前帧中接收检测帧(detection frame)作为该分支的输入，这两个输入由同一个CNN网络处理，可以得到两个特征图。该网络由孪生网络和三个分支组成，孪生网络同时在三个分支上进行训练，每个分支对应不同的策略，以在新框架中建立目标对象与候选区域之间的对应关系。除了三分支结构，还有二分支结构。在二分支结构中，前面孪生网络部分不变，不同的是二分支结构去除了回归分支，并且分类分支的网络头结构也有所不同。
对上述得到的两个特征图进行互相关操作。如图4所示，互相关操作及后续操作步骤如下：
S51：得到每个空间元素的响应图。传统互相关产生的是单通道响应图深度互相关操作相比传统互相关操作具有轻量级、可以获得更丰富响应信息的优势。在前述提及，对得到两个特征图进行深度互相关(Depth-Wise Cross Correlation)操作，如下式：
gθ(z,x)＝fθ(z)*fθ(x) (1)
模板分支在历史帧中接收模板帧作为该分支的输入z；检测分支在当前帧中接收检测帧作为该分支的输入x，这两个输入由同一个CNN网络fθ处理，可以得到两个特征图fθ(z)及fθ(x)。对两个特征图进行深度互相关操作(用*表示)：
此处gθ(z,x)为每个空间元素的响应图，称为候选窗口的响应(response of acandidate window，RoW)。
S52：将得到的响应图送入三分支或二分支。对上述的两个特征图进行深度互相关操作以后得到每个空间元素的响应图，称为候选窗口的响应(response of a candidatewindow，RoW)。该响应图表示模板帧和检测帧中第n个RoW之间的相似度。为了使每个响应图编码关于目标对象的丰富信息，SiamMask使用深度互相关操作替代了传统互相关以及SiamRPN网络中的上通道互相关，并生成了多通道响应图。之后根据深度互相关操作得到的特征图可以送入三分支，也可以送入二分支。三分支分别为回归(regression)分支、分类(classification)分支以及掩膜(mask)分支。二分支分别为掩膜分支和分类分支，三分支与二分支具有不同的网络头，它们的作用是改变网络的通道数。
S53：介绍mask分支的相关原理。生成掩膜的核心思想是，对于每个响应图，使用一个两层的网络头来预测大小为w*h的二进制细分掩膜，令mn表示第n个RoW对应的预测掩膜。
其中
表示模板帧和检测帧中第n个RoW之间的相似度，hφ、bσ和
分别为掩膜分支、回归分支和分类分支的网络头。
S54：矩形边界框的生成。无论是接三分支还是二分支，mask分支在经过网络头之后得到维度为(17，17，63×63)的特征图。后续生成掩膜的过程如下：在二分支中，通过分类分支获取特征图中class score最高的RoW用于生成掩膜，之后根据掩膜生成矩形框；在三分支中，也通过分类分支中置信度最高的RoW用于生成掩膜，但是矩形框通过回归分支生成。
由上一步得到的RoW，将其送入优化模块并执行反卷积运算，将结果与检测区域中CNN网络各层输出的特征图进行加性耦合。最后，得到维度为(127，127，4)的特征图在经过卷积操作与sigmoid函数，以确定此矩阵的值是否为掩膜。接下来，通过仿射变换将掩膜矩阵映射回原始图像，以完成掩膜生成任务。此外，还可以使用掩膜作为边界框的近似对象，通过最小外接矩形算法来生成具有方向的边界框，更好地贴合目标，以实现更高的交并比(Intersection over Union，IoU)。优化模块结构如图5所示，优化模块中通过反卷积操作与仿射变换生成掩膜：分类分支对所有锚框score进行一系列操作，然后选择置信度最高的锚框。根据最大值的索引，可以通过转换获得特征图上的坐标。
提高分割的准确性：在CNN中，主干网络中的多层池化会因高层丢失许多空间信息最终导致分割精度的损失。因此直接预测的掩膜的准确性不高，为了产生更精确的目标掩膜，这时候就需要优化模块，SiamMask遵循Sharp Mask的策略，该策略使用具有特征融合的多个优化模块，将低层的空间信息与高层的语义信息相结合，解决池化造成的有效信息损失，逐步提高掩膜的分辨率，进而提高分割的准确性。
在得到精确分割的掩膜之前，划分不同通道间的重要性是必要的，因此本发明采用注意力机制(attention mechanism)来改进空间。
本发明采用压缩激励网络(Squeeze and Excitation Net，SENet)的注意机制。在本发明中使用的骨干网络是SiamMask中的ResNet-50，为了进一步提升网络的性能，本发明在上述网络中嵌入了压缩激励网络，压缩激励网络是在通道上增加注意力机制的网络，其核心思想是通过学习自动获得的每个特征通道的重要性，之后根据重要性增强有用的特征并抑制对当前任务无用的特征，使得不同通道有不同的权重参数。最后通过sigmoid函数转化为0～1的归一化权重。
如图6，7所示，是SE模块的具体操作。SE模块首先执行压缩操作，然后通过对卷积操作得到的特征图U进行全局平局池化完成。
SE模块首先执行压缩操作(Fsq)，该操作通过对卷积操作(Ftr)得到的特征图U进行全局平局池化完成。
此处uc代表特征图U中的第c个大小为W×H的二维矩阵，下标c代表通道数。压缩操作将W×H×C的输入特征转换成1×1×C的输出特征，这一步是为了获取c个通道特征图的数值分布情况，即通道的全局信息。
SE模块再执行激励操作：为了利用压缩操作中汇总的信息，在压缩操作之后执行激励操作。
s＝Fex(z,W)＝σ(W2δ(W1z)) (4)
Fex代表激励操作，模板帧的输入z，W代表非指定的权重输入(在此处统指W1，W2)，W1代表压缩操作的权重，W2代表激励操作的权重；
δ和σ分别代表ReLU(Rectified Linear Unit)以及Sigmoid函数。为了降低模型的复杂性并提高泛化能力，此处使用具有两个全连接(Fully Connected，FC)层来建模通道间的相关性。第一个FC层起到降维的作用，其中r＝16是缩放参数，其目的是为了减少通道数从而减少计算量，之后由ReLU函数激活，输出维度不变。第二个FC层还原原始维度，之后在经过Sigmoid函数得到s。s是用来刻画U中c个通道特征图的权重，而且这个权重是通过前面的FC层和卷积层学习得到的，因此可以端到端训练。这两个FC层的作用就是融合各通道的特征图信息。SE模块的最终输出：最终输出可以通过重新加权操作获得：
Fscale代表重新加权操作，uc代表特征图U中的第c个大小为W×H的二维矩阵，下标c代表通道数，s是用来刻画U中c个通道特征图的权重。
在实验阶段，本发明选取VOT2019数据集作为基准数据集，其中包含60个短时序列，充分包含了OCC应用场景中需要检测的目标，如V2V场景下需要检测的车辆、行人、室内定位场景下需要检测的家具等。但是，该数据集中条形码的背景简单且样式还不够复杂，因此本发明还添加了120个没有位置检测点的彩色条形码和棋盘格。所有条形码均缩放至640×480像素的分辨率，并按照要求进行标注，进而制作出本发明专有的数据集，如图8所示。
本发明在训练期间，用于掩膜预测的损失函数是所有RoW上的二进制逻辑回归损失，各分支的损失函数值如图9所示。
此处yn是每个RoW的正确二进制标签；cn是与每个RoW相关，大小为w*h的像素级真值掩膜；
表示与第n个RoW中掩膜像素(i，j)对应的标签。使用L1和交叉熵损失函数训练回归分支和分类分支，分别将它们表示为Lreg和Lcls。因此，三个分支的总损失L为：
L＝λ1Lmask+λ2Lcls+λ3Lreg (7)
在进行训练之前，将数据集随机分成8：2的比例，80％用于训练，20％用于测试。在训练过程中，batch size设置为32，epoch设置为20，优化策略为SGD(stochastic gradientdescent)算法，初始学习率为0.001，前5个epoch为热身阶段，学习率从0.001线性增长值0.005，后15个epoch的学习率按对数方式下降至0.0005。除此之外，还应用了数据增强技术以达到更好的训练效果。随着模型训练迭代次数的增加，三分支的损失函数降低并最终趋于平稳，证明模型已完全收敛。
Faster R-CNN方法的运行结果与本发明的检测方法进行对比如图10所示。图10(a)和10(b)显示了Faster R-CNN对条形码的结果，本发明方法只依赖于单个边界框初始化，并在线操作。图10(e)显示了边框初始化，图10(f)、(g)和(h)分别是所捕获视频的第1帧、第45帧和第100帧。图10(a)和图10(b)显示了使用Faster R-CNN方法并不能捕获到贴合的包围框；作为比较，图10(c)和图10(d)是本发明方法的结果，它可以产生较为贴合的包围框并在条码上方生成了掩膜(条码上的轻微色度覆盖即为生成的掩膜)进行跟踪。从图的第一行和第二行可以看出，本发明采用的方法针对模糊、形变以及环境干扰具有一定的鲁棒性，同时具有很好的跟踪效果。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的实施方法，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
Claims (3)
1.一种基于深度学习的动态条码检测方法，其特征在于，包括以下步骤：
S1：通过相机或手机拍摄动态条码视频，从所获视频中逐帧提取图片；
S2：将获得的图片尺寸变换为127*127*3，然后送入模板帧，获得模板帧图像，同时将获得的特征图尺寸变换为255*255*3，然后送入检测帧，得到检测帧图像；
S3：将模板帧图像和检测帧图像送入孪生网络进行处理后得到候选窗口的响应RoW(response of a candidate window)；
S4：采用注意力机制来改进空间，在孪生网络中的骨干网络中使用ResNet-50的前四个block，并添加了adjust层；模板帧图像和检测帧图像共享从卷积第一层到第四层的网络参数，而adjust层不共享网络参数；
S5：在骨干网络上添加了压缩激励网络，这样的注意力机制通过学习自动获得每个特征通道的重要性，之后根据重要性增强有用特征，并抑制对当前任务无用的特征；
S6：将RoW送入三分支或二分支，二分支分别为掩膜分支和分类分支，再选择RoW中得分最高的特征图用于生成掩膜，之后根据掩膜生成矩形框；三分支通过分类分支中置信度最高的RoW用于生成掩膜，矩形框通过回归分支生成；
S7：将S6得到的最高的RoW送入优化模块并执行反卷积操作和仿射变换；
S8：将结果与检测区域中CNN网络各层输出的特征图进行加性耦合；最后，得到维度为(127，127，4)的特征图在经过卷积操作与sigmoid函数，以确定此矩阵的值是否为掩膜，通过仿射变换将掩膜矩阵映射回原始图像，以完成掩膜生成任务。
2.根据权利要求1所述的一种基于深度学习的动态条码检测方法，其特征在于：S3具体步骤如下：
S31：对模板帧图像和检测帧图像进行深度互相关操作，如下式：
gθ(z，x)＝fθ(z)*fθ(x) (1)
模板分支在历史帧中接收模板帧作为该分支的输入z；检测分支在当前帧中接收检测帧作为该分支的输入x，这两个输入由同一个CNN网络fθ处理，可以得到两个特征图fθ(z)及fθ(x)；对两个特征图进行深度互相关操作用*表示：
此处gθ(z，x)为每个空间元素的响应图RoW。
3.根据权利要求1所述的一种基于深度学习的动态条码检测方法，其特征在于：为了产生更精确的目标掩膜，使用具有特征融合的多个优化模块，将低层的空间信息和高层的语义信息相融合。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110685243.3A CN113378598B (zh) | 2021-06-21 | 2021-06-21 | 一种基于深度学习的动态条码检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110685243.3A CN113378598B (zh) | 2021-06-21 | 2021-06-21 | 一种基于深度学习的动态条码检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113378598A true CN113378598A (zh) | 2021-09-10 |
| CN113378598B CN113378598B (zh) | 2023-04-25 |
Family
ID=77578078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110685243.3A Active CN113378598B (zh) | 2021-06-21 | 2021-06-21 | 一种基于深度学习的动态条码检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113378598B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152658A (zh) * | 2023-05-10 | 2023-12-01 | 瀚博半导体(上海)有限公司 | 用于视频处理的方法、装置、系统、设备和介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190251612A1 (en) * | 2018-02-15 | 2019-08-15 | Adobe Inc. | Generating user-customized items using a visually-aware image generation network |
| CN110427793A (zh) * | 2019-08-01 | 2019-11-08 | 厦门商集网络科技有限责任公司 | 一种基于深度学习的条码检测方法及其系统 |
| US20200118187A1 (en) * | 2018-10-10 | 2020-04-16 | Capital One Services, Llc | Systems and methods for sms e-commerce assistant |
| CN111144151A (zh) * | 2019-12-25 | 2020-05-12 | 山东财经大学 | 一种基于图像识别的高速动态条码实时检测方法 |
| CN111260688A (zh) * | 2020-01-13 | 2020-06-09 | 深圳大学 | 一种孪生双路目标跟踪方法 |
| US20200394376A1 (en) * | 2018-08-16 | 2020-12-17 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus, and storage medium for identifying identification code |
| CN112767450A (zh) * | 2021-01-25 | 2021-05-07 | 开放智能机器（上海）有限公司 | 一种基于多损失学习的相关滤波目标跟踪方法及系统 |
-
2021
- 2021-06-21 CN CN202110685243.3A patent/CN113378598B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190251612A1 (en) * | 2018-02-15 | 2019-08-15 | Adobe Inc. | Generating user-customized items using a visually-aware image generation network |
| US20200394376A1 (en) * | 2018-08-16 | 2020-12-17 | Tencent Technology (Shenzhen) Company Limited | Method, apparatus, and storage medium for identifying identification code |
| US20200118187A1 (en) * | 2018-10-10 | 2020-04-16 | Capital One Services, Llc | Systems and methods for sms e-commerce assistant |
| CN110427793A (zh) * | 2019-08-01 | 2019-11-08 | 厦门商集网络科技有限责任公司 | 一种基于深度学习的条码检测方法及其系统 |
| CN111144151A (zh) * | 2019-12-25 | 2020-05-12 | 山东财经大学 | 一种基于图像识别的高速动态条码实时检测方法 |
| CN111260688A (zh) * | 2020-01-13 | 2020-06-09 | 深圳大学 | 一种孪生双路目标跟踪方法 |
| CN112767450A (zh) * | 2021-01-25 | 2021-05-07 | 开放智能机器（上海）有限公司 | 一种基于多损失学习的相关滤波目标跟踪方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| JINTING ZHU等: "Multi-loss Siamese neural network with batch normalization layer for malware detection" * |
| 刘文楷: "基于深度学习的屏幕通信定位跟踪算法研究" * |
| 周珂;张浩博;付冬梅;赵志毅;曾惠;: "复杂环境下一种基于SiamMask的时空预测移动目标跟踪算法" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117152658A (zh) * | 2023-05-10 | 2023-12-01 | 瀚博半导体(上海)有限公司 | 用于视频处理的方法、装置、系统、设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113378598B (zh) | 2023-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111259786B (zh) | 一种基于视频的外观和运动信息同步增强的行人重识别方法 | |
| CN111950453B (zh) | 一种基于选择性注意力机制的任意形状文本识别方法 | |
| CN111104903B (zh) | 一种深度感知交通场景多目标检测方法和系统 | |
| CN112884064A (zh) | 一种基于神经网络的目标检测与识别方法 | |
| CN110717411A (zh) | 一种基于深层特征融合的行人重识别方法 | |
| CN111639564B (zh) | 一种基于多注意力异构网络的视频行人重识别方法 | |
| CN112287941B (zh) | 一种基于自动字符区域感知的车牌识别方法 | |
| CN112150493A (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
| CN113591968A (zh) | 一种基于非对称注意力特征融合的红外弱小目标检测方法 | |
| CN114155527A (zh) | 一种场景文本识别方法和装置 | |
| CN113361645B (zh) | 基于元学习及知识记忆的目标检测模型构建方法及系统 | |
| CN111898432A (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN112836675B (zh) | 一种基于聚类生成伪标签的无监督行人重识别方法及系统 | |
| CN112215190A (zh) | 基于yolov4模型的违章建筑检测方法 | |
| CN113361467A (zh) | 基于领域适应的车牌识别方法 | |
| CN110310305A (zh) | 一种基于bssd检测与卡尔曼滤波的目标跟踪方法与装置 | |
| CN116596966A (zh) | 一种基于注意力和特征融合的分割与跟踪方法 | |
| Xi et al. | Implicit motion-compensated network for unsupervised video object segmentation | |
| CN114882204A (zh) | 船名自动识别方法 | |
| CN113378598B (zh) | 一种基于深度学习的动态条码检测方法 | |
| CN111881914B (zh) | 一种基于自学习阈值的车牌字符分割方法及系统 | |
| CN112487927B (zh) | 一种基于物体关联注意力的室内场景识别实现方法及系统 | |
| CN114863249A (zh) | 基于运动特征和外观特征的视频目标检测及域适应方法 | |
| CN113870311A (zh) | 一种基于深度学习的单目标跟踪方法 | |
| CN113888604A (zh) | 一种基于深度光流的目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |