CN114139564B - 二维码检测方法、装置、终端设备及检测网络的训练方法 - Google Patents
二维码检测方法、装置、终端设备及检测网络的训练方法 Download PDFInfo
- Publication number
- CN114139564B CN114139564B CN202111486702.1A CN202111486702A CN114139564B CN 114139564 B CN114139564 B CN 114139564B CN 202111486702 A CN202111486702 A CN 202111486702A CN 114139564 B CN114139564 B CN 114139564B
- Authority
- CN
- China
- Prior art keywords
- dimensional code
- frame
- confidence
- code detection
- detection network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 174
- 238000012549 training Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 20
- 238000012937 correction Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 12
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 claims description 2
- 230000004048 modification Effects 0.000 claims description 2
- 230000003213 activating effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/146—Methods for optical code recognition the method including quality enhancement steps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Toxicology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种二维码检测方法、装置、终端设备及检测网络的训练方法，使用基于深度学习的二维码检测网络来检测二维码和二维码中的定位图案，利用二维码和定位图案的位置关系对二维码分类的置信度进行修正。本公开实施例可以有效提高二维码的检测精度。
Description
技术领域
本公开涉及但不限于图像处理技术，更具体地，涉及一种二维码检测方法、装置、终端设备及检测网络的训练方法。
背景技术
二维码(2-dimensional bar code)是通过按一定规律在二维方向上分布的图形来记录信息的条码。其中，以QR(Quick Response，快速反应)二维码最为常见。如图1所示，QR二维码包括空白区域(Quiet Zone)11、定位图案(Finder Patterns)13和编码区(Encoding Region)15，其中，空白区域11划定了二维码的数据范围，定位图案13也可以称为位置探测图案(Position Detection Patterns)、定位标志等，是3个类似“回”字的带白边的图案，分别位于二维码的左上角，右上角，左下角，编码区15用于存放格式信息、版本信息和数据。QR二维码还可以包括校正图案(Alignment Patterns)等辅助性的区域。
检测二维码时可以采用传统的图像处理技术，在待检测图像中搜索二维码的3个定位图案。根据定位图案的个数和位置，恢复出正常的待检测图像。开源的二维码检测算法如OpenCV,ZBar,ZXing等。然而，当待检测图像中二维码的定位图案出现较大形变、被遮挡或者待检测图像为大角度图像时，依照传统的方法很难搜索到理想的3个定位图案，也就不能恢复出正常的待检测图像，从而无法对二维码进行识别。
将深度学习引入二维码检测可以提高检测的鲁棒性，但由于端侧的各种条件限制，比如算力、带宽、内存、功耗和存储空间等各种约束，如何实现端侧实时、准确和低功耗的二维码检测仍是面临的一个难题。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本公开实施例提供了一种二维码检测方法，包括：
将待检测图像输入基于深度学习的二维码检测网络，所述二维码检测网络检测的目标类别包括二维码和二维码中的定位图案；
检测到与所述二维码匹配的第一预选框及与所述定位图案匹配的第二预选框时，对与第二预选框重叠的第一预选框的第一置信度进行修正，所述第一置信度指第一预选框的分类为二维码的置信度；
基于所述第一预选框的修正后的第一置信度，输出二维码的检测结果。
本公开实施例还提供了一种二维码检测装置，包括存储器和处理器，其中，所述存储器中保存有计算机程序，所述处理器执行所述计算机程序时能够实现如本公开任一实施例所述的二维码检测方法。
本公开实施例还一种终端设备，包括本公开实施例所述的二维码检测装置、二维码识别装置和二维码处理装置，其中，所述二维码检测装置设置为从待检测图像中检测二维码的位置，所述二维码识别装置设置为根据所述二维码的位置获取二维码的图像并进行识别，所述二维码处理装置设置为根据对二维码的识别结果激活相应的处理流程。
本公开实施例的二维码检测方法、装置和相应的终端设备使用基于深度学习的二维码检测网络来检测二维码和二维码中的定位图案，利用二维码和定位图案的位置关系对二维码分类的置信度进行修正。本公开实施例可以有效提高二维码的检测精度。
本公开实施例还提供了一种基于深度学习的二维码检测网络的训练方法，所述包括：
采集训练样本集，在包含二维码的训练样本中标定二维码的位置以及所述二维码中的定位图案的位置；
使用所述训练样本集对基于深度学习的二维码检测网络进行训练，所述二维码检测网络进行目标分类的类别包括二维码和二维码中的定位图案；
根据训练的损失对所述二维码检测网络的参数进行优化；所述损失包括所述二维码检测网络选取的预选框相对于标定的二维码的置信度损失和定位损失，及相对于标定的定位图案的置信度损失和定位损失。
本公开实施例还提供了一种基于深度学习的二维码检测网络的训练装置，包括存储器和处理器，其中，所述存储器中保存有计算机程序，所述处理器执行所述计算机程序时能够实现如本公开任一实施例所述的二维码检测网络的训练方法。
本公开实施例二维码检测网络的训练方法和装置可以训练出能够对二维码和定位图案进行分类检测的二维码检测网络，该二维码检测网络可以用于实现高精度的二维码检测。
本公开实施例还提供了一种非瞬态计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，所述计算机程序时被处理器执行时实现如本公开任一实施例所述的二维码检测方法，或本公开任一实施例所述的基于深度学习的二维码检测网络的训练方法。
在阅读并理解了附图和详细描述后，可以明白其他方面。
附图说明
附图用来提供对本公开实施例的理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开的技术方案，并不构成对本公开技术方案的限制。
图1是QR二维码的结构图；
图2是本公开一实施例二维码检测方法的流程图；
图3是本公开一实施例第一预选框和第二预选框重叠的示意图；
图4是VGG-SDD网络的架构图；
图5是在特征图中生成缺省框的示意图；
图6是本公开实施例的一示例中两个第二预选框和第三预选框重叠的示意图；
图7是本公开一实施例二维码检测装置的结构示意图；
图8是本公开一实施例终端设备的模块图；
图9是本公开一实施例基于深度学习的二维码检测网络的训练方法的流程图；
图10是本公开另一实施例二维码检测方法的流程图。
具体实施方式
本公开描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本公开所描述的实施例包含的范围内可以有更多的实施例和实现方案。
本公开的描述中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本公开中被描述为“示例性的”或者“例如”的任何实施例不应被解释为比其他实施例更优选或更具优势。本文中的“和/或”是对关联对象的关联关系的一种描述，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。“多个”是指两个或多于两个。另外，为了便于清楚描述本公开实施例的技术方案，使用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
在描述具有代表性的示例性实施例时，说明书可能已经将方法和/或过程呈现为特定的步骤序列。然而，在该方法或过程不依赖于本文所述步骤的特定顺序的程度上，该方法或过程不应限于所述的特定顺序的步骤。如本领域普通技术人员将理解的，其它的步骤顺序也是可能的。因此，说明书中阐述的步骤的特定顺序不应被解释为对权利要求的限制。此外，针对该方法和/或过程的权利要求不应限于按照所写顺序执行它们的步骤，本领域技术人员可以容易地理解，这些顺序可以变化，并且仍然保持在本公开实施例的精神和范围内。
基于深度学习的目标检测器通常分为两类：单阶段(one stage)算法和双阶段(two stage)算法。two stage算法(如R-CNN，Faster R-CNN)检测效果较好，但是需要耗费更长的时间来完成检测，不太适合用于端侧。one stage算法包括如YOLO、SSD(Single ShotMultiBox Detector,单步多框检测器)等。one stage算法具有检测速度快的优势，可以用于端侧，但是检测精度较差。
二维码具有刚体特性，且二维码的定位图案(Finder Patterns)已经包含了位置信息，可以考虑利用该定位图像来提高使用one stage算法检测二维码的精度。例如，可以通过在待检测图像中检测置信度比较高的回字特征，若检测到一个置信度比较高的回字特征，则可以判断该待检测图像中包含二维码，在判断图像中包含二维码的情况下才将图像输入深度学习检测算法的模型。又如，可以根据在待检测图像中检测到的3个理想的回字特征的位置来确定二维码区域，例如将回字特征的大小放大预设倍数来确定二维码的大小，在放大后的待识别区域中检测二维码的角点。
这些方法是将传统的二维码检测方法与深度学习的检测方法结合起来，需要在深度学习之外加入其他的算法，增大了算法的复杂度，也会引入额外的内存需求和算力需求。另外，通过检测回字特征确定二维码的有无，或者通过检测3个理想的回字特征的位置来确定二维码区域，也存在传统的二维码检测的同样问题，即在遇到变形和小尺寸的二维码时，检测效果会受到严重的影响，并不能够起到提高精度的效果。
为此，本公开一实施例提供了一种基于深度学习的二维码检测方法，如图1所示，包括：
步骤110，将待检测图像输入基于深度学习的二维码检测网络，所述二维码检测网络需检测的目标类别包括二维码和二维码中的定位图案；
步骤120，检测到与所述二维码匹配的第一预选框及与所述定位图案匹配的第二预选框时，对与第二预选框重叠的第一预选框的第一置信度进行修正，所述第一置信度指第一预选框的分类为二维码的置信度；
步骤130，基于所述第一预选框的修正后的第一置信度，输出二维码的检测结果。
本公开实施例的二维码检测方法使用基于深度学习的二维码检测网络来检测二维码和二维码中的定位图案，利用二维码和定位图案的位置关系(即真实二维码中包含定位图案)对二维码分类的置信度进行修正，可以有效地提高二维码的检测精度。
在本公开一示例性的实施例中，所述对与第二预选框重叠的第一预选框的第一置信度进行修正，包括以下修正方式中的一种或多种：
在一个第一预选框与一个第二预选框的重叠度大于设定的第一重叠度阈值时，将该第一预选框的第一置信度加上L1；
在一个第一预选框与二个第二预选框的重叠度大于设定的第一重叠度阈值时，将该第一预选框的第一置信度加上L2；
在一个第一预选框与三个第二预选框的重叠度大于设定的第一重叠度阈值时，将该第一预选框的第一置信度加上L3；
其中，L1、L2和L3为设定的修正值，L3≥L2>L1≥0，修正后的第一置信度小于等于1。
在本公开一示例性的实施例中，所述对与第二预选框重叠的第一预选框的第一置信度进行修正，包括：在一个第一预选框与任何一个第二预选框均不重叠时，减小该第一预选框的第一置信度。
在一个示例中，如图3所示，第一预选框21和第二预选框23的重叠度可以用第一预选框和第二预选框的交并比loU表示，即重叠度等于第一预选框21和第二预选框23的交集(如图3中阴影部分所示)的面积与第一预选框和第二预选框的并集的面积之比，该面积之比的取值范围可以归一化到[0，1]的区间。如果第一预选框21和第二预选框23不重叠，即交集为0，则第一预选框21和第二预选23框的重叠度为0。在另一示例中，第一预选框和第二预选框的重叠度也可以用第一预选框和第二预选框的交集的面积与第二预选框的面积之比，此时重叠度的最大值为1。本公开对重叠度的度量方式不做限定，只要能够表示重叠的程度即可。上述第一重叠度阈值可以设定为0或者大于0的某个数值，例如可设定为第二预选框的1/2或1/3或其他比例的面积与第一预选框重叠时的重叠度。
本实施例是基于QR二维码设定的修正策略，如图1所示，一个QR二维码的角度设置有3个定位图案，如果一个分类为二维码的预选框即第一预选框与多个分类为定位图案的预选框重叠，则该预选框的分类为二维码的可能性明显更大，相应的置信度即第一置信度可以加上一个正的修正值；如果第一预选框与任何一个分类为定位图案的预选框均不重叠，则该预选框的分类为二维码的可能性较小(虽然定位图案存在被遮挡、污损的可能，但三个定位图案同时被遮挡或污损的概率很小)，第一置信度可以加上一个负的修正值；如果第一预选框与一个分类为定位图案的预选框重叠，则可以维持该预选框的第一置信度不变，或者加上一个正的修正值。
在本公开一示例性的实施例中，所述对与第二预选框重叠的第一预选框的第一置信度进行修正，包括：对与一个第一预选框重叠的每一个第二预选框，确定该第二预选框与该第一预选框的重叠度所在的区间，将该第一预选框的第一置信度加上该区间对应的修正值，其中，从所述第一重叠度阈值到重叠度最大值的重叠度取值范围被分为多个区间，区间中的重叠度越大，区间对应的修正值越大。
例如，在一个示例中，第一预选框和第二预选框的重叠度用第一预选框和第二预选框的交集的面积与第二预选框的面积之比，第一重叠度阈值设置为1/3，重叠度最大值为1，可以将重叠度划分为2个区间，一个是(1/3，2/3]，一个是[2/3，1]，区间(1/3，2/3]对应的修正值为0.05，区间[2/3，1]对应的修正值为0.1，假定一个第一预选框的第一置信度的原始值为0.5，该第一预选框与两个第二预选框重叠，重叠度分别为0.5和0.9，则基于重叠度为0.5的第二预选框对第一置信度加0.05，基于重叠度为0.9的第二预选框对第一置信度加0.1，得到修正后的第一置信度的值为0.65。
本实施例通过二维码与定位图案之间固有的位置关系，对分类为二维码的置信度进行修正，可以显著提高二维码检测的精确度。
在本公开一示例性的实施例中，所述基于深度学习的二维码检测网络包括相互连接的轻量级主干网络(backbone)和基于单阶段算法的目标检测网络。例如，其中的轻量级主干网络可以采用MobileNet网络或VGG网络，负责特征提取；目标检测网络采用SSD(single shot multibox detection.单步多框)网络或YOLO网络或Faster R-CNN网络等，负责分类和定位。
在一个示例中，基于VGG-SSD的网络架构进行二维码检测。SSD网络基于单阶段(One-Stage)算法实现目标分类，其在图像不同位置进行密集抽样，抽样时采用不同尺度和长宽比，进行分类和回归，整个过程只需一步，运行速度要远远优于双阶段(Two-Stage)算法。
VGG-SSD的网络架构如图4所示，其主干网络(backbone)与VGG16网络基本相同，但用卷积层Conv6和Conv7分别替代了原VGG16的全连接层FC6和FC7。特征图是输入图像经过神经网络卷积产生的结果，表征的是神经空间内一种特征。SSD算法中共取6层不同尺度的特征图以提取特征做检测(Detections)，该6个不同尺度的特征图的大小为：38×38×512、19×19×1024、10×10×512、5×5×253、3×3×256和1×1×128。在每层特征图的每个像素点处生成不同宽高比的框。此类的框称为缺省框(Default Box)。
如图5所示，假定有8*8的特征图，特征图上的每个格子称为特征图小格(cell)，在每个特征图小格上生成一系列固定大小的框(Box)，图4中每个小格上有k个Box，用虚线框标识。如果一个特征图的大小是m×n，也即有m×n个特征图小格。在每个小格上有k个缺省框，那么这层特征图的缺省框的总数为m×n×k，本示例中。各层特征图的k值分别取3、6、6、6、6、6。SDD算法规定了缺省框的尺度(scale)和宽高比(aspect ratio)，尺度(scale)是相对于输入图像的分辨率，若采用标准的6个特征图做预测，每一层的尺度分别为[0.2,0.34,0.48,0.62,0.76,0.9]。最终缺省框的实际像素尺寸需乘以输入图像的分辨率。对于缺省框的宽高比的规定不再赘述。
实际检测时，需要将缺省框取出做预测，被取出的缺省框称为先验框(PriorBox)，本公开也将其称为预选框。不同尺寸的特征图中取出的预选框的大小不同，使得不同尺度的特征图对不同尺度的目标检测效果不同。SSD在多个尺度的特征图上分别执行目标检测工作。使得各个尺度的目标都能被兼顾，小尺度特征图预测大目标，大尺度特征图预测相对较小的目标。
对于神经网络前向流动来说，需要将预选框与真实框(Ground Truth Box，即标定的框)做匹配。匹配成功则说明，Prior Box所包含的可能是被检测的目标。将预选框的分类尽可能地通过一个高维向量分类并回归到真实框。假定本示例VGG-SSD网络构成的二维码检测网络检测的目标类别有p个，例如p＝3，这3个类别分别是二维码、二维码中的定位图案以及背景。则一个预选框可预测出p个用于分类的置信度(conf)参数和4个用于定位的偏移参数(offset)，4个偏移参数分别是中心点的x坐标、y坐标、宽度和高度。对于conf参数，若每个3×3的卷积核对大小为m×n特征图卷积的结果称为一个输出，一个特征图有k个预选框，p个类别，则分类的卷积输出个数为p×k×m×n。对于offset参数，每个3×3卷积核对大小为m×n特征图卷积的结果称为一个输出，一个特征图有k个预选框，则定位的卷积输出个数为4×k×m×n。
得到预选框的参数描述后，需要确定预选框与真实框的匹配情况，也即确定预选框的回归目标。在SDD算法的训练过程中，将与真实框的重叠率大于0.5的预选框作为匹配成功的预选框，重叠率通常用预选框与真实框的交并比(IoU)表示。
假定匹配成功的预选框共有N个，令i表示第i个预选框，j表示第j个真实框，p表示第p个类别，表示第i个预选框与类别p的第j个真实框相匹配的系数，如果匹配，/>如果不匹配，则/>在预选框向真实框回归时，其损失(loss)函数分为位置损失和置信度损失，两者加权为最终的损失函数，用公式表示为：
式中的L(x,c,l,g)为训练的损失，N为匹配成功的预选框的数量，Lconf(x,c)是分类的置信度损失函数，Lconf(x,l,g)是定位损失函数，其中的x即α是定位损失和分类损失之间的比重，可设为1。定位损失函数可以设置为真实框位置和预选框位置差值的SmothL1 Loss函数值。置信度损失函数可使用多分类的Sogtmax Loss函数。
在训练过程中，基于上述损失函数，可以使用梯度下降算法对VGG-SSD网络模型的参数进行优化，直至损失最小，模型收敛。
在训练完成后，基于VGG-SSD网络进行二维码检测时，从不同尺度的特征图选取多个预选框后，预测得到所述多个预选框的置信度参数和位置参数，再检测其中是否存在与二维码匹配的第一预选框及与定位图案匹配的第二预选框。在本公开一示例性实施例中，所述检测到与所述二维码匹配的第一预选框及与所述定位图案匹配的第二预选框，包括：
基于所述二维码检测网络生成所述待检测图像的多个尺度的特征图，基于所述多个尺度的特征图分别选取多个预选框；
预测每一所述预选框的多个分类的置信度，所述多个分类的置信度包括分类为二维码的第一置信度和分类为定位图案的第二置信度；
将多个分类置信度中第一置信度最大且第一置信度大于设定的第一置信度阈值的预选框作为检测到的与所述二维码匹配的第一预选框；将多个分类置信度中第二置信度最大且第二置信度大于设定的第二置信度阈值的预选框作为检测到的与所述定位图案匹配的第二预选框。
其中第一置信度阈值和第二置信度阈值可以根据实验确定，由于本公开实施例会根据第一预选框和第二预选框的位置关系，对第一预选框的第一置信度进行修正，因而第一置信度阈值可以小于或等于SDD算法中常用的置信度阈值，例如取值为0.5，0.4，0.45等。具体可以根据实验来确定。
在本公开一示例性实施例中，所述基于所述第一预选框的修正后的第一置信度，输出二维码的检测结果，包括：
基于所述第一预选框的修正后的置信度从所述第一预选框中选出置信度最高的预定数量的第一预选框；
对所述预定数量的第一预选框进行非极大值抑制处理，得到待输出的一个或多个第三预选框；
对所述第三预选框中与第二预选框重叠的第三预选框进行位置修正，将所述第三预选框的修正后的位置作为检测到的二维码的边框位置输出，还可以将所述第三预选框的修正后的置信度输出。
也就是说，本实施例在确定了要输出的第三预选框后，还根据与该第三预选框重叠的与定位图案相关的第二预选框，对该第三预选框的位置进行修正，以充分利用第二预选框的信息，提高检测到的二维码的位置精度。
在本公开一示例性实施例中，所述对与第二预选框重叠的第三预选框进行位置修正，包括：
对每一个第三预选框，基于与该第三预选框的重叠度大于设定的第二重叠度阈值的每一个第二预选框进行以下处理：根据该第二预选框相对该第三预选框的位置，确定该第三预选框与该第二预选框距离最近的第一角点，以及该第二预选框与该第一角点对应的第二角点；对所述第一角点和所述第二角点的位置坐标进行加权平均，作为所述第一角点修正后的位置坐标。
在一个示例中，参见图6，假定对于一个第三预选框31，检测到2个与该第三预选框31重叠的第二预选框：左上角的第二预选框33和左下角的第二预选框35。则第三预选框31距离左上角的第二预选框33最近的第一角点是第三预选框31的左上角点，而第二预选框33与该第一角点对应的第二角点为第二预选框33的左上角点，则对第三预选框31和第二预选框33的左上角点的位置坐标进行加权平均，作为第三预选框31的左上角点修正后的位置坐标。同样，对第三预选框31和第二预选框35的左下角点的位置坐标进行加权平均后，作为第三预选框31的左下角点修正后的位置坐标。从而完成对该第三预选框31的位置修正。
本实施例的第二重叠度阈值可以与前述的第一重叠度阈值相同，也可不同。例如，第二重叠度阈值可以设置为大于第一重叠度阈值的值。
虽然上述实施例以VGG-SSD网络作为二维码检测网络的一个示例，但本公开不局限于此。例如，也可以采用其他轻量级的主干网络替代VGG网络，如mobilenet系列；又如，也可以用其他基于单阶段算法的网络替代SSD网络，例如YOLO网络，Faster R-CNN网络等。采用轻量级的主干网络和基于单阶段目标检测算法构建的二维码检测网络，具有速度快，占用资源少，精度也比较高的特点，特别适用于在算力、带宽、内存、功耗和存储空间等受限的终端设备上使用。本公开实施例虽然增加了定位图案这一类别，但并不需要对网络架构和算法进行修改，对于算法的复杂度影响不大，但可以明显地提高对二维码的检测精度。
本公开的二维码检测方法并不只限于在端侧使用，其基于的网络也不限于由轻量级主干网络和采用单阶段算法的目标检测网络组成，而是也可以应用于其他各种形式的基于深度学习的网络或网络组合，因为利用了利用二维码和定位图案的固有位置关系对二维码分类的置信度进行修正，同样可以有效地提高二维码的检测精度。
本公开实施例还提供了一种二维码检测装置，如图7所示，包括存储器50和处理器60，所述存储器中保存有计算机程序，所述处理器执行所述计算机程序时能够实现如本公开任一实施例所述的二维码检测方法。
本公开实施例还提供了一种终端设备，如图8所示，包括如本公开任一实施例所述的二维码检测装置70、二维码识别装置80和二维码处理装置90，其中：
二维码检测装置70设置为从待检测图像中检测二维码的位置；
二维码识别装置80设置为根据所述二维码的位置获取二维码的图像并进行识别；
二维码处理装置90设置为根据对二维码的识别结果激活相应的处理流程。例如打开支付界面、跳转到某个应用、获取到二维码中保存的信息等，
本公开一实施例还提供了一种基于深度学习的二维码检测网络的训练方法，如图9所示，所述方法包括：
步骤210，采集训练样本集，在包含二维码的训练样本中标定二维码的位置以及所述二维码中的定位图案的位置；
对于QR二维码的位置，可以标定为空白区域的外缘(即图1所示的虚框)或内缘。对定位图案的位置，可以标定为回字型区域的外缘。
步骤220，使用所述训练样本集对基于深度学习的待训练的二维码检测网络进行训练，所述二维码检测网络进行目标分类的类别包括二维码和二维码中的定位图案；
步骤230，根据训练的损失对所述二维码检测网络的参数进行优化；所述损失包括所述二维码检测网络选取的预选框相对于标定的二维码的置信度损失和定位损失，及相对于标定的定位图案的置信度损失和定位损失。
本步骤中，所述二维码检测网络选取的预选框可以是上文中描述的根据重叠率匹配成功的预选框。
在本公开一示例性实施例中，所述基于深度学习的待训练的二维码检测网络包括相互连接的轻量级主干网络和目标检测网络，所述轻量级主干网络采用MobileNet网络或VGG网络，目标检测网络采用SSD网络或YOLO网络。
不同于单目标检测的二维码检测网络的训练，本实施例对二维码检测网络进行多目标检测的训练，目标分类的类别包括二维码和二维码中的定位图案，并且将二维码的置信度损失和定位损失，以及定位图案的置信度损失和定位损失均计入训练损失之中，通过足够的训练集和轮次的训练，减小二维码和定位图案的检测损失，使训练好的二维码检测网络可以有较高的检测精度。以VGG-SDD网络作为二维码检测网络时，VGG-SDD网络本身具有多目标检测的功能，因此只是将二维码和二维码中的定位图案配置为目标分类的两个类别，就可以作为本公开实施例的二维码检测网络进行训练。为了加快训练过程和效果，可以采用基于ImageNet图像数据集的预训练模型待训练的二维码检测网络。
本公开一实施例还提供了一种基于深度学习的二维码检测网络的训练装置，也可见图7，包括存储器和处理器，其中，所述存储器中保存有计算机程序，所述处理器执行所述计算机程序时能够实现如本公开任一实施例所述的二维码检测网络的训练方法。
本公开实施例二维码检测网络的训练方法和装置，在采集的样本中不仅对二维码进行标定，也对二维码中的定位图案进行标定，在训练时，同时考虑选取的预选框与标定的二维码和定位图案的置信度损失和定位损失，可以训练出能够对二维码和定位图案进行分类检测的二维码检测网络，该二维码检测网络可以用于实现高精度的二维码检测。
本公开一实施例还提供了一种非瞬态计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序时被处理器执行时实现如本公开任一实施例所述的二维码检测方法，或本公开任一实施例所述的基于深度学习的二维码检测网络的训练方法。
本公开一实施例还提供了一种基于深度学习的低功耗的二维码检测方法，用于终端设备，
如图10所示，包括：
步骤310，对待识别图像进行前处理；
本步骤的待识别图像可以通过终端设备的摄像头获取现实场景中的二维码图片，或者读取存储的图片文件，或者通过网络下载，等等。对图像进行前处理可以包括数据增强、图像的归一化等。例如，对待识别图像进行旋转、缩放、裁剪、平移等，使得处理后的待识别图像符合二维码检测网络对输入图像的分辩率要求。
步骤320，通过主干网络提取图像特征；
在一个示例中，此处的主干网络可以采用MobileNet网络来提取图像特征，生成多个尺寸的特征图。
步骤330，通过检测网络预测分类的置信度参数和位置参数；
此处的检测网络可以采用通用目标检测算法的网络结构，根据选用目标检测算法来预测分类的置信度参数和位置参数。本实施例的检测网络(即目标检测网络)采用SSD网络。
步骤340，进行后处理；
本步骤的后处理可以包括：检测与所述二维码匹配的第一预选框及与所述定位图案匹配的第二预选框，对与第二预选框重叠的第一预选框的第一置信度进行修正，根据修正后的置信度从第一预选框中选出置信度最高的预定数量的第一预选框并进行非极大值抑制处理(NMS：Non-Max-Suppression)，及对NMS处理后剩余的第一预选框进行位置修正，具体如上文所述。在进行NMS处理时，可以根据预设的置信度阈值0.5，以及IoU阈值0.3来去除重复的第一预选框，剩余的第一预选框即待输出的第三预选框。
步骤350，返回检测结果
本步骤根据第三预选框的位置信息，返回二维码的边框(Bounding box)位置和分类得分(score)。
本实施例提出的基于深度学习的低功耗二维码检测方法，可以在低算力、低功耗、低带宽的条件下实时地进行高精度二维码检测，可以用于人工智能物联网(AIOT)中的终端设备。
本实施例主干网络采用的MobileNet网络的宏结构如下表所示：
根据二维码检测的特性以及实验结果分析，本实施例的二维码检测网络从Mobilenet中选择上表中类型和步长为Conv dw/S2的指定层的输出作为尺度最大的一个特征图进行检测型，其他尺度的特征图从SSD网络中获取，可以取得精度和速度的最优权衡。同时把平均池化(Avg Pool)层、全连接(FC)层和Softmax分类器去掉，能够大大减少模型的参数量，节省模型在芯片上的功耗、带宽等需求。
在训练该二维码检测网络时，先进行训练数据的采集与标定，不同于通用的目标检测的训练数据，二维码具有刚体特性，且二维码上面也已经包含了位置信息即定位图案(Finder Patterns)，因此可以在标定的时候，不仅标定整个二维码的位置信息如边框，还将其携带的定位图案的位置信息一并进行标定，在训练和检测时结合了两种位置信息，提高了网络的检测性能；
完成训练数据的采集与标定后，根据标定好的数据集，对待训练的基于深度学习的二维码检测网络进行训练，通过不断的迭代使得模型逐步收敛，让模型最终学习到图像中的二维码的位置信息与类别，即输出图像中所有二维码的检测框和类别。
该待训练的基于深度学习的二维码检测网络可以采用ImageNet预训练模型，一方面可以大大减少训练时间，提高了模型训练开发的效率；另一方面利用迁移学习的思想将ImageNet上学习到的权重提取出来，获得比较强的表征能力，提升检测精度；在训练时，可以只训练上述指定层，更新其参数，冻结Mobilenet中其他层的参数，获得模型精度和速度的权衡。
本实施例采用轻量级的主干网络，通过数据增强等，优化网络结构进行模型的训练，设计出了一种适合移动端的低功耗二维码检测网络。
本实施例所提出的基于深度学习的低功耗二维码检测方法，可以在保证二维码检测精度的前提下，减少对端侧系统算力、带宽和功耗的需求，能够在端侧实时地进行二维码检测。本实施例方法可以适用于端侧如AIOT或NPU(Neural Processing Unit,神经网络处理器)的二维码检测系统及分析的业务。
在上述任意一个或多个示例性实施例中，所描述的功能可以硬件、软件、固件或其任一组合来实施。如果以软件实施，那么功能可作为一个或多个指令或代码存储在计算机可读介质上或经由计算机可读介质传输，且由基于硬件的处理单元执行。计算机可读介质可包含对应于例如数据存储介质等有形介质的计算机可读存储介质，或包含促进计算机程序例如根据通信协议从一处传送到另一处的任何介质的通信介质。以此方式，计算机可读介质通常可对应于非暂时性的有形计算机可读存储介质或例如信号或载波等通信介质。数据存储介质可为可由一个或多个计算机或者一个或多个处理器存取以检索用于实施本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包含计算机可读介质。
举例来说且并非限制，此类计算机可读存储介质可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用来以指令或数据结构的形式存储所要程序代码且可由计算机存取的任何其它介质。而且，还可以将任何连接称作计算机可读介质举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波等无线技术从网站、服务器或其它远程源传输指令，则同轴电缆、光纤电缆、双纹线、DSL或例如红外线、无线电及微波等无线技术包含于介质的定义中。然而应了解，计算机可读存储介质和数据存储介质不包含连接、载波、信号或其它瞬时(瞬态)介质，而是针对非瞬时有形存储介质。如本文中所使用，磁盘及光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软磁盘或蓝光光盘等，其中磁盘通常以磁性方式再生数据，而光盘使用激光以光学方式再生数据。上文的组合也应包含在计算机可读介质的范围内。
可由例如一个或多个数字信号理器(DSP)、通用微处理器、专用集成电路(ASIC)现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路等一个或多个处理器来执行指令。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。另外，在一些方面中，本文描述的功能性可提供于经配置以用于编码和解码的专用硬件和/或软件模块内，或并入在组合式编解码器中。并且，可将所述技术完全实施于一个或多个电路或逻辑元件中。
本公开实施例的技术方案可在广泛多种装置或设备中实施，包含无线手机、集成电路(IC)或一组IC(例如，芯片组)。本公开实施例中描各种组件、模块或单元以强调经配置以执行所描述的技术的装置的功能方面，但不一定需要通过不同硬件单元来实现。而是，如上所述，各种单元可在编解码器硬件单元中组合或由互操作硬件单元(包含如上所述的一个或多个处理器)的集合结合合适软件和/或固件来提供。
Claims (14)
1.一种二维码检测方法，包括：
将待检测图像输入基于深度学习的二维码检测网络，所述二维码检测网络检测的目标类别包括二维码和二维码中的定位图案；
检测到与所述二维码匹配的第一预选框及与所述定位图案匹配的第二预选框时，对与第二预选框重叠的第一预选框的第一置信度进行修正，所述第一置信度指第一预选框的分类为二维码的置信度；
基于所述第一预选框的修正后的第一置信度，输出二维码的检测结果。
2.如权利要求1所述的二维码检测方法，其特征在于：
所述对与第二预选框重叠的第一预选框的第一置信度进行修正，包括以下修正方式中的一种或多种：
在一个第一预选框与一个第二预选框的重叠度大于设定的第一重叠度阈值时，将该第一预选框的第一置信度加上L1；
在一个第一预选框与二个第二预选框的重叠度大于设定的第一重叠度阈值时，将该第一预选框的第一置信度加上L2；
在一个第一预选框与三个第二预选框的重叠度大于设定的第一重叠度阈值时，将该第一预选框的第一置信度加上L3；
其中，L1、L2和L3为设定的修正值，L3≥L2>L1≥0，修正后的第一置信度小于等于1。
3.如权利要求1所述的二维码检测方法，其特征在于：
所述对与第二预选框重叠的第一预选框的第一置信度进行修正，包括:
在一个第一预选框与任何一个第二预选框均不重叠时，减小该第一预选框的第一置信度。
4.如权利要求2所述的二维码检测方法，其特征在于：
所述对与第二预选框重叠的第一预选框的第一置信度进行修正，包括:
对与一个第一预选框重叠的每一个第二预选框，确定该第二预选框与该第一预选框的重叠度所在的区间，将该第一预选框的第一置信度加上该区间对应的修正值，其中，从所述第一重叠度阈值到重叠度最大值的重叠度取值范围被分为多个区间，区间中的重叠度越大，区间对应的修正值越大。
5.如权利要求1至4中任一所述的二维码检测方法，其特征在于：
所述基于深度学习的二维码检测网络包括相互连接的轻量级主干网络和基于单阶段算法的目标检测网络。
6.如权利要求5所述的二维码检测方法，其特征在于：
所述检测到与所述二维码匹配的第一预选框及与所述定位图案匹配的第二预选框，包括：
基于所述二维码检测网络生成所述待检测图像的多个尺度的特征图，基于所述多个尺度的特征图分别选取多个预选框；
预测每一所述预选框的多个分类置信度，所述多个分类置信度包括分类为二维码的第一置信度和分类为定位图案的第二置信度；
将多个分类置信度中第一置信度最大且第一置信度大于设定的第一置信度阈值的预选框作为检测到的与所述二维码匹配的第一预选框；将多个分类置信度中第二置信度最大且第二置信度大于设定的第二置信度阈值的预选框作为检测到的与所述定位图案匹配的第二预选框。
7.如权利要求1所述的二维码检测方法，其特征在于：
所述基于所述第一预选框的修正后的第一置信度，输出二维码的检测结果，包括：
基于所述第一预选框的修正后的置信度从所述第一预选框中选出置信度最高的预定数量的第一预选框；
对所述预定数量的第一预选框进行非极大值抑制处理，得到待输出的一个或多个第三预选框；
对所述第三预选框中与第二预选框重叠的第三预选框进行位置修正，将所述第三预选框的修正后的位置作为检测到的二维码的边框位置输出。
8.如权利要求7所述的二维码检测方法，其特征在于：
所述对与第二预选框重叠的第三预选框进行位置修正，包括：
对每一个第三预选框，基于与该第三预选框的重叠度大于设定的第二重叠度阈值的每一个第二预选框进行以下处理：根据该第二预选框相对该第三预选框的位置，确定该第三预选框与该第二预选框距离最近的第一角点，以及该第二预选框与该第一角点对应的第二角点；对所述第一角点和所述第二角点的位置坐标进行加权平均，作为所述第一角点修正后的位置坐标。
9.一种二维码检测装置，包括存储器和处理器，其特征在于，所述存储器中保存有计算机程序，所述处理器执行所述计算机程序时能够实现如权利要求1至8中任一所述的二维码检测方法。
10.一种终端设备，其特征在于，包括二维码识别装置、二维码处理装置和权利要求9所述的二维码检测装置，所述二维码检测装置设置为从待检测图像中检测二维码的位置，所述二维码识别装置设置为根据所述二维码的位置获取二维码的图像并进行识别，所述二维码处理装置设置为根据对二维码的识别结果激活相应的处理流程。
11.一种基于深度学习的二维码检测网络的训练方法，包括：
采集训练样本集，在包含二维码的训练样本中标定二维码的位置以及所述二维码中的定位图案的位置；
使用所述训练样本集对基于深度学习的待训练的二维码检测网络进行训练，所述二维码检测网络进行目标分类的类别包括二维码和二维码中的定位图案；
根据训练的损失对所述二维码检测网络的参数进行优化；所述损失包括所述二维码检测网络选取的预选框相对于标定的二维码的置信度损失和定位损失，及相对于标定的定位图案的置信度损失和定位损失。
12.如权利要求11所述的基于深度学习的二维码检测网络的训练方法，其特征在于：
所述基于深度学习的待训练的二维码检测网络包括相互连接的轻量级主干网络和目标检测网络，所述轻量级主干网络采用MobileNet网络或VGG网络，目标检测网络采用SSD网络或YOLO网络。
13.一种基于深度学习的二维码检测网络的训练装置，包括存储器和处理器，其特征在于，所述存储器中保存有计算机程序，所述处理器执行所述计算机程序时能够实现如权利要求11或12所述的基于深度学习的二维码检测网络的训练方法。
14.一种非瞬态计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序时被处理器执行时实现如权利要求1至8中任一所述的二维码检测方法，或权利要求11或12所述的基于深度学习的二维码检测网络的训练方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111486702.1A CN114139564B (zh) | 2021-12-07 | 2021-12-07 | 二维码检测方法、装置、终端设备及检测网络的训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111486702.1A CN114139564B (zh) | 2021-12-07 | 2021-12-07 | 二维码检测方法、装置、终端设备及检测网络的训练方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114139564A CN114139564A (zh) | 2022-03-04 |
| CN114139564B true CN114139564B (zh) | 2024-05-07 |
Family
ID=80384907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111486702.1A Active CN114139564B (zh) | 2021-12-07 | 2021-12-07 | 二维码检测方法、装置、终端设备及检测网络的训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114139564B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116167395B (zh) * | 2023-04-26 | 2023-09-22 | 荣耀终端有限公司 | 一种扫码方法及电子设备 |
| CN116882433B (zh) * | 2023-09-07 | 2023-12-08 | 无锡维凯科技有限公司 | 一种基于机器视觉的扫码识别方法和系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107423653A (zh) * | 2017-07-06 | 2017-12-01 | 上海动联信息技术股份有限公司 | 一种二维码预处理方法、系统及解码方法 |
| CN109241808A (zh) * | 2018-08-27 | 2019-01-18 | 上海宝尊电子商务有限公司 | 一种时尚图像中二维码自动筛选方法 |
| CN110046529A (zh) * | 2018-12-11 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 二维码识别方法、装置及设备 |
| CN110262710A (zh) * | 2019-05-24 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 一种交互界面的显示方法、装置及设备 |
| CN110427793A (zh) * | 2019-08-01 | 2019-11-08 | 厦门商集网络科技有限责任公司 | 一种基于深度学习的条码检测方法及其系统 |
| CN110530376A (zh) * | 2019-10-10 | 2019-12-03 | 上海钛米机器人科技有限公司 | 机器人定位方法、装置、机器人及存储介质 |
| CN110751004A (zh) * | 2019-10-25 | 2020-02-04 | 北京达佳互联信息技术有限公司 | 二维码检测方法、装置、设备及存储介质 |
| CN111597845A (zh) * | 2019-02-20 | 2020-08-28 | 中科院微电子研究所昆山分所 | 一种二维码检测方法、装置、设备及可读存储介质 |
| CN111950318A (zh) * | 2020-08-12 | 2020-11-17 | 上海连尚网络科技有限公司 | 一种二维码图像的识别方法、设备及存储介质 |
| CN112784826A (zh) * | 2018-03-23 | 2021-05-11 | 创新先进技术有限公司 | 一种图像识别的方法、装置及设备 |
| CN113591967A (zh) * | 2021-07-27 | 2021-11-02 | 南京旭锐软件科技有限公司 | 一种图像处理方法、装置、设备及计算机存储介质 |
| WO2021227289A1 (zh) * | 2020-05-14 | 2021-11-18 | 南京翱翔信息物理融合创新研究院有限公司 | 一种基于深度学习的复杂背景低质量二维条码检测方法 |
-
2021
- 2021-12-07 CN CN202111486702.1A patent/CN114139564B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107423653A (zh) * | 2017-07-06 | 2017-12-01 | 上海动联信息技术股份有限公司 | 一种二维码预处理方法、系统及解码方法 |
| CN112784826A (zh) * | 2018-03-23 | 2021-05-11 | 创新先进技术有限公司 | 一种图像识别的方法、装置及设备 |
| CN109241808A (zh) * | 2018-08-27 | 2019-01-18 | 上海宝尊电子商务有限公司 | 一种时尚图像中二维码自动筛选方法 |
| CN110046529A (zh) * | 2018-12-11 | 2019-07-23 | 阿里巴巴集团控股有限公司 | 二维码识别方法、装置及设备 |
| CN111597845A (zh) * | 2019-02-20 | 2020-08-28 | 中科院微电子研究所昆山分所 | 一种二维码检测方法、装置、设备及可读存储介质 |
| CN110262710A (zh) * | 2019-05-24 | 2019-09-20 | 阿里巴巴集团控股有限公司 | 一种交互界面的显示方法、装置及设备 |
| CN110427793A (zh) * | 2019-08-01 | 2019-11-08 | 厦门商集网络科技有限责任公司 | 一种基于深度学习的条码检测方法及其系统 |
| CN110530376A (zh) * | 2019-10-10 | 2019-12-03 | 上海钛米机器人科技有限公司 | 机器人定位方法、装置、机器人及存储介质 |
| CN110751004A (zh) * | 2019-10-25 | 2020-02-04 | 北京达佳互联信息技术有限公司 | 二维码检测方法、装置、设备及存储介质 |
| WO2021227289A1 (zh) * | 2020-05-14 | 2021-11-18 | 南京翱翔信息物理融合创新研究院有限公司 | 一种基于深度学习的复杂背景低质量二维条码检测方法 |
| CN111950318A (zh) * | 2020-08-12 | 2020-11-17 | 上海连尚网络科技有限公司 | 一种二维码图像的识别方法、设备及存储介质 |
| CN113591967A (zh) * | 2021-07-27 | 2021-11-02 | 南京旭锐软件科技有限公司 | 一种图像处理方法、装置、设备及计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114139564A (zh) | 2022-03-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111401201B (zh) | 一种基于空间金字塔注意力驱动的航拍图像多尺度目标检测方法 | |
| CN109815770B (zh) | 二维码检测方法、装置及系统 | |
| CN110766041B (zh) | 一种基于深度学习的害虫检测方法 | |
| CN114139564B (zh) | 二维码检测方法、装置、终端设备及检测网络的训练方法 | |
| US11816149B2 (en) | Electronic device and control method thereof | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN110689021A (zh) | 一种基于深度学习的低可见度环境下实时目标检测方法 | |
| CN109697441B (zh) | 一种目标检测方法、装置及计算机设备 | |
| CN112150493A (zh) | 一种基于语义指导的自然场景下屏幕区域检测方法 | |
| CN111461145B (zh) | 一种基于卷积神经网络进行目标检测的方法 | |
| CN113326930A (zh) | 数据处理方法、神经网络的训练方法及相关装置、设备 | |
| CN113743417B (zh) | 语义分割方法和语义分割装置 | |
| CN112733885A (zh) | 点云识别模型的确定方法、点云识别的方法及装置 | |
| US20230137337A1 (en) | Enhanced machine learning model for joint detection and multi person pose estimation | |
| CN115631344B (zh) | 一种基于特征自适应聚合的目标检测方法 | |
| CN111753682A (zh) | 一种基于目标检测算法的吊装区域动态监控方法 | |
| Yang et al. | Instance segmentation and classification method for plant leaf images based on ISC-MRCNN and APS-DCCNN | |
| CN116912796A (zh) | 一种基于新型动态级联YOLOv8的自动驾驶目标识别方法及装置 | |
| CN113487610B (zh) | 疱疹图像识别方法、装置、计算机设备和存储介质 | |
| CN116452966A (zh) | 一种水下图像的目标检测方法、装置、设备及存储介质 | |
| CN108960246B (zh) | 一种用于图像识别的二值化处理装置及方法 | |
| CN111582057B (zh) | 一种基于局部感受野的人脸验证方法 | |
| CN111709377B (zh) | 特征提取方法、目标重识别方法、装置及电子设备 | |
| CN111428567B (zh) | 一种基于仿射多任务回归的行人跟踪系统及方法 | |
| CN112633066A (zh) | 一种航拍小目标检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |