CN117094343A - 一种qr码解码系统及方法 - Google Patents
一种qr码解码系统及方法 Download PDFInfo
- Publication number
- CN117094343A CN117094343A CN202311354351.8A CN202311354351A CN117094343A CN 117094343 A CN117094343 A CN 117094343A CN 202311354351 A CN202311354351 A CN 202311354351A CN 117094343 A CN117094343 A CN 117094343A
- Authority
- CN
- China
- Prior art keywords
- rois
- code
- image
- feature
- feature extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000000605 extraction Methods 0.000 claims abstract description 75
- 238000001514 detection method Methods 0.000 claims abstract description 23
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 125000004122 cyclic group Chemical group 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 14
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000007547 defect Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
- G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/24—Aligning, centring, orientation detection or correction of the image
- G06V10/242—Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Electromagnetism (AREA)
- Toxicology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及QR码解码技术领域，提出了一种QR码解码系统及方法，该系统包括：图像获取模块、特征提取模块、几何约束模块、RoI Transformer模块、码检测模块和码信息读取模块。本发明通过使用深度可分离卷积对不同层的指定区域进行特征提取而其余区域使用标准卷积的特征提取的方式在提高特征提取速度的基础上保证了图像细节的保留，针对现有基于深度学习的QR码解码技术由于对旋转不敏感而检测延迟高这一缺陷，通过几何约束结合RoI Transformer实现对旋转QR码旋转角度快速识别，然后通过投射变换得到QR码正视图从而实现鲁棒且快速的解码。
Description
技术领域
本发明涉及QR码解码技术领域，尤其是一种QR码解码系统及方法。
背景技术
QR码（QuickResponseCode，快速响应码）是一种二维码。它是一种由黑白方块组成的矩阵图形，可以储存大量的数据信息。最初，QR码的主要用途是在汽车制造业中进行零部件的追踪和管理。随着移动设备和智能手机的普及，QR码的使用变得非常普遍。QR码被广泛应用于商业、营销、物流、支付等领域。其大容量存储优势使得在使用时比传统的一维条形码更加灵活和高效。用户只需要通过手机相机或专门的扫码设备扫描QR码，就能够快速读取其中的信息。
然而，在进行QR码扫描时，由于QR所处环境的不确定，使得扫码设备在捕获QR图像时会受到光线条件、角度、畸变、模糊等因素影响，使得QR码的解码速度慢甚至出现无法解码的情况。因此需要对QR解码算法进行一定的优化，从而提高解码速度、提高解码准确性以及抗干扰性，进而提高用户的使用体验。
现有QR解码技术主要包括基于模板匹配、基于二维码结构解析、基于扫描线算法和基于深度学习四种类型。其中：
（1）基于模板匹配的方法是指通过事先构建一系列模板，然后将QR码图像与这些模板进行匹配，找到最佳匹配，从而实现解码。但这种解码方式极其容易受到图像噪声、变形等问题的影响。
（2）基于二维码结构解析的方法通过分析QR码的结构特征，如定位标志、校验位等信息进行解码，虽然该方法可以很好的处理噪声和变形的影响，但在复杂情形下如多码共存情况下会出现解码错误。
（3）基于扫描线算法是将QR码图像切割成若干个扫描线，然后通过扫描线的变化来解码，这种解码方式虽然有较快的解码速度和解码精度，但对QR码图像自身的准确性要求较高。基于深度学习的QR码解码方法是近几年出现的新型技术，最具有代表性的例子是微信QR解码。
（4）基于深度学习的解码方法在具有非常好的抗噪声性能，特别是针对光照、模糊等影响。然而，现有基于深度学习的方法在QR码非正放的情形下会出现识别延迟过高的问题，根本原因在于现有技术对非正放情形采用的是不断采集包含QR码存在的图像，并随机对图像进行迭代旋转，直至QR码相对手机呈正放状态，随后进行QR码识别解码。
现有技术拥有各自的优势也存在一定的缺陷，QR码广泛的使用场景意味着QR码解码算法会面临许多不确定因素，因此一个完备的鲁棒的QR码算法能提高QR码的整体使用效率和信息获取精度。
发明内容
为解决上述现有技术问题，本发明提供一种QR码解码系统及方法，旨在解决现有技术中QR码解码存在的在面临许多不确定因素时具有的鲁棒性差和解码速度慢的问题。
本发明的第一方面，提供了一种QR码解码系统，包括：
图像获取模块，被配置为获取具有QR码的图像；
特征提取模块，被配置为对所述具有QR码的图像进行特征区域划分，并对划分后的特征区域进行特征提取与拼接，获得图像特征图；
几何约束模块，被配置为根据图像特征图生成多个RoIs以及RoIs的几何约束关系；
RoI Transformer模块，被配置为根据多个RoIs以及RoIs的几何约束关系，生成RoIs旋转角度，并获得旋转RoIs和变形RoIs；
码检测模块，被配置为基于所述旋转RoIs和变形RoIs进行分类与回归，将分类为QR码的回归框中的图像根据RoIs旋转角度进行投射，获得待信息读取图像；
码信息读取模块，被配置为对所述待信息读取图像中的QR码进行解码，得到目标信息。
可选的，所述图像获取模块，具体包括：
图像采集单元，被配置为驱动图像采集设备采集连续的若干张具有QR码的图像，并根据采集的顺序将所述具有QR码的图像依次传输至所述特征提取模块；
解码判断单元，被配置为判断所述码信息读取模块是否解码出当前具有QR码的图像的目标信息；
图像传输单元，被配置为在当前具有QR码的图像未被解码出目标信息时，将下一具有QR码的图像传输至所述特征提取模块。
可选的，所述特征提取模块，具体包括：
特征区域划分单元，被配置为将具有QR码的图像划分为N份，获得N个特征区域；
特征提取与拼接单元，被配置为对划分后N个特征区域执行循环的N组特征提取与拼接动作，获得图像特征图。
可选的，所述特征提取与拼接单元，具体包括：
循环计数子单元，被配置为记录循环执行特征提取与拼接动作的次数n，所述次数n初始化为1，并在执行完一次特征提取与拼接动作时对n进行累加计数；
特征提取与拼接子单元，被配置为对第n个特征区域采用深度可分离卷积提取特征，对其余N-1个特征区域采用标准卷积提取特征，并对提取的特征进行拼接，获得新的图像特征图；
循环控制子单元，判断n是否小于N，若是，将所述特征提取与拼接子单元获得的新的图像特征图作为输入重新输入所述特征提取与拼接子单元；若否，将获得的新的图像特征图输出。
可选的，所述几何约束模块，具体包括：
兴趣区域提取子单元，被配置为采用RPN模型对所述图像特征图进行兴趣区域提取，获得多个RoIs；
几何约束子单元，被配置为根据获得的多个RoIs，生成几何约束关系；其中，所述几何约束关系的表达式，具体为：
其中，w为RoIs的区域宽度，h为RoIs的区域高度，为旋转检测框的区域宽度，/>为旋转检测框的区域高度，θ为RoIs旋转角度。
可选的，所述RoI Transformer模块，具体包括：
RRoI Leaner子单元，被配置为从RPN模型输出的水平RoIs中预测RoIs旋转角度，再根据RoIs旋转角度确定旋转RoIs；
RRoI Wraping子单元，被配置为对RoIs的矩阵进行旋转，生成特征变形过后的变形RoIs。
可选的，在所述RRoI Leaner子单元中，根据RoIs旋转角度确定旋转RoIs的表达式，具体为：
其中，和/>分别表示RRoI Leaner子单元给出的预测值，基于预测值/>和/>，根据RoIs的几何约束关系，确定RoIs旋转角度θ和旋转RoIs的区域宽度/>和区域高度/>。
可选的，所述RRoI Leaner子单元预测RoIs旋转角度时采用具有标签的监督学习进行训练；其中，所述训练的损失函数被配置为：
其中，表示以角度为变量的误差，为根据标签所得的角度，/>表示以区域为变量的误差。
可选的，所述码检测模块，具体包括：
分类与回归单元，被配置为将旋转RoIs和变形RoIs的特征矩阵做乘并输入到全连接层分别进行分类与回归；
图像投射单元，被配置为将分类为QR码的回归框中的图像根据RoIs旋转角度作投射作为待信息读取图像。
本发明的第二方面，提供了一种QR码解码方法，包括：
获取具有QR码的图像；
对所述具有QR码的图像进行特征区域划分，并对划分后的特征区域进行特征提取与拼接，获得图像特征图；
根据图像特征图生成多个RoIs以及RoIs的几何约束关系；
根据多个RoIs以及RoIs的几何约束关系，生成RoIs旋转角度，并获得旋转RoIs和变形RoIs；
基于旋转RoIs和变形RoIs进行分类与回归，将分类为QR码的回归框中的图像根据RoIs旋转角度进行投射，获得待信息读取图像；
对所述待信息读取图像中的QR码进行解码，得到目标信息。
本发明的有益效果在于：提出了一种QR码解码系统及方法，通过使用深度可分离卷积对不同层的指定区域进行特征提取而其余区域使用标准卷积的特征提取的方式在提高特征提取速度的基础上保证了图像细节的保留，针对现有基于深度学习的QR码解码技术由于对旋转不敏感而检测延迟高这一缺陷，通过几何约束结合RoI Transformer实现对旋转QR码旋转角度快速识别，然后通过投射变换得到QR码正视图从而实现鲁棒且快速的解码。
附图说明
图1为本发明所提供的QR码解码系统的结构示意图；
图2为本发明特征提取模块的原理示意图；
图3为本发明所提供的QR码解码方法的流程示意图。
附图标记：
10-图像获取模块；20-特征提取模块；30-几何约束模块；40-RoI Transformer模块；50-码检测模块；60-码信息读取模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
参照图1，图1为本发明实施例提供的一种QR码解码系统的结构示意图。
如图1所示，一种QR码解码系统，包括：图像获取模块、特征提取模块、几何约束模块、RoI Transformer模块、码检测模块和码信息读取模块。
其中，图像获取模块被配置为获取具有QR码的图像；特征提取模块被配置为对所述具有QR码的图像进行特征区域划分，并对划分后的特征区域进行特征提取与拼接，获得图像特征图；几何约束模块被配置为根据图像特征图生成多个RoIs（Region ofInterests，兴趣区域）以及RoIs的几何约束关系；RoI Transformer（Region of InterestTransformer，兴趣区域变换模型）模块被配置为根据多个RoIs以及RoIs的几何约束关系，生成RoIs旋转角度，并获得旋转RoIs和变形RoIs；码检测模块被配置为基于所述旋转RoIs和变形RoIs进行分类与回归，将分类为QR码的回归框中的图像根据RoIs旋转角度进行投射，获得待信息读取图像；码信息读取模块被配置为对所述待信息读取图像中的QR码进行解码，得到目标信息。
需要说明的是，现有QR解码技术主要包括基于模板匹配、基于二维码结构解析、基于扫描线算法和基于深度学习四种类型。其中：基于模板匹配的方法是指通过事先构建一系列模板，然后将QR码图像与这些模板进行匹配，找到最佳匹配，从而实现解码。但这种解码方式极其容易受到图像噪声、变形等问题的影响。基于二维码结构解析的方法通过分析QR码的结构特征，如定位标志、校验位等信息进行解码，虽然该方法可以很好的处理噪声和变形的影响，但在复杂情形下如多码共存情况下会出现解码错误。基于扫描线算法是将QR码图像切割成若干条扫描线，然后通过扫描线的变化来解码，这种解码方式虽然有较快的解码速度和解码精度，但对QR码图像自身的准确性要求较高。基于深度学习的QR码解码方法是近几年出现的新型技术，最具有代表性的例子是微信QR解码。基于深度学习的解码方法在具有非常好的抗噪声性能，特别是针对光照、模糊等影响。然而，现有基于深度学习的方法在QR码非正放的情形下会出现识别延迟过高的问题，根本原因在于现有技术对非正放情形采用的是不断采集包含QR码存在的图像，并随机对图像进行迭代旋转，直至QR码相对手机呈正放状态，随后进行QR码识别解码。因此，现有QR码解码算法在面临许多不确定因素时具有的鲁棒性差和解码速度慢的问题。
由此，本实施例提供了一种QR码解码系统，通过对具有QR码的图像进行特征区域划分，并对划分后的特征区域进行特征提取与拼接，获得图像特征图，针对现有基于深度学习的QR码解码技术由于对旋转不敏感而检测延迟高这一缺陷，通过几何约束结合RoITransformer实现对旋转QR码旋转角度快速识别，通过投射变换获得待信息读取图像，实现QR码正视图的快速解码，具有较高的鲁棒性与解码速度，解决了现有技术中QR码解码存在的在面临许多不确定因素时具有的鲁棒性差和解码速度慢的问题。
在优选的实施例中，所述图像获取模块，具体包括：图像采集单元、解码判断单元和图像传输单元。
其中，图像采集单元被配置为驱动图像采集设备采集连续的若干张具有QR码的图像，并根据采集的顺序将所述具有QR码的图像依次传输至所述特征提取模块；解码判断单元被配置为判断所述码信息读取模块是否解码出当前具有QR码的图像的目标信息；图像传输单元被配置为在当前具有QR码的图像未被解码出目标信息时，将下一具有QR码的图像传输至所述特征提取模块。
本实施例中，图像采集设备由光学镜头和成像芯片组成，例如手机镜头、笔记本电脑镜头等，图像采集单元用于驱动光学镜头和成像芯片采集连续的若干张具有QR码的图像，在实际应用中，可根据图像采集设备的帧数与采集时长的控制，来确定获得的具有QR码的图像的数量，例如对于帧数为30Hz的摄像头，可通过控制采集时长为0.5s，采集获得15张具有QR码的图像，15张图像具体为：[image1,image2 ,...,image15]。在采集图像之后，将第一帧图像传输至特征提取模块执行后续的解码过程，本实施例通过配置解码判断单元，判断该帧图像是否解码出目标信息，若已解码出目标信息，则停止解码步骤；若未解码出目标信息，则将下一帧图像传输至特征提取模块，直至解码成功。
在优选的实施例中，所述特征提取模块，具体包括：特征区域划分单元和特征提取与拼接单元。
其中，特征区域划分单元被配置为将具有QR码的图像划分为N份，获得N个特征区域；特征提取与拼接单元被配置为对划分后N个特征区域执行循环的N组特征提取与拼接动作，获得图像特征图。
具体而言，所述特征提取与拼接单元，具体包括：循环计数子单元，被配置为记录循环执行特征提取与拼接动作的次数n，所述次数n初始化为1，并在执行完一次特征提取与拼接动作时对n进行累加计数；特征提取与拼接子单元，被配置为对第n个特征区域采用深度可分离卷积提取特征，对其余N-1个特征区域采用标准卷积提取特征，并对提取的特征进行拼接，获得新的图像特征图；循环控制子单元，判断n是否小于N，若是，将所述特征提取与拼接子单元获得的新的图像特征图作为输入重新输入所述特征提取与拼接子单元；若否，将获得的新的图像特征图输出。
本实施例中，为了提高QR解码的速度，使用深度可分离卷积对不同层的指定区域进行特征提取，其余区域使用标准卷积的特征提取。如图2所示，input为输入，block为卷积块，Feature为特征，contact为特征图拼接操作，output为输出，具有QR码的图像的数据[image1,image2 ,...,image15]均缩放至640*640，通道数为3，block1到block4的标准卷积核尺寸为（2*2），步长为2，输出通道数依次为6、12、24、48。block1到block4的深度可分离卷积尺寸为（（2*2）,（1*1）），步长为2，输出通道数依次为6、12、24、48。对于运算过程，block1的指定区域为如图的A区，该区域的大小为特征图四等分，block2至block4同理。通过深度可分离卷积和标准卷积后，对所得特征图进行拼接以得到新的特征图。block4的输出会输入至几何约束模块。本实施例中，将具有QR码的图像划分为4份，获得4个特征区域，并执行4次特征提取与拼接动作。其中，在每次执行的特征提取与拼接动作中，将A区域作为指定区域采用深度可分离卷积进行特征提取，将B1、B2和B3区域作为其余区域使用标准卷积进行提取，每次执行的特征提取与拼接动作时的指定区域不相同，且上一次执行的特征提取与拼接动作生成的图像特征图作为下一次执行的特征提取与拼接动作所依据的输入特征图。由此，本实施例利用使用深度可分离卷积对不同层的指定区域进行特征提取，而其余区域使用标准卷积的特征提取的方式，在提高特征提取速度的基础上保证了图像细节的保留，使得QR解码过程中的特征提取具有较好的效果。
在优选的实施例中，所述几何约束模块，具体包括：兴趣区域提取子单元和几何约束子单元。
其中，兴趣区域提取子单元被配置为采用RPN模型对所述图像特征图进行兴趣区域提取，获得多个RoIs；几何约束子单元被配置为根据获得的多个RoIs，生成几何约束关系；其中，所述几何约束关系的表达式，具体为：
其中，w为RoIs区域宽度，h为RoIs的区域高度，为旋转检测框的区域宽度，/>为旋转检测框的区域高度，θ为RoIs旋转角度。
本实施例中，采用RPN模型（Region Proposal Network，区域候选网络）对特征提取模块传输的图像特征图进行兴趣区域提取，获得多个RoIs，RoIs的尺寸为（x，y，w，h）（分别表示中心的 x 坐标，y 坐标，区域宽度，区域高度），再由几何约束子单元根据获得的多个RoIs，生成几何约束关系，以此来表征旋转检测框的边界与RoIs边界关于RoIs旋转角度θ的关联关系。
在此基础上，所述RoI Transformer模块，具体包括：RRoI Leaner（Rotate Regionof Interest Leaner，旋转兴趣区域学习）子单元和RRoI Wraping（Rotate Region ofInterest Wraping，旋转兴趣区域学习打包）子单元。其中，RRoI Leaner子单元被配置为从RPN模型输出的水平RoIs中预测RoIs旋转角度，再根据RoIs旋转角度确定旋转RoIs；RRoIWraping子单元被配置为对RoIs的矩阵进行旋转，生成特征变形过后的变形RoIs。
具体而言，在所述RRoI Leaner子单元中，根据RoIs旋转角度确定旋转RoIs的表达式，具体为：
其中，和/>分别表示RRoI Leaner子单元给出的预测值，基于预测值/>和/>，根据RoIs的几何约束关系，确定RoIs旋转角度θ和旋转RoIs的区域宽度/>和区域高度/>。
本实施例中，和/>分别代表RRoI Leaner子单元（学习从水平ROI到旋转RoI的转换）给出的预测值，得到预测值后很容易通过反解得到θ，从而进一步得到/>和/>，由/>和/>构成的旋转RoIs记为RRoIs。为了维持旋转不变形，利用RRoI Wraping子单元（从旋转ROI中提取旋转不变的特征，用于回归和分类）对RoIs中的特征进行变形，即通过旋转矩阵实现特征旋转，该部分特征用于做回归和分类，其输出为变形过后的TRoIs，即变形RoIs。
在实际应用中，所述RRoI Leaner子单元预测RoIs旋转角度时采用具有标签的监督学习进行训练；其中，训练的损失函数被配置为：
其中，表示以角度为变量的误差，为根据标签所得的角度，/>表示以区域为变量的误差，HRoIs为（Horizontal Region of Interests，水平兴趣区域），RRoIs为（Rotate Region ofInterests，旋转兴趣区域），TRoIs为（Transform Region of Interests，变形兴趣区域）。
本实施例中，考虑到RRoI Leaner子单元的预测结果必定不是准确的，因此在训练时需要引入标签。由此，能够针对现有基于深度学习的QR码解码技术由于对旋转不敏感而检测延迟高这一缺陷，通过几何约束结合RoI Transformer实现对旋转QR码旋转角度快速识别。
在优选的实施例中，所述码检测模块，具体包括：分类与回归单元和图像投射单元。
其中，分类与回归单元被配置为将旋转RoIs和变形RoIs的特征矩阵做乘并输入到全连接层分别进行分类与回归；图像投射单元被配置为将分类为QR码的回归框中的图像根据RoIs旋转角度作投射作为待信息读取图像。
本实施例中，由于QR码解码时只需要QR码自身，因此可以理解为二分类，即QR码和背景，码检测模块首先将RRoIs与TRoIs做乘，随后输入到一个全连接层中分别做分类和回归，将分类为QR码的回归框中的图像根据θ角作投射作为待信息读取图像送入码信息读取模块。最后，码信息读取模块通过调用ZXing库对图像中的QR码进行解码并得到目标信息。
由此，本实施例提出了一种QR码解码系统，通过使用深度可分离卷积对不同层的指定区域进行特征提取而其余区域使用标准卷积的特征提取的方式在提高特征提取速度的基础上保证了图像细节的保留，针对现有基于深度学习的QR码解码技术由于对旋转不敏感而检测延迟高这一缺陷，通过几何约束结合RoI Transformer实现对旋转QR码旋转角度快速识别，然后通过投射变换得到QR码正视图从而实现鲁棒且快速的解码。
参照图3，图3为本发明实施例提供的一种QR码解码方法的流程示意图。
如图3所示，一种QR码解码方法，包括步骤：
S1：获取具有QR码的图像；
S2：对所述具有QR码的图像进行特征区域划分，并对划分后的特征区域进行特征提取与拼接，获得图像特征图；
S3：根据图像特征图生成多个RoIs以及RoIs的几何约束关系；
S4：根据多个RoIs以及RoIs的几何约束关系，生成RoIs旋转角度，并获得旋转RoIs和变形RoIs；
S5：基于旋转RoIs和变形RoIs进行分类与回归，将分类为QR码的回归框中的图像根据RoIs旋转角度进行投射，获得待信息读取图像；
S6：对所述待信息读取图像中的QR码进行解码，得到目标信息。
本实施例中，通过使用深度可分离卷积对不同层的指定区域进行特征提取而其余区域使用标准卷积的特征提取的方式在提高特征提取速度的基础上保证了图像细节的保留，针对现有基于深度学习的QR码解码技术由于对旋转不敏感而检测延迟高这一缺陷，通过几何约束结合RoI Transformer实现对旋转QR码旋转角度快速识别，然后通过投射变换得到QR码正视图从而实现鲁棒且快速的解码。
本申请QR码解码方法的具体实施方式与上述QR码解码系统各实施例基本相同，在此不再赘述。
在本发明的实施例的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“中心”、“顶”、“底”、“顶部”、“底部”、“内”、“外”、“内侧”、“外侧”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。其中，“里侧”是指内部或围起来的区域或空间。“外围”是指某特定部件或特定区域的周围的区域。
在本发明的实施例的描述中，术语“第一”、“第二”、“第三”、“第四”仅用以描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“组装”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
在本发明的实施例的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
在本发明的实施例的描述中，需要理解的是，“-”和“~”表示的是两个数值之同的范围，并且该范围包括端点。例如:“A-B”表示大于或等于A，且小于或等于B的范围。“A~B”表示大于或等于A，且小于或等于B的范围。
在本发明的实施例的描述中，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种QR码解码系统，其特征在于，包括：
图像获取模块，被配置为获取具有QR码的图像；
特征提取模块，被配置为对所述具有QR码的图像进行特征区域划分，并对划分后的特征区域进行特征提取与拼接，获得图像特征图；
几何约束模块，被配置为根据图像特征图生成多个RoIs以及RoIs的几何约束关系；
RoI Transformer模块，被配置为根据多个RoIs以及RoIs的几何约束关系，生成RoIs旋转角度，并获得旋转RoIs和变形RoIs；
码检测模块，被配置为基于所述旋转RoIs和变形RoIs进行分类与回归，将分类为QR码的回归框中的图像根据RoIs旋转角度进行投射，获得待信息读取图像；
码信息读取模块，被配置为对所述待信息读取图像中的QR码进行解码，得到目标信息。
2.根据权利要求1所述的QR码解码系统，其特征在于，所述图像获取模块，具体包括：
图像采集单元，被配置为驱动图像采集设备采集连续的若干张具有QR码的图像，并根据采集的顺序将所述具有QR码的图像依次传输至所述特征提取模块；
解码判断单元，被配置为判断所述码信息读取模块是否解码出当前具有QR码的图像的目标信息；
图像传输单元，被配置为在当前具有QR码的图像未被解码出目标信息时，将下一具有QR码的图像传输至所述特征提取模块。
3.根据权利要求1所述的QR码解码系统，其特征在于，所述特征提取模块，具体包括：
特征区域划分单元，被配置为将具有QR码的图像划分为N份，获得N个特征区域；
特征提取与拼接单元，被配置为对划分后N个特征区域执行循环的N组特征提取与拼接动作，获得图像特征图。
4.根据权利要求3所述的QR码解码系统，其特征在于，所述特征提取与拼接单元，具体包括：
循环计数子单元，被配置为记录循环执行特征提取与拼接动作的次数n，所述次数n初始化为1，并在执行完一次特征提取与拼接动作时对n进行累加计数；
特征提取与拼接子单元，被配置为对第n个特征区域采用深度可分离卷积提取特征，对其余N-1个特征区域采用标准卷积提取特征，并对提取的特征进行拼接，获得新的图像特征图；
循环控制子单元，判断n是否小于N，若是，将所述特征提取与拼接子单元获得的新的图像特征图作为输入重新输入所述特征提取与拼接子单元；若否，将获得的新的图像特征图输出。
5.根据权利要求1所述的QR码解码系统，其特征在于，所述几何约束模块，具体包括：
兴趣区域提取子单元，被配置为采用RPN模型对所述图像特征图进行兴趣区域提取，获得多个RoIs；
几何约束子单元，被配置为根据获得的多个RoIs，生成几何约束关系；其中，所述几何约束关系的表达式，具体为：
；
其中，w为RoIs的区域宽度，h为RoIs的区域高度，为旋转检测框的区域宽度，/>为旋转检测框的区域高度，θ为RoIs旋转角度。
6.根据权利要求5所述的QR码解码系统，其特征在于，所述RoI Transformer模块，具体包括：
RRoI Leaner子单元，被配置为从RPN模型输出的水平RoIs中预测RoIs旋转角度，再根据RoIs旋转角度确定旋转RoIs；
RRoI Wraping子单元，被配置为对RoIs的矩阵进行旋转，生成特征变形过后的变形RoIs。
7.根据权利要求6所述的QR码解码系统，其特征在于，在所述RRoI Leaner子单元中，根据RoIs旋转角度确定旋转RoIs的表达式，具体为：
；
其中，和/>分别表示RRoI Leaner子单元给出的预测值，基于预测值/>和/>，根据RoIs的几何约束关系，确定RoIs旋转角度θ和旋转RoIs的区域宽度/>和区域高度/>。
8.根据权利要求7所述的QR码解码系统，其特征在于，所述RRoI Leaner子单元预测RoIs旋转角度时采用具有标签的监督学习进行训练；其中，所述训练的损失函数被配置为：
；
其中，表示以角度为变量的误差，/>为根据标签所得的角度，/>表示以区域为变量的误差，HRoIs为水平RoI，RRoIs为旋转RoI，TRoIs为变形RoI。
9.根据权利要求1所述的QR码解码系统，其特征在于，所述码检测模块，具体包括：
分类与回归单元，被配置为将旋转RoIs和变形RoIs的特征矩阵做乘并输入到全连接层分别进行分类与回归；
图像投射单元，被配置为将分类为QR码的回归框中的图像根据RoIs旋转角度作投射作为待信息读取图像。
10.一种QR码解码方法，用于如权利要求1-9任意一项所述的QR码解码系统，其特征在于，包括：
获取具有QR码的图像；
对所述具有QR码的图像进行特征区域划分，并对划分后的特征区域进行特征提取与拼接，获得图像特征图；
根据图像特征图生成多个RoIs以及RoIs的几何约束关系；
根据多个RoIs以及RoIs的几何约束关系，生成RoIs旋转角度，并获得旋转RoIs和变形RoIs；
基于旋转RoIs和变形RoIs进行分类与回归，将分类为QR码的回归框中的图像根据RoIs旋转角度进行投射，获得待信息读取图像；
对所述待信息读取图像中的QR码进行解码，得到目标信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311354351.8A CN117094343B (zh) | 2023-10-19 | 2023-10-19 | 一种qr码解码系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311354351.8A CN117094343B (zh) | 2023-10-19 | 2023-10-19 | 一种qr码解码系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117094343A true CN117094343A (zh) | 2023-11-21 |
| CN117094343B CN117094343B (zh) | 2023-12-29 |
Family
ID=88770393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311354351.8A Active CN117094343B (zh) | 2023-10-19 | 2023-10-19 | 一种qr码解码系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117094343B (zh) |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049728A (zh) * | 2012-12-30 | 2013-04-17 | 成都理想境界科技有限公司 | 基于二维码的增强现实方法、系统及终端 |
| CN104331697A (zh) * | 2014-11-17 | 2015-02-04 | 山东大学 | 一种感兴趣区域的定位方法 |
| GB201516688D0 (en) * | 2015-09-21 | 2015-11-04 | Canon Kk | A portable device and a method for processing a data stream |
| CN106528662A (zh) * | 2016-10-20 | 2017-03-22 | 中山大学 | 一种基于特征几何约束的车辆图像快速检索方法与系统 |
| CN111311248A (zh) * | 2018-12-11 | 2020-06-19 | 北京意锐新创科技有限公司 | 低功耗屏下式识读二维码的方法和装置 |
| CN111311225A (zh) * | 2018-12-11 | 2020-06-19 | 北京意锐新创科技有限公司 | 基于光模块加密的屏下式支付方法和装置 |
| CN112101277A (zh) * | 2020-09-24 | 2020-12-18 | 湖南大学 | 一种图像语义特征约束的遥感目标检测方法 |
| CN113191296A (zh) * | 2021-05-13 | 2021-07-30 | 中国人民解放军陆军炮兵防空兵学院 | 一种基于yolov5的任意朝向目标五参数检测方法 |
| CN114066964A (zh) * | 2021-11-17 | 2022-02-18 | 江南大学 | 一种基于深度学习的水产实时尺寸检测方法 |
| US20220067927A1 (en) * | 2020-08-31 | 2022-03-03 | Ping An Technology (Shenzhen) Co., Ltd. | Method and apparatus for mammographic multi-view mass identification |
| DE202022104365U1 (de) * | 2022-08-01 | 2022-08-22 | Madhumita Banerjee | Ein robustes Farbbild-Hashing-System für die Bildauthentifizierung |
| CN116055211A (zh) * | 2023-02-14 | 2023-05-02 | 成都理工大学工程技术学院 | 基于神经网络用于身份识别并自动登录应用的方法与系统 |
-
2023
- 2023-10-19 CN CN202311354351.8A patent/CN117094343B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103049728A (zh) * | 2012-12-30 | 2013-04-17 | 成都理想境界科技有限公司 | 基于二维码的增强现实方法、系统及终端 |
| CN104331697A (zh) * | 2014-11-17 | 2015-02-04 | 山东大学 | 一种感兴趣区域的定位方法 |
| GB201516688D0 (en) * | 2015-09-21 | 2015-11-04 | Canon Kk | A portable device and a method for processing a data stream |
| CN106528662A (zh) * | 2016-10-20 | 2017-03-22 | 中山大学 | 一种基于特征几何约束的车辆图像快速检索方法与系统 |
| CN111311248A (zh) * | 2018-12-11 | 2020-06-19 | 北京意锐新创科技有限公司 | 低功耗屏下式识读二维码的方法和装置 |
| CN111311225A (zh) * | 2018-12-11 | 2020-06-19 | 北京意锐新创科技有限公司 | 基于光模块加密的屏下式支付方法和装置 |
| US20220067927A1 (en) * | 2020-08-31 | 2022-03-03 | Ping An Technology (Shenzhen) Co., Ltd. | Method and apparatus for mammographic multi-view mass identification |
| CN112101277A (zh) * | 2020-09-24 | 2020-12-18 | 湖南大学 | 一种图像语义特征约束的遥感目标检测方法 |
| CN113191296A (zh) * | 2021-05-13 | 2021-07-30 | 中国人民解放军陆军炮兵防空兵学院 | 一种基于yolov5的任意朝向目标五参数检测方法 |
| CN114066964A (zh) * | 2021-11-17 | 2022-02-18 | 江南大学 | 一种基于深度学习的水产实时尺寸检测方法 |
| DE202022104365U1 (de) * | 2022-08-01 | 2022-08-22 | Madhumita Banerjee | Ein robustes Farbbild-Hashing-System für die Bildauthentifizierung |
| CN116055211A (zh) * | 2023-02-14 | 2023-05-02 | 成都理工大学工程技术学院 | 基于神经网络用于身份识别并自动登录应用的方法与系统 |
Non-Patent Citations (1)
| Title |
|---|
| SHIH-SYUN LIN等: "Efficient QR Code Beautification With High Quality Visual Content", 《IEEE TRANSACTIONS ON MULTIMEDIA》, vol. 17, no. 9, pages 1515 - 1524, XP055288656, DOI: 10.1109/TMM.2015.2437711 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117094343B (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kavasidis et al. | A saliency-based convolutional neural network for table and chart detection in digitized documents | |
| US8523075B2 (en) | Barcode recognition using data-driven classifier | |
| US8733650B1 (en) | Decoding barcodes from images with varying degrees of focus | |
| US7886978B2 (en) | Techniques for decoding images of barcodes | |
| CN111275038A (zh) | 图像文本识别方法、装置、计算机设备及计算机存储介质 | |
| CN108875731B (zh) | 目标识别方法、装置、系统及存储介质 | |
| US8413903B1 (en) | Decoding barcodes | |
| US20130240628A1 (en) | Barcode Recognition Using Data-Driven Classifier | |
| US8374454B2 (en) | Detection of objects using range information | |
| Dubská et al. | Real-time precise detection of regular grids and matrix codes | |
| US10062013B2 (en) | Method of image processing | |
| CN105765628A (zh) | 深度图生成 | |
| CN107766864B (zh) | 提取特征的方法和装置、物体识别的方法和装置 | |
| CN108959998A (zh) | 二维码识别方法、装置及系统 | |
| CN113569840A (zh) | 基于自注意力机制的表单识别方法、装置及存储介质 | |
| CN112001200A (zh) | 识别码识别方法、装置、设备、存储介质和系统 | |
| KR102440198B1 (ko) | 시각 검색 방법, 장치, 컴퓨터 기기 및 저장 매체 (video search method and apparatus, computer device, and storage medium) | |
| CN113221718B (zh) | 公式识别方法、装置、存储介质和电子设备 | |
| CN112183148B (zh) | 一种批量条码定位方法及识别系统 | |
| CN117094343B (zh) | 一种qr码解码系统及方法 | |
| US20230342575A1 (en) | Methods and systems of harvesting data for training machine learning (ml) model | |
| Santellani et al. | S-TREK: Sequential Translation and Rotation Equivariant Keypoints for local feature extraction | |
| CN116977895A (zh) | 用于通用相机镜头的污渍检测方法、装置及计算机设备 | |
| CN103544465B (zh) | 一种二维条形码解码识别方法及装置 | |
| CN113450381B (zh) | 一种图像分割模型的准确度评价系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |