CN112101060A - 基于平移不变性和小区域模板匹配的二维码定位方法 - Google Patents

基于平移不变性和小区域模板匹配的二维码定位方法 Download PDF

Info

Publication number
CN112101060A
CN112101060A CN202011171752.6A CN202011171752A CN112101060A CN 112101060 A CN112101060 A CN 112101060A CN 202011171752 A CN202011171752 A CN 202011171752A CN 112101060 A CN112101060 A CN 112101060A
Authority
CN
China
Prior art keywords
dimensional code
image
area
template matching
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011171752.6A
Other languages
English (en)
Other versions
CN112101060B (zh
Inventor
王兴元
李琦
王晓雨
咸永锦
高锁
闫晓鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Qingcheng Shilian Information Technology Co ltd
Original Assignee
Dalian Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Maritime University filed Critical Dalian Maritime University
Priority to CN202011171752.6A priority Critical patent/CN112101060B/zh
Publication of CN112101060A publication Critical patent/CN112101060A/zh
Application granted granted Critical
Publication of CN112101060B publication Critical patent/CN112101060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明公开了基于平移不变性和小区域模板匹配的二维码定位方法和系统，属于工业二维码定位相关技术领域，该方法包括以下步骤，实时采集在高速传送带上传送的产品的图像，对图像队列里每个图像的选择多个特征明显的关键区域，采用小区域模板匹配算法对多个关键区域分别进行模板设置，在固定的搜索区域内进行模板匹配处理，将梯度幅值具有旋转不变性与基于梯度幅值特征快速搜索匹配算法相结合，定位到关键区域；根据二维码的大小以及获得的二维码的中心坐标来实现对二维码的准确定位，进而实现二维码识别；当识别出的二维码与二维码的原内容不一致，则识别出的二维码不合格，该方法满足高速生产线对印刷有二维码产品的实时检测与在线实时分拣要求。

Description

基于平移不变性和小区域模板匹配的二维码定位方法
技术领域
本发明涉及工业二维码定位相关技术领域，尤其涉及基于平移不变性和小区域模板匹配的二维码定位方法。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
在工业生产行业，二维条码是储存其产品信息的良好媒介。二维码具有解码速度快、储存信息量大以及鲁棒性强等特点，因此对生产线上产品的信息数据分类与保存具有重要的意义。但是在工业二维码印刷过程中，漏印、错印以及印刷不清等情况时有发生，一旦标识出错的产品流通到市场上会给厂家带来很大的隐患。在高速的工业生产线上，二维码的印刷问题时常存在，但目前大多数的生产厂家还是采取人工检测的方式，检测效率和检测精度都无法满足高速生产线上的要求。为了提升工业生产厂家的工作效率和检测精度，对二维码高速定位技术的研究势在必行。
目前大多数工业生产厂家采用人工视觉进行二维条码的合格检测，由于人眼视觉一致性差，易于疲劳，导致其检测效率低下，可靠性不高。少数厂家采用机器视觉技术实现产品瑕疵检测或印刷缺陷检测，但是由于在工业生产线上采集环境差，且由于相机与产品之间存在着延迟效果，采集到的二维码图像会产生畸变和模糊等问题，在此种情况下，即使定位到二维码也无法准确对其进行解码和识别，因而，研究一种具有高精度且高效率的二维条码的定位及检测方法和装置，满足工业厂家高速、准确检测的要求，是本领域亟需解决的问题。
发明内容
根据现有技术存在的问题，本发明公开了基于平移不变性和小区域模板匹配的二维码定位方法，包括以下步骤：
S1:实时采集在高速传送带上传送的产品的图像，并将产品的图像进行存储形成待处理的图像队列；
S2:对图像队列里每个图像的选择多个特征明显的关键区域，并在图像里划取固定的搜索区域，并采用小区域模板匹配算法对多个关键区域分别进行模板设置，在固定的搜索区域内进行模板匹配处理，将梯度幅值具有旋转不变性与基于梯度幅值特征快速搜索匹配算法相结合，搜索到角度发生部分倾斜的产品图像，进而定位到关键区域；
S3：计算出二维码区域与搜索区域之间的距离值，根据平移不变性的原理，对关键区域和二维码区域之间的位置关系建立模型，根据关键区域和二维码区域的位置关系模型，确定一个相对于关键区域和二维码区域的一次坐标平移的原点位置，实现对二维码区域在图像中位置的估计，根据二维码的大小以及获得的二维码的中心坐标来实现对二维码的准确定位，进而实现二维码识别；
S4:将识别出的二维码与二维码的原内容进行比较，当识别出的二维码与二维码的原内容一致，则识别出的二维码合格，将合格的二维码图像从图像队列中删除，并记录相应的批次和序号，当识别出的二维码与二维码的原内容不一致，则识别出的二维码不合格。
进一步地，所述将梯度幅值具有旋转不变性与基于梯度幅值特征快速搜索匹配算法相结合，搜索到角度发生部分倾斜的产品图像，进而定位到关键区域，包括以下步骤：
S2-1：首先得到大小为IM×M的二维码图像，计算图像IM×M的梯度幅值矩阵GM×M；
S2-2：根据关键区域设置模板图像Ta×b，在二维码图像IM×M中截取与模板图像Ta×b大小相同的子块S(u,v)a×b；(u，v)是子块的右上角坐标点；
S2-3：统计出(M-a)*b个子块的幅值分布情况，得出幅值分布情况的向量IT；然后计算向量组中与每个向量I(u,v)的相关系数r(u，v)；
S2-4：迭代计算出最大的梯度幅值，即匹配成功，并将相关系数存储在二维矩阵中。
基于平移不变性和小区域模板匹配的二维码定位系统，包括：
将产品按顺序进行高速产送的高速产品传送带；
对所述高速产品传送带产送的产品进行图像采集的工业相机；
为所述工业相机进行图像采集时提供均匀平稳的照明亮度的工业光源；
触发所述工业相机对产品进行图像采集的光电传感器；
对所述工业相机采集的产品图像进行二维码识别和不合格二维码剔除的上位机。
进一步地，所述工业光源采用工业环形光源。
进一步地：该系统还包括对所述工业光源的亮度进行调节的光源亮度调节器。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成基于平移不变性和小区域模板匹配的二维码定位方法。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成基于平移不变性和小区域模板匹配的二维码定位方法。
由于采用了上述技术方案，本发明提供的基于平移不变性和小区域模板匹配的二维码定位方法；通过采用固定搜素区域以及小区域模板匹配算法对关键区域(特征明显的区域)进行匹配，然后利用关键区域与二维码区域之间的位置相关性建模，克服了高速状态下采集到的二维码图像出现拖影或断码的情况而无法识别的问题，在避免了直接对二维码进行采集处理的同时，最大程度上节省了图像处理时间，提升了视觉系统的检测效率，满足高速生产线上对印刷有二维码产品的实时检测与在线实时分拣要求。
(1)选取特征比较突出的关键区域，并划取固定的搜素区域，采用小区域模板匹配算法对关键区域设立模板，避免了从全图对关键区域进行搜索，节省了图像处理时间，提高了系统的检测效率，满足高速生产线上对印刷有二维码产品的实时检测与在线实时分拣要求；
(2)根据平移不变性的原理，对关键区域和二维码区域之间的位置关系建模，首先计算出二维码与搜索区域之间的距离值，根据关键区域和二维码区域的相对物理位置关系，确定一次坐标平移的原点位置，从而实现对二维码区域位置的估计；
(3)根据得到的二维码中心坐标以及其大小对其进行准确定位，并利用成熟的二维码解码算法对其进行识别，得出识别结果在上位机软件实时显示，并实时计算和显示系统的检测准确率；
(4)根据实时获取的二维码识别结果，将合格图像直接删除，而将不合格图像数据存储于内存，并记录相应的批次和序号，用于图像缺陷的进一步分析处理。通过仅保留缺陷产品图像的方法，可以有效节省服务器Tesla V100的内存空间使用效率，提高系统的运行速度。
(5)根据图像识别结果，启动生产线继电相应装置，将不合格的产品包装剔出生产线，可以有效保障药品生产的良品率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的基于平移不变性和小区域模板匹配的二维码定位方法的流程图；
图2是本发明的工业二维码视觉定位系统的结构示意图；
图3是本发明采集的原始工业二维码图像(QR code)；
图4是本发明采用本公开的二维码定位方法对QR code类型的二维码做处理得到的识别结果图；
图5是本发明采集的原始工业二维码图像(Data matrix code)；
图6是本发明的二维码定位方法对Data matrix code类型的二维码处理得到的识别结果图；
图7是采用目前主流的二维码定位算法和本发明提出的定位算法处理大小为256*256的二维码图像所耗费的时间对比图；
图8是采用目前主流的二维码定位算法和本发明提出的定位算法处理大小为512*512的二维码图像所耗费的时间对比图；
图9是采用发明提出的基于平移不变性和小区域模板匹配算法的二维码定位算法处理大小为256*256的二维码图像获得的定位及识别准确率对比图；
图10是采用本发明提出的基于平移不变性和小区域模板匹配算法的二维码定位算法处理大小为512*512的二维码图像获得的定位及识别准确率对比图。
具体实施方式
为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
图1是本发明的基于平移不变性和小区域模板匹配的二维码定位方法的流程图；本公开为了解决上述问题，提出了一种基于平移不变性和小区域模板匹配的二维码定位方法，并开发出了完整的视觉检测系统。
一种基于平移不变性和小区域模板匹配的二维码定位方法，包括以下步骤：
S1:实时采集在高速传送带上传送的产品的图像，并将产品的图像进行存储形成待处理的图像队列；
S2:对图像队列里每个图像的选择多个特征明显(外观比较突出，比如文字、商标等特征比较明显的区域)的关键区域，并在图像里划取固定的搜索区域，并采用小区域模板匹配算法对多个关键区域分别进行模板设置，在固定的搜索区域内进行模板匹配处理，从而避免了对整幅图像做检测，节省了搜索时间，提升了系统的处理效率；
将梯度幅值具有旋转不变性与基于梯度幅值特征快速搜索匹配算法相结合，搜索到角度发生部分倾斜的产品图像，进而定位到关键区域；
S3：计算出二维码区域与搜索区域之间的距离值，根据平移不变性的原理，对关键区域和二维码区域之间的位置关系建立模型，根据关键区域和二维码区域的位置关系模型，确定一个相对于关键区域和二维码区域的一次坐标平移的原点位置，实现对二维码区域在图像中位置的估计，根据二维码的大小以及获得的二维码的中心坐标来实现对二维码的准确定位，进而实现二维码识别；
利用搜索区域和二维码位置的距离值不变对模型进行最小二乘法(LS)求解，得到所求二维码的位置信息，进而对其进行定位；，得到二维码之后采用封装好的二维码解码函数对其进行识别进而实时显示处理结果；
S4:将识别出的二维码与二维码的原内容进行比较，当识别出的二维码与二维码的原内容一致，则识别出的二维码合格，将合格的二维码图像从图像队列中删除，并记录相应的批次和序号，当识别出的二维码与二维码的原内容不一致，则识别出的二维码不合格。
根据二维码的识别结果对合格的产品进行包装，删除对应的产品图像来降低视觉系统的内存使用率，而对定位错误或者识别错误的产品图像启动存储线程，对其进行保存以供进行分析；通过仅保留缺陷产品图像的方法，可以有效节省服务器的内存空间使用效率，进一步提升系统的处理效率。
所述步骤2中采用小区域模板匹配算法对多个关键区域分别进行模板设置，提升图片的处理效率，具体为：为了避免直接对二维码做图像处理，首先选取几个关键区域(特征突出的区域)，并将其设置为模板，传统的模板匹配是在采集的整幅图像中搜索，假设设置的关键区域大小为a×b，图像的大小为M×M，其中M>a，M>b，关键区域的某一点坐标为(x0，y0)，那么其灰度值可表示为G(x0，y0)；在整幅图像中与其相对应的点的坐标为(X0，Y0)，其灰度值可表示为I(X0，Y0)，那么进行一次匹配的结果可以如下表示；
Figure BDA0002747507200000061
所有的匹配结束后，得到的公式(1)最小的值则为匹配的最佳结果，最小值表示模板和找到的区域之间差异最小，最小值肯定就是最佳的。
传统的模板匹配算法的运算量非常大，从公式中可以看出，每做一次匹配则需要做m×n次减法，m×n次平方以及m×n-1次加法，在整幅图像中做匹配的话需要的运算次数为：
Time＝(M-a+1)×(M-b+1) (2)
本公开采用小区域模板匹配算法，分析上述公式(2)，M越大，则匹配的速度就慢，而a和b越大，则起到相反的效果；因此在设置模板之前，首先固定好搜索区域，相当于缩小M，即对图像的大小进行了改变，而由于关键区域取多个，则是增加了a和b，可进一步提升搜索效率。
设置完搜索区域和关键区域后，利用梯度幅值具有旋转不变性的特点来对关键区域设置模板，图像的梯度是将图像看作是一个二维标量I(i,j)，在这个二维平面存在一个矢量g，g的方向表示该点变化率最大的方向，其大小为该点的变化率，即图像角度的不同不会影响图像中某一点梯度矢量相对于图像自身的大小和方向，因此可以基于图像的梯度幅值特征作来将关键区域设置为模板，进而在搜素区域内快速搜素，所述基于梯度幅值特征快速搜索匹配算法如下：
S2-1：首先得到大小为IM×M的二维码图像；然后计算图像IM×M的梯度幅值矩阵GM×M；
S2-2：根据关键区域设置模板图像Ta×b，在图像IM×M中截取与模板图像Ta×b大小相同的子块S(u,v)a×；(u，v)是子块的右上角坐标点；
S2-3：统计出(M-a)*b个子块的幅值分布情况，可得出幅值分布情况的向量IT；然后计算向量组中与每个向量I(u,v)的相关系数r(u,v)：
Figure BDA0002747507200000071
S2-4：迭代计算出最大的梯度幅值，即匹配成功，并将相关系数存储在矩阵A(二维矩阵)中。(注：差异大的子图像，其梯度幅值小，则导致相关系数小)
进一步地，计算出二维码区域与搜索区域之间的距离值，根据平移不变性的原理，对关键区域和二维码区域之间的位置关系建立模型，根据关键区域和二维码区域的位置关系模型，确定一个相对于关键区域和二维码区域的一次坐标平移的原点位置，实现对二维码区域在图像中位置的估计；(关键区域可被定位到，而且关键区域和二维码区域的相对位置是固定不变的，得到原点位置后，由已知条件(二维码大小，原点位置，关键区域位置以及关键区域与二维码之间的关系)是很容易得到二维码的中心坐标的)；包括如下处理步骤：
首先计算关键区域到二维码区域的距离值Ri，i表示的是关键区域的个数，其距离都是从关键区域的中心点到二维码区域的中心点进行计算得到的，因此可以得到如下公式：
Ri 2＝(x-xi)2+(y-yi)2 (4)
其中(x，y)表示二维码中心位置的坐标点，(xi，yi)表示第i个关键区域的中心位置的坐标点，Ri表示的是第i个关键区域到二维码区域的距离值，由上述公式可以得到：
2CX＝Y (5)
X为所求二维码的中心位置坐标，即
Figure BDA0002747507200000072
C为关键区域的位置坐标，表示为
Figure BDA0002747507200000081
那么Y可以根据如下公式得：
Figure BDA0002747507200000086
由公式(5)(6)可得Y的表示为：
Figure BDA0002747507200000082
根据以上公式可得出二维码中心位置的坐标点的解，也就是X的解，如下所示：
X＝(CTC)-1CTY/2 (8)
通过对公式(7)进行分析，每个参数都包含未知解X，并且其中的元素结构都是相同的，从X的最小二乘解可以看出，对二维码中心位置坐标的计算其实是Y中的各个参数通过复合矩阵(CTC)-1CT进行加权后的叠加值，但是该矩阵的计算与坐标原点有着很大关系，因此，本公开中首先要消除Y中的未知项，设置(CTC)-1，如下所示：
Figure BDA0002747507200000083
对公式(8)、(9)进行结合，可以得到：
Figure BDA0002747507200000084
通过分析公式(10)可设置新的原点位置M(E，F)，其可设置为：
Figure BDA0002747507200000085
由公式(4)-(11)可得如下方程组：
Figure BDA0002747507200000091
在方程组中，带有“’”的表示的是在新的坐标原点下更新后的参数值，将其带入公式(1)可得：
Figure BDA0002747507200000092
因此可以得到二维码区域的中心位置坐标点的解，即：
X'＝(CTC)-1CTY'/2＝GCTY'/2 (14)
将公式(14)展开，再将方程组里的参数代入之后可得：
Figure BDA0002747507200000093
将得到的x’和y’的值代入到方程组中，就得到了在原来坐标系中的二维码区域的中心点的位置坐标的数值，再根据二维码区域的大小可直接对其进行复现并且实现准确定位。
图2是本发明的工业二维码视觉定位系统的结构示意图；基于平移不变性和小区域模板匹配的二维码定位系统，包括产品传送带、工业环形光源、工业相机、光电传感器和上位机；
所述高速产品传送带将产品按照顺序进行高速产送；
所述工业相机用于采集所述高速产品传送带产送的产品的图像；并将其进行存储形成待处理的图像队列；所述工业相机和镜头实现在工业环境下的图像采集任务；
所述工业光源为所述工业相机进行图像采集时提供均匀平稳的照明亮度的，从而实现高分辨率的图像采集；
所述光电传感器触发所述工业相机对产品进行图像的采集；
所述上位机对所述工业相机采集的产品图像进行二维码识别和不合格二维码剔除，所述上位机的软件则负责执行本文所提出的基于平移不变性和小区域模板匹配的工业二维码高速定位方法。
所述上位机可以直接发出操控命令的计算机，一般是PC/host computer/mastercomputer/upper computer，在上位机屏幕上可以显示各种信号变化(一维信号、图像、识别结果等)。
本实施例工业相机和工业镜头选用BASLE巴斯勒500万像素的工业相机和POMEAS36mm标准变焦镜头，当印刷好二维码的工业产品在高速传送带上经过工业相机的拍摄范围时，所述光电传感器会产生触发信号，触发CCD工业相机进行图像采集，根据产品的位置采用工业环形光源，为需检测的二维码产品提供均匀照度，提高采集图像分辨率。
本系统同时还包括对所述工业环形光源的亮度进行调节的光源亮度调节器，所述工业光源为工业环形光源，所述光源调节器与所述工业光源连接，用于调节工业产线上的照明亮度，以适应工业产线上的恶劣照明环境；
所述光电传感器可以采用德国leuze漫反射光电传感器，用于检测待测产品的位置，产生外部信号来触发工业相机采集图像。
本系统根据待检测包装的识别结果，记录识别的结果数据做好采集记录，可以建立检测信息表格，在表格中记录检测的情况，如检测的总数量、合格数和不合格数等，对应包装的批次和序号等关键信息，删除合格的包装图像数据以节约内存空间占用，将不合格的二维码图像存储，便于后期分析。根据检测的结果，生产线上的相应执行设备将不合格包装剔除出生产线，再进行下一图像的采集。
所述上位机对存储的不合格品的图像进行管理，通过计数内存中的瑕疵产品图像数量，当瑕疵图像数量达到设定上限时，启动新的数据处理线程存储缺陷图像。
本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例中方法所述的步骤。
本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中方法所述的步骤。
本公开可以在很大程度上降低内存空间的占用与图像信息的读写次数，提升系统的二维码检测效率。
为验证本发明的效果，将本发明效果与传统的检测方法进行了对比。
图3是本发明采集的原始工业二维码图像(QR code)；图4是本发明采用本公开的二维码定位方法对QR code类型的二维码做处理得到的识别结果图；图5是本发明采集的原始工业二维码图像(Data matrix code)；图6是本发明的二维码定位方法对Data matrixcode类型的二维码处理得到的识别结果图；
本发明实施例使用工业相机实时采集印刷有二维码的产品图像作为识别对象，分别采用目前比较主流的二维码定位方法(面向快递分拣的二维码定位与校正方法和和基于位置判别的激光QR二维码定位方法)和本实施例中的方法分别处理不同大小以及不同类型的二维码图像，目前主流的二维码定位算法所耗费对不同大小的二维码图像进行检测所耗费的时间和基于本实施例提出的二维码定位算法对不同大小的二维码图像进行检测所耗费的时间对比图如图7、8所示。
图7是采用目前主流的二维码定位算法和本发明提出的定位算法处理大小为256*256的二维码图像所耗费的时间对比图；
图8是采用目前主流的二维码定位算法和本发明提出的定位算法处理大小为512*512的二维码图像所耗费的时间对比图；
从整体的实验结果对比来看，图像数据的大小对系统的检测效率的影响不是很大，512*512大小的图像检测所耗费的时间只是稍微略大于256*256大小的二维码图像；但是从实际效果来看，基于本实施例提出的基于平移不变性的二维码定位算法所耗费的时间要明显低于目前比较主流的二维码定位方法所耗费的时间。
图9是采用发明提出的基于平移不变性和小区域模板匹配算法的二维码定位算法处理大小为256*256的二维码图像获得的定位及识别准确率对比图(QR code和Datamatrix code类型的二维码测试图像各1000幅)；
图10是采用本发明提出的基于平移不变性和小区域模板匹配算法的二维码定位算法处理大小为512*512的二维码图像获得的定位及识别准确率对比图(QR code和Datamatrix code类型的二维码测试图像各1000幅)；从实验结果的对比来看，在检测效率方面，本实施例所提出的基于平移不变性和小区域模板匹配算法的二维码定位方式和目前主流的定位算法相比具有比较明显的优势，由图7可以看出，与目前比较主流的两种定位算法相比，在对256×256大小的二维码图像做处理时，其检测效率整体上比黄等人的提出的方法提升了近50％，与高等人提出的方法相比检测效率也提升了31.7％，本公开所提出的定位算法可实现每秒处理10幅二维码图像，其检测效率完全可满足工业要求；在对512×512大小的二维码图像做处理时，其检测效率整体上比黄等人的提出的方法提升了近46％，与高等人提出的方法相比检测效率也提升了28.4％，本公开所提出的定位算法可实现每秒处理9幅二维码图像，实验结果说明图像的大小对于定位速度的影响并不是很大，因此可以使用分辨率比较高的工业相机和镜头来采集更加清晰的图像来提升系统的处理效率；
从图9和图10的实验结果来看，图像的大小对定位准确率会有一些影响，在图像为512×512时无论是目前的主流的定位方法还是本公开提出的方法都会略低于256×256大小的图像，目前分析可能是图像的大小可能会影响模板搜索的精度。本公开提出的方法要比目前主流的定位方法的准确率整体上提升了将近5个百分点，本公开的二维码定位准确率的平均值高达95％，完全符合工业生产的要求。本公开的定位方法可适用于两种二维码类型，分别是QR code和Data matrix code，从实验结果看，QR code的定位准确率要稍微高于Data matrix code类型的二维码，因此该方法对于使用QR code类型的二维码作为产品信息标识的厂家会更适用一些。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.基于平移不变性和小区域模板匹配的二维码定位方法，其特征在于：包括以下步骤：
S1:实时采集在高速传送带上传送的产品的图像，并将产品的图像进行存储形成待处理的图像队列；
S2:对图像队列里每个图像的选择多个特征明显的关键区域，并在图像里划取固定的搜索区域，并采用小区域模板匹配算法对多个关键区域分别进行模板设置，在固定的搜索区域内进行模板匹配处理，将梯度幅值具有旋转不变性与基于梯度幅值特征快速搜索匹配算法相结合，搜索到角度发生部分倾斜的产品图像，进而定位到关键区域；
S3：计算出二维码区域与搜索区域之间的距离值，根据平移不变性的原理，对关键区域和二维码区域之间的位置关系建立模型，根据关键区域和二维码区域的位置关系模型，确定一个相对于关键区域和二维码区域的一次坐标平移的原点位置，实现对二维码区域在图像中位置的估计，根据二维码的大小以及获得的二维码的中心坐标来实现对二维码的准确定位，进而实现二维码识别；
S4:将识别出的二维码与二维码的原内容进行比较，当识别出的二维码与二维码的原内容一致，则识别出的二维码合格，将合格的二维码图像从图像队列中删除，并记录相应的批次和序号，当识别出的二维码与二维码的原内容不一致，则识别出的二维码不合格。
2.根据权利要求1所述的基于平移不变性和小区域模板匹配的二维码定位方法，其特征还在于：所述将梯度幅值具有旋转不变性与基于梯度幅值特征快速搜索匹配算法相结合，搜索到角度发生部分倾斜的产品图像，进而定位到关键区域，包括以下步骤：
S2-1：首先得到大小为IM×M的二维码图像，计算图像IM×M的梯度幅值矩阵GM×M；
S2-2：根据关键区域设置模板图像Ta×b，在二维码图像IM×M中截取与模板图像Ta×b大小相同的子块S(u,v)a×b；(u，v)是子块的右上角坐标点；
S2-3：统计出(M-a)*b个子块的幅值分布情况，得出幅值分布情况的向量IT；然后计算向量组中与每个向量I(u,v)的相关系数r(u，v)；
S2-4：迭代计算出最大的梯度幅值，即匹配成功，并将相关系数存储在二维矩阵中。
3.基于平移不变性和小区域模板匹配的二维码定位系统，其特征在于：包括
将产品按顺序进行高速产送的高速产品传送带；
对所述高速产品传送带产送的产品进行图像采集的工业相机；
为所述工业相机进行图像采集时提供均匀平稳的照明亮度的工业光源；
触发所述工业相机对产品进行图像采集的光电传感器；
对所述工业相机采集的产品图像进行二维码识别和不合格二维码剔除的上位机。
4.根据权利要求3所述的基于平移不变性和小区域模板匹配的二维码定位系统，其特征在于：所述工业光源采用工业环形光源。
5.根据权利要求3所述的基于平移不变性和小区域模板匹配的二维码定位系统，其特征在于：该系统还包括对所述工业光源的亮度进行调节的光源亮度调节器。
6.一种电子设备，其特征是，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-2任一项方法所述的步骤。
7.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-2任一项方法所述的步骤。
CN202011171752.6A 2020-10-28 2020-10-28 基于平移不变性和小区域模板匹配的二维码定位方法 Active CN112101060B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011171752.6A CN112101060B (zh) 2020-10-28 2020-10-28 基于平移不变性和小区域模板匹配的二维码定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011171752.6A CN112101060B (zh) 2020-10-28 2020-10-28 基于平移不变性和小区域模板匹配的二维码定位方法

Publications (2)

Publication Number Publication Date
CN112101060A true CN112101060A (zh) 2020-12-18
CN112101060B CN112101060B (zh) 2023-06-23

Family

ID=73785775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011171752.6A Active CN112101060B (zh) 2020-10-28 2020-10-28 基于平移不变性和小区域模板匹配的二维码定位方法

Country Status (1)

Country Link
CN (1) CN112101060B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022148396A1 (zh) * 2021-01-08 2022-07-14 长鑫存储技术有限公司 芯片采集方法和芯片定位方法
CN115329795A (zh) * 2022-10-17 2022-11-11 北京搜狐新动力信息技术有限公司 一种识别二维码的方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040118922A1 (en) * 2002-12-10 2004-06-24 Omron Corporation Method of and device for reading optical code
CN103049828A (zh) * 2013-01-11 2013-04-17 广州宽度信息技术有限公司 一种流水线在线产品的二维码管理系统
CN106442553A (zh) * 2016-09-12 2017-02-22 佛山市南海区广工大数控装备协同创新研究院 一种铜环柱面喷码检测识别装置及方法
CN106485183A (zh) * 2016-07-14 2017-03-08 深圳市华汉伟业科技有限公司 一种二维码定位方法及系统
CN106650546A (zh) * 2016-10-20 2017-05-10 国家电网公司 一种基于二维码的变电站开关柜设备对象自动识别方法
CN107525812A (zh) * 2017-08-17 2017-12-29 三只松鼠股份有限公司 一种包装袋喷码缺陷检测方法
CN110210584A (zh) * 2019-05-14 2019-09-06 武汉工程大学 一种基于改进surf复合算法的高速动态二维码识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040118922A1 (en) * 2002-12-10 2004-06-24 Omron Corporation Method of and device for reading optical code
CN103049828A (zh) * 2013-01-11 2013-04-17 广州宽度信息技术有限公司 一种流水线在线产品的二维码管理系统
CN106485183A (zh) * 2016-07-14 2017-03-08 深圳市华汉伟业科技有限公司 一种二维码定位方法及系统
CN106442553A (zh) * 2016-09-12 2017-02-22 佛山市南海区广工大数控装备协同创新研究院 一种铜环柱面喷码检测识别装置及方法
CN106650546A (zh) * 2016-10-20 2017-05-10 国家电网公司 一种基于二维码的变电站开关柜设备对象自动识别方法
CN107525812A (zh) * 2017-08-17 2017-12-29 三只松鼠股份有限公司 一种包装袋喷码缺陷检测方法
CN110210584A (zh) * 2019-05-14 2019-09-06 武汉工程大学 一种基于改进surf复合算法的高速动态二维码识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘家昕;刘家朋;赵宇明;: "基于边缘增强的二维码区域快速检测定位算法" *
轩伟亮: "基于二维码的电力物资管理系统应用研究" *
高飞;令狐乾锦;葛一粟;卢书芳;肖刚;: "基于位置判别的激光QR二维码定位方法" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022148396A1 (zh) * 2021-01-08 2022-07-14 长鑫存储技术有限公司 芯片采集方法和芯片定位方法
US11861451B2 (en) 2021-01-08 2024-01-02 Changxin Memory Technologies, Inc. Method for chip collection and method for chip positioning
CN115329795A (zh) * 2022-10-17 2022-11-11 北京搜狐新动力信息技术有限公司 一种识别二维码的方法及装置

Also Published As

Publication number Publication date
CN112101060B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN108520274B (zh) 基于图像处理及神经网络分类的高反光表面缺陷检测方法
Sun et al. Surface defects detection based on adaptive multiscale image collection and convolutional neural networks
CN111693534B (zh) 表面缺陷的检测方法、模型训练方法、装置、设备和介质
KR20210008352A (ko) 촬상된 품목의 결함을 검출하기 위한 시스템 및 방법
CN107945184A (zh) 一种基于彩色图像分割和梯度投影定位的贴装元件检测方法
CN112101060B (zh) 基于平移不变性和小区域模板匹配的二维码定位方法
US8315457B2 (en) System and method for performing multi-image training for pattern recognition and registration
JP2023134688A (ja) ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法
CN108993929A (zh) 一种双机联动工业机器视觉自动检测系统
TWI776176B (zh) 手部作業動作評分裝置、方法及電腦可讀取存儲介質
TW419634B (en) Automatic detection system and method using bar code positioning
CN114331961A (zh) 用于对象的缺陷检测的方法
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN115908988A (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
CN109685002A (zh) 一种数据集采集方法、系统以及电子装置
CN113420839B (zh) 用于堆叠平面目标物体的半自动标注方法及分割定位系统
CN114820470A (zh) 一种基于多特征融合的板材缺陷检测系统及检测方法
CN114187269A (zh) 小零器件表面缺陷边缘快速检测方法
CN110856847A (zh) 一种基于智能视觉的电容字符检测方法及装置
Shen et al. Design and implementation of PCB detection and classification system based on machine vision
CN110728222A (zh) 一种用于机械臂抓取系统中目标物体的位姿估计方法
CN112730427B (zh) 一种基于机器视觉的产品表面缺陷检测方法及系统
CN114708234B (zh) 一种识别自动卡口编码一体机上雷管数量的方法及装置
Pan et al. An Improved Faster Region-based Convolutional Neural Network Algorithm for Identification of Steel Coil End-head.
CN115830386A (zh) 基于深度学习的计算机主板装配质量检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Ren Qiying

Inventor after: Wang Xingyuan

Inventor after: Li Qi

Inventor after: Wang Xiaoyu

Inventor after: Xian Yongjin

Inventor after: Gao Suo

Inventor after: Yan Xiaopeng

Inventor before: Wang Xingyuan

Inventor before: Li Qi

Inventor before: Wang Xiaoyu

Inventor before: Xian Yongjin

Inventor before: Gao Suo

Inventor before: Yan Xiaopeng

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20221215

Address after: Room 903, Block A, Jinyu Center, No. 5777, Jingshi Road, Jinan District, China (Shandong) Pilot Free Trade Zone, 250000, Jinan, Shandong

Applicant after: Shandong Qingcheng Shilian Information Technology Co.,Ltd.

Address before: 116026 1 Linghai Road, hi tech park, Dalian, Liaoning

Applicant before: Dalian Maritime University

GR01 Patent grant
GR01 Patent grant