CN109724990B - 一种包装盒标签中喷码区域的快速定位与检测方法 - Google Patents
一种包装盒标签中喷码区域的快速定位与检测方法 Download PDFInfo
- Publication number
- CN109724990B CN109724990B CN201910013660.6A CN201910013660A CN109724990B CN 109724990 B CN109724990 B CN 109724990B CN 201910013660 A CN201910013660 A CN 201910013660A CN 109724990 B CN109724990 B CN 109724990B
- Authority
- CN
- China
- Prior art keywords
- label
- area
- code spraying
- parameter library
- code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005507 spraying Methods 0.000 title claims abstract description 139
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004806 packaging method and process Methods 0.000 title claims abstract description 34
- 238000012856 packing Methods 0.000 claims abstract description 43
- 238000001514 detection method Methods 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 16
- 230000011218 segmentation Effects 0.000 claims abstract description 10
- 238000013528 artificial neural network Methods 0.000 claims abstract description 4
- 238000012545 processing Methods 0.000 claims description 19
- 230000003993 interaction Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000002360 preparation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000003825 pressing Methods 0.000 claims description 2
- 238000012797 qualification Methods 0.000 abstract description 3
- 230000036544 posture Effects 0.000 description 14
- 238000004519 manufacturing process Methods 0.000 description 7
- 230000007547 defect Effects 0.000 description 4
- 230000000877 morphologic effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及视觉检测技术领域,是一种包装盒标签中喷码区域的快速定位与检测方法。所使用的硬件由工业相机、传送带以及计算机组成。该方法的流程为:首先离线构建标签区域特征参数库、喷码区域特征参数库以及喷码区域与标签区域相对姿态参数库等;其次采用工业相机在线循环采集包装盒图像,当获得的包装盒图像的标签区域符合形状匹配要求,则对标签区域进行目标喷码区域的定位分割;然后将喷码字符串进行单个字符分割,并将分割后的字符送入神经网络分类器进行识别;最后通过对喷码字符识别的结果是否符合预设要求来判断标签的合格性,并将判断结果输出至成像软件界面显示。该方法具有速度快、算法适应性强、操作方便等特点。
Description
技术领域
本发明涉及视觉检测技术领域,尤其是一种包装盒标签中喷码区域的快速定位与检测方法。
背景技术
随着我国制造业的不断发展,商品包装盒标签上的喷码这一承载着制造产品重要信息的载体在企业生产与管理中的作用日益突出。然而,标签上的喷码漏喷、多喷、瑕疵、信息错误等喷码不合格现象时有发生。目前生产流水线上的商品包装盒标签喷码合格检测大多是通过人工目检的方式,存在检测成本较高、效率低下、易受外界影响、品质管控不稳定等问题。
标签喷码区域定位与检测中存在的主要问题有三点。一是传送带上的包装盒标签虽然可以保证正面朝上,但其在传送带上的位姿(即偏转角度)往往很难保证一致,这就需要视觉检测算法具有一定的适应性,能够定位传送带上视野范围内任意姿态的包装盒标签。二是在实际产线视觉检测中,根据检测批次的不同,传送带上传送的包装盒的尺寸通常是不一样的,这就可能导致拍摄的图像不清晰,或者由于景深较大,相机虽然可以采集清晰图像,但相同的目标对象在不同的拍摄距离(景深范围内)会形成不同的区域特征,比如区域面积相差较大等。传统解决上述问题的方法是更换镜头、重新对焦、调整相机高度,甚至为每一个批次包装盒分别设计视觉检测系统,这些都会增加生产成本,必要性也存疑。三是传统方法多采用光电传感器开关触发相机进行图像采集与处理,但随着高性能计算芯片、工业相机等硬件速度越来越快,成本也逐年降低,完全有理由采用基于视觉的区域快速预检触发后续精确视觉处理的策略,以替换传统方法。专利申请201710706375.3(一种包装袋喷码缺陷检测方法),提出了一种包装盒喷码缺陷检测方法,采用待测喷码与正常样品喷码黑色特征区域面积大小是否匹配的方式进行缺陷的判断,缺点是不同形状的区域可能面积大小相近,对相机的拍摄距离有相对严格的要求,也不适用于待检测包装姿态随机的情况。
发明内容
本发明的目的是克服上述技术的不足,提供了一种包装盒标签中喷码区域的快速定位与检测方法。采用这种方法,可以实现一定景深范围内清晰成像的任意姿态包装盒上规则几何形状(如:椭圆、矩形等)标签的快速定位,以及标签中喷码区域的信息识别与检测,具有速度快、算法适应性强、操作方便等特点。
为达到上述目的,本发明采用如下技术方案:
一种包装盒标签中喷码区域的快速定位与检测方法,包括如下步骤:
步骤一:包装盒标签合格样品特征参数库的离线构建;
步骤二:在线视觉采集与精细视觉处理的触发;
步骤三:标签区域的定位与特征参数提取;
步骤四:喷码区域的定位与分割;
步骤五:喷码区域的信息识别及数据库信息匹配。
所述步骤一中的合格样品特征参数库主要包括四个方面:合格样品中待测标签区域特征参数库Adb、喷码区域特征参数库Bdb、喷码区域与标签区域之间的相对姿态参数库Cdb以及待识别字符特征参数库Ddb;这四个参数库为后续步骤中包装盒图像上标签检测、标签中喷码区域定位、喷码信息检测做前期准备;详细步骤为:
1.1:选择一个标准包装盒标签合格样品,并放置到工业相机正下方;
1.2:调整相机镜头焦距、光圈、曝光时间,使相机采集的包装盒图像在成像软件中清晰显示;
1.3:根据待测标签的规则几何形状特征,采用拖动鼠标按键的人机交互方式在成像软件中框住并剪切出标签的外接矩形,生成标签区域R1temp,然后计算R1temp的几何特征参数,包括中心点位置坐标、区域面积、几何形状参数,并据此构建出标签区域的特征参数库Adb;所述采用拖动鼠标按键的人机交互方式具体为:按住鼠标左键并移动到目标位置,然后松开鼠标左键,这样就记录了鼠标起始点击和终点释放的位置坐标,据此确定一个矩形区域;
1.4:再次采用拖动鼠标按键的交互方式,在标签区域R1temp中,采用矩形框的形式框住并分割出目标喷码区域,生成喷码区域R2temp,计算喷码区域R2temp的几何特征参数,包括中心点位置坐标、区域面积、几何形状参数、姿态偏转角、R2temp外接矩形的坐标顶点,并据此构建出喷码区域的特征参数库Bdb;
1.5:根据R2temp相对于R1temp的偏移特征参数,包括R2temp相对于R1temp的偏移距离、偏移角度,构建喷码区域与标签区域之间的相对姿态参数库Cdb;
1.6:获取标签区域中待识别喷码字符的特征参数,包括字符的个数、字符串的具体内容(何种类型的字母、数字、特殊符号等)、字符的编码规则,并据此构建出喷码区域的待识别字符特征参数库Ddb;
1.7:保存步骤1.3至步骤1.6中获取的标签区域特征参数库Adb、喷码区域的特征参数库Bdb、相对姿态参数库Cdb、字符特征参数库Ddb,为后续步骤做准备。
所述规则几何形状指的是能够通过参数化特征定义或表示的图像几何区域,其典型特征包括:区域中心点坐标、区域面积、区域长短半轴、区域偏转角、区域外形关键点坐标。
所述步骤二在线视觉采集与精细视觉处理的触发具体步骤为:
2.1:按照步骤1.2中调整的参数设置在线视觉采集的工业相机,包括相机镜头焦距、光圈、曝光时间,使包装盒表面图像在成像软件界面上清晰显示;
2.2:使用工业相机在线循环采集传送带上移动包装盒的图像,并基于步骤一中构建的标签特征参数库Adb进行快速粗略的形状匹配;
2.3:若不符合构建的标签形状匹配要求,则按照设定的频率继续循环采集包装盒上标签图像,若符合构建的标签形状匹配要求,则触发进入后续步骤的精细视觉处理。
所述步骤三的标签区域的定位与特征参数提取具体步骤为:
3.1:定位出标签区域,并提取标签的轮廓,去除标签图像的背景,进而从整幅图像中分割出标签区域R1;提取标签区域R1的特征参数,包括标签区域中心在包装盒图像中的位置、标签区域偏转角、标签区域面积;
3.2:从标签区域R1中,按照步骤一中获取的标签特征参数库Adb对区域R1进行标准化几何变换,主要包括:将R1偏转角度变换成0rad或πrad、放大或缩小R1使其最小外接矩形面积与R1temp面积近似相等,进而生成待进一步检验的标准化标签区域R1’。
所述步骤四的喷码区域的定位与分割具体步骤为:按照步骤一中构建的喷码区域与标签区域之间的相对姿态参数库Cdb,从标准化标签区域R1’中定位并分割出目标喷码区域R2,具体是根据相对姿态参数库Cdb中R2temp中心点相对于R1temp中心点的偏移距离、偏转角度定位并分割出标准化喷码区域R2’。
所述步骤五的喷码区域的信息识别及数据库信息匹配,根据待识别字符特征参数库Ddb进行喷码区域的信息识别以及数据库信息匹配,以判断标签的目标喷码区域R2’字符是否合格,具体步骤如下:
5.1:对获取的标准化喷码区域R2’进行预处理,包括区域滤波降噪、对比度增强、字符串姿态校正、形态学处理、参数库特征匹配以及字符串分割;
5.2:将处理后的喷码字符送入已训练的神经网络分类器中进行识别,得到识别字符个数和具体字符串内容;
5.3:将识别的字符结果和待识别字符特征参数库Ddb的信息进行合格喷码字符内容判定,以确认包装盒标签喷码是否合格,并将判定结果存储到数据库中,同时输出至成像软件界面;如果标签喷码合格,进行后续包装盒标签喷码的判定,如果标签喷码不合格,在不合格的标签上通过某种方式打上不合格标记,以便于后续剔除。
与现有技术相比,本发明具有以下特点:
1.采用人机交互的方式,离线构建待检测标签与喷码区域模板的几何形状参数、标签中喷码区域定位参数和检测字符参数特征,适用性强,可以快速调整检测系统对不同标签、不同喷码区域的信息识别与比对。
2.可对任意姿态的包装盒标签中喷码区域进行快速定位。通过将包装盒上待检测的标签图像缩放至模板标签图像的大小并进行角度姿态校正,实现对不同姿态包装盒标签、喷码区域的快速定位。
3.设计了标签形状特征粗匹配方法,在满足了匹配要求的情况下触发标签与喷码区域后续精细处理,提高了系统的实时性与部署的灵活性。该方法实质上是基于待检测标签特征匹配的软件触发方式,这样可在硬件设计中代替基于光电位置传感器的传统触发装置,降低了生产成本,节约了设备空间,大大提高了系统部署的灵活性。
附图说明
图1为本发明实施例的结构示意图。
图2为本发明方法的整体流程图。
图3为工业相机采集到的包装盒图像。
图4为标准包装盒标签区域特征参数示意图。
图5为对包装盒标签图像进行定位的示意图。
具体实施方式
下面结合附图和具体实施例,对本发明作进一步详细说明,但本发明的保护范围并不限于以下具体实施例。
本实施例一种包装盒标签中喷码区域的快速定位与检测方法,可实现一定景深范围内清晰成像的任意姿态包装盒上规则几何形状(如:椭圆、矩形等)标签喷码区域的快速定位,以及标签中喷码区域的信息识别与检测。
如图1所示,本发明的硬件结构由工业相机、计算机以及传送带组成。传送带上的商品包装盒由于商品包装盒高度不一(或相机型号不同,高度差值不同,此实施例中,h为标准包装盒高度,高度差值w在0-5cm以内)、位姿也不固定(包装盒摆放的姿态不同导致拍摄包装盒角度不同,此实施例中,θ为包装盒标签的不同角度,角度在0-πrad之间),因此工业相机采集到的标签图像区域面积的大小和偏转角度很难保持一致。
如图2所示,首先,离线构建标准包装盒合格样品四大参数库:待测标签区域的特征参数库Adb、喷码区域的特征参数库Bdb、喷码区域与标签区域之间的相对姿态参数库Cdb以及待识别字符特征参数库Ddb。然后,采用工业相机在线采集传送带上移动的包装盒图像,并通过软件触发方式(采用形状匹配)判断是否需要进行下一步精细化喷码区域检测、分割、识别等操作。当采集到的标签图像不满足预定的形状匹配轮廓时,则继续循环采集标签图像;当标签图像满足预定的形状匹配轮廓时,触发后续对标签图像的精细化处理。
以最常用的椭圆轮廓标签区域、矩形轮廓喷码区域为具体实施例,这种包装盒标签中喷码区域的快速定位与检测方法具体实现的步骤如下:
步骤一:包装盒标签合格样品特征参数库的离线构建。
1.1:包装盒合格样品选取与布置;
选择一个标准包装盒合格样品,其中标签区域的几何形状为规则椭圆、喷码区域为规则矩形,并将包装盒放置到工业相机正下方。
1.2:工业相机参数调整;
调整相机镜头焦距、光圈、曝光时间等,并进行包装盒图像采集,使采集的图像可以在成像软件中清晰显示。采集的包装盒图像、包装盒图像中的标签区域、标签区域中的喷码区域之间为递进包含关系,如图3所示。
1.3:标签区域检测校正及其特征参数库构建;
根据包装盒图像中的标签区域的椭圆轮廓特征,首先将包装盒图像进行几何校正,使得标签区域椭圆长轴为水平状态;然后,采用拖动鼠标按键的人机交互方式(具体操作:按住鼠标左键并移动到目标位置,然后松开鼠标左键,这样就记录了鼠标起始点击和终点释放的位置坐标,据此可确定一个矩形区域),在几何校正后的包装盒图像中框住标签区域的最小外接矩形,并分割出标签区域R1temp;其次,构建标签区域坐标系(XL,YL),长轴水平向右为XL正方向,垂直向下为YL正方向。进而,计算标签区域R1temp的几何特征参数,包括:R1temp的椭圆长轴和短轴长度(对应与其最小外接矩形的宽度Width与高度Height)、中心点位置坐标O1(R1,C1)、区域面积Area1、等,并据此构建出标签区域的特征参数库Adb。
1.4:喷码区域分割及其特征参数库构建;
再次采用拖动鼠标按键的交互方式,在区域R1temp中,采用矩形框的形式框住并分割出喷码区域R2temp,进而构建喷码区域坐标系(XS,YS),XS正方向为外接椭圆长轴水平向右,YS正方向为垂直向下,如图3所示。计算喷码区域R2temp的特征参数,主要包括:R2temp最小外接椭圆的中心点坐标O2(R2,C2)、外接椭圆长短轴长度、矩形喷码区域面积及四个顶点坐标A(W1,H1)、B(W2,H1)、C(W1,H2)、D(W2,H2)等,并据此构建出喷码区域的特征参数库Bdb。
1.5:标签区域与喷码区域相对姿态参数库构建;
根据喷码区域R2temp相对于标签区域R1temp的偏移,主要包括:中心点O2(R2,C2)相对于中心点O1(R1,C1)的偏移距离d0与偏转角度θ0、区域R2temp四个顶点A、B、C、D相对于中心点O1(R1,C1)的偏移距离d1、d2、d3、d4与偏转角度θ1、θ2、θ3、θ4等,并据此构建出喷码区域与标签区域之间的相对姿态参数库Cdb。
构建的标签区域的特征参数库Adb、喷码区域的特征参数库Bdb以及构建出喷码区域与标签区域之间的相对姿态参数库Cdb如图4所示。
1.6:喷码区域中待识别字符特征参数库构建;
预先获取喷码区域中字符的特征参数,包括:字符的个数n、字符的具体内容(何种类型的字母、数字、特殊符号等的组合)、字符串的编码规则、字符宽度像素个数范围(Wmin,Wmax)、以及高度像素个数范围(Hmin,Hmax)等,并据此构建出喷码区域待识别字符特征参数库Ddb。
1.7:特征参数库的保存;
保存步骤1.3、步骤1.4、步骤1.5、步骤1.6中离线获取的标签区域特征参数库Adb、喷码区域特征参数库Bdb、相对姿态参数库Cdb、待识别字符特征参数库Ddb,为后续在线包装盒上标签检测与定位、标签中喷码区域定位,喷码信息识别等做前期准备。
步骤二:在线视觉采集、形状匹配与精细视觉处理的触发。
2.1:在线工业相机参数配置;
按照步骤1.2中调整的参数设置在线视觉采集的工业相机,包括相机镜头焦距、光圈、曝光时间等,确保在景深范围内(不同的景深具有不同的高度范围)相机可以采集到包含完整规则几何形状轮廓并且清晰的包装盒图像。
2.2:包装盒图像预处理与椭圆拟合;
使用工业相机在线循环采集传送带上移动的包装盒图像,拟合其中椭圆形轮廓。首先,对在线采集的包装盒图像进行预处理与图像增强;其次,对增强的包装盒图像进行边缘检测,并对检测到的轮廓边缘按照椭圆轮廓特征进行椭圆形状拟合。如果未拟合出椭圆,则返回步骤2.2开始处重新进行循环图像采集;如果拟合出一个或多个椭圆,则进入下一步骤。
2.3:椭圆形状匹配与标签区域获取;
基于步骤1.3中构建的标签区域特征参数库Adb对拟合出的椭圆进行快速形状与特征匹配。例如:判定长短轴偏差、区域面积偏差等,找出与标签区域特征最匹配的椭圆区域。如果不符合Adb构建的标签形状匹配要求,则跳转至步骤2.2重新进行循环图像采集;如果符合Adb构建的标签形状匹配要求,则进一步触发后续步骤的精细视觉处理。
步骤三:标签区域的定位与特征参数提取。
3.1:标签区域定位分割与特征参数提取;
在满足标签形状匹配要求的区域中,分割出标签区域R1,并计算提取其特征参数,主要包括:偏转角度θR1(椭圆标签区域长轴相对于水平方向的角度),标签区域中心在包装盒图像中的位置、标签区域偏转角、标签区域面积等。
3.2:几何变换与标准化标签区域构建;
对标签区域R1进行几何旋转变换,使其偏转角度θR1变换成0rad,同时按照已获取标签区域特征参数库Adb中椭圆标签区域长、短轴长度与面积参数,对R1进行放大或缩小处理,使其与特征参数库中对应参数大小近似一致,进而生成待进一步检验的标准化标签区域R1’。
步骤四:标签喷码区域的定位与分割。
4.1:标签喷码区域中心点、顶点位置定位;
获取标准化标签区域R1’的中心点坐标O1',并基于步骤1.5中构建的Cdb中喷码区域中心点与标签区域中心点之间的偏移距离d0与角度偏差θ0,推算出目标喷码区域的中心点坐标O'2。进一步,基于Cdb中矩形喷码区域4个顶点与标签区域中心点之间的偏移距离d1、d2、d3、d4与偏转角度θ1、θ2、θ3、θ4偏差,推算出目标喷码区域的4个顶点位置坐标A’、B’、C’、D’。
4.2:喷码区域的分割与提取;
根据获得的喷码区域中心点坐标O'2,以及顶点位置坐标A’、B’、C’和D’,分割提取出目标喷码区域R2’。该目标分割区域包含待检测的喷码字符,如图5的阴影部分所示(图5中仅以喷码区域中心点坐标O'2的定位为例说明)。
步骤五:喷码区域的信息识别及数据库信息匹配。
根据待识别字符特征参数库Ddb中的字符信息,对包装盒喷码区域的信息进行识别,并匹配数据库信息,以判断获取的标签目标喷码区域R2’内喷码字符是否合格,详细步骤为:
5.1:目标喷码区域R2’的预处理;
预处理主要包括区域滤波降噪、对比度增强、字符串姿态校正、形态学处理、参数库特征匹配、字符串分割等主要操作。
5.1.1:滤波降噪:对目标喷码区域R2’采用3×3的窗口模板进行均值滤波。
5.1.3:字符串姿态校正:检测并校正喷码区域中字符串的姿态角度,使喷码字符串呈现水平状态。
5.1.4:形态学处理:将姿态校正后的喷码区域进行二值化处理。进而进行形态学处理,使断开的喷码字符圆点连接成完整的字符。形态学处理采用闭运算,即对喷码字符先膨胀再腐蚀。闭运算可弥合像素之间的缝隙。
5.1.5:参数库特征匹配:获取字符区域的宽度Width2,根据待识别字符特征参数库Ddb中的喷码特征信息,如果宽度接近于零,则判定为漏喷,此标签不合格,如果字符宽度与Ddb中喷码字符串宽度接近,则判断有喷码,并进入下一步的字符处理。
5.1.6:字符串分割:(1)对获取的字符串区域进行单个字符分割,为后续字符识别做准备。(2)由于还存在噪声以及分割区域不精确,对分割后的字符进行连通操作和字符有效性筛选。基于待识别字符特征参数库Ddb中的喷码特征信息,如果字符连通域的高度不在(Hmin,Hmax)区间内,或者宽度不在(Wmin,Wmax)区间内,就将这部分连通域剔除。
5.2:字符识别与合格性判定;
5.2.1:字符识别:将处理后的喷码字符送入已训练的神经网络分类器中进行字符识别,获取并输出识别的字符个数n’和字符串具体内容。
5.2.2:合格性判定:如果识别出的字符个数n’和预先输入或数据库中的字符个数n相同并且字符具体内容一致,则判断喷码字符合格,并在成像软件界面输出信息“标签合格”;如果识别出的字符个数n’小于预先输入或数据库中的字符个数n,则判定为标签喷码漏喷或不完整,并在成像软件界面输出信息“标签不合格:漏喷”;如果识别出的字符个数n’大于输入或数据库中的的字符个数n,则判定为标签喷码多喷,并在成像软件界面输出信息“标签不合格:多喷”;如果识别出的字符个数n’和预先输入或数据库中的字符个数n相同但是字符内容不一致,则判定为标签喷码模糊或者倒置,并在成像软件界面输出信息“标签不合格:模糊/倒置”(倒置情况处理:可将倒置的标签图像,旋转πrad,并重新返回步骤四,再次对喷码区域检测区域进行定位与字符识别)。
5.2.3:合格与不良标记:对包装盒标签上喷码字符检测完成后,标记该标签图像已经检测过,防止包装盒标签喷码检测系统对同一张标签图像重复检测,从而提高运行速度,增强实时性。对有问题的标签标记为不良符号标记,便于后续剔除。
本实施例方法能够推广至具有多层区域包含关系的规则几何形状区域中信息识别,能够实现合理景深范围内清晰成像的任意姿态包装盒上具有规则几何形状(如:椭圆、矩形等)标签的快速定位,以及标签中喷码区域的信息识别与检测,具有实时在线检测速度快、算法适应性强、操作方便等特点。同时,该实例采用了基于待检测标签特征匹配的软件触发方式,可在硬件设计中替代基于光电位置传感器的传统触发装置,降低了生产成本,节约了设备空间,大大提高了系统部署的灵活性。
最后应说明的是:本实例仅用以说明本发明的技术方案而非对其限制,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员能够理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种包装盒标签中喷码区域的快速定位与检测方法,其特征在于,包括如下步骤:
步骤一:包装盒标签合格样品特征参数库的离线构建;合格样品特征参数库主要包括四个方面:
合格样品中待测标签区域特征参数库Adb、喷码区域特征参数库Bdb、喷码区域与标签区域之间的相对姿态参数库Cdb以及待识别字符特征参数库Ddb;这四个参数库为后续步骤中包装盒图像上标签检测、标签中喷码区域定位、喷码信息检测做前期准备;详细步骤为:
1.1:选择一个标准包装盒标签合格样品,并放置到工业相机正下方;
1.2:调整相机镜头焦距、光圈、曝光时间,使相机采集的包装盒图像在成像软件中清晰显示;
1.3:根据待测标签的规则几何形状特征,采用拖动鼠标按键的人机交互方式在成像软件中框住并剪切出标签的外接矩形,生成标签区域R1temp,然后计算R1temp的几何特征参数,包括中心点位置坐标、区域面积、几何形状参数,并据此构建出标签区域的特征参数库Adb;
1.4:再次采用拖动鼠标按键的交互方式,在标签区域R1temp中,采用矩形框的形式框住并分割出目标喷码区域,生成喷码区域R2temp,计算喷码区域R2temp的几何特征参数,包括中心点位置坐标、区域面积、几何形状参数、姿态偏转角、R2temp外接矩形的坐标顶点,并据此构建出喷码区域的特征参数库Bdb;
1.5:根据R2temp相对于R1temp的偏移特征参数,包括R2temp相对于R1temp的偏移距离、偏移角度,构建喷码区域与标签区域之间的相对姿态参数库Cdb;
1.6:获取标签区域中待识别喷码字符的特征参数,包括字符的个数、字符串的具体内容、字符的编码规则,并据此构建出喷码区域的待识别字符特征参数库Ddb;
1.7:保存步骤1.3至步骤1.6中获取的标签区域特征参数库Adb、喷码区域的特征参数库Bdb、相对姿态参数库Cdb、字符特征参数库Ddb,为后续步骤做准备;
步骤二:在线视觉采集与精细视觉处理的触发;使用工业相机在线循环采集传送带上移动包装盒的图像,并基于步骤一中构建的标签特征参数库Adb进行快速粗略的形状匹配;
若不符合构建的标签形状匹配要求,则按照设定的频率继续循环采集包装盒上标签图像,若符合构建的标签形状匹配要求,则触发进入后续步骤的精细视觉处理;
步骤三:进行标签区域的定位与特征参数提取,具体步骤为:
3.1:定位出标签区域,并提取标签的轮廓,去除标签图像的背景,进而从整幅图像中分割出标签区域R1;提取标签区域R1的特征参数,包括标签区域中心在包装盒图像中的位置、标签区域偏转角、标签区域面积;
3.2:从标签区域R1中,按照步骤一中获取的标签特征参数库Adb对区域R1进行标准化几何变换,主要包括:将R1偏转角度变换成0 rad或πrad、放大或缩小R1使其最小外接矩形面积与R1temp面积近似相等,进而生成待进一步检验的标准化标签区域R1’;
步骤四:喷码区域的定位与分割;喷码区域的定位与分割具体步骤为:
按照步骤一中构建的喷码区域与标签区域之间的相对姿态参数库Cdb,从标准化标签区域R1’中定位并分割出目标喷码区域R2,具体是根据相对姿态参数库Cdb中R2temp中心点相对于R1temp中心点的偏移距离、偏转角度定位并分割出标准化喷码区域R2’;
步骤五:喷码区域的信息识别及数据库信息匹配;根据待识别字符特征参数库Ddb进行喷码区域的信息识别以及数据库信息匹配,以判断标签的目标喷码区域R2字符是否合格。
2.根据权利要求1所述的包装盒标签中喷码区域的快速定位与检测方法,其特征在于,所述规则几何形状指的是能够通过参数化特征定义或表示的图像几何区域,其典型特征包括:区域中心点坐标、区域面积、区域长短半轴、区域偏转角、区域外形关键点坐标。
3.根据权利要求1所述的包装盒标签中喷码区域的快速定位与检测方法,其特征在于,所述采用拖动鼠标按键的人机交互方式具体为:按住鼠标左键并移动到目标位置,然后松开鼠标左键,这样就记录了鼠标起始点击和终点释放的位置坐标,据此确定一个矩形区域。
4.根据权利要求1所述的包装盒标签中喷码区域的快速定位与检测方法,其特征在于,所述步骤二在线视觉采集与精细视觉处理的触发具体步骤为:
2.1:按照步骤1.2中调整的参数设置在线视觉采集的工业相机,包括相机镜头焦距、光圈、曝光时间,使包装盒表面图像在成像软件界面上清晰显示;
2.2:使用工业相机在线循环采集传送带上移动包装盒的图像,并基于步骤一中构建的标签特征参数库Adb进行快速粗略的形状匹配;
2.3:若不符合构建的标签形状匹配要求,则按照设定的频率继续循环采集包装盒上标签图像,若符合构建的标签形状匹配要求,则触发进入后续步骤的精细视觉处理。
5.根据权利要求1所述的包装盒标签中喷码区域的快速定位与检测方法,其特征在于,所述步骤五的喷码区域的信息识别及数据库信息匹配,具体步骤如下:
5.1:对获取的标准化喷码区域R2’进行预处理,包括区域滤波降噪、对比度增强、字符串姿态校正、形态学处理、参数库特征匹配以及字符串分割;
5.2:将处理后的喷码字符送入已训练的神经网络分类器中进行识别,得到识别字符个数和具体字符串内容;
5.3:将识别的字符结果和待识别字符特征参数库Ddb的信息进行合格喷码字符内容判定,以确认包装盒标签喷码是否合格,并将判定结果存储到数据库中,同时输出至成像软件界面;如果标签喷码合格,进行后续包装盒标签喷码的判定,如果标签喷码不合格,在不合格的标签上通过某种方式打上不合格标记,以便于后续剔除。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910013660.6A CN109724990B (zh) | 2019-01-08 | 2019-01-08 | 一种包装盒标签中喷码区域的快速定位与检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910013660.6A CN109724990B (zh) | 2019-01-08 | 2019-01-08 | 一种包装盒标签中喷码区域的快速定位与检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109724990A CN109724990A (zh) | 2019-05-07 |
CN109724990B true CN109724990B (zh) | 2021-08-06 |
Family
ID=66298240
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910013660.6A Active CN109724990B (zh) | 2019-01-08 | 2019-01-08 | 一种包装盒标签中喷码区域的快速定位与检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109724990B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109977714B (zh) * | 2019-01-04 | 2022-06-10 | 上海大学 | 一种仓储货物多qr码一体化视觉定位方法 |
CN110181938B (zh) * | 2019-06-05 | 2021-04-30 | 宁波兄弟印刷有限公司 | 一种多功能uv印刷系统 |
CN110596137A (zh) * | 2019-09-12 | 2019-12-20 | 汕头东风印刷股份有限公司 | 一种生产线上的二维码缺陷检测方法及装置 |
CN110618137A (zh) * | 2019-10-27 | 2019-12-27 | 江苏麦瑞特科技有限公司 | 一种基于视觉技术的dm码边线瑕疵检测系统 |
CN111141741B (zh) * | 2019-12-09 | 2023-02-10 | 合肥中科迪宏自动化有限公司 | 一种可识别打印机标签缺陷的检测装置 |
CN111060527B (zh) * | 2019-12-30 | 2021-10-29 | 歌尔股份有限公司 | 一种字符缺陷检测方法及装置 |
CN111259899B (zh) * | 2020-01-13 | 2022-11-08 | 华中科技大学 | 一种喷码字符检测方法 |
CN111461045A (zh) * | 2020-04-08 | 2020-07-28 | 重庆电子工程职业学院 | 基于机器学习的喷码识别方法 |
CN112149668A (zh) * | 2020-09-23 | 2020-12-29 | 北京智通云联科技有限公司 | 带有边痕的喷码识别方法及系统 |
CN112633366B (zh) * | 2020-12-21 | 2023-05-12 | 广州市申迪计算机系统有限公司 | 一种基于特征匹配的玉器识别方法 |
CN112884718B (zh) * | 2021-01-29 | 2023-10-31 | 北京同仁堂(唐山)营养保健品有限公司 | 包装喷码字符检测方法、装置、系统及存储介质 |
CN112902843B (zh) * | 2021-02-04 | 2022-12-09 | 北京创源微致软件有限公司 | 一种标签贴合效果检测方法 |
CN113537301B (zh) * | 2021-06-23 | 2022-08-16 | 天津中科智能识别产业技术研究院有限公司 | 基于模板自适应匹配瓶体标签的缺陷检测方法 |
CN113610772B (zh) * | 2021-07-16 | 2023-07-04 | 广州大学 | 易拉罐瓶底喷码缺陷检测方法、系统、装置及存储介质 |
CN113567450B (zh) * | 2021-07-20 | 2024-07-16 | 上汽通用五菱汽车股份有限公司 | 一种发动机标签信息视觉检测系统及方法 |
CN114454617B (zh) * | 2022-01-19 | 2023-06-20 | 湖南视比特机器人有限公司 | 喷码总系统 |
CN114264668A (zh) * | 2022-03-03 | 2022-04-01 | 心鉴智控(深圳)科技有限公司 | 一种运用图像处理检测医用包装盒三期瑕疵的方法及系统 |
CN115063801A (zh) * | 2022-07-01 | 2022-09-16 | 合肥友高物联网标识设备有限公司 | 一种提高视觉系统ocr字符识别准确率的方法 |
CN115906909B (zh) * | 2023-01-05 | 2023-05-16 | 明达塑胶科技(苏州)有限公司 | 一种包装袋标识喷码系统 |
CN116563289B (zh) * | 2023-07-11 | 2023-09-29 | 凯德技术长沙股份有限公司 | 一种基于机器视觉的贴标品质检测方法和系统 |
CN117764963B (zh) * | 2023-12-25 | 2024-08-13 | 深圳市恒顺亿包装材料有限公司 | 基于机器视觉的包装袋缺陷检测方法、装置、终端及介质 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103226106A (zh) * | 2013-03-15 | 2013-07-31 | 江南大学 | 基于机器视觉的轴承防尘盖品质监测系统 |
CN104641381A (zh) * | 2012-09-21 | 2015-05-20 | 生物梅里埃公司 | 用于检测圆形标签中的2d条形码的方法和系统 |
CN105637535A (zh) * | 2013-08-15 | 2016-06-01 | 吉迪恩·萨墨菲尔德 | 图像识别标记和方法 |
JP2016133417A (ja) * | 2015-01-20 | 2016-07-25 | 富士通テン株式会社 | 印字検査装置、印字検査方法および印字検査プログラム |
CN107247057A (zh) * | 2017-06-09 | 2017-10-13 | 青岛软控机电工程有限公司 | 一种瓶盖表面生产日期缺陷检测方法 |
CN107617573A (zh) * | 2017-09-30 | 2018-01-23 | 浙江瀚镪自动化设备股份有限公司 | 一种基于多任务深度学习的物流编码识别和分拣方法 |
CN108254386A (zh) * | 2016-12-29 | 2018-07-06 | 研祥智能科技股份有限公司 | 一种在线检测方法、装置及系统 |
CN108548820A (zh) * | 2018-03-28 | 2018-09-18 | 浙江理工大学 | 化妆品纸质标签缺陷检测方法 |
-
2019
- 2019-01-08 CN CN201910013660.6A patent/CN109724990B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104641381A (zh) * | 2012-09-21 | 2015-05-20 | 生物梅里埃公司 | 用于检测圆形标签中的2d条形码的方法和系统 |
CN103226106A (zh) * | 2013-03-15 | 2013-07-31 | 江南大学 | 基于机器视觉的轴承防尘盖品质监测系统 |
CN105637535A (zh) * | 2013-08-15 | 2016-06-01 | 吉迪恩·萨墨菲尔德 | 图像识别标记和方法 |
JP2016133417A (ja) * | 2015-01-20 | 2016-07-25 | 富士通テン株式会社 | 印字検査装置、印字検査方法および印字検査プログラム |
CN108254386A (zh) * | 2016-12-29 | 2018-07-06 | 研祥智能科技股份有限公司 | 一种在线检测方法、装置及系统 |
CN107247057A (zh) * | 2017-06-09 | 2017-10-13 | 青岛软控机电工程有限公司 | 一种瓶盖表面生产日期缺陷检测方法 |
CN107617573A (zh) * | 2017-09-30 | 2018-01-23 | 浙江瀚镪自动化设备股份有限公司 | 一种基于多任务深度学习的物流编码识别和分拣方法 |
CN108548820A (zh) * | 2018-03-28 | 2018-09-18 | 浙江理工大学 | 化妆品纸质标签缺陷检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN109724990A (zh) | 2019-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109724990B (zh) | 一种包装盒标签中喷码区域的快速定位与检测方法 | |
CN108982508B (zh) | 一种基于特征模板匹配和深度学习的塑封体ic芯片缺陷检测方法 | |
CN110175982B (zh) | 一种基于目标检测的缺陷检测方法 | |
Zhou et al. | Automated visual inspection of glass bottle bottom with saliency detection and template matching | |
CN104992449B (zh) | 基于机器视觉的信息识别及表面缺陷在线检测方法 | |
CN109785317B (zh) | 自动码垛桁架机器人的视觉系统 | |
CN110807355B (zh) | 一种基于移动机器人的指针仪表检测与读数识别方法 | |
CN115791822A (zh) | 晶圆表面缺陷的视觉检测算法及检测系统 | |
CN109308700A (zh) | 一种基于印刷品字符的视觉识别缺陷检测方法 | |
CN111582294A (zh) | 一种构建用于表面缺陷检测的卷积神经网络模型的方法及其利用 | |
CN113077437B (zh) | 工件质量检测方法及其系统 | |
CN110108712A (zh) | 多功能视觉缺陷检测系统 | |
CN114331986A (zh) | 一种基于无人机视觉的坝体裂纹识别与测量方法 | |
CN113516619B (zh) | 一种基于图像处理技术的产品表面瑕疵识别方法 | |
CN116309573B (zh) | 一种牛奶包装盒印刷字符的缺陷检测方法 | |
CN113393426A (zh) | 一种轧钢板表面缺陷检测方法 | |
CN111487192A (zh) | 一种基于人工智能的机器视觉表面缺陷检测装置及方法 | |
CN114549504A (zh) | 一种基于机器视觉的外观质量检测方法 | |
CN117670887B (zh) | 一种基于机器视觉的锡焊高度及缺陷检测方法 | |
CN115880699A (zh) | 一种食品包装袋检测方法及系统 | |
CN113705564A (zh) | 一种指针式仪表识别读数方法 | |
CN116580006A (zh) | 一种基于机器视觉的瓶装产品贴标质量检测方法 | |
CN110866917A (zh) | 一种基于机器视觉的药片类型及排列方式识别方法 | |
CN118506338A (zh) | 一种基于深度学习的电子器件印刷字符识别检测方法 | |
Wu et al. | Semiautomatic mask generating for electronics component inspection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |