CN101281597A - 一种产品包装图形标识信息在线实时采集识别装置及方法 - Google Patents

Abstract

本发明是一种产品包装图形标识信息在线实时采集识别装置及方法，属于计算机视觉领域。包括有嵌入式控制模块和与嵌入式控制模块相连接的摄像机、DSP图像处理模块、物位传感器和网络传输模块，工业摄像机还与DSP图像处理模块相连。在产品图形标识设计部分，为了提高其抗形变和干扰能力，采用基于图像识别的标识设计。使包装发生一定形变或发生轻微污染时，图形标识特征不发生明显的变化，不影响分类器做出正确的判断。同时在外围将标识框定，以便在图像中对图形标识准确定位。本发明的有益效果是，可以在不增加包装成本的条件下，对产品软包装上的产品图形标识编码信息进行识别，并具有一定的抗形变和抗污染能力，同时降低了包装耗材的成本。

Description

一种产品包装图形标识信息在线实时采集识别装置及方法

技术领域

本发明涉及一种产品包装图形标识信息在线实时采集识别装置及方法，属于计算机视觉领域。

背景技术

流水线产品信息的实时采集是实现生产管理自动化的重要前提。目前，对流水线上的产品标识信息识别主要采用条码技术，其做法是将条码标签贴在或直接印在产品包装上，然后用条码扫描装置进行数据采集。这种方法的缺点是，当条码标签保持干净平整时，识别率较高；而对于诸如塑料袋、纸袋等廉价肉食品的软包装，条码标签发生的形变和污染，导致识别率大大降低。最近开始普及的射频识别技术(RFID)可以解决上述问题，但因成本较高，不适合于低价格的产品包装之上。

发明内容

为了克服上述产品标识识别的缺点，解决低成本的塑料袋一类软包装上产品信息编码的在线提取问题，本发明提出了一种新的产品信息标识定义方式、及与其相对应的产品信息识别系统和图形信息识别方法。

本发明的总体构思如下：

在产品图形标识部分，为了提高其抗形变和干扰能力，采用基于图像识别的标识设计。这种图形标识的黑像素和白像素在M×N像素域内应具有特定的分布，使包装发生一定形变或发生轻微污染时，图形标识特征不发生明显的变化，不影响分类器做出正确的判断。同时，这种图形标识之间应具有极大的不相关性，便于分类器做出正确的判断。在标识的外围，还应使用某种图形将标识框定，以便在图像中对图形标识准确定位。

识别系统采用工业高速CCD摄相机，同时融合物位传感器监测流水线上产品的形态信息。当产品经过识别区域时，嵌入式计算机模块会发出控制信号，启动摄相机实时拍摄产品标识，并将图像数据传入DSP图像处理模块。

在图形标识的识别装置部分，DSP图像处理模块利用边缘检测、二值化、数学形态学、投影分析、模板匹配和各种滤波算法等图像算法，顺序对发生一定形变和污染的产品图形标识进行定位，提取和识别处理，得到产品标识的信息编码

硬件装置部分还包括有嵌入式计算机控制模块和网络传输模块，该模块将信息编码结果通过网络传输模块传输入上位机数据库，进入信息管理平台。对于识别异常的情况，控制模块会输出报警信号或驱动机械分选器，避免有问题的产品通过。

本发明所采用的具体技术方案如下：本装置包括有嵌入式控制模块8和与嵌入式控制模块8相连接的摄像机5、DSP图像处理模块6、物位传感器7和网络传输模块9，工业摄像机5还与DSP图像处理模块相连。

一种产品包装图形标识信息在线实时采集识别方法，该方法包括以下步骤：

1)物位传感器7监测流水线上的物流状态，当印有图像标识的产品经过探测区域时，物位传感器7发出物位信号通过电缆送至嵌入式控制模块8，嵌入式控制模块8启动摄相机5拍摄产品包装上的图像标识，并将拍摄到的图像传送至与之相连的DSP处理模块6进行处理；

所述的图像标识包括有定位矩形框1和设置在定位矩形框内的方向标识符2、产品信息标识3和校验符4；其中：

所述的定位矩形框1的长度大于产品包装上其它的矩形框，定位矩形框的线条宽度大于产品包装上其它矩形框的线条宽度；

所述的方向标识符为空格符；

所述的产品信息标识符3为具有不相关性的一种或多种图形标识的任意组合，根据实际需要选择产品信息标识符3的位数；

所述的标识符4为校验符，设有N位产品信息标识，a_i是从左往右第i位产品信息标识符所代表的数字编码，i＝1，2，…N；

令：

$b=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i}{N}$

对b进行取整，得到的数字编码所对应的产品信息标识符3中的图形标识即为校验符；

2)DSP图像处理模块6对采集到的图像标识依次进行以下处理：

进行中值滤波预处理；

对预处理后的图像进行边缘检测；

用Otsu算法选择阈值进行二值化处理；

用投影分析方法对定位矩形框1进行定位；

采用连通域标记和投影分析法提取定位矩形框1内的图形标识；

将每个图形标识规一化后用模版匹配法将提取出来的图形特征与模板库中的图形特征匹配，得出识别结果。

所述的具有不相关性的图形标识为黑实心的正方形、圆形、三角形、矩形。产品信息标识符为黑实心正方形、圆形、三角形、矩形中的一种或两种或三种或四种任意进行组合，根据需要进行选择产品信息标识符3的位数。

所述的边缘检测的方法为采用Sobel算子进行边缘检测。

所述的边缘检测的方法如下：

设a(i)为水平投影后第i行黑像素的个数，那么a(i)就构成了水平投影图，i＝1，2，....Height，Height为图像高度；定义d(i)为第i行边缘密度，它可以由如下三个公式中的任意一个计算得到：

$d\left(i\right)=\frac{\underset{n=-\frac{N-1}{2}}{\overset{\frac{N-1}{2}}{\mathrm{\Σ}}}a(i+n)\×B\left(i\right)}{N}---\left(1\right)$

$d\left(i\right)=\frac{\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}a(i+n)\×B\left(i\right)}{N}---\left(2\right)$

$d\left(i\right)=\frac{\underset{n=-(N-1)}{\overset{0}{\mathrm{\Σ}}}a(i+n)\×B\left(i\right)}{N}---\left(3\right)$

在(1)(2)(3)式中，B(i)为权重数组，i＝1，2，....Height；当知道关于感兴趣区域(Regions of interest，ROI)其它先验知识时，可以根据这些先验知识配置权重数组中的值，达到更好的定位效果。此时d(i)为带权重的边缘密度；

公式(1)计算以第i行为中心，上下各取(N-1)/2行，一共N行的边缘密度。

公式(2)计算以第i行为起始行，向下取N-1行，一共N行的边缘密度。

公式(3)计算以第i行为起始行，向上取N-1行，一共N行的边缘密度。

当N取值合适时，数组d(i)取峰值的位置就是图1中的定位矩形框1的上下两条水平边的位置，而且具有好的精确性和鲁棒性，这是本发明能够抗一定形变的关键技术之一。

所述的权重数组B(i)＝1，i＝1，2，....Height，即各行的权重相等。

本发明的有益效果是，可以在不增加包装成本的条件下，对产品软包装上的产品图形标识编码信息进行识别，并具有一定的抗形变和抗污染能力，弥补了条码识别或射频识别在这方面应用的不足，提高了产品信息采集的稳定性和可靠性，同时降低了包装耗材的成本。

附图说明

图1本发明中定义的5种图形元素

图2印在产品包装上的信息图形标识

图3图形标识信息实时采集与识别系统实例的原理框图

图中：1、定位矩形框，2、方向标识符，3、产品信息标识，4、校验符，5、工业摄像机，6、DSP图像处理模块，7、物位传感器，8、嵌入式控制模块，9、网络传输模块。

具体实施方式

下面结合图1～图3对本发明作进一步说明：

本实施例中的产品包装图形标识信息的在线实时采集识别装置，如图3所示，包括有摄相机5、DSP图像处理模块6、物位传感器7、嵌入式控制模块8、网络传输模块9通过信号电缆依次连在嵌入式控制模块8的相应输入端输出端，如图3所示，本系统完成产品信息的实时采集与识别工作。在系统工作时，物位传感器7监测流水线上的物流状态，当印有图形标识的产品经过探测区域时，物位信号通过电缆送至嵌入式控制模块8，在满足判定条件时启动摄相机5，将图像传送至与之相连的DSP处理模块6。

图1为一个产品包装上图形标识元素的设计实例，根据需要定义了五种特征不同的图形标识，这五个图形分别为实心的正方形、圆形、方向相对的两个三角形、长方形，即M＝5的产品信息图形标识，这些特定有序的标识图形分别代表1、2、3、4、5个数字编码。

生产线产品包装的特殊图形标识方法，首先根据产品管理需求选择图1给出的图形元素进行组合、分类和编码，将得到图2所示例的产品信息图形标识印于产品包装上。

定位矩形框1的作用是用来确定在产品包装图像中待识别的产品标识的区域和位置，方向标识符2定义为空格符，保证产品按正常方向或相反方向摆放在流水线上时，空格符都会定位矩形框1的起始编码方向。

为了进行快速而准确定位，要求所述的产品信息图形标识的定位矩形框1的长度不小于包装上其他矩形框的长度；定位矩形框1的线条宽度应明显宽于包装上其他矩形框的线条宽度。矩形矩形框线条的宽度应比产品包装上其它最宽矩形框的线条宽度还要宽2/5。方向标识符2、产品信息标识3、校验符4的宽度占定位矩形框内宽的3/5，印于矩形框竖向的居中位置。

为了提高识别效果，方向标识符2、产品信息标识3、校验符4的宽度以在定位矩形框1中能够合适安排所有标识符号为宜，尽量保证在定位矩形框1内的居中位置，并且互不重叠。在选定编码容量后要根据产品信息标识3的位数安排方向标识符2、产品信息标识3、校验符4在定位矩形框1内的位置，要尽量使各个图形元素互相间隔最大。每个符号都在一个正方形区域内表示，正方形虚线框为表示规范所画，实际中不存在。

产品信息标识3为产品信息图形标识段，根据产品包装袋上空间的大小、产品种类个数选择使用产品信息图形标识段的长度N的取值。图2的实施例中使用了四个产品信息标识图形元素，即N＝4。产品信息标识3的位数确定了可编码数据容量，取决于待识别产品种类的多少。本实例中采用了M＝5种产品信息图形元素，若产品信息标识3的位数为N，那么它将满足M^N种产品分类的需要，例如，若有600种产品分类，当采用本实例的M＝5种产品信息图形元素的方案时，那么则需要产品信息标识3的位数N＝4，M^N＝625＞600，可以满足需要。若有3000种产品分类，当采用本实例的M＝5种产品信息图形元素的方案时，那么则需要产品信息标识3的位数N＝5，M^N＝3125＞3000，可以满足需要；

如图2所示，本实施例中，选M＝5并采用N＝4个产品信息标识，可以表示5^N＝625种产品编码。

校验符4可以检验产品信息图形标识的识别结果是否正确。它由前面的产品信息图形标识计算得来，具体方法是：设有N位产品信息标识，a_i是从左往右第i为图形标识所代表的数字，i＝1，2，…N。

令：

$b=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i}{N}$

对b进行取整，所得数字编码对应的图形标识即为校验符的图形标识。

图2中所给的一个实例所示的校验符4为b＝[(2+1+3+5)/4]＝2。表明按上述公式计算的校验符应该代表的编码数字为2，即校验符位置上图形元素应为编码2的实心圆形。在系统工作时，若实际识别结果正好是根据校验符编码定义的实心圆形，则说明整个识别过程正确，得到的编码结果可信；若实际识别中校验符的识别结果不是实心圆形，则说明识别过程有误，结果不可信。当然a_i的不同组合以及N的不同，产品的标识中的校验符b是不同的。

对产品包装图形标识信息在线实时采集识别的详细步骤是：

1.工业照相机对产品包装进行图像采集后，图像以BMP文件格式传送至DSP处理模块，BMP文件的文件头中含有图像大小等信息。本系统使用的工业照相机输出的是灰度图像。

2.对灰度图像进行3×3窗口的中值滤波处理，滤除小的颗粒噪声。称此时的图像为预处理后图像。

3.由于产品包装上有大量黑线组成的表格，与包装袋的背景浅颜色形成一定的对比，即在这里图像的灰度发生急剧的变化，形成图像学中所谓的边缘。但这种对比在光照不均或光照条件不好的情况下并不强烈，故采用Sobel算子对图像进行边缘检测，将边缘与背景的灰度差拉大，增强边缘与背景的对比。经过本步骤处理的图像可称为边缘检测图。

4.边缘检测图中，边缘与背景已经基本分布在灰度直方图的两端，此时采用Otsu算法对边缘检测图进行计算，该算法以使边缘与背景的类间方差最大为准则，得到一个阈值，使用该阈值对边缘检测图进行二值化，此时边缘被赋值为黑像素，背景被赋值白像素。此时，包括定位矩形框的边缘在内的所有边缘从背景中完全提取出来了。称此时得到的图像为二值图像。

5.在二值图像中，原先图像中表格和定位矩形框的黑实线由于边缘检测的原因变成了空心线。为了恢复黑线的宽度，使之变回黑实线，以便利用定位矩形框线条的宽度定位，采用数学形态学中的膨胀处理方法处理二值图像，处理后的结果空心线得到了有效的填充，特别是定位矩形框的四条边恢复了原来的宽度。称此时的图像为膨胀处理图。

6.对膨胀处理图进行水平投影，得到一个一维数组，数组的项数为图像的高度，数组每一项的值是膨胀处理图中对应行的黑像素个数。由于规定定位矩形框的长度不小于包装上其他矩形框的长度，因此数组的最大值应在定位矩形框上下两条水平边处取得，考虑到包装袋中其他矩形框的长度可能与定位矩形框的长度接近，极易因为污染导致最大值出现在其他位置，而定位矩形框的宽度却明显宽于其他矩形框，故提出了一种基于边缘密度的新方法，该方法在上文中已有描述，该算法能够有效突出长度相同而宽度较宽的线条。使用该算法对数组处理后，原先长度与定位矩形框相当，而宽度较窄的线条对应的数组值有大幅度衰减，而定位矩形框水平边位置对应的数组值衰减不明显，因而可以有效，可靠地确定定位矩形框的纵坐标。在确定定位矩形框的纵坐标后，将纵坐标内的膨胀处理图提取出来，在这一条图像中采用竖直投影定位确定定位矩形框的横坐标。

7.在得到定位矩形框的横纵坐标后，应从预处理后图像中将定位矩形框中提取出来，此时得到的图像是一窄条只包含定位矩形框及其内部的产品图形标识的灰度图像，此时完成了对定位矩形框的定位与提取。因为膨胀处理图中，产品图形标识已发生了一定形变。而且各个图形符号是空心的，因为对空心线条进行膨胀的结构元素无法填充空心面积较大的图形符号。因此，需要从预处理后图像中提取。因为是灰度图像，为了将定位矩形框和产品图形标识从背景中提取出来，需要进行二值化。此时，由于图像时局部图像，可以认为光照时均匀的，因此灰度分布也是均匀的，所以可直接运用Otsu算法进行二值化。结果是窄条图像中定位矩形框与其内部的产品图形标识被赋值为黑像素，其余背景赋值为白像素。可称之为二值化窄条图像。

8.在二值化窄条图像中，采用连通域标记的方法将定位矩形框包含的所有像素标记为某一灰度像素值，然后将拥有该像素值的所有像素标记为白像素，定位矩形框融于背景中。然后采用投影分析的方法算出每个图形标识的横纵坐标，将每个图形标识提取出来。

9.将每个标识归一为模板库中标识的大小，在计算每个标识的图形特征(主要包括黑白像素的分布，重心，面积，圆形度)与模板库图形特征匹配，结合每种特征的权重得出识别结果。

在投影分析进行定位的过程中，本发明提出了一种基于边缘密度的新方法，用它对定位矩形框1定位具有很好的精确性和鲁棒性。

设a(i)为水平投影后第i行黑像素的个数，那么a(i)，i＝1，2，....Height(Height为图像高度)就构成了水平投影图。定义d(i)为第i行边缘密度，它可以由如下三种模式得到：

$d\left(i\right)=\frac{\underset{n=-\frac{N-1}{2}}{\overset{\frac{N-1}{2}}{\mathrm{\Σ}}}a(i+n)\×B\left(i\right)}{N}---\left(1\right)$

$d\left(i\right)=\frac{\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}a(i+n)\×B\left(i\right)}{N}---\left(2\right)$

$d\left(i\right)=\frac{\underset{n=-(N-1)}{\overset{0}{\mathrm{\Σ}}}a(i+n)\×B\left(i\right)}{N}---\left(3\right)$

其中，B(i)(i＝1，2，....Height)为权重数组。当知道关于感兴趣区域(Regions of interest，ROI)其它先验知识时，可以根据这些先验知识配置权重数组中的值，达到更好的定位效果。此时d(i)为带权重的边缘密度。

当B(i)＝1，i＝1，2，....Height时，表示各行的权重相等，此时d(i)为第i行的边缘密度。

其中，公式(1)计算以第i行为中心，上下各取(N-1)/2行，一共N行的边缘密度。

公式(2)计算以第i行为起始行，向下取N-1行，一共N行的边缘密度。

公式(3)计算以第i行为起始行，向上取N-1行，一共N行的边缘密度。

当N取值合适时，数组d(i)取峰值的位置就是图1中的定位矩形框①的上下两条水平边的位置，而且具有好的精确性和鲁棒性，这是本发明能够抗一定形变的关键技术之一。在原始数组a(i)中，长度相同，而宽度不同的水平线条可以同时拥有此数组的最大值，或者两者的值差距不大。经过处理之后，在数组d(i)中，图像中线条长度相同和宽度较宽的线条所在位置，d(i)将取最大值，这个最大值与线条长度相同和宽度较窄的线条所在位置的d(i)值之间有明显的差距。

处理时，可以采用公式(1)(2)(3)的任意一个，公式(1)对定位粗线条的中心位置较为有效，公式(2)对定位粗线条的左边缘或上边缘较为有效，公式(3)对定位粗线条的右边缘或下边缘较为有效。应根据具体情况选择公式，例如，如果定位矩形框与上下其他矩形框或线条距离较远，可使用公式(1)，如果定位矩形框与上方的其他矩形框或线条距离较近，应使用公式(2)，如果定位矩形框与下方的其他矩形框或线条距离较近，应使用公式(3)，如果定位矩形框与上下其他矩形框或线条距离都较近，则应分别使用公式(2)定位上水平边的上边缘和公式(3)定位下水平边的下边缘，使用的顺序可以任意。

在本实施例中，DSP图像处理模块利用发生一定形变和污染的产品图形标识进行定位，提取和识别处理，得到产品标识的信息编码，并将信息编码结果通过网络传输模块传输入上位机数据库，进入信息管理平台。对于识别异常的情况，控制模块会输出报警信号或驱动机械分选器，避免有问题的产品通过。

这里是本发明的一个典型应用实例，本发明的范围并不局限于此，特别是它涉及的在上述图形标识设计下，如标识形状、编码方式和系统的硬件如输入输出接口的增减等无须创造性的对其性能和功能进行的改变，这些都应属于本发明范围之内。

Claims (6)

1、一种产品包装图形标识信息在线实时采集识别装置，其特征在于：包括有嵌入式控制模块(8)和与嵌入式控制模块(8)相连接的摄像机(5)、DSP图像处理模块(6)、物位传感器(7)和网络传输模块(9)，工业摄像机(5)还与DSP图像处理模块相连。

2、一种产品包装图形标识信息在线实时采集识别方法，其特征在于，该方法包括以下步骤：

1)物位传感器(7)监测流水线上的物流状态，当印有图像标识的产品经过探测区域时，物位传感器(7)发出物位信号通过电缆送至嵌入式控制模块(8)，嵌入式控制模块(8)启动摄相机(5)拍摄产品包装上的图像标识，并将拍摄到的图像传送至与之相连的DSP处理模块(6)进行处理；

所述的图像标识包括有定位矩形框(1)和设置在定位矩形框内的方向标识符(2)、产品信息标识(3)和校验符(4)；其中：

所述的定位矩形框(1)的长度大于产品包装上其它的矩形框的长度，定位矩形框的线条宽度大于产品包装上其它矩形框的线条宽度；

所述的方向标识符为空格符；

所述的产品信息标识符(3)为具有不相关性的一种或多种图形标识的任意组合，根据实际需要选择产品信息标识符(3)的位数；

所述的标识符(4)为校验符，设有N位产品信息标识，a_i是从左往右第i位产品信息标识符所代表的数字编码，i＝1，2，…N；

令：

$b=\frac{\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{a}_i}{N}$

对b进行取整，得到的数字编码所对应的产品信息标识符(3)中的图形标识即为校验符；

2)DSP图像处理模块(6)对采集到的图像标识依次进行以下处理：

进行中值滤波预处理；

对预处理后的图像进行边缘检测；

用Otsu算法选择阈值进行二值化处理；

用投影分析方法对定位矩形框(1)进行定位；

采用连通域标记和投影分析法提取定位矩形框(1)内的图形标识；

将每个图形标识规一化后用模版匹配法将提取出来的图形特征与模板库中的图形特征匹配，得出识别结果。

3、根据权利要求2所述的一种产品包装图形标识信息在线实时采集识别方法，其特征在于：所述的具有不相关性的图形标识为黑实心的正方形、圆形、三角形、矩形。

4、根据权利要求2或权利要求3所述的一种产品包装图形标识信息在线实时采集识别方法，其特征在于：所述的边缘检测的方法为采用Sobel算子进行边缘检测。

5、根据权利要求2或权利要求3所述的一种产品包装图形标识信息在线实时采集识别方法，其特征在于：所述的边缘检测的方法如下：

设a(i)为水平投影后第i行黑像素的个数，那么a(i)就构成了水平投影图，i＝1，2，....Height，Height为图像高度；定义d(i)为第i行边缘密度，它由如下三个公式中的任意一个计算得到：

$d\left(i\right)=\frac{\underset{n=-\frac{N-1}{2}}{\overset{\frac{N-1}{2}}{\mathrm{\Σ}}}a(i+n)\×B\left(i\right)}{N}---\left(1\right)$

$d\left(i\right)=\frac{\underset{n=0}{\overset{N-1}{\mathrm{\Σ}}}a(i+n)\×B\left(i\right)}{N}---\left(2\right)$

$d\left(i\right)=\frac{\underset{n=-(N-1)}{\overset{0}{\mathrm{\Σ}}}a(i+n)\×B\left(i\right)}{N}---\left(3\right)$

在(1)(2)(3)式中，B(i)为权重数组，i＝1，2，....Height。

6、根据权利要求2或权利要求3所述的一种产品包装图形标识信息在线实时采集识别方法，其特征在于：所述的权重数组B(i)＝1，i＝1，2，....Height，即各行的权重相等。

Images