CN110647821B - 通过图像识别进行物体标识的方法和装置 - Google Patents

Abstract

本发明公开了一种通过图像识别进行物体标识的方法和装置。方法包括：对物体的图像进行形态学轮廓提取，得到二值图像；采用轮廓跟踪算法，对二值图像进行边界定位；对轮廓内已定位边界的二值图像提取HOG特征；根据HOG特征分析判定物体的可标识区域，作为贴标面或喷码面。本发明方案，通过图像识别判定物体的可标识区域，实现了对不规则物体的贴标/喷码；且标签被贴于专门找出的可标识区域，粘贴牢固，不易掉落。进一步的，通过机械手或类似机构配合，可实现对物体进行多角度、多侧表面贴标/喷码。

Description

通过图像识别进行物体标识的方法和装置

技术领域

本发明涉及图像处理技术领域，具体涉及一种通过图像识别进行物体标识的方法和装置。

背景技术

贴标机(Labeller)，是将成卷的不干胶纸标签(纸质或金属箔)粘贴在物体上的设备。现有贴标机大部分都是运用于对标准规则的物体进行贴标，如手机包装，纸箱包装，其感应到物体后，即进行贴标。

然而，实践发现，现有贴标机存在以下缺陷：

A、只能对规则物体进行贴标，不规则形状物体无法较好地实现贴标；

B、随机进行贴标，导致贴的标签质量差，容易贴不上或者贴上了容易掉落；

C、只能对单面进行贴标，一旦物体摆放位置不好，对应的一面无法贴标。

发明内容

本发明实施例提供一种通过图像识别进行物体标识的方法和装置，旨在利用图像识别技术，分析物体图像，找出可标识区域作为适合的贴标面或喷码面，以便进行标识操作例如贴标或喷码。

本发明第一方面，提供一种通过图像识别进行物体标识的方法，包括：对物体的图像进行形态学轮廓提取，得到二值图像；采用轮廓跟踪算法，对二值图像进行边界定位；对轮廓内已定位边界的二值图像提取HOG特征；根据HOG特征分析判定物体的可标识区域，用于作为贴标面或喷码面，以便在该区域进行标识操作如贴标或喷码。

本发明第二方面，提供一种通过图像识别进行物体标识的装置，包括：

轮廓提取模块，用于对物体的图像进行形态学轮廓提取，得到二值图像；

边界定位模块，用于采用轮廓跟踪算法，对二值图像进行边界定位；

特征提取模块，用于对轮廓内已定位边界的二值图像提取HOG特征；

分析判定模块，用于根据HOG特征分析判定物体的可标识区域，用于作为贴标面或喷码面，以便在该区域进行标识操作如贴标或喷码。

本发明第三方面，提供一种贴标/喷码设备，包括处理器和存储器，所述处理器通过执行所述存储器中存储的计算机可执行程序，执行如本发明第一方面所述的一种通过图像识别进行物体标识的方法的步骤。

本发明第四方面，提供一种存储介质，该存储介质中存储有计算机可执行程序，当该计算机可执行程序被处理器运行时，使处理器执行如本发明第一方面所述的一种通过图像识别进行物体标识的方法的步骤。

本发明方案中，在判定可标识区域之后，贴标设备可利用机械手或类似机构，采用可伸缩、可摆动等方式，对找出的可标识区域进行精准贴标，避免精度问题；对于专门的行李包装箱，也可以由喷码设备采用喷码方式对可标识区域进行标识操作。

从以上技术方案可以看出，本发明实施例具有以下优点：

对于行李或其它需要贴标/喷码的物体，通过图像识别技术分析判定物体多个角度的可标识区域，用于作为贴标面或喷码面进行标识操作。以该种方式，可以对任何形状的物体进行贴标/喷码；且标签被贴于专门找出的可标识区域上，粘贴牢固，不易掉落。进一步的，通过机械手或类似机构配合，可实现对物体进行多角度、多侧表面贴标/喷码。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1是本发明实施例提供的通过图像识别进行物体标识的方法的流程图；

图2是本发明实施例中形态学轮廓提取过程的流程图；

图3是本发明实施例中轮廓跟踪算法的流程图；

图4是本发明实施例中HOG特征提取过程的流程图；

图5是本发明实施例提供的通过图像识别进行物体标识的装置的结构图；

图6是本发明实施例中的贴标机的立体图；

图7是本发明实施例中的贴标机的俯视图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面通过具体实施例，进行详细的说明。

请参考图1，本发明实施例提供一种通过图像识别进行物体标识的方法，该方法用于利用图像识别技术，分析物体图像，找出可标识区域作为适合的贴标面或喷码面，以便进行标识操作例如贴标或喷码。本发明实施例方法，可以由贴标机、喷码机实施。该方法可包括以下步骤：

S1：对物体的图像进行形态学轮廓提取，得到二值图像；

S2：采用轮廓跟踪算法，对二值图像进行边界定位；

S3：对轮廓内已定位边界的二值图像提取HOG特征；

S4：根据HOG特征分析判定物体的可标识区域。

可选的，该方法还可以包括由贴标机对物体的可标识区域进行贴标的步骤。

该方法可用于对行李或其它需要贴标/喷码的物体，通过图像识别技术分析判定物体多个角度的可标识区域，作为贴标面或喷码面进行标识操作。以该种方式，可实现对不规则物体或者说任何形状的物体进行贴标/喷码；且标签被贴于专门找出的可标识区域上，粘贴牢固，不易掉落。进一步的，通过机械手或类似机构配合，可实现对物体进行多角度、多侧表面贴标/喷码。

下面，分别对上述各个步骤进行详细说明：

一、步骤S1：对物体的图像进行形态学轮廓提取，得到二值图像。

本步骤中，首先获取物体的图像，如深度图像，然后采用形态学方法进行轮廓提取，进而得到二值图像。所谓深度图像，即深度相机采集的图像。二值图像是指在图像中，灰度等级只有两种，每个像素不是黑就是白，其灰度值没有中间过渡的图像，其优点是占用空间少。

一些实施例中，如图2所示，本步骤具体可包括：

首先，采用开运算和闭运算对物体的图像进行滤波，即：先进行开运算再进行闭运算，对图像进行噪声滤除；假定物体的图像为RGB图像，记为imgA，进行噪声滤除后，得到的图像记为imgB。

其次，对滤波后的图像进行腐蚀，腐蚀后得到的图像记为imgC；

再次，将滤波后的图像与腐蚀后的图像做相减处理，即imgB-imgC，得到的图像记为imgD；

最后，对相减后的图像二值化，得到二值图像，记为imgE。

其中，介绍形态学图像处理的几个基本概念如下：

膨胀：求像素的局部最大值，使图像扩大。膨胀是将图像(或图像的一部分区域，我们称之为A)与核(结构元素，我们称之为B)进行卷积操作，计算公式如下：

其中，dst代表输出图像，(x，y)代表输出图像像元，src代表输入图像，(x’，y’)代表输入图像像元，element代表卷积核。

腐蚀：求像素的局部最小值，使图像缩小。腐蚀是将图像(或图像的一部分区域，我们称之为A)与核(我们称之为B)进行卷积操作，计算公式如下：

其中，dst代表输出图像，(x，y)代表输出图像像元，src代表输入图像，(x’，y’)代表输入图像像元，element代表卷积核。

开运算：是先腐蚀再膨胀，可用公式表示为：

其中A为图像或图像的一部分区域，B为核(或称为结构元素)。

闭运算：是先膨胀再腐蚀，可用公式表示为：

噪声滤除：先进行开运算再进行闭运算，可用公式表示为：

核(结构元素)通常是比较小的图象，可包括n*n个像素。本实施例采用RGB格式的图片提取轮廓。核的样式可采用十字型的5*5规格。即5*5矩阵，中间一列和一行为1，其余为0。噪声滤除次数为1，腐蚀次数为1。

二、步骤S2：采用轮廓跟踪算法，对二值图像进行边界定位。

对于上一步骤得到的二值图像，本步骤利用轮廓跟中算法定位其边界。一些实施例中，如图3所示，本步骤具体可包括：

a0、按从上到下，从左到右的顺序扫描图像(即上一步骤得到的二值图像imgE)，寻找没有标记跟踪结束记号的第一个边界起始点A0，A0是具有最小行和列值的边界点；

a1、定义一个扫描方向变量dir，该变量用于记录上一步中沿着前一个边界点到当前边界点的移动方向，其初始化取值为7；

a2、按逆时针方向搜索当前象素的3*3邻域，其起始搜索方向设定如下：若dir为奇数取(dir+7)mod 8；若dir为偶数去(dir+6)mod 8；在3*3邻域中搜索到的第一个与当前像素值相同的像素便为新的边界点An,同时更新变量dir为新的方向值；

a3、如果An等于第二个边界点A1且前一个边界点An-1等于第一个边界点A0，则停止搜索，结束跟踪，否则重复步骤S2，继续搜索；

a4、由边界点A0、A1、A2、……、An-2构成的边界便为要跟踪的边界。

至此，本发明方法得到物体的形态学轮廓及其边界。

三、步骤S3：对轮廓内已定位边界的二值图像提取HOG(Histogram of OrientedGradient,梯度方向直方图)特征。

HOG是一种解决人体目标检测的图像描述子，该方法使用梯度方向直方图(HOG)特征来表达目标物体例如人体，提取外形信息和运动信息，形成丰富的特征集。

一些实施例中，如图4所示，本步骤具体可包括：

b1、对轮廓内已定位边界的二值图像进行归一化。

归一化图像的主要目的是提高检测器对光照的鲁棒性，因为实际的目标可能出现的各种不同的场合，检测器，必须对光照不太敏感才会有好的效果。

b2、对归一化的图像计算图像梯度。

采用梯度法求图像梯度。一阶微分处理一般对灰度阶梯有较强的响应。

一阶微分公式为：

b3、对于每一单元cell对梯度直方图进行规定权重的投影。

通常使用的HOG结构大致有三种：矩形HOG(简称为R-HOG)，圆形HOG和中心环绕HOG。它们的单位都是Block(即块)。一般一个块(Block)都由若干单元(Cell)组成，一个单元都有如干个像素点组成。

在每个Cell中有独立做梯度方向统计，从而以梯度方向为横轴的的直方图，然后又将这个梯度分布平均分成多个方向角度(orientation bins)，每个方向角度范围都会对应一个直方柱。

b4、对每一个重叠块block内的cell进行对比度归一化。

对block块内的HOG特征向量进行归一化。对block块内特征向量的归一化主要是为了使特征向量空间对光照，阴影和边缘变化具有鲁棒性。

b5、把所有的block内的直方图向量组合成一个大的HOG特征向量。

四、步骤S4：根据HOG特征分析判定物体的可标识区域。

本步骤中，基于步骤S3计算得到的轮廓内的HOG特征，根据梯度直方图得到多块目标区域例如平整面区域，如果某个目标区域面积大于一定阈值，则可判定为可标识区域，或称为可贴标区域/可喷码区域，用作贴标面/喷码面。并且，可以根据图像(深度图像)的深度信息，计算可标识区域的位置信息。以便贴标机等设备，根据可标识区域的位置信息，完成贴标等操作。

具体的，本步骤可包括：

1)通过步骤S3计算得到轮廓内的HOG特征，根据梯度直方图得到多块目标区域例如平整面区域；

2)如果区域面积大于一定阈值，则可判定为可贴标区域，并选定其中一个区域，坐标为(u，v)；

3)由深度信息计算贴标点到摄像头的距离Zc；

4)图像坐标到空间坐标的转换，计算公式如下

其中，u0,v0分别为图像的中心坐标。Xw,Yw,Zw表示世界坐标系下的三维坐标点。Zc表示相机坐标的z轴值，即目标到相机的距离。R,T分别为外参矩阵的3x3旋转矩阵和3x1平移矩阵。

五、由贴标机或喷码机对物体进行贴标或喷码。

一些实施例中，可以在贴标机两侧设计用于贴标的摆臂，则可以利用摆臂对行李进行两面贴标，增加成功几率。

可选的，摆臂在低阻尼弹簧下，随行李等物体的经过而摆动，从而摆臂的轨迹和对应一侧的物体的贴标面相一致。

请参考图6和图7，是一些实施例中，用于实施例本发明实施例方法的贴标机的结构示意图。

该贴标机可以是双向贴标机，Π型结构设置，两侧对应位置分别设置有贴标用的摆臂机构1，两个相对的摆臂机构1之间是允许物体通过的通道3。摆臂机构1设置在贴标机的下方，其底面与贴标机的底面平行，摆臂机构1的一端与贴标机的对应侧边活动连接，另一端设置有贴标器2进行贴标。贴标机的一侧还可设有显示屏4(例如触摸显示屏)，以及侧门5。

本实施例贴标机可以对通过的行李包裹进行双面贴标，相对于传统的单面贴标，增加了成功率，并且其可以自适应行李包裹的外形，获得较好的贴标位置。同时，此技术方案不需要统一行李包裹的规格，即不需要规格为长方体或者类长方体等。

进一步的，本实施例贴标机的摆臂机构1可设有弹簧阻尼器,弹簧阻尼器的参数可设置。摆臂机构1可通过电机与主控面板连接，主控面板可以控制摆臂机构1的展开或者回收。当行李包裹等物体通过时，两侧的摆臂机构1在弹簧阻尼器的作用下，会根据行李包裹的两侧形状进行自适应摆动，即摆臂机构始终紧挨着靠近的行李包裹一侧。可根据贴标区的位置信息算出到达贴标器的时间。。

如前述，该方法可以通过双面贴标机进行双面贴标，进一步的，也可以采用三面贴标机进行三面贴标，即，通过在上述的双面贴标机的上方增加摆臂，实现在上方也进行贴标。进一步的，贴标机也可以不使用摆臂，而是使用一个或多个机械手，由机械手进行贴标或喷码。更进一步的，贴标机根据上述方法识别物体后，将位置信息发给机械手，如此可以使用机械手在贴标或喷码处对物体的摆放进行调整。

如上所述，本发明实施例公开了一种通过图像识别进行物体标识的方法。该方法可以找到物体的可标识区域，进一步的，可以计算可标识区域的位置信息，由贴标机等根据可标识区域的位置信息完成贴标等操作。

请参考图5，本发明实施例还提供一种通过图像识别进行物体标识的装置，包括：

轮廓提取模块10，用于对物体的图像进行形态学轮廓提取，得到二值图像；

边界定位模块20，用于采用轮廓跟踪算法，对二值图像进行边界定位；

特征提取模块30，用于对轮廓内已定位边界的二值图像提取HOG特征；

分析判定模块40，用于根据HOG特征分析判定物体的可标识区域。

可选的，所述轮廓提取模块10可包括：

滤波单元，用于采用开运算和闭运算对物体的图像进行滤波；

腐蚀单元，用于对滤波后的图像进行腐蚀；

相减单元，用于将滤波后的图像与腐蚀后的图像做相减处理；

二值化单元，用于对相减后的图像二值化，得到二值图像。

可选的，边界定位模块20具体用于：

a0、按从上到下，从左到右的顺序扫描图像，寻找没有标记跟踪结束记号的第一个边界起始点A0，A0是具有最小行和列值的边界点；

a1、定义一个扫描方向变量dir，该变量用于记录上一步中沿着前一个边界点到当前边界点的移动方向，其初始化取值为7；

a2、按逆时针方向搜索当前象素的3*3邻域，其起始搜索方向设定如下：若dir为奇数取(dir+7)mod 8；若dir为偶数去(dir+6)mod 8；在3*3邻域中搜索到的第一个与当前像素值相同的像素便为新的边界点An,同时更新变量dir为新的方向值；

a3、如果An等于第二个边界点A1且前一个边界点An-1等于第一个边界点A0，则停止搜索，结束跟踪，否则重复步骤S2，继续搜索；

a4、由边界点A0、A1、A2、……、An-2构成的边界便为要跟踪的边界。

可选的，特征提取模块30具体用于：

对轮廓内已定位边界的二值图像进行归一化；

对归一化的图像计算图像梯度；

对于每一单元cell对梯度直方图进行规定权重的投影；

对每一个重叠块block内的cell进行对比度归一化；

把所有的block内的直方图向量组合成一个大的HOG特征向量。

可选的，所述分析判定模块40具体用于：

根据HOG特征得到至少一块目标区域，将区域面积大于阈值的目标区域判定为物体的可标识区域，用于作为贴标面或喷码面，并计算可标识区域的位置信息。

本发明实施例还提供一种贴标/喷码设备，包括处理器和存储器，所述处理器通过执行所述存储器中存储的计算机可执行程序，执行如图1所示方法实施例提供的一种通过图像识别进行物体标识的方法的步骤。

可选的，所述贴标/喷码设备还包括贴标/喷码装置，用于在所述处理器的控制下，根据贴标面或喷码面的位置信息，对物体进行贴标或喷码等标识操作。

本发明实施例还提供一种存储介质，该存储介质中存储有计算机可执行程序，当该计算机可执行程序被处理器运行时，使处理器执行如图1所示方法实施例提供的一种通过图像识别进行物体标识的方法的步骤。

综上，本发明实施例提供了一种通过图像识别进行物体标识的方法、装置、设备和存储介质。通过采用上述技术方案，本发明实施例具有以下优点：

对于行李或其它需要贴标/喷码的物体，通过图像识别技术分析判定物体的可标识区域，用于作为贴标面或喷码面进行标识操作。找出的可标识区域为适合贴标或喷码的平整面或球面或符合要求的其它面。以该种方式，实现了对不规则物体的贴标/喷码；且标签被贴于专门找出的可标识区域上，粘贴牢固，不易掉落。进一步的，通过机械手或类似机构配合，可实现对物体进行多角度、多侧表面贴标/喷码。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

上述实施例仅用以说明本发明的技术方案，而非对其限制；本领域的普通技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种通过图像识别进行物体标识的方法，其特征在于，包括：

对物体的图像进行形态学轮廓提取，得到二值图像；

采用轮廓跟踪算法，对二值图像进行边界定位；

对轮廓内已定位边界的二值图像提取HOG特征；

根据HOG特征分析判定物体的可标识区域，以便在该区域进行标识操作；

所述根据HOG特征分析判定物体的可标识区域，包括：根据HOG特征得到至少一块目标区域，将区域面积大于阈值的目标区域判定为物体的可标识区域，用于作为贴标面或喷码面，并计算可标识区域的位置信息。

2.根据权利要求1所述的方法，其特征在于，对物体的图像进行形态学轮廓提取，得到二值图像，包括：

采用开运算和闭运算对物体的图像进行滤波；

对滤波后的图像进行腐蚀；

将滤波后的图像与腐蚀后的图像做相减处理；

对相减后的图像二值化，得到二值图像。

3.根据权利要求1所述的方法，其特征在于，采用轮廓跟踪算法，对二值图像进行边界定位，包括：

a0、按从上到下，从左到右的顺序扫描图像，寻找没有标记跟踪结束记号的第一个边界起始点A0，A0是具有最小行和列值的边界点；

a1、定义一个扫描方向变量dir，该变量用于记录上一步中沿着前一个边界点到当前边界点的移动方向，其初始化取值为7；

a2、按逆时针方向搜索当前象素的3*3邻域，其起始搜索方向设定如下：若dir为奇数取(dir+7)mod8；若dir为偶数去(dir+6)mod8；在3*3邻域中搜索到的第一个与当前像素值相同的像素便为新的边界点An,同时更新变量dir为新的方向值；

a3、如果An等于第二个边界点A1且前一个边界点An-1等于第一个边界点A0，则停止搜索，结束跟踪，否则重复步骤S2，继续搜索；

a4、由边界点A0、A1、A2、……、An-2构成的边界便为要跟踪的边界。

4.根据权利要求1所述的方法，其特征在于，对轮廓内已定位边界的二值图像提取HOG特征，包括：

对轮廓内已定位边界的二值图像进行归一化；

对归一化的图像计算图像梯度；

对于每一单元cell对梯度直方图进行规定权重的投影；

对每一个重叠块block内的cell进行对比度归一化；

把所有的block内的直方图向量组合成一个大的HOG特征向量。

5.一种通过图像识别进行物体标识的装置，其特征在于，包括：

轮廓提取模块，用于对物体的图像进行形态学轮廓提取，得到二值图像；

边界定位模块，用于采用轮廓跟踪算法，对二值图像进行边界定位；

特征提取模块，用于对轮廓内已定位边界的二值图像提取HOG特征；

分析判定模块，用于根据HOG特征分析判定物体的可标识区域，以便在该区域进行标识操作；

所述分析判定模块具体用于：

根据HOG特征得到至少一块目标区域，将区域面积大于阈值的目标区域判定为物体的可标识区域，用于作为贴标面或喷码面，并计算可标识区域的位置信息。

6.根据权利要求5所述的装置，其特征在于，所述轮廓提取模块包括：

滤波单元，用于采用开运算和闭运算对物体的图像进行滤波；

腐蚀单元，用于对滤波后的图像进行腐蚀；

相减单元，用于将滤波后的图像与腐蚀后的图像做相减处理；

二值化单元，用于对相减后的图像二值化，得到二值图像。

7.一种贴标/喷码设备，包括处理器和存储器，所述处理器通过执行所述存储器中存储的计算机可执行程序，执行如权利要求1所述的一种通过图像识别进行物体标识的方法的步骤。

8.一种存储介质，该存储介质中存储有计算机可执行程序，当该计算机可执行程序被处理器运行时，使处理器执行如权利要求1所述的一种通过图像识别进行物体标识的方法的步骤。

Images