CN110473174A - 一种基于图像计算铅笔精确数目的方法 - Google Patents

Abstract

本发明公开了一种基于图像计算数万铅笔精确数目的方法，该方法基于Matlab图像处理技术利用生产线上俯拍采集获得的数万支铅笔图片进行检测计算处理，计算出铅笔的精确数目。铅笔形状包括六边形、正方形和三角形等。先对图片进行分割处理，将大图片切割为同等大小的小图片，对每个小图片分别进行如下处理：获得图片灰度直方图，并选取灰度直方图中最高峰两边的谷底作为图片二值化阈值，利用此阈值对图片进行二值化处理；然后进行图像腐蚀；若图像腐蚀过后的图片存在不同铅笔区域之间有联通情况，针对不同图片的需要利用构造结构元素进行形态学开操作；最后对处理完成的图片进行连通域个数计算；然后将所有分块图片得到的结果相加得到全局铅笔个数。

Description

一种基于图像计算铅笔精确数目的方法

技术领域

本发明属于批量物品制造领域，尤其涉及一种基于图像计算铅笔精确数目的方法。

背景技术

铅笔制造行业在当今制造业高度发达的时代已经屡见不鲜。很多厂家能够针对不同外观、用途以及型号的笔进行大批量生产，生产量高达数千万甚至数亿。经过机器生产的铅笔从外观上看完全相同，由于生产产品的大数量级，想要计算出一共制造出了多少支铅笔就显得尤为困难。利用人工进行铅笔计数十分耗费时间并且是一项效率极低的工作，但是在这个数据化的时代，能够有一种计算方法精确并且快速计算出批量生产产品的个数越来越重要。厂家需要通过具体物体的数量来进行生产、售出等方面的分析，并且做出适合未来发展的合理预测与规划。

发明内容

发明目的：针对上述现有方法存在的问题和不足，本发明旨在提供一种基于图像计算数万铅笔精确数目的方法，通过计算机视觉检测技术，利用工厂中整齐摆放并紧密贴合的在照相机俯拍角度下的盒子中的铅笔(每支铅笔都只显示出每支笔底部的图案)，在光源照射的条件下，将每支铅笔区域提取出来形成单独白色连通域，获得每支铅笔单独形成一个连通域的图像，通过连通域的计算解决计数问题。

技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于图像计算数万铅笔精确数目的方法，该方法包括以下步骤：

(1)图像分割，将一张存在数万支铅笔紧密排列的图片分割成多个小图片，下面所有操作都是针对小图片进行；

(2)对小图片进行灰度处理获得图片的灰度图，根据图片的灰度图生成灰度直方图，获得图像二值化操作的阈值；

(3)选取步骤(2)中的阈值对小图片的灰度图进行二值化处理，生成有黑白视觉效果的图片；

(4)选择合适的图像腐蚀距离参数对二值图片进行图像腐蚀，分离每一支铅笔在图像中所占的像素点，使得每一支铅笔单独占有一个白色区域，即每一支铅笔形成一个连通域；

(5)判断图像腐蚀后得到的图片中是否存在两支不同铅笔区域通过通道连接成为一个连通域的情况，若有则进行步骤(6)，若无则跳至步骤(7)；

(6)利用和连通域类似的形状进行图像形态学开操作，修正连通域的形状并断开连通域之间可能存在的通道；

(7)通过regionprops连通域函数进行连通域个数计算，并且将每个连通域用红色矩形框标记；

(8)将所有分块图片得到的连通区域相加得到全局铅笔个数。

其中，在步骤(1)中，要求铅笔整齐、密集地紧密贴合排列在照相机正下方。将图片分割成多个像素大小相同的图片，并对每个小图片分别进行步骤(2)-(7)操作，最后通过步骤(8)获得全局铅笔个数。

其中，在步骤(2)中，对小图片进行灰度处理生成灰度图，将灰度图中灰度级出现的频率(相同灰度级像素个数)通过直方图描述，横坐标是不同的灰度值，纵坐标是每个灰度级出现的频率。出现的频率越高说明在灰度图中该灰度级像素点越多，灰度直方图最高峰是频率最大值，所以最高峰所占像素点就是我们要识别的每支铅笔中心，最高峰左右两边相邻谷底之外为非铅笔区域。所以在灰度直方图的最高峰左右两边相邻谷底之间的像素点就是我们要识别的铅笔对象。在接下来的二值化操作中，我们选取上述两个谷底作为阈值。

其中，在步骤(3)中，选取的阈值基于步骤(2)中给出的灰度直方图，我们选择最高峰左右两边的谷底leftmin和rightmin作为阈值。根据阈值通过如下计算方式进行操作：在阈值内的颜色设置为白色，在阈值外的设置为黑色。白色像素点值为1，黑色像素点值为0。

其中，我们对每个像素点进行遍历。y为当前像素点经过图像二值化后的数值，x为图像原灰度值，leftmin和rightmin分别为灰度直方图最高峰左边和右边的相邻谷底频率所对应的灰度值。

其中，在步骤(4)中，对二值化后的图片进行图像腐蚀。图像腐蚀方法如下：

从左至右、从上至下遍历每一个像素点。选取n作为距离参数，若距离当前像素点右边和下面所有距离为1，2……n的像素点都是白色，则将该像素点设置为1(白色)，若这些像素点中有一处是黑色则将像素点设置为0(黑色)。这样就能保证我们每一支铅笔所占连通域能向铅笔中心收缩，也能够分离一些边缘有粘连的连通域。选取参数越大收缩的就越多。因为我们只判断当前像素点右边和下面的像素点颜色，所以之前遍历的像素点的改变不会对后面的像素点造成影响。

其中，在步骤(4)中，选择图像腐蚀距离参数的方法如下：选择的参数要能让每一支铅笔的连通域边缘没有粘连情况。如果两个连通域之间边缘不粘连但有通道连接，则通过后面步骤的形态学开操作去除通道。经过实验得出选取距离参数为4能最大程度上分离每个连通域。下面两式分别代表了选择参数为1和参数为n的图像腐蚀操作公式。

这是距离参数为1的处理公式。其中，y为遍历时当前位于i行j列的像素点经过图像腐蚀过后的图像二值化数值，x_(i,j)为原二值图像在该像素点的数值。若当前像素点右侧和下侧两个像素点为1(白色)，则该像素点为1(白色)；若上述像素点中存在一个为0(黑色)则该像素点为0(黑色)。该方法为进行距离为1的图像腐蚀，距离参数为n的图像腐蚀定义如下：

由距离参数为n的上述公式可得，第i行第j列的像素点右方和下方距离为分别为1，2……n的像素点都为1(白色)时，则该像素点为1(白色)；若上述像素点中存在一个像素点为0(黑色)，则该像素点为0(黑色)。

其中，在步骤(4)中，如果存在两支不同铅笔所占的连通域存在通道连接成为一个连通域的情况，则进行步骤(6)的图像形态学开操作，使得图像中每个铅笔的轮廓变得光滑，断开两个连通域之间的狭颈和通道。

其中，在步骤(6)中，由于铅笔图像经过二值化和图像腐蚀处理形成的连通域是圆盘形或椭圆形的，所以我们把当前每一个连通域的形状向这两种形状上修正。选取的相对应的形状称为形态学结构元素。利用选择的形态学结构元素进行形态学开操作可以把每一个区域的形状向选取的结构元素形状上修正，使我们能够获得更规整的连通域形状。更重要的是可以断开不同连通域之间可能存在的通道。

其中，在步骤(6)中，先进行形态学结构元素选取和构建，再利用选取的形态学结构元素进行形态学开操作。

形态学开操作的参数是经过图像腐蚀之后的图片和构造的形态学结构元素。形态学开操作语句的执行分为腐蚀和膨胀两个步骤。腐蚀是将图像的连通域向内部收缩，这样就可以断开连通域之间的通道。在腐蚀过后的图像膨胀就用到了形态学结构元素。形态学结构元素的构造方法中的参数有修正的指定形状和修正形状大小。比如我们修正圆盘类型的连通域，指定形状参数选取即为”disk”,修正形状大小参数若为6，则代表我们将每个连通域向半径为6的圆盘形状上修正，从而保证了形态学开操作在经过腐蚀和膨胀后不会丢失原图的信息。这里的修正大小参数若选取过大则会损失掉大部分连通域(即白色铅笔区域)，若选取过小则会在连通域之间残留过多的狭颈通道。我们需要选取合适的参数，获得分离程度最大又不会丢失信息的结果。

其中，通过步骤(7)，可以得到一个由每一个连通域相应属性下的度量构成的返回矩阵。矩阵中的信息包含每一个连通域的属性和属性对应的度量值。本发明中只用到了返回矩阵的行数，通过行数获得总共有多少连通区域，即白色铅笔区域。提取出其他信息可以帮助我们更好地分析图片并且获得更多结果。

有益效果：与现有技术相比，本发明的技术方案具有以下有益技术效果：

1、本方法为铅笔制造厂提供了计数功能，生产数字化便于生产规划分析，大幅提高了生产效率；

2、本发明利用计算机视觉技术代替人工进行铅笔计数工程。利用人工需要花费大量时间计数，而有了该方法之后只需要进行参数调整和校对即可进行。

3、本发明精度很高，通过计算机视觉识别和计算只要能得到清晰成像的照片基本不会有偏差，大大提高了准确度，使生产过程精细化。

附图说明

图1是本发明的一种基于图像计算数万铅笔精确数目的方法的流程图；

图2是本发明的常规情况(不需要进行形态学操作，形状为正规六边形)的灰度图；

图3是本发明的常规情况的灰度图二值化后的图像；

图4是本发明的常规情况的二值图像经过图片腐蚀后的图像；

图5是本发明的常规情况最后计算连通区域个数后的标记图片；

图6是本发明的连通域分离不明显，连通域之间存在通道的情况；

图7是图6经过形态学开操作后得到的图像。可以看出图像中的连通域形状都是圆盘形，连通域之间的通道也被断开。

具体实施方式

下面结合附图和具体实施例，对本发明做进一步说明。

本发明公开的一种基于图像计算数万铅笔精确数目的方法，其流程如图1所示：

(1)图像分割

首先要求要求铅笔整齐、密集地紧密贴合排列在照相机正下方。将图片分割成多个像素大小相同的图片，并对每个小图片分别进行步骤(2)-(7)操作，最后通过步骤(8)获得全局铅笔个数。

(2)生成图像灰度直方图获得阈值

对小图片进行灰度处理生成灰度图，如图2所示。将灰度图中灰度级出现的频率(相同灰度级像素个数)通过直方图描述，横坐标是不同的灰度值，纵坐标是每个灰度级出现的频率。出现的频率越高说明在灰度图中该灰度级像素点越多，灰度直方图最高峰是频率最大值，所以最高峰所占像素点就是我们要识别的每支铅笔中心，最高峰左右两边相邻谷底之外为非铅笔区域。所以在灰度直方图的最高峰左右两边相邻谷底之间的像素点就是我们要识别的铅笔对象。在接下来的二值化操作中，我们选取上述两个谷底作为阈值。

(3)二值化处理

选取的阈值基于步骤(2)中给出的灰度直方图，我们选择最高峰左右两边的谷底leftmin和rightmin作为阈值。根据阈值通过如下计算方式进行操作：在阈值内的颜色设置为白色，在阈值外的设置为黑色。白色像素点值为1，黑色像素点值为0。

其中，我们对每个像素点进行遍历。y为当前像素点经过图像二值化后的数值，x为图像原灰度值，leftmin和rightmin分别为灰度直方图最高峰左边和右边的相邻谷底频率所对应的灰度值。

获得的二值化图片如图3所示。

(4)进行图像腐蚀

对二值化图片进行图像腐蚀，以获得更清晰的分离连通域图像。选择图像腐蚀距离参数的方法如下：选择的参数要能让每一支铅笔的连通域边缘没有粘连情况。如果两个连通域之间边缘不粘连但有通道连接，则通过后面步骤的形态学开操作去除通道。下面两式分别代表了选择参数为1和参数为n的图像腐蚀操作公式。

这是距离参数为1的处理公式。其中，y为遍历时当前位于i行j列的像素点经过图像腐蚀过后的图像二值化数值，x_(i,j)为原二值图像在该像素点的数值。若当前像素点右侧和下侧两个像素点为1(白色)，则该像素点为1(白色)；若上述像素点中存在一个为0(黑色)则该像素点为0(黑色)。该方法为进行距离为1的图像腐蚀，距离参数为n的图像腐蚀定义如下：

由距离参数为n的上述公式可得，第i行第j列的像素点右方和下方距离为分别为1，2……n的像素点都为1(白色)时，则该像素点为1(白色)；若上述像素点中存在一个像素点为0(黑色)则该像素点为0(黑色)。

经过实验得出选取距离参数为4能最大程度上分离每个连通域。经过距离参数为4的图像腐蚀操作后的图片如图4和图6所示。图4是不需要进行后续形态学开操作的情况。图6中可以明显观察到不同连通域之间存在通道，所以我们需要在后续操作中对图6采用形态学开操作。

(5)检查是否需要形态学开操作

步骤(4)得到的图像中如果有两支不同铅笔连通域通过通道连接成为一个连通域的情况，如图6所示，则进行步骤(6)的图像形态学开操作，使得图像中每个铅笔的轮廓变得光滑，把当前每一个连通域的形状向指定形状上修正并且断开连通域之间的通道。若每个连通域都能清晰地分开如图4，则跳至步骤(7)。

(6)形态学开操作分离连通域

形态学开操作的方法具体步骤为：

(6.1)进行形态学结构元素构建。由于铅笔图像经过二值化和图像腐蚀处理形成的连通域是圆盘形或椭圆形的，所以我们把当前每一个连通域的形状向这两种形状上修正。选取的相对应的形状称为形态学结构元素。利用选择的形态学结构元素进行形态学开操作可以把每一个区域的形状向选取的结构元素形状上修正，使我们能够获得更规整的连通域形状。更重要的是可以断开不同连通域之间可能存在的通道。形态学结构元素的构造方法中参数有修正的指定形状和修正大小。修正大小控制了我们得到修正过后的连通域大小。比如我们修正圆盘类型的连通域，指定形状参数选取即为”disk”,修正大小参数若为6，则代表我们将每个连通域向半径为6的圆盘形状上修正。这里的修正大小参数若选取过大则会损失掉大部分连通域(即白色铅笔区域)，若选取过小则会在连通域之间残留过多的狭颈通道。我们需要选取合适的参数，获得分离程度最大又不会丢失信息的结果。

(6.2)根据(6.1)构造出来的形态学结构元素进行形态学开操作。形态学开操作的参数是经过图像腐蚀之后的图片和根据(6.1)构造出来的形态学结构元素。

图6到图7就是典型的对图像进行形态学开操作的处理过程。

(7)连通域计算

利用Matlab算法regionprops进行连通域计算，并且将每个连通域用红色矩形框标记，如图5所示。程序输出的值只有连通域个数。

(8)计算每张小图片连通域总和得到全局图片铅笔个数

将所有小图片得到的连通域个数相加，得到全局图片的铅笔个数，完成我们最终的目标。全局图片的个数一般是以万计数的。

Claims (5)

1.一种基于图像计算数万铅笔精确数目的方法，其特征在于，该方法包括以下步骤：

(1)将一张排列支铅笔的图片分割成多张小图片；

(2)对每张小图片进行灰度处理获得图片的灰度图，根据图片的灰度图生成灰度直方图，获得图像二值化操作的阈值；

(3)选取步骤(2)中的阈值对小图片的灰度图进行二值化处理，生成有黑白视觉效果的图片；

(4)选择合适的图像腐蚀距离参数对二值图片进行图像腐蚀，分离每一支铅笔在图像中所占的像素点，使得每一支铅笔单独占有一个白色区域，即每一支铅笔形成一个连通域；

(5)判断图像腐蚀后得到的图片中是否存在两支不同铅笔区域通过通道连接成为一个连通域的情况，若有则进行步骤(6)，若无则跳至步骤(7)；

(6)对连通域的形状进行图像形态学开操作，修正连通域的形状并断开连通域之间存在的通道；

(7)通过连通域函数进行连通域个数计算，并且将每个连通域进行标记；

(8)将所有分块图片得到的连通区域相加得到全张图片中包含铅笔的个数。

2.根据权利要求1所述的一种基于图像计算数万铅笔精确数目的方法，其特征在于，在步骤(2)中，对小图片进行灰度处理生成灰度图，将灰度图中灰度级出现的频率通过直方图描述，横坐标是不同的灰度值，纵坐标是每个灰度级出现的频率，灰度直方图最高峰是频率最大值，在灰度直方图的最高峰左右两边相邻谷底之间的像素点就是所要识别的铅笔对象，设leftmin和rightmin分别为灰度直方图最高峰左边和右边的相邻谷底频率所对应的灰度值，即为阈值。

3.根据权利要求1或2所述的一种基于图像计算数万铅笔精确数目的方法，其特征在于，在步骤(3)中，选取步骤(2)中的阈值对小图片的灰度图进行二值化处理，生成有黑白视觉效果的图片，方法如下：

其中，对每个像素点进行遍历，y为当前像素点经过图像二值化后的数值，x为图像原灰度值，白色像素点值为1，黑色像素点值为0。

4.根据权利要求3所述的一种基于图像计算数万铅笔精确数目的方法，其特征在于，步骤(4)的具体方法如下：从左至右、从上至下遍历每一个像素点，选取n作为距离参数，若距离当前像素点右方和下方所有距离为1，2……n的像素点都是白色，则将该像素点设置为1，即白色；若这些像素点中有一处是黑色，则将像素点设置为0，即黑色。

5.根据权利要求4所述的一种基于图像计算数万铅笔精确数目的方法，其特征在于，步骤(6)中，对连通域的形状进行图像形态学开操作，断开连通域之间存在的通道并修正连通域的形状，方法如下：设定标准的形状和大小，标准的形状为圆盘形或椭圆形；利用此标准的形状和大小对连通域进行形态学开操作，将连通域的形状修正为与该标准相符合的圆盘形或椭圆形并断开连通域之间的通道。