CN102930279B - 用于产品数量检测的图像识别方法 - Google Patents

Abstract

一种用于产品数量检测的图像识别方法，涉及一种图像识别方法，包括以下步骤：S1.安装视频设备；S2.产品的包装；S3.包装箱的堆码；S4.视频的采集；S5.视频截图；S6.对图片进行前处理；S7.对经前处理的图片进行中间识别；S8.判断产品的全部数量。本发明的识别精度高、方法简单，并可降低生产成本、减小劳动强度，提高生产效率，可推广运用到任何准时化生产企业中。

Description

用于产品数量检测的图像识别方法

技术领域

本发明涉及一种图像识别方法，特别是一种用于产品数量检测的图像识别方法。

背景技术

随着计算机技术与信息技术的发展，图像识别技术得到了积极的推广应用，例如医疗诊断中各种医学图片的分析与识别、天气预报中的卫星云图识别、指纹识别、脸谱识别等，图像识别技术越来越多地渗透到了我们的日常生活中。但是现有的图像识别方法大都存在以下缺点：图像识别的整个过程步骤很多，每个步骤都有若干算法，而算法的好坏直接影响后续步骤的效果，对于质量较差的图像的处理不太理想，算法的效率较低。如图像分割中，采用单一特征的图像分割方法难以达到理想的分割效果，如把多种图像分割方法结合起来使用，往往会造成图像的过度分割，也不利于图像的识别；某些算法采用Gabor变换进行图像增强，但由于对特征点区域的不敏感性，使得这部分的增强效果不佳，时常无法区分端点还是分支点，致使这一特征信息无效。

此外，在工业生产中，企业对产品数量的检测一般都是人工干涉的方式进行，这种方式存在以下缺点：需要投入的人工较多，生产成本较高，劳动强度较大，库存精度和生产效率较低。而若将传统的图像识别技术用于企业产品数量的清点检测，则存在效率低下、准确率低、方法过于复杂的不足之处。

发明内容

本发明要解决的技术问题是：提供一种识别精度高、方法简单的用于产品数量检测的图像识别方法，并使该方法可以降低生产成本、减小劳动强度，提高生产效率。

解决上述技术问题的技术方案是：一种用于产品数量检测的图像识别方法，该方法是一种通过截取视频图像来对产品数量进行检测的方法，包括以下步骤：

S1.安装视频设备；

S2.产品的包装：分别将产品用色彩与周围环境颜色形成反差的长方体包装箱进行包装；

S3.包装箱的堆码：将各包装箱堆码成一个正方体或长方体的货垛；

S4.视频的采集：通过视频设备采集堆码后的货垛总外观视频资料；

S5.视频截图：调用视频截图软件读取视频流，生成图片；

S6.对图片进行前处理：依次将前景和背景分离、去除边界、去除周边噪音、灰度处理、形态再次除噪；

S7.对经前处理的图片进行中间识别：将经前处理的图片依次进行找最低点、修复边界线、找左右两侧点、搜索层数点、搜索左右上边界点，并判断最上层是否是整层，得出层数以及每层包装箱的数量；

S8.判断产品的全部数量：如果最上层是整层，将每层包装箱数量乘以层数，得出产品的全部数量；如果最上层是非整层，将所有整层的每层包装箱数量乘以整层的层数，再加上非整层包装箱的数量，得出产品的全部数量；将结果输出。

本发明的进一步技术方案是：所述的步骤S6.对图片进行前处理包括下列具体步骤：

S6.1.前景和背景分离：

利用聚类分析计算方法，设定阈值，分割图像空间成几个区域块，取有效区域作为前景，其余为背景；

S6.2去除边界：

针对二值图中边界在整行数或整列数完全为1和0的特征，设定黑色为0，白色为1，从边界线逐行或逐列扫描，获得去除区域，去除边界；

S6.3去除周边噪音：

用聚类分析结果与原图像比较去除零散的周围点，同时恢复为JPG格式文件；

S6.4灰度处理：

通过改变像素点的变化范围，设定阈值，变彩色图像为灰度图；

S6.5形态再次除噪：

用形态学边缘算子，细化图像边缘，减少频率低的噪声，进一步确定边缘定位精度，以达到完全去除干扰散点。

本发明的进一步技术方案是：所述的步骤S7.对经前处理的图片进行中间识别包括下列具体步骤：

S7.1.找最低点：

每张图片均有四个角点，分别为L0{0,0}、L0{1,0}、L0{1,1}、L0{0,1}，通过对图片的像素扫描和阈值的设定，获取堆码后货垛总外观三维图片的最低点以及与最低点连接的两条边界线；

S7.2.修复边界线：

以最低点为原点，对两条边界线进行修复，减少在后处理中的搜索误差；

S7.3.找左右两侧点：

同样通过对图片的像素扫描获取两条边界线上的最远端点，该两条边界线上的最远端点即为左右两侧点，所述的左右两侧点和最低点勾勒了堆码后货垛总外观三维图片的左右底层的轮廓范围；

S7.4.搜索层数点：

以0、1分别代表黑、白像素点，以分别平行于垂直方向和左右两方向的边界线方向逐层扫描，将扫描结果置于矩阵中，并对矩阵的行和列分别相加，数值最小的行或列即为包装箱层数的轮廓线，两轮廓线相交即为包装箱的4个角点，4个角点即为一个包装箱，根据角点坐标值可计算一个包装箱长度；

S7.5.搜索左右上边界点：

以循环方式进行迭代，当组成轮廓线的散点图不符合大多数一致的正态分布时，左右两边最后一个符合正态分布的散点图的点即分别为左上边界点和右上边界点；

S7.6.找特征角点Ⅰ：

在最低点附近寻找一块区域，最低点置于区域下方，区域左右为最低点的X值分别加减10，区域上方为最低点的Y坐标值减去右侧点与右上边界点Y坐标值的差；从最低点起，沿Y方向向L0{0,0}点扫描，在此区域中且与最低点的连线其阈值之和全为0的线的终点即为特征角点Ⅰ；

S7.7.找特征角点Ⅱ：

对存在于由最远点、右上边界点和L0{1,0}组成的三角区域的边界线，从最远点向L0{1,0}方向扫描Y向坐标值，第一个拐点的坐标即为特征角点Ⅱ；

S7.8.判断最上层是否是整层：

①对由L0{0,0}、左上边界点和最远点组成的左上三角形区域求反，然后进行扫描，若扫描像素点阈值的和大于零，则表示该行未堆满货垛，即非满行，表示为非整层，则直接进行步骤S7.10；若像素点阈值的和为零，则表示该层上的该行是满行，进行步骤②；

②对右上边界点、最远点与L0{1,0}点组成的右上三角形区域求反，对该区域进行扫描，若扫描像素点阈值的和大于零，则表示非满列，亦表示该层上未堆满货垛，即为非整层，则直接进行步骤S7.10；若扫描像素点阈值的和为零，则表示满列，进行步骤③；

③以特征角点Ⅱ为起点，沿着行方向模拟绘制满行长度线段，将线段长度除以由步骤S7.4计算得到的包装箱长度即可得到满行包装箱中每行的个数；将顶层最后一行上的边界线长度与该线段进行对比，若相等则表示该行满行，则该层是整层；若不相等，则根据步骤S7.10，判断非满行包装箱个数；

S7.9.判断层数：

将特征角点Ⅰ与最低点的连线长度除以第一层的高度值，再乗以一个修正投影系数即可获得层数；

S7.10.计算非整层的包装箱数量：

非满行与非满列均为非整层情况；以特征角点Ⅱ为起点，沿着行方向模拟绘制非满行射线，根据非满行射线占满行线段长度之比例，即可获知非满行中包装箱个数；将通过扫描得到满行的行数乘以通过计算得到的满行包装箱中每行的个数，加上非满行中包装箱个数即为非整层的包装箱数量。

本发明的再进一步技术方案是：在所述的步骤S1安装视频设备中，视频设备安装在能保证完整看到堆码后货垛完整的顶面以及两个相邻的侧面；并且根据准时化生产要求，包装箱的堆放顺序为自底向上，由里往外，由远及近。

由于采用上述技术方案，本发明之用于产品数量检测的图像识别方法与现有技术相比，具有以下有益效果：

1.方法简单、识别精度高：

本发明对图像预处理要求不高，步骤简单，可以极大的利用物体的边界特征，计算量不大，准确率较高。而且本方法无固定的包装箱尺寸大小要求,避免了模式识别的单一性，只要是立方体均能快速检测，同时对视频图片的要求也不高,通过前处理能巧妙的去除大部分周围噪声。因此，本发明的方法简单，识别精度较高。

2.方法稳定、可靠:

本发明所采用的算法可靠、逻辑性强，具有较高的安全性、稳定性、可靠性和可扩展性。

3.生产成本低、劳动强度小：

本发明可以不增加复杂设备，利用已有的摄像头捕捉视频图像，将图像转换成图片，采用图像识别技术快速得到成批堆放的零件个数，节约了人工成本，从而降低了生产成本，减小了劳动强度。

4.生产效率高：

本发明通过常用的监控系统和计算机即可实现产品数量的检测，在减少人工干涉的同时，减小了劳动强度，改用比较稳定、准确的数字图像识别技术，大大提高了生产效率高。

5.操作简单、快捷：

由于本发明是通过截取视频图像来对产品数量进行检测，只要鼠标点击触发即可获得所需的产品数目，其操作简便，快捷，未增加使用者的使用难度，大大节约了劳动时间和劳动成本，可推广运用到任何准时化生产企业中。

此外，本发明亦可灵活嵌入ERP系统中达到智能控制管理的效果。

下面，结合附图和实施例对本发明之用于产品数量检测的图像识别方法的技术特征作进一步的说明。

附图说明

图1：本发明之用于产品数量检测的图像识别方法的流程框图，

图2：堆码后非整层的包装箱示意图，

图3：堆码后整层的包装箱示意图。

在图2～图3中：

L0{0,0}、L0{1,0}、L0{1,1}、L0{0,1}—图片的四个角点，

L1-最低点L1，L2-左侧点，L3-右侧点，L4-左上边界点L4，

L5-右上边界点L5，L6-最远点L6，A-特征角点Ⅰ，B-特征角点Ⅱ，

H-行方向，K-列方向，Y-Y轴方向，

m-边界线（即由L1至L2的连线），n-边界线（即由L1至L3的连线）。

具体实施方式

实施例一：

一种用于产品数量检测的图像识别方法，该方法是一种通过截取视频图像来对产品数量进行检测的方法，包括以下步骤（流程框图参见图1）：

S1.安装视频设备，视频设备采用市场上一般的监控视频，该视频设备安装在能保证完整看到堆码后货垛完整的顶面以及两个相邻的侧面。

S2.产品的包装：分别将产品用色彩与周围环境颜色有一定反差的长方体包装箱进行包装；

S3.包装箱的堆码：将各包装箱按先底后上、先里后外的顺序堆码成一个正方体或长方体的货垛，使该货垛具有清晰的长、宽和高的轮廓线；所述先底后上、先里后外的顺序是指下层放满后，再放上层；先放里面（远离视频端称为货仓里面），后放外面（靠近视频端称为货仓外面）；

S4.视频的采集：通过视频设备采集堆码后的货垛总外观视频资料；

S5.视频截图：调用视频截图软件读取视频流，生成图片；

S6.对图片进行前处理：依次将前景和背景分离、去除边界、去除周边噪音、灰度处理、形态再次除噪；

S7.对经前处理的图片进行中间识别：将经前处理的图片依次进行找最低点L1、修复边界线、找左右两侧点L2、L3、搜索层数点、搜索左右上边界点L4、L5，并判断最上层是否是整层，得出层数以及每层包装箱的数量；

S8.判断产品的全部数量：如果最上层是整层，将每层包装箱数量乘以层数，得出产品的全部数量；如果最上层是非整层，将所有整层的每层包装箱数量乘以整层的层数，再加上非整层包装箱的数量，得出产品的全部数量；将结果输出。

1.根据权利要求1所述的用于产品数量检测的图像识别方法，其特征在于：所述的步骤S6.对图片进行前处理包括下列具体步骤：

S6.1.前景和背景分离：

利用聚类分析计算方法，设定阈值，分割图像空间成几个区域块，取有效区域作为前景，其余为背景；

S6.2去除边界：

针对二值图中边界在整行数或整列数完全为1和0的特征，设定黑色为0，白色为1，从边界线逐行或逐列扫描，获得去除区域，去除边界；

S6.3去除周边噪音：

用聚类分析结果与原图像比较去除零散的周围点，同时恢复为JPG格式文件；

S6.4灰度处理：

通过改变像素点的变化范围，设定阈值，变彩色图像为灰度图；

S6.5形态再次除噪：

用形态学边缘算子，细化图像边缘，减少频率低的噪声，进一步确定边缘定位精度，以达到完全去除干扰散点。

2.根据权利要求1所述的用于产品数量检测的图像识别方法，其特征在于：所述的步骤S7.对经前处理的图片进行中间识别包括下列具体步骤：

S7.1.找最低点L1：

每张图片均有四个角点，分别为L0{0,0}、L0{1,0}、L0{1,1}、L0{0,1}，通过对图片的像素扫描和阈值的设定，获取堆码后货垛总外观三维图片的最低点L1以及与最低点L1连接的两条边界线m、n；

S7.2.修复边界线：

以最低点L1为原点，对两条边界线m、n进行修复，减少在后处理中的搜索误差；

S7.3.找左右两侧点：

同样通过对图片的像素扫描获取两条边界线m、n上的最远端点，该两条边界线上的最远端点即为左右两侧点L2、L3，所述的左右两侧点L2、L3和最低点L1勾勒了堆码后货垛总外观三维图片的左右底层的轮廓范围；

S7.4.搜索层数点：

以0、1分别代表黑、白像素点，以分别平行于垂直方向和左右两方向的边界线方向逐层扫描，将扫描结果置于矩阵中，并对矩阵的行和列分别相加，数值最小的行或列即为包装箱层数的轮廓线，两轮廓线相交即为包装箱的4个角点，4个角点即为一个包装箱，根据角点坐标值可计算一个包装箱长度；

S7.5.搜索左右上边界点L4、L5：

以循环方式进行迭代，当组成轮廓线的散点图不符合大多数一致的正态分布时，左右两边最后一个符合正态分布的散点图的点即分别为左上边界点L4和右上边界点L5；

S7.6.找特征角点ⅠA：

在最低点L1附近寻找一块区域，最低点L1置于区域下方，区域左右为最低点L1的X值分别加减10，区域上方为最低点L1的Y坐标值减去右侧点L3与右上边界点L5Y坐标值的差；从最低点L1起，沿Y方向向L0{0,0}点扫描，在此区域中且与最低点L1的连线其阈值之和全为0的线的终点即为特征角点ⅠA；

S7.7.找特征角点ⅡB：

对存在于由最远点L6、右上边界点L5和L0{1,0})组成的三角区域的边界线，从最远点L6向L0{1,0}方向扫描Y向坐标值，第一个拐点的坐标即为特征角点ⅡB；

S7.8.判断最上层是否是整层：

①对由L0{0,0}、左上边界点L4和最远点L6组成的左上三角形区域求反，然后进行扫描，若扫描像素点阈值的和大于零，则表示该行未堆满货垛，即非满行，表示为非整层，则直接进行步骤S7.10；若像素点阈值的和为零，则表示该层上的该行是满行，进行步骤②；

②对右上边界点L5、最远点L6与L0{1,0}点组成的右上三角形区域求反，对该区域进行扫描，若扫描像素点阈值的和大于零，则表示非满列，亦表示该层上未堆满货垛，即为非整层，则直接进行步骤S7.10；若扫描像素点阈值的和为零，则表示满列，进行步骤③；

③以特征角点ⅡB为起点，沿着行方向模拟绘制满行长度线段，将线段长度除以由步骤S7.4计算得到的包装箱长度即可得到满行包装箱中每行的个数；将顶层最后一行上的边界线长度与该线段进行对比，若相等则表示该行满行，则该层是整层；若不相等，则根据步骤S7.10，判断非满行包装箱个数；

S7.9.判断层数：

将特征角点ⅠA与最低点L1的连线长度除以第一层的高度值，再乗以一个修正投影系数即可获得层数；

S7.10.计算非整层的包装箱数量：

非满行与非满列均为非整层情况；以特征角点ⅡB为起点，沿着行方向模拟绘制非满行射线，根据非满行射线占满行线段长度之比例，即可获知非满行中包装箱个数；将通过扫描得到满行的行数乘以通过计算得到的满行包装箱中每行的个数，加上非满行中包装箱个数即为非整层的包装箱数量。

在步骤S6中，所述的聚类分析计算方法、形态学边缘算子均为公知技术，这里不再对其进行详细赘述。

Claims (3)

1.一种用于产品数量检测的图像识别方法，其特征在于：该方法是一种通过截取视频图像来对产品数量进行检测的方法，包括以下步骤：

S1.安装视频设备；

S2.产品的包装：分别将产品用色彩与周围环境颜色形成反差的长方体包装箱进行包装；

S3.包装箱的堆码：将各包装箱堆码成一个正方体或长方体的货垛；

S4.视频的采集：通过视频设备采集堆码后的货垛总外观视频资料；

S5.视频截图：调用视频截图软件读取视频流，生成图片；

S6.对图片进行前处理：依次将前景和背景分离、去除边界、去除周边噪音、灰度处理、形态再次除噪；

S7.对经前处理的图片进行中间识别：将经前处理的图片依次进行找最低点（L1）、修复边界线、找左侧点（L2）、右侧点（L3）、搜索层数点、搜索左上边界点（L4）、右上边界点（L5），并判断最上层是否是整层，得出层数以及每层包装箱的数量；

S8.判断产品的全部数量：如果最上层是整层，将每层包装箱数量乘以层数，得出产品的全部数量；如果最上层是非整层，将所有整层的每层包装箱数量乘以整层的层数，再加上非整层包装箱的数量，得出产品的全部数量；将结果输出；

所述的步骤S7对经前处理的图片进行中间识别包括下列具体步骤：

S7.1.找最低点（L1）：

每张图片均有四个角点，分别为L0{0,0}、L0{1,0}、L0{1,1}、L0{0,1}，通过对图片的像素扫描和阈值的设定，获取堆码后货垛总外观三维图片的最低点（L1）以及与最低点（L1）连接的边界线m、边界线n；

S7.2.修复边界线：

以最低点（L1）为原点，对边界线m、边界线n进行修复，减少在后处理中的搜索误差；

S7.3.找左右两侧点：

同样通过对图片的像素扫描获取边界线m、边界线n上的最远端点，该两条边界线上的最远端点即为左侧点（L2）、右侧点（L3），所述的左侧点（L2）、右侧点（L3）和最低点（L1）勾勒了堆码后货垛总外观三维图片的左右底层的轮廓范围；

S7.4.搜索层数点：

以0、1分别代表黑、白像素点，以分别平行于垂直方向和左右两方向的边界线方向逐层扫描，将扫描结果置于矩阵中，并对矩阵的行和列分别相加，数值最小的行或列即为包装箱层数的轮廓线，两轮廓线相交即为包装箱的4个角点，4个角点即为一个包装箱，根据角点坐标值可计算一个包装箱长度；

S7.5.搜索左上边界点（L4）、右上边界点（L5）：

以循环方式进行迭代，当组成轮廓线的散点图不符合大多数一致的正态分布时，左右两边最后一个符合正态分布的散点图的点即分别为左上边界点（L4）和右上边界点（L5）；

S7.6.找特征角点Ⅰ（A）：

在最低点（L1）附近寻找一块区域，最低点（L1）置于区域下方，区域左右为最低点（L1）的X值分别加减10，区域上方为最低点（L1）的Y坐标值减去右侧点（L3）与右上边界点（L5）Y坐标值的差；从最低点（L1）起，沿Y方向向L0{0,0}点扫描，在此区域中且与最低点（L1）的连线其阈值之和全为0的线的终点即为特征角点Ⅰ（A）；

S7.7.找特征角点Ⅱ（B）：

对存在于由最远点（L6）、右上边界点（L5）和L0{1,0}组成的三角区域的边界线，从最远点（L6）向L0{1,0}方向扫描Y向坐标值，第一个拐点的坐标即为特征角点Ⅱ（B）；

S7.8.判断最上层是否是整层：

①对由L0{0,0}、左上边界点（L4）和最远点（L6）组成的左上三角形区域求反，然后进行扫描，若扫描像素点阈值的和大于零，则表示当前扫描行未堆满货垛，即非满行，表示为非整层，则直接进行步骤S7.10；若像素点阈值的和为零，则表示最上层上的当前扫描行是满行，进行步骤②；

②对右上边界点（L5）、最远点（L6）与L0{1,0}点组成的右上三角形区域求反，对该区域进行扫描，若扫描像素点阈值的和大于零，则表示非满列，亦表示最上层上未堆满货垛，即为非整层，则直接进行步骤S7.10；若扫描像素点阈值的和为零，则表示满列，进行步骤③；

③以特征角点Ⅱ（B）为起点，沿着行方向模拟绘制满行长度线段，将线段长度除以由步骤S7.4计算得到的包装箱长度即可得到满行包装箱中每行的个数；将最上层最后一行上的边界线长度与该线段进行对比，若相等则表示最后一行满行，则最上层是整层；若不相等，则根据步骤S7.10，判断非满行包装箱个数；

S7.9.判断层数：

将特征角点Ⅰ（A）与最低点（L1）的连线长度除以第一层的高度值，再乘以一个修正投影系数即可获得层数；

S7.10.计算非整层的包装箱数量：

非满行与非满列均为非整层情况；以特征角点Ⅱ（B）为起点，沿着行方向模拟绘制非满行射线，根据非满行射线占满行线段长度之比例，即可获知非满行中包装箱个数；将通过扫描得到满行的行数乘以通过计算得到的满行包装箱中每行的个数，加上非满行中包装箱个数即为非整层的包装箱数量。

2.根据权利要求1所述的用于产品数量检测的图像识别方法，其特征在于：所述的步骤S6对图片进行前处理包括下列具体步骤：

S6.1.前景和背景分离：

利用聚类分析计算方法，设定阈值，分割图像空间成几个区域块，取有效区域作为前景，其余为背景；

S6.2.去除边界：

针对二值图中边界在整行数或整列数完全为1和0的特征，设定黑色为0，白色为1，从边界线逐行或逐列扫描，获得去除区域，去除边界；

S6.3.去除周边噪音：

用聚类分析结果与原图像比较去除零散的周围点，同时恢复为JPG格式文件；

S6.4.灰度处理：

通过改变像素点的变化范围，设定阈值，变彩色图像为灰度图；

S6.5.形态再次除噪：

用形态学边缘算子，细化图像边缘，减少频率低的噪声，进一步确定边缘定位精度，以达到完全去除干扰散点。

3.根据权利要求1或2所述的用于产品数量检测的图像识别方法，其特征在于：在所述的步骤S1安装视频设备中，视频设备安装在能保证完整看到堆码后货垛完整的顶面以及两个相邻的侧面；并且根据准时化生产要求，包装箱的堆放顺序为自底向上，由里往外，由远及近。