CN110782436A - 一种基于计算机视觉的传送带物料状态检测方法 - Google Patents

Abstract

基于计算机视觉的传送带物料状态检测方法，包括设置对准传送带拍照、获取视频流的相机和对视频流图像进行处理的图像识别模块，其特征在于：图像识别模块执行以下操作：获取视频流，将图像灰度化，通过Gunnar_Farneback法计算稠密光流获取运动区域范围，分割运动区域，获得传送带的工作范围；本发明的目的在于提供一种能够实现对传送带运行、传送带上的物料情况进行自动化监测的基于计算机视觉的传送带物料状态检测系统。

Description

一种基于计算机视觉的传送带物料状态检测方法

技术领域

本发明涉及智能监控、计算机视觉领域。具体涉及通过一系列图像处理方法实现传送带上物料的盈余与过少状态的检测。

背景技术

随着时代的发展，工业对自动化要求越来越高。物料生产工厂将处理后的物料通过传送带运输，需要专门的监管人员判断传送带是否运动，传送带上是否有物料，传送带上的物料类型以及物料的量。这个过程需要消耗额外的人力成本，并且，依赖于人的经验以及其他主观因素，对物料的检测结果标准差异较大。传统的对工业传送带物料的检测通常是依靠压力传感器进行，压力传感器直接或者间接与物料接触，寿命较低。并且，压力传感器是接触式检测，只能稀疏式分布，无法实现密集型的全面监测。

发明内容

本发明的目的在于提供一种能够实现对传送带运行、传送带上的物料情况进行自动化监测的基于计算机视觉的传送带物料状态检测系统。

基于计算机视觉的传送带物料状态检测方法，包括对准传送带拍照、获取视频流的相机和对视频流图像进行处理的图像识别模块，图像识别模块执行以下操作：获取视频流，将图像灰度化，通过Gunnar_Farneback法计算稠密光流获取运动区域范围，分割运动区域，获得传送带的工作范围；对运动区域用霍夫变换进行直线特征提取，获得传送带两条边缘线段的四个端点坐标；利用的四个端点坐标计算线段长度区分出长线段和短线段，以短线段的任一端点y₁坐标为基准，取y1作为长线段与短线段对应的y坐标值，计算获得长线段与y₁对应的x₃坐标值，计算公式为以短线段的另一个端点y₂坐标为基准，取y₂作为长线段与短线段对应的y坐标值，计算获得长线段与y₂对应的x坐标值，获得四个端点坐标P₁(x₁,y₁),P₂(x₂,y₂)和P₃(x₃,y₁),P₄(x₄,y₂)；以四个端点之内的区域作为ROI区域，计算ROI区域内的灰度平均值，对ROI区域向外扩充，得到坐标P₁＇(x₁＇,y₁),P₂＇(x₂＇,y₂),P₃＇(x₃＇,y₁),P₄＇(x₄＇,y₂)；

部分为按经验设置的offset值；

对ROI区域向内偏移，坐标P₁"(x₁",y₁),P₂"(x₂",y2),P₃"(x₃",y₁),P₄"(x₄",y₂)；

划分了ROI区域为：传送带区域：{P₁＇P₂＇P₂P₁∪P₃P₄P₄＇P₃＇}和物料区域：{P₁"P₂"P₂P₁∪P₃P₄P₄"P₃"}。

优选的，获取一帧图像作为当前图像，采用cv2.split()函数将当前帧图像做拆分通道处理，分别获得B、G、R三个单通道图像；

计算单通道数值平均值，ave_ij＝sum_ij/length_ij；其中，i表示物料区域或者传送带区域，j表示R通道图像、或者G通道图像、或者B通道图像，sum为所选区域的单个通道数值累加值，length为所选区域的像素数量，计算Diff_j＝|ave_ro_i1-ave_ro_i2|，roi1表示传送带区域,roi2表示物料区域；将Diff_R，Diff_G，Diff_B按从大到小排序，将R通道图像、G通道图像和B通道图像加权后融合形成加权灰度图，加权计算公式为：

ave＝λ_maxave_max+λ_midave_mid+λ_minave_min，其中λmax＝0.6，λmid＝0.3，λmin＝0.1；max表示Diff值最大的通道图像，mid表示Diff值第二的通道图像，min表示Diff值最小的通道图像。

对比差值Diff的大小对各个通道的图像进行排序；各通道按差值从大至小依次将通道数值均值乘以权值，之后合并为单通道图像，获得本发明的加权灰度图。

优选的，每帧图像中传送带区域和物料区域的加权灰度分别计算其各自区域内的均值，设定为对每输入20帧的均值灰度再次求解均值，并计算均值灰度g随时间t变化的导数；对于传送带区域设定为2秒时间范围内导数的值小于所设导数下限阈值或加权灰度值小于灰度下限阈值时发送物料过多的警报；对于物料区域设定为2秒的时间内导数的值大于所设导数上限阈值或加权灰度值高于灰度上限阈值时发送物料过少的警报，阈值根据观测曲线变化情况给定。最终实现物料状态的检测。导数下限阈值为负数，导数上限阈值为正数。

优选的，获取运动区域的方法为：待视频流稳定输入后获取初始的相邻两帧图像信息，处理图像的BGR三通道值，将原始图像转化为8bit单通道灰度图；

Gray＝R*0299+G*0587+B*0.114；其中，Gray表示8bit单通道灰度图的灰度值，R表示原始图像的R通道灰度值，G表示原始图像的G通道灰度值，B表示原始图像的B通道灰度值。

输出一个尺寸与原始图像相同的2D光流矩阵。将光流向量(u,v)的2通道数组映射至极坐标系下；找到光流向量的等级和方向，给映射至极坐标系下的光流向量(u,v)的2通道数组矩阵上色，光流向量方向对应图像的色调值，将光流场通过HSV色彩空间表示再将HSV色彩空间转化至BGR，然后BGR转化为灰度图，由于非传送带工作区域灰度趋于0，因此设置本发明设置灰度阈值为30，通过阈值分割的方式获得图像掩膜，表示为一个0-1二值数组，长宽尺寸同输入帧图；将掩膜和输入帧的灰度图点乘，分割运动区域，将运动区域作为传输带工作范围。

优选的，对分割得到的传输带工作范围提取直线特征的操作为：首先将分割图像与高斯内核进行卷积处理，大小为(2k+1)*(2k+1)的高斯内核的生成方程式由下式给出：

设定k＝1,即采用尺寸为3*3的高斯内核对图像进行滤波处理；σ表示为高斯分布的标准差，ij表示内核参数所处的位置；通过边缘检测的Sobel算子返回水平方向G_x的一阶导数值和垂直方向G_y的一阶导数值，计算图像中每个像素点的梯度强度G，

和方向θ，θ＝arctan(G_y/G_x)。

对于梯度计算后的图像，仅仅基于梯度值提取的边缘仍然很模糊。作为优选的方案，对梯度图像中每个像素进行非极大值抑制处理，将局部最大值之外的所有梯度值抑制为0；在施加非极大值抑制之后，剩余的像素可以更准确地表示图像中的实际边缘；设置低阈值和高阈值，将梯度值高于高阈值的边缘像素标记为强边缘像素；将梯度值小于高阈值并且大于低阈值的边缘像素标记为弱边缘像素，抑制梯度值小于低阈值的边缘像素；高阈值用于检测图像中明显的边缘，低阈值实现间断的边缘连接；对高阈值设定为255，低阈值设定为180，以实现过量冗余信息的过滤；最终返回一个二值图像，完成图像的边缘提取。

霍夫变换的基本思想表示为点和线的对偶性。作为优选的方案，在直角坐标和极坐标中存在对应转化关系为：

在参数空间ρ，θ里建立一个累加数组H(ρ，θ)；对二值垂直图像中每个以1表示的点(x，y)，让θ取遍θ轴上所有可能的值，并根据直线的极坐标公式计算对应的ρ，ρ＝x*cosθ+y*sinθ.再假设ρ和θ取整，对数组H(ρ，θ)进行累加，最后对H(ρ，θ)进行局部峰值检测，最终以统计的方法获取检测直线的ρ和θ值；如果检测出的某些线段属于图像中的一条真实直线，属于同一条直线的所有线段都将会有相似的ρ和θ值，满足:

其中，T_ρ，T_θ代表阈值；计算得出真实直线的ρ和θ值，计算公式为:

通过对线段长度的高阈值设定，过滤过量的冗余信息。最终检测出两条传送区域的边缘线段。

霍夫变换根据这些关系把在图像空间中的检测问题转换到极坐标空间里。通过在极坐标空间里进行简单的累加统计完成检测任务。本发明的有益效果是：

1、将计算机视觉领域的知识应用于工业领域，适用于多种场景下的传送带物料检测方法，通过视频流的输入，获得图像信息。经一系列方法实现高精准度的物料状态监测。

2、无需手动分割感兴趣区域(ROI)，对检测区域的选定通过Gunnar_Farneback法计算稠密光流判定，能准确的对视野范围内的目标区域进行高精度的识别判定，具有极高的鲁棒性。

3、结合霍夫线检测方法实现对ROI的精准框定。对物料的状态检测工作在更为精确的区域内实现，极大的避免了状态的误判事件

4、对比深度学习方法极大的节省了计算力，处理过程无需高性能GPU的参与。能保证在低计算力的情况下的实时状态检测。

5、考虑物料的色调偏向，设计权值分别对BGR通道的数值加权处理，并将加权后图像合并为单通道图像处理，进一步提高了物料和传送带的区分度，提高了检测的精准度。

附图说明

图1为本发明的物料检测流程示意图

图2为本发明的光流处理流程图

图3为本发明的直线检测流程图

图4为本发明的ROI区域获取流程图

图5为本发明的ROI区域划分示意图

图6为本发明设计的加权灰度和常规灰度图对比

图7为本发明设计的加权灰度处理流程图

具体实施方式

结合附图，具体说明本发明的技术方案。

图1所示为本发明的物料检测流程示意图，传入视频流采样于放置在传送带上部的定机位摄像机。在传入视频流后的第一步操作为通过Gunnar_Farneback法计算稠密光流获取运动区域范围，具体流程如图2所示。待视频流稳定输入后获取初始的相邻两帧图像信息，通过经验公式1处理图像的BGR三通道值，将获取图像转化为8bit单通道灰度图。

Gray＝R*0.299+G*0.587+B*0.114 (1)

输出一个尺寸同输入图像的2D光流矩阵.本发明将光流向量(u,v)的2通道数组映射至极坐标系下。找到它们的等级和方向。我们给结果上色，方向对应图像的色调值，将光流场通过HSV色彩空间表示。下一步，我们先将HSV色彩空间转化至BGR，然后BGR转化为灰度图，由于非传送带工作区域灰度趋于0，因此设置本发明设置灰度阈值为30，通过阈值分割的方式获得图像掩膜，表示为一个0-1二值数组，长宽尺寸同输入帧图。将掩膜和输入帧的灰度图点乘，将运动区域分割，得到大致传输带工作范围。

第二步，采用霍夫变换思想对分割后的图像提取直线特征。整体流程如图3所示。首先将分割图与高斯内核进行卷积处理，大小为(2k+1)*(2k+1)的高斯内核的生成方程式由下式给出：

本发明中设定k＝1,即采用尺寸为3*3的高斯内核对图像进行滤波处理。σ表示为高斯分布的标准差，ij表示内核参数所处的位置。之后，我们通过边缘检测的Sobel算子返回水平G_x和垂直G_y方向的一阶导数值，通过下式计算图像中每个像素点的梯度强度G和方向θ

θ＝arctan(G_y/G_x) (3)

对于梯度计算后的图像，仅仅基于梯度值提取的边缘仍然很模糊。因此对梯度图像中每个像素进行非极大值抑制处理，将局部最大值之外的所有梯度值抑制为0。在施加非极大值抑制之后，剩余的像素可以更准确地表示图像中的实际边缘。考虑本发明的要求进一步设计low和high双阈值，边缘像素的梯度值高于高阈值，则将其标记为强边缘像素；如果边缘像素的梯度值小于高阈值并且大于低阈值，则将其标记为弱边缘像素，抑制梯度值小于低阈值的边缘像素。高阈值用于检测图像中明显的边缘，低阈值实现间断的边缘连接。考虑本发明针对的物料检测环境，所需检测的边缘信息较强，从而我们对高低阈值皆设定一个较高值，分别为255和180，以实现过量冗余信息的过滤。最终返回一个二值图像，完成图像的边缘提取。

霍夫变换的基本思想表示为点和线的对偶性。在直角坐标和极坐标中存在对应转化关系如下式

霍夫变换根据这些关系把在图像空间中的检测问题转换到极坐标空间里。通过在极坐标空间里进行简单的累加统计完成检测任务。

在参数空间ρ，θ里建立一个累加数组H(ρ，θ)。对二值垂直图像中每个以1表示的点(x，y)，让θ取遍θ轴上所有可能的值，并根据式计算对应的ρ.再根据ρ和θ的值(设都已经取整)对数组H(ρ，θ)进行累加，最后对H(ρ，θ)进行局部峰值检测，最终以统计的方法获取检测直线的ρ和θ值。

如果检测出的某些线段属于图像中的一条真实直线，那么属于同一条直线的所有线段将会有相似的ρ和θ值，即满足下式:

其中，T_ρ，T_θ代表阈值。

通过下式得出真实直线的ρ和θ值:

通过对线段长度的高阈值设定，过滤过量的冗余信息；得出两条直线的极坐标方程式，然后再坐标转换到xy坐标系中，获得x,y方程。最终检测出两条传送区域边缘线段共四个端点信息。

获得两线段端点坐标后我们对ROI区域进行划分工作，如图4所示。

首先，我们通过距离公式7对线段的长度进行计算，(x₁,y₁),(x₂,y₂)分别表示线段的两个端点；

对比两线段长度，选取较短线段的y坐标值为基准；公式8：

通过公式(8)给出的x值与y值的对应关系，求得较长线段在较短线段端点的y值下所对应的对应x值；根据霍夫线检测能得到直线端点，通过公式(7)和公式(8)的计算最终获得位于左边线段的两端点P₁(x₁,y₁),P₂(x₂,y₂)和位于右边线段的两端点P₃(x₃,y₁),P₄(x₄,y₂)。

物料的状态判定通过计算所框选的ROI区域内的灰度平均值进行判定。根据下式对四端点围成的四边形区域进行范围扩充，得到坐标P₁＇(x₁＇,y₁),P₂＇(x₂＇,y₂),P₃＇(x₃＇,y₁),P₄＇(x₄＇,y₂)。

部分为按经验设置的offset值，目的是实现区域的扩充。

此外为了使负责物料过少状态检测的区域具有更强的针对性。我们对P1,P2,P3,P4四个点作向内偏移处理，得到坐标P₁"(x₁",y₁),P₂"(x₂",y2),P₃"(x₃",y₁),P₄"(x₄",y₂)

最终我们划分了物料检测的区域，如图5所示。

ROI区域1(传送带区域，负责物料过多状态检测)：

{P₁＇P₂＇P₂P₁∪P₃P₄P₄＇P₃＇}

ROI区域2(物料区域，负责物料过少状态检测)：

{P₁"P₂"P₂P₁∪P₃P₄P₄"P₃"}

之后我们对每帧图像进行加权灰度图的处理，流程如图7所示。首先采用cv2.split()函数将获得的输入帧图像做拆分通道处理，分别获得B、G、R三个单通道图像。通过下式：

ave＝sum/length (11)

分别计算ROI区域1和ROI区域2的单通道数值平均值ave的大小。sum为所选区域的单个通道数值累加值，length为所选区域的像素数量。之后，我们分别对BGR三个通道的ROI区域1和ROI区域2的ave计算绝对差值：

Diff＝|ave_roi1-ave_roi2| (12)

我们通过对比差值Diff的大小对各个通道的图像进行排序。为保障检测效果，将物料部分和传送带部分更好的进行区分。三者中按差值从大至小依次将通道数值均值乘以权值λ1＝0.6，λ2＝0.3，λ3＝0.1，之后合并为单通道图像，获得本发明的加权灰度图(见图6)。

对输入视频的每帧图像中区域1和区域2内的加权灰度分别计算其区域内的均值，为了平滑灰度变化的曲线，设定为对每输入20帧的均值灰度再次求解均值，并计算均值灰度g随时间t变化的导数。对于区域1本发明设定为2秒时间范围内内导数的值大于所设阈值1或加权灰度值小于阈值2时发送物料过多的警报；对于区域2设定为2秒的时间(按需求设定)内导数的值小于所设阈值3或加权灰度值高于阈值4时发送物料过少的警报，阈值根据观测曲线变化情况给定。最终实现物料状态的检测。

在缺少本文中所具体公开的任何元件、限制的情况下，可以实现本文所示和所述的发明。所采用的术语和表达法被用作说明的术语而非限制，并且不希望在这些术语和表达法的使用中排除所示和所述的特征或其部分的任何等同物，而且应该认识到各种改型在本发明的范围内都是可行的。因此应该理解，尽管通过各种实施例和可选的特征具体公开了本发明，但是本文所述的概念的修改和变型可以被本领域普通技术人员所采用，并且认为这些修改和变型落入所附权利要求书限定的本发明的范围之内。

Claims (7)

1.基于计算机视觉的传送带物料状态检测方法，包括设置对准传送带拍照、获取视频流的相机和对视频流图像进行处理的图像识别模块，其特征在于：图像识别模块执行以下操作：获取视频流，将图像灰度化，通过Gunnar_Farneback法计算稠密光流获取运动区域范围，分割运动区域，获得传送带的工作范围；对运动区域用霍夫变换进行直线特征提取，获得传送带两条边缘线段的四个端点坐标；利用的四个端点坐标计算线段长度区分出长线段和短线段，以短线段的任一端点y₁坐标为基准，取y1作为长线段与短线段对应的y坐标值，计算获得长线段与y₁对应的x₃坐标值，计算公式为

以短线段的另一个端点y₂坐标为基准，取y₂作为长线段与短线段对应的y坐标值，计算获得长线段与y₂对应的x坐标值，获得四个端点坐标P₁(x₁,y₁),P₂(x₂,y₂)和P₃(x₃,y₁),P₄(x₄,y₂)；以四个端点之内的区域作为ROI区域，计算ROI区域内的灰度平均值，对ROI区域向外扩充，得到坐标P₁＇(x₁＇,y₁),P₂＇(x₂＇,y₂),P₃＇(x₃＇,y₁),P₄＇(x₄＇,y₂)；

部分为按经验设置的offset值；

对ROI区域向内偏移，坐标P₁"(x₁",y₁),P₂"(x₂",y2),P₃"(x₃",y₁),P₄"(x₄",y₂)；

划分了ROI区域为：传送带区域：{P₁＇P₂＇P₂P₁∪P₃P₄P₄＇P₃＇}和物料区域：{P₁"P₂"P₂P₁∪P₃P₄P₄"P₃"}。

2.如权利要求书1所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：获取一帧图像作为当前图像，采用cv2.split()函数将当前帧图像做拆分通道处理，分别获得B、G、R三个单通道图像；计算单通道数值平均值，ave_ij＝sum_ij/length_ij；其中，i表示物料区域或者传送带区域，j表示R通道图像、或者G通道图像、或者B通道图像，sum为所选区域的单个通道数值累加值，length为所选区域的像素数量，计算Diff_j＝|ave_roi1-ave_roi2|，roi1表示传送带区域,roi2表示物料区域；将Diff_R，Diff_G，Diff_B按从大到小排序，将R通道图像、G通道图像和B通道图像加权后融合形成加权灰度图，加权计算公式为：ave＝λ_maxave_max+λ_midave_mid+λ_minave_min，其中λmax＝0.6，λmid＝0.3，λmin＝0.1；max表示Diff值最大的通道图像，mid表示Diff值第二的通道图像，min表示Diff值最小的通道图像。

3.如权利要求书2所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：每帧图像中传送带区域和物料区域的加权灰度分别计算其各自区域内的均值，设定为对每输入20帧的均值灰度再次求解均值，并计算均值灰度g随时间t变化的导数；对于传送带区域设定为2秒时间范围内导数的值小于所设导数下限阈值或加权灰度值小于灰度下限阈值时发送物料过多的警报；对于物料区域设定为2秒的时间内导数的值大于所设导数上限阈值或加权灰度值高于灰度上限阈值时发送物料过少的警报，阈值根据观测曲线变化情况给定。最终实现物料状态的检测。导数下限阈值为负数，导数上限阈值为正数。

4.如权利要求书3所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：获取运动区域的方法为：待视频流稳定输入后获取初始的相邻两帧图像信息，处理图像的BGR三通道值，将原始图像转化为8bit单通道灰度图；

Gray＝R*0.299+G*0.587+B*0.114；其中，Gray表示8bit单通道灰度图的灰度值，R表示原始图像的R通道灰度值，G表示原始图像的G通道灰度值，B表示原始图像的B通道灰度值；

输出一个尺寸与原始图像相同的2D光流矩阵。将光流向量(u,v)的2通道数组映射至极坐标系下；找到光流向量的等级和方向，给映射至极坐标系下的光流向量(u,v)的2通道数组矩阵上色，光流向量方向对应图像的色调值，将光流场通过HSV色彩空间表示再将HSV色彩空间转化至BGR，然后BGR转化为灰度图，由于非传送带工作区域灰度趋于0，因此设置本发明设置灰度阈值为30，通过阈值分割的方式获得图像掩膜，表示为一个0-1二值数组，长宽尺寸同输入帧图；将掩膜和输入帧的灰度图点乘，分割运动区域，将运动区域作为传输带工作范围。

5.如权利要求书4所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：对分割得到的传输带工作范围提取直线特征的操作为：首先将分割图像与高斯内核进行卷积处理，大小为(2k+1)*(2k+1)的高斯内核的生成方程式由下式给出：

设定k＝1,即采用尺寸为3*3的高斯内核对图像进行滤波处理；σ表示为高斯分布的标准差，ij表示内核参数所处的位置；通过边缘检测的Sobel算子返回水平方向G_x的一阶导数值和垂直方向G_y的一阶导数值，计算图像中每个像素点的梯度强度G，和方向θ，

6.如权利要求书5所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：对梯度图像中每个像素进行非极大值抑制处理，将局部最大值之外的所有梯度值抑制为0；在施加非极大值抑制之后，剩余的像素可以更准确地表示图像中的实际边缘；设置低阈值和高阈值，将梯度值高于高阈值的边缘像素标记为强边缘像素；将梯度值小于高阈值并且大于低阈值的边缘像素标记为弱边缘像素，抑制梯度值小于低阈值的边缘像素；高阈值用于检测图像中明显的边缘，低阈值实现间断的边缘连接；对高阈值设定为255，低阈值设定为180，以实现过量冗余信息的过滤；最终返回一个二值图像，完成图像的边缘提取。

7.如权利要求书6所述的基于计算机视觉的传送带物料状态检测方法，其特征在于：在直角坐标和极坐标中存在对应转化关系为：在参数空间ρ，θ里建立一个累加数组H(ρ，θ)；对二值垂直图像中每个以1表示的点(x，y)，让θ取遍θ轴上所有可能的值，并根据直线的极坐标公式计算对应的ρ，ρ＝x*cosθ+y*sinθ.再假设ρ和θ取整，对数组H(ρ，θ)进行累加，最后对H(ρ，θ)进行局部峰值检测，最终以统计的方法获取检测直线的ρ和θ值；如果检测出的某些线段属于图像中的一条真实直线，属于同一条直线的所有线段都将会有相似的ρ和θ值，满足:

其中，T_ρ，T_θ代表阈值；计算得出真实直线的ρ和θ值，计算公式为:

通过对线段长度的高阈值设定，过滤过量的冗余信息。最终检测出两条传送区域的边缘线段。

Images