CN112614139A - 基于深度图的运输带矿石团块筛选方法 - Google Patents

Abstract

本发明提供一种基于深度图的运输带矿石筛选方法，包括如下步骤：S0、将线激光结构光以一定角度投射到运动的运输带及矿石表面，通过高速工业相机连续拍摄矿石表面线结构光图像；S1、提取激光线光条中心像素点的图像像素高度并映射为[0‑255]范围内的灰度值，再利用多帧灰度值数据逐行叠加，生成矿石深度图；S2、基于矿石深度图，采用基于邻域信息的多级OTSU算法进行处理，得到目标区域,圈定目标矿石团块；S3、计算每个目标矿石团块的位置参数以及几何参数；S4、将目标矿石团块的位置参数及几何参数信息传送给上位机，以对目标团块对应的运输带上的实际矿石团块进行后续筛选处理。本发明可对运输带目标矿石实施在线筛选处理，将促进我国矿石开采和加工生产的智能化。

Description

基于深度图的运输带矿石团块筛选方法

技术领域

本发明涉及图像处理技术领域和机器视觉技术领域，具体涉及一种基于深度图的运输带矿石团块筛选方法。

背景技术

在采矿及矿石加工行业中，矿石进入很多工序之前，都需要将运输带上超过生产标准的较大矿石及时地筛分出来，以保证产线的正常运行；而传统筛分方法如机械筛分法、人工目测筛分法等，存在效率低下、筛分不准确、耗费人力物力等问题。随着机器视觉在工业上的广泛应用，使得工业生产向信息化、智能化方向进步。将机器视觉与图像处理技术结合，为运输带上矿石团块的筛选提供了强有力的技术支持。

发明内容

本发明要解决的技术问题在于针对现有技术中生产线运输带矿石筛选存在的效率低下、筛分不准确、耗费人力物力的缺陷，提供一种提高了运输带矿石的筛选速度和准确率的基于深度图的运输带矿石团块筛选方法。

本发明解决其技术问题所采用的技术方案是：

提供一种基于深度图的运输带矿石筛选方法，包括如下步骤：

S0、将线激光结构光以一定角度投射到运动的运输带及矿石表面，通过高速工业相机连续拍摄矿石表面线结构光图像；

S1、提取激光线光条中心像素点的图像像素高度并映射为[0-255]范围内的灰度值，再利用多帧灰度值数据逐行叠加，生成矿石深度图；

S2、基于矿石深度图，采用基于邻域信息的多级OTSU算法进行处理，得到目标区域,圈定目标矿石团块；

S3、计算每个目标矿石团块的位置参数以及几何参数；

S4、将目标矿石团块的位置参数及几何参数信息传送给上位机，以对目标团块对应的运输带上的实际矿石团块进行后续筛选处理。

接上述技术方案，步骤S1中激光线光条中心像素点的图像像素高度提取过程具体包括步骤：

S11、对每一帧结构光图像，准确提取出激光线光条中心像素点；

S12、计算激光线中心像素点在图像坐标系中的行坐标位置；

S13、计算每一个行坐标与已标定的参考线之间的距离，作为激光线光条中心像素点的图像像素高度。

接上述技术方案，步骤S2具体包括步骤：

S21、对矿石深度图进行第一次OTSU算法处理，得到阈值Thresh1；

S22、根据阈值Thresh1，对原矿石深度图进行处理，得到两种图像：①直接将原矿石深度图中大于阈值Thresh1的像素点值置为255，小于阈值Thresh1的像素点置为0，得到二值图Image1；②将原矿石深度图中大于阈值Thresh1的像素点保留原值，小于阈值Thresh1的像素点置为0，得到灰度图Image2；

S23、统计二值图Image1中所有连通域的信息，包括外接矩形、连通域数量，每个连通域的像素个数；

S24、对灰度图Image2灰度值大于0的像素区域进行第二次OTSU处理，得到二级阈值Thresh2；

S25、从左到右，从上到下，搜索灰度图Image2中灰度值不为0的像素，并对当前像素点的像素值大小和连通域特征进行判断，如果同时满足条件：(a)像素灰度值大于二级阈值Thresh2；(b)像素所在对应的二值图Image1中像素的连通域参数满足一定条件，则将该当前像素点设定为目标像素点，最终得到目标区域，通过区域生长算法圈定目标矿石团块。

接上述技术方案，像素所在对应的二值图Image1中像素连通域参数满足的条件为：每个连通域包含的像素个数大于5000个，外接矩形的长宽比大于0.95。

接上述技术方案，位置参数包括每个目标矿石团块的形心和质心，几何参数包括目标矿石团块的面积、体积、周长、等效直径和粒径。

接上述技术方案，目标矿石团块的面积具体计算过程为：在矿石深度图上，对每个目标矿石团块进行像素个数统计，每个目标矿石团块内的像素个数作为目标矿石团块的面积；

目标矿石团块的体积具体计算过程为：在矿石深度图上，对每个目标矿石团块，设其中任一像素点灰度值为g(i,j)；对每个目标矿石团块计算灰度对面积的积分∫∫g(i，j)dxdy；将目标矿石团块内像素的灰度值和单位像素面积相乘并进行累加，灰度累加结果∑gi即为目标矿石的体积；

目标矿石团块的周长具体计算过程为：对每个目标矿石区域中的像素点，如果以其为中心的上、下、左、右4邻域的点都属于该目标矿石区域，则定义该像素点为内点；统计目标矿石团块区域的内点数量，面积减去内点数量定义为目标矿石周长；

基于等面积圆的等效直径D计算过程为：与目标矿石团块等面积S的圆直径即为目标矿石的等效直径，则有Π(D/2)²＝S，等效直径

基于最佳匹配椭圆的粒径d计算过程为：矿石的粒径尺寸与最佳匹配椭圆的长轴u和短轴v关系为：

再由公式计算粒径

接上述技术方案，形心(I₁,J₁)计算过程为：在矿石深度图上，对每个目标矿石团块，设其中任一像素点坐标为(i,j)，其中i,j分别为该像素所在行、列位置；将团块所有像素点的行坐标i累加得到∑i，则该目标矿石团块形心的行坐标为I₁＝∑i/m，同理形心的列坐标为J₁＝∑j/m，计算每个目标矿石团块的形心坐标(I₁,J₁)；

质心(I2,J2)计算过程为：在矿石深度图上，对每个目标矿石团块，设其中任一像素的灰度值为g(i,j)，其中i,，j分别为该像素所在行、列位置；灰度值对第一行取矩为g(i,j)*i，则该像素所在目标矿石团块的质心行坐标为I2＝(∑g(i，j)*i)/V；灰度值对首列取矩为g(i,j)*j，则该像素所在目标矿石团块质心的列坐标为I2＝∑g(i，j)*j/V；分别计算每个目标矿石团块的质心坐标(I2,J2)。

本发明还提供一种基于深度图的运输带矿石筛选系统，包括：

表面线结构光图像获取模块，用于将线激光结构光以一定角度投射到运动的运输带及矿石表面，并通过高速工业相机连续拍摄矿石表面线结构光图像；

矿石深度图生成模块，用于提取激光线光条中心像素点的图像像素高度并映射为[0-255]范围内的灰度值，再利用多帧灰度值数据逐行叠加，生成矿石深度图；

目标矿石团块圈定模块，用于基于矿石深度图，采用基于邻域信息的多级OTSU算法进行处理，得到目标区域,圈定目标矿石团块；

计算模块，用于计算每个目标矿石团块的位置参数以及几何参数；

数据上传模块，用于将目标矿石团块的位置参数及几何参数信息传送给上位机，以对目标团块对应的运输带上的实际矿石团块进行后续筛选处理。

本发明产生的有益效果是：本发明通过线激光结构光扫描运输带矿石实时生成矿石深度图，而没有直接在相机拍摄图上进行团块分割，不会受到光照不均匀及阴影等干扰，且屏蔽了不同矿石的颜色纹理等影响因素；通过基于邻域信息的多级OTSU算法分割出目标区域，避免了不必要的非目标提取，提取目标明确，效率高；本发明的几何参数及位置参数提取完备，筛选依据充足；另外采用本发明提出的方法对实际产线运输带上的大量矿石进行了测试，运行稳定，鲁棒性好，取得了理想的目标矿石筛选效果。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明的基于深度图的运输带矿石筛选方法流程图；

图2为流程图中步骤S2的详细流程图；

图3为传输带矿石信息采集系统示意图；

图4为相机采集到的矿石表面线结构光图片；

图5为生成的矿石深度图；

图6为基于邻域信息的多级OTSU进行初次分割的二值图结果；

图7为基于邻域信息的多级OTSU进行初次分割的灰度图结果；

图8为提取出来的目标矿石结果图；

图9为用深色线标记出的目标矿石团块及其形心位置标记图；

图10为目标矿石团块区域的内点示意图；

图11为目标矿石团块的三维点云模型。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明基于深度图的运输带矿石团块筛选方法，利用机器视觉及图像处理技术，实时生成运输带矿石的深度图，动态提取目标矿石团块并计算目标矿石团块的位置、面积等参数。该方法抗干扰能力强、准确性及鲁棒性良好，尤其适用于运输带上大尺寸矿石的实时筛选处理。

本发明用高速工业相机连续采集矿石表面的结构光图像并提取光条中心，将光条中心每个像素点的像素高度hi归一化为[0-255]范围内的灰度值gi，连续多帧灰度值数据逐行叠加形成矿石的深度图；在矿石深度图基础上，通过基于邻域信息的多级OTSU算法分割出目标区域并圈定目标矿石团块，再计算每个目标矿石团块的几何参数和位置参数，传送给上位机对运输带上的目标矿石进行筛选处理。

本发明利用线结构光照射在传输中的矿石表面上形成深度图的特征，可从得到的矿石深度图中快速准确筛选出目标矿石，具有很强的鲁棒性和实用性。

本发明实施例基于深度图的运输带矿石筛选方法，如图1所示，包括如下步骤：

S0、将线激光结构光以一定角度投射到运动的运输带及矿石表面，通过高速工业相机连续拍摄矿石表面线结构光图像；

S1、提取激光线光条中心像素点的图像像素高度并映射为[0-255]范围内的灰度值，再利用多帧灰度值数据逐行叠加，生成矿石深度图；

S2、基于矿石深度图，采用基于邻域信息的多级OTSU算法进行处理，得到目标区域,圈定目标矿石团块；

S3、计算每个目标矿石团块的位置参数以及几何参数；

S4、将目标矿石团块的位置参数及几何参数信息传送给上位机，以对目标团块对应的运输带上的实际矿石团块进行后续筛选处理。

如图2所示，步骤S1中将每一组灰度值gi作为深度图的一行，按顺序逐行叠加，得到矿石深度图A，如图5所示。

步骤S2基于图7所示的矿石深度图A，采用基于邻域信息的多级OTSU算法进行处理，得到目标区域，并圈定目标矿石团块，具体步骤如下：

S21、对矿石深度图A进行第一次OTSU算法处理，得到阈值Thresh1；

S22、根据阈值Thresh1，对原深度图A进行处理，得到两种图像：①直接将图A中大于Thresh1的像素点值置为255，小于Thresh1像素点置为0，得到如图6所示二值图Image1；②将深度图A中大于Thresh1的像素点保留原值，小于Thresh1像素点置为0，得到如图7所示灰度图Image2；

S23、统计二值图Image1(图6)中所有连通域的信息：外接矩形、连通域数量，每个连通域的像素个数等；

S24、对灰度图Image2(图7)灰度值大于0的像素区域进行第二次OTSU处理，得到二级阈值Thresh2；

S25、从左到右，从上到下，搜索灰度图Image2中灰度值不为0的像素，并对当前像素点的像素值大小和连通域特征进行判断，如果同时满足条件：(a)像素灰度值大于Thresh2；(b)像素所在对应的二值图Image1中像素的连通域参数满足一定条件，则将该当前像素点设定为目标像素点。本发明的一个实例中，像素所在对应的二值图Image1中像素连通域参数满足的条件为：每个连通域包含的像素个数大于5000个，外接矩形的长宽比大于0.95。

经过上述步骤，得到目标区域，如图8所示；将目标区域作为种子区域，通过区域生长算法最终圈定目标矿石团块，如图9所示。

本发明的一个较佳实例中，步骤S3具体包括如下步骤：

S31、像素个数累计的面积S计算：在深度图上，对每个目标矿石团块进行像素个数统计，每个目标矿石团块内的像素个数m作为目标矿石的面积S；

S32、面积对灰度积分的体积V计算：在深度图上，对每个目标矿石团块，设其中任一像素点灰度值为g(i,j)；对每个目标矿石团块计算灰度对面积的积分∫∫g(i，j)dxdy。因为数字图像是离散的，积分操作与累加等效，将目标矿石团块内像素的灰度值和单位像素面积相乘并进行累加，灰度累加结果∑gi即为目标矿石的体积V；

S33、基于内点数量差的周长L计算：对每个目标矿石区域中的像素点p，如果以p为中心的4邻域(上、下、左、右)的点都属于该目标矿石区域，则定义p为内点，如图10中深色像素点即为内点；统计该目标矿石区域的内点数量N_p，面积S减去N_p定义为目标矿石周长L，即L＝S－N_p；

S34、等效直径D计算：与目标矿石团块等面积的圆直径即为目标矿石的等效直径，则有Π(D/2)²＝S，等效直径

S35、基于最佳匹配椭圆的粒径d计算：矿石的粒径尺寸与最佳匹配椭圆的长轴u和短轴v关系为：

再由公式计算粒径

S36、形心(I₁,J₁)计算：在深度图上，对每个目标矿石团块，设其中任一像素点坐标为(i,j)，其中i,j分别为该像素所在行、列位置；将团块所有像素点的行坐标i累加得到∑i，则该目标矿石团块形心的行坐标为I₁＝∑i/m，同理形心的列坐标为J₁＝∑j/m。计算每个目标矿石团块的形心坐标(I₁,J₁)；

S37、质心(I₂,J₂)计算：在深度图上，对每个目标矿石团块，设其中任一像素的灰度值为g(i,j)，其中i,j分别为该像素所在行、列位置；灰度值对第一行取矩为g(i,j)*i，则该像素所在目标矿石团块的质心行坐标为I₂＝(∑g(i，j)*i)/V；灰度值对首列取矩为g(i,j)*j，则该像素所在目标矿石团块质心的列坐标为I₂＝∑g(i，j)*j/V；分别计算每个目标矿石团块的质心坐标(I₂,J₂)。

S38、传送参数信息给上位机：将目标矿石团块的几何参数和位置参数信息传送给上位机，上位机对目标团块对应的运输带上实际矿石团块进行后续筛选处理。

本发明还提供了一种基于深度图的运输带矿石筛选系统，用于实现上述实施例的运输带矿石筛选方法，该系统包括：

表面线结构光图像获取模块，用于将线激光结构光以一定角度投射到运动的运输带及矿石表面，并通过高速工业相机连续拍摄矿石表面线结构光图像；

矿石深度图生成模块，用于提取激光线光条中心像素点的图像像素高度并映射为[0-255]范围内的灰度值，再利用多帧灰度值数据逐行叠加，生成矿石深度图；

目标矿石团块圈定模块，用于基于矿石深度图，采用基于邻域信息的多级OTSU算法进行处理，得到目标区域,圈定目标矿石团块；

计算模块，用于计算每个目标矿石团块的位置参数以及几何参数；

数据上传模块，用于将目标矿石团块的位置参数及几何参数信息传送给上位机，以对目标团块对应的运输带上的实际矿石团块进行后续筛选处理。

各个模块用于实现上述不同实施例的方法功能，在此不赘述。

与现有的其它运输带矿石分割及筛选方法相比，本发明提出的方法具有以下优点：

1.抗干扰能力强：本发明通过线结构激光扫描运输带矿石实时生成矿石深度图，而没有直接在原相机拍摄图上进行团块分割，使得本发明不会受到光照不均匀及阴影等干扰；

2.自适应性好：本发明通过提取运输带矿石表面激光结构光的高度信息然后生成深度图进行后续处理，屏蔽了不同矿石的颜色纹理等影响因素，只保留了最纯粹最重要的高度信息，使得本发明适用于各种矿石产线且能够良好适应；

3.准确性与高效性：本发明运用基于邻域信息的多级OTSU算法分割出目标区域并进行灰度标记，然后再进行区域生长算法分割目标矿石团块，分割目标明确，避免了不必要的非目标分割，使得本发明对运输带目标矿石的分割准确且高效；

4.信息量大：对每个目标矿石进行了体积、面积、形心、质心等参数统计，便于对目标矿石进行数据分析；

5.鲁棒性良好：采用本发明提出的方法对运输带上的大量矿石进行的测试，程序运行稳定，取得了理想的筛选效果；

6.实时性好：整个筛选过程在运输带运动过程中，适用于生产线在线筛选操作；在深度图上进行筛选，避免了三维数据的处理，算法耗时更少，筛选更快。

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种基于深度图的运输带矿石筛选方法，其特征在于，包括如下步骤：

S0、将线激光结构光以一定角度投射到运动的运输带及矿石表面，通过高速工业相机连续拍摄矿石表面线结构光图像；

S1、提取激光线光条中心像素点的图像像素高度并映射为[0-255]范围内的灰度值，再利用多帧灰度值数据逐行叠加，生成矿石深度图；

S2、基于矿石深度图，采用基于邻域信息的多级OTSU算法进行处理，得到目标区域,圈定目标矿石团块；

S3、计算每个目标矿石团块的位置参数以及几何参数；

S4、将目标矿石团块的位置参数及几何参数信息传送给上位机，以对目标团块对应的运输带上的实际矿石团块进行后续筛选处理。

2.根据权利要求1所述的基于深度图的运输带矿石筛选方法，其特征在于，步骤S1中激光线光条中心像素点的图像像素高度提取过程具体包括步骤：

S11、对每一帧结构光图像，准确提取出激光线光条中心像素点；

S12、计算激光线中心像素点在图像坐标系中的行坐标位置；

S23、计算每一个行坐标与已标定的参考线之间的距离，作为激光线光条中心像素点的图像像素高度。

3.根据权利要求1所述的基于深度图的运输带矿石筛选方法，其特征在于，步骤S2具体包括步骤：

S21、对矿石深度图进行第一次OTSU算法处理，得到阈值Thresh1；

S22、根据阈值Thresh1，对原矿石深度图进行处理，得到两种图像：①直接将原矿石深度图中大于阈值Thresh1的像素点值置为255，小于阈值Thresh1的像素点置为0，得到二值图Image1；②将原矿石深度图中大于阈值Thresh1的像素点保留原值，小于阈值Thresh1的像素点置为0，得到灰度图Image2；

S23、统计二值图Image1中所有连通域的信息，包括外接矩形、连通域数量，每个连通域的像素个数；

S24、对灰度图Image2灰度值大于0的像素区域进行第二次OTSU处理，得到二级阈值Thresh2；

S25、从左到右，从上到下，搜索灰度图Image2中灰度值不为0的像素，并对当前像素点的像素值大小和连通域特征进行判断，如果同时满足条件：(a)像素灰度值大于二级阈值Thresh2；(b)像素所在对应的二值图Image1中像素的连通域参数满足一定条件，则将该当前像素点设定为目标像素点，最终得到目标区域，通过区域生长算法圈定目标矿石团块。

4.根据权利要求3所述的基于深度图的运输带矿石筛选方法，其特征在于，像素所在对应的二值图Image1中像素连通域参数满足的条件为：每个连通域包含的像素个数大于5000个，外接矩形的长宽比大于0.95。

5.根据权利要求1所述的基于深度图的运输带矿石筛选方法，其特征在于，位置参数包括每个目标矿石团块的形心和质心，几何参数包括目标矿石团块的面积、体积、周长、等效直径和粒径。

6.根据权利要求1所述的基于深度图的运输带矿石筛选方法，其特征在于，目标矿石团块的面积具体计算过程为：在矿石深度图上，对每个目标矿石团块进行像素个数统计，每个目标矿石团块内的像素个数作为目标矿石团块的面积；

目标矿石团块的体积具体计算过程为：在矿石深度图上，对每个目标矿石团块，设其中任一像素点灰度值为g(i,j)；对每个目标矿石团块计算灰度对面积的积分∫∫g(i，j)dxdy；将目标矿石团块内像素的灰度值和单位像素面积相乘并进行累加，灰度累加结果∑gi即为目标矿石的体积；

目标矿石团块的周长具体计算过程为：对每个目标矿石区域中的像素点，如果以其为中心的上、下、左、右4邻域的点都属于该目标矿石区域，则定义该像素点为内点；统计目标矿石团块区域的内点数量，面积减去内点数量定义为目标矿石周长；

基于等面积圆的等效直径D计算过程为：与目标矿石团块等面积S的圆直径即为目标矿石的等效直径，则有Π(D/2)²＝S，等效直径

基于最佳匹配椭圆的粒径d计算过程为：矿石的粒径尺寸与最佳匹配椭圆的长轴u和短轴v关系为：

再由公式计算粒径

7.根据权利要求5所述的基于深度图的运输带矿石筛选方法，其特征在于，形心(I₁,J₁)计算过程为：在矿石深度图上，对每个目标矿石团块，设其中任一像素点坐标为(i,j)，其中i,j分别为该像素所在行、列位置；将团块所有像素点的行坐标i累加得到∑i，则该目标矿石团块形心的行坐标为I₁＝∑i/m，同理形心的列坐标为J₁＝∑j/m，计算每个目标矿石团块的形心坐标(I₁,J₁)；

质心(I2,J2)计算过程为：在矿石深度图上，对每个目标矿石团块，设其中任一像素的灰度值为g(i,j)，其中i,，j分别为该像素所在行、列位置；灰度值对第一行取矩为g(i,j)*i，则该像素所在目标矿石团块的质心行坐标为I2＝(∑g(i，j)*i)/V；灰度值对首列取矩为g(i,j)*j，则该像素所在目标矿石团块质心的列坐标为I2＝∑g(i，j)*j/V；分别计算每个目标矿石团块的质心坐标(I2,J2)。

8.一种基于深度图的运输带矿石筛选系统，其特征在于，包括：

表面线结构光图像获取模块，用于将线激光结构光以一定角度投射到运动的运输带及矿石表面，并通过高速工业相机连续拍摄矿石表面线结构光图像；

矿石深度图生成模块，用于提取激光线光条中心像素点的图像像素高度并映射为[0-255]范围内的灰度值，再利用多帧灰度值数据逐行叠加，生成矿石深度图；

目标矿石团块圈定模块，用于基于矿石深度图，采用基于邻域信息的多级OTSU算法进行处理，得到目标区域,圈定目标矿石团块；

计算模块，用于计算每个目标矿石团块的位置参数以及几何参数；

数据上传模块，用于将目标矿石团块的位置参数及几何参数信息传送给上位机，以对目标团块对应的运输带上的实际矿石团块进行后续筛选处理。

Images