CN115937491A - 一种基于计算机视觉识别过卸船机料斗大块煤的方法及系统 - Google Patents

Abstract

本发明公开了一种基于计算机视觉识别过卸船机料斗大块煤的方法及系统，包括进行大块煤图像捕捉；利用图像识别算法进行大块煤的尺寸、位置与上料区域识别，将识别后的结果进行数字化；基于图像捕捉数据进行图像处理；基于图像处理后结果与图像识别后结果调整料斗上方格栅板。本发明提出的计算机视觉识别过卸船机料斗大块煤系统能够做到加速卸煤，达到每分钟0.9吨的卸煤速度，能够降低对于机械的磨损次数，降低到每分钟只有4次摩擦，能够有效增加处理异常煤块量，达到每分钟13次的异常煤块处理量。

Description

一种基于计算机视觉识别过卸船机料斗大块煤的方法及系统

技术领域

本发明涉及煤炭综采视觉识别技术领域，特别是一种基于计算机视觉识别过卸船机料斗大块煤的方法及系统。

背景技术

卸船机是运输大宗散料的港口机械，目前主要使用门式抓斗式卸船机。门式抓斗式卸船机具有悬臂长、提出升高、出力合适的特点。为了有效应对煤炭市场紧张的形势，降低电厂燃料供应风险，提高集团公司效益，通常会将经济适用煤与其他优质混煤进行配煤掺烧，而卸船机就需要将不同煤种从码头运输至煤场或直接与其他混煤进行配煤掺烧输送至原煤仓。当门式抓斗式卸船机司机抓取煤料中大块煤含量过多时容易导致料斗积煤过多堵料，从而影响码头卸煤进度。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述和/或现有的一种基于计算机视觉识别过卸船机料斗大块煤的方法及系统中存在的问题，提出了本发明。

因此，本发明所要解决的问题在于如何提供一种基于计算机视觉识别过卸船机料斗大块煤的方法及系统。

为解决上述技术问题，本发明提供如下技术方案：一种基于计算机视觉识别过卸船机料斗大块煤的方法及系统，其包括，

进行大块煤图像捕捉；

利用图像识别算法进行大块煤的尺寸、位置与上料区域识别，将识别后的结果进行数字化；

基于图像捕捉数据进行图像处理；

基于图像处理后结果与图像识别后结果调整料斗上方格栅板。

作为本发明所述一种基于计算机视觉识别过卸船机料斗大块煤的方法的一种优选方案，其中：所述图像捕捉是利用人造光源调整后的摄像机进行效果捕捉；

所述人造光源是调整光线的光照、色温与照射方式，降低可能出现的光斑。

作为本发明所述一种基于计算机视觉识别过卸船机料斗大块煤的方法的一种优选方案，其中：所述图像识别算法的数字化是将大块煤的最高位置与最低位置进行记录，将大块煤的落入机器区域进行记录，将两者记录后数据进行数字化处理。

作为本发明所述一种基于计算机视觉识别过卸船机料斗大块煤的方法的一种优选方案，其中：所述图像处理包含图像分割与特征提取；

所述图像分割是利用图像的几何性质，将大块煤与其他图像中的元素进行分割，并对大块煤进行定位于标记处理；

所述特征提取是在图像分割后进行的，将大块煤从图像中提取出来，由于噪声影响和机器震动影响会影响光线投影，导致图像分割后仍然存在部分大块煤边缘部分与其他元素粘连，特征提取步骤从中将大块煤完整且单独提取出。

作为本发明所述一种基于计算机视觉识别过卸船机料斗大块煤的方法的一种优选方案，其中：所述图像分割是使用阈值分割方法，图像分割阈值计算公式为：

其中初代的阈值C0通过图像的灰度值中值确定，p_b是图像灰度值是b的像素个数，k是灰度值值域，当迭代计算后C_i+1等于C_i时说明分割结束，输出所有阈值结果。

作为本发明所述一种基于计算机视觉识别过卸船机料斗大块煤的方法的一种优选方案，其中：所述特征提取是基于图像分割后，利用边缘检测方法来进行确定化的大块煤体征提取，其先设置一个连续图像函数L(m，n)，该函数在图像(m，n)位置的梯度是：

图像特征提取从图像分割后的图像结果外围向内图像亮度对比计算，当发生较大幅度的图像亮度变化，即函数位置梯度的较大变化后，进行图像特征提取，其计算公式为：

其中是图像特征提取完成点。

作为本发明所述一种基于计算机视觉识别过卸船机料斗大块煤的方法的一种优选方案，其中：所述料斗上方格栅板是起到对于大块煤进入的阻挡作用，基于图像处理后结果与图像识别后结果进行料斗上方格栅板的动态移动清理，使得大块煤能够快速平滑进入，并减少大块煤在料口的挤压堆积。

作为本发明所述一种基于计算机视觉识别过卸船机料斗大块煤的方法的一种优选方案，其中：所述料斗上方格栅板在接收到图像处理后结果与图像识别后结果后确定大块煤尺寸与位置后进行动态调整，做到栅板上方尺寸超过大块煤上方尺寸的10-15cm。

本发明提出一种基于计算机视觉识别过卸船机料斗大块煤系统，包括摄像头、图像采集卡、云台、料斗上方格栅板；

所述摄像头用于拍摄图像；

所述图像采集卡用于图像识别算法记录与图像处理；

所述云台用于固定图像采集卡与摄像头；

所述料斗上方格栅板用于引导大块煤进入机械。

作为本发明所述基于计算机视觉识别过卸船机料斗大块煤系统的一种优选方案，其中：所述摄像头选择耐振动，不怕灰尘、水汽等的污染和腐蚀的型号；

所述基于计算机视觉识别过卸船机料斗大块煤系统用于大宗散料的港口机械卸船机上。

本发明有益效果为本发明提出的计算机视觉识别过卸船机料斗大块煤系统能够做到加速卸煤，达到每分钟0.9吨的卸煤速度，能够降低对于机械的磨损次数，降低到每分钟只有4次摩擦，能够有效增加处理异常煤块量，达到每分钟13次的异常煤块处理量。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为实施例1中一种基于计算机视觉识别过卸船机料斗大块煤的方法及系统的场景图。

图2为实施例1中一种基于计算机视觉识别过卸船机料斗大块煤的方法及系统的结构图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

实施例1

参照图1和图2，为本发明第一个实施例，本发明提供如下技术方案：一种基于计算机视觉识别过卸船机料斗大块煤的方法及系统，其包括，

进行大块煤图像捕捉；

利用图像识别算法进行大块煤的尺寸、位置与上料区域识别，将识别后的结果进行数字化；

基于图像捕捉数据进行图像处理；

基于图像处理后结果与图像识别后结果调整料斗上方格栅板。

所述图像捕捉是利用人造光源调整后的摄像机进行效果捕捉；

所述人造光源是调整光线的光照、色温与照射方式，降低可能出现的光斑。

a)针对于精密部件、密封槽等产品检测采用的平面照明方案，将LED设计成平面光源，通过漫射板來对物体进行照明。b)对于表面颗粒或破损检测采用环型照明方案；c)对于平面电路板的检测可以采取与形状相符合的条型照明方案；d)对于玻璃划痕等透明材质的表面检测叮以采用同轴照明方案e)对字符、细微划痕的检测可以采用线型照明方案，LED光源透过漫射板才生高对比度的带状的特征区域。

所述图像识别算法的数字化是将大块煤的最高位置与最低位置进行记录，将大块煤的落入机器区域进行记录，将两者记录后数据进行数字化处理。

所述图像处理包含图像分割与特征提取；

所述图像分割是利用图像的几何性质，将大块煤与其他图像中的元素进行分割，并对大块煤进行定位于标记处理；

图像分割就是根据图像的灰度值、颜色的各个分量、或者是几何性质，将图像中的具有特殊含义的不同区域分割开來，这些区域互不相交，每一个区域都满足特定的一致性。图像分割使获取的图像更便于计算机进行识别和理解，这个可以通过图像分析來实现。图像分析是图像理解的重要组成部分，主要根据图像中存在的边缘、纹理、灰度等图像特征，把图像分解成一系列的目标或区域，直至最终形成基本单元。图像分割的基本思想是将图像表示为物理上有意义的连通区域的集合，也就是根据目标与背景的先验知识，对图像中的目标、背景进行标记、定位，然后将目标从背景或其他伪目标中分离出来。这些被分割的区域或目标往往在某些特性上相近。

。阈值分割的基本思想是确定一个阈值，然后把每个像素点的像素值和阈值相比较，根据比较的结果把像素划分为前景和背景两类。该方法应用了图像子区域内灰度的相似性和不同子区域间灰度的不连续性进行子区域的划分。首先在图像的灰度范围内取一个阈值，将图像中各像素的的灰度值与此阈值相比较，按照比较结果，将灰度值比阈值大的分成一类，一般情况下在二值化图像中将重新赋值为255，将灰度值比阈值小的像素点分为一类，同样在二值化图像中将被重新赋值为0。该方法适用于比较简单的图像的分割，例如，目标与背景纹理都单一且对比度较高的图像丽。聚类法削是采用模式识别的思想，以类间保持最大距离和类内保持最大相似性为目标，通过迭代优化的方法寻找最佳的分割阈值。串行区域分割主要有区域生长和分裂合并两种方法。区域生长剛从某个像素出发，按照一定的准则，逐步加入邻近像素，从而完成各区域的提取。分裂合并悶与区域生长的过程相反，它从整幅图像出发，通过不断分裂来获取各个子区域，接着合并前景区域，从而完成各区域的提取。

所述特征提取是在图像分割后进行的，将大块煤从图像中提取出来，由于噪声影响和机器震动影响会影响光线投影，导致图像分割后仍然存在部分大块煤边缘部分与其他元素粘连，特征提取步骤从中将大块煤完整且单独提取出。

所述图像分割是使用阈值分割方法，图像分割阈值计算公式为：

其中初代的阈值C0通过图像的灰度值中值确定，pb是图像灰度值是b的像素个数，k是灰度值值域，当迭代计算后C_i+1等于C_i时说明分割结束，输出所有阈值结果。

边缘检测方法一般都是基于场景中亮度变化的不连续性提出的，但图像边缘包含了很多复杂信息，对人类视觉系统來说，理解自然图像中的边缘十分容易，但对于计算机视觉要检测到自然场景中的有效边缘，边缘检测算法的设计十分重要。所述特征提取是基于图像分割后，利用边缘检测方法来进行确定化的大块煤体征提取，其先设置一个连续图像函数L(m，n)，该函数在图像(m，n)位置的梯度是：

图像特征提取从图像分割后的图像结果外围向内图像亮度对比计算，当发生较大幅度的图像亮度变化，即函数位置梯度的较大变化后，进行图像特征提取，其计算公式为：

其中是图像特征提取完成点。

所述料斗上方格栅板是起到对于大块煤进入的阻挡作用，基于图像处理后结果与图像识别后结果进行料斗上方格栅板的动态移动清理，使得大块煤能够快速平滑进入，并减少大块煤在料口的挤压堆积。上文所介绍的图像分割和特征提取技术在视觉检测中有重要作用。对于服务于数控机床的上下料栅板而言，特别是对于上料位置的识别和定位，对于工件的识别和抓取等相关的图像分析、图像识别、图像理解和图像测量都是以上述常规处理算法为前提的，利用上述技术进行图像处理，其处理结果的偏差将影响到最终检测结果。比如，在车间环境内，图像采集和传输过程会受到声、光、电、振动等各种因素的影响，造成图像信噪比降低，如果直接用此图像进行分析处理和测量，使得结果变得不可靠。通过对获取的图像降噪、图像增强等技术处理，使图像信噪比加强，目标更加明晰，使图像分割和边缘检测算法结果更加可靠，对于被测目标如棒料、卡盘等轮廓信息更加准确，更方便的从背景中分离和提取目标。

所述料斗上方格栅板在接收到图像处理后结果与图像识别后结果后确定大块煤尺寸与位置后进行动态调整，做到栅板上方尺寸超过大块煤上方尺寸的10-15cm。在以上图像处理的技术基础上，利用目标图像特征，可以完成目标的分类和测量等工作。图像特征一般情况下包括图像的几何形状特征、纹理特征、光谱特征、运动特征等，根据不同的检测任务要求不同，以上特征经常会被组合利用，目标的几何形状特征是最重要的图像特征之一，在基于视觉的图形检测中被广泛应用。

本发明提出一种基于计算机视觉识别过卸船机料斗大块煤系统，包括摄像头、图像采集卡、云台、料斗上方格栅板；

所述摄像头用于拍摄图像；

所述图像采集卡用于图像识别算法记录与图像处理；

所述云台用于固定图像采集卡与摄像头；

所述料斗上方格栅板用于引导大块煤进入机械。

所述摄像头选择耐振动，不怕灰尘、水汽等的污染和腐蚀的型号；

所述基于计算机视觉识别过卸船机料斗大块煤系统用于大宗散料的港口机械卸船机上。

在此次特别说明一下，工件尺寸精度和位置精度与上下料栅板的关系。工件在进行边缘检测的时候是靠特征点(和其他特征)的精确定位和匹配来实现的。理想状况下，工件图像中的特征点对应着工件的某些实际点的空间位置。因此，栅板对于工件的定位完全取决于对于图像中目标工件的定位。摄像机标定就是计算这些特征点所对应实际空间点來计算出工件尺寸。因此，在不考虑其他误差补偿的情况下，工件的尺寸精度取决于摄像机标定的精度。工件的位置精度依靠工件的边缘定位精度來实现。栅板实现上下料，抓取工件的位置通常是物体的质心，质心空间坐标的计算也是根据质心和多个特征点(或其他特征)的关系计算出來的。从二维图形到三维信息计算就依靠摄像机标定的结果。因此，无论是工件的尺寸精度还是位置精度，包括栅板实现上下料所需工件质心的空间三维坐标，都取决于摄像机的标定精度。对于数控机床一般的上料位置的定位，即三爪卡盘的定位也是如此，只不过三爪卡盘的形状较为复杂，背景干扰也比较多。只要能够识别出卡盘形状，就能通过摄像机的标定结果来确定三爪卡盘的空间形状和中心位置，结构如图1。

实施例2

参照图2，为本发明第二个实施例，其不同于第一个实施例的是：还包括。在上一个实施例中，一种基于计算机视觉识别过卸船机料斗大块煤的方法及系统包括

在上海石洞口第二电厂使用此次发明的计算机视觉识别过卸船机料斗大块煤的系统，结构如图2所示。

评价体系1：利用传统人工调节栅板；

评价体系2：利用视觉传感器调节栅板；

评价体系3：本发明提出的计算机视觉识别过卸船机料斗大块煤系统进行栅板调节。

表1不同体系的综合评价值对比

所述不同体系的综合评价值对比是按照一小时的大块煤卸煤处理量。

所述对机械磨损率包括对大块落下后撕裂皮带、损坏托辊输煤系统各类故障。

所述处理异常煤块是部分煤块过于尖锐，需要提前处理，排除在卸煤阶段之外。

由上表可以明显看出，本发明提出的计算机视觉识别过卸船机料斗大块煤系统能够做到加速卸煤，达到每分钟0.9吨的卸煤速度，能够降低对于机械的磨损次数，降低到每分钟只有4次摩擦，能够有效增加处理异常煤块量，达到每分钟13次的异常煤块处理量。

除此之外，其还可以做到效率提升：利用摄像头传输的画面进行图像识别，得出料斗储存结构数据，同时码头卸船机司机员根据料斗的实际情况，调整格栅板，保证预定时间内煤料流畅通过，减少码头卸煤时间，保证在船期内卸完煤料。

适应环境能力强：摄像头耐振动，不怕灰尘、水汽等的污染和腐蚀，十分适用于电厂燃料运输高粉尘，有时伴有高水汽等恶劣的工况中。

安装维护容易：安装摄像头，无需对现有的码头卸船设备进行改造。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于计算机视觉识别过卸船机料斗大块煤的方法，其特征在于：

进行大块煤图像捕捉；

利用图像识别算法进行大块煤的尺寸、位置与上料区域识别，将识别后的结果进行数字化；

基于图像捕捉数据进行图像处理；

基于图像处理后结果与图像识别后结果调整料斗上方格栅板。

2.如权利要求1所述的一种基于计算机视觉识别过卸船机料斗大块煤的方法，其特征在于：所述图像捕捉是利用人造光源调整后的摄像机进行效果捕捉；

所述人造光源是调整光线的光照、色温与照射方式，降低可能出现的光斑。

3.如权利要求1或2所述的一种基于计算机视觉识别过卸船机料斗大块煤的方法，其特征在于：所述图像识别算法的数字化是将大块煤的最高位置与最低位置进行记录，将大块煤的落入机器区域进行记录，将两者记录后数据进行数字化处理。

4.如权利要求3所述的一种基于计算机视觉识别过卸船机料斗大块煤的方法，其特征在于：所述图像处理包含图像分割与特征提取；

所述图像分割是利用图像的几何性质，将大块煤与其他图像中的元素进行分割，并对大块煤进行定位于标记处理；

所述特征提取是在图像分割后进行的，将大块煤从图像中提取出来，由于噪声影响和机器震动影响会影响光线投影，导致图像分割后仍然存在部分大块煤边缘部分与其他元素粘连，特征提取步骤从中将大块煤完整且单独提取出。

5.如权利要求1、2和4任一所述的一种基于计算机视觉识别过卸船机料斗大块煤的方法，其特征在于：所述图像分割是使用阈值分割方法，图像分割阈值计算公式为：

其中初代的阈值C0通过图像的灰度值中值确定，p_b是图像灰度值是b的像素个数，k是灰度值值域，当迭代计算后C_i+1等于C_i时说明分割结束，输出所有阈值结果。

6.如权利要求5任一所述的一种基于计算机视觉识别过卸船机料斗大块煤的方法，其特征在于：所述特征提取是基于图像分割后，利用边缘检测方法来进行确定化的大块煤体征提取，其先设置一个连续图像函数L(m，n)，该函数在图像(m，n)位置的梯度是：

图像特征提取从图像分割后的图像结果外围向内图像亮度对比计算，当发生较大幅度的图像亮度变化，即函数位置梯度的较大变化后，进行图像特征提取，其计算公式为：

其中

是图像特征提取完成点。

7.如权利要求6所述的一种基于计算机视觉识别过卸船机料斗大块煤的方法，其特征在于：所述料斗上方格栅板是起到对于大块煤进入的阻挡作用，基于图像处理后结果与图像识别后结果进行料斗上方格栅板的动态移动清理，使得大块煤能够快速平滑进入，并减少大块煤在料口的挤压堆积。

8.如权利要求7所述的一种基于计算机视觉识别过卸船机料斗大块煤的方法，其特征在于：所述料斗上方格栅板在接收到图像处理后结果与图像识别后结果后确定大块煤尺寸与位置后进行动态调整，做到栅板上方尺寸超过大块煤上方尺寸的10-15cm。

9.一种基于计算机视觉识别过卸船机料斗大块煤系统，其特征在于：包括摄像头、图像采集卡、云台、料斗上方格栅板；

所述摄像头用于拍摄图像；

所述图像采集卡用于图像识别算法记录与图像处理；

所述云台用于固定图像采集卡与摄像头；

所述料斗上方格栅板用于引导大块煤进入机械。

10.如权利要求9所述的基于计算机视觉识别过卸船机料斗大块煤系统，其特征在于：所述摄像头选择耐振动，不怕灰尘、水汽等的污染和腐蚀的型号；

所述基于计算机视觉识别过卸船机料斗大块煤系统用于大宗散料的港口机械卸船机上。

Images