CN113743206B - 矿车装料控制方法、装置、系统及计算机可读介质 - Google Patents

Abstract

本发明提供了一种矿车装料控制方法、装置、系统及计算机可读介质，涉及采矿技术领域，上述矿车装料控制方法包括：基于图像传感器采集目标矿车的深度图像；基于深度图像监测目标矿车的任一目标车厢是否到达装料位置；如果是，控制目标矿车停止，触发装料设备对目标车厢进行装料，基于图像传感器采集的深度图像监测目标车厢是否装满。本发明仅仅基于图像传感器采集的深度图像就实现了对矿车车厢的定位检测及装料检测，无需使用多个传感器进行配合检测，降低了设备成本，避免了多个设备之间信号传输不及时导致矿车装料控制不准确的问题，提升了矿车装料效率及准确度。

Description

矿车装料控制方法、装置、系统及计算机可读介质

技术领域

本发明涉及采矿技术领域，尤其是涉及一种矿车装料控制方法、装置、系统及计算机可读介质。

背景技术

现有的矿车装料控制技术中，采用人工操作电机车控制按钮实现，或者基于RFID、光电传感器、线激光雷达等传感器实现矿车定位功能，基于激光雷达检测矿车装料过程，需要多个传感器之间相互配合并进行数据传输，才能检测矿车是否到达装料口位置以及矿车是否装满料，对矿井内设备之间的信号传输实时性要求较高，且设备成本较高。

发明内容

有鉴于此，本发明的目的在于提供一种矿车装料控制方法、装置、系统及计算机可读介质，能够降低设备成本，避免了多个设备之间信号传输不及时导致矿车装料控制不准确的问题，提升了矿车装料效率及准确度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种矿车装料控制方法，包括：基于图像传感器采集目标矿车的深度图像；基于所述深度图像监测所述目标矿车的任一目标车厢是否到达装料位置；如果是，控制所述目标矿车停止，触发装料设备对所述目标车厢进行装料，基于所述图像传感器采集的深度图像监测所述目标车厢是否装满。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述基于所述深度图像监测所述目标矿车的任一目标车厢是否到达装料位置的步骤，包括：获取所述图像传感器的内参，基于所述图像传感器的内参将所述图像传感器采集的深度图像均转换为栅格图像；在所述目标矿车的行驶过程中，基于所述栅格图像判断所述目标车厢是否到达装料位置。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述基于所述图像传感器的内参将所述图像传感器采集的深度图像均转换为栅格图像的步骤，包括：基于所述图像传感器的内参及所述深度图像中各像素点的深度值，将所述深度图像中的各像素点转换为点云数据；基于所述图像传感器的外参将所述点云数据转换为标准坐标系下的点云坐标，计算各所述点云坐标与所述图像传感器的实际距离，将所述实际距离大于第一预设距离的点云坐标过滤掉，得到过滤后的点云数据；其中，所述第一预设距离与所述图像传感器到所述目标矿车的顶部距离相关；对所述过滤后的点云数据进行栅格化处理，得到所述目标矿车的栅格图像。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述栅格图像中包括预先标注好的装料位置及定位监控区域；所述目标矿车包括牵引车和多个车厢；所述基于所述栅格图像判断所述目标车厢是否到达装料位置的步骤，包括：统计所述栅格图像中所述定位监控区域内的非零像素点数量，当所述非零像素点数量与所述定位监控区域的总像素点数量的比值达到第一预设比值时，确定所述目标矿车的牵引车到达所述定位监控区域；当所述目标矿车的牵引车到达所述定位监控区域时，将所述目标矿车的牵引车的相邻车厢作为目标车厢，基于所述栅格图像对所述目标车厢定位检测。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述基于所述栅格图像对所述目标车厢定位检测的步骤，包括：从所述栅格图像中获取所述目标车厢的头部边缘和/或尾部边缘；根据所述栅格图像中所述目标车厢的头部边缘和/或尾部边缘与所述装料位置的相对位置判断所述目标车厢是否到达装料位置。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述基于所述图像传感器采集的深度图像监测所述目标车厢是否装满的步骤，包括：获取所述图像传感器采集的深度图像对应的栅格图像；其中，所述栅格图像中还包括预先标注好的料位监控区域；统计所述栅格图像中所述料位监控区域中的非零像素点数量，当所述非零像素点数量与所述料位监控区域的总像素点比值达到第二预设比值时，确定所述目标车厢已装满。

进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述栅格图像中还包括预先标注好的车厢定位监测区域；所述矿车装料控制方法还包括：当所述目标车厢装满时，控制所述装料设备停止对所述目标车厢进行装料，基于所述栅格图像的车厢定位监测区域内的非零像素点分布信息，检测所述车厢定位监测区域内是否存在车厢侧面边缘；如果是，将所述车厢定位监测区域内的车厢作为新的目标车厢，控制所述目标矿车开始行驶，并触发对所述新的目标车厢的车厢定位检测，以依次检测所述目标矿车的各车厢是否到达所述装料位置，直至所述目标矿车的各车厢均装满。

第二方面，本发明实施例还提供了一种矿车装料控制装置，包括：采集模块，用于基于图像传感器采集目标矿车的深度图像；位置监测模块，用于基于所述深度图像监测所述目标矿车的任一目标车厢是否到达装料位置；料位监测模块，用于在所述目标车厢到达所述装料位置时，控制所述目标矿车停止，触发装料设备对所述目标车厢进行装料，基于所述图像传感器采集的深度图像监测所述目标车厢是否装满。

第三方面，本发明实施例提供了一种矿车装料控制系统，包括：图像传感器、控制器及装料设备，所述控制器包括处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤。

本发明实施例提供了一种矿车装料控制方法、装置、系统及计算机可读介质，首先基于图像传感器采集目标矿车的深度图像；然后基于深度图像监测目标矿车的任一目标车厢是否到达装料位置；如果是，控制目标矿车停止，触发装料设备对目标车厢进行装料，基于图像传感器采集的深度图像监测目标车厢是否装满。

通过采集目标矿车的深度图像，根据采集到的深度图像对目标矿车的车厢进行定位监测，并在装料过程中基于采集的深度图像监测目标车厢是否装满，仅仅基于图像传感器采集的深度图像就实现了对矿车车厢的定位检测及装料检测，无需使用多个传感器进行配合检测，降低了设备成本，避免了多个设备之间信号传输不及时导致矿车装料控制不准确的问题，提升了矿车装料效率及准确度。

本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种矿车装料控制方法流程图；

图2示出了本发明实施例所提供的一种设备安装示意图；

图3示出了本发明实施例所提供的一种料位监控区域设置栅格图像；

图4示出了本发明实施例所提供的一种车厢定位监测区域设置栅格图像；

图5示出了本发明实施例所提供的一种矿车装料控制装置结构示意图。

图标：

21-图像传感器；22-装料位置；23-目标矿车；31-料位监控区域；41-车厢定位监测区域。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

目前，考虑到采矿产业发展迅猛，运输矿料的传统方式是采用人工操作电机车控制按钮实现，井下常年环境恶劣，存在较大的安全风险。随着科技的进步，基于人工智能技术实现矿车智能化定位及料位检测方法正在逐渐取代人工操作。但是现有的矿车装料控制技术，需要多个传感器之间相互配合并进行数据传输，才能检测矿车是否到达装料口位置以及矿车是否装满料，对矿井内设备之间的信号传输实时性要求较高，且设备成本较高。为改善此问题，本发明实施例提供的一种矿车装料控制方法、装置、系统及计算机可读介质，该技术可应用于降低设备成本，提升矿车装料效率及准确度。以下对本发明实施例进行详细介绍。

本实施例提供了一种矿车装料控制方法，该方法主要应用于上述矿车装料系统的控制器，其中，该控制器分别与图像传感器、目标矿车及装料设备通信连接，参见图1所示的矿车装料控制方法流程图，该方法主要包括以下步骤S102～步骤S106：

步骤S102，基于图像传感器采集目标矿车的深度图像。

上述图像传感器可以是深度相机，基于深度相机实时采集目标矿车的深度图像。参见如图2所示的设备安装示意图，上述图像传感器21可以设置于装料位置22及目标矿车23的正上方，图像传感器21与水平面成固定角度，以使图像传感器21可以清楚完整采集到装料位置及目标矿车的图像，从而可以根据图像传感器采集的深度图像判断目标矿车是否到达装料位置。

步骤S104，基于深度图像监测目标矿车的任一目标车厢是否到达装料位置。

基于实时采集到的深度图像判断目标矿车是否存在到达装料位置的目标车厢，即将目标矿车中要到达装料位置的车厢作为目标车厢，判断目标车厢的头部或尾部与装料位置的距离是否处于预设距离范围内，如果是，确定目标车厢到达装料位置。

步骤S106，如果是，控制目标矿车停止，触发装料设备对目标车厢进行装料，基于图像传感器采集的深度图像监测目标车厢是否装满。

当存在到达装料位置的目标车厢时，向目标矿车发送停止行驶指令，以控制目标矿车停止行驶，由于目标矿车的目标车厢已经到达装料位置，向装料设备发送启动装料指令，以控制装料装置开始向目标车厢内进行装料，在装料过程中，继续基于图像传感器采集的深度图像监测正在被装料的目标车厢是否已经装满，当目标车厢装满时，向装料设备发送停止装料指令，控制装料设备停止装料，上述装料设备可以是装料机械臂。

本实施例提供的上述矿车装料控制方法，通过采集目标矿车的深度图像，根据采集到的深度图像对目标矿车的车厢进行定位监测，并在装料过程中基于采集的深度图像监测目标车厢是否装满，仅仅基于图像传感器采集的深度图像就实现了对矿车车厢的定位检测及装料检测，无需使用多个传感器进行配合检测，降低了设备成本，避免了多个设备之间信号传输不及时导致矿车装料控制不准确的问题，提升了矿车装料效率及准确度。

为了提升车厢定位检测的精确度，本实施例提供了基于深度图像监测目标矿车的任一目标车厢是否到达装料位置的实施方式，具体可参照如下步骤(1)～步骤(2)执行：

步骤(1)：获取图像传感器的内参，基于图像传感器的内参将图像传感器采集的深度图像均转换为栅格图像。

上述图像传感器可以是深度相机，为保证深度相机拍摄足够距离的场景，以使深度相机采集的深度图像中至少包括一节车厢，可以将深度相机安装于顶部位置并向下倾斜，倾斜角需要根据深度相机距离车厢的高度、深度相机与装料位置的水平距离、车厢长度、深度相机视场角等因素调节。

深度相机采集的深度图像，对深度相机进行相机标定，得到深度相机的内参和外参，通过相机内参将深度图像转换为点云，根据深度相机的外参将点云旋转校正，将校正后的点云数据按照一定尺度向x-z平面投影，从而获取俯视的栅格图像，将图像传感器采集的深度图像实时转化为栅格图像，以方便判断车厢位置。

在一种可行的实施方式中，基于图像传感器的内参及深度图像中各像素点的深度值，将深度图像中的各像素点转换为点云数据。根据图像传感器的内参及各像素点的深度值，将深度图像中的图像像素点转换为三维坐标系下的点云数据，由于图像传感器与地面成一定的倾斜角，转换得到的点云数据中的地面点云数据为倾斜面。

基于图像传感器的外参将点云数据转换为标准坐标系下的点云坐标，计算各点云坐标与图像传感器的实际距离，将实际距离大于第一预设距离的点云坐标过滤掉，得到过滤后的点云数据；其中，第一预设距离与图像传感器到目标矿车的顶部距离相关。

在一种实施方式中，获取地面图像的点云数据，确定地面图像的点云数据所在平面的法向量，基于该法向量及标准坐标系确定点云数据的旋转轴和旋转角，将点云数据按照该旋转轴及旋转角进行旋转校正，校正得到标准坐标系下的点云坐标。在另一种实施方式中，对图像传感器进行棋盘格标定得到姿态校正矩阵(即图像传感器的外参)，基于该姿态校正矩阵对点云数据进行旋转校正，得到标准坐标系下的点云坐标。

根据车厢高度对点云坐标进行直通滤波，由于目标矿车车厢的边框及装料设备顶部与图像传感器的距离较近，为了避免其他图像带来干扰，将与图像传感器的实际距离大于第一预设距离的点云坐标过滤掉，即将与图像传感器的实际距离大于第一预设距离的物体图像的像素点删除，保留与图像传感器距离小于第一预设距离的物体的图像像素点，该第一预设距离可以根据装料设备顶部及目标矿车车厢外壳顶部与图像传感器的距离确定。

在对点云数据进行直通滤波后，考虑到每个点云数据还包括置信度，置信度表示该点云数据为正确值的可能性，可以进一步对点云数据进行置信度滤波，得到过滤后的点云数据。

对过滤后的点云数据进行栅格化处理，得到目标矿车的栅格图像。将过滤后稀疏的点云数据进行栅格化处理，即过滤点云数据的y值(点云数据与图像传感器的距离)，将过滤后稀疏的点云数据投影至标准坐标系的x-z平面，将与图像传感器距离小于第一预设距离的物体的图像像素点转换为白色像素点，将与图像传感器距离大于第一预设距离的物体的图像像素点转换为黑色像素点，得到俯视的目标矿车的栅格图像。

参见如图3所示的料位监控区域设置栅格图像，该栅格图像中示出了矿车车厢的栅格图像以及装料位置处装料设备的栅格图像，在矿车车厢的栅格图像的下半部分设置有料位监控区域31，该料位监控区域31是根据用户输入的各顶点坐标生成的矩形框，该料位监控区域31的长度和宽度可以根据车厢的长度和宽度确定，诸如该料位监控区域31的长度可以与目标车厢的长度相同，该料位监控区域31的宽度可以是目标车厢的宽度的一半，从而可以准确监测目标车厢的后半车厢或前半车厢是否装满。

步骤(2)：在目标矿车的行驶过程中，基于栅格图像判断目标车厢是否到达装料位置。

由于图像传感器与装料位置的相对位置固定，图像传感器采集的深度图像中装料位置的像素坐标为固定值，上述栅格图像中包括预先标注好的装料位置及定位监控区域，该定位监控区域为车厢定位监测区域，主要用于监控目标车厢是否到达装料位置，上述目标矿车包括牵引车和多个车厢。在目标矿车的行驶过程中，实时判断目标车厢是否到达装料位置。

在一种可行的实施方式中，统计栅格图像中定位监控区域内的非零像素点数量，当非零像素点数量与定位监控区域的总像素点数量的比值达到第一预设比值时，确定目标矿车的牵引车到达定位监控区域。上述监控框可以是装料位置左侧大于矿车车厢图像的矩形框。

牵引车不同于矿车车厢，内部并非中空，在栅格图像中牵引车图像为白色连通区域，而矿车车厢只会保留车厢边沿处，可以检测栅格图像中的白色像素点连通区域，计算白色像素点连通区域的面积Area大小，若符合Area≥T1(T1根据栅格图像中矿车车厢边沿处白色像素点面积及牵引车处白色像素点的面积确定)条件，则认为目标矿车的牵引车已到达定位监控区域，确定目标矿车的车厢即将到达装料位置。

当目标矿车的牵引车到达定位监控区域时，将目标矿车的牵引车的相邻车厢作为目标车厢，基于栅格图像对目标车厢定位检测。当目标矿车的牵引车到达定位监控区域时，与牵引车相邻的车厢会最先到达装料位置，将与牵引车相邻的车厢记为目标车厢，基于深度图像转化的栅格图像实时检测目标车厢是否到达装料位置。

在一种可行的实施方式中，在基于栅格图像对目标车厢定位检测时，可参照如下步骤1)～步骤2)执行：

步骤1)：从栅格图像中获取目标车厢的头部边缘和/或尾部边缘。

统计栅格图像中每行的非零像素点数量，计算每行非零像素点与监控框每行总像素点的比值，当该比值大于等于0.5～0.7中的任意数值时，确定检测到目标车厢的边缘，检测监控框中与牵引车相邻的目标车厢边缘，得到目标车厢的头部边缘，继续监测栅格图像中的横向白色像素点连通区域，可以检测得到目标车厢的尾部边缘。

步骤2)：根据栅格图像中目标车厢的头部边缘和/或尾部边缘与装料位置的相对位置判断目标车厢是否到达装料位置。

当矿车车厢长度较短时，可以为每个矿车车厢设置一个装料点，在目标车厢的头部边缘和尾部边缘分别与装料位置的距离相同时，确定目标车厢已到达装料位置。

考虑到矿车车厢长度较长时，为了将车厢均匀装满，需要为一个每个矿车车厢设置两个装料点，当目标车厢的尾部边缘与装料位置的垂直距离处于d0±10cm内时(设目标车厢长度为x，d0可以是0.75*x)，确定目标车厢的前半截车厢到达装料位置；当目标车厢的尾部边缘与装料位置的垂直距离处于d1±10cm内时(d1可以是0.25*x)，确定目标车厢的后半截车厢到达装料位置。

或者，当目标车厢的头部边缘与装料位置的垂直距离处于d1±10cm内时，确定目标车厢的前半截车厢到达装料位置；当目标车厢的头部边缘与装料位置的垂直距离处于d0±10cm内时，确定目标车厢的后半截车厢到达装料位置。

为了准确检测正在被装料的目标车厢是否装满，本实施例提供了基于图像传感器采集的深度图像监测目标车厢是否装满的实施方式，具体可参照如下步骤1～步骤2执行：

步骤1：获取图像传感器采集的深度图像对应的栅格图像。

当装料设备开始为目标车厢装料时，自动触发料位对目标车厢的料位监测，即基于图像传感器的内参将图像传感器采集的深度图像实时转换为栅格图像，以便基于栅格图像准确检测目标车厢是否装满。

步骤2：统计栅格图像中料位监控区域中的非零像素点数量，当非零像素点数量与料位监控区域的总像素点比值达到第二预设比值时，确定目标车厢已装满。

随着目标车厢中料位的升高，栅格图像中的非零像素点(即白色像素点)数量会逐渐增多，考虑到物料装满时，其高度达到车厢高度附近，为了使目标车厢中的料位不会溢出，在将深度图像转换为栅格图像的过程中，上述第一预设距离的取值范围可以设置为(L-0.7h)～(L-0.9h)之间的任意值，h为目标车厢的高度，L为图像传感器与地面的距离，将与图像传感器的实际距离大于第一预设距离的物体图像的像素点删除，保留与图像传感器距离小于第一预设距离的物体的图像像素点，当目标车厢中的料位达到0.7h～0.9h时，会在栅格图像中呈现出白色像素点。

上述料位监控区域与目标车厢两侧边缘相关，如图3所示，图中的白色细线矩形框为预先标注好的料位监控区域，接收用户输入的料位监控区域的各定点坐标，基于料位监控区域的各定点坐标自动在栅格图像中生成料位监控区域的矩形框。

当料位监控区域中的非零像素点数量与料位监控区域内的像素点总数量的比值大于等于第二预设比值时，即目标车厢中料位高度达到0.7h～0.9h的面积已占车厢底部面积的第二预设比值，确定目标车厢已装满。上述第二预设比值可以是70％～90％之间的任意值。

考虑到目标矿车可能包括多个车厢，为了将每个车厢装满，本实施例提供的矿车装料控制方法还包括以下步骤a～步骤b：

步骤a，当目标车厢装满时，控制装料设备停止对目标车厢进行装料，基于栅格图像的车厢定位监测区域内的非零像素点分布信息，检测车厢定位监测区域内是否存在车厢侧面边缘。

上述转换得到的栅格图像中还包括预先标注好的车厢定位监测区域，在根据目标车厢的尾部边缘与装料位置的距离判断目标车厢是否到达装料位置时，当目标车厢装满时，为了避免下一节车厢的头部边缘距离装料位置d0±10cm内时，被误判断为前半截车厢已到达装料位置，因此在栅格图像中标注固定的车厢定位监测区域，以防止车厢边缘定位产生歧义。

上述车厢定位监测区域设置在栅格图像的最下方，参见如图4所示的车厢定位监测区域设置栅格图像，该车厢定位监测区域41的位置需要根据车厢之间的间距设置，设两两车厢之间的间距为s，则车厢定位监测区域的上边框与装料位置的垂直距离须大于s+0.25x+10cm，以便使目标车厢的后半截车厢装料时，下一节车厢的头部边缘不在车厢定位监测区域中。

当目标车厢的后半截车厢装满时，停止对目标车厢进行装料，检测车厢定位监测区域内是否存在车厢侧面边缘，即判断车厢定位监测区域内每列的非零像素点是否占车厢定位监测区域每列总像素点的70％以上，如果是，确定车厢定位监测区域内存在车厢侧面边缘，即目标车厢还连接有下一节车厢。

步骤b，如果是，将车厢定位监测区域内的车厢作为新的目标车厢，控制目标矿车开始行驶，并触发对新的目标车厢的车厢定位检测，以依次检测目标矿车的各车厢是否到达所述装料位置，直至目标矿车的各车厢均装满。

当确定目标车厢还连接有下一节车厢时，将车厢定位监测区域内的车厢作为新的目标车厢，向目标矿车发送启动行驶指令，以控制目标矿车开始行驶，在目标矿车行驶的过程中，返回执行上述步骤S104，基于图像传感器采集的深度图像判断新的目标车厢是否到达装料位置，即根据新的目标车厢的头部边缘和/或尾部边缘与装料位置的相对位置判断目标车厢是否到达装料位置。当新的目标车厢到达装料位置时，控制目标矿车停止行驶，触发装料设备对新的目标车厢进行装料，并自动触发料位监测，监测新的目标车厢是否装满，直至目标矿车的各车厢均装满。

本实施例提供的上述矿车装料控制方法，通过采用深度相机监测矿车车厢位置及料位，不受光照变化影响，提高数据采集的鲁棒性，还可以提供矿车及料位的三维空间信息，提升了车厢定位检测及料位监测的精确度，降低了设备成本和维护成本，无需人为参与，降低了安全风险，提升了矿车装料的执行效率。

对应于上述实施例所提供的矿车装料控制方法，本发明实施例提供了一种矿车装料控制装置，参见图5所示的一种矿车装料控制装置结构示意图，该装置包括以下模块：

采集模块51，用于基于图像传感器采集目标矿车的深度图像。

位置监测模块52，用于基于深度图像监测目标矿车的任一目标车厢是否到达装料位置。

料位监测模块53，用于在目标车厢到达装料位置时，控制目标矿车停止，触发装料设备对目标车厢进行装料，基于图像传感器采集的深度图像监测目标车厢是否装满。

本实施例提供的上述矿车装料控制装置，通过采集目标矿车的深度图像，根据采集到的深度图像对目标矿车的车厢进行定位监测，并在装料过程中基于采集的深度图像监测目标车厢是否装满，仅仅基于图像传感器采集的深度图像就实现了对矿车车厢的定位检测及装料检测，无需使用多个传感器进行配合检测，降低了设备成本，避免了多个设备之间信号传输不及时导致矿车装料控制不准确的问题，提升了矿车装料效率及准确度。

在一种实施方式中，上述位置监测模块52，进一步用于获取图像传感器的内参，基于图像传感器的内参将图像传感器采集的深度图像均转换为栅格图像；在目标矿车的行驶过程中，基于栅格图像判断目标车厢是否到达装料位置。

在一种实施方式中，上述位置监测模块52，进一步用于基于图像传感器的内参及深度图像中各像素点的深度值，将深度图像中的各像素点转换为点云数据；基于图像传感器的外参将点云数据转换为标准坐标系下的点云坐标，计算各点云坐标与图像传感器的实际距离，将实际距离大于第一预设距离的点云坐标过滤掉，得到过滤后的点云数据；其中，第一预设距离与图像传感器到目标矿车的顶部距离相关；对过滤后的点云数据进行栅格化处理，得到目标矿车的栅格图像。

在一种实施方式中，上述栅格图像中包括预先标注好的装料位置及定位监控区域；目标矿车包括牵引车和多个车厢；上述位置监测模块52，进一步用于统计栅格图像中定位监控区域内的非零像素点数量，当非零像素点数量与定位监控区域的总像素点数量的比值达到第一预设比值时，确定目标矿车的牵引车到达定位监控区域；当目标矿车的牵引车到达定位监控区域时，将目标矿车的牵引车的相邻车厢作为目标车厢，基于栅格图像对目标车厢定位检测。

在一种实施方式中，上述位置监测模块52，进一步用于从栅格图像中获取目标车厢的头部边缘和/或尾部边缘；根据栅格图像中目标车厢的头部边缘和/或尾部边缘与装料位置的相对位置判断目标车厢是否到达装料位置。

在一种实施方式中，上述料位监测模块53，进一步用于获取图像传感器采集的深度图像对应的栅格图像；其中，栅格图像中还包括预先标注好的料位监控区域；统计栅格图像中料位监控区域中的非零像素点数量，当非零像素点数量与料位监控区域的总像素点比值达到第二预设比值时，确定目标车厢已装满。

在一种实施方式中，上述栅格图像中还包括预先标注好的车厢定位监测区域；上述装置还包括：

第一控制模块，用于当目标车厢装满时，控制装料设备停止对目标车厢进行装料，基于栅格图像的车厢定位监测区域内的非零像素点分布信息，检测车厢定位监测区域内是否存在车厢侧面边缘。

第二控制模块，用于在车厢定位监测区域内存在车厢侧面边缘时，将车厢定位监测区域内的车厢作为新的目标车厢，控制目标矿车开始行驶，并触发对新的目标车厢的车厢定位检测，以依次检测目标矿车的各车厢是否到达装料位置，直至目标矿车的各车厢均装满。

本实施例提供的上述矿车装料控制装置，通过采用深度相机监测矿车车厢位置及料位，可以提供矿车及料位的三维空间信息，提升了车厢定位检测及料位监测的精确度，降低了设备成本和维护成本，无需人为参与，降低了安全风险，提升了矿车装料的执行效率。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

对应于前述实施例所提供的方法和装置，本发明实施例还提供了一种矿车装料控制系统，该系统包括图像传感器、控制器及装料设备，控制器分别与图像传感器、装料设备及上述目标矿车通信连接(包括电线连接和/或无线通信连接)，该控制器包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行上述实施例提供的矿车装料控制方法。

本发明实施例提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现上述实施例所述的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

本发明实施例所提供的矿车装料控制方法、装置、系统及计算机可读介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种矿车装料控制方法，其特征在于，包括：

基于图像传感器采集目标矿车的深度图像；

基于所述深度图像监测所述目标矿车的任一目标车厢是否到达装料位置；

如果是，控制所述目标矿车停止，触发装料设备对所述目标车厢进行装料，基于所述图像传感器采集的深度图像监测所述目标车厢是否装满；

所述基于所述深度图像监测所述目标矿车的任一目标车厢是否到达装料位置的步骤，包括：

获取所述图像传感器的内参，基于所述图像传感器的内参将所述图像传感器采集的深度图像均转换为栅格图像；

在所述目标矿车的行驶过程中，基于所述栅格图像判断所述目标车厢是否到达装料位置；

所述基于所述图像传感器的内参将所述图像传感器采集的深度图像均转换为栅格图像的步骤，包括：基于所述图像传感器的内参及所述深度图像中各像素点的深度值，将所述深度图像中的各像素点转换为点云数据；基于所述图像传感器的外参将所述点云数据转换为标准坐标系下的点云坐标，计算各所述点云坐标与所述图像传感器的实际距离，将所述实际距离大于第一预设距离的点云坐标过滤掉，得到过滤后的点云数据；其中，所述第一预设距离与所述图像传感器到所述目标矿车的顶部距离相关；对所述过滤后的点云数据进行栅格化处理，得到所述目标矿车的栅格图像；

所述栅格图像中包括预先标注好的装料位置及定位监控区域位置；所述目标矿车包括牵引车和多个车厢；所述基于所述栅格图像判断所述目标车厢是否到达装料位置的步骤，包括：统计所述栅格图像中所述定位监控区域内的非零像素点数量，当所述非零像素点数量与所述定位监控区域的总像素点数量的比值达到第一预设比值时，确定所述目标矿车的牵引车到达所述定位监控区域；当所述目标矿车的牵引车到达所述定位监控区域时，将所述目标矿车的牵引车的相邻车厢作为目标车厢，基于所述栅格图像对所述目标车厢定位检测。

2.根据权利要求1所述的方法，其特征在于，所述基于所述栅格图像对所述目标车厢定位检测的步骤，包括：

从所述栅格图像中获取所述目标车厢的头部边缘和/或尾部边缘；

根据所述栅格图像中所述目标车厢的头部边缘和/或尾部边缘与所述装料位置的相对位置判断所述目标车厢是否到达装料位置。

3.根据权利要求2所述的方法，其特征在于，所述基于所述图像传感器采集的深度图像监测所述目标车厢是否装满的步骤，包括：

获取所述图像传感器采集的深度图像对应的栅格图像；其中，所述栅格图像中还包括预先标注好的料位监控区域；

统计所述栅格图像中所述料位监控区域中的非零像素点数量，当所述非零像素点数量与料位监控区域的总像素点比值达到第二预设比值时，确定所述目标车厢已装满。

4.根据权利要求3所述的方法，其特征在于，所述栅格图像中还包括预先标注好的车厢定位监测区域；所述矿车装料控制方法还包括：

当所述目标车厢装满时，控制所述装料设备停止对所述目标车厢进行装料，基于所述栅格图像的车厢定位监测区域内的非零像素点分布信息，检测所述车厢定位监测区域内是否存在车厢侧面边缘；

如果是，将所述车厢定位监测区域内的车厢作为新的目标车厢，控制所述目标矿车开始行驶，并触发对所述新的目标车厢的车厢定位检测，以依次检测所述目标矿车的各车厢是否到达所述装料位置，直至所述目标矿车的各车厢均装满。

5.一种矿车装料控制装置，其特征在于，包括：

采集模块，用于基于图像传感器采集目标矿车的深度图像；

位置监测模块，用于基于所述深度图像监测所述目标矿车的任一目标车厢是否到达装料位置；

料位监测模块，用于在所述目标车厢到达所述装料位置时，控制所述目标矿车停止，触发装料设备对所述目标车厢进行装料，基于所述图像传感器采集的深度图像监测所述目标车厢是否装满；

所述位置监测模块，用于获取所述图像传感器的内参，基于所述图像传感器的内参将所述图像传感器采集的深度图像均转换为栅格图像；在所述目标矿车的行驶过程中，基于所述栅格图像判断所述目标车厢是否到达装料位置；

所述位置监测模块，用于基于所述图像传感器的内参及所述深度图像中各像素点的深度值，将所述深度图像中的各像素点转换为点云数据；基于所述图像传感器的外参将所述点云数据转换为标准坐标系下的点云坐标，计算各所述点云坐标与所述图像传感器的实际距离，将所述实际距离大于第一预设距离的点云坐标过滤掉，得到过滤后的点云数据；其中，所述第一预设距离与所述图像传感器到所述目标矿车的顶部距离相关；对所述过滤后的点云数据进行栅格化处理，得到所述目标矿车的栅格图像；

所述栅格图像中包括预先标注好的装料位置及定位监控区域位置；所述目标矿车包括牵引车和多个车厢；所述位置监测模块，用于统计所述栅格图像中所述定位监控区域内的非零像素点数量，当所述非零像素点数量与所述定位监控区域的总像素点数量的比值达到第一预设比值时，确定所述目标矿车的牵引车到达所述定位监控区域；当所述目标矿车的牵引车到达所述定位监控区域时，将所述目标矿车的牵引车的相邻车厢作为目标车厢，基于所述栅格图像对所述目标车厢定位检测。

6.一种矿车装料控制系统，其特征在于，包括：图像传感器、控制器及装料设备，所述控制器包括处理器和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至4任一项所述的方法。

7.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至4任一项所述的方法的步骤。