CN112588609B - 煤矸分选方法、装置及电子设备 - Google Patents

Abstract

本发明提供了一种煤矸分选方法、装置及电子设备，涉及煤矿技术领域，上述煤矸分选方法包括：获取煤流的X射线成像图像，作为目标图像；基于预先训练得到的神经网络模型对目标图像进行目标识别，得到目标图像中各待分选目标的目标类别和目标位置；其中，神经网络模型基于预先标注后的训练样本训练得到，训练样本包括多张X光成像得到的煤流图像，目标类别包括煤炭和矸石；基于各待分选目标的目标类别及目标位置对煤流中的煤炭和矸石进行分选。本发明能够实现对煤炭和矸石的精确分离，提升了煤矸分选的准确率。

Description

煤矸分选方法、装置及电子设备

技术领域

本发明涉及煤矿技术领域，尤其是涉及一种煤矸分选方法、装置及电子设备。

背景技术

煤层形成过程中会存在一种与煤层伴生的矸石层，煤矸石是一种含碳量较低、主要成分为二氧化硅的岩石。在煤矿开采过程中，开采的煤流中会含有一定比例的矸石，从而煤的产品质量产生影响，因此，如何将煤炭和矸石进行分离称为亟待解决的问题。现有的煤矸分选技术主要采用干选法将煤和矸石分离，诸如采用图像处理技术将煤和矸石分离，然而，采用普通摄像机采集煤流图像时，容易受到灰尘和水等外界环境带来的影响，导致采集的视频或图像数据质量较低，影响图像处理分辨煤和矸石的准确率。因此，现有的煤矸分选技术还存在煤矸分离准确率较低的问题。

发明内容

有鉴于此，本发明的目的在于提供一种煤矸分选方法、装置及电子设备，能够实现对煤炭和矸石的精确分离，提升了煤矸分选的准确率。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种煤矸分选方法，应用于煤矸分选系统，所述煤矸分选系统包括皮带输送机、X光检测装置和分离执行装置，所述煤矸分选方法包括：获取煤流的X射线成像图像，作为目标图像；基于预先训练得到的神经网络模型对所述目标图像进行目标识别，得到所述目标图像中各待分选目标的目标类别和目标位置；其中，所述神经网络模型基于预先标注后的训练样本训练得到，所述训练样本包括多张X光成像得到的煤流图像，所述目标类别包括煤炭和矸石；基于各所述待分选目标的目标类别及所述目标位置对所述煤流中的煤炭和矸石进行分选。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述基于预先训练得到的神经网络模型对所述目标图像进行目标识别，得到所述目标图像中各待分选目标的目标类别和目标位置的步骤，包括：将所述目标图像输入预先训练得到的神经网络模型；基于所述神经网络模型对所述目标图像进行图像分割，得到所述目标图像中的各待分选目标的目标框及对应的目标类型，基于所述目标框的顶点坐标确定所述待分选目标的目标位置。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述分离执行装置包括喷枪；所述基于各所述待分选目标的目标类别及所述目标位置对所述煤流中的煤炭和矸石进行分选的步骤，包括：根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间，并在达到所述启动延时时间后启动所述喷枪将煤炭和矸石分离。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间的步骤，包括：当所述待分选目标的目标类别为煤炭或者矸石时，基于所述煤炭或矸石在目标图像中的目标位置，确定所述煤炭或矸石在所述皮带输送机上的实际位置；基于所述实际位置与所述皮带输送机终点的距离及所述皮带输送机的运输速度，确定所述煤炭或矸石运动到所述皮带输送机终点所需的时间，得到所述喷枪的启动延时时间。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述目标位置包括所述待分选目标在目标图像中的中心点坐标；所述根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间的步骤，包括：获取所述目标图像中像素坐标系的纵轴与所述皮带输送机终点的实际距离；其中，所述待分选目标沿所述像素坐标系的横轴方向运动；当所述中心点坐标的横坐标值为零时，基于所述实际距离及所述皮带输送机的运输速度，确定所述煤炭或矸石运动到所述皮带输送机终点所需的时间，得到所述喷枪的启动延时时间。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，其中，在根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间之后，所述方法还包括：基于预设的目标跟踪算法对所述目标图像中的所述待分选目标进行跟踪，并将所述待分选目标与对应的启动延时时间进行绑定。

进一步，本发明实施例提供了第一方面的第六种可能的实施方式，其中，在根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间之前，所述方法还包括：对所述目标图像中中心点的横坐标处于预设范围内的待分选目标进行标记，得到标记目标；获取所述目标图像的下一帧图像，当所述标记目标的中心点坐标的横坐标值的最小值大于所述下一帧图像中的待分选目标的中心点坐标的横坐标时，执行所述根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间的步骤。

进一步，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述皮带输送机上设置可在运行方向的垂直方向上将煤流划分为至少两列的分流装置，所述分离执行装置包括分别对应于划分后的各列煤流的喷枪，所述目标位置包括所述待分选目标在目标图像中的中心点坐标；在根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间之前，所述方法还包括：基于所述待分选目标的中心点坐标的纵坐标值处于的坐标值范围，确定所述待分选目标对应的喷枪。

第二方面，本发明实施例还提供了一种煤矸分选装置，应用于煤矸分选系统，所述煤矸分选系统包括皮带输送机、X光检测装置和分离执行装置，所述煤矸分选装置包括：图像获取模块，用于获取煤流的X射线成像图像，作为目标图像；图像识别模块，用于基于预先训练得到的神经网络模型对所述目标图像进行目标识别，得到所述目标图像中各待分选目标的目标类别和目标位置；其中，所述神经网络模型基于预先标注后的训练样本训练得到，所述训练样本包括多张X光成像得到的煤流图像，所述目标类别包括煤炭和矸石；煤矸分离模块，用于基于各所述待分选目标的目标类别及所述目标位置对所述煤流中的煤炭和矸石进行分选。

第三方面，本发明实施例提供了一种电子设备，包括：处理器和存储装置；所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面任一项所述的方法。

本发明实施例提供了一种煤矸分选方法、装置及电子设备，基于X射线技术获取煤流图像，并基于预先训练得到的神经网络模型识别煤流图像中的各个待分选目标的目标类别和中心点坐标，由于煤炭和矸石在X射线下成像时会呈现不同的颜色，通过结合X光技术和机器学习对煤流图像中的煤炭和矸石进行识别，可以准确定位皮带输送机上各个待分选目标的目标类别和目标位置，根据各个待分选目标的目标类别和目标位置将煤炭和矸石进行分离，实现了对煤炭和矸石的精确分离，提升了煤矸分选的准确率。

本发明实施例的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明实施例的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种煤矸分选方法流程图；

图2示出了本发明实施例所提供的一种煤流分流示意图；

图3示出了本发明实施例所提供的一种煤流运输示意图；

图4示出了本发明实施例所提供的一种煤流运输示意图；

图5示出了本发明实施例所提供的一种煤矸分离示意图；

图6示出了本发明实施例所提供的另一种煤矸分离示意图；

图7示出了本发明实施例所提供的一种煤矸分选示意图；

图8示出了本发明实施例所提供的一种煤矸分离流程图；

图9示出了本发明实施例所提供的一种煤矸分选装置结构示意图。

图标：

20-皮带输送机；21-分流装置；31-X光检测装置；51-喷枪；52-煤炭传送带；53-矸石传送带；54-煤仓；55-矸石仓。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

目前，在煤矸分选系统中，由于普通相机采集的视频或图像数据质量较低，在对采集的图像进行图像分割时，定位煤或矸石的位置的准确率较低，导致煤矸分选时出现煤炭进入矸石仓或矸石进入煤炭仓等问题。考虑到现有的煤矸分选技术还存在煤矸分离准确率较低的问题，为改善此问题，本发明实施例提供的一种煤矸分选方法、装置及电子设备，该技术可应用于提升煤矸分选的准确率。以下对本发明实施例进行详细介绍。

本实施例提供了一种煤矸分选方法，该方法可以应用于煤矸分选系统，该煤矸分选系统包括皮带输送机、X光检测装置和分离执行装置，参见图1所示的煤矸分选方法流程图，该方法主要包括以下步骤S102～步骤S106：

步骤S102，获取煤流的X射线成像图像，作为目标图像。

上述目标图像可以是通过X光检测装置采集得到的，在皮带输送机上的预设位置设置X光检测装置，基于X光检测装置采集煤流在X射线下的成像图像，作为目标图像。由于煤和矸石的成本存在差异，不同成分的物质在X光检测装置下成像时呈现的颜色也存在差异，煤的主要成分为C，经过X光检测装置之后将呈现橙色，矸石的成分为SiO₂；Al₂O₃；Fe₂O₃等，经过X光检测装置之后将呈现绿色。

步骤S104，基于预先训练得到的神经网络模型对目标图像进行目标识别，得到目标图像中各待分选目标的目标类别和目标位置。

上述神经网络模型基于预先标注后的训练样本训练得到，训练样本包括多张X射线成像得到的煤流图像，目标类别包括煤炭和矸石。为了准确识别定位目标图像中的煤炭和矸石，将X光检测装置采集的目标图像通过通信接口运输至存储有预先训练得到的神经网络模型的控制器(也可以称为控制单元)，通过神经网络模型对目标图像进行图像分割，得到目标图像中各待分选目标的目标类别和目标位置，该目标位置可以包括待分选目标的中心点坐标和边界点坐标。由于目标图像中煤炭和矸石的颜色不同，基于预先训练得到的神经网络模型的较强的特征表示能力，可以准确分割出目标图像中的煤炭和矸石。

步骤S106，基于各待分选目标的目标类别及目标位置对煤流中的煤炭和矸石进行分选。

通过待分选目标的目标位置可以得到待分选目标的相对于皮带输送机的当前位置信息，由于皮带输送机的长度是固定的，根据待分选目标的当前位置可以确定待分选目标离开皮带输送机的时间，根据各个待分选目标的目标类型及待分选目标离开皮带输送机的时间，控制分离执行装置将不同目标类别的待分选目标进行分离，诸如，可以将煤炭喷射至煤仓，将矸石喷射至矸石仓。

本实施例提供的上述煤矸分选方法，基于X射线技术获取煤流图像，并基于预先训练得到的神经网络模型识别煤流图像中的各个待分选目标的目标类别和中心点坐标，由于煤炭和矸石在X射线下成像时会呈现不同的颜色，通过结合X光技术和机器学习对煤流图像中的煤炭和矸石进行识别，可以准确定位皮带输送机上各个待分选目标的目标类别和目标位置，根据各个待分选目标的目标类别和目标位置将煤炭和矸石分别进行分离，实现了对煤炭和矸石的精确分离，提升了煤矸分选的准确率。

为了准确识别得到待分选目标的目标类别和中心点坐标，本实施例提供了基于预先训练得到的神经网络模型对目标图像进行目标识别，得到目标图像中各待分选目标的目标类别和目标位置的具体实施方式：将目标图像输入预先训练得到的神经网络模型；基于神经网络模型对目标图像进行图像分割，得到目标图像中的各待分选目标的目标框及对应的目标类型，基于目标框的顶点坐标确定待分选目标的目标位置。上述图像分割包括语义分割和实例分割，上述神经网络模型可以是双侧分割网络(Bilatel SegmentationNetwork，BiSeNet)、YOLACT和BlendMask中的任意一种，通过使用神经网络模型对采集到的目标图像进行图像分割，可以输出目标图像中各个待分选目标(煤炭图像或矸石图像)所属的目标类别，待分选目标的轮廓，以及待分选目标的目标框的各个顶点坐标，由于待分选目标的目标框为矩形，根据目标框的各个顶点坐标可以得到目标框的中心点坐标，将目标框的中心点坐标作为待分选目标的目标位置。

为了提升神经网络模型的识别准确率，本实施例提供的煤矸分选方法还包括：获取X光检测装置采集的多张煤流图像，基于预设的标注工具生成各煤流图像对应的标签文件，得到训练样本；其中，训练样本包括煤流图像及对应的标签文件，标签文件包括煤流图像中煤炭和矸石的目标类别及目标的边界点坐标；将训练样本输入神经网络模型进行训练，得到训练后的神经网络模型。由于上述目标图像是煤流的X射线成像得到的图像，为了使神经网络模型准确识别出目标图像中的各个待分选目标，可以预先利用X光检测装置获取皮带输送机上的煤流图像，将获取到的多张煤流图像作为样本图像，为了尽可能提升神经网络模型的准确率，尽可能多地获取样本图像，上述样本图像的数量诸如可以是一万张。

将样本图像输入预设的标注工具中，该预设的标注工具可以是Labelme或LabelImg，利用预设的标注工具对样本图像中的各个煤炭和矸石进行标注，对每张样本图像中的煤炭和矸石图像轮廓进行绘制，每张样本图像都会生成对应的标签文件，该标签文件中包括样本图像中煤炭和矸石的目标类别和目标边界点坐标，将样本图像及对应的标签文件作为训练样本输入神经网络模型中，基于训练样本对神经网络模型进行训练，在模型训练时，需要使用GPU进行训练，操作系统为linux系统，当神经网络模型的训练迭代次数达到预设的迭代次数时，训练结束，神经网络模型可以得到训练好的权重文件，神经网络模型基于该权重文件可以实现对目标图像中的煤和矸石进行图像分割。

为了便于对煤流图像中煤炭和矸石的分选，本实施例提供的煤矸分选方法还包括：基于煤流分流装置将皮带输送机上的煤流划分为多列煤流，以使分列之后的煤流运输至X光检测装置。皮带输送机上设置有煤流分流装置，当煤流分流装置将煤流分为多列时，为了实现对煤炭和矸石的精确分离，可以为每列煤流设置有对应的喷枪。参见如图2所示的煤流分流示意图，皮带输送机20上设置有多个分流装置21，通过在皮带输送机上安装煤流分流装置，可以将无序的煤流分流为有序的煤流，上述分流装置可以是分流挡板，挡板的设置位置决定了有序的煤流的列数，当分流挡板的列数为两列时，可以将无序的煤流分隔为三列煤流，分流挡板的设置列数可以根据实际情况确定。

为了实现对煤炭和矸石的准确分选，上述分离执行装置包括喷枪；本实施例提供了基于各待分选目标的目标类别及目标位置对煤流中的煤炭和矸石进行分选的实施方式：根据各待分选目标的目标类别及目标位置，确定喷枪的启动延时时间，并在达到启动延时时间后启动喷枪将煤炭和矸石分离。由于上述X光检测装置与皮带输送机的相对位置以是固定的，根据各待分选目标的目标类别及目标位置，可以确定各待分选目标传输至喷枪喷射位置所需的待运输时间，该待运输时间即为启动延时时间，具体可参照如下实施方式一和实施方式二执行：

实施方式一：在该实施方式中，根据煤炭或矸石在皮带输送机上的实际位置，确定喷枪的启动延时时间。具体可参照如下步骤(1)～步骤(2)执行：

步骤(1)：当待分选目标的目标类别为煤炭或者矸石时，基于煤炭或矸石在目标图像中的目标位置，确定煤炭或矸石在皮带输送机上的实际位置。

X光检测装置与皮带输送机的相对位置是固定的，该实际位置可以是待分选目标与X光检测装置的相对位置。参见如图3所示的煤流运输示意图，X光检测装置31设置于皮带输送机的目标位置处，当待分选目标在X光检测装置31中成像时，设待分选目标移动至A点位置，待分选目标与X光检测装置的煤流进入端之间的距离为第一距离S1，X光检测装置的图像采集范围覆盖了X光检测装置的内部，计算目标图像中待分选目标的目标位置与X光检测装置的煤流进入端之间的像素距离，将待分选目标与X光检测装置的煤流进入端(即图3中X光检测装置的左端)之间的像素距离通过转换矩阵转换为实际距离S1，以X光检测装置的煤流进入端为原点，皮带输送机的运输方向为x轴方向，则S1＝x1*R，其中，x1为待分选目标的中心点坐标的横坐标(待分选目标与X光检测装置的煤流进入端的像素数量)，R为坐标转换矩阵，该转换矩阵可以是通过对X光检测装置的图像采集装置进行标定得到的。

步骤(2)：基于实际位置与皮带输送机终点的距离及皮带输送机的运输速度，确定煤炭或矸石运动到皮带输送机终点所需的时间，得到喷枪的启动延时时间。

如图3所示，X光检测装置的煤流进入端与皮带输送机的运输终点之间的目标距离为S0，根据目标距离S0和第一距离S1可以确定在待分选目标成像时，待分选目标与皮带输送机的运输终点之间距离为S0-S1。由于基于X光检测装置成像后，需要将采集到的目标图像输入至神经网络模型进行目标识别，神经网络模型对目标图像进行目标识别时需要耗费时间，当神经网络模型完成目标识别得到待分选目标的目标类型及中心点坐标时，参见如图4所示的煤流运输示意图，待分选目标此时已移动至B点，设A点与B点之间的距离为第二距离S2，基于目标距离S0、第一距离S1和第二距离S2确定待分选目标的待运输距离，根据待运输距离及皮带输送机的运输速度v得到煤炭或矸石运动到皮带输送机终点所需的时间t1＝(S0-S1-S2)/v。

当喷枪的喷射位置距离皮带输送机终点具有一定的高度时，参见如图5所示的煤矸分离示意图，设喷枪51的喷射点C点与皮带输送机的运输终点之间的垂直距离为h，基于喷枪的喷射点确定待分选目标的待下落时间，将待分选目标从皮带输送机的运输终点下落至喷射点所需的待下落时间记为t2，则其中g为重力加速度，约为9.8m/s²，则喷枪的启动延时时间t＝t1+t2。

在一种实施方式中，上述待分选目标在成像识别时间段内运输的第二距离S2的确定方式可以是：基于预先获取到的成像识别时间及运输速度，确定待分选目标运输的第二距离。上述成像识别时间包括X光检测装置完成X射线成像和神经网络模型完成目标识别的时间(神经网络模型完成目标识别的标志可以是输出识别得到的待分选目标的目标类别及中心点坐标)。可以将X光检测装置成像及神经网络模型的目标识别时间认为是固定不变的，根据多次试验获取煤矸分选系统的成像识别时间，根据待分选目标的成像识别时间与皮带输送机的运输速度的乘积，得到待分选目标在成像识别时间段内运输的第二距离。

在另一种实施方式中，上述待分选目标在成像识别时间段内运输的第二距离S2的确定方式可以是：获取煤矸分选系统对目标图像完成目标识别时的第二时间，基于第一时间、第二时间及运输速度确定待分选目标运输的第二距离。上述待运输距离为对目标图像完成目标识别时，待分选目标的当前位置与皮带输送机的运输终点之间的距离。将待分选目标在A点成像时的时间记为第一时间，将神经网络模型完成目标识别，待分选目标到达B点时的实际记为第二时间，将第二时间与第一时间的时间差值作为成像识别时间，根据上述时间差值与皮带输送机的运输速度的乘积，得到待分选目标在成像识别时间段内运输的第二距离。

在实际应用中，为了便于将煤炭和矸石分离，如图5所示，皮带输送机的运输终点下方设置有煤炭传送带52和矸石传送带53，煤炭传送带52和矸石传送带53的运输终点分别设置有煤仓54和矸石仓55。获取煤炭运动到皮带输送机终点所需的时间，根据煤炭对应的喷枪启动延时时间，在煤炭到达喷枪喷射点时，控制喷枪喷出高压气体，将下落至C点的煤炭喷射至煤炭传送带，煤炭传送带将煤炭运输至煤仓，矸石自由下落至矸石传送带，矸石传送带将矸石运输至矸石仓。上述喷枪是利用空气放大的原理，通过压缩空气，产生强大和精确的气流，对煤这个目标进行喷气，从而实现将煤和矸石分离到不同的传送带上。由于煤炭的密度低于矸石的密度，在同一体积下矸石的重量重于煤炭的重量，喷枪喷射煤炭更加容易，通过使喷枪喷射煤炭，使矸石自由下落分离煤矸的方式，可以节约喷枪的用电量。

如图5所示，为了便于对煤炭和矸石的分离，使煤炭准确下落至煤炭传送带，使矸石准确下落至矸石传送带，还可以在煤炭传送带和矸石传送带之间放置隔板，该隔板可以是三棱柱形状，图5中示出了三棱柱隔板的截面图，通过放置三棱柱隔板，三棱柱的斜面有助于帮助煤或矸石分别快速下落至煤炭传送带和矸石传送带。

或者，参见如图6所示的煤矸分离示意图，获取矸石运动到皮带输送机终点所需的时间，根据矸石对应的喷枪启动延时时间，在矸石到达喷枪喷射点时，控制喷枪喷出高压气体，将下落至C点的矸石喷射至矸石传送带，矸石传送带将矸石运输至矸石仓55，煤炭自由下落至煤炭传送带，煤炭传送带将煤炭运输至煤仓54。由于上述方式二中皮带输送机中煤炭的数量较多，矸石的数量较少，通过将数量较少的矸石通过喷枪喷射的方式分离出，可以减少喷枪的喷射次数，还能较少计算喷枪的启动延时时间的次数，提升了煤矸分选效率。

实施方式二：在该实施方式中，上述目标位置包括待分选目标在目标图像中的中心点坐标。根据目标图像中的像素坐标系，确定喷枪的启动延时时间，具体可参照如下步骤1)～步骤2)执行：

步骤1)：获取目标图像中像素坐标系的纵轴与皮带输送机终点的实际距离。

参见如图7所示的煤矸分选示意图，对目标图像建立像素坐标系，上述待分选目标沿像素坐标系的横轴方向运动，预先获取目标图像的像素坐标系的纵轴与皮带输送机末端的实际距离L。

步骤2)：当中心点坐标的横坐标值为零时，基于实际距离及皮带输送机的运输速度，确定煤炭或矸石运动到皮带输送机终点所需的时间，得到喷枪的启动延时时间。

当检测到目标图像中待分选目标的中心点坐标的横坐标值为零时，即待分选目标与像素坐标系的纵轴重合时，将实际距离L除以皮带输送机的运输速度，得到煤炭或矸石运动到皮带输送机终点所需的时间。当待分选目标运动到皮带输送机终点时，控制喷枪对煤炭或矸石进行喷射，实现对煤炭和矸石的分离。

由于皮带输送机上通常包括多个待分选目标，为了避免混淆，在确定喷枪的启动延时时间之后，本实施例提供的方法还包括：基于预设的目标跟踪算法对目标图像中的待分选目标进行跟踪，并将待分选目标与对应的启动延时时间进行绑定。上述预设的目标跟踪算法可以选用跟踪实时性较好的跟踪算法，诸如可以是TLD(Tracking-Learning-Detection)跟踪算法或KCF(Kernel Correlation Filter，核相关滤波)跟踪算法。通过将待分选目标与对应的启动延时时间进行绑定，对绑定有启动延时时间的各个待分选目标进行目标跟踪，可以避免对待分选目标的重复运算(包括目标识别和启动延时时间计算)。

为了避免将同一个待分选目标的信息(包括目标类别、目标位置及对应的喷枪启动延时时间)重复发送给控制器，在根据各待分选目标的目标类别及目标位置，确定喷枪的启动延时时间之前，本实施例提供的方法还包括以下实施方式，具体可参照如下方式一～方式二执行：

方式一：对目标图像中中心点的横坐标处于预设范围内的待分选目标进行标记，得到标记目标。获取目标图像的下一帧图像，当标记目标的中心点坐标的横坐标值的最小值大于下一帧图像中的待分选目标的中心点坐标的横坐标时，执行根据各待分选目标的目标类别及目标位置，确定喷枪的启动延时时间的步骤。

获取目标图像中各个待分选目标的中心点坐标，对横坐标值处于预设范围内的待分选目标进行标记，诸如，如图7所示，对横坐标值处于0～x1范围内的待分选目标进行标记，得到目标m、n和q，记录目标m、n和q的中心点坐标，并将目标m、n和q的目标类别和中心点坐标发送至控制单元，由于待分选目标随皮带输送机运动时，中心点坐标的横坐标值会越来越大，持续获取下一帧目标图像中各标记目标的中心点横坐标，直到某一帧目标图像中出现中心点横坐标值小于所有标记目标的中心点横坐标值的目标，得到新的待分选目标。当出现新的待分选目标时，根据新的待分选目标的目标类别及目标位置，确定喷枪的启动延时时间，得到新的待分选目标对应的启动延时时间。

方式二：在该实施方式中，皮带输送机上设置可在运行方向的垂直方向上将煤流划分为至少两列的分流装置，分离执行装置包括分别对应于划分后的各列煤流的喷枪，目标位置包括待分选目标在目标图像中的中心点坐标。基于待分选目标的中心点坐标的纵坐标值处于的坐标值范围，确定待分选目标对应的喷枪。

上述皮带输送机上设置有分流装置，该分流装置可以将煤流划分为两列以上，如图7所示，图7中的分流装置可以将煤流划分为三列，每列煤流设置有对应的喷枪，基于各待分选目标的中心点坐标的纵坐标值，可以确定各待分选目标对应的喷枪，诸如，确定纵坐标值处于0～y1范围内的目标q对应的喷枪为喷枪z，确定纵坐标值处于y1～y2范围内的目标n对应的喷枪为喷枪k，确定纵坐标值处于大于y2范围内的目标m对应的喷枪为喷枪w。在确定待分选目标对应的目标喷枪后，根据待分选目标的目标类别及目标位置，计算目标喷枪的启动延时时间，并将待分选目标对应的启动延时时间发送至对应的目标喷枪，以控制目标喷枪在到达启动延时时间时喷射出高压气体进行煤矸分离。

本实施例提供的上述煤矸分选方法，通过将煤流划分为多列，并为每列煤流对应设置喷枪，提升了煤矸分选效率；通过使矸石传送带或煤炭传送带承接从煤流运输带平抛下的矸石或煤炭，只需对煤炭或矸石中的一种进行喷射，即可实现煤炭和矸石的分离，提升了煤矸分离的准确率。

在前述实施例的基础上，本实施例提供了一种应用前述煤矸分选方法对开采出的煤流进行煤矸分离的示例，参见如图8所示的煤矸分离流程图，具体可参照如下步骤a～步骤d执行：

步骤a：基于煤流分流装置对皮带输送机上的煤流进行分列处理，得到有序的煤流。

将皮带输送机上无序的煤流划分为一列一列的比较有顺序的队列，以便于对煤和矸石进行定位和分离，可以采用一些排队装置，将煤流之间用挡板等物体分隔开来。

步骤b：基于X光检测装置对有序的煤流进行图像采集，得到目标图像。

皮带输送机上有序的煤流进入X光检测装置后，X光检测装置中的X射线对其进行照射，然后形成成像的目标图像，X光检测装置通过接口将目标图像运输至煤矸分选系统的控制器，其传送的数据格式可以是图像格式或者视频流格式。

步骤c：对目标图像进行图像分割，得到待分选目标的目标类别和坐标。

上述控制器中存储有预先训练得到的神经网络模型，基于预先训练得到的神经网络模型对目标图像进行图像分割，得到待分选目标的目标类别和坐标，该坐标包括待分选目标的目标框顶点坐标和待分选目标的边界点坐标。

步骤d：基于待分选目标的目标类别和坐标，确定待分选目标的待运输时间和待下落时间，根据待分选目标的目标类别、待运输时间和待下落时间控制分离执行机构将煤炭和矸石分离。

上述分离执行机构包括喷枪、煤炭传送带和矸石传送带。当目标类别为煤炭时，根据煤炭在皮带输送机上的待运输时间和到达喷射点的待下落时间，控制喷枪进行喷气，将煤炭喷射至与矸石相反的方向的煤炭传送带上，传送至煤仓；当目标类别为矸石时，使矸石平抛至矸石传送带上，传送至矸石仓。

对于上述实施例所提供的煤矸分选方法，本发明实施例提供了一种煤矸分选装置，应用于煤矸分选系统，该煤矸分选系统包括皮带输送机、X光检测装置和分离执行装置，参见图9所示的一种煤矸分选装置结构示意图，该装置包括以下模块：

图像获取模块91，用于获取煤流的X射线成像图像，作为目标图像。

图像识别模块92，用于基于预先训练得到的神经网络模型对目标图像进行目标识别，得到目标图像中各待分选目标的目标类别和目标位置；其中，神经网络模型基于预先标注后的训练样本训练得到，训练样本包括多张X光成像得到的煤流图像，目标类别包括煤炭和矸石。

煤矸分离模块93，用于基于各待分选目标的目标类别及目标位置对煤流中的煤炭和矸石进行分选。

本实施例提供的上述煤矸分选方法，基于X射线技术获取煤流图像，并基于预先训练得到的神经网络模型识别煤流图像中的各个待分选目标的目标类别和目标位置，由于煤炭和矸石在X射线下成像时会呈现不同的颜色，通过结合X光技术和机器学习对煤流图像中的煤炭和矸石进行识别，可以准确定位皮带输送机上各个待分选目标的目标类别和目标位置，根据各个待分选目标的目标类别及目标位置将煤炭和矸石进行分离，实现了对煤炭和矸石的精确分离，提升了煤矸分选的准确率。

在一种实施方式中，上述图像识别模块92，进一步用于将目标图像输入预先训练得到的神经网络模型；基于神经网络模型对目标图像进行图像分割，得到目标图像中的各待分选目标的目标框及对应的目标类型，基于目标框的顶点坐标确定待分选目标的目标位置。

在一种实施方式中，上述煤矸分离模块93，进一步用于根据各待分选目标的目标类别及目标位置，确定喷枪的启动延时时间，并在达到启动延时时间后启动喷枪将煤炭和矸石分离。

在一种实施方式中，上述煤矸分离模块93，进一步用于当待分选目标的目标类别为煤炭或者矸石时，基于煤炭或矸石在目标图像中的目标位置，确定煤炭或矸石在皮带输送机上的实际位置；基于实际位置与皮带输送机终点的距离及皮带输送机的运输速度，确定煤炭或矸石运动到皮带输送机终点所需的时间，得到喷枪的启动延时时间。

在一种实施方式中，上述目标位置包括待分选目标在目标图像中的中心点坐标；上述煤矸分离模块93，进一步用于获取目标图像中像素坐标系的纵轴与皮带输送机终点的实际距离；其中，待分选目标沿像素坐标系的横轴方向运动；当中心点坐标的横坐标值为零时，基于实际距离及皮带输送机的运输速度，确定煤炭或矸石运动到皮带输送机终点所需的时间，得到喷枪的启动延时时间。

在一种实施方式中，上述装置还包括：

时间绑定模块，用于基于预设的目标跟踪算法对目标图像中的待分选目标进行跟踪，并将待分选目标与对应的启动延时时间进行绑定。

目标标记模块，用于对目标图像中中心点的横坐标处于预设范围内的待分选目标进行标记，得到标记目标；获取目标图像的下一帧图像，当标记目标的中心点坐标的横坐标值的最小值大于下一帧图像中的待分选目标的中心点坐标的横坐标时，执行根据各待分选目标的目标类别及目标位置，确定喷枪的启动延时时间的步骤。

喷枪确定模块，用于基于待分选目标的中心点坐标的纵坐标值处于的坐标值范围，确定待分选目标对应的喷枪。其中，上述皮带输送机上设置可在运行方向的垂直方向上将煤流划分为至少两列的分流装置，分离执行装置包括分别对应于划分后的各列煤流的喷枪，目标位置包括待分选目标在目标图像中的中心点坐标。

本实施例提供的上述煤矸分选装置，通过将煤流划分为多列，并为每列煤流对应设置喷枪，提升了煤矸分选效率；通过使矸石传送带或煤炭传送带承接从煤流运输带平抛下的矸石或煤炭，只需对煤炭或矸石中的一种进行喷射，即可实现煤炭和矸石的分离，提升了煤矸分离的准确率。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

对应于前述实施例所提供的方法和装置，本发明实施例还提供了一种煤矸分选系统，如图5或图6所示，该系统包括：皮带输送机、煤炭传送带、矸石传送带、煤仓、矸石仓、控制器(图中未示出)，以及与控制器分别通信连接的X光检测装置和喷枪，控制器包括处理器和存储装置。

上述X光检测装置设置于皮带输送机的目标位置处，煤炭传送带和矸石传送带设置于皮带输送机运输终点的下方，煤炭传送带和矸石传送带的运输终点分别设置有煤仓和矸石仓。皮带输送机上设置有煤流分流装置，该煤流分流装置可以设置于X光检测装置的上游及下游位置，以使皮带输送机上的煤流为有序的煤流。

上述X光检测装置是一种产生X光的设备，主要包括X光管和探测器组成，X光管可以发射出X射线，X射线能够穿透一般可见光所不能穿透的物质，具有一定的穿透作用，X射线波长短、能量大，在照射物体时，只有一小部分会被物体吸收，大部分X射线通过原子间隙穿过物体，打到底部的探测器上面，探测器把X射线转变为电信号，这些很弱的信号被放大，并送到信号处理机箱做进一步处理，得到X射线成像的图像。

本发明实施例提供了一种电子设备，包括：处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行上述实施例提供的煤矸分选方法。

本发明实施例提供了一种计算机可读介质，其中，所述计算机可读介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，所述计算机可执行指令促使所述处理器实现上述实施例所述的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

本发明实施例所提供的煤矸分选方法、装置及电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种煤矸分选方法，应用于煤矸分选系统，所述煤矸分选系统包括皮带输送机、X光检测装置和分离执行装置，其特征在于，所述煤矸分选方法包括：

获取煤流的X射线成像图像，作为目标图像；

基于预先训练得到的神经网络模型对所述目标图像进行目标识别，得到所述目标图像中各待分选目标的目标类别和目标位置；其中，所述神经网络模型基于预先标注后的训练样本训练得到，所述训练样本包括多张X光成像得到的煤流图像，所述目标类别包括煤炭和矸石；

基于各所述待分选目标的目标类别及所述目标位置对所述煤流中的煤炭和矸石进行分选；

所述分离执行装置包括喷枪；所述基于各所述待分选目标的目标类别及所述目标位置对所述煤流中的煤炭和矸石进行分选的步骤，包括：根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间，并在达到所述启动延时时间后启动所述喷枪将煤炭和矸石分离；

在根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间之前，所述方法还包括：对所述目标图像中中心点的横坐标处于预设范围内的待分选目标进行标记，得到标记目标；

获取所述目标图像的下一帧图像，当所述标记目标的中心点坐标的横坐标值的最小值大于所述下一帧图像中的待分选目标的中心点坐标的横坐标时，执行所述根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间的步骤；

所述根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间的步骤，包括：

当所述待分选目标的目标类别为煤炭或者矸石时，基于所述煤炭或矸石在目标图像中的目标位置，确定所述煤炭或矸石在所述皮带输送机上的实际位置；

基于所述实际位置与所述皮带输送机终点的距离及所述皮带输送机的运输速度，确定所述煤炭或矸石运动到所述皮带输送机终点所需的时间，得到所述喷枪的启动延时时间；其中，所述喷枪的启动延时时间t＝t1+t2，t1＝(S0-S1-S2)/v，S0为所述X光检测装置的煤流进入端与所述皮带输送机的运输终点之间的目标距离，S1为第一距离，所述第一距离为所述待分选目标与所述X光检测装置的煤流进入端之间的距离，S2为对所述待分选目标完成目标识别过程移动的第二距离，v为所述皮带输送机的运输速度，g为重力加速度，h为喷枪的喷射点与皮带输送机的运输终点之间的垂直距离。

2.根据权利要求1所述的方法，其特征在于，所述基于预先训练得到的神经网络模型对所述目标图像进行目标识别，得到所述目标图像中各待分选目标的目标类别和目标位置的步骤，包括：

将所述目标图像输入预先训练得到的神经网络模型；

基于所述神经网络模型对所述目标图像进行图像分割，得到所述目标图像中的各待分选目标的目标框及对应的目标类型，基于所述目标框的顶点坐标确定所述待分选目标的目标位置。

3.根据权利要求1所述的方法，其特征在于，所述目标位置包括所述待分选目标在目标图像中的中心点坐标；

所述根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间的步骤，包括：

获取所述目标图像中像素坐标系的纵轴与所述皮带输送机终点的实际距离；其中，所述待分选目标沿所述像素坐标系的横轴方向运动；

当所述中心点坐标的横坐标值为零时，基于所述实际距离及所述皮带输送机的运输速度，确定所述煤炭或矸石运动到所述皮带输送机终点所需的时间，得到所述喷枪的启动延时时间。

4.根据权利要求1所述的方法，其特征在于，在根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间之后，所述方法还包括：

基于预设的目标跟踪算法对所述目标图像中的所述待分选目标进行跟踪，并将所述待分选目标与对应的启动延时时间进行绑定。

5.根据权利要求1所述的方法，其特征在于，所述皮带输送机上设置可在运行方向的垂直方向上将煤流划分为至少两列的分流装置，所述分离执行装置包括分别对应于划分后的各列煤流的喷枪，所述目标位置包括所述待分选目标在目标图像中的中心点坐标；在根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间之前，所述方法还包括：

基于所述待分选目标的中心点坐标的纵坐标值处于的坐标值范围，确定所述待分选目标对应的喷枪。

6.一种煤矸分选装置，应用于煤矸分选系统，所述煤矸分选系统包括皮带输送机、X光检测装置和分离执行装置，其特征在于，所述煤矸分选装置包括：

图像获取模块，用于获取煤流的X射线成像图像，作为目标图像；

图像识别模块，用于基于预先训练得到的神经网络模型对所述目标图像进行目标识别，得到所述目标图像中各待分选目标的目标类别和目标位置；其中，所述神经网络模型基于预先标注后的训练样本训练得到，所述训练样本包括多张X光成像得到的煤流图像，所述目标类别包括煤炭和矸石；

煤矸分离模块，用于基于各所述待分选目标的目标类别及所述目标位置对所述煤流中的煤炭和矸石进行分选；

所述分离执行装置包括喷枪；所述煤矸分离模块，用于对所述目标图像中中心点的横坐标处于预设范围内的待分选目标进行标记，得到标记目标；获取所述目标图像的下一帧图像，当所述标记目标的中心点坐标的横坐标值的最小值大于所述下一帧图像中的待分选目标的中心点坐标的横坐标时，根据各所述待分选目标的目标类别及所述目标位置，确定所述喷枪的启动延时时间，并在达到所述启动延时时间后启动所述喷枪将煤炭和矸石分离；

所述煤矸分离模块，用于当所述待分选目标的目标类别为煤炭或者矸石时，基于所述煤炭或矸石在目标图像中的目标位置，确定所述煤炭或矸石在所述皮带输送机上的实际位置；基于所述实际位置与所述皮带输送机终点的距离及所述皮带输送机的运输速度，确定所述煤炭或矸石运动到所述皮带输送机终点所需的时间，得到所述喷枪的启动延时时间；其中，所述喷枪的启动延时时间t＝t1+t2，t1＝(S0-S1-S2)/v，S0为所述X光检测装置的煤流进入端与所述皮带输送机的运输终点之间的目标距离，S1为第一距离，所述第一距离为所述待分选目标与所述X光检测装置的煤流进入端之间的距离，S2为对所述待分选目标完成目标识别过程移动的第二距离，v为所述皮带输送机的运输速度，g为重力加速度，h为喷枪的喷射点与皮带输送机的运输终点之间的垂直距离。

7.一种电子设备，其特征在于，包括：处理器和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至5任一项所述的方法。