CN117036953A - 一种多特征融合的煤矸识别方法 - Google Patents

Abstract

本发明提供一种多特征融合的煤矸识别方法，该方法包括：通过深度相机采集视野范围内待识别煤矸的二维图像和三维点云；基于二维图像的图像特征进行目标检测，得到煤矸预测结果；基于三维点云进行体积估计，得到待识别煤矸的煤矸体积，基于煤矸体积和待识别煤矸的煤矸重量，计算煤矸密度；基于煤矸密度进行类别预测，得到待识别煤矸的第二类别信息，基于煤矸预测结果中的第一类别信息，以及第二类别信息，确定待识别煤矸的煤矸识别结果，克服了传统煤矸识别准确率和效率低下，计算过程复杂，实时性和环保性较差的缺陷，实现了安全环保的煤矸识别，提升了煤矸识别的精确度和识别效率，兼顾了实时性和准确性，为后续的煤矸分选提供了关键支撑。

Description

一种多特征融合的煤矸识别方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种多特征融合的煤矸识别方法。

背景技术

煤炭开采过程中不可避免夹杂石块、铁块等非煤物质，其中最为普遍的杂质是矸石，其占原煤产量的15％-20％，这严重影响了煤炭的品质。并且，当大量矸石混杂在煤炭中时不仅会造成运输成本增加，更会降低煤炭的燃烧效率并释放有害气体污染环境。因此，对原煤的煤矸分选势在必行，而煤矸分选的核心在于煤炭和矸石的准确识别。

传统的煤矸分选主要由人工完成，但人工排矸不但劳动强度大、工作效率低，而且会对人体造成伤害。因此，自动化的煤矸分选方式应运而生，目前自动化的煤矸分选主要有基于射线穿透力的方法和基于图像识别的方法，其中射线识别法对于粒径大的煤矸石穿透力弱，且射线产生电离辐射，无法满足安全环保的要求，而图像识别法虽然在一定程度上能够减轻上述问题，但是其在面对复杂工况条件时，如存在黑矸、矸石沾有煤粉、煤矸浸水、光线变化等，识别准确率低下。

因此，如何实现安全环保、准确率高、实时性强的煤矸识别，为快速精准的煤矸分选奠定基础，促进矿山煤矸分选产业快速发展，成为了当前亟待解决的技术问题。

发明内容

本发明提供一种多特征融合的煤矸识别方法，用以解决现有技术中煤矸识别的准确率和效率低下，计算过程复杂，计算误差大，实时性和环保性较差的缺陷，实现了快速精准的煤矸识别，兼顾了实时性和准确性，为煤矸分选任务奠定了基础。

本发明提供一种多特征融合的煤矸识别方法，包括：

通过深度相机采集视野范围内待识别煤矸的二维图像和三维点云；

基于所述二维图像的图像特征进行目标检测，得到煤矸预测结果，所述煤矸预测结果中包括所述待识别煤矸的第一类别信息；

基于所述三维点云进行体积估计，得到所述待识别煤矸的煤矸体积，基于所述煤矸体积和所述待识别煤矸的煤矸重量，计算煤矸密度，基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别信息；

基于所述煤矸预测结果中的第一类别信息，以及基于所述煤矸密度获取的第二类别信息，确定所述待识别煤矸的煤矸识别结果。

根据本发明提供的一种多特征融合的煤矸识别方法，所述基于所述三维点云进行体积估计，得到所述待识别煤矸的煤矸体积，包括：

对所述三维点云进行点云滤波，得到所述待识别煤矸的目标点云；

对所述目标点云进行三角剖分，得到所述目标点云的三角形表面；

以传送所述待识别煤矸的传送带的平面作为参考平面，基于所述三角形表面，求取所述目标点云相对所述参考平面的体积，作为所述待识别煤矸的煤矸体积。

根据本发明提供的一种多特征融合的煤矸识别方法，所述煤矸预测结果还包括所述待识别煤矸的数量信息和位置信息；

所述对所述三维点云进行点云滤波，得到所述待识别煤矸的目标点云，包括：

对所述三维点云进行点云滤波，得到所述待识别煤矸的初始点云；

使用欧氏距离对所述初始点云进行点云聚类，得到初始点云聚类；

基于所述初始点云聚类中的点云数量，从所述初始点云聚类中筛选得到候选点云聚类；

基于所述煤矸预测结果中的数量信息和位置信息，对所述候选点云聚类进行点云分割，得到各个待识别煤矸的目标点云。

根据本发明提供的一种多特征融合的煤矸识别方法，确定所述各个待识别煤矸的目标点云的算法为如下公式：

其中，F(X_i)表示第i个待识别煤矸的目标点云，X_i表示第i个待识别煤矸的位置信息，X_i是第i个待识别煤矸的中心点像素坐标三角化得到的对应世界坐标系下的中心点三维坐标，cluster_l表示候选点云聚类，O为候选点云聚类的数量，d(X_i,cluster_l)表示第i个待识别煤矸的中心点三维坐标到各候选点云聚类的候选聚类中心的距离，N为待识别煤矸的数量，且O>N。

根据本发明提供的一种多特征融合的煤矸识别方法，所述基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别信息，包括：

基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别；

确定煤矸密度区间，并对所述煤矸密度区间进行等距划分，得到多个密度子区间，所述煤矸密度区间基于煤炭密度和矸石密度确定；

基于所述煤矸密度、所述各个密度子区间，以及所述各个密度子区间对应的置信度，确定所述第二类别对应的类别置信度；

基于所述第二类别，以及类别置信度，确定第二类别信息。

根据本发明提供的一种多特征融合的煤矸识别方法，所述基于所述煤矸密度、所述各个密度子区间，以及所述各个密度子区间对应的置信度，确定所述第二类别对应的类别置信度，包括：

确定各个密度子区间对应的置信度，所述置信度基于对应密度子区间的区间上限密度和区间下限密度与所述煤炭密度和所述矸石密度之间的差距确定；

从所述各个密度子区间中，确定所述煤矸密度所处的目标密度子区间，将所述目标密度子区间对应的置信度确定为所述第二类别对应的类别置信度。

根据本发明提供的一种多特征融合的煤矸识别方法，确定所述第二类别对应的类别置信度的算法为如下公式：

其中，表示第二类别对应的类别置信度，j表示第二类别，j＝0表示煤炭，j＝1表示矸石，x_i表示第i个待识别煤矸，ρ表示煤矸密度，[ρ_k,ρ_k+1]为煤矸密度所处的目标密度子区间，M为密度子区间的数量，h_k(x_i)为目标密度子区间对应的置信度。

根据本发明提供的一种多特征融合的煤矸识别方法，所述第一类别信息包括第一类别及其对应的类别置信度，所述第二类别信息包括第二类别及其对应的类别置信度；

所述基于所述煤矸预测结果中的第一类别信息，以及所述第二类别信息，确定所述待识别煤矸的煤矸识别结果，包括：

对比所述第一类别信息中的类别置信度和预设置信度阈值；

在对比结果指示所述第一类别信息中的类别置信度小于等于所述预设置信度阈值的情况下，基于所述第一类别及其对应的类别置信度，以及所述第二类别及其对应的类别置信度，确定煤炭和矸石各自对应的类别置信度均值；

从所述类别置信度均值中确定最大类别置信度均值，并将所述最大类别置信度均值对应的煤炭或矸石，确定为所述待识别煤矸的煤矸识别结果。

根据本发明提供的一种多特征融合的煤矸识别方法，确定所述待识别煤矸的煤矸识别结果的算法为如下公式：

其中，H(x_i)为第i个待识别煤矸的煤矸识别结果，x_i表示第i个待识别煤矸，为第一类别对应的类别置信度，/>为第二类别对应的类别置信度，j＝0表示煤炭，j＝1表示矸石。

根据本发明提供的一种多特征融合的煤矸识别方法，所述对比所述第一类别信息中的类别置信度和预设置信度阈值，之后还包括：

在所述对比结果指示所述第一类别信息中的类别置信度大于所述预设置信度阈值的情况下，将所述第一类别作为所述待识别煤矸的煤矸识别结果。

本发明提供的一种多特征融合的煤矸识别方法，根据待识别煤矸的二维图像的图像特征进行目标检测，得到煤矸预测结果，根据三维点云进行体积估计，得到待识别煤矸的煤矸体积，根据煤矸体积和待识别煤矸的煤矸重量，计算煤矸密度，根据煤矸密度进行类别预测，得到待识别煤矸的第二类别信息，综合煤矸预测结果中的第一类别信息，以及第二类别信息，确定待识别煤矸的煤矸识别结果，实现了快速精准的煤矸识别，克服了传统方案中煤矸识别的准确率和效率低下，计算过程复杂，计算误差大，实时性和环保性较差的缺陷，通过综合不同来源的类别信息，确定最终的煤矸识别结果，实现了安全环保的煤矸识别，极大地提升了煤矸识别的精确度和识别效率，兼顾了实时性和准确性，并且精准的煤矸识别结果为后续的煤矸分选提供了关键性的支撑。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的多特征融合的煤矸识别方法的流程示意图；

图2是本发明提供的多特征融合的煤矸识别方法的总体流程图；

图3是本发明提供的体积估计过程的流程示意图；

图4是本发明提供的多特征融合的煤矸识别装置的结构示意图；

图5是本发明提供的分选系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为保证煤炭品质、降低煤炭运输成本，实现安全环保的煤炭开采，在矿井或洗煤厂对原煤进行煤矸分选势在必行。而煤矸快速准确识别是煤矸分选中的关键所在，传统的人工识别方法具有劳动量大、效率低、粉尘多、对人体危害大等问题，而随着选煤技术的不断进步，人工操作已逐步被自动识别方式代替。

煤矸识别中，煤炭和矸石可以依据二者在密度、灰度、纹理、光泽、硬度、成分、辐射性、导电性等方面所表现出的不同特征进行区分，根据选择的特征不同，产生了不同的煤矸识别方法。

目前，投入使用的自动分选系统是利用射线对煤炭和矸石穿透力不同的原理进行分选，使用的射线主要有x射线和γ射线，然而，该方法虽然识别速度快，但是其对于粒径大的煤矸穿透力弱，且射线会产生电离辐射，无法满足安全环保的要求。

进一步地，随着计算机视觉技术的发展，基于光学图像的煤矸识别方法得到了广泛关注，该方法虽然避免了人工分选和射线自动分选方法的局限性，但是，其在光照变化、煤矸互相沾染、湿度变化等复杂工况情况下，识别准确率会大大降低，从而影响煤矸分选任务的完成，无法满足生产需求。

由于煤炭和矸石在密度上有区别，常见的煤炭种类有褐煤、烟煤、无烟煤三类，其中褐煤的密度一般为1.05～1.30g/cm3，烟煤的密度一般为1.15～1.50g/cm3，无烟煤的密度一般为1.4～1.70g/cm3，矸石密度一般在1.8g/cm3以上，因此，也存在采用密度特征区分煤炭和矸石的方法，此类方法需要先确定物料的体积和质量，通过计算得到密度，从而进行煤矸识别，这一过程中准确有效的体积信息的获取是难点所在，而当下已有的计算体积方法多存在着计算过程复杂、计算误差大、实时性极差等缺陷，无法兼顾实时性和准确性。

对此，本发明提供一种多特征融合的煤矸识别方法，旨在利用二维图像和三维点云，并对其进行深度融合，通过提取图像特征和密度信息进行煤矸识别，实现了快速精准的煤矸识别，该方法简单快捷、成本低下，能够有效避免传统方案中识别准确率低、计算过程复杂、计算误差大、实时性和环保性较差的问题，较好的平衡了准确率和实时性要求，而且还能适应复杂多变的恶劣工况环境，更具鲁棒性。图1是本发明提供的多特征融合的煤矸识别方法的流程示意图，如图1所示，该方法包括：

步骤110，通过深度相机采集视野范围内待识别煤矸的二维图像和三维点云；

具体地，在进行煤矸识别之前，首先需要确定需要进行煤矸识别的煤矸，即待识别煤矸，并获取用于煤矸识别的待识别煤矸的相关信息。鉴于传统方案中单一煤矸识别方法中存在的识别效率和准确率低下，计算过程复杂，计算误差大，实时性和环保性较差的情况，本发明实施例中选择从多个层面进行评判，以得到精准的煤矸识别结果，从而实现煤矸识别的效率、准确率和可信度的多重提升。

因此，此处在获取待识别煤矸的相关信息时，可以获取其不同通道、不同维度等的图像信息，以据此提取得到不同层面的煤矸特征，从而实现多层面多角度的煤矸识别，提升识别准确率。即可以分别获取待识别煤矸的二维图像和三维点云，此处具体可以是利用图像采集设备采集传送带上待识别煤矸的图像，即可以通过图像采集设备从两个通道同时采集RGB彩色图像信息和深度信息，深度信息经三角化可以得到点云数据，此处的点云数据表示待识别煤矸在三维空间的坐标信息，因此又称为三维点云，即可以获取二维图像和三维点云。

由于需获取得到不同维度的图像，并且需简单有效、易于实施、节省成本，本发明实施例中可以将图像采集设备选定为深度相机，以利用其不同通道同时进行信息采集，从而获取得到所需的二维图像和三维点云，即可以通过深度相机采集视野范围内待识别煤矸的二维图像和三维点云。当然除此之外，也可以采用不用设备分别进行图像采集，以获取得到二维图像和三维点云，本发明实施例对此不做具体限定。

此处，深度相机可以通过光电开关进行触发，例如当传送带上有待识别煤矸经过时，可以使用光电开关触发深度相机进行图像采集，以实时采集视野范围内的二维图像和三维点云。此处，深度相机可以装设于传送带上方，也可以设置于传送带侧方，或者设置于其他位置，本发明实施例对此不做具体限定。

步骤120，基于二维图像的图像特征进行目标检测，得到煤矸预测结果，煤矸预测结果中包括待识别煤矸的第一类别信息；

具体地，经过步骤110得到待识别煤矸的二维图像之后，即可执行步骤120，据此二维图像进行目标检测，得到煤矸预测结果，这一过程具体可以包括：

首先，可以读取二维图像，通过提取图像特征以进行目标检测，从而得到二维图像中待识别煤矸的煤矸预测结果，即可以通过提取其图像特征分别进行类别预测和定位预测，从而得到待识别煤矸的煤矸预测结果，此处煤矸预测结果包括待识别煤矸的类别信息和位置信息，为便于区分，此处将类别信息称之为第一类别信息，第一类别信息可以包括待识别煤矸可能归属的类别，以及对应的类别置信度。

其中，在基于二维图像进行类别预测，以判断二维图像中待识别煤矸的类别为煤炭还是矸石时，依据的是待识别煤矸在二维图像中所展现出的灰度、纹理、表面平整度等信息，据此信息对应于煤炭和矸石的特征差异进行煤矸识别，从而得到基于二维图像的第一类别信息。鉴于此，本发明实施例中，在提取二维图像的图像特征时可以着重关注二维图像中待识别煤矸的灰度、纹理、表面平整度等，以提取待识别煤矸在此层面的信息，从而得到明显有益于待识别煤矸的类别预测的图像特征，进而提升了类别预测所得结果的准确度和可信度。

可以理解的是，此处基于二维图像的目标检测可以通过目标检测算法实现，即可以通过目标检测算法提取二维图像的图像特征，并据此图像特征进行类别预测和定位预测，从而得到煤矸预测结果。此处的目标检测算法是基于深度学习的计算机视觉算法，其可以对二维图像中的物体进行识别并检测出物体的位置和大小，作为优选，本发明实施例中采用性能表现最好的算法加以实施，例如，选择在目标检测上性能表现最好的yolov5模型(目标检测模型)进行目标检测。而在此之前，为适应于煤炭识别的复杂工况环境，提升检测效率和精确度，本发明实施例中还可以应用样本煤矸图像预先训练得到目标检测模型，例如采用大量实际工况环境下拍摄的煤矸图像作为样本，以构建训练集，利用训练集对目标检测模型进行训练，并将训练的最佳权重应用于目标检测任务中，以得到精准的检测结果(煤矸预测结果)。

步骤130，基于三维点云进行体积估计，得到待识别煤矸的煤矸体积，基于煤矸体积和待识别煤矸的煤矸重量，计算煤矸密度，基于煤矸密度进行类别预测，得到待识别煤矸的第二类别信息；

具体地，考虑到传统方案中基于光学图像的识别方法虽然能够有效避免人员伤害，实现安全快速的煤矸识别，但是在一些诸如存在黑矸、矸石沾有煤粉、煤矸被水浸湿、光线变化等复杂工况条件下，其识别准确率会大大降低，从而影响煤矸分选任务的完成。对此，本发明实施例中在基于二维图像进行目标检测，得到待识别煤矸的第一类别信息的基础上，进一步进行体积估计以得到煤矸体积，从而获取密度信息，以据此密度信息再次进行类别判断，确保煤矸识别的准确性。

鉴于此，本发明实施例中首先可以依据待识别煤矸的三维点云进行体积估计，以得到待识别煤矸的煤矸体积，具体可以是以传送带平面作为参考平面，在三维点云的基础上通过切片处理求取待识别煤矸相对于参考平面的体积，以此作为待识别煤矸的煤矸体积。

此处，仅使用单个深度相机采集的有限的三维点云即可进行体积估算，估算不规则的待识别煤矸相对于传送带平面的体积，从而得到煤矸体积。较之传统方案中，通过多个相机获取全景点云数据进行三维重建，以获取得到体积，本发明实施例中可以在保证体积估计的准确度的同时，降低成本，极大地减少计算复杂度，提升了识别效率，较好的平衡了实时性和准确性。

之后，即可依据煤矸体积获取密度信息，具体是根据体积估计所得的煤矸体积，以及待识别煤矸的煤矸重量，计算待识别煤矸的煤矸密度，即利用密度计算公式，代入煤矸体积和煤矸重量求解得到待识别煤矸的煤矸密度。此处煤矸重量可以通过称重设备测量得到，称重设备可以是称重传感器、测重仪等，其可以装设于传送带上，也可以设置于机械臂上，或者设置于承载待识别煤矸的设备上，本发明实施例对此不做具体限定。其中机械臂用于待识别煤矸的运输和煤矸分选。

进一步地，在得到煤矸密度之后，首先可以基于煤矸密度预测煤矸类别，即可以依据煤矸密度进行类别预测，以确定待识别煤矸的类别信息，即第二类别信息，具体可以是，参照煤炭密度和矸石密度，利用煤矸密度所反映的密度信息预测待识别煤矸可能归属的类别，并确定对应的类别置信度，此处类别置信度可以理解为待识别煤矸归属于对应类别的概率，概率越大置信度则越高，反之置信度越低。

本发明实施例中，通过单个深度相机采集得到的三维点云即可进行体积估计，而无需使用多个相机进行全景拍摄，再利用三维重建技术获得三维模型并计算体积，避免了单独基于密度进行煤矸识别过程中复杂的体积计算过程，能够快速得到煤矸体积，提高了煤矸识别的识别效率，满足了煤矸分选高实时性的要求，同时还能很好的保证体积估计的准确性，保障了煤矸识别的识别精度。此外，基于单个深度相机采集信息，还降低了成本。

步骤140，基于煤矸预测结果中的第一类别信息，以及基于煤矸密度获取的第二类别信息，确定待识别煤矸的煤矸识别结果。

具体地，为了弥补单一煤矸识别方法中存在的缺陷，本发明实施例中，充分利用图像特征和密度信息，进行煤矸识别，以在保证煤矸识别效率的同时，提升识别准确率，兼顾实时性和准确性的要求，使得煤矸识别方法更具鲁棒性，能够适应复杂多变的恶劣工况环境。

基于此，本发明实施例中，在得到不同来源的类别信息之后，即可结合目标检测所得的第一类别信息，以及基于煤矸密度获取的第二类别信息，共同确定待识别煤矸的煤矸识别结果，即可以综合考量第一类别信息和第二类别信息，以确定煤矸识别结果，具体可以是，依据第一类别信息中的第一类别及其类别置信度，以及第二类别信息中的第二类别及其类别置信度，确定煤矸识别结果，此处煤矸识别结果可以是通过计算得到的待识别煤矸归属的类别，是煤炭还是矸石，还可以是待识别煤矸归属的类别，以及其属于这一类别的概率。

具体而言，此处可以利用投票法求得煤矸识别结果，即可以综合考虑图像特征和密度信息，对基于此两者确定的类别信息进行软投票，以确定煤矸识别结果，此处具体可以是以第一类别信息中的第一类别及其类别置信度，以及第二类别信息中的第二类别及其类别置信度为基准，计算每个类别的类别置信度均值，并将最大的类别置信度均值对应的类别，确定为待识别煤矸最终归属的类别，是煤炭或者是矸石，以便后续机械臂进行煤矸分选。

本发明实施例中，有效利用了深度相机的二维和三维两个通道的数据，并加以深度融合，使得煤矸识别的准确率大大提升。并且，这一过程中估算煤矸体积时仅使用一个深度相机的点云数据即可实现体积估计，避免了基于多个相机获取的全景点云数据计算得到体积时复杂的三维重建过程，能够快速确定煤矸体积，在提升体积估计效率的同时，很好的保证体积估算的准确性，此外，还节省了成本。

本发明提供的多特征融合的煤矸识别方法，根据待识别煤矸的二维图像的图像特征进行目标检测，得到煤矸预测结果，根据三维点云进行体积估计，得到待识别煤矸的煤矸体积，根据煤矸体积和待识别煤矸的煤矸重量，计算煤矸密度，根据煤矸密度进行类别预测，得到待识别煤矸的第二类别信息，综合煤矸预测结果中的第一类别信息，以及第二类别信息，确定待识别煤矸的煤矸识别结果，实现了快速精准的煤矸识别，克服了传统方案中煤矸识别的准确率和效率低下，计算过程复杂，计算误差大，实时性和环保性较差的缺陷，通过综合不同来源的类别信息，确定最终的煤矸识别结果，实现了安全环保的煤矸识别，极大地提升了煤矸识别的精确度和识别效率，兼顾了实时性和准确性，并且精准的煤矸识别结果为后续的煤矸分选提供了关键性的支撑。

基于上述实施例，步骤130中，基于三维点云进行体积估计，得到待识别煤矸的煤矸体积，包括：

对三维点云进行点云滤波，得到待识别煤矸的目标点云；

对目标点云进行三角剖分，得到目标点云的三角形表面；

以传送待识别煤矸的传送带的平面作为参考平面，基于三角形表面，求取目标点云相对参考平面的体积，作为待识别煤矸的煤矸体积。

具体地，步骤130中，根据三维点云进行体积估计，得到待识别煤矸的煤矸体积的过程，具体包括以下步骤：

考虑到获取得到的三维点云中可能存在一定的噪声和无关信息，因此，本发明实施例中在依据三维点云进行体积估计时，首先可以对三维点云进行滤波处理，以滤除其中的噪声点和杂点，从而得到待识别煤矸的目标点云，即通过对三维点云进行点云滤波，可以得到待识别煤矸的目标点云。

具体而言，此处可以是以待识别煤矸的大小和所处的传送带平面为基准，采用滤波器对三维点云进行滤波处理，以得到待识别煤矸的目标点云，即可以根据待识别煤矸的高度范围[z_min，z_max]以及所处传送带XOY平面的边界范围{[x_min，x_max]，[y_min，y_max]}，采用直通滤波器，对三维点云进行点云滤波，过滤噪声点和杂点，得到目标点云。

其中，[z_min，z_max]表示待识别煤矸的高度范围，z_min和z_max则分别为待识别煤矸高度的最小值和最大值，{[x_min，x_max]，[y_min，y_max]}表示传送带平面的边界范围，[x_min，x_max]和[y_min，y_max]分别为XOY平面的横向边界范围和纵向边界范围。x_min和x_max分别为XOY平面横向边界的最小值和最大值，y_min和y_max分别为XOY平面纵向边界的最小值和最大值。

在这之后，可以对待识别煤矸的目标点云进行三角剖分，以得到目标点云的三角形表面，即可以通过三角剖分处理将散列的点云生成三角形的表面，具体可以是，采用算法对待识别煤矸的目标点云进行三角剖分处理，以将散列点云生成三角形的表面，从而得到目标点云的三角形表面，此处具体采用的算法可以是贪心算法，或者可以是其他原理的三角剖分算法，本发明实施例对此不做具体限定。

而后，即可据此三角形表面进行体积求解，以得到待识别煤矸的煤矸体积，即可以以传送带的平面(XOY平面)作为参考平面，依据三角形表面求取目标点云相对参考平面的体积，以作煤矸体积。具体而言，可以以传送带平面为参考平面创建参考平面的三维模型，然后通过切片法求取三维点云相对于参考平面的体积，具体是将三维点云在参考平面上切分成若干个相等面积的切片，将切片内的高度近似为不变，计算每个棱柱的体积，再对所有棱柱体积进行求和，以得到整个待识别煤矸的体积估算值V。

本发明实施例中，仅使用单个深度相机采集的有限三维点云即可近似估算不规则的待识别煤矸的煤矸体积，不仅可以保证体积估计的准确性，还极大地提升了体积估计效率，避免了使用多个相机获取全景点云数据，再利用三维重建技术进行三维重建以获得体积的复杂过程，减小了计算复杂度，提高了识别效率，满足了煤矸识别高实时性的要求；同时仅使用单个深度相机进行信息采集，降低了成本。

基于上述实施例，煤矸预测结果还包括待识别煤矸的数量信息和位置信息；

对三维点云进行点云滤波，得到待识别煤矸的目标点云，包括：

对三维点云进行点云滤波，得到所述待识别煤矸的初始点云；

使用欧氏距离对所述初始点云进行点云聚类，得到初始点云聚类；

基于所述初始点云聚类中的点云数量，从所述初始点云聚类中筛选得到候选点云聚类；

基于所述煤矸预测结果中的数量信息和位置信息，对所述候选点云聚类进行点云分割，得到各个待识别煤矸的目标点云。

具体地，步骤120中进行目标检测时，通过类别预测可以得到待识别煤矸的第一类别信息，与此同时进行定位预测所得的检出框不仅可以确定二维图像中待识别煤矸的位置信息，还可以确定图中待识别煤矸的数量信息，即通过目标检测还可以确定二维图像中待识别煤矸的数量多少。简而言之，煤矸预测结果除第一类别信息之外，还包括待识别煤矸的位置信息和数量信息。

鉴于此，本发明实施例中在进行体积估计时，若待识别煤矸为多个，为保证体积估计的精准性则需对待识别煤矸的三维点云进行分割处理，以确定各个待识别煤矸对应的目标点云，以便后续能够分别针对各个目标点云进行体积估计，从而得到各个待识别煤矸的煤矸体积V_i,i＝1,2,…,N，N为待识别煤矸的数量，进而保证了体积估计过程的全面性和有效性。

具体而言，本发明实施例中，对三维点云进行点云滤波，得到待识别煤矸的初始点云的过程，可以是先对三维点云进行滤波处理，以滤除其中的噪声点和杂点，从而得到待识别煤矸的初始点云；接着，可以先对初始点云进行点云聚类，具体可以是，使用欧氏距离对初始点云进行点云聚类，以得到初始点云聚类，即可以设置欧氏距离阈值d_thres，并在这一欧氏距离阈值的基础上，使用kmeans算法对初始点云进行聚类，以将小于欧氏距离阈值d_thres的初始点云进行聚类，从而得到初始点云聚类。

然后，可以据此初始点云聚类中的点云数量，从初始点云聚类中筛选得到候选点云聚类，即可以设定聚类中的点云数量阈值num_pc_thres，并根据点云数量阈值，以及初始点云聚类中的点云数量，从初始点云聚类中筛选出候选点云聚类，具体可以是以初始点云聚类中的点云数量，以及点云数量阈值为基准，从初始点云聚类中选取出点云数量大于点云数量阈值的聚类，作为此次的候选点云聚类cluster_l,l＝1,2,…,O，此处O表示候选点云聚类的数量。

之后，即可根据煤矸预测结果中的位置信息和数量信息，对候选点云聚类进行点云分割，以得到各个待识别煤矸的目标点云，即在通过数量信息确定待识别煤矸为多个的情况下，可以利用目标检测所得的位置信息，对候选点云聚类进行分割处理，以得到各个待识别煤矸对应的目标点云。具体而言，待识别煤矸的位置信息是基于像素坐标系的，其中心点像素坐标表示为(u_i,v_i),i＝1,2,…,N，其中N为待识别煤矸的数量，此处首先可以通过待识别煤矸的中心点像素坐标(u_i,v_i),i＝1,2,…,N三角化得到对应世界坐标系下的中心点三维坐标然后可以计算任一待识别煤矸的中心点三维坐标到各候选点云聚类的候选聚类中心的距离d，并选择距离d最小的候选点云聚类作为该待识别煤矸的目标点云，如此即可得到各个待识别煤矸的目标点云F(X_i)。具体的计算公式如下式所示：

本发明实施例中，对于待识别煤矸为多个的情况，融合煤矸预测结果筛选分割目标点云，从而对多个待识别煤矸分别进行处理，保证了后续体积估计的准确性和精确度。此处使用软件方法处理多个待识别煤矸的情况，而非使用硬件设备物理分隔煤矸，降低了系统成本。

基于上述实施例，步骤130中，基于煤矸密度进行类别预测，得到待识别煤矸的第二类别信息，包括：

基于煤矸密度进行类别预测，得到待识别煤矸的第二类别；

确定煤矸密度区间，并对煤矸密度区间进行等距划分，得到多个密度子区间，煤矸密度区间基于煤炭密度和矸石密度确定；

基于煤矸密度、各个密度子区间，以及各个密度子区间对应的置信度，确定第二类别对应的类别置信度；

基于第二类别，以及类别置信度，确定第二类别信息。

具体地，步骤130中，根据煤矸密度进行类别预测，得到待识别煤矸的第二类别信息的过程，具体可以包括：

首先，可以根据待识别煤矸的煤矸密度进行类别预测，以得到待识别煤矸的第二类别，同时可以根据煤矸密度确定第二类别的类别置信度，即可以通过煤矸密度所反映的密度信息预测待识别煤矸可能归属的类别，从而得到第二类别其中j＝0表示煤炭，j＝1表示矸石，x_i表示第i个待识别煤矸，density表示基于煤矸密度确定的类别信息；通过煤炭密度和矸石密度，以及煤矸密度所处的范围确定出第二类别的类别置信度/>

具体而言，在确定第二类别的类别置信度时，可以先确定煤矸密度区间，此处的煤矸密度区间可以根据煤炭密度和矸石密度确定，而煤炭密度一般为1.05～1.70g/cm3(褐煤的密度一般为1.05～1.30g/cm3，烟煤的密度一般为1.15～1.50g/cm3，无烟煤的密度一般为1.4～1.70g/cm3)，矸石密度一般在1.8g/cm3以上，因此，此处可以基于煤炭密度和矸石密度，设定煤矸密度区间，例如，可以是[1.05，1.8]。

接着，可以对煤矸密度区间进行等距划分，以将其划分为多个等距的子区间，从而得到多个密度子区间，之后即可根据待识别煤矸的煤矸密度、各个密度子区间，以及各个密度子区间对应的置信度，确定第二类别对应的类别置信度。此处，各个密度子区间对应的置信度可以根据对应密度子区间与煤矸临界密度之间的距离设定，距离越远置信度越高，反之距离越近则置信度越低。其中煤矸临界密度即煤炭和矸石的密度区分临界值。

之后，即可根据第二类别，以及类别置信度，确定第二类别信息，即可以将第二类别及其类别置信度，作为待识别煤矸的第二类别信息，即基于煤矸密度进行类别预测，所得的第二类别信息需包含有待识别煤矸的第二类别，以及第二类别的类别置信度。

基于上述实施例，基于煤矸密度、各个密度子区间，以及各个密度子区间对应的置信度，确定第二类别对应的类别置信度，包括：

确定各个密度子区间对应的置信度，置信度基于对应密度子区间的区间上限密度和区间下限密度与煤炭密度和矸石密度之间的差距确定；

从各个密度子区间中，确定煤矸密度所处的目标密度子区间，将目标密度子区间对应的置信度确定为第二类别对应的类别置信度。

具体地，上述根据煤矸密度、各个密度子区间及其对应的置信度，确定第二类别对应的类别置信度的过程，具体可以包括：

首先，可以确定各个密度子区间对应的置信度，此处置信度是根据对应密度子区间与煤矸临界密度之间的距离确定的，而由于煤矸临界密度可以表示为煤炭密度和矸石密度，对应密度子区间与煤矸临界密度之间的距离则可以反映为对应密度子区间的区间上限密度和区间下限密度与煤炭密度和矸石密度之间的差距，因此，各个密度子区间对应的置信度可以基于对应密度子区间的区间上限密度和区间下限密度与煤炭密度和矸石密度之间的差距确定；

具体而言，对于煤矸密度区间[ρ_min,ρ_max]，将其等距划分M个子区间，并设定M个置信度与各个密度子区间进行对应。具体的对应关系为当密度子区间的区间密度值靠近煤炭和矸石密度区分的临界值时，置信度低；反之，当密度子区间的区间密度值远离煤炭和矸石密度区分的临界值时，置信度高。

随即，即可据此密度子区间的置信度，以及煤矸密度，判断待识别煤矸的煤矸密度所处的密度子区间，并赋值类别置信度，即可以从各个密度子区间中确定煤矸密度所处的密度子区间，即目标密度子区间，并将这一目标密度子区间对应的置信度作为第二类别的类别置信度。

此处，第二类别的类别置信度的计算公式可以为：

其中，表示第二类别的类别置信度，j表示第二类别，j＝0表示煤炭，j＝1表示矸石，x_i表示第i个待识别煤矸，ρ表示煤矸密度，[ρ_k,ρ_k+1]为煤矸密度所处的目标密度子区间，M为密度子区间的数量，h_k(x_i)为目标密度子区间对应的置信度。

基于上述实施例，第一类别信息包括第一类别及其对应的类别置信度，第二类别信息包括第二类别及其对应的类别置信度；

步骤140中，基于煤矸预测结果中的第一类别信息，以及第二类别信息，确定待识别煤矸的煤矸识别结果，包括：

在第一类别信息中的类别置信度大于预设置信度阈值的情况下，将第一类别作为待识别煤矸的煤矸识别结果；

在第一类别信息中的类别置信度小于等于预设置信度阈值的情况下，基于第一类别及其对应的类别置信度，以及第二类别及其对应的类别置信度，确定煤炭和矸石各自对应的类别置信度均值；

从类别置信度均值中确定最大类别置信度均值，并将最大类别置信度均值对应的煤炭或矸石，确定为待识别煤矸的煤矸识别结果。

具体地，步骤140中，根据煤矸预测结果中的第一类别信息，以及基于煤矸密度获取的第二类别信息，确定待识别煤矸的煤矸识别结果的过程，具体包括：

将目标检测所得的第一类别信息中的类别置信度和预设置信度阈值进行对比，判断两者之间的大小关系，即对比第一类别信息中的类别置信度和预设置信度阈值，从而得到对比结果。

进一步地，在对比结果表明第一类别信息中的第一类别对应的类别置信度小于等于预设置信度阈值的情况下，可以结合第一类别信息和第二类别信息，综合确定待识别煤矸的煤矸识别结果。

具体而言，在第一类别信息中的第一类别对应的类别置信度小于等于预设置信度阈值的情况下，本发明实施例中在确定最终的煤矸识别结果时，采用投票法，融合第一类别信息和第二类别信息，以得到最终的煤矸识别结果。

此处，投票法采用了机器学习中集成学习的思想，综合考虑图像特征和密度信息，对基于此两者确定的类别信息进行软投票，即根据两种方式求取的类别置信度计算每个类别置信度的平均值，具体可以是，依据第一类别及其对应的类别置信度，以及第二类别及其对应的类别置信度，确定煤炭和矸石各自对应的类别置信度均值，即根据第一类别信息中j＝0为煤炭时的类别置信度，以及第二类别中j＝0为煤炭时的类别置信度，计算煤炭的类别置信度均值，同理，通过第一类别信息中j＝1为矸石时的类别置信度，以及第二类别中j＝1为矸石时的类别置信度，计算矸石的类别置信度均值。

接着，从类别置信度均值中确定最大类别置信度均值，即对比煤炭的类别置信度均值和矸石的类别置信度均值，并选取大的类别置信度均值，将其对应的类别作为待识别煤矸的煤矸识别结果，即从煤炭的类别置信度均值和矸石的类别置信度均值中，选取最大类别置信度均值，并将其对应的类别作为待识别煤矸最终归属的类别，是煤炭还是矸石。这一过程可以表示为：

其中，H(x_i)为第i个待识别煤矸的煤矸识别结果，为第一类别对应的类别置信度，/>为第二类别对应的类别置信度，j＝0表示煤炭，j＝1表示矸石，x_i表示第i个待识别煤矸。

基于上述实施例，对比第一类别信息中的类别置信度和预设置信度阈值，之后还包括：

在对比结果指示第一类别信息中的类别置信度大于预设置信度阈值的情况下，将第一类别作为待识别煤矸的煤矸识别结果。

具体地，考虑到基于二维图像进行目标检测时，通过类别预测能够判断二维图像中待识别煤矸的类别是煤炭还是矸石，并且，其作为一种非接触式识别方法能够有效避免人员伤害，避免了传统人工分选和射线自动分选方法的局限性，实现了安全快速的煤矸识别，还具有设备简单、易实现、成本低等优点。

因此，本发明实施例中确定煤矸识别结果时，在对第一类别信息中的类别置信度和预设置信度阈值进行对比之后，若对比结果表明第一类别对应的类别置信度大于预设置信度阈值时，则可以直接据此第一类别信息确定最终的煤矸石别结果。

即，在对比结果指示基于二维图像确定的第一类别信息中的第一类别对应的类别置信度大于预设置信度阈值的情况下，可以直接将第一类别作为待识别煤矸最终归属的类别，从而可以得到待识别煤矸的煤矸识别结果。

基于上述实施例，图2是本发明提供的多特征融合的煤矸识别方法的总体流程图，如图2所示，该方法包括：

首先，通过深度相机采集视野范围内待识别煤矸的二维图像和三维点云；

随即，基于二维图像的图像特征进行目标检测，得到煤矸预测结果，煤矸预测结果中包括待识别煤矸的第一类别信息；

之后，基于三维点云进行体积估计，得到待识别煤矸的煤矸体积，基于煤矸体积和待识别煤矸的煤矸重量，计算煤矸密度，基于煤矸密度进行类别预测，得到待识别煤矸的第二类别信息；

随后，基于煤矸预测结果中的第一类别信息，以及基于煤矸密度获取的第二类别信息，确定待识别煤矸的煤矸识别结果。

其中，基于煤矸密度进行类别预测，得到待识别煤矸的第二类别信息，包括：基于煤矸密度进行类别预测，得到待识别煤矸的第二类别；确定煤矸密度区间，并对煤矸密度区间进行等距划分，得到多个密度子区间，煤矸密度区间基于煤炭密度和矸石密度确定；基于煤矸密度、各个密度子区间，以及各个密度子区间对应的置信度，确定第二类别对应的类别置信度；基于第二类别，以及类别置信度，确定第二类别信息。

基于煤矸密度、各个密度子区间，以及各个密度子区间对应的置信度，确定第二类别对应的类别置信度，包括：确定各个密度子区间对应的置信度，置信度基于对应密度子区间的区间上限密度和区间下限密度与煤炭密度和矸石密度之间的差距确定；从各个密度子区间中，确定煤矸密度所处的目标密度子区间，将目标密度子区间对应的置信度确定为第二类别对应的类别置信度。

进一步地，第一类别信息包括第一类别及其对应的类别置信度，第二类别信息包括第二类别及其对应的类别置信度；基于煤矸预测结果中的第一类别信息，以及第二类别信息，确定待识别煤矸的煤矸识别结果，包括：对比第一类别信息中的类别置信度和预设置信度阈值；在对比结果指示第一类别信息中的类别置信度大于预设置信度阈值的情况下，将第一类别作为所述待识别煤矸的煤矸识别结果；对应地，在第一类别信息中的类别置信度小于等于预设置信度阈值的情况下，基于第一类别及其对应的类别置信度，以及第二类别及其对应的类别置信度，确定煤炭和矸石各自对应的类别置信度均值；从类别置信度均值中确定最大类别置信度均值，并将最大类别置信度均值对应的煤炭或矸石，确定为待识别煤矸的煤矸识别结果。

图3是本发明提供的体积估计过程的流程示意图，如图3所示，基于三维点云进行体积估计，得到待识别煤矸的煤矸体积，包括：

首先，对三维点云进行点云滤波，得到待识别煤矸的目标点云；

接着，对目标点云进行三角剖分，得到目标点云的三角形表面；

随后，以传送待识别煤矸的传送带的平面作为参考平面，基于三角形表面，求取目标点云相对参考平面的体积，作为待识别煤矸的煤矸体积。

其中，对三维点云进行点云滤波，得到待识别煤矸的目标点云，包括：对三维点云进行点云滤波，得到待识别煤矸的初始点云；使用欧氏距离对所述初始点云进行点云聚类，得到初始点云聚类；基于初始点云聚类中的点云数量，从初始点云聚类中筛选得到候选点云聚类；基于煤矸预测结果中的数量信息和位置信息，对候选点云聚类进行点云分割，得到各个待识别煤矸的目标点云。

本发明实施例提供的方法，根据待识别煤矸的二维图像的图像特征进行目标检测，得到煤矸预测结果，根据三维点云进行体积估计，得到待识别煤矸的煤矸体积，根据煤矸体积和待识别煤矸的煤矸重量，计算煤矸密度，根据煤矸密度进行类别预测，得到待识别煤矸的第二类别信息，综合煤矸预测结果中的第一类别信息，以及第二类别信息，确定待识别煤矸的煤矸识别结果，实现了快速精准的煤矸识别，克服了传统方案中煤矸识别的准确率和效率低下，计算过程复杂，计算误差大，实时性和环保性较差的缺陷，通过综合不同来源的类别信息，确定最终的煤矸识别结果，实现了安全环保的煤矸识别，极大地提升了煤矸识别的精确度和识别效率，兼顾了实时性和准确性，并且精准的煤矸识别结果为后续的煤矸分选提供了关键性的支撑。

下面对本发明提供的多特征融合的煤矸识别装置进行描述，下文描述的多特征融合的煤矸识别装置与上文描述的多特征融合的煤矸识别方法可相互对应参照。

图4是本发明提供的多特征融合的煤矸识别装置的结构示意图，如图4所示，该装置包括：

数据采集单元410，用于通过深度相机采集视野范围内待识别煤矸的二维图像和三维点云；

目标检测单元420，用于基于所述二维图像的图像特征进行目标检测，得到煤矸预测结果，所述煤矸预测结果中包括所述待识别煤矸的第一类别信息；

密度计算单元430，用于基于所述三维点云进行体积估计，得到所述待识别煤矸的煤矸体积，基于所述煤矸体积和所述待识别煤矸的煤矸重量，计算煤矸密度，基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别信息；

煤矸识别单元440，用于基于所述煤矸预测结果中的第一类别信息，以及基于所述煤矸密度获取的第二类别信息，确定所述待识别煤矸的煤矸识别结果。

本发明提供的多特征融合的煤矸识别装置，根据待识别煤矸的二维图像的图像特征进行目标检测，得到煤矸预测结果，根据三维点云进行体积估计，得到待识别煤矸的煤矸体积，根据煤矸体积和待识别煤矸的煤矸重量，计算煤矸密度，根据煤矸密度进行类别预测，得到待识别煤矸的第二类别信息，综合煤矸预测结果中的第一类别信息，以及第二类别信息，确定待识别煤矸的煤矸识别结果，实现了快速精准的煤矸识别，克服了传统方案中煤矸识别的准确率和效率低下，计算过程复杂，计算误差大，实时性和环保性较差的缺陷，通过综合不同来源的类别信息，确定最终的煤矸识别结果，实现了安全环保的煤矸识别，极大地提升了煤矸识别的精确度和识别效率，兼顾了实时性和准确性，并且精准的煤矸识别结果为后续的煤矸分选提供了关键性的支撑。

基于上述实施例，密度计算单元430用于：

对所述三维点云进行点云滤波，得到所述待识别煤矸的目标点云；

对所述目标点云进行三角剖分，得到所述目标点云的三角形表面；

以传送所述待识别煤矸的传送带的平面作为参考平面，基于所述三角形表面，求取所述目标点云相对所述参考平面的体积，作为所述待识别煤矸的煤矸体积。

基于上述实施例，确定所述各个待识别煤矸的目标点云的算法为如下公式：

其中，F(X_i)表示第i个待识别煤矸的目标点云，X_i表示第i个待识别煤矸的位置信息，X_i是第i个待识别煤矸的中心点像素坐标三角化得到的对应世界坐标系下的中心点三维坐标，cluster_l表示候选点云聚类，O为候选点云聚类的数量，d(X_i,cluster_l)表示第i个待识别煤矸的中心点三维坐标到各候选点云聚类的候选聚类中心的距离，N为待识别煤矸的数量，且O>N。

基于上述实施例，所述煤矸预测结果还包括所述待识别煤矸的数量信息和位置信息；

密度计算单元430用于：

对所述三维点云进行点云滤波，得到所述待识别煤矸的初始点云；

使用欧氏距离对所述初始点云进行点云聚类，得到初始点云聚类；

基于所述初始点云聚类中的点云数量，从所述初始点云聚类中筛选得到候选点云聚类；

基于所述煤矸预测结果中的数量信息和位置信息，对所述候选点云聚类进行点云分割，得到各个待识别煤矸的目标点云。

基于上述实施例，煤矸识别单元440用于：

基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别；

确定煤矸密度区间，并对所述煤矸密度区间进行等距划分，得到多个密度子区间，所述煤矸密度区间基于煤炭密度和矸石密度确定；

基于所述煤矸密度、所述各个密度子区间，以及所述各个密度子区间对应的置信度，确定所述第二类别对应的类别置信度；

基于所述第二类别，以及类别置信度，确定第二类别信息。

基于上述实施例，煤矸识别单元440用于：

确定各个密度子区间对应的置信度，所述置信度基于对应密度子区间的区间上限密度和区间下限密度与所述煤炭密度和所述矸石密度之间的差距确定；

从所述各个密度子区间中，确定所述煤矸密度所处的目标密度子区间，将所述目标密度子区间对应的置信度确定为所述第二类别对应的类别置信度。

基于上述实施例，确定所述第二类别对应的类别置信度的算法为如下公式：

其中，表示第二类别对应的类别置信度，j表示第二类别，j＝0表示煤炭，j＝1表示矸石，x_i表示第i个待识别煤矸，ρ表示煤矸密度，[ρ_k,ρ_k+1]为煤矸密度所处的目标密度子区间，M为密度子区间的数量，h_k(x_i)为目标密度子区间对应的置信度。

基于上述实施例，所述第一类别信息包括第一类别及其对应的类别置信度，所述第二类别信息包括第二类别及其对应的类别置信度；

煤矸识别单元440用于：

对比所述第一类别信息中的类别置信度和预设置信度阈值；

在对比结果指示所述第一类别信息中的类别置信度小于等于所述预设置信度阈值的情况下，基于所述第一类别及其对应的类别置信度，以及所述第二类别及其对应的类别置信度，确定煤炭和矸石各自对应的类别置信度均值；

从所述类别置信度均值中确定最大类别置信度均值，并将所述最大类别置信度均值对应的煤炭或矸石，确定为所述待识别煤矸的煤矸识别结果。

基于上述实施例，确定所述待识别煤矸的煤矸识别结果的算法为如下公式：

其中，H(x_i)为第i个待识别煤矸的煤矸识别结果，x_i表示第i个待识别煤矸，为第一类别对应的类别置信度，/>为第二类别对应的类别置信度，j＝0表示煤炭，j＝1表示矸石。

基于上述实施例，煤矸识别单元440还用于：

在所述对比结果指示所述第一类别信息中的类别置信度大于所述预设置信度阈值的情况下，将所述第一类别作为所述待识别煤矸的煤矸识别结果。

本发明还提供一种分选系统，图5是本发明提供的分选系统的结构示意图，如图5所示，该系统包括深度相机510、传送带520、处理器530以及机械臂540；

所述深度相机510用于采集视野范围内所述传送带520上待识别煤矸的二维图像和三维点云，并将所述二维图像和所述三维点云传输至所述处理器530；

所述处理器530用于基于所述二维图像和所述三维点云，确定所述待识别煤矸的煤矸识别结果，并将所述煤矸识别结果传输至所述机械臂540；

所述机械臂540用于基于所述煤矸识别结果，进行煤矸分选。

本发明提供的分选系统，处理器应用深度相机所采集的二维图像和三维点云进行煤矸识别，实现了待识别煤矸的自动识别，完善了煤矸石别的整体流程，实现了煤矸识别的全面化和精细化，同时提升了煤矸识别的准确度和识别效率，兼顾了实时性和有效性；此外，通过处理器与机械臂的连接，可以使得机械臂能够基于煤矸识别结果进行煤矸分选，实现了煤矸分选全流程的自动化，促进了矿山煤矸分选产业的快速发展，同时能够使得煤炭的经济效益最大化。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多特征融合的煤矸识别方法，其特征在于，包括：

通过深度相机采集视野范围内待识别煤矸的二维图像和三维点云；

基于所述二维图像的图像特征进行目标检测，得到煤矸预测结果，所述煤矸预测结果中包括所述待识别煤矸的第一类别信息；

基于所述三维点云进行体积估计，得到所述待识别煤矸的煤矸体积，基于所述煤矸体积和所述待识别煤矸的煤矸重量，计算煤矸密度，基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别信息；

基于所述煤矸预测结果中的第一类别信息，以及基于所述煤矸密度获取的第二类别信息，确定所述待识别煤矸的煤矸识别结果。

2.根据权利要求1所述的多特征融合的煤矸识别方法，其特征在于，所述基于所述三维点云进行体积估计，得到所述待识别煤矸的煤矸体积，包括：

对所述三维点云进行点云滤波，得到所述待识别煤矸的目标点云；

对所述目标点云进行三角剖分，得到所述目标点云的三角形表面；

以传送所述待识别煤矸的传送带的平面作为参考平面，基于所述三角形表面，求取所述目标点云相对所述参考平面的体积，作为所述待识别煤矸的煤矸体积。

3.根据权利要求2所述的多特征融合的煤矸识别方法，其特征在于，所述煤矸预测结果还包括所述待识别煤矸的数量信息和位置信息；

所述对所述三维点云进行点云滤波，得到所述待识别煤矸的目标点云，包括：

对所述三维点云进行点云滤波，得到所述待识别煤矸的初始点云；使用欧氏距离对所述初始点云进行点云聚类，得到初始点云聚类；

基于所述初始点云聚类中的点云数量，从所述初始点云聚类中筛选得到候选点云聚类；

基于所述煤矸预测结果中的数量信息和位置信息，对所述候选点云聚类进行点云分割，得到各个待识别煤矸的目标点云。

4.根据权利要求3所述的多特征融合的煤矸识别方法，其特征在于，确定所述各个待识别煤矸的目标点云的算法为如下公式：

其中，F(X_i)表示第i个待识别煤矸的目标点云，X_i表示第i个待识别煤矸的位置信息，X_i是第i个待识别煤矸的中心点像素坐标三角化得到的对应世界坐标系下的中心点三维坐标，cluster_l表示候选点云聚类，O为候选点云聚类的数量，d(X_i,cluster_l)表示第i个待识别煤矸的中心点三维坐标到各候选点云聚类的候选聚类中心的距离，N为待识别煤矸的数量，且O>N。

5.根据权利要求1至4中任一项所述的多特征融合的煤矸识别方法，其特征在于，所述基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别信息，包括：

基于所述煤矸密度进行类别预测，得到所述待识别煤矸的第二类别；

确定煤矸密度区间，并对所述煤矸密度区间进行等距划分，得到多个密度子区间，所述煤矸密度区间基于煤炭密度和矸石密度确定；

基于所述煤矸密度、所述各个密度子区间，以及所述各个密度子区间对应的置信度，确定所述第二类别对应的类别置信度；

基于所述第二类别，以及类别置信度，确定第二类别信息。

6.根据权利要求5所述的多特征融合的煤矸识别方法，其特征在于，所述基于所述煤矸密度、所述各个密度子区间，以及所述各个密度子区间对应的置信度，确定所述第二类别对应的类别置信度，包括：

确定各个密度子区间对应的置信度，所述置信度基于对应密度子区间的区间上限密度和区间下限密度与所述煤炭密度和所述矸石密度之间的差距确定；

从所述各个密度子区间中，确定所述煤矸密度所处的目标密度子区间，将所述目标密度子区间对应的置信度确定为所述第二类别对应的类别置信度。

7.根据权利要求6所述的多特征融合的煤矸识别方法，其特征在于，确定所述第二类别对应的类别置信度的算法为如下公式：

其中，表示第二类别对应的类别置信度，j表示第二类别，j＝0表示煤炭，j＝1表示矸石，x_i表示第i个待识别煤矸，ρ表示煤矸密度，[ρ_k,ρ_k+1]为煤矸密度所处的目标密度子区间，M为密度子区间的数量，h_k(x_i)为目标密度子区间对应的置信度。

8.根据权利要求1至4中任一项所述的多特征融合的煤矸识别方法，其特征在于，所述第一类别信息包括第一类别及其对应的类别置信度，所述第二类别信息包括第二类别及其对应的类别置信度；

所述基于所述煤矸预测结果中的第一类别信息，以及所述第二类别信息，确定所述待识别煤矸的煤矸识别结果，包括：

对比所述第一类别信息中的类别置信度和预设置信度阈值；

在对比结果指示所述第一类别信息中的类别置信度小于等于所述预设置信度阈值的情况下，基于所述第一类别及其对应的类别置信度，以及所述第二类别及其对应的类别置信度，确定煤炭和矸石各自对应的类别置信度均值；

从所述类别置信度均值中确定最大类别置信度均值，并将所述最大类别置信度均值对应的煤炭或矸石，确定为所述待识别煤矸的煤矸识别结果。

9.根据权利要求8所述的多特征融合的煤矸识别方法，其特征在于，确定所述待识别煤矸的煤矸识别结果的算法为如下公式：

其中，H(x_i)为第i个待识别煤矸的煤矸识别结果，x_i表示第i个待识别煤矸，为第一类别对应的类别置信度，/>为第二类别对应的类别置信度，j＝0表示煤炭，j＝1表示矸石。

10.权利要求8所述的多特征融合的煤矸识别方法，其特征在于，所述对比所述第一类别信息中的类别置信度和预设置信度阈值，之后还包括：

在所述对比结果指示所述第一类别信息中的类别置信度大于所述预设置信度阈值的情况下，将所述第一类别作为所述待识别煤矸的煤矸识别结果。