CN112990350B - 目标检测网络训练方法及基于目标检测网络煤矸识别方法 - Google Patents

Abstract

本发明提供了一种目标检测网络训练方法及基于目标检测网络煤矸识别方法，包括：获取预先采集的煤矸数据集；其中，煤矸数据集内的每个煤矸数据均包括煤区域和矸石区域；根据各个煤矸数据中的煤区域尺寸和矸石区域尺寸，对预先建立的改进型SSD网络的候选框参数进行设置得到候选检测网络；利用煤矸数据集对候选检测网络进行训练评估，确定用以对待处理煤矸图像进行煤矸检测的目标检测网络。本发明可以有效提高煤矸识别的准确度，还可以显著提高煤矸识别的自动化水平。

Description

目标检测网络训练方法及基于目标检测网络煤矸识别方法

技术领域

本发明涉及煤矸检测技术领域，尤其是涉及一种目标检测网络训练方法及基于目标检测网络煤矸识别方法。

背景技术

目前，综采放煤工艺采由人工控制液压支架的方式，由于缺乏煤岩识别技术手段，放煤过程通常需要现场人工观察和操作，不能实现自动化放煤。由于综放过程相较于综采过程存在更多粉尘，导致放煤操作环境条件更为恶劣，若生产现场依靠人工目测和听觉观察煤矸放落过程，将很难准确识别出矸石。但是，现有智能化放煤控制关键技术与装备并未取得突破，导致放煤智能化程度偏低，还存在资源回收率较低以及煤质难以保证等问题。

相关技术提出可以基于灰度卷积识别矸石，但是该种方式在有灰尘的情况下易于出现误识别的现象，且无法识别出带有颜色的矸石(诸如，黄矸)；另一相关技术还提出可以基于声音识别矸石，但是由于生产现场存在大量噪音，导致对收音设备的要求过高，致使无法准确识别出矸石，此外，该种方式还存在鲁棒性较差、割煤放煤无法同时进行等缺点。

综上所述，现有煤岩识别技术存在自动化较低、矸石识别准确度较差等问题。

发明内容

有鉴于此，本发明的目的在于提供一种目标检测网络训练方法及基于目标检测网络煤矸识别方法，可以有效提高煤矸识别的准确度，还可以显著提高煤矸识别的自动化水平。

第一方面，本发明实施例提供了一种目标检测网络训练方法，包括：获取预先采集的煤矸数据集；其中，所述煤矸数据集内的每个煤矸数据均包括煤区域和矸石区域；根据各个所述煤矸数据中的煤区域尺寸和矸石区域尺寸，对预先建立的改进型SSD网络的候选框参数进行设置得到候选检测网络；利用所述煤矸数据集对所述候选检测网络进行训练评估，确定用以对待处理煤矸图像进行煤矸检测的目标检测网络。

在一种实施方式中，所述获取预先采集的煤矸数据集的步骤，包括：通过图像采集设备对放顶煤场景进行监测；当监测到所述放顶煤场景发现画面变化时，采集所述放顶煤场景的煤矸数据；其中，所述煤矸数据包括放煤中图像和/或放煤后图像；对各个所述煤矸数据进行预处理，得到煤矸数据集；其中，所述预处理包括数据标注处理、对比度调整处理、归一化处理中的一种或多种。

在一种实施方式中，所述对各个所述煤矸数据进行预处理，得到煤矸数据集的步骤，包括：分别对各个所述煤矸数据进行数据标注处理，得到各个所述煤矸数据分别对应的标签；其中，标签用于表征所述煤矸数据中第一煤区域占比和/或第一矸石区域占比，所述第一煤区域占比与所述第一矸石区域占比之间的差值绝对值小于预设阈值；分别对各个所述煤矸数据进行对比度调整处理，以提高各个所述煤矸数据的对比度；分别对各个所述煤矸数据进行归一化处理，以将各个所述煤矸数据的尺寸归一化至指定尺寸。

在一种实施方式中，所述根据各个所述煤矸数据中的煤区域尺寸和矸石区域尺寸，对预先建立的改进型SSD网络的候选框参数进行设置得到候选检测网络的步骤，包括：按照各个所述煤矸数据中的煤区域尺寸和矸石区域尺寸，对各个所述煤矸数据进行聚类处理，得到多个聚类尺寸值；计算各个所述聚类尺寸值的均值；根据所述均值设置预先建立的改进型SSD网络的候选框尺寸比例，以及根据所述聚类尺寸值的数量设置所述改进型SSD网络的候选框数量，得到候选检测网络；其中，所述候选框参数包括所述候选框尺寸比例和所述候选框数量，所述候选检测网络的数量为多个；所述改进型SSD网络包括依次连接的第一预测层、第二预测层、第三预测层、第四预测层和第五预测层，所述第一预测层、所述第二预测层、所述第四预测层和所述第五预测层均设置有候选框。

在一种实施方式中，所述利用所述煤矸数据集对所述候选检测网络进行训练评估，确定用以对待处理煤矸图像进行煤矸检测的目标检测网络的步骤，包括：按照预设比例将所述煤矸数据集划分为训练数据集和测试数据集合；利用所述训练数据集分别对各个所述候选检测网络迭代指定次数；根据各个所述候选检测网络的损失值选择指定数量的候选检测网络；将所述测试数据集输入至选择的各个候选检测网络中，并计算选择的各个候选检测网络的mAP值；根据选择的各个候选检测网络的mAP值，从选择的各个候选检测网络中确定目标检测网络，以通过所述目标检测网络对待处理煤矸图像进行煤矸检测。

第二方面，本发明实施例还提供一种基于目标检测网络煤矸识别方法，包括：获取待处理煤矸图像；通过目标检测网络对所述待处理煤矸图像进行煤矸检测，得到所述待处理煤矸图像的煤矸检测结果；其中，所述目标检测网络是采用第一方面提供的任一项所述的方法训练得到的，所述待处理煤矸图像的煤矸检测结果包括所述待处理煤矸图像中的第二煤区域占比和/或第二矸石区域占比。

第三方面，本发明实施例还提供一种目标检测网络训练装置，包括：数据获取模块，用于获取预先采集的煤矸数据集；其中，所述煤矸数据集内的每个煤矸数据均包括煤区域和矸石区域；参数设置模块，用于根据各个所述煤矸数据中的煤区域尺寸和矸石区域尺寸，对预先建立的改进型SSD网络的候选框参数进行设置得到候选检测网络；训练评估模块，用于利用所述煤矸数据集对所述候选检测网络进行训练评估，确定用以对待处理煤矸图像进行煤矸检测的目标检测网络。

第四方面，本发明实施例还提供一种基于目标检测网络煤矸识别装置，包括：图像获取模块，用于获取待处理煤矸图像；煤矸检测模块，用于通过目标检测网络对所述待处理煤矸图像进行煤矸检测，得到所述待处理煤矸图像的煤矸检测结果；其中，所述目标检测网络是采用第一方面提供的任一项所述的方法训练得到的，所述待处理煤矸图像的煤矸检测结果包括所述待处理煤矸图像中的第二煤区域占比和/或第二矸石区域占比。

第五方面，本发明实施例还提供一种电子设备，包括处理器和存储器；所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如第一方面提供的任一项所述的方法，或，执行如第二方面提供的所述的方法。

第六方面，本发明实施例还提供一种计算机存储介质，用于储存为第一方面提供的任一项所述方法所用的计算机软件指令，或，储存为第二方面提供的所述方法所用的计算机软件指令。

本发明实施例提供的一种目标检测网络训练方法及装置，首先获取预先采集的煤矸数据集，且煤矸数据集内的每个煤矸数据均包括煤区域和矸石区域，然后根据各个煤矸数据中的煤区域尺寸和矸石区域尺寸，对预先建立的改进型SSD网络的候选框参数进行设置得到候选检测网络，再利用煤矸数据集对候选检测网络进行训练评估，确定用以对待处理煤矸图像进行煤矸检测的目标检测网络。上述方法利用煤矸数据中的煤区域尺寸和矸石区域尺寸对改进型SSD网络的候选框参数进行设置得到候选检测网络，再利用煤矸数据集对候选检测网络进行训练评估，以此得到的目标检测网络可以更为准确地识别出矸石，从而显著提高了煤矸识别的自动化水平。

本发明实施例提供的一种基于目标检测网络煤矸识别方法及装置，首先获取待处理煤矸图像，然后通过目标检测网络对待处理煤矸图像进行煤矸检测，得到待处理煤矸图像的煤矸检测结果。其中，上述目标检测网络是采用前述目标检测网络训练方法训练得到的，待处理煤矸图像的煤矸检测结果包括待处理煤矸图像中的第二煤区域占比和/或第二矸石区域占比。上述方法利用准确率更高的目标检测网络对待处理煤矸图像进行煤矸检测结果，可以有效提高矸石的检出率和检出效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种目标检测网络训练方法的流程示意图；

图2为本发明实施例提供的一种VGG16网络的结构示意图；

图3为本发明实施例提供的一种传统SSD网络的结构示意图；

图4为本发明实施例提供的一种改进型SSD网络的结构示意图；

图5为本发明实施例提供的另一种目标检测网络训练方法的流程示意图；

图6为本发明实施例提供的一种基于目标检测网络煤矸识别方法的流程示意图；

图7为本发明实施例提供的一种目标检测网络训练装置的结构示意图；

图8为本发明实施例提供的一种基于目标检测网络煤矸识别装置的结构示意图；

图9为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，放煤机构精准控制是综放开采放煤智能化的关键环节，是制约综放工作面实现智能化和无人化的技术难题，其中，智能化放煤的核心难点在于准确识别出矸石及矸石占比。放顶煤工艺目前自动化程度只能做到记忆放煤和定时放煤，大部分放煤操作还完全依赖人工，自动化程度低，为了减少人工干预，实现自动放煤，必须准确识别出放落的矸石及矸石占比。

常用的矸石识别方法包括以下两种：(1)基于灰度卷积识别矸石，具体的，在放煤时对采集的煤岩图像信息进行灰度分布、灰度均值等特征提取，再基于提取的特征进行煤岩形状识别，然而在实际应用中，由于井下放煤过程会产生大量灰尘，而简单的灰度卷积鲁棒性较差，因此该方法在有灰尘的情况将极易出现误识别情况，况且该种方法只利用灰度识别矸石，较为单一，丢失了色彩信息，导致无法识别出黄矸等带有颜色的矸石；(2)基于声音识别矸石，具体的，在放煤过程中，全煤和带矸煤落到溜子上的声音不同，待矸煤(或，矸石)下落的声音大于全煤下落的声音，因此可以通过分析音调来检测矸石，而该种方法仅在环境理想条件下有一定可行性，但是在实际应用中，综放工作面割煤机等设备工作时会产生大量噪音，导致对收音设备具有较高要求，市面上却难以找到符合要求的收音设备，该种方法的缺点在于割煤和放煤无法同时进行，且其鲁棒性较差。

基于此，本发明实施提供了一种目标检测网络训练方法及基于目标检测网络煤矸识别方法，可以有效提高煤矸识别的准确度，还可以显著提高煤矸识别的自动化水平。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种目标检测网络训练方法进行详细介绍，参见图1所示的一种目标检测网络训练方法的流程示意图，该方法主要包括以下步骤S102至步骤S106：

步骤S102，获取预先采集的煤矸数据集。其中，煤矸数据集内的每个煤矸数据均包括煤区域和矸石区域。在一种实施方式中，可以通过图像采集设备对放顶煤场景的图像进行采集，通过对采集到的图像进行一系列预处理即可得到煤矸数据集，其中，上述预处理可以包括图像去重处理、数据标注处理、对比度调整处理、归一化处理，数据分类处理等。

步骤S104，根据各个煤矸数据中的煤区域尺寸和矸石区域尺寸，对预先建立的改进型SSD(Single Shot MultiBox Detector)网络的候选框参数进行设置得到候选检测网络。其中，煤区域尺寸可以包括煤外接矩阵的宽和高，矸石区域尺寸可以包括矸石外接矩阵的宽和高，改进型SSD网络是在传统SSD网络的基础上得到的，示例性的，可以删除传统SSD网络中的指定特征层和第一指定预测层，保留传统SSD网络中的第二指定预测层，并在传统SSD网络中增加第三指定预测层，即可得到上述改进型SSD网络。另外，上述候选框参数可以包括候选框的数量和尺寸比例等。在一种实施方式中，可以按照尺寸大小将煤矸数据分为几类，再根据各类煤矸数据对应的尺寸对改进型SSD网络的候选框参数进行修改。

步骤S106，利用煤矸数据集对候选检测网络进行训练评估，确定用以对待处理煤矸图像进行煤矸检测的目标检测网络。在一种实施方式中，可以按照预设比例将煤矸数据集划分为训练数据集、验证数据集和测试数据集，诸如按照8:1:1的比例对煤矸数据集进行划分，再利用训练数据集对候选检测网络进行训练，利用验证数据集和测试数据集对候选检测网络进行评估，从而确定出最终所需的目标检测网络。本发明实施例提供的目标检测网络训练方法可以较好地应用于放煤工作场景，尤其是井下放煤工作场景。

本发明实施例提供的上述目标检测网络训练方法，利用煤矸数据中的煤区域尺寸和矸石区域尺寸对改进型SSD网络的候选框参数进行设置得到目标检测网络，再利用煤矸数据集对目标检测网络进行训练评估，以此得到的目标检测网络可以更为准确地识别出矸石，从而显著提高了煤矸识别的自动化水平。

为便于对前述实施例提供的步骤S102进行理解，本发明实施例提供了一种获取预先采集的煤矸数据集的实施方式，可以参见如下步骤1至步骤3：

步骤1，通过图像采集设备对放顶煤场景进行监测。在一种实施方式中，图像采集设备可以包括摄像头和与该摄像头通信连接的NVR(Network Video Recorder，网络视频录像机)设备，NVR设备内配置有移动侦测算法。

步骤2，当监测到放顶煤场景发现画面变化时，采集放顶煤场景的煤矸数据。其中，煤矸数据包括放煤中图像和/或放煤后图像，可选的，可以在不同条件下对煤矸数据进行采集。例如，假设需要采集1万张不同条件下的放煤中图像和放煤后图像，可以通过移动侦测算法监测放顶煤场景是否发现画面变化，一旦监测到画面变化即可采集放顶煤场景的煤矸数据，并自动存储采集到的煤矸数据。可以理解的是，检测到画面变化的时机可以是在放煤开始时，也可以是在放煤过程中，还可以是在放煤结束后等，此处不做特殊限定。在另一种可选的实施方式中，也可以在不同条件下持续对放顶煤场景的煤矸数据进行采集，由此种方式将采集到大量重复的煤矸数据，此时将需要对采集到的煤矸数据进行图像去重处理。

步骤3，对各个煤矸数据进行预处理，得到煤矸数据集。其中，预处理包括数据标注处理、对比度调整处理、归一化处理中的一种或多种。数据标注处理用于为煤矸数据标注标签；对比度调整处理包括对比度增加处理，用于提升煤矸数据的对比度；归一化处理用于使煤矸数据的尺寸统一。在一种可选的实施方式中，可以按照如下步骤3.1至步骤3.3执行对各个煤矸数据进行预处理，得到煤矸数据集的步骤：

步骤3.1，分别对各个煤矸数据进行数据标注处理，得到各个煤矸数据分别对应的标签。其中，标签用于表征煤矸数据中第一煤区域占比和/或第一矸石区域占比，第一煤区域占比与第一矸石区域占比之间的差值绝对值小于预设阈值。在一种实施方式中，可以利用标注软件对煤矸数据进行标注，通过对煤矸数据标注标签，可以明显获知煤矸数据中的煤数量和矸石数量，在实际应用中，煤数量和矸石数量不应差别太大，只有当煤矸数据中煤数量和矸石数量相当时才保留该煤矸数据。

步骤3.2，分别对各个煤矸数据进行对比度调整处理，以提高各个煤矸数据的对比度。考虑到井下放煤过程中，灰尘烟雾较大，为了较好地对煤矸数据进行归一化处理，需要预先对其对比度进行调节，可选的，可以利用gamma矫正对煤矸数据进行处理，可以达到提高图像对比度的目的。

步骤3.3，分别对各个煤矸数据进行归一化处理，以将各个煤矸数据的尺寸归一化至指定尺寸。其中，指定尺寸可以为512*512。

考虑到井下放顶煤过程中会产生大量烟雾灰尘，煤的吸光性较强，对于打光要求为严格，硬件设计难度大。传统图像检测方法鲁棒对于这种复杂环境适应力不强，且手工设计煤矸特征比较复杂，不能应用多种场景下。近年来卷积神经网络在图片分类、目标检测等领域取得了巨大的成功。相比手工设计特征，基于卷积神经网络的模型可以自主学习到不同层级的特征，特别更加丰富，表达能力更强。其中，传统SSD网络是典型的单阶段通用目标检测网络，直接使用传统SSD网络去检测煤矸，会存在冗余太大、浪费算力等问题。基于此，本发明实施例提供了一种改进型SSD网络。

为便于对上述改进型SSD网络进行理解，本发明实施例提供了一种改进型SSD网络结构的演化过程。首先，VGG16(Visual Graphics Generator)网络作为常用的特征提取网络，共有13个卷积层，3个全连接层，VGG16网络的结构示意图如图2所示。目前，传统SSD网络基于VGG16网络进行特征提取，去掉VGG16网络最后一层全连接层，并把FC6和FC7两个全连接层(fully connected layers)改为卷积层，并在此基础上额外增加4个卷积层，具体可参见图3所示的一种传统SSD网络的结构示意图。取VGG16网络中的Conv5_3、Conv7(FC7)和后加的4个卷积层特征做定位和分类。上述六个卷积层输出的特征图尺寸分别为：38*38、19*19、10*10、5*5、3*3、1*1。在实际应用中，低层特征感受野小，适合检测小目标，高层特征感受野大用来检测大目标，感受野从低到高依次变大。传统SSD网络的思路就是用不同大小的特征感受野来检测不同尺度的目标。

由于传统SSD网络最初设计出来是为了通用目标检测，目标尺寸范围大，且参数量大，对于具体场景具体目标的识别，效率较低且内存占用量大。基于此，本发明实施例根据放顶煤场景矸石特征对传统SSD网络进行改进。具体的，可以去除传统SSD网络中的Conv9_2、Con10_2和Cov11_2相关特征层和预测层，并保留传统SSD网络的Conv4_3、Conv6(FC6)和Conv7(FC7)预测层，以及新增Conv3_3预测层，即可得到本发明实施例提供的改进型SSD网络。在一种实施方式中，本发明实施例提供的改进型SSD网络包括依次连接的第一预测层、第二预测层、第三预测层、第四预测层和第五预测层，第一预测层、第二预测层、第四预测层和第五预测层均设置有候选框。为便于理解，参见图4所示的一种改进型SSD网络的结构示意图，其中，第一预测层即为上述Conv3_3，第二预测层即为上述Conv4_3，第三预测层即为上述Conv6(FC6)，第四预测层即为上述Conv7(FC7)，第五预测层即为conv8_2。

在图4的基础上，本发明实施例还提供了一种根据各个煤矸数据中的煤区域尺寸和矸石区域尺寸，对预先建立的改进型SSD网络的候选框参数进行设置得到候选检测网络的实施方式，可参见如下(1)至(3)：

(1)按照各个煤矸数据中的煤区域尺寸和矸石区域尺寸，对各个煤矸数据进行聚类处理，得到多个聚类尺寸值。在一种实施方式中，可以利用k-means聚类算法根据尺寸将目标对象(包括煤和矸石)分成N类，得到的N类目标对象的尺寸即为聚类尺寸值。例如，对各个煤矸数据进行聚类处理得到5个聚类尺寸值，或，对各个煤矸数据进行聚类处理得到3个聚类尺寸值(包括小块、中块、大块)。

(2)计算各个聚类尺寸值的均值。例如，分别计算上述3个聚类尺寸值的均值。

(3)根据均值设置预先建立的改进型SSD网络的候选框尺寸比例，以及根据聚类尺寸值的数量设置改进型SSD网络的候选框数量，得到候选检测网络。其中，候选框参数包括候选框尺寸比例和候选框数量，候选检测网络的数量为多个。例如，计算上述3个聚类尺寸值中宽的均值和高的均值，再计算宽的均值与高的均值的比例，从而根据该比例设置候选框尺寸比例，使候选框与真实框更好的匹配；并根据聚类尺寸指的数量(数量为3)，按照如下方式设置候选框数量，Conv3_3可以设置有5个候选框、Conv4_3可以设置有6个候选框，Conv7可以设置有6个候选框，conv8_2可以设置有5个候选框。

在一种实施方案中，在执行利用煤矸数据集对候选检测网络进行训练评估，确定用以对待处理煤矸图像进行煤矸检测的目标检测网络的步骤，可以参见如下步骤a至步骤e：

步骤a，按照预设比例将煤矸数据集划分为训练数据集和测试数据集合。例如，按照8：1：1比例将煤矸数据集分为训练数据集、验证数据集和测试数据集。

步骤b，利用训练数据集分别对各个候选检测网络迭代指定次数。例如，对于每个候选检测网络，将训练数据集输入至该候选检测网络，并优化迭代1万次。

步骤c，根据各个候选检测网络的损失值选择指定数量的候选检测网络。在一种实施方式中，可以统计每次迭代后的损失值，对候选检测网络和相应的损失值进行排序，选取损失值较小倒数5个候选检测网络。

步骤d，将测试数据集输入至选择的各个候选检测网络中，并计算选择的各个候选检测网络的mAP值(mean Average Precision，各类别AP的平均值)。例如，对于选择的每个候选检测网络，将测试数据集输入至该候选检测网络，并计算该候选检测网络的mAP值。

步骤e，根据选择的各个候选检测网络的mAP值，从选择的各个候选检测网络中确定目标检测网络，以通过目标检测网络对待处理煤矸图像进行煤矸检测。假设上述指定数量为5，可以将输入测试数据到这5个候选检测网络进行推理，并分别统计这5个候选检测网络的mAP值，选取mAP值较高的候选检测网络作为最终使用的目标检测网络。

为便于对上述实施例提供的目标检测网络训练方法进行理解，本发明实施例还提供了一种目标检测网络训练方法的应用示例，参见图5所示的另一种目标检测网络训练方法的流程示意图，该方法主要包括以下步骤S502至步骤S508：

步骤S502，自动采集煤矸数据。

步骤S504，对煤矸数据进行预处理。其中，预处理可以包括数据去重处理、数据分类处理、对比度增强处理、尺寸归一化处理、尺寸聚类处理等。

步骤S506，利用煤矸数据得到训练数据集，并利用训练数据集对改进型SSD网络进行训练。

步骤S508，利用煤矸数据得到验证数据集和测试数据集，并利用验证数据集和测试数据集对改进型SSD网络进行评估和推理。

在前述实施例提供的目标检测网络训练方法的基础上，本发明实施例还提供了一种基于目标检测网络煤矸识别方法，参见图6所示的一种基于目标检测网络煤矸识别方法的流程示意图，该方法主要包括以下步骤S602至步骤S604：

步骤S602，获取待处理煤矸图像。在一种实施方式中，可以采用摄像头采集放顶煤场景中的图像作为待处理煤矸图像。

步骤S604，通过目标检测网络对待处理煤矸图像进行煤矸检测，得到待处理煤矸图像的煤矸检测结果。其中，目标检测网络是采用前述实施例提供的目标检测网络训练方法训练得到的，待处理煤矸图像的煤矸检测结果包括待处理煤矸图像中的第二煤区域占比和/或第二矸石区域占比。

本发明实施例提供的上述基于目标检测网络煤矸识别方法，利用准确率更高的目标检测网络对待处理煤矸图像进行煤矸检测结果，可以有效提高矸石的检出率和检出效率。

综上所述，本发明实施例提供的目标检测网络训练方法，适用于井下放煤环境下的煤岩识别，精确度比传统方法和传统SSD网络检测方法高，节约内存且训练速度更快。

对于前述实施例提供的目标检测网络训练方法，本发明实施例提供了一种目标检测网络训练装置，参见图7所示的一种目标检测网络训练装置的结构示意图，该装置主要包括以下部分：

数据获取模块702，用于获取预先采集的煤矸数据集；其中，煤矸数据集内的每个煤矸数据均包括煤区域和矸石区域。

参数设置模块704，用于根据各个煤矸数据中的煤区域尺寸和矸石区域尺寸，对预先建立的改进型SSD网络的候选框参数进行设置得到候选检测网络。

训练评估模块706，用于利用煤矸数据集对候选检测网络进行训练评估，确定用以对待处理煤矸图像进行煤矸检测的目标检测网络。

本发明实施例提供的上述目标检测网络训练装置，利用煤矸数据中的煤区域尺寸和矸石区域尺寸对改进型SSD网络的候选框参数进行设置得到候选检测网络，再利用煤矸数据集对候选检测网络进行训练评估，以此得到的目标检测网络可以更为准确地识别出矸石，从而显著提高了煤矸识别的自动化水平。

在一种实施方式中，数据获取模块702还用于：通过图像采集设备对放顶煤场景进行监测；当监测到放顶煤场景发现画面变化时，采集放顶煤场景的煤矸数据；其中，煤矸数据包括放煤中图像和/或放煤后图像；对各个煤矸数据进行预处理，得到煤矸数据集；其中，预处理包括数据标注处理、对比度调整处理、归一化处理中的一种或多种。

在一种实施方式中，数据获取模块702还用于：分别对各个煤矸数据进行数据标注处理，得到各个煤矸数据分别对应的标签；其中，标签用于表征煤矸数据中第一煤区域占比和/或第一矸石区域占比，第一煤区域占比与第一矸石区域占比之间的差值绝对值小于预设阈值；分别对各个煤矸数据进行对比度调整处理，以提高各个煤矸数据的对比度；分别对各个煤矸数据进行归一化处理，以将各个煤矸数据的尺寸归一化至指定尺寸。

在一种实施方式中，参数设置模块704还用于：按照各个煤矸数据中的煤区域尺寸和矸石区域尺寸，对各个煤矸数据进行聚类处理，得到多个聚类尺寸值；计算各个聚类尺寸值的均值；根据均值设置预先建立的改进型SSD网络的候选框尺寸比例，以及根据聚类尺寸值的数量设置改进型SSD网络的候选框数量，得到候选检测网络；其中，候选框参数包括候选框尺寸比例和候选框数量，候选检测网络的数量为多个；改进型SSD网络包括依次连接的第一预测层、第二预测层、第三预测层、第四预测层和第五预测层，第一预测层、第二预测层、第四预测层和第五预测层均设置有候选框。

在一种实施方式中，训练评估模块706还用于：按照预设比例将煤矸数据集划分为训练数据集和测试数据集合；利用训练数据集分别对各个候选检测网络迭代指定次数；根据各个候选检测网络的损失值选择指定数量的候选检测网络；将测试数据集输入至选择的各个候选检测网络中，并计算选择的各个候选检测网络的mAP值；根据选择的各个候选检测网络的mAP值，从选择的各个候选检测网络中确定目标检测网络，以通过目标检测网络对待处理煤矸图像进行煤矸检测。

对于前述实施例提供的基于目标检测网络煤矸识别方法，本发明实施例提供了一种基于目标检测网络煤矸识别装置，参见图8所示的一种基于目标检测网络煤矸识别装置的结构示意图，该装置主要包括以下部分：

图像获取模块802，用于获取待处理煤矸图像。

煤矸检测模块804，用于通过目标检测网络对待处理煤矸图像进行煤矸检测，得到待处理煤矸图像的煤矸检测结果；其中，目标检测网络是采用前述实施例提供的目标检测网络训练方法训练得到的，待处理煤矸图像的煤矸检测结果包括待处理煤矸图像中的第二煤区域占比和/或第二矸石区域占比。

本发明实施例提供的上述基于目标检测网络煤矸识别装置，利用准确率更高的目标检测网络对待处理煤矸图像进行煤矸检测结果，可以有效提高矸石的检出率和检出效率。

本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。

图9为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器90，存储器91，总线92和通信接口93，所述处理器90、通信接口93和存储器91通过总线92连接；处理器90用于执行存储器91中存储的可执行模块，例如计算机程序。

其中，存储器91可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口93(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。

总线92可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器91用于存储程序，所述处理器90在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器90中，或者由处理器90实现。

处理器90可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器90中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器90可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器91，处理器90读取存储器91中的信息，结合其硬件完成上述方法的步骤。

本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见前述方法实施例，在此不再赘述。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (9)

1.一种目标检测网络训练方法，其特征在于，包括：

获取预先采集的煤矸数据集；其中，所述煤矸数据集内的每个煤矸数据均包括煤区域和矸石区域；

根据各个所述煤矸数据中的煤区域尺寸和矸石区域尺寸，对预先建立的改进型SSD网络的候选框参数进行设置得到候选检测网络；

利用所述煤矸数据集对所述候选检测网络进行训练评估，确定用以对待处理煤矸图像进行煤矸检测的目标检测网络；

所述根据各个所述煤矸数据中的煤区域尺寸和矸石区域尺寸，对预先建立的改进型SSD网络的候选框参数进行设置得到候选检测网络的步骤，包括：

按照各个所述煤矸数据中的煤区域尺寸和矸石区域尺寸，对各个所述煤矸数据进行聚类处理，得到多个聚类尺寸值；

计算各个所述聚类尺寸值的均值；

根据所述均值设置预先建立的改进型SSD网络的候选框尺寸比例，以及根据所述聚类尺寸值的数量设置所述改进型SSD网络的候选框数量，得到候选检测网络；其中，所述候选框参数包括所述候选框尺寸比例和所述候选框数量，所述候选检测网络的数量为多个；

所述改进型SSD网络包括依次连接的第一预测层、第二预测层、第三预测层、第四预测层和第五预测层，所述第一预测层、所述第二预测层、所述第四预测层和所述第五预测层均设置有候选框。

2.根据权利要求1所述的方法，其特征在于，所述获取预先采集的煤矸数据集的步骤，包括：

通过图像采集设备对放顶煤场景进行监测；

当监测到所述放顶煤场景发现画面变化时，采集所述放顶煤场景的煤矸数据；其中，所述煤矸数据包括放煤中图像和/或放煤后图像；

对各个所述煤矸数据进行预处理，得到煤矸数据集；其中，所述预处理包括数据标注处理、对比度调整处理、归一化处理中的一种或多种。

3.根据权利要求2所述的方法，其特征在于，所述对各个所述煤矸数据进行预处理，得到煤矸数据集的步骤，包括：

分别对各个所述煤矸数据进行数据标注处理，得到各个所述煤矸数据分别对应的标签；其中，标签用于表征所述煤矸数据中第一煤区域占比和/或第一矸石区域占比，所述第一煤区域占比与所述第一矸石区域占比之间的差值绝对值小于预设阈值；

分别对各个所述煤矸数据进行对比度调整处理，以提高各个所述煤矸数据的对比度；

分别对各个所述煤矸数据进行归一化处理，以将各个所述煤矸数据的尺寸归一化至指定尺寸。

4.根据权利要求1所述的方法，其特征在于，所述利用所述煤矸数据集对所述候选检测网络进行训练评估，确定用以对待处理煤矸图像进行煤矸检测的目标检测网络的步骤，包括：

按照预设比例将所述煤矸数据集划分为训练数据集和测试数据集合；

利用所述训练数据集分别对各个所述候选检测网络迭代指定次数；

根据各个所述候选检测网络的损失值选择指定数量的候选检测网络；

将所述测试数据集输入至选择的各个候选检测网络中，并计算选择的各个候选检测网络的mAP值；

根据选择的各个候选检测网络的mAP值，从选择的各个候选检测网络中确定目标检测网络，以通过所述目标检测网络对待处理煤矸图像进行煤矸检测。

5.一种基于目标检测网络煤矸识别方法，其特征在于，包括：

获取待处理煤矸图像；

通过目标检测网络对所述待处理煤矸图像进行煤矸检测，得到所述待处理煤矸图像的煤矸检测结果；其中，所述目标检测网络是采用权利要求1-4任一项所述的方法训练得到的，所述待处理煤矸图像的煤矸检测结果包括所述待处理煤矸图像中的第二煤区域占比和/或第二矸石区域占比。

6.一种目标检测网络训练装置，其特征在于，包括：

数据获取模块，用于获取预先采集的煤矸数据集；其中，所述煤矸数据集内的每个煤矸数据均包括煤区域和矸石区域；

参数设置模块，用于根据各个所述煤矸数据中的煤区域尺寸和矸石区域尺寸，对预先建立的改进型SSD网络的候选框参数进行设置得到候选检测网络；

训练评估模块，用于利用所述煤矸数据集对所述候选检测网络进行训练评估，确定用以对待处理煤矸图像进行煤矸检测的目标检测网络；

所述参数设置模块还用于：

按照各个所述煤矸数据中的煤区域尺寸和矸石区域尺寸，对各个所述煤矸数据进行聚类处理，得到多个聚类尺寸值；

计算各个所述聚类尺寸值的均值；

根据所述均值设置预先建立的改进型SSD网络的候选框尺寸比例，以及根据所述聚类尺寸值的数量设置所述改进型SSD网络的候选框数量，得到候选检测网络；其中，所述候选框参数包括所述候选框尺寸比例和所述候选框数量，所述候选检测网络的数量为多个；

所述改进型SSD网络包括依次连接的第一预测层、第二预测层、第三预测层、第四预测层和第五预测层，所述第一预测层、所述第二预测层、所述第四预测层和所述第五预测层均设置有候选框。

7.一种基于目标检测网络煤矸识别装置，其特征在于，包括：

图像获取模块，用于获取待处理煤矸图像；

煤矸检测模块，用于通过目标检测网络对所述待处理煤矸图像进行煤矸检测，得到所述待处理煤矸图像的煤矸检测结果；其中，所述目标检测网络是采用权利要求1-4任一项所述的方法训练得到的，所述待处理煤矸图像的煤矸检测结果包括所述待处理煤矸图像中的第二煤区域占比和/或第二矸石区域占比。

8.一种电子设备，其特征在于，包括处理器和存储器；

所述存储器上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至4任一项所述的方法，或，执行如权利要求5所述的方法。

9.一种计算机存储介质，其特征在于，用于储存为权利要求1至4任一项所述方法所用的计算机软件指令，或，储存为权利要求5所述方法所用的计算机软件指令。

Images