CN110135289A - 一种基于深度学习的煤矿井下智能应用云服务平台 - Google Patents

Abstract

本发明提供的基于深度学习的煤矿井下智能应用云服务平台，为用户提供智能感知模型训练所需的样本数据库集，尤其是三维样本数据库集。云服务平台还集成有深度学习框架以及功能接口。客户端通过调用信息获取接口、框架调度接口能够直接从云服务平台中调取训练样本数据和深度学习框架执行迭代训练并获得满足用户需求的智能感知模型，通过数据下载接口将训练得到的符合需求的感知模型下载到客户端本地，供用户技术研究开发使用。以上方案，对于客户端配置要求大大降低的同时，能够为用户提供煤矿井下所涉及到的三维空间样本数据和深度学习框架供用户训练学习得到所需要的智能感知模型，满足煤矿井下基于深度学习的智能感知应用技术开发需求。

Description

一种基于深度学习的煤矿井下智能应用云服务平台

技术领域

本发明涉及煤矿自动化、智能化开采技术领域，具体涉及一种基于深度学习的煤矿井下智能应用云服务平台。

背景技术

随着人工智能的快速发展，为了实现煤矿智能化、无人化开采，需要对煤矿井下设备、工作人员及环境状况建立起智能化感知、认知模型。由于机器学习特别是深度学习技术的广泛推广应用，现有技术中推出多种能够对样本数据进行训练学习的机器学习方法模型和框架。在具体实现过程中，用户可以获取某一场景下的海量数据作为样本数据，选择某一机器学习框架和模型对样本数据进行迭代训练。在迭代训练过程中，计算每次训练结果与期望值之间的误差，利用误差反向传播来调整优化算法模型中的权重参数，直至误差趋于零或者训练次数达到设定阈值。最终训练得到的模型可供用户实际应用开发使用，作为具体场景智能感知、认知的算法模型。

目前在解决煤矿井下智能感知难题，实现煤矿智能化、无人化开采的进程中，诸如上述方案的现有技术，还难以推广应用到煤矿井下实际场景中，归结其主要原因在于煤炭领域行业相对专业，作业场景环境复杂，外界获取机器学习的样本数据途径有限，数量远远达不到技术本身要求的规模。即使网络上获取的训练样本数据，其规模数量极其有限，类别丰富程度也比较单一。同时，由于煤矿井下场景的复杂性和特殊性，迫切需要解决井下三维空间的智能感知问题，而对于井下三维空间的智能感知模型训练所需的三维空间样本数据更是缺乏，甚至匮乏。同时，目前用户可以获得的公开样本数据也无法满足煤矿井下基于深度学习的智能感知应用需求。

发明内容

本发明实施例旨在提供一种基于深度学习的煤矿井下智能应用云服务平台，以解决现有技术中的服务平台无法满足煤矿井下基于深度学习的智能感知应用技术开发的样本数据需求。

为解决上述技术问题，本发明提供一种基于深度学习的煤矿井下智能应用云服务平台，包括：

样本数据库集，其包括用于煤矿井下三维空间感知的三维点云样本数据库集；所述三维点云样本数据库集包括三维空间感知训练样本子集和三维空间感知验证样本子集；

深度学习框架集合，包括至少一种深度学习框架模型；

功能接口，供客户端调用；所述功能接口包括与所述样本数据库集连接的信息获取接口、与所述深度学习框架集合连接的框架调度接口以及数据下载接口；

响应于客户端发送的三维空间感知模型训练指令，所述框架调度接口从所述深度学习框架集合中调取深度学习框架模型，所述信息获取接口从所述样本数据库集中调取所述三维空间感知训练样本子集和所述三维空间感知验证样本子集，所述深度学习框架模型根据所述三维空间感知训练样本子集和所述三维空间感知验证样本子集执行迭代训练对所述深度学习框架模型的权重参数进行调整优化以得到符合需求的三维空间感知模型；

响应于客户端发送的模型下载指令，所述数据下载接口将所述符合需求的三维空间感知模型下载至客户端本地。

可选地，上述的基于深度学习的煤矿井下智能应用云服务平台中，所述三维点云样本数据库集中还包括三维空间感知测试样本子集；

响应于客户端发送的三维空间感知模型测试指令，所述信息获取接口从所述样本数据库集中调取所述三维空间感知测试样本子集，将所述三维空间感知测试样本子集中的数据输入至所述符合需求的三维空间感知模型中测试所述符合需求的三维空间感知模型的性能。

可选地，上述的基于深度学习的煤矿井下智能应用云服务平台中，所述样本数据库集中还包括用于煤矿井下视觉感知的二维视觉图像样本数据库集；所述二维视觉图像样本数据库集包括二维视觉图像训练样本子集和二维视觉图像验证样本子集；

响应于客户端发送的视觉感知模型训练指令，所述框架调度接口从所述深度学习框架集合中调取深度学习框架模型，所述信息获取接口从所述样本数据库集中调取所述二维视觉图像训练样本子集和所述二维视觉图像验证样本子集，所述深度学习框架模型根据所述二维视觉图像训练样本子集和所述二维视觉图像验证样本子集执行迭代训练，根据迭代训练对所述深度学习框架模型的权重参数进行调整优化以得到符合需求的视觉感知模型；

响应于客户端发送的模型下载指令，通过所述数据下载接口将所述符合需求的视觉感知模型下载至客户端本地。

可选地，上述的基于深度学习的煤矿井下智能应用云服务平台中，所述二维视觉图像样本数据库集中还包括二维视觉图像测试样本子集；

响应于客户端发送的视觉感知模型测试指令后，所述信息获取接口从所述二维视觉图像样本数据库集中调取所述二维视觉图像测试样本子集，将所述二维视觉图像测试样本子集中的数据输入至所述符合需求的视觉感知模型中测试所述符合需求的视觉感知模型的性能。

可选地，上述的基于深度学习的煤矿井下智能应用云服务平台中，所述功能接口还包括样本数据上传接口；

响应于客户端发送的样本数据上传指令后，所述样本数据上传接口将客户端本地的二维视觉图像训练样本数据上传至所述二维视觉图像训练样本子集中，或者将客户端本地的二维视觉图像验证样本数据上传至所述二维视觉图像验证样本子集中，或者将客户端本地的二维视觉图像测试样本数据上传至所述二维视觉图像测试样本子集中，或者将客户端本地的三维空间感知训练样本数据上传至三维空间感知训练样本子集中，或者将客户端本地的三维空间感知验证样本数据上传至所述三维空间感知验证样本子集中，或者将客户端本地的三维空间感知测试样本数据上传至所述三维空间感知测试样本子集中。

可选地，上述的基于深度学习的煤矿井下智能应用云服务平台中，所述功能接口还包括：

格式转换接口，与所述样本数据上传接口连接；响应于客户端发送的格式转换指令后，所述格式转换接口将所述样本数据上传接口上传的样本数据转换至目标格式后再将其上传至相应子集中；

个性化标注接口，与所述样本数据库集和所述样本数据上传接口连接；

响应于客户端发送的个性化标注指令后，所述个性化标注接口对客户端上传的样本数据进行标注操作，并分别将样本数据、样本数据标注结果通过样本数据上传接口上传至样本数据库集的对应数据库集中，同时存储于客户端本地。

可选地，上述的基于深度学习的煤矿井下智能应用云服务平台中，所述三维点云样本数据库集中还包括标定数据子集；所述标定数据子集包括用于对可见光摄像仪进行标定的摄像仪标定数据和用于对三维激光雷达扫描仪进行标定的扫描仪标定数据；

所述摄像仪标定数据用于表征可见光摄像仪之间的旋转及平移位置关系，视觉图像的畸变矫正以及矫正后视觉图像在三维空间的转换；所述扫描仪标定数据用于表征三维激光雷达扫描仪坐标系到可见光摄像仪坐标系的旋转及平移位置关系。

可选地，上述的基于深度学习的煤矿井下智能应用云服务平台中，所述二维视觉图像样本数据库集中：

所述二维视觉图像训练样本子集中存储的二维视觉图像训练样本数据包括一一对应的视觉图像数据和标注数据；

所述二维视觉图像验证样本子集中存储的二维视觉图像验证样本数据包括一一对应的视觉图像数据和标注数据；

所述二维视觉图像测试样本子集中存储的二维视觉图像测试样本数据。

可选地，上述的基于深度学习的煤矿井下智能应用云服务平台中，所述三维点云样本数据库集中：

所述三维点云样本数据库集中的三维空间感知训练样本子集包括一一对应的视觉图像数据、点云数据和标注数据；

所述三维点云样本数据库集中的三维空间感知验证样本子集包括一一对应的视觉图像数据、点云数据和标注数据；

所述三维点云样本数据库集中的三维空间感知测试样本子集包括一一对应的视觉图像数据和点云数据。

可选地，上述的基于深度学习的煤矿井下智能应用云服务平台中，还包括：

至少一个图形处理器，所述图形处理器用于对输入至样本数据库集中的初始二维视觉图像样本数据或三维点云样本数据进行处理分析，其满足基于所述二维视觉图像样本数据库集或所述三维点云样本数据库集的训练学习需求。

与现有技术相比，本发明实施例提供的上述技术方案至少具有以下有益效果：

本发明实施例提供的基于深度学习的煤矿井下智能应用云服务平台，为用户提供智能感知模型训练所需的样本数据库集，尤其是三维样本数据库集。同时，云服务平台还集成有深度学习框架以及功能接口。用户的客户端通过调用信息获取接口、框架调度接口能够直接从云服务平台中调取训练样本数据(包括二维视觉图像样本数据和三维空间样本数据)和深度学习框架执行迭代训练并获得满足用户需求的智能感知模型。用户可以通过数据下载接口将训练得到的符合需求的感知模型下载到客户端本地，供用户技术研究开发使用。本发明提供的以上方案，对于用户的客户端配置要求大大降低的同时，能够为用户提供煤矿井下所涉及到的视觉图像以及三维空间样本数据和深度学习框架供用户训练学习得到所需要的智能感知模型，因此本发明提供的上述云平台能够满足煤矿井下基于深度学习的智能感知应用技术开发需求。

附图说明

图1为本发明一个实施例所述基于深度学习的煤矿井下智能应用云服务平台的原理框图；

图2为本发明一个实施例所述用于三维样本数据采集的数据采集平台的结构框图；

图3为本发明一个实施例所述三维点云样本数据库集中的数据文件组织结构图；

图4为本发明另一个实施例所述基于深度学习的煤矿井下智能应用云服务平台的原理框图；

图5为本发明一个实施例所述二维视觉图像样本数据库集中的数据文件组织结构图。

具体实施方式

下面将结合附图进一步说明本发明实施例。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的简化描述，而不是指示或暗示所指的装置或组件必需具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。其中，术语“第一位置”和“第二位置”为两个不同的位置。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

本实施例提供一种基于深度学习的煤矿井下智能应用云服务平台，如图1所示，包括样本数据库集100，功能接口200，深度学习框架集合300和底层硬件基础400。其中，样本数据库集100包括用于煤矿井下三维空间感知的三维点云样本数据库集；所述三维点云样本数据库集包括三维空间感知训练样本子集和三维空间感知验证样本子集。所述深度学习框架集合300，包括至少一种深度学习框架模型，如图中所示，深度学习框架模型可以有Darknet，Caffe、Theano，Torch，Tensorflow，Mxnet等框架。所述功能接口200供客户端500调用，客户端500可以通过Web浏览器、远程登录等方式连接到云服务平台，从而实现对功能接口200的调用。所述功能接口200包括与所述样本数据库集连接的信息获取接口201、与所述深度学习框架集合300连接的框架调度接口202以及与客户端500连接的数据下载接口300；用户通过客户端500登录云服务平台后，可以向云服务平台发送三维空间感知模型训练指令。而云服务平台在收到三维空间感知模型训练指令后，所述框架调度接口202从所述深度学习框架集合300中调取深度学习框架模型(具体调用哪种深度学习框架模型可以依据自己的实际需求选择)，所述信息获取接口201从所述样本数据库集100中调取三维空间感知训练样本子集和三维空间感知验证样本子集，所述深度学习框架模型根据三维空间感知训练样本子集和三维空间感知验证样本子集执行迭代训练，根据迭代训练对所述深度学习框架模型的权重参数进行调整优化以得到符合需求的三维空间感知模型；当得到符合需求三维空间感知模型后，用户可以通过客户端500向云服务平台发送模型下载指令，云服务平台收到模型下载指令后，所述数据下载接口203将所述符合需求的三维空间感知模型下载至客户端500本地。

对于以上方案中的三维点云样本数据，可以通过以下方式获取：

一是由自制的采集平台在煤矿井下进行采集，之后将采集的样本数据上传至云服务平台中。为了实现井下设备目标关键部位在井下三维空间中的检测、识别、视觉测量，以及井下无人工作面的三维重建等智能化应用需求，需要获取井下场景的三维空间点云数据。本实施例中采用图2所示的三维点云数据采集平台实现三维样本数据的采集。如图所示，煤矿井下空间及目标对象的三维点云数据采集平台主要由两个可见光摄像仪，一个三维激光雷达扫描仪组成。为了方便传感器标定，规定各传感器坐标系方向为：可见光摄像仪:x＝右,y＝下,z＝前方；三维激光雷达:x＝前方,y＝左,z＝上。三维点云数据是由三维激光雷达扫描空间后获取的结果数据。而两个可见光摄像仪可采集二维可视化视觉图像。三维点云数据表征场景空间的三维信息，二维视觉图像表征目标对象的可视化颜色、纹理特征。由于增加了三维空间信息，对于场景中的目标对象来说，不但能够获取包括场景目标对象可视化视觉特征，还能够获取到目标对象在三维空间中的位置信息，以及目标对象与另一目标对象之间的距离等。

二是由用户通过客户端上传，不同的用户可能在工作过程中均采集收集到一些样本数据，当用户在使用云服务平台时，可以将自己的客户端本地的样本数据上传至云服务平台中，用于扩充丰富样本数据库集。

三是从互联网中收集，有些机构或者工作人员可能获取到过一定量的煤矿井下的三维点云样本数据，但是对于他们来说并没有将这些样本数据用于到智能感知模型构建的过程中而是用作其他用途。如果这些样本数据在网络上公开且可以被公众所使用，则云服务平台亦可以从网络上获取收集这些样本数据，用于扩充平台的三维点云样本数据。

另外，对于深度学习框架模型，其具体的迭代训练过程均是现有技术中已有的方法，在本实施例中不在详细介绍。本实施例中方案重点介绍对于样本数据的处理过程。在获取到样本数据后，需要对其进行标注操作，使得样本数据库中的数据具有相同的格式且使得训练样本数据和验证样本数据具有人为先验的标签信息能够满足监督机器学习框架对样本数据的要求。对于三维点云样本数据来说其可见光摄像仪产生的二维视觉图像数据采用jpg的格式进行存储。对于三维激光雷达扫描仪产生的三维点云数据采用txt格式存储，同时针对每一个点云数据需要为其添加与该数据具有唯一对应关系的标注信息，其采用xml格式存储。同时，三维样本数据还包括三维数据采集平台中可见光摄像仪、三维激光雷达扫描仪传感器的标定数据都，其采用txt格式存储。可见光摄像仪标定数据用于表征可见光摄像仪之间的旋转、平移位置关系，可见光摄像仪的标定，视觉图像的畸变矫正，以及矫正后视觉图像的在三维空间的转换；三维激光雷达扫描仪标定数据用于表征三维激光雷达扫描仪坐标系到可见光摄像仪坐标系的旋转、平移位置关系。相应的，对于三维空间感知训练样本子集、验证样本子集和测试样本子集中的数据格式要求是相同的。例如图2中的数据采集平台采集的数据包括可见光摄像仪产生的二维视觉图像数据，以及三维激光雷达扫描产生的3D点云数据，通过二维视觉图像数据表征目标对象的可视化信息特征，利用3D点云数据表征映目标对象在三维空间三维立体信息特征。

当选定了深度学习框架模型之后，采用三维空间感知训练样本子集和三维空间感知验证样本子集中的样本数据进行迭代训练，不同深度学习框架模型的训练机理可能略有不同，但是基本上都遵循如下的规律：三维空间感知训练样本子集在模型训练过程时使用；三维空间感知验证样本子集是在迭代训练过程中，用三维空间感知训练样本子集做训练，三维空间感知验证样本子集用来初步验证结果，这里的验证结果是单一某一评估指标，该评估指标可以选择对于用户需求来说最重要的一个指标。因此，三维空间感知验证样本子集和三维空间感知训练样本子集一起被输入到深度学习框架中但实际上三维空间感知验证样本子集不参与模型训练，只是用来快速计算模型的某一评估指标。在每次迭代训练过程中，将三维空间感知验证样本子集数据输入三维空间感知训练样本子集训练的模型获得计算结果与期望值之间的误差，利用误差反向传播来调整优化算法模型中的权重参数，直至误差趋于零或者训练次数达到设定阈值。最后将最终确定了权重参数的深度学习框架模型作为最后的智能感知模型。

如图3所示，所述三维点云样本数据库集中还包括三维空间感知测试样本子集；用户可以通过客户端发送三维感知模型测试指令给云服务平台，云服务平台接收到测试指令后，所述信息获取接口200从所述样本数据库集100中调取所述三维点云测试子集，将所述三维点云测试子集中的数据输入至所述三维感知模型中测试所述三维感知模型性能。实际上三维点云测试子集中的数据输入到最终的三维感知模型中，得到的感知识别结果的准确程度提示给用户，供用户了解。也就是说，测试子集的作用并不是快速查看结果的，它是在模型训练结束后提供一个模型的完整评估报告，使用户可以更好的从多个维度评价模型的性能。

另外，云服务平台中集成有高配置的底层硬件基础400，其中包括至少一个图形处理器GPUs401，至少一个处理器CPUs402，存储模组403和网络模块404，用户完全可以远程登录到云服务平台中利用平台中的硬件基础结合软件方法来实现自己所需要感知模型训练，当得到最终的训练结果时直接下载到本地存储即可，这样用户所使用的客户端500的配置要求代价就大大降低，给客户带来极大的便利。

三维样本数据还包括三维数据采集平台中可见光摄像仪、三维激光雷达扫描仪传感器的标定数据都采用txt格式存储。可见光摄像仪标定数据用于表征可见光摄像仪之间的旋转、平移位置关系，用于可见光摄像仪的标定，视觉图像的畸变矫正，以及矫正后视觉图像的在三维空间的转换；三维激光雷达扫描仪标定数据用于表征三维激光雷达扫描仪坐标系到可见光摄像仪坐标系的旋转、平移位置关系。

实施例2

本实施例提供的基于深度学习的煤矿井下智能应用云服务平台，所述样本数据库集100中还包括用于存储煤矿井下的二维视觉图像样本数据库集，所述二维视觉图像样本数据库集包括二维视觉图像训练子集和二维视觉图像验证子集；响应于客户端500发送的视觉感知模型训练指令，所述框架调度接口202从所述深度学习框架集合300中调取深度学习框架模型，所述信息获取接口201从所述样本数据库集100中调取所述二维视觉图像训练子集和所述二维视觉图像验证子集，所述深度学习框架利用所述二维视觉图像训练子集和所述二维视觉图像验证子集执行迭代训练，根据迭代训练对所述深度学习框架模型的权重参数进行调整优化以得到符合需求的视觉感知模型；收到模型下载指令后，通过所述数据下载接口203将所述符合需求的视觉感知模型下载至客户端500本地。

其中二维视觉图像样本数据是根据煤矿领域的不同作业场景，针对现场设备环境目标对象需要智能化检测、识别的需求进行分析，类别进行归纳，总结不同的数据样本种类，可以实现由多渠道多方式获取和采集。其大致种类和来源可以归纳如下：

1、煤矿工作人员(矿工)目标对象

煤矿工人作为一种在煤矿特殊场景工作的工作人员，其视觉特征既具有一定的特殊性，也具有一般的共性特征。通过分析可以分为井上工人，井下矿工两大类。针对井上作业现场煤矿工人的安全保障和智能化应用需求，可以实现基于监控视频的煤矿工人厂况检测、识别考勤签到(大多情况为入井前)、行为分析等等。针对这类二维视觉图像数据一种途径可以通过矿厂监控视频直接采集，其视觉画面质量相对高。同时可以通过网络爬虫方式来获取整理，从而可以丰富样本数据的多样性。而有关煤矿井下环境的矿工，根据安全规章制度要求，以及智能化应用需求考虑，基于井下可视化远程监控视频的危险区域矿工出现的异常检测、井下矿工的人数统计、出井前的识别考勤等需求，往往可以通过井下可视化远程监控视频采集。

(2)煤矿设备环境的目标对象

针对煤矿设备环境的目标对象，同样可以根据作业场景分为井上和井下两类。井上需要检测、识别、监控的目标对象主要为车辆。车辆相关的二维视频图像数据主要可以通过公共数据集进行挑选收集，以及网站零星爬虫获取。而对于井下场景的目标对象，大致可以归纳为采煤机机器部件、运输机机器部件、液压支架及其部件、井下交通车、大块煤等。此类目标对象的二维视觉图像数据可通过远程可视化井下的煤机视频、煤壁视频、支架视频进行采集整理，同时可以通过各设备厂商网站及公共网络爬虫获取。

二维视觉图像数据样本训练库集主要组成部分包括煤矿工作人员(矿工)目标对象样本数据，煤矿设备环境目标对象样本数据。涵盖煤矿井下设备围岩环境的全部目标对象类别，如采煤机摇臂、采煤机滚筒、采煤机拖拽电缆、支架护帮板、支架顶梁、井下交通车、大块煤等类别目标，各个目标对象存在不同程度的遮挡与截断。同三维图像样本数据的处理方式类似，二维视觉图像样本也需要进行标注，每一图像均唯一对应于一个标注文件。参考图5，图像样本数据的格式为JPG，标注数据文件格式为XML或者TXT。根据目标对象类别的类间平衡原则，数据集中各类目标对象被包含图像样本数目应该相同，如此以来可以保证在后续训练过程中，各个被送入深度学习框架中的机会就相同。因此考虑到同一样本数据包含多个目标对象的实际情况，其图像样本的最少数目应该在8000到10000之间，分为训练子集、验证子集和测试子集。而训练子集、验证子集和测试子集的调用方式可参考实施例1中对于三维点云样本数据库中三个子集的数据调用方式。

用户通过客户端远程登录到云服务平台，根据自己的需求选择三维样本训练或者二维样本训练，深度学习框架也是依据自己的需求进行调用。另外，为了使煤矿领域有关的科学研究和相关技术开发用户灵活方便使用数据集，云服务平台还为用户提供了其他方便快捷的数据集使用接口。参考图4，云服务平台的功能接口200中还可以包括：

数据上传接口204，云服务平台收到上传指令后，所述样本数据上传接口204将客户端本地的二维视觉图像训练样本数据上传至所述二维视觉图像训练样本子集中，或者将客户端本地的二维视觉图像验证样本数据上传至所述二维视觉图像验证样本子集中，或者将客户端本地的二维视觉图像测试样本数据上传至所述二维视觉图像测试样本子集中，或者将客户端本地的三维空间感知训练样本数据上传至三维空间感知训练样本子集中，或者将客户端本地的三维空间感知验证样本数据上传至所述三维空间感知验证样本子集中，或者将客户端本地的三维空间感知测试样本数据上传至所述三维空间感知测试样本子集中。也即，样本数据库集100是除了由开发人员在前期获得的样本数据之外，还接收来自后期用户自发上传的样本数据，从而进一步保证了样本数据多样性和全面性。

所述功能接口200还包括格式转换接口，与所述样本数据上传接口连接；响应于客户端发送的格式转换指令后，所述格式转换接口将所述样本数据上传接口上传的样本数据转换至目标格式后再将其上传至相应子集中；

所述功能接口200还包括个性化标注接口，所述个性化标注接口与所述样本数据库集、验证样本数据库集和所述数据上传接口连接；收到个性化标注指令后，将调用云端样本数据标注脚本程序，对用户的训练样本数据和验证样本数据进行标注操作，并分别将样本数据、样本数据标注结果通过数据上传接口上传至云服务平台的相关各自样本数据库集中，同时留存客户端本地。样本数据库集功能接口可帮助用户实现样本数据和与之对应标注数据的完整加载，以及解析，最终生成训练学习所需的样本数据序列，以及与之对应的标注数据序列。

所述功能接口还包括日志信息显示接口205，当用户样本数据与平台样本数据上传合并后，为了验证合并后样本数据集的有效性，用户可以可视化预览带有标注数据信息的样本数据缩略图。同时可以将模型训练日志进行显示。

以上各个接口可采用主流程序语言Python实现，通俗易懂，适用于Ubuntu和windows两种开发系统环境，方便安装、调用，以及个性差异化修改调试。

通过本实施例提供的以上技术方案，按照深度学习的数据处理基本流程，在完成样本数据采集、清洗整理、标注后，将基于云服务技术构建一种便捷的，开放的智能化应用开放平台，面向煤矿领域开放，无论是学术研究还是工程应用开发方面都能够实现便捷快速调用，资源共享，以及模型训练迭代，为有关煤矿的智能化应用开发提供基础数据和基础技术支持的系统解决方案。其至少可产生如下技术效果：

1、为煤矿领域基于深度学习的智能化应用研发提供有关煤矿场景的具有一定规模的样本数据库集，解决目前有关煤矿领域场景的智能应用开发时所需训练样本数据缺乏现状问题。

2、面向煤矿领域开放，为煤矿领域智能化应用技术研发，提供一种基于云端服务的系统性的技术研发平台，方便用户、快捷调用围绕机器学习基本数据处理流程环节的训练样本数据准备、主流网络模型选择、快速高效计算处理硬件资源共享使用的基础性技术平台。

3、用户无需浪费大量人力，财力资源进行数据准备、研发平台硬件购置，节约用户成本，实现快速、高效的技术研发。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于深度学习的煤矿井下智能应用云服务平台，其特征在于，包括：

样本数据库集，其包括用于煤矿井下三维空间感知的三维点云样本数据库集；所述三维点云样本数据库集包括三维空间感知训练样本子集和三维空间感知验证样本子集；

深度学习框架集合，包括至少一种深度学习框架模型；

功能接口，供客户端调用；所述功能接口包括与所述样本数据库集连接的信息获取接口、与所述深度学习框架集合连接的框架调度接口以及数据下载接口；

响应于客户端发送的三维空间感知模型训练指令，所述框架调度接口从所述深度学习框架集合中调取深度学习框架模型，所述信息获取接口从所述样本数据库集中调取所述三维空间感知训练样本子集和所述三维空间感知验证样本子集，所述深度学习框架模型根据所述三维空间感知训练样本子集和所述三维空间感知验证样本子集执行迭代训练对所述深度学习框架模型的权重参数进行调整优化以得到符合需求的三维空间感知模型；

响应于客户端发送的模型下载指令，所述数据下载接口将所述符合需求的三维空间感知模型下载至客户端本地。

2.根据权利要求1所述的基于深度学习的煤矿井下智能应用云服务平台，其特征在于：

所述三维点云样本数据库集中还包括三维空间感知测试样本子集；

响应于客户端发送的三维空间感知模型测试指令，所述信息获取接口从所述样本数据库集中调取所述三维空间感知测试样本子集，将所述三维空间感知测试样本子集中的数据输入至所述符合需求的三维空间感知模型中测试所述符合需求的三维空间感知模型的性能。

3.根据权利要求1所述的基于深度学习的煤矿井下智能应用云服务平台，其特征在于：

所述样本数据库集中还包括用于煤矿井下视觉感知的二维视觉图像样本数据库集；所述二维视觉图像样本数据库集包括二维视觉图像训练样本子集和二维视觉图像验证样本子集；

响应于客户端发送的视觉感知模型训练指令，所述框架调度接口从所述深度学习框架集合中调取深度学习框架模型，所述信息获取接口从所述样本数据库集中调取所述二维视觉图像训练样本子集和所述二维视觉图像验证样本子集，所述深度学习框架模型根据所述二维视觉图像训练样本子集和所述二维视觉图像验证样本子集执行迭代训练，根据迭代训练对所述深度学习框架模型的权重参数进行调整优化以得到符合需求的视觉感知模型；

响应于客户端发送的模型下载指令，通过所述数据下载接口将所述符合需求的视觉感知模型下载至客户端本地。

4.根据权利要求3所述的基于深度学习的煤矿井下智能应用云服务平台，其特征在于：

所述二维视觉图像样本数据库集中还包括二维视觉图像测试样本子集；

响应于客户端发送的视觉感知模型测试指令后，所述信息获取接口从所述二维视觉图像样本数据库集中调取所述二维视觉图像测试样本子集，将所述二维视觉图像测试样本子集中的数据输入至所述符合需求的视觉感知模型中测试所述符合需求的视觉感知模型的性能。

5.根据权利要求4所述的基于深度学习的煤矿井下智能应用云服务平台，其特征在于：

所述功能接口还包括样本数据上传接口；

响应于客户端发送的样本数据上传指令后，所述样本数据上传接口将客户端本地的二维视觉图像训练样本数据上传至所述二维视觉图像训练样本子集中，或者将客户端本地的二维视觉图像验证样本数据上传至所述二维视觉图像验证样本子集中，或者将客户端本地的二维视觉图像测试样本数据上传至所述二维视觉图像测试样本子集中，或者将客户端本地的三维空间感知训练样本数据上传至三维空间感知训练样本子集中，或者将客户端本地的三维空间感知验证样本数据上传至所述三维空间感知验证样本子集中，或者将客户端本地的三维空间感知测试样本数据上传至所述三维空间感知测试样本子集中。

6.根据权利要求1-5任一项所述的基于深度学习的煤矿井下智能应用云服务平台，其特征在于，所述功能接口还包括：

格式转换接口，与所述样本数据上传接口连接；响应于客户端发送的格式转换指令后，所述格式转换接口将所述样本数据上传接口上传的样本数据转换至目标格式后再将其上传至相应子集中；

个性化标注接口，与所述样本数据库集和所述样本数据上传接口连接；响应于客户端发送的个性化标注指令后，所述个性化标注接口对客户端上传的样本数据进行标注操作，并分别将样本数据、样本数据标注结果通过样本数据上传接口上传至样本数据库集的对应数据库集中，同时存储于客户端本地。

7.根据权利要求6所述的基于深度学习的煤矿井下智能应用云服务平台，其特征在于：

所述三维点云样本数据库集中还包括标定数据子集；所述标定数据子集包括用于对可见光摄像仪进行标定的摄像仪标定数据和用于对三维激光雷达扫描仪进行标定的扫描仪标定数据；

所述摄像仪标定数据用于表征可见光摄像仪之间的旋转及平移位置关系，视觉图像的畸变矫正以及矫正后视觉图像在三维空间的转换；所述扫描仪标定数据用于表征三维激光雷达扫描仪坐标系到可见光摄像仪坐标系的旋转及平移位置关系。

8.根据权利要求7所述的基于深度学习的煤矿井下智能应用云服务平台，其特征在于，所述二维视觉图像样本数据库集中：

所述二维视觉图像训练样本子集中存储的二维视觉图像训练样本数据包括一一对应的视觉图像数据和标注数据；

所述二维视觉图像验证样本子集中存储的二维视觉图像验证样本数据包括一一对应的视觉图像数据和标注数据；

所述二维视觉图像测试样本子集中存储的二维视觉图像测试样本数据。

9.根据权利要求8所述的基于深度学习的煤矿井下智能应用云服务平台，其特征在于，所述三维点云样本数据库集中：

所述三维点云样本数据库集中的三维空间感知训练样本子集包括一一对应的视觉图像数据、点云数据和标注数据；

所述三维点云样本数据库集中的三维空间感知验证样本子集包括一一对应的视觉图像数据、点云数据和标注数据；

所述三维点云样本数据库集中的三维空间感知测试样本子集包括一一对应的视觉图像数据和点云数据。

10.根据权利要求9所述的基于深度学习的煤矿井下智能应用云服务平台，其特征在于，还包括：

至少一个图形处理器，所述图形处理器用于对输入至样本数据库集中的初始二维视觉图像样本数据或三维点云样本数据进行处理分析，其满足基于所述二维视觉图像样本数据库集或所述三维点云样本数据库集的训练学习需求。