CN112153347B - 煤矿井下智能视觉终端感知方法、存储介质及电子设备 - Google Patents

Abstract

本发明提供一种煤矿井下智能视觉感知终端系统及感知方法，其系统包括摄像头和基于视觉内容智能感知计算处理单元，摄像头将拍摄到的视频图像发送至智能感知计算处理单元进行处理；其中，智能感知计算处理单元包括基于FPGA实现的模型推理加速器，加速器包括卷积运算单元，数据转换单元，池化操作单元，平移操作单元，随机重组操作单元和全连接单元。本发明提供的以上技术方案，基于处理硬件和算法模型协同的思想，设计智能计算处理单元架构，以及构建适合井上、井下不同场景硬件环境的神经网络模型，具有更高的自动化和智能化水平。

Description

煤矿井下智能视觉终端感知方法、存储介质及电子设备

技术领域

本发明涉及煤炭的智能化开采技术领域，具体地，涉及一种煤矿井下智能视觉感知终端、感知方法、存储介质及电子设备。

背景技术

为推动人工智能与煤炭产业融合发展，提升煤矿智能化无人开采水平，促进煤炭行业高质量发展，各煤矿企业与煤矿设备供应商都针对煤矿智能化技术投入大量人力与物力进行研究。

目前，有关企业基于矿井智能视频监控的相关技术进行了前期探索研究，形成远程可视化干预型智能采煤控制系统，推进煤矿的智能无人化开采进程。在技术实现过程中，通常首先采集海量的煤矿井下视频图像样本数据，整理建立一定规模的机器学习训练样本数据库集。然后在地面构建配置有高性能GPU硬件装置的数据处理中心，基于深度学习通过监督训练学习，离线迭代优化构建有关井下设备环境目标对象的智能感知算法模型。最后在地面高性能工作站上部署构建的鲁棒感知模型，通过可靠的一定带宽保障的通信网络接入井下实时生产视频监控系统进行设备环境状态的实时推理感知，将感知结果用于煤炭高效、安全生产过程的预警智能监测。这种基于地面数据中心的远程可视化智能监控视频系统在一定程度上可以把地面监控管理人员从长时间繁忙的单调人工远程监控作业过程中解放出来，提高了远程可视化监控的智能管控水平。

但是，随着无人化开采进程的推进，井下智能化技术水平的提高，智能采煤控制系统的实时性要求越来越高，目前这种基于地面数据中心的远程可视化智能监控视频系统的实时远程管控短板日渐突出，将会严重制约井下智能化无人开采进程。因为受井下本质安全的电气硬性要求，地面数据处理中心架构思想的高功耗硬件设备难以进入井下部署，从而导致需求高功耗计算处理资源的相关智能感知算法模型难以在井下落地实现。同时，受矿井场景条件制约，地面数据处理中心思想架构的必备条件之一可靠快速响应的足够带宽数据通信网络短时间也难以在各大矿井工程化普及实现，因此目前这种基于地面数据中心架构思想的远程可视化智能监控视频系统在煤矿生产管理自动化、智能化提升方面的不足之处日渐显现。

发明内容

本发明旨在提供一种煤矿井下智能视觉感知终端、感知方法、存储介质及电子设备，以解决现有技术中远程可视化智能监控视频系统自动化、智能化程度低的技术问题。

为此，本发明一部分实施例提供一种煤矿井下智能视觉感知终端，包括摄像头和基于视觉内容智能感知计算处理单元，所述摄像头将拍摄到的监控视频图像发送至智能感知计算处理单元进行处理，其中，智能感知计算处理单元包括基于FPGA实现的模型推理加速器，其中，所述基于FPGA模型推理加速器包括：

卷积运算单元，对所述监控视频图像和模型网格权重核进行矩阵与矩阵的乘法运算，得到高位宽卷积运算特征图；

数据转换单元，转换所述高位宽卷积运算特征图数据，得到低位宽特征图数据；

池化操作单元，接收所述数据转换单元输出的所述低位宽特征图，在池化核范围内按某类型函数求取结果作为池化输出特征图；

平移操作单元，将所述池化输出特征图沿若干方向平移，以将邻域量直接拷贝到中心点位置，得到与移位方向相同数目个通道特征图；

随机重组操作单元，接收所述平移操作单元输出的若干个通道特征图，随机改变其回写内存地址，实现通道特征图的多样化组合，得到随机重组后的通道特征图；

全连接单元，接收所述随机重组操作单元输出的通道特征图，并映射至所述卷积运算单元运算得到所述感知信息对应的特征向量。

可选地，上述的煤矿井下智能视觉感知终端中，所述数据转换单元包括但不限于通过比较器实现。

可选地，上述的煤矿井下智能视觉感知终端中，还包括：

有线传输接口和无线传输接口，用于将所述监控视频图像输入和所述感知结果信息输出；其中，所述有线传输接口包括有线网络接口、HDMI 视频数据输出接口、2个USB接口、Mircro-SD卡插槽和SDRAM内存；所述无线传输接口包括双频无线网络接口和蓝牙接口。

可选地，上述的煤矿井下智能视觉感知终端中，还包括：

本质安全电源管理模块，所述本质安全电源管理模块用于为所述摄像头和所述基于视觉内容智能感知计算处理单元提供电能。

本发明还提供一种煤矿井下智能视觉终端感知方法，包括如下步骤：

构建模型网络结构空间，并利用样本数据对所述模型网络结构空间中的模型进行训练，训练后的模型集合作为待选模型的集合，所述样本数据包括监控视频图像和所述监控视频图像中的标注数据标签；

从所述待选模型的集合中选定与实际视觉感知应用硬件环境相适配的特定模型；

将实际应用监控视频图像输入至所述选定的模型网络中，根据所述选定模型网络的推理结果得到与所述实际应用监控视频图像对应的感知结果。

可选地，上述的煤矿井下智能视觉终端感知方法中，所述模型网络为卷积神经网络，其中：构建模型网络结构空间，并利用样本数据对所述模型网络结构空间中的模型进行训练，训练后的模型集合作为待选模型的集合的步骤包括：

定义模型网络结构样本空间：根据网络模型结构的卷积核大小集合、网络深度集合、通道数量集合以及不同视觉图像的分辨率大小集合定义网络样本空间；

初始训练最大规模的主模型网络：通过训练学习自动构建最大规模的模型网络，其卷积核大小为卷积核大小集合中的最大尺寸，网络深度为深度集合中的最大层数，通道数量为通道数量集合中的最大值_，视觉图像的分辨率大小为分辨率集合中的最大数；

子模型网络集合的自适应训练构建：从最大规模的主模型网络结构开始渐进缩减网络结构规模，基于规避各网络模型之间关联性推理原则，应穷举模型网络结构空间，完成各子模型网络的自适应训练学习，实现模型网络集合的一次性训练构建；经以上自适应迭代机器学习后，最终得到适合多样化硬件平台感知的模型网络集合，以适配不同的硬件系统部署。

可选地，上述的煤矿井下智能视觉终端感知方法中，模型网络集合中各子模型网络的自适应训练构建步骤中，所述主模型网络与所述子模型网络之间的权重共享。

可选地，上述的煤矿井下智能视觉终端感知方法中，还包括：

模型网络终端预部署阶段，通过预先完成训练的预测导向器从模型网络集合中最优化匹配选择所述特定模型，并将所述特定模型导入实际视觉智能感知应用所在的终端平台。

本发明还提供一种存储介质，所述存储介质中存储有程序信息，计算机读取所述程序信息后执行以上任一项所述的煤矿井下智能视觉感知方法。

本发明还提供一种电子设备，包括至少一个处理器和至少一个存储器，至少一个所述存储器中存储有程序信息，至少一个所述处理器读取所述程序信息后执行以上任一项所述的煤矿井下智能视觉感知方法。

与现有技术相比，本发明实施例提供的上述技术方案至少具有以下有益效果：

本发明实施例提供的煤矿井下智能视觉感知终端、感知方法、存储介质及电子设备，基于算法模型和硬件处理架构协同思想，设计构建适合井上、井下不同场景硬件环境的神经网络模型，提出了具有边缘计算、加速推理硬件架构的智能终端。解决了深度学习算法模型在深井无人工作面计算处理资源有限场景下设备终端上的有效部署和推理问题。实现了深井无人工作面环境状态空间位置的实时感知数字化、设备目标状况检测识别相关的就地感知、就地认知问题，为深井无人工作面环境三维空间井下实时构建，关键设备目标对象的井下原地智能监控，井下、井上双向智能决策管理，井下设备自动、自主执行的煤矿无人智能生产控制系统构建提供了可靠的解决方案。

附图说明

图1为本发明一个实施例提供的煤矿井下智能视觉感知终端；

图2为本发明另一个实施例提供的煤矿井下智能视觉感知终端；

图3为本发明一个实施例提供的煤矿井下智能视觉感知方法流程图；

图4为本发明一个实施例提供的煤矿井下智能视觉感知算法的部署流程图；

图5为本发明一个实施例提供的执行煤矿井下智能视觉感知方法的电子设备的硬件连接关系示意图。

具体实施方式

下面将结合附图进一步说明本发明实施例。在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的简化描述，而不是指示或暗示所指的装置或组件必需具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。其中，术语“第一位置”和“第二位置”为两个不同的位置。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。本申请中提供的以下实施例中的各个技术方案，除非彼此之间相互矛盾，否则不同技术方案之间可以相互组合，其中的技术特征可以相互替换。

本发明一部分实施例提供一种煤矿井下智能视觉感知终端，如图1 所示，包括摄像头101和基于视觉内容智能感知计算处理单元100，所述摄像头101将拍摄到的监控视频图像发送至智能感知计算处理单元100 进行处理，其中，智能感知计算处理单元100包括基于FPGA实现的模型推理加速器102，其中，所述基于FPGA模型推理加速器102包括：

卷积运算单元，对所述监控视频图像和模型网格权重核进行矩阵与矩阵的乘法运算，得到高位宽卷积运算特征图。

数据转换单元，转换所述高位宽卷积运算特征图数据，得到低位宽特征图数据。所述数据转换单元通过比较器实现，但是并不限于通过比较器实现，所述比较器对所述卷积运算单元中的每一次卷积运算结果进行字节宽度转换，减小所述卷积运算结果的字节宽度得到转换结果后将所述转换结果映射为二叉树结构，卷积运算特征图数据由高字节宽度转为低字节宽度，能够简化计算过程。

池化操作单元，该处理单元由线性缓存设计实现快速计算，接收所述数据转换单元输出的所述低位宽特征图，在池化核范围内按某类型函数求取结果作为池化输出特征图。

平移操作单元，将所述池化输出特征图沿若干方向平移，以将邻域量直接拷贝到中心点位置，得到与移位方向相同数目个通道特征图。该单元由线性缓存设计实现，将所述合并操作单元输出的视觉特征数据在横向增加一行数值为零的填补项，在纵向增加一列数值为零的填补项，进而得到带有填补项的视觉特征数据，即输入视觉特征数据将在width和height方向分别增加1列的数值为0的填补项，进而得到width+1和 height+1大小的视觉特征，移动方向根据通道索引值确定，不同通道的移动方向不同，移动后每次滑动窗口计算得到一个数值。

随机重组操作单元，接收所述平移操作单元输出的若干个通道特征图，随机改变其回写内存地址，实现通道特征图的多样化组合，得到随机重组后的通道特征图。具体地，将本次接收到的数据与前一次接收到的数据进行串联合并后作为本次串联合并后的视觉特征数据；该处理单元在神经网络计算过程中，需要将上一次计算结果与本次计算结果进行串联合并得到最终的结果，该模块通过控制串联合并过程中2次计算结果的偏移地址实现通道调整、信息交换。为提高效率，本处理单元保证在计算得到本次结果时，CPU能够同时完成上次计算结果的拷贝，再按照偏移地址进行连接存放。

全连接单元，接收所述随机重组操作单元输出的通道特征图，并映射至所述卷积运算单元运算得到所述感知信息对应的特征向量。

其中，所述基于视觉内容智能感知计算处理单元采用四核64位的ARM Cortex-A72架构CPU，主频达1.5GHz。进一步地，如图2所示，上述的煤矿井下智能视觉感知终端中配置有：有线传输接口和无线传输接口，用于将所述监控视频图像输入和所述感知结果信息输出；其中，所述有线传输接口包括有线网络接口、HDMI视频数据输出接口、2个USB 接口、Mircro-SD卡插槽和SDRAM内存；所述无线传输接口包括双频无线网络接口和蓝牙接口。因此，以上方案中的终端完全配备SDRAM内存，具备Mircro-SD卡插槽，用于加载操作系统和数据存储，支持千兆以太网，拥有2.4GHz/5GHz双频802.11ac无线网络，支持蓝牙5.0，提供2个USB3.0接口，支持高清HDMI视频数据输出接口。

可选地，上述的煤矿井下智能视觉感知终端中，还包括：本质安全电源管理模块，所述本质安全电源管理模块用于为所述摄像头和所述基于视觉内容智能感知计算处理单元提供电能。本质安全电源管理模块，确保终端系统电气特性满足煤矿井下工作的本质安全硬性要求，使得终端的电能及热能均低到不会使爆炸性气体燃烧。其原理是：通过限制电路的各种参数或采取保护措施来限制电路的火花放电能量和热能，使其在正常工作和规定的故障状态下产生的电火花和热效应均不能点燃周围环境的爆炸性混合物，从而实现电气本质安全。

本发明一部分实施例还提供一种煤矿井下智能视觉感知方法，如图3 所示，包括如下步骤：

S101：构建模型网络结构空间，并利用样本数据对所述模型网络结构空间中的模型进行训练，训练后的模型集合作为待选模型的集合，所述样本数据包括监控视频图像和所述监控视频图像中的标注数据标签。

S102：从所述待选模型的集合中选定与实际视觉感知应用硬件环境相适配的特定模型。

S103：将实际应用监控视频图像输入至所述选定的模型网络中，根据所述选定模型网络的推理结果得到与所述实际应用监控视频图像对应的感知结果。

具体地，如图4所示给出了终端感知算法模型构建及部署，如图4 的左半部分所示，其中K代表卷积核大小(Kmax为最大值)，D代表网络深度(Dmax为最大值)，W代表通道数量(Wmax为可取最大值)。在在终端感知算法模型构建过程中，输入视觉图像满足不同的分辨率大小。具体步骤描述如下：

①定义模型网络样本空间。根据网络模型结构的卷积核大小集合 {K₁,K₂,...,K_max}，例如{3_,5_,...,9}，即卷积核的大小为 {3×3,5×5,7×7,9×9}；网络深度集合{D_1,D_2,...,D_max}，例如{4,6,8}；通道数量集合{W₁,W₂,…,W_max}，例如{3,4,6}；以及不同视觉图像的分辨率大小集合{R₁,R₂,...,R_max}，例如{256,264,…,Resolution}，定义网络样本空间，其中Resolution表示源图像分辨率大小。

②初始训练最大规模的主模型网络。通过训练学习自动构建最大规模的模型网络，其卷积核大小为卷积核集合中的最大尺寸Kmax，网络深度为深度数集合中的最大层数Dmax，通道数量为通道数集合中的最大值 Wmax，视觉图像的分辨率大小为分辨率集合中的最大数Rmax。

③子模型网络集合的自适应训练构建。从最大规模的主模型网络结构开始渐进缩减网络结构规模，基于规避各网络模型之间关联性推理原则，应穷举模型网络结构空间，完成各子模型网络的自适应训练学习，实现模型网络集合的一次性训练构建；经以上自适应迭代机器学习后，最终得到适合多样化硬件平台感知的模型网络集合，以适配不同的硬件系统部署。其中，所述主模型网络与所述子模型网络之间的权重共享。

④经过上述自适应迭代机器学习，最终得到适合多样化硬件平台的感知子模型网络集合，可以满足适配不同硬件系统的部署。

⑤在模型网络终端预部署阶段，通过预先完成训练的预测导向器从模型网络集合中最优化匹配选择所述特定模型，并将所述特定模型导入实际视觉智能感知应用所在的终端平台。

在完成模型网络集合构建以及模型网络终端预部署准备工作后，实施井下终端系统平台上视觉感知算法模型的个性化部署，实现视觉智能就地感知应用。如上图4中所示右侧部分所示，主要步骤如下：

(1)应用程序的初始化，即检查确认当前程序运行所需的环境；

加载解析程序运行所需的配置参数，例如batch_size等推理过程中可选配置参数；

(2)读取加载终端所需的特定模型网络；

(3)根据加载的模型网络，创建推理引擎；

(4)根据推理引擎的要求，在终端系统上进行边缘推理；

(5)输出视觉智能感知应用结果。

以上方案，基于现有地面数据中心架构思想的远程可视化智能监控视频系统相关技术的客观不足变现，基于硬件结构与软件算法协同的思想，提出一种煤矿井下智能视觉感知终端及系统方法。首先基于FPGA设计实现煤矿井下具有边缘计算推理能力的终端，赋予煤矿井下视觉就地智能感知能力，减少数据信息的传输延迟。其次在终端硬件系统实现的基础上，通过自适应机器学习构建适合井下终端硬件环境的轻量级算法模型，解决井下算法模型部署的硬件效能局限性问题，实现算法模型一次性构建，满足多样化硬件平台部署及推理应用的需求。

以上提出的终端感知算法模型构建、部署、感知应用方法体系。通过自适应机器学习构建适合井下终端硬件环境的轻量级算法模型，解决井下算法模型部署的硬件效能局限性问题，实现算法模型一次性构建，满足多样化硬件平台部署。在部署推理应用阶段，系统根据硬件平台及条件约束匹配选择特定模型网络进行部署推理，以及感知应用。

本发明一些实施例提供一种存储介质，可以为计算机可用存储介质 (包括但不限于磁盘存储器、CD-ROM、光学存储器等)，所述存储介质中存储有程序指令，计算机读取所述程序指令后执行以上任一技术方案所述的煤矿井下智能视觉感知方法。

图5是本实施例提供的执行煤矿井下智能视觉感知方法的电子设备的硬件结构示意图，该设备包括：一个或多个处理器201以及存储器202，图5中以一个处理器201为例。执行煤矿井下智能视觉感知方法的设备还可以包括：输入装置203和输出装置204。处理器201、存储器202、输入装置203和输出装置204可以通过总线或者其他方式连接，图5中以通过总线连接为例。存储器202作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器201通过运行存储在存储器202中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的煤矿井下智能视觉感知方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种煤矿井下智能视觉终端感知方法，其特征在于，包括如下步骤：

构建模型网络结构空间，并利用样本数据对所述模型网络结构空间中的模型进行训练，训练后的模型集合作为待选模型的集合，所述样本数据包括监控视频图像和所述监控视频图像中的标注数据标签；

从所述待选模型的集合中选定与实际视觉感知应用硬件环境相适配的特定模型；

将实际应用监控视频图像输入至所述选定的模型网络中，根据所述选定模型网络的推理结果得到与所述实际应用监控视频图像对应的感知结果；

所述模型网络为卷积神经网络，其中：构建模型网络结构空间，并利用样本数据对所述模型网络结构空间中的模型进行训练，训练后的模型集合作为待选模型的集合的步骤包括：

定义模型网络结构样本空间：根据网络模型结构的卷积核大小集合、网络深度集合、通道数量集合以及不同视觉图像的分辨率大小集合定义网络样本空间；

初始训练最大规模的主模型网络：通过训练学习自动构建最大规模的模型网络，其卷积核大小为卷积核大小集合中的最大尺寸，网络深度为深度集合中的最大层数，通道数量为通道数量集合中的最大值_，视觉图像的分辨率大小为分辨率集合中的最大数；

子模型网络集合的自适应训练构建：从最大规模的主模型网络结构开始渐进缩减网络结构规模，基于规避各网络模型之间关联性推理原则，应穷举模型网络结构空间，完成各子模型网络的自适应训练学习，实现模型网络集合的一次性训练构建；经以上自适应迭代机器学习后，最终得到适合多样化硬件平台感知的模型网络集合，以适配不同的硬件系统部署。

2.根据权利要求1所述的煤矿井下智能视觉终端感知方法，其特征在于：

模型网络集合中各子模型网络的自适应训练构建步骤中，所述主模型网络与所述子模型网络之间的权重共享。

3.根据权利要求1或2所述的煤矿井下智能视觉终端感知方法，其特征在于，还包括：

模型网络终端预部署阶段，通过预先完成训练的预测导向器从模型网络集合中最优化匹配选择所述特定模型，并将所述特定模型导入实际视觉智能感知应用所在的终端平台。

4.一种存储介质，其特征在于，所述存储介质中存储有程序信息，计算机读取所述程序信息后执行权利要求1-3任一项所述的煤矿井下智能视觉终端感知方法。

5.一种电子设备，其特征在于，包括至少一个处理器和至少一个存储器，至少一个所述存储器中存储有程序信息，至少一个所述处理器读取所述程序信息后执行权利要求1-3任一项所述的煤矿井下智能视觉终端感知方法。

Images