CN114979225A - 基于视频分析的煤矿生产控制方法及装置 - Google Patents

Abstract

本公开提出了一种基于视频分析的煤矿生产控制方法以及装置，涉及人工智能技术领域。该方法包括：获取当前煤矿生产过程中对各个生产设备的工况监测数据；获取待监测的生产场景对应的监测视频；基于预设的视频分析模块对所述监测视频进行分析，以确定视频分析数据；根据所述煤矿生产过程的当前进行阶段，所述工况监测数据以及所述视频分析数据，确定待执行的控制策略；将与所述控制策略对应的控制指令发送到对应的所述生产设备，以对所述煤矿生产过程进行控制。由此，可以将视频分析模块和控制系统深度融合，而非通过网络通讯等方式建立链接，从而提高了整个控制系统的可靠性、稳定性和实时性。

Description

基于视频分析的煤矿生产控制方法及装置

技术领域

本公开涉及人工智能技术领域，尤其涉及一种基于视频分析的煤矿生产控制方法及装置。

背景技术

随着人工智能技术不断发展成熟，各地方政府倡导煤炭开采行业提升技术能力、优化生产模式，努力保证实现煤炭开采过程的安全性、高效性与绿色性。为此，煤矿企业、煤矿设备厂商等都开始投入大量精力进行煤矿智能化技术研究。其中智能视频分析技术，例如关键目标检测等，在模型准确率达到一定程度后，通过检测割煤前后各关键设备状态，可以辅助自动化生产控制系统制定设备动作策略，从而在提高生产效率的同时减少井下跟踪生产工人数量，安全性也得到提升。

现有的智能视频技术的集成应用方案中，智能视频作为子系统通常是独立运行的，并通过网络通讯方式与生产系统进行生产数据信息和视频分析结果的传输。然而，由于井下的条件恶劣，网络容易破损导致通讯中断或响应延迟，进而导致智能视频系统无法和生产系统进行稳定可靠的实时通讯，使得生产效率较低。

发明内容

本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

根据本公开第一方面，提出了一种基于视频分析的煤矿生产控制方法，包括：

获取当前煤矿生产过程中对各个生产设备的工况监测数据；

获取待监测的生产场景对应的监测视频；

基于预设的视频分析模块对所述监测视频进行分析，以确定视频分析数据；

根据所述煤矿生产过程的当前进行阶段，所述工况监测数据以及所述视频分析数据，确定待执行的控制策略；

将与所述控制策略对应的控制指令发送到对应的所述生产设备，以对所述煤矿生产过程进行控制。

根据本公开第二方面，提出了一种基于视频分析的煤矿生产控制装置，包括：

第一获取模块，用于获取当前煤矿生产过程中对各个生产设备的工况监测数据；

第二获取模块，用于获取待监测的生产场景对应的监测视频；

第一确定模块，用于基于预设的视频分析模块对所述监测视频进行分析，以确定视频分析数据；

第二确定模块，用于根据所述煤矿生产过程的当前进行阶段，所述工况监测数据以及所述视频分析数据，确定待执行的控制策略；

控制模块，用于将与所述控制策略对应的控制指令发送到对应的所述生产设备，以对所述煤矿生产过程进行控制。

本公开提供的基于视频分析的煤矿生产控制方法与装置，存在如下有益效果：

本公开实施例中，首先获取当前煤矿生产过程中对各个生产设备的工况监测数据，之后获取待监测的生产场景对应的监测视频，之后基于预设的视频分析模块对所述监测视频进行分析，以确定视频分析数据，之后根据所述煤矿生产过程的当前进行阶段，所述工况监测数据以及所述视频分析数据，确定待执行的控制策略，之后将与所述控制策略对应的控制指令发送到对应的所述生产设备，以对所述煤矿生产过程进行控制。由此，可以将视频分析模型和控制系统深度融合，而非通过网络通讯等方式建立链接，从而提高了整个控制系统的可靠性、稳定性和实时性。

本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。

附图说明

本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本公开第一实施例所提供的基于视频分析的煤矿生产控制方法的流程示意图；

图2为本公开第二实施例所提供的基于视频分析的煤矿生产控制方法的流程示意图；

图3为本公开第三实施例所提供的基于视频分析的煤矿生产控制装置的结构框图；

图4示出了适于用于实现本公开实施方式的示例性计算机设备的框图。

具体实施方式

下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。

下面参考附图描述本公开实施例的基于视频分析的煤矿生产控制方法及装置。

图1为本公开一实施例所提供的基于视频分析的煤矿生产控制方法的流程示意图。

其中，可以说明的是，本实施例的基于视频分析的煤矿生产控制方法的执行主体为基于视频分析的煤矿生产控制系统，下面将以基于视频分析的煤矿生产控制系统作为执行主体来对本公开提出的基于视频分析的煤矿生产控制方法进行说明，以下简称为“控制系统”。

如图1所示，该基于视频分析的煤矿生产控制方法可以包括以下步骤：

步骤101，获取当前煤矿生产过程中对各个生产设备的工况监测数据。

其中，生产设备可以为当前煤矿生产过程中所使用的关键设备，比如采煤机、液压支架、组合开关、移动变电站、皮带、乳化液泵、喷雾泵、刮板运输机等等，在此不做限定。

其中，工况监测数据可以是由数据监测设备，对当前煤矿生产过程中的生产场景中的各个生产设备的状态监测数据。其中，数据监测设备可以为各类传感器，其可以按照在各个生产设备上，或者，也可以被布置在生产设备的附近。

具体的，通过数据监测设备，可以实时地获取当前生产设备的运行状态，比如生产设备的启停状态、温度、电流、电压、故障等信息，在此不进行限定。其中，工况监测数据是评估生产设备的工作状态的重要参考依据，也是评估当前煤矿生产过程的重要参考依据。

步骤102，获取待监测的生产场景对应的监测视频。

其中，待监测的生产场景也即当前待分析的煤矿井下工作场景，其可以为一个，或者，也可以为多个，在此不做限定。

其中，监测视频可以为对生产场景中出现的各个工作设备的监测视频。

可以理解的是，监测视频可以由摄像装置采集所得，比如摄像仪。其中，摄像仪可以根据煤矿生产过程中对各个生产设备的监测的需要，部署在相应的位置。

举例来说，一些摄像仪可以安装在各个液压支架上，一些摄像仪可以垂直于煤壁安装，用于查看采煤机滚筒和支架护帮板状态，一些摄像仪可以平行于煤壁安装，用于查看支架推镏情况及人员等信息，一些摄像仪可以安装在皮带上方，用于检测煤流量等信息，在此不做限定。

需要说明的是，在煤矿井下综采工作面附近监控摄像仪可以安装部署100台，其中，每台摄像仪可以配置唯一的IP地址，并接入井下局域网，以便于控制系统拉流访问。

可选的，待监测的生产场景可以是预先选定的待监测的生产场景，或者，也可以是根据各个生产设备的工况监测数据确定的待监测的生产场景。比如，若在任一生产场景中的各个生产设备的工况监测数据处于异常状态的情况下，则可以将该生产场景确定为待监测的生产场景。

比如，控制系统可以在监测到任一生产场景中的一个或者多个生产设备的启停状态、温度、电流或者电压出现了异常的情况下，将该任一生产场景确定为待监测的生产场景，在此不做限定。

需要说明的是，在获取监测视频的时候，本公开可以基于预设的视频分析模块，获取监测视频。

需要说明的是，视频分析模块可以提供算法通道的初始化、创建、启动、拉流、模型加载、视频拉流、视频流解码、配置模型分析的数据源与分析间隔周期、反馈数据分析结果、模型分析的启动与停止、分析结果视频流编码与转发等功能服务，以供控制系统调用。控制系统可以向视频分析模块发送对应控制命令，进而使其执行相应的动作。

可以理解的是，视频分析模块的内部可以自动调用GPU、CPU等硬件资源加载支撑视频分析模型，供外部应用程序运行时直接调用。

可选的，控制系统可以首先调用初始化函数，以实现对视频分析模型的当前整体运行环境的初始化，从而为视频分析模型的运行创建基础条件。

其中，在进行初始化时，接收参数可以为json字符串格式，用于初始化过程所需参数配置，便于后期扩展。

另外，该过程可以根据需要传入配置参数，比如传入流媒体转发服务端口号，在此不做限定。

在初始化完成之后，控制系统可以根据当前待监测的生产场景，调用通道创建接口函数，以创建指定算法模型通道。

可选的，在创建指定的算法模型通道时，可以通过传入参数确定加载模型的类型，以及模型的运行参数，比如视频流地址、视频分析周期、回调函数、GPU/NPU硬件资源编号等，在此不做限定。由此即完成算法模型通道创建。

需要说明的是，创建的算法模型通道可以为多个，且该多个算法模型通道可以同时创建，也可以分时创建。其中，每个算法模型通道对应的线程可以不同，且在任一算法模型通道创建完毕之后，可以将该算法模型通道的当前状态修改为已创建完毕(Ready)。

进一步地，控制系统可以获取算法模型通道的状态，并在确定当前状态为已创建完毕的情况下，调用启动接口函数，以启动该算法模型通道拉取监测视频。

其中，每个算法模型通道的类型不同，因而拉取的监测视频也可能是不同的。具体来说，视频分析模型可以向各个算法模型通道发送拉流命令，以使各个算法模型通道从摄像仪池中相对应的各个摄像仪中拉取监测视频。由于每个摄像仪都对应有IP信息，因而，算法模型通道可以根据当前的生产场景以及与该场景匹配的摄像仪，获取对应的摄像仪拍摄的监测视频。

步骤103，基于预设的视频分析模块对监测视频进行分析，以确定视频分析数据。

可以理解的是，视频分析模型可以为一个或者多个，其中，每个视频分析模型对应有唯一的编号。且不同的视频分析模型可以具有不同的功能，也即可以有对应的分析策略以及配置参数。

控制系统通过调用启动视频分析计算函数，进而利用该函数根据当前传入的算法模型通道的通道标识，调用对应的硬件资源，进行视频流拉取和解码，并启动对应的视频分析模型对监测视频进行分析计算。

进一步地，在通过视频分析模型计算得出视频分析数据之后，控制系统可以基于回调函数，获取视频分析模型返回的视频分析结果。

步骤104，根据煤矿生产过程的当前进行阶段，工况监测数据以及视频分析数据，确定待执行的控制策略。

其中，待执行的控制策略可以用于对当前的煤矿生产过程进行控制，以使得当前的生产过程恢复稳态、提高生产效率以及安全性。

需要说明的是，控制策略可以为一种组合解决方案，通过调整井下煤矿开采过程中各个生产设备的运行，进而辅助指导生产。

其中，煤矿生产过程的当前不同进行阶段，对应的全局生产控制策略也可以是不同的。

需要说明的是，通过结合当前煤矿生产过程的当前进行阶段，以及各生产设备的运行状态，也即工况监测数据，以及当前获取的视频分析数据，控制系统可以生成对应的控制策略。

可以理解的是，在井下煤矿开采过程中，采煤机、液压支架、运输机、泵站、组合开关、皮带等较为重要的生产设备的运行状态对生产过程产生重要影响，且各个生产设备通常是相互联系的。本公开中，控制策略可以综合考虑各个生产设备之间的联系，进而对当前的生产场景进行控制。因而，可以提高生产效率，减少人力检测成本、减少系统的维护工作量、智能化程度较高、实时性也比较强、更适合对煤矿井下复杂多变的生产过程进行调整。

步骤105，将与控制策略对应的控制指令发送到对应的生产设备，以对煤矿生产过程进行控制。

其中，控制指令可以是根据控制策略确定的，对每个生产设备的控制命令，比如启停、升速、减速、以及对温度的控制等等，在此不做限定。

需要说明的是，每个控制指令需要发送到与该控制指令对应的生产设备，以使该生产设备完成生产过程的设备智能自动控制。

本公开实施例中，首先获取当前所述煤矿生产过程中对各个生产设备的工况监测数据，之后获取待监测的生产场景对应的监测视频，之后基于预设的视频分析模块对所述监测视频进行分析，以确定视频分析数据，之后根据所述煤矿生产过程的当前进行阶段，所述工况监测数据以及所述视频分析数据，确定待执行的控制策略，之后将与所述控制策略对应的控制指令发送到对应的所述生产设备，以对所述煤矿生产过程进行控制。由此，可以将视频分析模块和控制系统深度融合，而非通过网络通讯等方式建立链接，从而提高了整个控制系统的可靠性、稳定性和实时性。

图2为本公开又一实施例所提供的基于视频分析的煤矿生产控制方法的流程示意图。

如图2所示，该基于视频分析的煤矿生产控制方法可以包括以下步骤：

步骤201，获取当前煤矿生产过程中对各个生产设备的工况监测数据。

需要说明的是，步骤201的具体实现方式可以参照上述实施例，在此不进行赘述。

步骤202，调用初始化接口函数，以对视频分析模型的当前运行环境进行初始化。

需要说明的是，通过对视频分析模型的当前运行环境进行初始化，可以为之后视频分析模型的运行提供稳定、可靠的运行环境。

具体的，通过调用初始化接口函数，可以接收指定格式字符串格式的参数，比如json字符串格式，通过对当前运行环境进行参数配置，可以便于之后对后期进行扩展。

可选的，控制系统还可以根据需要确定是否传入流媒体转发服务端口号等参数。

步骤203，调用通道创建函数，基于所述待监测的生产场景对应的配置参数，创建各个算法模型通道。

在初始化完成之后，控制系统可以根据当前待监测的生产场景，调用通道创建函数，进而可以创建指定的算法模型通道。

具体的，控制系统通过传入参数，可以确定当前待使用的视频分析模型的类型，以及运行参数，比如视频流地址、视频分析周期、回调函数、GPU/NPU硬件资源编号等，在此不做限定。

可选的，控制系统可以根据实际需要，创建多个算法模型通道，且该多个算法模型通道可以同时创建或者分时创建，且各个通道为不同线程，互不干涉影响，在通道创建完毕之后，通道状态将更改为Ready。

可选的，控制系统可以通过调用Pause接口暂停指定通道的运行状态，即停止通道的智能视频分析，此时，通道状态将变更为Pause。

可选的，控制系统可以根据实际情况，调用视频分析模型的Update接口进行参数更新，但需要注意是，只有当前通道为暂停状态才能完成更新，否则将自动暂停当前智能视频分析模型的运行。由此可知，参数更新完毕后该通道仍处于Pause状态，控制系统则可以调用Start函数重新启动推理计算。

可选的，控制系统可以通过Destroy接口停止指定通道的视频拉流、解码、推理计算、编码、推流功能，并完成释放相关资源，彻底关闭该通道，此时，通道状态为Stop。

步骤204，在算法模型通道的通道状态为已创建完毕的情况下，调用启动接口函数，并基于指定的视频流地址获取对应的监测视频。

需要说明的是，在算法模型通道为已创建完毕的情况下，控制系统可以调用启动接口函数,拉取与该创建完毕的算法模型通道所对应的摄像仪所拍摄的监测视频。

可以理解的是，在拉取监测视频时，可以根据与当前待监测的生产场景对应的rtsp视频流地址进行拉取。

其中，指定的视频流地址可以是指定的监测摄像仪的视频流地址。

需要说明的是，指定的视频流地址可以是预先确定的视频流地址，或者，也可以是根据当前控制系统的控制指令而实时确定的视频流地址，在此不做限定。其中，控制系统可以根据待监测的生产场景的变化实时地调整当前下发给视频分析系统的控制指令。进而，可以准确地对当前的生产场景进行监测。

步骤205，基于视频分析模型，对监测视频进行分析计算，以生成视频分析数据。

其中，视频分析模型可以为一个，或者多个。不同的视频分析模型对应的功能可以不同，因而对应的视频分析周期也可以不同。

可以理解的是，在一些场景中，由于检测目标出现的比较频繁，因而可以提高对视频的分析频率。

可选的，控制系统在基于视频分析模型对监测视频进行分析计算时，可以控制视频分析的频率、启动时间以及停止时间。

由于控制系统可以实时的获取当前煤矿生产过程中各个生产场景的工作状态，因而，可以及时的调整当前对监测视频的分析计算，以及对视频分析模型的选用。

可选的，控制系统可以根据当前待监测的生产场景的类型以及生产场景对应的生产设备的工况监测数据，确定待选用的视频分析模型，之后基于待选用的视频分析模型，对监测视频进行图像解码和计算，以确定监测视频对应的分析结果。

需要说明的是，不同类型的生产场景下，需要用到的摄像仪的数量以及位置可能是不同的。且每个生产场景中生产设备的运行状态也通常是各不相同的，且每个场景中生产设备的运行状态可以是实时变化的。

本公开中，可以根据待监测的生产场景的类型，以及生产场景对应的生产设备的工况监测数据，确定待选用的视频分析模型的配置参数，比如视频分析频率、分析间隔周期、分析间隔以及启动和停止时间。

进一步地，控制系统通过选取并加载与当前待监测的场景所对应的视频分析模型，以对监测视频进行分析处理，从而获取分析结果。

可选的，在暂停或停止视频分析模型的计算时，控制系统可以通过调用Pause，并根据传入的算法模型通道的标识，暂停视频分析模型的计算线程。

可以理解的是，若根据当前生产设备的工况监测数据，目前的视频分析模型需要调整参数，则控制系统则可以在当前地方视频分析模型处于暂停的状态的情况下，调用Update，并根据传入的算法模型通道的标识以及参数json字符串，对视频分析模型对应的参数进行更新，比如视频流地址、分析计算间隔时间。

由于不同场景的场景复杂度不相同，且待监测的目标的移动程度也可能不同，因而本公开中，控制系统可以实时地调整数据分析源，也即视频分析模型的分析间隔、以及摄像仪的采集频率等等，在此不做限定。由此，通过根据生产场景的生产需求实时调整视频分析模型的各个运行参数，可以提高当前分析过程的灵活性，避免计算资源、网络传输资源的浪费。

步骤206，基于回调函数，获取所述视频分析数据。

控制系统可以通过回调函数，接收视频分析模型返回的视频分析数据。

进一步地，控制系统可以根据对监测视频的分析频率，确定监测视频中的各个关键帧，之后基于视频分析数据，对每个关键帧进行图像标注，并对关键帧进行编码，进一步地，可以将对所述关键帧进行编码后的视频流发送至所述视频分析模块的流媒体服务线程，以生成待显示的视频流。

需要说明的是，控制系统可以将根据视频分析结果得到文本框、目标类别等信息实时标注绘制在关键帧上，并进行编码，之后再传输至视频分析模块的流媒体服务线程，进而实现输出结果rtsp视频流。由此，可以使得第三方(例如客户等)可以拉取播放显示，直观查看视频分析效果、准确率等。

可以理解的是，不同的视频分析频率，在视频流中对图像处理的间隔也是不同的，控制系统可以根据当前的视频分析频率，选择当前被处理的关键帧，以及关键帧对应的分析结果。进一步地，控制系统可以在关键帧图像上绘制分析结果并对图像进行编码和转发，以便于拉取播放和展示。

步骤207，根据所述煤矿生产过程的当前进行阶段，所述工况监测数据以及所述视频分析数据，确定待执行的控制策略。

步骤208，将与所述控制策略对应的控制指令发送到对应的所述生产设备，以对所述煤矿生产过程进行控制。

需要说明的是，步骤207、208的具体实现方式可以参照上述实施例，在此不进行赘述。

本公开实施例中，首先获取当前煤矿生产过程中对各个生产设备的工况监测数据，然后调用初始化接口函数，以对视频分析模型的当前运行环境进行初始化，之后调用通道创建函数，基于所述待监测的生产场景对应的配置参数，创建各个算法模型通道，然后在算法模型通道的通道状态为已创建完毕的情况下，调用启动接口函数，并基于算法模型通道获取对应的监测视频，基于视频分析模型，对监测视频进行分析计算，以生成视频分析数据，最后基于回调函数，获取所述视频分析数据，然后根据所述煤矿生产过程的当前进行阶段，所述工况监测数据以及所述视频分析数据，确定待执行的控制策略，最后将与所述控制策略对应的控制指令发送到对应的所述生产设备，以对所述煤矿生产过程进行控制。由此，控制系统可以根据工况监测数据、视频分析数据以及当前生产过程的进行阶段制定控制策略，并下发命令到各个设备，完成生产过程的设备智能自动控制，通过将智能视频分析技术融入到生产过程的控制决策中，可以实现视频分析对生产过程的控制。由于是基于视频分析模型进行推理计算，无需额外考虑GPU、NPU等硬件资源的调度管理，降低技术应用难度，并提供多种启动、参数配置等接口，可以与控制系统深度融合，提高了生产效率和智能化水平。

图3是本公开一实施例提出的基于视频分析的煤矿生产控制装置的结构示意图。

如图3所示，该基于视频分析的煤矿生产控制装置300，包括第一获取模块310、第二获取模块320、第一确定模块330、第二确定模块340以及控制模块350。

第一获取模块310，用于获取当前煤矿生产过程中对各个生产设备的工况监测数据；

第二获取模块320，用于获取待监测的生产场景对应的监测视频；

第一确定模块330，用于基于预设的视频分析模块对所述监测视频进行分析，以确定视频分析数据；

第二确定模块340，用于根据所述煤矿生产过程的当前进行阶段，所述工况监测数据以及所述视频分析数据，确定待执行的控制策略；

控制模块350，用于将与所述控制策略对应的控制指令发送到对应的所述生产设备，以对所述煤矿生产过程进行控制。

可选的，所述第二获取模块，具体用于：

调用初始化接口函数，以对视频分析模型的当前运行环境进行初始化；

调用通道创建函数，基于所述待监测的生产场景对应的配置参数，创建各个算法模型通道；

在所述算法模型通道的通道状态为已创建完毕的情况下，调用启动接口函数，并基于所述算法模型通道获取对应的监测视频。

可选的，所述第一确定模块，包括：

生成单元，用于基于所述视频分析模型，对所述监测视频进行分析计算，以生成视频分析数据；

获取单元，用于基于回调函数，获取所述视频分析数据。

可选的，所述生成单元，具体用于：

根据当前待监测的生产场景的类型以及所述生产场景对应的生产设备的工况监测数据，确定待选用的视频分析模型；

基于所述待选用的视频分析模型，对所述监测视频进行图像解码和计算，以确定所述监测视频对应的分析结果。

可选的，所述获取单元，还用于：

根据对所述监测视频的分析频率，确定所述监测视频中的各个关键帧；

基于所述视频分析数据，对每个所述关键帧进行图像标注，并对所述关键帧进行编码；

将对所述关键帧进行编码后的视频流发送至所述视频分析模块的流媒体服务线程，以生成待显示的视频流。

本公开实施例中，首先获取当前所述煤矿生产过程中对各个生产设备的工况监测数据，之后获取待监测的生产场景对应的监测视频，之后基于预设的视频分析模块对所述监测视频进行分析，以确定视频分析数据，之后根据所述煤矿生产过程的当前进行阶段，所述工况监测数据以及所述视频分析数据，确定待执行的控制策略，之后将与所述控制策略对应的控制指令发送到对应的所述生产设备，以对所述煤矿生产过程进行控制。由此，可以将视频分析模块和控制系统深度融合，而非通过网络通讯等方式建立链接，从而提高了整个控制系统的可靠性、稳定性和实时性。

为了实现上述实施例，本公开还提出一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的基于视频分析的煤矿生产控制方法。

为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开前述实施例提出的基于视频分析的煤矿生产控制方法。

为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的基于视频分析的煤矿生产控制方法。

图4示出了适于用于实现本公开实施方式的示例性计算机设备的框图。图4显示的计算机设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其他可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。

尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其他光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其他程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其他计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其他模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其他硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及基于视频分析的煤矿生产控制，例如实现前述实施例中提及的基于视频分析的煤矿生产控制方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

可以说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。

应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于视频分析的煤矿生产控制方法，其特征在于，包括：

获取当前煤矿生产过程中对各个生产设备的工况监测数据；

获取待监测的生产场景对应的监测视频；

基于预设的视频分析模块对所述监测视频进行分析，以确定视频分析数据；

根据所述煤矿生产过程的当前进行阶段，所述工况监测数据以及所述视频分析数据，确定待执行的控制策略；

将与所述控制策略对应的控制指令发送到对应的所述生产设备，以对所述煤矿生产过程进行控制。

2.根据权利要求1所述的方法，其特征在于，所述获取待监测的生产场景对应的监测视频，包括：

调用初始化接口函数，以对视频分析模型的当前运行环境进行初始化；

调用通道创建函数，基于所述待监测的生产场景对应的配置参数，创建各个算法模型通道；

在所述算法模型通道的通道状态为已创建完毕的情况下，调用启动接口函数，并基于指定的视频流地址获取对应的监测视频。

3.根据权利要求1所述的方法，其特征在于，所述基于预设的视频分析模块对所述监测视频进行分析，以确定视频分析数据，包括：

基于所述视频分析模块，对所述监测视频进行分析计算，以生成视频分析数据；

基于回调函数，获取所述视频分析数据。

4.根据权利要求3所述的方法，其特征在于，所述基于所述视频分析模块，对所述监测视频进行分析计算，包括：

根据当前待监测的生产场景的类型以及所述生产场景对应的生产设备的工况监测数据，确定待选用的视频分析模型；

基于所述待选用的视频分析模型，对所述监测视频进行图像解码和计算，以确定所述监测视频对应的分析结果。

5.根据权利要求3所述的方法，其特征在于，在所述获取所述视频分析数据之后，还包括：

根据对所述监测视频的分析频率，确定所述监测视频中的各个关键帧；

基于所述视频分析数据，对每个所述关键帧进行图像标注，并对所述关键帧进行编码；

将对所述关键帧进行编码后的视频流发送至所述视频分析模块的流媒体服务线程，以生成待显示的视频流。

6.一种基于视频分析的煤矿生产控制装置，其特征在于，包括：

第一获取模块，用于获取当前煤矿生产过程中对各个生产设备的工况监测数据；

第二获取模块，用于获取待监测的生产场景对应的监测视频；

第一确定模块，用于基于预设的视频分析模块对所述监测视频进行分析，以确定视频分析数据；

第二确定模块，用于根据所述煤矿生产过程的当前进行阶段，所述工况监测数据以及所述视频分析数据，确定待执行的控制策略；

控制模块，用于将与所述控制策略对应的控制指令发送到对应的所述生产设备，以对所述煤矿生产过程进行控制。

7.根据权利要求6所述的装置，其特征在于，所述第二获取模块，具体用于：

调用初始化接口函数，以对视频分析模型的当前运行环境进行初始化；

调用通道创建函数，基于所述待监测的生产场景对应的配置参数，创建各个算法模型通道；

在所述算法模型通道的通道状态为已创建完毕的情况下，调用启动接口函数，并基于指定的视频流地址获取对应的监测视频。

8.根据权利要求6所述的装置，其特征在于，所述第一确定模块，包括：

生成单元，用于基于所述视频分析模型，对所述监测视频进行分析计算，以生成视频分析数据；

获取单元，用于基于回调函数，获取所述视频分析数据。

9.根据权利要求8所述的装置，其特征在于，所述生成单元，具体用于：

根据当前待监测的生产场景的类型以及所述生产场景对应的生产设备的工况监测数据，确定待选用的视频分析模型；

基于所述待选用的视频分析模型，对所述监测视频进行图像解码和计算，以确定所述监测视频对应的分析结果。

10.根据权利要求8所述的装置，其特征在于，所述获取单元，还用于：

根据对所述监测视频的分析频率，确定所述监测视频中的各个关键帧；

基于所述视频分析数据，对每个所述关键帧进行图像标注，并对所述关键帧进行编码；

将对所述关键帧进行编码后的视频流发送至所述视频分析模块的流媒体服务线程，以生成待显示的视频流。

Images