CN109815921A - 加氢站中活动类别的预测方法及装置 - Google Patents

Abstract

本发明提供了一种加氢站中活动类别的预测方法及装置，包括：获取加氢站中目标对象的图像信息，其中，图像信息中显示有目标对象的活动特征点，活动特征点中包括目标对象的预定部位的位置信息；利用预定部位的位置信息预测目标对象在加氢站中的活动类别。通过本发明，解决了相关技术中对加氢站的监控不准确的问题，达到准确预测加氢站安全隐患的效果。

Description

加氢站中活动类别的预测方法及装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种加氢站中活动类别的预测方法及装置。

背景技术

在相关技术中，主要是通过视频监控系统对加氢站进行监控，视频监控系统可以已实时、直观的监控加氢站。但却存在着只能被动监控潜在的安全威胁的缺陷。并不能对安全隐患进行进一步的分析，容易造成加氢站的安全隐患。

针对上述技术问题，相关技术中尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种加氢站中活动类别的预测方法及装置，以至少解决相关技术中对加氢站的监控不准确的问题。

根据本发明的一个实施例，提供了一种加氢站中活动类别的预测方法，包括：获取加氢站中目标对象的图像信息，其中，图像信息中显示有目标对象的活动特征点，活动特征点中包括目标对象的预定部位的位置信息；利用预定部位的位置信息预测目标对象在加氢站中的活动类别。

根据本发明的另一个实施例，提供了一种加氢站中活动类别的预测装置，包括：获取模块，用于获取加氢站中目标对象的图像信息，其中，图像信息中显示有目标对象的活动特征点，活动特征点中包括目标对象的预定部位的位置信息；预测模块，用于利用预定部位的位置信息预测目标对象在加氢站中的活动类别。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，由于获取加氢站中目标对象的图像信息，其中，图像信息中显示有目标对象的活动特征点，活动特征点中包括目标对象的预定部位的位置信息；利用预定部位的位置信息预测目标对象在加氢站中的活动类别。可以达到对加氢站中的安全隐患进行预测的目的。因此，可以解决相关技术中对加氢站的监控不准确的问题，达到准确预测加氢站安全隐患的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种加氢站中活动类别的预测方法的移动终端的硬件结构框图；

图2是根据本发明实施例的加氢站中活动类别的预测方法的流程图；

图3是根据本发明实施例的预定部位的结构示意图；

图4是根据本发明实施例具体实施例中的流程图；

图5是根据本发明实施例的加氢站中活动类别的预测装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种加氢站中活动类别的预测方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的加氢站中活动类别的预测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种加氢站中活动类别的预测方法，图2是根据本发明实施例的加氢站中活动类别的预测方法的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取加氢站中目标对象的图像信息，其中，图像信息中显示有目标对象的活动特征点，活动特征点中包括目标对象的预定部位的位置信息；

步骤S204，利用预定部位的位置信息预测目标对象在加氢站中的活动类别。

通过上述步骤，由于获取加氢站中目标对象的图像信息，其中，图像信息中显示有目标对象的活动特征点，活动特征点中包括目标对象的预定部位的位置信息；利用预定部位的位置信息预测目标对象在加氢站中的活动类别。可以达到对加氢站中的安全隐患进行预测的目的。因此，可以解决相关技术中对加氢站的监控不准确的问题，达到准确预测加氢站安全隐患的效果。

可选地，上述步骤的执行主体可以为终端等，但不限于此。

在一个可选的实施例中，目标对象可以是进入加氢站中的人，或者是加氢站中的工作人员。目标对象的活动特征点包括目标对象行走的路线、目标对象的肢体动作、目标对象的表情信息等等。预定部位可以是目标对象中的25个基本点，如图3所示，还可以是对脸部和手部等部位进行更细致的检测。

可选地，活动类别可以是涉及安全工作流程的动作，例如工作人员在加氢前是否有去静电的行为、拿加氢枪进行加氢的操作等。可能是涉及到一些危险动作的预警。

在一个可选的实施例中，通过以下方式获取加氢站中目标对象的图像信息：利用摄像设备获取加氢站中预定区域中的目标对象的图像信息。在本实施例中，摄像设备可以是普通的摄像头，也可以是带有红外线装置的摄像头，可以识别出目标对象是人还是物体。预定区域可以是加氢站中设置的危险区域或者是安全区域。

在一个可选的实施例中，在获取加氢站中目标对象的图像信息之后，通过预设人体姿态估计算法从图像信息中提取目标对象的活动特征点；从活动特征点中提取出预定部位的位置信息。在本实施例中，利用预设人体姿态估计算法在对采集的可见光图像及红外图像进行图像处理得到待跟踪目标区域，检测待跟踪目标区域是否包括行人；在包括行人时，对行人进行跟踪，并在跟踪过程中检测行人边缘以从待跟踪目标区域中获得行人待识别区域；将行人待识别区域输入到识别模型中得到行人的行为识别结果。行人边缘是找出图像中行人的位置，把人框出来，这个框大小会根据姿态不同而变化。预设人体姿态估计算法可以是Facebook密集人体姿态估计工具，或者是开源的检测人体部位关键点的模型Densepose和Openpose，即通过使用大量标记样本对机器进行训练。

在一个可选的实施例中，在利用预定部位的位置信息预测目标对象在加氢站中的活动类别之前，可以在预定区域中预先收集多个目标对象的多个活动特征点；分别确定与多个活动特征点对应的多个活动类别；利用多个活动特征点和多个活动类别训练得到神经网络算法模型。在本实施例中，多个活动特征点主要是涉及安全工作流程的工作，例如，加氢前是否有去静电的行为、拿加氢枪进行加氢的操作等。神经网络算法模型可以是机器学习算法模型，将收集的与加氢站加氢行为有关的各类动作图片及视频进行训练。

在一个可选的实施例中，通过以下方式利用预定部位的位置信息预测目标对象在加氢站中的活动类别：通过目标跟踪算法持续获取目标对象的预定部位的位置信息，得到多个预定位置的位置信息；利用时间递归神经网络从多个预定位置的位置信息中确定预定部位的活动轨迹；通过神经网络算法模型从预定部位的活动轨迹中预测出目标对象在加氢站中的活动类别。例如，使用DensePose(Facebook密集人体姿态估计工具)或Openpose将监控画面中的人检测出来，并提取人体部位关键点位置；对检测到的人使用KCF(目标跟踪算法)跟踪器，利用摄像头持续获取人体部位关键点的位置；根据各部位关键点位置的变化情况利用时间递归神经网络中的时序信息处理结构LSTM(用于对动态的动作进行推断识别)推断出目标对象的动作类型。

在一个可选的实施例中，通过神经网络算法模型从预定部位的活动轨迹中预测出目标对象在加氢站中的活动类别之后，将目标对象在加氢站中的活动类别进行上链处理，其中，上链处理包括对活动类别的记录和监控。在本实施例中，上链是结合区块链技术将活动类别进行信息上链，进行统一记录和监管，既能保证评判标准公平公正，也能杜绝后期对检测结果的人为篡改。

在一个可选的实施例中，还包括对目标对象的确定，通过以下方式确定目标对象：获取红外摄像设备在加氢站目标区域中拍摄得到的视频文件；获取视频文件中的与预设图像信息对应的图像信息；将与预设图像对应的图像信息确定为目标对象。红外摄像设备主要是实现对目标对象的人脸识别。

综上所述，利用DensePose检测目标位置，并找出各部位的关键点，跟踪目标的行动轨迹，使用LSTM神经网络对动作类别进行预测。提供实时识别行为的功能，变被动监控为主动识别安全隐患，以智能化的视频监控技术弥补现有数字视频监控系统的缺点。该技术既减轻了操作人员的工作负担，同时也减少了人为因素造成的误报、漏报。最后对监控信息进行上链，使监控流程公正透明，监控记录难以篡改。

下面结合具体实施例对本发明进行详细说明：

本实施例是一种基于区块链的加氢站智能行为识别操作规范化管理方法，解决的技术问题是通过机器学习算法建模智能识别加氢站安装的监控视频中出现的一系列行为，与规范化行为对比后可判断该行为是否符合正常操作，以此自动化管理加氢站的加氢行为。主要提供实时识别行为的功能，变被动监控为主动识别安全隐患，以智能化的视频监控技术弥补现有数字视频监控系统的缺点。既减轻了操作人员的工作负担，同时也减少了人为因素造成的误报、漏报。最后对监控信息进行上链，使监控流程公正透明，监控记录难以篡改。

本实施例中的技术方案包括以下步骤，如图4所示：

S402：开始；

S404：接收监控地址(对应于上述中的预定区域)；

S406：搭建机器学习算法模型，并收集与加氢站加氢行为有关的各类动作图片及视频(涉及安全工作流程的动作如加氢前是否有去静电的行为、拿加氢枪进行加氢的操作等，后期可能也会涉及到一些危险动作的预警)进行训练；使用开源的检测人体部位关键点的模型DensePose(Facebook密集人体姿态估计工具)将监控画面中的人检测出来，并提取人体部位关键点位置，如图3所示；

S408：对检测到的人使用KCF(目标跟踪算法)跟踪器，通过摄像头(一个或多个)持续获取人体部位关键点的位置；

S410：根据各部位关键点位置的变化情况利用时序信息处理结构LSTM，时间递归神经网络推断出目标的动作类型；

S412：将识别出的动作信息上链，进行统一记录和监管。

S414：结束。

此外，上述中的机器学习算法模型可对物体和人脸进行识别检测，包括以下之一：

1)目标(人)是否与某特定物体(加氢机，加氢枪等加氢站的设备)有交互动作；

2)是“谁”在做某动作。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种加氢站中活动类别的预测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图5是根据本发明实施例的加氢站中活动类别的预测装置的结构框图，如图5所示，该装置包括：获取模块52和预测模块54，下面对该装置进行详细说明：

获取模块52，用于获取加氢站中目标对象的图像信息，其中，图像信息中显示有目标对象的活动特征点，活动特征点中包括目标对象的预定部位的位置信息；

预测模块54，连接至上述中的获取模块52，用于利用预定部位的位置信息预测目标对象在加氢站中的活动类别。

通过上述模块，由于获取加氢站中目标对象的图像信息，其中，图像信息中显示有目标对象的活动特征点，活动特征点中包括目标对象的预定部位的位置信息；利用预定部位的位置信息预测目标对象在加氢站中的活动类别。可以达到对加氢站中的安全隐患进行预测的目的。因此，可以解决相关技术中对加氢站的监控不准确的问题，达到准确预测加氢站安全隐患的效果。

在一个可选的实施例中，目标对象可以是进入加氢站中的人，或者是加氢站中的工作人员。目标对象的活动特征点包括目标对象行走的路线、目标对象的肢体动作、目标对象的表情信息等等。预定部位可以是目标对象中的25个基本点，如图3所示，还可以是对脸部和手部等部位进行更细致的检测。

可选地，活动类别可以是涉及安全工作流程的动作，例如工作人员在加氢前是否有去静电的行为、拿加氢枪进行加氢的操作等。可能是涉及到一些危险动作的预警。

在一个可选的实施例中，通过以下方式获取加氢站中目标对象的图像信息：利用摄像设备获取加氢站中预定区域中的目标对象的图像信息。在本实施例中，摄像设备可以是普通的摄像头，也可以是带有红外线装置的摄像头，可以识别出目标对象是人还是物体。预定区域可以是加氢站中设置的危险区域或者是安全区域。

在一个可选的实施例中，在获取加氢站中目标对象的图像信息之后，通过预设人体姿态估计算法从图像信息中提取目标对象的活动特征点；从活动特征点中提取出预定部位的位置信息。在本实施例中，利用预设人体姿态估计算法在对采集的可见光图像及红外图像进行图像处理得到待跟踪目标区域，检测待跟踪目标区域是否包括行人；在包括行人时，对行人进行跟踪，并在跟踪过程中检测行人边缘以从待跟踪目标区域中获得行人待识别区域；将行人待识别区域输入到识别模型中得到行人的行为识别结果。行人边缘是找出图像中行人的位置，把人框出来，这个框大小会根据姿态不同而变化。预设人体姿态估计算法可以是Facebook密集人体姿态估计工具，或者是开源的检测人体部位关键点的模型Densepose和Openpose，即通过使用大量标记样本对机器进行训练。

在一个可选的实施例中，在利用预定部位的位置信息预测目标对象在加氢站中的活动类别之前，可以在预定区域中预先收集多个目标对象的多个活动特征点；分别确定与多个活动特征点对应的多个活动类别；利用多个活动特征点和多个活动类别训练得到神经网络算法模型。在本实施例中，多个活动特征点主要是涉及安全工作流程的工作，例如，加氢前是否有去静电的行为、拿加氢枪进行加氢的操作等。神经网络算法模型可以是机器学习算法模型，将收集的与加氢站加氢行为有关的各类动作图片及视频进行训练。

在一个可选的实施例中，通过以下方式利用预定部位的位置信息预测目标对象在加氢站中的活动类别：通过目标跟踪算法持续获取目标对象的预定部位的位置信息，得到多个预定位置的位置信息；利用时间递归神经网络从多个预定位置的位置信息中确定预定部位的活动轨迹；通过神经网络算法模型从预定部位的活动轨迹中预测出目标对象在加氢站中的活动类别。例如，使用DensePose(Facebook密集人体姿态估计工具)将监控画面中的人检测出来，并提取人体部位关键点位置；对检测到的人使用KCF(目标跟踪算法)跟踪器，利用摄像头持续获取人体部位关键点的位置；根据各部位关键点位置的变化情况利用时序信息处理结构LSTM(用于对动态的动作进行推断识别)以及时间递归神经网络推断出目标对象的动作类型。

在一个可选的实施例中，通过神经网络算法模型从预定部位的活动轨迹中预测出目标对象在加氢站中的活动类别之后，将目标对象在加氢站中的活动类别进行上链处理，其中，上链处理包括对活动类别的记录和监控。在本实施例中，上链是结合区块链技术将活动类别进行信息上链，进行统一记录和监管，既能保证评判标准公平公正，也能杜绝后期对检测结果的人为篡改。

在一个可选的实施例中，还包括对目标对象的确定，通过以下方式确定目标对象：获取红外摄像设备在加氢站目标区域中拍摄得到的视频文件；获取视频文件中的与预设图像信息对应的图像信息；将与预设图像对应的图像信息确定为目标对象。红外摄像设备主要是实现对目标对象的人脸识别。

综上所述，利用DensePose检测目标位置，并找出各部位的关键点，跟踪目标的行动轨迹，使用LSTM神经网络对动作类别进行预测。提供实时识别行为的功能，变被动监控为主动识别安全隐患，以智能化的视频监控技术弥补现有数字视频监控系统的缺点。该技术既减轻了操作人员的工作负担，同时也减少了人为因素造成的误报、漏报。最后对监控信息进行上链，使监控流程公正透明，监控记录难以篡改。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以上各步骤的计算机程序。

可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行上各步骤。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种加氢站中活动类别的预测方法，其特征在于，包括：

获取加氢站中目标对象的图像信息，其中，所述图像信息中显示有所述目标对象的活动特征点，所述活动特征点中包括所述目标对象的预定部位的位置信息；

利用所述预定部位的位置信息预测所述目标对象在所述加氢站中的活动类别。

2.根据权利要求1所述的方法，其特征在于，获取所述加氢站中所述目标对象的图像信息包括：

利用摄像设备获取所述加氢站中预定区域中的所述目标对象的图像信息。

3.根据权利要求1所述的方法，其特征在于，在获取所述加氢站中所述目标对象的图像信息之后，所述方法还包括：

通过预设人体姿态估计算法从所述图像信息中提取所述目标对象的活动特征点；

从所述活动特征点中提取出所述预定部位的位置信息。

4.根据权利要求1所述的方法，其特征在于，利用所述预定部位的位置信息预测所述目标对象在所述加氢站中的活动类别之前，所述方法包括：

在预定区域中预先收集多个目标对象的多个活动特征点；

分别确定与所述多个活动特征点对应的多个活动类别；

利用所述多个活动特征点和所述多个活动类别训练得到神经网络算法模型。

5.根据权利要求4所述的方法，其特征在于，利用所述预定部位的位置信息预测所述目标对象在所述加氢站中的活动类别包括：

通过目标跟踪算法持续获取所述目标对象的预定部位的位置信息，得到多个预定位置的位置信息；

利用所述多个预定位置的位置信息，确定所述预定部位的活动轨迹；

利用时间递归神经网络从所述预定部位的活动轨迹中预测出所述目标对象在所述加氢站中的活动类别。

6.根据权利要求5所述的方法，其特征在于，利用所述时间递归神经网络从所述预定部位的活动轨迹中预测出所述目标对象在所述加氢站中的活动类别之后，所述方法还包括：

将所述目标对象在所述加氢站中的活动类别进行上链处理，其中，所述上链处理包括对所述活动类别的记录和监控。

7.根据权利要求1所述的方法，其特征在于，通过以下方式确定所述目标对象：

获取红外摄像设备在加氢站目标区域中拍摄得到的视频文件；

获取所述视频文件中的与预设图像信息对应的图像信息；

将与所述预设图像对应的图像信息确定为所述目标对象。

8.一种加氢站中活动类别的预测装置，其特征在于，包括：

获取模块，用于获取加氢站中目标对象的图像信息，其中，所述图像信息中显示有所述目标对象的活动特征点，所述活动特征点中包括所述目标对象的预定部位的位置信息；

预测模块，用于利用所述预定部位的位置信息预测所述目标对象在所述加氢站中的活动类别。

9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。

10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至7任一项中所述的方法。