CN114201475B - 危险行为监管方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种危险行为监管方法、装置、电子设备及存储介质，该方法包括：利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据；将正常视频数据存储至本地数据库；在异常视频数据不为空的情况下，将异常视频数据存储至星际文件系统IPFS中，并生成预警信息。本发明可针对农产品仓库人员行为相关的视频数据进行分类，在检测到异常行为的时候能自动生成预警信息，便于仓库监管人员及时采取制止措施，从而保证仓库的安全；且由于仅将异常视频数据存储至IPFS中，能在维护危险行为相关证据的存储安全的基础上，便于监管人员方便、快捷的实现对于危险行为相关证据的监管。

Description

危险行为监管方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种危险行为监管方法、装置、电子设备及存储介质。

背景技术

行为识别的任务是从视频剪辑中识别不同的动作，行为识别模型将图像分类中的任务扩展到多个帧，然后聚合来自每帧的预测。行为识别的背景方法一般分为传统方法以及深度学习方法。传统方法通过提取视频区域的局部高维视觉特征，通过特征提取、特征融合以及特征分类等步骤，最后利用分类器进行最终预测。

目前，关于仓库人员的危险行为监测方面，一般是由相关监管人员通过远程实时查看由监控器或者摄像头实时采集的相关区域的视频，以及时发现相关仓库人员是否发生危险行为，并在发现危险行为发生时，由监管人员启动危险告警；或者将采集到的相关区域的视频数据进行存档，再通过回放的方式，检查仓库人员是否曾经发生过危险行为，仅能实现事后追责。

这样通过安排监管人员进行实时监测的方式，并由其主观判断是否仓库人员是否发生危险行为的方式，监控器或者摄像头无法自主判断安全行为的发生，会由于主观判断标准的不统一或者监管人员的疏忽，导致所确定的危险行为不准确或不完整；且由于存档所有的视频数据需要消耗极大的存储空间，大大的增加了本地数据库的存储压力，加之若将视频数据存储在本地数据库，容易被相关当事人篡改或损毁。

发明内容

本发明提供一种危险行为监管方法、装置、电子设备及存储介质，用以解决现有技术中无法实现对从仓库管理人员的危险行为进行实时监测的缺陷，能自动根据对采集到的的实时视频数据的分析，分辨出仓库人员是否发生危险行为，并能够自动保存与危险行为相关的异常视频数据，供相关查证人员检查。

第一方面，本发明提供一种危险行为监管方法，包括：

利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据；

将所述正常视频数据存储至本地数据库；

在所述异常视频数据不为空的情况下，将所述异常视频数据存储至星际文件系统IPFS中，并生成预警信息。

根据本发明提供的一种危险行为监管方法，在将所述异常视频数据存储至星际文件系统IPFS中之后，还包括：

获取由所述IPFS返回的唯一视频哈希值；

将所述唯一视频哈希值存储至区块链上，用于实现对所述异常视频数据的监管。

根据本发明提供的一种危险行为监管方法，所述唯一视频哈希用于查证人员对存储在所述IPFS中的异常视频数据的正式性进行验证。

根据本发明提供的一种危险行为监管方法，在将所述唯一视频哈希值存储至区块链上之后，还包括：

基于星际命名系统IPNS，确定所述异常视频数据的唯一访问域名，以供查证人员通过在浏览器输入所述唯一访问域名后，完成对所述IPFS中的所述异常视频数据的访问；

所述唯一访问域名是根据所述异常视频数据的采集时间确定的。

根据本发明提供的一种危险行为监管方法，所述视频理解模型为SlowFast双通道网络模型，包括基于残差神经网络模型作为骨干网络构建的慢分支和快分支。

根据本发明提供的一种危险行为监管方法，所述利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据，包括：

所述慢分支采用低帧率高分辨率运行，以获取所述原始视频数据每一视频段中的静态空间特征；所述快分支采用高帧率低分辨率运行，以获取所述原始视频数据每一视频段中的动态变化特征；

分别对所述慢分支输出的静态空间特征和所述快分支输出的动态变化特征进行全局最大池化，获取慢特征向量和快特征向量；

将所述慢特征向量与所述快特征向量进行拼接后输入至全连接层进行与危险行为相关的分类；

根据分类结果将所述原始视频数据划分为异常视频数据和正常视频数据。

根据本发明提供的一种危险行为监管方法，所述快分支与所述慢分支的通道比例为1:16。

第二方面，本发明还提供一种危险行为监管装置，包括：

视频数据识别模块，用于利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据；

视频数据分配模块，用于将所述正常视频数据存储至本地数据库，将所述异常视频数据存储至星际文件系统IPFS中；

危险行为预警模块，用于在所述异常视频数据不为空的情况下，生成预警信息。

第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述危险行为监管方法的步骤。

第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述危险行为监管方法的步骤。

本发明提供的危险行为监管方法、装置、电子设备及存储介质，可针对农产品仓库人员行为相关的视频数据进行分类，在检测到异常行为的时候能自动生成预警信息，便于仓库监管人员及时采取制止措施，从而保证仓库的安全；且由于仅将异常视频数据存储至IPFS中，能在维护危险行为相关证据的存储安全的基础上，便于监管人员方便、快捷的实现对于危险行为相关证据的监管。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的危险行为监管方法的流程示意图之一；

图2是本发明提供的危险行为监管方法的流程示意图之二；

图3是本发明提供的危险行为监管方法的结构示意图；

图4是本发明提供的SlowFast双通道网络模型的结构示意图；

图5是本发明提供的危险行为监管装置的结构示意图；

图6是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合图1-图6描述本发明实施例所提供的危险行为监管方法、装置、电子设备及存储介质，主要适用于对一定区域内的行为人的行为进行监管，特别是在行为人发生了危险的、不允许的异常动作之后，能够实时的发出报警提示。例如：可以用于公共区域内行人的危险动作监管等，在不作特别说明的情况下，以本发明所提供的危险行为监管方法运用于仓库人员的危险行为监管为例进行说明，其不视为对本发明保护范围的具体限定。

图1是本发明提供的危险行为监管方法的流程示意图之一，如图1所示，包括但不限于以下步骤：

步骤101：利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据。

本发明可以通过预先在仓库人员的工作区域内安装摄像头，以实时采集、记录仓库人员的原始视频数据。

需要说明的是，所采集的原始视频流数据在进入视频理解模型之前会被预先裁剪为多个设置为固定时间长短的视频段，如3秒/段，若采集视频帧率为30帧/秒，该视频段则共有90帧（若设置的时间过短，对于动作识别的精准度会有下降；若设置时间过长，视频理解模型检测时间会加长，预警的响应速度就会变慢）。所采集的原始视频数据相关的每一视频段都具有相应的采集时间标签。

进一步地，将原始视频数据输入至预先训练好的视频理解模型，以识别对原始视频数据中的每一视频段进行分类识别，分类识别的标准是判断每一视频段中是否存在与危险行为相关的、由仓库人员做出的动作。

其中，与危险行为相关的动作可以是预先确定的，例如：影响人身、财产安全等违反规章制度的操作行为。

本发明，针对仓库人员的危险行为的识别，所提供的视频理解模型可以基于传统识别方法以及深度学习方法构建。

传统识别方法，主要是通过提取原始视频数据的局部高维视觉特征，再通过特征融合以及特征分类等步骤，最后利用分类器进行最终预测。

深度学习方法则主要包括基于骨架的人体行为识别法、单流法、双流法等方法。其中，基于骨架的人体行为识别方法，是指基于对视频中外观、深度、光流和身体骨骼等模态，提取原始视频数据中的关键信息；单流法是通过使用2D的预训练卷积融合连续帧的时间信息等方法，达到对危险行为的最终预测；双流法则是通过两条不同通道提取原始视频数据中的不同特征，后经过两通道的特征融合，最终实现对原始视频数据中的危险行为的预测。

最后，经过获取视频理解模型对输入的原始视频数据的分类结果之后，获取其输出的带有危险行为标签的异常视频数据，以及带有危险行为无关标签的正常视频数据。

步骤102：将所述正常视频数据存储至本地数据库。

一般来说，原始视频数据与危险行为相关的异常视频数据的占比也要远远大于与危险行为无关的正常视频数据，故其数据量一般较为庞大，且并无多大的实用性。

考虑到这一方面，本发明将所有的正常视频数据均存储至本地数据库，例如本地硬盘。

进一步地，可以周期性的对本地数据库中所存储的正常视频数据进行覆盖，例如：可以设置仅将近一个月内的所有正常视频数据存储至本地数据库，这样在接收到的新的正常视频数据，自动删除一个月前的数据。

步骤103：在所述异常视频数据不为空的情况下，将所述异常视频数据存储至星际文件系统（InterPlanetary File System，IPFS）中，并生成预警信息。

IPFS创造点对点的网络拓扑，提出点对点、文件内容寻址、技术栈完善的存储解决方案。它参考了分布式哈希表DHT、Kademlia、Git和自验证文件系统的技术优点并将其整合在一起。

IPFS具有如下特点：（1）每个文件及其中的所有块都被赋予一个称为加密散列的唯一指纹，文件一旦被修改，与最初的指纹哈希便会不一致；（2）查找文件时，通过文件的哈希值在网络查找到储存改文件的节点即可找到需要的文件；（3）数据块内容建立哈希去重的方式存储数据，通过计算是可以判断哪些文件是冗余重复的，数据的存储成本会显著下降。

本发明利用IPFS存储数据的优势，通过将异常视频数据存储至IPFS中，能够确保所存储的数据不易被篡改，且方便相关查证人员能够根据需要随时从IPFS中调取出任一目标异常视频数据。

作为一种可选实施例，本发明在利用视频理解模型对原始视频数据进行分类之后，若发现存在异常视频数据即（异常视频数据不为空），此时这认为仓库人员执行了不符合规章制度的动作，则自动发出异常行为危险预警。

进一步地，上述常行为危险预警一方面可以提醒仓管人员及时停止危险行为的继续实施；另一方面也可以发送给仓库监管人员，以通知其出面制止仓管人员继续实施危险行为。

本发明提供的危险行为监管方法，可针对农产品仓库人员行为相关的视频数据进行分类，在检测到异常行为的时候能自动生成预警信息，便于仓库监管人员及时采取制止措施，从而保证仓库的安全；且由于仅将异常视频数据存储至IPFS中，能在维护危险行为相关证据的存储安全的基础上，便于监管人员方便、快捷的实现对于危险行为相关证据的监管。

基于上述实施例的内容，作为一种可选实施例，在将所述异常视频数据存储至星际文件系统IPFS中之后，还包括：

获取由所述IPFS返回的唯一视频哈希值（以下简称视频hash）；将该视频hash存储至区块链上，用于实现对所述异常视频数据的监管。

区块链是基于分布式存储、密码学、智能合约、共识机制、点对点传输等计算机技术的新型应用模式，具有去中心化、不可篡改、正向记录逆向追溯特点。区块链能够很好解决现今数据存储易受篡改、伪造等问题，它基于去中心化的对等网络，用开源软件将密码学原理、时序数据和共识机制相结合去保证分布式数据库中各节点的连贯与连续，使数据能即时验证、可追溯，但又难以篡改和无法屏蔽，从而保证区块链上数据的安全存储。

区块链本身的瓶颈之一是账本的存储能力，结合本发明所实际面临的问题，虽然说区块链能够保证其上所存储的数据不被篡改，但是对于数据量庞大的视频流，区块链上区块大小的限制以及区块链式存储的特点，若直接将异常视频数据均存储在区块链中，其存储难度巨大且非常耗费存储资源。

有鉴于此，本发明通过将IPFS提供的分布式存储平台，与区块链系统进行完美搭配，将具有庞大数据量的异常视频数据使用IPFS存储，而将IPFS存储异常视频数据后生成的IPFS链接，即视频hash存储至区块链中，这样区块链系统和IPFS相辅相成，在解决异常视频数据的存储难题的前提下，能够共同维护相关数据的存储安全。

图2是本发明提供的危险行为监管方法的流程示意图之二，如图2所示，在将实时采集的原始视频数据输入至视频理解模型，获取由视频理解模型输出的正常视频数据直接存储至本地数据库。

若视频理解模型的输出还包含有异常视频数据，一方面生成异常行为危险预警，以供相关监管人员响应后，及时制止仓库人员继续执行危险动作。

另一方面，将上述异常视频数据存储至IPFS中，并获取由IPFS返回的唯一视频哈希值，并将该视频hash上传至区块链，这样区块链上就可以存储每一段异常视频数据顺序存储在IPFS中的视频hash。

仓库监管人员或者查证人员，在收到异常行为危险预警之后，可以根据先从区块链上读取出需要取证的目标异常视频数据所相关的视频hash，进而可以通过该视频hash从IPFS中调取存储的目标异常视频数据。

图3是本发明提供的危险行为监管方法的结构示意图，如图3所示，本发明考虑到异常视频数据需要消耗极大的存储空间，基于存储空间和存储成本的考量，本发明提供的危险行为监管方法，将视频理解模型所输出的两类不同视频流数据（正常视频数据和异常视频数据）进行分别存储。与危险行为无关的正常视频数据，由于本身的数据价值较低，无需特别的安全存储，故使用本地数据库进行存储，以降低存储系统所需的开销成本。

进一步地，将与危险行为相关的异常视频数据，存储至IPFS中。IPFS系统将会返回该异常视频数据（简称原始文件）的视频hash。这样IPFS系统中存储的原始文件一经篡改或者伪造，其散列hash将会与原始文件的视频hash不一致，该视频数据的原始性将会变得不可信。

进一步地，该视频hash会经智能合约同步上传至HyperLedger Fabric的区块链链上，以存储该原始文件的唯一视频hash，区块链存储能保证视频hash的原始性和安全性，并以此可对IPFS中存储的异常视频数据的真实性进行验证。

综上所述，本通过将作为证据的异常视频数据上传至IPFS，并将IPFS返回的相关视频hash存储至区块链的链上，以此在确保区块链上所存储的视频hash的原始性及真实性的基础上，进而确保了在IPFS中存储的异常视频数据的真实性。

基于上述实施例的内容，作为一种可选实施例，所述唯一视频哈希用于查证人员对存储在所述IPFS中的异常视频数据的正式性进行验证。

进一步地，在将唯一视频hash存储至区块链上之后，还包括：

基于星际命名系统（Inter Planetary Name System，IPNS），支持基于域名的解析，DNSLink技术可实现将一个原始IPFS地址（hash地址）与本发明自定义的域名（视频开始时间）相对应，并将对应的信息存储在TXT记录中。当用户借助IPNS在浏览器中输入任一自定义的域名地址时，会通过DNSLink事先存储的TXT记录中去查找对应的原始hash地址，以此来实现查证过程不靠输入视频hash寻找视频的目的。

本发明考虑存储在IPFS中的异常视频数据的取证问题，在考虑到视频hash已通过时间顺序存储于区块链的各区块中，但由于经过视频理解模型分类处理后的异常视频数据相关的原始文件的本身时间较短，平均时间所存储视频片段数量也不同，后期需要在区块链中取出某一时刻的视频hash时就无法做到快速精确查询，拖慢追责进度。

故本发明通过在IPFS中引入IPNS，将IPFS存储各异常视频数据所生成的繁琐、无规律的视频hash与各异常视频数据的采集时间信息相绑定。当所访问的异常视频数据已存储在IPFS系统中的情况下，要访问异常视频数据就可不再输入该异常视频数据对应的视频hash，而只需要输入这个异常视频数据的URL地址，该URL地址是以该异常视频数据的采集时间命名的。上述URL地址经过IPNS的映射，就能指向IPFS中需要访问的异常视频数据。

具体来说，本发明针对异常视频数据精准查询问题，通过在IPFS系统引入的IPNS技术，将视频hash信息与视频开始时间相对应，以此实现异常视频数据精准查询。

通过将异常视频数据以其开始时间（年月日时分秒）对视频数据进行命名（如20211201202710），利用IPNS技术将异常视频数据的采集时间作为该文件访问IPFS系统的域名。

这样，需要访问某特定时间片段的异常视频数据时，仅需使用（/ipns/20211201202710/Files/video.mp4）即可快速查找到该异常视频数据，代替通过在区块链中查找异常视频数据的视频hash，如/ipfs/QmWxNXDZ5yErTANWxTYoHnCfJ11mymgz9DaV831FCkEF47/Files/video.mp4，在IPFS中的查询方式。在实际应用中，由于减少了每次从区块链中提取视频hash的步骤，区块链仅作为验证视频真实性的功能，以采集时间代替视频hash查找对应的异常视频数据，大大减少了提取特定异常视频数据的时间，以此实现存证视频的精确查找操作。

综上所述，本发明提供的危险行为监管方法，，将视频hash与视频时间相绑定的方式，减少了从区块链中查询视频hash的步骤，提高取证效率，利于事后追责，还原事实真相。

基于上述实施例的内容，作为一种可选实施例，所述视频理解模型为SlowFast双通道网络模型，包括基于残差神经网络模型作为骨干网络构建的慢分支和快分支。

进一步地，上述步骤101所述的利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据，包括：

所述慢分支采用低帧率高分辨率运行，以获取所述原始视频数据每一视频段中的静态空间特征；所述快分支采用高帧率低分辨率运行，以获取所述原始视频数据每一视频段中的动态变化特征；

分别对所述慢分支输出的静态空间特征和所述快分支输出的动态变化特征进行全局最大池化，获取慢特征向量和快特征向量；

将所述慢特征向量与所述快特征向量进行拼接后输入至全连接层进行与危险行为相关的分类；

根据分类结果将所述原始视频数据划分为异常视频数据和正常视频数据。

本发明提供的基于深度学习的SlowFast双通道网络模型，具有轻参数、计算量小、精度高等特点，无需额外捕获光流或近似光流特征，而是用帧的刷新速度来区分空间和时间的关系，图像通过两条通道：一条慢通道以较低帧率和较缓慢的刷新速度，快速捕捉图像中稀疏帧所提供的空间语义信息；一条快通道以高帧率和较快的刷新速度，捕捉图像中的运动变化。然后，通过对快慢分支进行全局最大池化，得到两个池化之后的特征向量；最后，通过将快慢通道分支的特征向量进行拼接，经过全连接层进行类别预测。

图4是本发明提供的SlowFast双通道网络模型的结构示意图，如图4所示，在实现对于仓库人员的危险行为监测方面，及时的识别与预警是仓库危险行为监测系统的核心思想。SlowFast双通道网络模型的整体使用了双流路径架构，其中一条慢分支被设计用来捕捉输入图像的少量稀疏帧所提供的空间语义信息（即静态空间特征），以较低帧率和较低的刷新速度运行；另一条快支路被设计用来捕捉快速变化的运动，以较高帧率和较高的刷新速度运行。

如图4所示，SlowFast双通道网络模型的初始输入的图像大小均被预先归一化为224×224，输入的帧率约为32帧/秒，骨干网络选用ResNet-50。网络使用稀疏采样的方式，慢支路和快支路将会从原始视频流中分别以2帧/秒和16帧/秒的速度提取原始视频数据中的图像信息。

可选地，本发明所提供的SlowFast双通道网络模型中的快支路与慢支路的通道比例被设计为1：16，这样模型更具轻量化。

虽然现有的SlowFast模型已经做到相对轻量，但是在应用到实际预警系统中，现有的SlowFast模型的响应时间仍不能满足预警系统需要及时响应的要求。

为满足预警系统的预警时效性，本发明通过对现有的SlowFast模型进行改进，获取新的SlowFast双通道网络模型，主要体现在以下几个方面：（1）降低输入图像的初始分辨率及每秒输入图像的帧率；（2）模型参数的训练优化；（3）对其中的慢分支和快分支的通道比例进行改变，具体可以修改为1：16。

通过对模型的进一步改进优化，使模型在保证准确率仅有些许下降的条件下，运算量下降明显，系统响应时间得到提升。本发明通过在公共数据集Kinetics-400的数据集实验中，以1：16的通道比例改进后的SlowFast双通道网络模型相比现有的SlowFast模型，其Top-1的准确率虽说降低了约0.5%（由75.6%降低至75.1%），但SlowFast双通道网络模型的运算量减少了约15%，故响应时间提升明显。

综合上述各个实施例的描述，本发明提供的危险行为监管方法，使用改进的SlowFast双通道网络模型实时识别仓库人员的危险行为，并在危险行为发生后在极短时间内即可实现警报预警，及时维护仓库安全。同时，作为视频证据的异常视频数据，将会上传至IPFS分布式存储平台，并将对应的视频hash信息存储至区块链的链上，以此可验证各异常视频数据的原始性及真实性。视频哈希与视频时间相绑定的方式，减少了从区块链中查询视频hash的步骤，提高取证效率，利于事后追责，还原事实真相。

图5是本发明提供的危险行为监管装置的结构示意图，如图5所示，主要包括视频数据识别模块51、视频数据分配模块52和危险行为预警模块53，其中：

视频数据识别模块51主要用于利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据；

视频数据分配模块52主要用于将所述正常视频数据存储至本地数据库，将所述异常视频数据存储至星际文件系统IPFS中；

危险行为预警模块53主要用于在所述异常视频数据不为空的情况下，生成预警信息。

需要说明的是，本发明实施例提供的危险行为监管装置，在具体运行时，可以执行上述任一实施例所述的危险行为监管方法，对此本实施例不作赘述。

本发明提供的危险行为监管装置，可针对农产品仓库人员行为相关的视频数据进行分类，在检测到异常行为的时候能自动生成预警信息，便于仓库监管人员及时采取制止措施，从而保证仓库的安全；且由于仅将异常视频数据存储至IPFS中，能在维护危险行为相关证据的存储安全的基础上，便于监管人员方便、快捷的实现对于危险行为相关证据的监管。

图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器（processor）610、通信接口（Communications Interface）620、存储器（memory）630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行危险行为监管方法，该方法包括：利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据；将正常视频数据存储至本地数据库；在异常视频数据不为空的情况下，将异常视频数据存储至星际文件系统IPFS中，并生成预警信息。

此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的危险行为监管方法，该方法包括：利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据；将正常视频数据存储至本地数据库；在异常视频数据不为空的情况下，将异常视频数据存储至星际文件系统IPFS中，并生成预警信息。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的危险行为监管方法，该方法包括：利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据；将正常视频数据存储至本地数据库；在异常视频数据不为空的情况下，将异常视频数据存储至星际文件系统IPFS中，并生成预警信息。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种危险行为监管方法，其特征在于，包括：

利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据；

将所述正常视频数据存储至本地数据库；

在所述异常视频数据不为空的情况下，将所述异常视频数据存储至星际文件系统IPFS中，并生成预警信息；

所述视频理解模型为SlowFast双通道网络模型，包括基于残差神经网络模型作为骨干网络构建的慢分支和快分支；

所述利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据，包括：

所述慢分支采用低帧率高分辨率运行，以获取所述原始视频数据每一视频段中的静态空间特征；所述快分支采用高帧率低分辨率运行，以获取所述原始视频数据每一视频段中的动态变化特征；

分别对所述慢分支输出的静态空间特征和所述快分支输出的动态变化特征进行全局最大池化，获取慢特征向量和快特征向量；

将所述慢特征向量与所述快特征向量进行拼接后输入至全连接层进行与危险行为相关的分类；

根据分类结果将所述原始视频数据划分为异常视频数据和正常视频数据。

2.根据权利要求1所述的危险行为监管方法，其特征在于，在将所述异常视频数据存储至星际文件系统IPFS中之后，还包括：

获取由所述IPFS返回的唯一视频哈希值；

将所述唯一视频哈希值存储至区块链上，用于实现对所述异常视频数据的监管。

3.根据权利要求2所述的危险行为监管方法，其特征在于，所述唯一哈希用于查证人员对存储在所述IPFS中的异常视频数据的正式性进行验证。

4.根据权利要求2所述的危险行为监管方法，其特征在于，在将所述唯一视频哈希值存储至区块链上之后，还包括：

基于星际命名系统IPNS，确定所述异常视频数据的唯一访问域名，以供查证人员通过在浏览器输入所述唯一访问域名后，完成对所述IPFS中的所述异常视频数据的访问；

所述唯一访问域名是根据所述异常视频数据的采集时间确定的。

5.根据权利要求1所述的危险行为监管方法，其特征在于，所述快分支与所述慢分支的通道比例为1:16。

6.一种危险行为监管装置，其特征在于，包括：

视频数据识别模块，用于利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据；

视频数据分配模块，用于将所述正常视频数据存储至本地数据库，将所述异常视频数据存储至星际文件系统IPFS中；

危险行为预警模块，用于在所述异常视频数据不为空的情况下，生成预警信息；

所述视频理解模型为SlowFast双通道网络模型，包括基于残差神经网络模型作为骨干网络构建的慢分支和快分支；

其中，视频数据识别模块利用视频理解模型对原始视频数据进行分类，获取与危险行为相关的异常视频数据和与危险行为无关的正常视频数据，包括：

所述慢分支采用低帧率高分辨率运行，以获取所述原始视频数据每一视频段中的静态空间特征；所述快分支采用高帧率低分辨率运行，以获取所述原始视频数据每一视频段中的动态变化特征；

分别对所述慢分支输出的静态空间特征和所述快分支输出的动态变化特征进行全局最大池化，获取慢特征向量和快特征向量；

将所述慢特征向量与所述快特征向量进行拼接后输入至全连接层进行与危险行为相关的分类；

根据分类结果将所述原始视频数据划分为异常视频数据和正常视频数据。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述危险行为监管方法步骤。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述危险行为监管方法步骤。

Images