CN113807227B - 基于图像识别的安全监测方法、装置、设备及存储介质 - Google Patents

基于图像识别的安全监测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN113807227B
CN113807227B CN202111064976.1A CN202111064976A CN113807227B CN 113807227 B CN113807227 B CN 113807227B CN 202111064976 A CN202111064976 A CN 202111064976A CN 113807227 B CN113807227 B CN 113807227B
Authority
CN
China
Prior art keywords
image
video
dangerous area
neural network
background image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111064976.1A
Other languages
English (en)
Other versions
CN113807227A (zh
Inventor
翁建明
请求不公布姓名
沙万里
徐伟
丁松令
陈衍
张恒
李杭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Hepu Industrial Co ltd
Zhejiang Zheneng Jiahua Power Generation Co Ltd
Original Assignee
Zhejiang Hepu Industrial Co ltd
Zhejiang Zheneng Jiahua Power Generation Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Hepu Industrial Co ltd, Zhejiang Zheneng Jiahua Power Generation Co Ltd filed Critical Zhejiang Hepu Industrial Co ltd
Priority to CN202111064976.1A priority Critical patent/CN113807227B/zh
Publication of CN113807227A publication Critical patent/CN113807227A/zh
Application granted granted Critical
Publication of CN113807227B publication Critical patent/CN113807227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种基于图像识别的安全监测方法、装置、设备及存储介质，方法包括：预设视频获取设备开机时的第一帧图像为背景图像；获取一帧视频图像；如果所述视频图像与背景图像存在偏差，则计算所述视频图像与所述背景图像的偏差，得到图像偏差值；将所述图像偏差值与预设的阈值进行比较，如果所述图像偏差值大于预设的阈值，则检测视频中的疑似危险区域并得到疑似危险区域大小；否则，将所述视频图像作为所述背景图像；若所述疑似危险区域大于预设的面积，则计算所述疑似危险区域的动态特征，并根据所述动态特征进行安全预警；否则将所述视频图像作为所述背景图像并重复以上步骤。从而提高安全检测的准确性，保障生产生活的安全。

Description

基于图像识别的安全监测方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域，具体涉及基于图像识别的安全监测方法、装置、设备及存储介质。
背景技术
智慧时代的到来深刻的影响和改变着传统生活方式，对于员工行为识别的需求也随之变得越发迫切。由于行为识别的巨大应用前景，使其一直是计算机视觉领域和模式识别领域的热门研究课题。在智慧工厂等方面，行为识别都有着重要应用；目前，虽然行为识别已经取得了很大的进展，但是距离实际的应用还有很长的一段路要走，对比行为识别的巨大应用前景，对其的研究还是远远不够。
据统计，大部分工厂事故是工人的不安全行为和工厂的潜在危险造成的，因此，分析、研究生产过程中的不安全行为、提前识别工厂内部潜在危险区域，是控制和减少事故的有效手段。智慧工厂的出现就是要解决的这样的问题，通过视频行为分析技术，对工人的违规行为以及工厂危险能够及时识别并发出警报，减少事故的发生。
结合上述，从另一个角度来说，在监控领域，现有视频分析依然依靠管理人员，单纯的人力监视存在着诸多不足之处。例如劳动成本高，长时间精力集中以及多屏检测的能力有限。所以需要先进的智能监控系统通过行为分析技术提供可靠的实时报警以协助管理人员保障生产生活中的安全，减少工作人员的工作量。然而现有的识别技术还是具有一定的局限性，例如存在识别速度慢，安全检测的结果准确性低等问题。
基于上述情况，本发明提出了基于图像识别的安全监测方法、装置、设备及存储介质，可有效解决以上问题。
发明内容
本发明的目的在于提供一种基于图像识别的安全监测方法、装置、设备及存储介质。本发明的基于图像识别的安全监测方法、装置、设备及存储介质通过从视频中获取的视频图像与背景图像之间进行偏差计算，根据图像的偏差值检测视频中的疑似危险区域或者更新背景图像，然后根据疑似危险区域大小与预设的面积比较结果，计算所述疑似危险区域的动态特征，最后根据所述动态特征进行安全预警，否则将获取的视频图像作为背景图像重复上述过程，提高危险区域和行为识别的准确度，从而提高安全检测的准确性，保障生产生活的安全。
本发明通过下述技术方案实现：
一种基于图像识别的安全监测方法，包括：
预设视频获取设备开机时的第一帧图像为背景图像；
获取一帧视频图像；
如果所述视频图像与背景图像存在偏差，则计算所述视频图像与所述背景图像的偏差，得到图像偏差值；
将所述图像偏差值与预设的阈值进行比较，如果所述所述图像偏差值大于预设的阈值，则检测视频中的疑似危险区域并得到疑似危险区域大小；否则，将所述视频图像作为所述背景图像；
若所述疑似危险区域大于预设的面积，则计算所述疑似危险区域的动态特征，并根据所述动态特征进行安全预警；否则将所述视频图像作为所述背景图像并重复以上步骤。
本发明的目的在于提供一种基于图像识别的安全监测方法、装置、设备及存储介质。本发明的基于图像识别的安全监测方法、装置、设备及存储介质通过从视频中获取的视频图像与背景图像之间进行偏差计算，根据图像的偏差值检测视频中的疑似危险区域或者更新背景图像，然后根据疑似危险区域大小与预设的面积比较结果，计算所述疑似危险区域的动态特征，最后根据所述动态特征进行安全预警，否则将获取的视频图像作为背景图像重复上述过程，提高危险区域和行为识别的准确度，从而提高安全检测的准确性，保障生产生活的安全。
进一步的，所述计算所述视频图像与所述背景图像的偏差，得到图像偏差值,包括：
采集所述视频图像的特征信息；
采用图像匹配算法将所述视频图像的特征信息与所述背景图像进行特征点匹配，得到所述图像偏差值。
进一步的，所述采集所述视频图像的特征信息的步骤包括：
通过时空双流神经网络从所述视频图像中采集所述特征信息。
进一步的，所述时空双流神经网络包括空间流神经网络分支和时间流网络分支，所述空间流神经网络分支的分类网络采用循环神经网络。
进一步的，所述时空双流神经网络还包括多目标检测网络，所述多目标检测网络包括Faster RCNN网络，且设置于所述空间流神经网络分支和时间流网络分支之前。
进一步的，所述空间流神经网络分支的循环神经网络包括长时递归卷积网络，所述长时递归卷积网络由CNN网络和LSTM网络组成。
进一步的，所述检测视频中的疑似危险区域并得到疑似危险区域大小包括：
间隔一定时间从视频中抽取一帧图像，抽取多帧图像作为检测数据集；
分别从所述检测数据集中抽取不同帧数的图像组成多组检测数据子集，并将每组检测数据子集分别输入预训练好的检测模型的特征提取单元，得到对应多组特征向量并通过所述检测模型的融合单元进行组内特征融合，得到多组融合特征；
将所述多组融合特征输入所述检测模型的预测单元对视频进行危险区域预测，检测出疑似危险区域，并得到疑似危险区域大小。
为解决上述技术问题，本申请实施例还提供一种基于图像识别的安全监测装置，包括：
获取模块，用于获取一帧视频图像；
计算模块，用于如果所述视频图像与背景图像存在偏差，则计算所述视频图像与所述背景图像的偏差，得到图像偏差值；
检测模块，用于将所述图像偏差值与预设的阈值进行比较，如果所述所述图像偏差值大于预设的阈值，则检测视频中的疑似危险区域并得到疑似危险区域大小；否则，将所述视频图像作为所述背景图像；
预警模块，用于若所述疑似危险区域大于预设的面积，则计算所述疑似危险区域的动态特征，并根据所述动态特征进行安全预警；否则将所述视频图像作为所述背景图像并重复以上步骤。
为解决上述技术问题，本申请实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现所述的基于图像识别的安全监测方法的功能。
为解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于图像识别的安全监测方法的功能。
本发明与现有技术相比，具有以下优点及有益效果：
本发明通过从视频中获取的视频图像与背景图像之间进行偏差计算，根据图像的偏差值检测视频中的疑似危险区域或者更新背景图像，然后根据疑似危险区域大小与预设的面积比较结果，计算所述疑似危险区域的动态特征，最后根据所述动态特征进行安全预警，否则将获取的视频图像作为背景图像重复上述过程，从而可以不断检测识别视频中潜在的危险区域或危险行为，提高了基于图像的安全监测的准确性。
附图说明
图1为本发明所述安全监测方法的一个实施例的流程图；
图2为本发明所述安全监测装置的结构示意图；
图3为本发明所述计算机设备的结构示意图。
具体实施方式
为了使本领域的技术人员更好地理解本发明的技术方案，下面结合具体实施例对本发明的优选实施方案进行描述，但是应当理解，附图仅用于示例性说明，不能理解为对本专利的限制；为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。附图中描述位置关系仅用于示例性说明，不能理解为对本专利的限制。
实施例1：
如图1所示，基于图像识别的安全监测方法包括：
步骤101：预设视频获取设备开机时的第一帧图像为背景图像；
步骤102：获取一帧视频图像；
步骤103：如果所述视频图像与背景图像存在偏差，则计算所述视频图像与所述背景图像的偏差，得到图像偏差值；
在本发明实施例中，上述视频可以通过预设于工厂或其他需要进行安全识别和检测的任何地方的图像采集设备进行采集，如出入口、电力设备区域、地下井盖附近或渗水漏水等危险和不易察觉的地方，图像采集设备包括但不限于摄像头、录像机或其他待摄像功能的设备，用于采集对应区域内的视频图像并进行本地处理，或者可以通过网络将采集的视频图像传输到远程服务器进行处理以减轻摄像头本地计算压力；上述网络包括有线连接或无线连接，有线连接可以包括但不限于以太网、光纤或RS485等方式，上述无线连接方式可以包括但不限于3G/4G连接、WiFi(Wireless-Fidelity)连接、蓝牙连接、WiMA×(Worldwide Interoperability for Microwave Access)连接、Zigbee(低功耗局域网协议，又称紫峰协议)连接、UWB(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。
然后通过视频图像的时间戳从采集的视频中获取视频的第一帧图像作为背景图像，以便于和视频的其他图像进行计算对比分析，得到图像间的差异，即上述图像偏差值，并进一步根据图像偏差值进行识别判断。
具体地，上述计算视频图像与背景图像的偏差，得到图像偏差值,包括：
采集上述视频图像的特征信息；
采用图像匹配算法将上述视频图像的特征信息与上述背景图像进行特征点匹配，得到图像偏差值。
在本发明实施例中，可以通过时空双流神经网络从所述视频图像中采集所述特征信息。上述时空双流神经网络包括空间流神经网络分支和时间流网络分支，两个分支以相同的神经网络流结构分别提取视频的空间信息和时间信息，即空间流和时间流，空间流输入单帧RGB图像，时间流输入连续的光流图，最后将这两种流信息融合。
上述单帧RGB图像可以包含外观、场景等空间信息，光流图可以包含场景中的运动信息。上述时空双流神经网络的神经网络流结构可以依次包括多个连续的通道数不相同的卷积层、两层全连接层和最后的分类层，最后将空间流神经网络分支和时间流网络分支的输出进行融合得到最终的识别结果，提高识别准确率；当然各个分支也可以将计算结果单独输出，从而可以根据需要独立地使用静态图像帧与帧间密集光流分别进行特征提取和识别。
值得说明的是，上述时间流网络分支的时间流输入连续的运动历史图像。在具体实施的过程中，由于时间流的连续帧稠密光流图计算复杂，因此考虑找一种既计算简单又能包含空间中运动信息的图像来替代稠密光流图；运动历史图像就是一个很好的替代，通过计算时间段内同一位置的像素变化，将目标运动情况以图像亮度的形式表现出来。运动历史图像的每个像素的灰度值表示了在一组视频序列中该位置像素的最近的运动情况，最后运动的时刻越接近当前帧，该像素的灰度值越高，而且运动历史图像计算简单，替换后可以提高运算速度。
进一步地，在另一个实施例中，上述时空双流神经网络还包括多目标检测网络，所述多目标检测网络包括Faster RCNN网络，且设置于上述空间流神经网络分支和时间流网络分支之前。具体的，上述多目标检测网络包括Faster RCNN网络，且设置于上述空间流神经网络分支和时间流网络分支的卷积层之前。上述时空双流神经网络虽然识别准确率高，但仅支持单目标识别，因此本发明实施例中在空间流神经网络分支和时间流网络分支之前设置多目标检测网络，通过多目标检测网络Faster RCNN从视频图像中将多目标(如多人或多个物体)的初步特征信息提取出来，分别送入后续的空间流神经网络分支和时间流网络分支作进一步分析。Faster RCNN网络是目标检测网络中的一种，Faster RCNN网络相比于其他网络有着良好的准确率和运算速度，所以考虑使用Faster RCNN网络作为整个时空双流神经网络的第一部分，以实现多目标的识别。
进一步地，在另一个实施例中，上述空间流神经网络分支的分类网络采用循环神经网络。所述空间流神经网络分支的循环神经网络包括长时递归卷积网络，所述长时递归卷积网络由CNN网络和LSTM网络组成。原时空双流神经网络分类错误是由于只考虑了某一瞬间空间中的行为，而没有考虑到连续时间内的行为变化，且其在网络的最后面使用的全连接和softmax组成的分类网络较为简单，因此本发明实施例在空间流神经网络分支引入长时递归卷积网络代替原分类网络，可以有效解决这个问题，从而进一步提高整个时空双流神经网络识别的准确率。
具体的，所述长时递归卷积网络的CNN网络负责提取连续帧图像中的目标特征信息，再将得到的目标特征信息送入LSTM网络进一步地特征融合和识别，从而可以提升整个神经网络提取特征的精细程度，获得目标更细致、更底层的特征，有助于进一步提高分类识别的准确率。
通过上述时空双流神经网络可以提取出视频中的多目标的特征信息和目标分类结果，例如，行人的行为类别，工厂闸门、井盖的开闭，电力设备的运行状态等，然后采用图像匹配算法将提取出的视频图像的特征信息与背景图像进行特征点匹配，得到所述图像偏差值。上述图像匹配算法具体可以采用基于特征的匹配算法，该算法基于提取的图像特征生成特征描述子，最后根据描述子的相似程度对图像的特征之间进行匹配，计算得到所述图像偏差值；常见的有SIFT(Scale-Invariant Feature Transform，尺度不变特征变换)算法、SURF(Speeded Up Robust Features，加速稳健特征)算法、BRISK(Binary RobustInvariant Scalable Keypoints，二进制鲁棒不变尺度特征)算法等。
步骤104：将所述图像偏差值与预设的阈值进行比较，如果所述图像偏差值大于预设的阈值，则检测视频中的疑似危险区域并得到疑似危险区域大小；否则，将所述视频图像作为所述背景图像。
在本发明实施例中，将上述通过特征匹配计算得到的图像偏差值与预设的阈值进行比较，如果所述图像偏差值小于等于根据经验预设的阈值，则说明两帧图像偏差不大，图像某区域内的目标行为或对象未发生较大变化，则将当前图像作为背景图像从而更新背景图像；如果所述图像偏差值大于根据经验预设的阈值，则说明两帧图像偏差过大，图像某区域内的目标行为或对象发生了较大变化，则检测视频中的疑似危险区域，并得到疑似危险区域大小。
具体的，所述检测视频中的疑似危险区域并得到疑似危险区域大小包括：
S1、间隔一定时间从视频中抽取一帧图像，抽取多帧图像作为检测数据集；
S2、分别从所述检测数据集中抽取不同帧数的图像组成多组检测数据子集，并将每组检测数据子集分别输入预训练好的检测模型的特征提取单元，得到对应多组特征向量并通过所述检测模型的融合单元进行组内特征融合，得到多组融合特征；
S3、将所述多组融合特征输入所述检测模型的预测单元对视频进行危险区域预测，检测出疑似危险区域，并得到疑似危险区域大小。
上述检测模块包括特征提取单元、融合单元以及预测单元，其中，特征提取单元可以使用CNN(卷积神经网络)，融合单元采用MLP(多层感知机)，预测单元基于融合单元的结果通过复合函数进行预测。举例而言，可以每隔2秒从视频中抽取一帧图像，对于200秒的视频则可以抽取出100帧图像作为检测数据集，并以每组两帧、三帧、五帧、N帧图像(N可以是小于100的正整数)，从上述检测数据集中任意抽取对应多帧图像组成对应多组检测数据子集，例如，两帧检测数据子集、三帧检测数据子集、五帧检测数据子集、N帧检测数据子集；然后将每组检测数据子集中的每帧图像按时间依次输入上述特征提取单元，通过CNN从中提取出每组检测子集的特征向量，并通过所述融合单元的MLP进行组内特征融合，得到对应多组融合特征；例如，两帧检测数据子集的融合得到的融合特征，可以采用以下公式表示(即融合单元的数学表示)：
其中，fi，fj代表视频中的第i、j帧通过特征提取单元CNN后输出的特征向量，函数h和g表示分别具有参数φ和θ的多层感知机(MLP)，T2(V)表示通过上述融合单元融合了不同有序帧图像的融合特征。同样，三帧检测数据子集的融合得到的融合特征，可以采用以下公式表示：
最后，基于上述融合单元对各组检测数据子集的融合结果，即多组融合特征，预测单元通过复合函数MTN(V)＝T2(V)+T3(V)...+TN(V)对图像中的活动区域进行识别和预测，检测出疑似危险区域。
步骤105：若所述疑似危险区域大于预设的面积，则计算所述疑似危险区域的动态特征，并根据所述动态特征进行安全预警；否则将所述视频图像作为所述背景图像并重复以上步骤。
在本发明实施例中，若上述步骤104中检测出的疑似危险区域大于预设的面积，则通过以上步骤可以从视频的多帧图像中检测出某一区域在一段时间内的变化情况作为该区域的动态特征，即计算出上述疑似危险区域的动态特征，从而可以发现潜在的疑似危险区域，例如人破坏设备、工厂墙壁渗水、地面凹陷、电力设备脱落等影响安全生产生活的过程，进而可以及时上报和安全预警，防止安全事故的发生，从而提高了安全检测的准确性和效率。
综上，本申请实施例通过从视频中获取的视频图像与背景图像之间进行偏差计算，根据图像的偏差值检测视频中的疑似危险区域或者更新背景图像，然后根据疑似危险区域大小与预设的面积比较结果，计算所述疑似危险区域的动态特征，最后根据所述动态特征进行安全预警，否则将获取的视频图像作为背景图像重复上述过程，从而可以不断检测识别视频中潜在的危险区域或危险行为，提高了基于图像的安全监测的准确性。
如图2所示，图2示出了根据本发明的基于图像识别的安全监测装置的一个实施例的结构示意图。所述的基于图像识别的安全监测装置200包括：
获取模块201，用于获取一帧视频图像；
计算模块202，用于如果所述视频图像与背景图像存在偏差，则计算所述视频图像与所述背景图像的偏差，得到图像偏差值；
检测模块203，用于将所述图像偏差值与预设的阈值进行比较，如果所述所述图像偏差值大于预设的阈值，则检测视频中的疑似危险区域并得到疑似危险区域大小；否则，将所述视频图像作为所述背景图像；
预警模块204，用于若所述疑似危险区域大于预设的面积，则计算所述疑似危险区域的动态特征，并根据所述动态特征进行安全预警；否则将所述视频图像作为所述背景图像并重复以上步骤。
本发明实施例提供的基于图像识别的安全监测装置能够实现上述方法实施例中基于图像识别的安全监测方法实现的各个过程，且可以达到相同的有益效果。为避免重复，这里不再赘述。
应该理解的是，虽然附图的结构示意图中的各个子系统按照箭头的指示依次显示，但是这些子系统并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些子系统的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的结构示意图中的至少一部分子系统在执行时可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图3，图3为本实施例计算机设备3的基本结构框图。
所述计算机设备3包括通过系统总线相互通信连接存储器31、处理器32、网络接口33。需要指出的是，图中仅示出了具有组件31-33的计算机设备3，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器31至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器31可以是所述计算机设备3的内部存储单元，例如该计算机设备3的硬盘或内存。在另一些实施例中，所述存储器31也可以是所述计算机设备3的外部存储设备，例如该计算机设备3上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器31还可以既包括所述计算机设备3的内部存储单元也包括其外部存储设备。本实施例中，所述存储器31通常用于存储安装于所述计算机设备3的操作系统和各类应用软件，例如基于图像识别的安全监测方法的程序代码等。此外，所述存储器31还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器32在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器32通常用于控制所述计算机设备3的总体操作。本实施例中，所述处理器32用于运行所述存储器31中存储的程序代码或者处理数据，例如上述基于图像识别的安全监测方法的程序代码。
所述网络接口33可包括无线网络接口或有线网络接口，该网络接口33通常用于在所述计算机设备3与其他电子设备之间建立通信连接。
依据本发明的描述及附图，本领域技术人员很容易制造或使用本发明的基于图像识别的安全监测方法、装置、设备及存储介质，并且能够产生本发明所记载的积极效果。
如无特殊说明，本发明中，若有术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系是基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此本发明中描述方位或位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以结合附图，并根据具体情况理解上述术语的具体含义。
除非另有明确的规定和限定，本发明中，若有术语“设置”、“相连”及“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (10)

1.一种基于图像识别的安全监测方法，其特征在于，包括：
预设视频获取设备开机时的第一帧图像为背景图像；
获取一帧视频图像；
如果所述视频图像与背景图像存在偏差，则计算所述视频图像与所述背景图像的偏差，得到图像偏差值；
将所述图像偏差值与预设的阈值进行比较，如果所述图像偏差值大于预设的阈值，则检测视频中的疑似危险区域并得到疑似危险区域大小；否则，将所述视频图像作为所述背景图像；
若所述疑似危险区域大于预设的面积，则计算所述疑似危险区域的动态特征，并根据所述动态特征进行安全预警；否则将所述视频图像作为所述背景图像并重复以上步骤。
2.根据权利要求1所述的安全监测方法，其特征在于：所述计算所述视频图像与所述背景图像的偏差，得到图像偏差值,包括：
采集所述视频图像的特征信息；
采用图像匹配算法将所述视频图像的特征信息与所述背景图像进行特征点匹配，得到所述图像偏差值。
3.根据权利要求2所述的安全监测方法，其特征在于：所述采集所述视频图像的特征信息的步骤包括：
通过时空双流神经网络从所述视频图像中采集所述特征信息。
4.根据权利要求3所述的安全监测方法，其特征在于：所述时空双流神经网络包括空间流神经网络分支和时间流网络分支，所述空间流神经网络分支的分类网络采用循环神经网络。
5.根据权利要求4所述的安全监测方法，其特征在于：所述时空双流神经网络还包括多目标检测网络，所述多目标检测网络包括Faster RCNN网络，且设置于所述空间流神经网络分支和时间流网络分支之前。
6.根据权利要求5所述的安全监测方法，其特征在于：所述空间流神经网络分支的循环神经网络包括长时递归卷积网络，所述长时递归卷积网络由CNN网络和LSTM网络组成。
7.根据权利要求1所述的安全监测方法，其特征在于：所述检测视频中的疑似危险区域并得到疑似危险区域大小包括：
间隔一定时间从视频中抽取一帧图像，抽取多帧图像作为检测数据集；
分别从所述检测数据集中抽取不同帧数的图像组成多组检测数据子集，并将每组检测数据子集分别输入预训练好的检测模型的特征提取单元，得到对应多组特征向量并通过所述检测模型的融合单元进行组内特征融合，得到多组融合特征；
将所述多组融合特征输入所述检测模型的预测单元对视频进行危险区域预测，检测出疑似危险区域，并得到疑似危险区域大小。
8.一种基于图像识别的安全监测装置，其特征在于，包括：
获取模块，用于获取一帧视频图像；
计算模块，用于如果所述视频图像与背景图像存在偏差，则计算所述视频图像与所述背景图像的偏差，得到图像偏差值；
检测模块，用于将所述图像偏差值与预设的阈值进行比较，如果所述图像偏差值大于预设的阈值，则检测视频中的疑似危险区域并得到疑似危险区域大小；否则，将所述视频图像作为所述背景图像；
预警模块，若所述疑似危险区域大于预设的面积，则计算所述疑似危险区域的动态特征，并根据所述动态特征进行安全预警；否则将所述视频图像作为所述背景图像并重复以上步骤。
9.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于图像识别的安全监测方法。
10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于图像识别的安全监测方法。
CN202111064976.1A 2021-09-11 2021-09-11 基于图像识别的安全监测方法、装置、设备及存储介质 Active CN113807227B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111064976.1A CN113807227B (zh) 2021-09-11 2021-09-11 基于图像识别的安全监测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111064976.1A CN113807227B (zh) 2021-09-11 2021-09-11 基于图像识别的安全监测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN113807227A CN113807227A (zh) 2021-12-17
CN113807227B true CN113807227B (zh) 2023-07-25

Family

ID=78895073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111064976.1A Active CN113807227B (zh) 2021-09-11 2021-09-11 基于图像识别的安全监测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113807227B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115081957B (zh) * 2022-08-18 2022-11-15 山东超华环保智能装备有限公司 一种危废暂存及监测的危废管理平台
CN117496218B (zh) * 2023-10-07 2024-05-07 广州市平可捷信息科技有限公司 一种基于图像识别的烟感探测方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
CN101533511A (zh) * 2009-04-14 2009-09-16 清华大学 更新背景图像的方法和装置
CN103473788A (zh) * 2013-07-31 2013-12-25 中国电子科技集团公司第三十八研究所 一种基于高清视频图像的室内火灾火焰检测方法
WO2016069902A2 (en) * 2014-10-29 2016-05-06 Behavioral Recognition Systems, Inc. Background foreground model with dynamic absorbtion window and incremental update for background model thresholds
CN108038869A (zh) * 2017-11-20 2018-05-15 江苏省特种设备安全监督检验研究院 一种电梯轿厢内乘客倒地行为检测方法
CN110188644A (zh) * 2019-05-22 2019-08-30 广东寰球智能科技有限公司 一种基于视觉分析的扶梯乘客危险行为监控系统及方法
WO2019232831A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物识别方法、装置、计算机设备及存储介质
CN111144337A (zh) * 2019-12-30 2020-05-12 河北科技大学 火灾检测方法、装置及终端设备
CN111523386A (zh) * 2020-03-24 2020-08-11 北京全路通信信号研究设计院集团有限公司 一种基于机器视觉的高速铁路站台门监测防护方法及系统
CN111539273A (zh) * 2020-04-12 2020-08-14 南京理工大学 一种交通视频背景建模方法及系统
CN112487935A (zh) * 2020-11-26 2021-03-12 华能通辽风力发电有限公司 一种危险点源安全管控系统
CN113378648A (zh) * 2021-05-19 2021-09-10 上海可深信息科技有限公司 一种人工智能港口码头监控方法
CN113378757A (zh) * 2021-06-24 2021-09-10 苏州幻岛信息科技有限公司 一种基于时序与频域过滤的物体检测与物体切割算法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080181457A1 (en) * 2007-01-31 2008-07-31 Siemens Aktiengesellschaft Video based monitoring system and method
US9805271B2 (en) * 2009-08-18 2017-10-31 Omni Ai, Inc. Scene preset identification using quadtree decomposition analysis
CN104183127B (zh) * 2013-05-21 2017-02-22 北大方正集团有限公司 交通监控视频检测方法和装置
KR102652023B1 (ko) * 2016-10-28 2024-03-26 삼성에스디에스 주식회사 실시간 교통 정보 제공 방법 및 장치

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101017573A (zh) * 2007-02-09 2007-08-15 南京大学 一种基于视频监控的运动目标检测与识别方法
CN101533511A (zh) * 2009-04-14 2009-09-16 清华大学 更新背景图像的方法和装置
CN103473788A (zh) * 2013-07-31 2013-12-25 中国电子科技集团公司第三十八研究所 一种基于高清视频图像的室内火灾火焰检测方法
WO2016069902A2 (en) * 2014-10-29 2016-05-06 Behavioral Recognition Systems, Inc. Background foreground model with dynamic absorbtion window and incremental update for background model thresholds
CN108038869A (zh) * 2017-11-20 2018-05-15 江苏省特种设备安全监督检验研究院 一种电梯轿厢内乘客倒地行为检测方法
WO2019232831A1 (zh) * 2018-06-06 2019-12-12 平安科技（深圳）有限公司 机场异物识别方法、装置、计算机设备及存储介质
CN110188644A (zh) * 2019-05-22 2019-08-30 广东寰球智能科技有限公司 一种基于视觉分析的扶梯乘客危险行为监控系统及方法
CN111144337A (zh) * 2019-12-30 2020-05-12 河北科技大学 火灾检测方法、装置及终端设备
CN111523386A (zh) * 2020-03-24 2020-08-11 北京全路通信信号研究设计院集团有限公司 一种基于机器视觉的高速铁路站台门监测防护方法及系统
CN111539273A (zh) * 2020-04-12 2020-08-14 南京理工大学 一种交通视频背景建模方法及系统
CN112487935A (zh) * 2020-11-26 2021-03-12 华能通辽风力发电有限公司 一种危险点源安全管控系统
CN113378648A (zh) * 2021-05-19 2021-09-10 上海可深信息科技有限公司 一种人工智能港口码头监控方法
CN113378757A (zh) * 2021-06-24 2021-09-10 苏州幻岛信息科技有限公司 一种基于时序与频域过滤的物体检测与物体切割算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于图像识别技术的不安全行为识别;赵江平;王垚;;安全与环境工程(第01期);162-169 *
基于背景反馈和k-means算法的野外烟雾检测;刘欢;房胜;李哲;魏绪;;中国科技论文(第03期);26-32 *
基于背景配准的矿井危险区域视频目标检测算法;屈凡非;王智峰;田建军;;工矿自动化(第03期);52-54 *

Also Published As

Publication number Publication date
CN113807227A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
WO2022160902A1 (zh) 面向云环境下大规模多元时间序列数据异常检测方法
Huang et al. Abnormal event detection using deep contrastive learning for intelligent video surveillance system
CN112287816B (zh) 一种基于深度学习的危险工作区事故自动检测报警方法
CN107123131B (zh) 一种基于深度学习的运动目标检测方法
CN113807227B (zh) 基于图像识别的安全监测方法、装置、设备及存储介质
CN105426820B (zh) 基于安防监控视频数据的多人异常行为检测方法
WO2022160413A1 (zh) 电力生产异常监控方法、装置、计算机设备和存储介质
CN114724060A (zh) 基于掩码自编码器的无监督视频异常检测方法和装置
CN113850229A (zh) 基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备
CN117392604A (zh) 物联网实时信息监控管理系统及方法
CN115565101A (zh) 一种生产安全异常识别方法、装置、电子设备及存储介质
CN115691034A (zh) 一种智能家居异常情况告警方法、系统及存储介质
CN115731513A (zh) 基于数字孪生的智慧园区管理系统
Zheng et al. Anomaly detection of metro station tracks based on sequential updatable anomaly detection framework
CN106991400A (zh) 一种火灾烟雾检测方法及装置
CN113936175A (zh) 一种识别视频中的事件的方法及系统
US11393091B2 (en) Video image processing and motion detection
CN113538513A (zh) 监控对象的进出控制方法、装置、设备及存储介质
CN117113139A (zh) 故障检测模型的训练方法、装置、计算机设备和存储介质
CN116419059A (zh) 基于行为标签的自动监控方法、装置、设备及介质
JP7372391B2 (ja) 入力データにおける異常を検知するための概念
Dai et al. Cascade centernet: Robust object detection for power line surveillance
Lizhong et al. Research on detection and tracking of moving target in intelligent video surveillance
CN116401604A (zh) 进行冷头状态分类检测和寿命预测的方法
Avci et al. Real-Time Building Management System Visual Anomaly Detection Using Heat Points Motion Analysis Machine Learning Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant