CN110348343A - 一种暴力行为监测方法、装置、存储介质及终端设备 - Google Patents
一种暴力行为监测方法、装置、存储介质及终端设备 Download PDFInfo
- Publication number
- CN110348343A CN110348343A CN201910570254.XA CN201910570254A CN110348343A CN 110348343 A CN110348343 A CN 110348343A CN 201910570254 A CN201910570254 A CN 201910570254A CN 110348343 A CN110348343 A CN 110348343A
- Authority
- CN
- China
- Prior art keywords
- act
- violence
- area domain
- motor area
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012549 training Methods 0.000 claims abstract description 69
- 238000001914 filtration Methods 0.000 claims abstract description 37
- 238000005070 sampling Methods 0.000 claims abstract description 20
- 230000007246 mechanism Effects 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 16
- 230000010339 dilation Effects 0.000 claims abstract description 15
- 230000000877 morphologic effect Effects 0.000 claims abstract description 15
- 230000003287 optical effect Effects 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 19
- 230000006399 behavior Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 10
- 238000012806 monitoring device Methods 0.000 claims description 8
- 238000009499 grossing Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 238000005192 partition Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 206010001488 Aggression Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数据处理技术领域，尤其涉及一种暴力行为监测方法、装置、存储介质及终端设备。所述方法包括：获取拍摄自目标场所的视频，并利用稀疏采样法从视频中提取各第一视频帧；通过添加边窗滤波机制的高斯滤波对各第一视频帧进行平滑处理，得到平滑后的各第二视频帧；根据三帧差分法确定各第二视频帧中的第一运动区域，并对各第一运动区域进行形态学膨胀，得到膨胀后的各第二运动区域；从各第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块；将各第一运动区域块输入至训练完成的暴力行为监测模型，得到暴力行为监测模型输出的监测结果；若监测结果为目标场所中存在暴力行为，则发出报警信息，以提高暴力行为的监测效率和精度。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种暴力行为监测方法、装置、计算机可读存储介质及终端设备。
背景技术
随着人工智能技术的不断发展，传统安防不断向智慧安防发展，以达到有效降低人力资源、实时自动化监测以及及时告警等目标，如通过视频监控来进行越界、进入禁区、滞留等行为的监控与报警等，即传统的视频监控往往只能进行单人行为的监测与报警，而对于多人之间打架斗殴等暴力行为的监测与报警等则需要人力来判断，如通过相关人员查看监控所采集的视频来判断视频中是否存在打架斗殴等暴力行为，从而进行相关的报警操作。这种通过人工进行打架斗殴等暴力行为的判断与报警的方式工作量巨大、识别速度低，不仅需耗费较高的人力成本，而且也无法进行暴力行为的实时监测，造成暴力行为的监测效率和监测精度较低，并影响暴力行为报警的及时性。
发明内容
本发明实施例提供了一种暴力行为监测方法、装置、计算机可读存储介质及终端设备，能够自动进行暴力行为及时、准确的监测，提高暴力行为的监测效率和监测精度，确保暴力行为报警的及时性。
本发明实施例的第一方面，提供了一种暴力行为监测方法，包括：
获取拍摄自目标场所的视频，并利用稀疏采样法从所述视频中提取各第一视频帧；
通过添加边窗滤波机制的高斯滤波对各所述第一视频帧进行平滑处理，得到平滑后的各第二视频帧；
根据三帧差分法确定各所述第二视频帧中的第一运动区域，并对各所述第一运动区域进行形态学膨胀，得到膨胀后的各第二运动区域；
从各所述第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块；
将各所述第一运动区域块输入至训练完成的暴力行为监测模型，得到所述暴力行为监测模型输出的监测结果，其中，所述监测结果为所述目标场所中存在暴力行为或者所述目标场所中不存在暴力行为；
若所述监测结果为所述目标场所中存在暴力行为，则发出报警信息。
进一步地，所述从各所述第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块，包括：
获取各所述第二运动区域的轮廓在对应的第二视频帧中的第一位置信息；
根据各所述第一位置信息确定各所述第二运动区域在对应的第二视频帧中的最小外接矩形，并获取各所述最小外接矩形的第二位置信息；
基于各所述第二位置信息从各所述第二视频帧中对各所述最小外接矩形进行切割，得到包含对应的第二运动区域的各第一运动区域块。
优选地，所述暴力行为监测模型为时域分割网络TSN模型，其中，所述TSN模型包括空间流卷积网络单元和时间流卷积网络单元。
可选地，所述暴力行为监测模型输出所述监测结果的过程，包括：
根据各所述第一运动区域块提取出多个RGB差异图象和多个扭曲光流场；
将各所述RGB差异图像输入至所述空间流卷积网络单元，得到各所述RGB差异图像分别对应的第一预测结果，并对各所述第一预测结果进行融合，得到所述RGB差异图像对应的第一初步识别结果；
将各所述扭曲光流场输入至所述时间流卷积网络单元，得到各所述扭曲光流场分别对应的第二预测结果，并对各所述第二预测结果进行融合，得到所述扭曲光流场对应的第二初步识别结果；
对所述第一初步识别结果和所述第二初步识别结果进行融合，得到所述暴力行为监测模型输出的监测结果。
进一步地，所述将各所述第一运动区域块输入至训练完成的暴力行为监测模型，包括：
分别将各所述第一运动区域块调整为预设图像大小的第二运动区域块，并将各所述第二运动区域块输入至训练完成的暴力行为监测模型。
本发明实施例的第二方面，提供了一种暴力行为监测装置，包括：
稀疏采样模块，用于获取拍摄自目标场所的视频，并利用稀疏采样法从所述视频中提取各第一视频帧；
平滑处理模块，用于通过添加边窗滤波机制的高斯滤波对各所述第一视频帧进行平滑处理，得到平滑后的各第二视频帧；
区域确定模块，用于根据三帧差分法确定各所述第二视频帧中的第一运动区域，并对各所述第一运动区域进行形态学膨胀，得到膨胀后的各第二运动区域；
区域切割模块，用于从各所述第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块；
行为监测模块，用于将各所述第一运动区域块输入至训练完成的暴力行为监测模型，得到所述暴力行为监测模型输出的监测结果，其中，所述监测结果为所述目标场所中存在暴力行为或者所述目标场所中不存在暴力行为；
报警发出模块，用于若所述监测结果为所述目标场所中存在暴力行为，则发出报警信息。
本发明实施例的第三方面，提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如前述第一方面所述暴力行为监测方法的步骤。
本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如前述第一方面所述暴力行为监测方法的步骤。
从以上技术方案可以看出，本发明实施例具有以下优点：
本发明实施例中，首先，获取拍摄自目标场所的视频，并利用稀疏采样法从所述视频中提取各第一视频帧，并通过添加边窗滤波机制的高斯滤波对各所述第一视频帧进行平滑处理，得到平滑后的各第二视频帧；其次，根据三帧差分法确定各所述第二视频帧中的第一运动区域，并对各所述第一运动区域进行形态学膨胀，得到膨胀后的各第二运动区域；再次，从各所述第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块；最后，将各所述第一运动区域块输入至训练完成的暴力行为监测模型，得到所述暴力行为监测模型输出的监测结果，其中，所述监测结果为所述目标场所中存在暴力行为或者所述目标场所中不存在暴力行为，若所述监测结果为所述目标场所中存在暴力行为，则发出报警信息。本发明实施例中，通过稀疏采样、添加边窗滤波机制的高斯滤波和形态学膨胀来进行运动区域的准确监测，并通过区域块切割来减少暴力行为监测模型的监测噪声，提高暴力行为的监测效率和监测精度，确保暴力行为报警的及时性和准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种暴力行为监测方法的一个实施例流程图；
图2为本发明实施例中一种暴力行为监测方法在一个应用场景下切割第一运动区域块的流程示意图；
图3为本发明实施例中一种暴力行为监测方法在一个应用场景下获取监测结果的流程示意图；
图4为本发明实施例中一种暴力行为监测装置的一个实施例结构图；
图5为本发明一实施例提供的一种终端设备的示意图。
具体实施方式
本发明实施例提供了一种暴力行为监测方法、装置、计算机可读存储介质及终端设备，用于自动进行暴力行为及时、准确的监测，提高暴力行为的监测效率和监测精度，确保暴力行为报警的及时性。
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例提供了一种暴力行为监测方法，所述暴力行为监测方法包括：
步骤S101、获取拍摄自目标场所的视频，并利用稀疏采样法从所述视频中提取各第一视频帧；
本发明实施例的执行主体可为终端设备，所述终端设备包括但不限于：智能摄像头、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述目标场所可以为安防报警所监控的场所，例如，可以为地铁站、汽车站、火车站、广场等人流量较多、较混杂的区域，所述目标场所中可安装有摄像头等摄像装置，所述摄像头等摄像装置可与所述终端设备连接，例如所述摄像头等摄像装置可通过移动网络、无线网络或者有线网络与所述终端设备通信连接，所述摄像头等摄像装置也可以与所述终端设备集成为一体化终端设备。所述摄像头等摄像装置用于对所述目标场所进行视频拍摄，并将所拍摄的视频通过移动网络、无线网络或者有线网络等传输至所述终端设备。
所述终端设备在获取到所述摄像头等摄像装置拍摄自所述目标场所的视频后，可利用稀疏采样法从所述视频中提取各第一视频帧，如可首先将所述视频直接分成K段，然后在每一段中随机找出一个时间小片来作为该段所对应的第一视频帧，以此得到所述视频对应的K个第一视频帧，其中，K的取值则可根据实际要求进行确定。在此，通过稀疏采样法来对视频进行第一视频帧的提取以解决长序列动作监测中，连续帧冗余导致计算量大的问题。
步骤S102、通过添加边窗滤波机制的高斯滤波对各第一视频帧进行平滑处理，得到平滑后的各第二视频帧；
可以理解的是，所述终端设备在得到各所述第一视频帧后，可通过添加边窗滤波机制的高斯滤波来对各所述第一视频帧进行平滑处理，以在保留第一视频帧中的边缘信息的基础上去除各所述第一视频帧中的图像噪声，即通过添加边窗滤波机制来解决高斯滤波会破平边缘的问题，消除边缘区域的平滑性。在此，高斯滤波是指对整幅图像进行加权平均的过程，即图像中每一个像素点的像素值都由该像素点自身的像素值和邻域内的其他像素点的像素值经过加权平均后得到。
本发明实施例中，通过添加边窗滤波机制的高斯滤波对各第一视频进行平滑处理可具体为：选择对应的角度θ和边p来对高斯滤波的核进行部分遮挡，其中，p＝{0，r}，r为高斯滤波中核的半径，如可选择(θ＝3π/2，p＝r)、(θ＝π/2，p＝r)、(θ＝π，p＝r)、(θ＝0，p＝r)、(θ＝3π/2，p＝0)、(θ＝π/2，p＝0)、(θ＝π，p＝0)和(θ＝0，p＝0)来实现8种遮挡高斯滤波中核的机制，因此，针对每个处理的目标像素点(target pixel)，在通过遮挡后的高斯滤波对其进行滤波处理时，可得到8种处理结果，最后可从这8种处理结果中选择与该目标像素点的欧氏距离最小的处理结果作为该目标像素点最终滤波后的结果。
需要说明的是，上述所述的8种遮挡高斯滤波中核的机制仅作示意性解释，不应理解为对本发明实施例的限制，本发明实施例当然还可以选取其他的角度和边来对高斯滤波的核进行其他形式的遮挡。
步骤S103、根据三帧差分法确定各所述第二视频帧中的第一运动区域，并对各所述第一运动区域进行形态学膨胀，得到膨胀后的各第二运动区域；
本发明实施例中，在通过添加边窗滤波机制的高斯滤波对各第一视频帧进行平滑处理得到平滑后的各第二视频帧后，可根据三帧差法来确定各所述第二视频帧中的第一运动区域，所述第一运动区域是指所述第二视频帧中监测出运动目标的区块。在此，确定各所述第二视频帧中的第一运动区域可为确定所述第一运动区域在对应的第二视频帧中的坐标信息。
具体地，可首先获取连续的三帧第二视频帧A、第二视频帧B和第二视频帧C，并可将第二视频帧A、第二视频帧B和第二视频帧C中对应像素点的灰度值分别确定为A(x，y)、B(x，y)和C(x，y)，即A(x，y)、B(x，y)和C(x，y)表示的是相同的像素点在不同的第二视频帧中的像素值；然后可将相邻的两帧第二视频帧中对应像素点的灰度值进行相减，并对相减结果取绝对值来得到第一差分图像和第二差分图像，例如，可分别将第二视频帧A中各像素点的像素值A(x，y)减去第二视频帧B中对应的像素点的灰度值B(x，y)，并可分别将各相减结果取绝对值来得到第一差分图像，也就是说，第一差分图像中各像素点的像素值D1(x，y)＝|A(x，y)-B(x，y)|，同样地，可分别将第二视频帧B中各像素点的像素值B(x，y)减去第二视频帧C中对应的像素点的灰度值C(x，y)，并分别将各相减结果取绝对值来得到第二差分图像，即第二差分图像中各像素点的像素值D2(x，y)＝|B(x，y)-C(x，y)|；在得到所述第一差分图像和所述第二差分图像后，可将所述第一差分图像和所述第二差分图像进行与操作，即分别将所述第一差分图像和所述第二差分图像中对应像素点的像素值进行与操作，得到第三差分图像，并通过预设的阈值T来对所述第三差分图像中的各像素点逐个进行二值化处理，得到二值化图像，如可将所述第三差分图像中像素值大于该阈值T的像素点的像素值均设置为255，并可将像素值小于或者等于该阈值T的像素点的像素值均设置为0，以此对所述第三差分图像进行二值化处理；最后，对所述二值化图像进行连通性分析来确定第二视频帧A中的第一运动区域，以此类推，第二视频帧B、第二视频帧C和其他第二视频帧中的第一运动区域也可以依据此步骤进行确定。
进一步地，在确定各所述第二视频帧中的第一运动区域后，可对各所述第一运动区域进行形态学膨胀，得到膨胀后的各第二运动区域，以解决三帧差法中可能出现的运动区域监测不完整或者将一个运动区域块监测为多个小的区域块的问题，提高运动区域监测的准确性和完整性。
步骤S104、从各所述第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块；
可以理解的是，在确定出各所述第二视频帧中的第二运动区域后，可将每一个第二运动区域从其所对应的第二视频帧中切割出来，得到包含各所述第二运动区域的各第一运动区域块，即每一个第一运动区域块为对应的第二视频帧中包含所对应的第二运动区域的最小区块，以只切割出各所述第二视频帧中的运动区域来供后述的暴力行为监测模型进行监测分析，降低暴力行为监测模型的监测分析工作量，提高监测分析效率和准确率。
具体地，如图2所示，所述从各所述第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块，可以包括：
步骤S201、获取各所述第二运动区域的轮廓在对应的第二视频帧中的第一位置信息；
可以理解的是，通过三帧差分法确定的各所述第二视频帧中的第一运动区域是指各所述第一运动区域的轮廓在所对应的第二视频帧中的各位置信息，如第一运动区域A的轮廓A在其所对应的第二视频帧A中的坐标信息、第一运动区域B的轮廓B在其所对应的第二视频帧B中的坐标信息以及第一运动区域C的轮廓C在其所对应的第二视频帧C中的坐标信息，等等，因此，在对各所述第一运动区域进行形态学膨胀得到膨胀后的各第二运动区域时，可根据形态学膨胀的膨胀情况和各所述第一运动区域的轮廓在所对应的第二视频帧中的位置信息，来确定各所述第二运动区域的轮廓在所对应的第二视频帧中的位置信息(即上述所述的第一位置信息)，即获取各所述第二运动区域的轮廓在所对应的第二视频帧中的各第一位置信息，例如获取第二运动区域S的轮廓S在其所对应的第二视频帧S中的各第一位置信息(如各第一坐标信息)、第二运动区域Q的轮廓Q在其所对应的第二视频帧Q中的各第一位置信息以及第一运动区域R的轮廓R在其所对应的第二视频帧R中的各第一位置信息，等等。
需要说明的是，上述所述的各所述第一运动区域的轮廓在其所对应的第二视频帧中的各位置信息是指各所述第一运动区域中处于轮廓位置的各像素点分别在其所对应的第二视频帧中的位置信息。
步骤S202、根据各所述第一位置信息确定各所述第二运动区域在对应的第二视频帧中的最小外接矩形，并获取各所述最小外接矩形的第二位置信息；
本发明实施例中，在获取到各所述第二运动区域的轮廓在对应的第二视频帧中的各第一位置信息之后，可根据各所述第一位置信息确定各所述第二运动区域在对应的第二视频帧中的最小外接矩形，例如，当所述第一位置信息为以XY轴表示的坐标信息时，可在每一个第二视频帧中获取各所述第一位置信息中的最大X轴坐标、最小X轴坐标、最大Y轴坐标和最小Y轴坐标，并可根据所获取的最大X轴坐标、最小X轴坐标、最大Y轴坐标和最小Y轴坐标构建出各所述第二运动区域在对应的第二视频帧中的最小外接矩形，即在每一个第二视频帧中分别以该第二视频帧中的第二运动区域的(最小X轴坐标，最小Y轴坐标)、(最小X轴坐标，最大Y轴坐标)、(最大X轴坐标，最小Y轴坐标)和(最大X轴坐标，最大Y轴坐标)为该第二运动区域所在的最小外接矩形的四个顶点来构建出该第二运动区域在所对应的第二视频帧中的最小外接矩形。
在此，在构建出各所述第二运动区域在所对应的第二视频帧中的最小外接矩形后，可获取各所述最小外接矩形的第二位置信息，其中，各所述最小外接矩形的第二位置信息可指各所述最小外接矩形在所对应的第二视频帧中的位置信息。优选地，各所述最小外接矩形的第二位置信息可以为该最小外接矩形中四个顶点的坐标信息，如各所述最小外接矩形的第二位置信息可分别为(最小X轴坐标，最小Y轴坐标)、(最小X轴坐标，最大Y轴坐标)、(最大X轴坐标，最小Y轴坐标)和(最大X轴坐标，最大Y轴坐标)。
步骤S203、基于各所述第二位置信息从各所述第二视频帧中对各所述最小外接矩形进行切割，得到包含对应的第二运动区域的各第一运动区域块。
可以理解的是，在确定出各所述第二运动区域在对应的第二视频帧中的最小外接矩形，并获取到各所述最小外接矩形的第二位置信息后，可在各所述第二视频帧中根据所对应的第二位置信息进行第一运动区域块的切割，如可根据各所述最小外接矩形的四个顶点的坐标信息在各所述第二视频帧中进行最小外接矩形的切割，即可在每一个第二视频帧中根据该第二视频帧中的最小外接矩形的四个顶点的坐标信息切割出该最小外接矩形，以此得到各所述第二视频帧中包含所对应的第二运动区域的各第一运动区域块，减少各第二视频帧中无相关行为的区域块的输入分析，降低暴力行为监测模型中的噪声，减少暴力行为监测模型的监测分析工作量，从而提高暴力行为监测模型的监测分析效率和准确率。
步骤S105、将各所述第一运动区域块输入至训练完成的暴力行为监测模型，得到所述暴力行为监测模型输出的监测结果，其中，所述监测结果为所述目标场所中存在暴力行为或者所述目标场所中不存在暴力行为；
在此，在得到包含第二运动区域的各第一运动区域块后，可分别将各所述第一运动区域块输入至训练完成的暴力行为监测模型中，所述暴力行为监测模型则可对每一个第一运动区域块进行是否存在暴力行为的监测识别，以得到所输入的第一运动区域块中存在暴力行为的识别率，当所述识别率大于预设阈值时，如当所述识别率大于70％时，所述暴力行为监测模型则可认为所述目标场所中存在暴力行为，并输出所述目标场所中存在暴力行为的监测结果；当所述识别率小于或者等于预设阈值时，如当所述识别率小于或者等于70％时，所述暴力行为监测模型则可认为所述目标场所中不存在暴力行为，并输出所述目标场所中不存在暴力行为的监测结果
进一步地，因从不同的第二视频帧所切割出的第一运动区域块的大小往往并不同，为便于所述暴力行为监测模型对各第一运动区域块进行快速的监测分析，本发明实施例中，所述将各所述第一运动区域块输入至训练完成的暴力行为监测模型，可以包括：分别将各所述第一运动区域块调整为预设图像大小的第二运动区域块，并将各所述第二运动区域块输入至训练完成的暴力行为监测模型。在此，所述预设图像大小可采用图像的分辨率进行衡量，即可将各所述第一运动区域块统一缩放至相同的分辨率，以得到分辨率相同的各第二运动区域块，并将缩放后的分辨率相同的各第二运动区域块依次输入至所述暴力行为监测模型。
优选地，在一个具体应用场景中，所述暴力行为监测模型为时域分割网络TSN模型，其中，所述TSN模型包括空间流卷积网络单元和时间流卷积网络单元，空间流卷积网络单元(Spatial Network)和时间流卷积网络单元(Temporal Network)的网络结构是一样的，均为卷积神经网络CNN结构。空间流卷积网络单元(Spatial Network)是用来表达空间特征(appearance feature)，其输入为RGB图像，而时间流卷积网络单元(TemporalNetwork)是用来挖掘视频帧序列中的动态特征，其输入为光流场。在此，空间流卷积网络单元(Spatial Network)的输入可以为单一RGB图像和/或RGB差异图像(RGB difference)，而时间流卷积网络单元(Temporal Network)的输入可以为光流场和/或扭曲光流场(warpedoptical flow field)。本发明实施例中，优选采用RGB差异图像作为空间流卷积网络单元(Spatial Network)的输入，并采用扭曲光流场作为时间流卷积网络单元(TemporalNetwork)的输入。
具体地，所述暴力行为监测模型的训练过程可以为：首先，可采集训练用的训练视频，所述训练视频可包括存在暴力行为的视频和不存在暴力行为的视频等，并可利用稀疏采样法从各所述训练视频中提取对应的各训练样本(所述训练样本为从各所述训练视频中提取出的训练视频帧)，如对于每一个训练视频，可首先将其直接分成M段，然后在每一段中随机找出一个时间小片来作为该段所对应的训练样本；其次，对于每一个训练视频，可标记其所对应的各训练样本的标准监测结果，并可根据这些标准监测结果确定该训练视频存在暴力行为的标准识别率；再次，可将每一个训练视频所对应的各训练样本依次输入至初始的暴力行为监测模型，所述初始的暴力行为监测模型即可根据该训练视频对应的各训练样本提取出该训练视频所对应的多个训练RGB差异图像和多个训练扭曲光流场，并可将这多个训练RGB差异图像输入至初始的空间流卷积网络单元，得到该训练视频中各训练RGB差异图像分别对应的第一训练预测结果，对各第一训练预测结果进行融合，得到该训练视频中训练RGB差异图像所对应的第一初步训练识别结果，同时还可将该训练视频所对应的多个训练扭曲光流场输入至初始的时间流卷积网络单元，得到该训练视频对应的各训练扭曲光流场分别对应的第二训练预测结果，并对各第二训练预测结果进行融合，得到该训练视频中扭曲光流场所对应的第二初步训练识别结果，其中，第一初步训练识别结果为训练RGB差异图像中存在暴力行为的识别率，第二初步训练识别结果为训练扭曲光流场中存在暴力行为的识别率；随后，可根据RGB差异图像对应的第一权重和扭曲光流场对应的第二权重将各训练视频对应的第一初步训练识别结果和第二初步训练识别结果进行融合，以得到各训练视频对应的训练识别率；最后，可根据各训练视频对应的训练识别率和标准识别率计算训练误差，并判断该训练误差是否满足预设条件，如判断该训练误差是否小于某一特定百分比阈值，若该训练误差满足所述预设条件，则确定所述暴力行为监测模型训练完成，若该训练误差不满足所述预设条件，则调整所述暴力行为监测模型的模型参数，即分别调整空间流卷积网络单元的模型参数和时间流卷积网络单元的模型参数，并将模型参数调整后的暴力行为监测模型确定为初始的暴力行为监测模型，然后重新进行训练样本的训练，以通过反复调整模型参数来使得最终的训练误差满足所述预设条件。
优选地，本发明实施例中，为解决训练样本过少，以防止严重的过拟合的问题，可以采用随机裁剪、水平翻转、角裁剪、和尺度抖动等方法来增加训练样本。
相应地，如图3所示，所述暴力行为监测模型输出所述监测结果的过程则可以包括：
步骤S301、根据各所述第一运动区域块提取出多个RGB差异图象和多个扭曲光流场；
步骤S302、将各所述RGB差异图像输入至所述空间流卷积网络单元，得到各所述RGB差异图像对应的第一预测结果，并对各所述第一预测结果进行融合，得到所述RGB差异图像对应的第一初步识别结果；
步骤S303、将各所述扭曲光流场输入至所述时间流卷积网络单元，得到各所述扭曲光流场对应的第二预测结果，并对各所述第二预测结果进行融合，得到所述扭曲光流场对应的第二初步识别结果；
步骤S304、对所述第一初步识别结果和所述第二初步识别结果进行融合，得到所述暴力行为监测模型最终输出的监测结果。
对于上述步骤S301至步骤S304，所述暴力行为监测模型在进行暴力行为的监测时，可首先根据所输入的第一运动区域块提取出所对应的多个RGB差异图像和多个扭曲光流场，并分别将RGB差异图像输入至空间流卷积网络单元和将扭曲光流场输入至时间流卷积网络单元，得到各RGB差异图像分别对应的第一预测结果和得到各扭曲光流场分别对应的第二预测结果；其次，可对各第一预测结果进行融合得到RGB差异图像对应的第一初步识别结果和对各第二预测结果进行融合得到扭曲光流场对应的第二初步识别结果，其中，第一初步识别结果为RGB图像中存在暴力行为的第一识别率，第二初步识别结果为扭曲光流场存在暴力行为的第二识别率；最后，可对所述第一初步识别结果和所述第二初步识别结果进行融合，如根据RGB差异图像对应的权重和扭曲光流场对应的权重来对第一识别率和第二识别率进行融合计算，得到最终的总识别率，所述暴力行为监测模型则可根据所述总识别率是否大于预设阈值来输出最终的监测结果，如若所述总识别率大于所述预设阈值，所述暴力行为监测模型则输出所述目标场所中存在暴力行为的监测结果；若所述总识别率小于或者等于所述预设阈值，所述暴力行为监测模型则输出所述目标场所中不存在暴力行为的监测结果。
步骤S106、若所述监测结果为所述目标场所中存在暴力行为，则发出报警信息。
本发明实施例中，在所述暴力行为监测模型输出的监测结果为所述目标场所中存在暴力行为时，所述终端设备则可发出所述目标场所中存在暴力行为的报警信息至监控中心，以通知相关监控人员及责任人员进行处理。
本发明实施例中，首先，获取拍摄自目标场所的视频，并利用稀疏采样法从所述视频中提取各第一视频帧，并通过添加边窗滤波机制的高斯滤波对各所述第一视频帧进行平滑处理，得到平滑后的各第二视频帧；其次，根据三帧差分法确定各所述第二视频帧中的第一运动区域，并对各所述第一运动区域进行形态学膨胀，得到膨胀后的各第二运动区域；再次，从各所述第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块；最后，将各所述第一运动区域块输入至训练完成的暴力行为监测模型，得到所述暴力行为监测模型输出的监测结果，其中，所述监测结果为所述目标场所中存在暴力行为或者所述目标场所中不存在暴力行为，若所述监测结果为所述目标场所中存在暴力行为，则发出报警信息。本发明实施例中，通过稀疏采样、添加边窗滤波机制的高斯滤波和形态学膨胀来进行运动区域的准确监测，并通过区域块切割来减少暴力行为监测模型的监测噪声，提高暴力行为的监测效率和监测精度，确保暴力行为报警的及时性和准确性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
上面主要描述了一种暴力行为监测方法，下面将对一种暴力行为监测装置进行详细描述。
如图4所示，本发明实施例提供了一种暴力行为监测装置，所述暴力行为监测装置包括：
稀疏采样模块401，用于获取拍摄自目标场所的视频，并利用稀疏采样法从所述视频中提取各第一视频帧；
平滑处理模块402，用于通过添加边窗滤波机制的高斯滤波对各所述第一视频帧进行平滑处理，得到平滑后的各第二视频帧；
区域确定模块403，用于根据三帧差分法确定各所述第二视频帧中的第一运动区域，并对各所述第一运动区域进行形态学膨胀，得到膨胀后的各第二运动区域；
区域切割模块404，用于从各所述第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块；
行为监测模块405，用于将各所述第一运动区域块输入至训练完成的暴力行为监测模型，得到所述暴力行为监测模型输出的监测结果，其中，所述监测结果为所述目标场所中存在暴力行为或者所述目标场所中不存在暴力行为；
报警发出模块406，用于若所述监测结果为所述目标场所中存在暴力行为，则发出报警信息。
进一步地，所述区域切割模块404，可以包括：
轮廓位置获取单元，用于获取各所述第二运动区域的轮廓在对应的第二视频帧中的第一位置信息；
外接矩形确定单元，用于根据各所述第一位置信息确定各所述第二运动区域在对应的第二视频帧中的最小外接矩形，并获取各所述最小外接矩形的第二位置信息；
区域切割单元，用于基于各所述第二位置信息从各所述第二视频帧中对各所述最小外接矩形进行切割，得到包含对应的第二运动区域的各第一运动区域块。
优选地，所述暴力行为监测模型为时域分割网络TSN模型，其中，所述TSN模型包括空间流卷积网络单元和时间流卷积网络单元。
可选地，所述行为监测模块405，可以包括：
图像提取单元，用于根据各所述第一运动区域块提取出多个RGB差异图象和多个扭曲光流场；
第一初步识别结果获取单元，用于将各所述RGB差异图像输入至所述空间流卷积网络单元，得到各所述RGB差异图像分别对应的第一预测结果，并对各所述第一预测结果进行融合，得到所述RGB差异图像对应的第一初步识别结果；
第二初步识别结果获取单元，用于将各所述扭曲光流场输入至所述时间流卷积网络单元，得到各所述扭曲光流场分别对应的第二预测结果，并对各所述第二预测结果进行融合，得到所述扭曲光流场对应的第二初步识别结果；
监测结果获取单元，用于对所述第一初步识别结果和所述第二初步识别结果进行融合，得到所述暴力行为监测模型输出的监测结果。
进一步地，所述行为监测模块405，还可以包括：
调整单元，用于分别将各所述第一运动区域块调整为预设图像大小的第二运动区域块，并将各所述第二运动区域块输入至训练完成的暴力行为监测模型。
图5是本发明一实施例提供的终端设备的示意图。如图5所示，该实施例的终端设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，例如暴力行为监测程序。所述处理器50执行所述计算机程序52时实现上述各个暴力行为监测方法实施例中的步骤，例如图1所示的步骤S101至步骤S106。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能，例如图4所示的模块401至模块406的功能。
示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述终端设备5中的执行过程。例如，所述计算机程序52可以被分割成稀疏采样模块、平滑处理模块、区域确定模块、区域切割模块、行为监测模块、报警发出模块，各模块具体功能如下：
稀疏采样模块，用于获取拍摄自目标场所的视频，并利用稀疏采样法从所述视频中提取各第一视频帧；
平滑处理模块，用于通过添加边窗滤波机制的高斯滤波对各所述第一视频帧进行平滑处理，得到平滑后的各第二视频帧；
区域确定模块，用于根据三帧差分法确定各所述第二视频帧中的第一运动区域，并对各所述第一运动区域进行形态学膨胀，得到膨胀后的各第二运动区域；
区域切割模块，用于从各所述第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块；
行为监测模块，用于将各所述第一运动区域块输入至训练完成的暴力行为监测模型，得到所述暴力行为监测模型输出的监测结果，其中，所述监测结果为所述目标场所中存在暴力行为或者所述目标场所中不存在暴力行为；
报警发出模块，用于若所述监测结果为所述目标场所中存在暴力行为，则发出报警信息。
所述终端设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是终端设备5的示例，并不构成对终端设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所述处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端设备5的内部存储单元，例如终端设备5的硬盘或内存。所述存储器51也可以是所述终端设备5的外部存储设备，例如所述终端设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述终端设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述终端设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种暴力行为监测方法，其特征在于，包括：
获取拍摄自目标场所的视频，并利用稀疏采样法从所述视频中提取各第一视频帧；
通过添加边窗滤波机制的高斯滤波对各所述第一视频帧进行平滑处理，得到平滑后的各第二视频帧；
根据三帧差分法确定各所述第二视频帧中的第一运动区域，并对各所述第一运动区域进行形态学膨胀，得到膨胀后的各第二运动区域；
从各所述第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块；
将各所述第一运动区域块输入至训练完成的暴力行为监测模型，得到所述暴力行为监测模型输出的监测结果，其中，所述监测结果为所述目标场所中存在暴力行为或者所述目标场所中不存在暴力行为；
若所述监测结果为所述目标场所中存在暴力行为，则发出报警信息。
2.根据权利要求1所述的暴力行为监测方法，其特征在于，所述从各所述第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块，包括：
获取各所述第二运动区域的轮廓在对应的第二视频帧中的第一位置信息；
根据各所述第一位置信息确定各所述第二运动区域在对应的第二视频帧中的最小外接矩形，并获取各所述最小外接矩形的第二位置信息；
基于各所述第二位置信息从各所述第二视频帧中对各所述最小外接矩形进行切割，得到包含对应的第二运动区域的各第一运动区域块。
3.根据权利要求1所述的暴力行为监测方法，其特征在于，所述暴力行为监测模型为时域分割网络TSN模型，其中，所述TSN模型包括空间流卷积网络单元和时间流卷积网络单元。
4.根据权利要求3所述的暴力行为监测方法，其特征在于，所述暴力行为监测模型输出所述监测结果的过程，包括：
根据各所述第一运动区域块提取出多个RGB差异图象和多个扭曲光流场；
将各所述RGB差异图像输入至所述空间流卷积网络单元，得到各所述RGB差异图像分别对应的第一预测结果，并对各所述第一预测结果进行融合，得到所述RGB差异图像对应的第一初步识别结果；
将各所述扭曲光流场输入至所述时间流卷积网络单元，得到各所述扭曲光流场分别对应的第二预测结果，并对各所述第二预测结果进行融合，得到所述扭曲光流场对应的第二初步识别结果；
对所述第一初步识别结果和所述第二初步识别结果进行融合，得到所述暴力行为监测模型输出的监测结果。
5.根据权利要求1至4中任一项所述的暴力行为监测方法，其特征在于，所述将各所述第一运动区域块输入至训练完成的暴力行为监测模型，包括：
分别将各所述第一运动区域块调整为预设图像大小的第二运动区域块，并将各所述第二运动区域块输入至训练完成的暴力行为监测模型。
6.一种暴力行为监测装置，其特征在于，包括：
稀疏采样模块，用于获取拍摄自目标场所的视频，并利用稀疏采样法从所述视频中提取各第一视频帧；
平滑处理模块，用于通过添加边窗滤波机制的高斯滤波对各所述第一视频帧进行平滑处理，得到平滑后的各第二视频帧；
区域确定模块，用于根据三帧差分法确定各所述第二视频帧中的第一运动区域，并对各所述第一运动区域进行形态学膨胀，得到膨胀后的各第二运动区域；
区域切割模块，用于从各所述第二视频帧中切割出包含对应的第二运动区域的各第一运动区域块；
行为监测模块，用于将各所述第一运动区域块输入至训练完成的暴力行为监测模型，得到所述暴力行为监测模型输出的监测结果，其中，所述监测结果为所述目标场所中存在暴力行为或者所述目标场所中不存在暴力行为；
报警发出模块，用于若所述监测结果为所述目标场所中存在暴力行为，则发出报警信息。
7.根据权利要求6所述的暴力行为监测装置，其特征在于，所述区域切割模块，包括：
轮廓位置获取单元，用于获取各所述第二运动区域的轮廓在对应的第二视频帧中的第一位置信息；
外接矩形确定单元，用于根据各所述第一位置信息确定各所述第二运动区域在对应的第二视频帧中的最小外接矩形，并获取各所述最小外接矩形的第二位置信息；
区域切割单元，用于基于各所述第二位置信息从各所述第二视频帧中对各所述最小外接矩形进行切割，得到包含对应的第二运动区域的各第一运动区域块。
8.根据权利要求6所述的暴力行为监测装置，其特征在于，所述暴力行为监测模型为时域分割网络TSN模型，其中，所述TSN模型包括空间流卷积网络单元和时间流卷积网络单元。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述暴力行为监测方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述暴力行为监测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910570254.XA CN110348343A (zh) | 2019-06-27 | 2019-06-27 | 一种暴力行为监测方法、装置、存储介质及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910570254.XA CN110348343A (zh) | 2019-06-27 | 2019-06-27 | 一种暴力行为监测方法、装置、存储介质及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110348343A true CN110348343A (zh) | 2019-10-18 |
Family
ID=68177199
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910570254.XA Pending CN110348343A (zh) | 2019-06-27 | 2019-06-27 | 一种暴力行为监测方法、装置、存储介质及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110348343A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111860430A (zh) * | 2020-07-30 | 2020-10-30 | 浙江大华技术股份有限公司 | 打架行为的识别方法和装置、存储介质及电子装置 |
| CN111860286A (zh) * | 2020-07-14 | 2020-10-30 | 艾伯资讯（深圳）有限公司 | 基于混合策略的暴力行为检测方法及系统、存储介质 |
| CN111860395A (zh) * | 2020-07-28 | 2020-10-30 | 公安部第三研究所 | 基于视觉和加速度信息实现监所暴力行为检测的方法 |
| CN112183359A (zh) * | 2020-09-29 | 2021-01-05 | 中国科学院深圳先进技术研究院 | 视频中的暴力内容检测方法、装置及设备 |
| CN112258424A (zh) * | 2020-11-18 | 2021-01-22 | 西安邮电大学 | 各向异性高斯边窗核约束的图像引导滤波方法 |
| CN112948627A (zh) * | 2019-12-11 | 2021-06-11 | 杭州海康威视数字技术股份有限公司 | 一种报警视频生成方法、显示方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070121999A1 (en) * | 2005-11-28 | 2007-05-31 | Honeywell International Inc. | Detection of abnormal crowd behavior |
| CN109409238A (zh) * | 2018-09-28 | 2019-03-01 | 深圳市中电数通智慧安全科技股份有限公司 | 一种障碍物检测方法、装置及终端设备 |
| CN109543513A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技（深圳）有限公司 | 智能监控实时处理的方法、装置、设备及存储介质 |
| CN109614882A (zh) * | 2018-11-19 | 2019-04-12 | 浙江大学 | 一种基于人体姿态估计的暴力行为检测系统及方法 |
| CN109670446A (zh) * | 2018-12-20 | 2019-04-23 | 泉州装备制造研究所 | 基于线性动态系统和深度网络的异常行为检测方法 |
-
2019
- 2019-06-27 CN CN201910570254.XA patent/CN110348343A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070121999A1 (en) * | 2005-11-28 | 2007-05-31 | Honeywell International Inc. | Detection of abnormal crowd behavior |
| CN109409238A (zh) * | 2018-09-28 | 2019-03-01 | 深圳市中电数通智慧安全科技股份有限公司 | 一种障碍物检测方法、装置及终端设备 |
| CN109543513A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技（深圳）有限公司 | 智能监控实时处理的方法、装置、设备及存储介质 |
| CN109614882A (zh) * | 2018-11-19 | 2019-04-12 | 浙江大学 | 一种基于人体姿态估计的暴力行为检测系统及方法 |
| CN109670446A (zh) * | 2018-12-20 | 2019-04-23 | 泉州装备制造研究所 | 基于线性动态系统和深度网络的异常行为检测方法 |
Non-Patent Citations (5)
| Title |
|---|
| HUI YIN 等: "Side Window Filtering", 《ARXIV》 * |
| LIMIN WANG 等: "Temporal Segment Networks: Towards Good Practices for Deep Action Recognition", 《ARXIV》 * |
| PEIPEI ZHOU 等: "Violent Interaction Detection in Video Based on Deep Learning", 《IOP》 * |
| 刘明彦 等: "《高职教育创新与社会服务》", 31 August 2017, 北京邮电大学出版社 * |
| 黄强 等: "《国土安全》", 31 December 2013, 东南大学出版社 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112948627A (zh) * | 2019-12-11 | 2021-06-11 | 杭州海康威视数字技术股份有限公司 | 一种报警视频生成方法、显示方法和装置 |
| CN112948627B (zh) * | 2019-12-11 | 2023-02-03 | 杭州海康威视数字技术股份有限公司 | 一种报警视频生成方法、显示方法和装置 |
| CN111860286A (zh) * | 2020-07-14 | 2020-10-30 | 艾伯资讯（深圳）有限公司 | 基于混合策略的暴力行为检测方法及系统、存储介质 |
| CN111860286B (zh) * | 2020-07-14 | 2024-09-24 | 艾伯资讯（深圳）有限公司 | 基于混合策略的暴力行为检测方法及系统、存储介质 |
| CN111860395A (zh) * | 2020-07-28 | 2020-10-30 | 公安部第三研究所 | 基于视觉和加速度信息实现监所暴力行为检测的方法 |
| CN111860430A (zh) * | 2020-07-30 | 2020-10-30 | 浙江大华技术股份有限公司 | 打架行为的识别方法和装置、存储介质及电子装置 |
| CN111860430B (zh) * | 2020-07-30 | 2023-04-07 | 浙江大华技术股份有限公司 | 打架行为的识别方法和装置、存储介质及电子装置 |
| CN112183359A (zh) * | 2020-09-29 | 2021-01-05 | 中国科学院深圳先进技术研究院 | 视频中的暴力内容检测方法、装置及设备 |
| CN112183359B (zh) * | 2020-09-29 | 2024-05-14 | 中国科学院深圳先进技术研究院 | 视频中的暴力内容检测方法、装置及设备 |
| CN112258424A (zh) * | 2020-11-18 | 2021-01-22 | 西安邮电大学 | 各向异性高斯边窗核约束的图像引导滤波方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110348343A (zh) | 一种暴力行为监测方法、装置、存储介质及终端设备 | |
| CN110390262B (zh) | 视频分析方法、装置、服务器及存储介质 | |
| US20190304102A1 (en) | Memory efficient blob based object classification in video analytics | |
| US20190130189A1 (en) | Suppressing duplicated bounding boxes from object detection in a video analytics system | |
| AU2012340862B2 (en) | Geographic map based control | |
| KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
| CN110348312A (zh) | 一种区域视频人体动作行为实时识别方法 | |
| US11816875B2 (en) | Method for estimating and presenting passenger flow, system, and computer readable storage medium | |
| CN110516529A (zh) | 一种基于深度学习图像处理的投喂检测方法和系统 | |
| CN110889334A (zh) | 人员闯入识别方法及装置 | |
| CN111222478A (zh) | 一种工地安全防护检测方法和系统 | |
| US20230005176A1 (en) | Throwing position acquisition method and apparatus, computer device and storage medium | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| US20190130586A1 (en) | Robust sleeping object detection in video analytics | |
| CN103049765A (zh) | 一种基于鱼眼相机的判断人群密度和人数的方法 | |
| KR20140095333A (ko) | 영상에서 객체 추적 방법 및 장치 | |
| CN110255318B (zh) | 基于图像语义分割的电梯轿厢闲置物品检测的方法 | |
| CN110636281A (zh) | 一种基于背景模型的监控摄像头遮挡实时检测方法 | |
| CN114360064B (zh) | 基于深度学习的办公场所人员行为轻量级目标检测方法 | |
| CN115861915A (zh) | 消防通道监控方法、消防通道监控装置以及存储介质 | |
| CN117612060A (zh) | 基于人工智能检测的视频预警系统、方法、设备及介质 | |
| CN113158963B (zh) | 一种高空抛物的检测方法及装置 | |
| CN102867214B (zh) | 区域范围内人数统计管理方法 | |
| CN113361364B (zh) | 目标行为检测方法、装置、设备及存储介质 | |
| CN112927178A (zh) | 遮挡检测方法、装置、电子设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191018 |