CN107967440A - 一种基于多区域变尺度3d-hof的监控视频异常检测方法 - Google Patents
一种基于多区域变尺度3d-hof的监控视频异常检测方法 Download PDFInfo
- Publication number
- CN107967440A CN107967440A CN201710845420.3A CN201710845420A CN107967440A CN 107967440 A CN107967440 A CN 107967440A CN 201710845420 A CN201710845420 A CN 201710845420A CN 107967440 A CN107967440 A CN 107967440A
- Authority
- CN
- China
- Prior art keywords
- video
- optical flow
- detection
- sparse
- sparse combination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000005856 abnormality Effects 0.000 title abstract description 4
- 238000001514 detection method Methods 0.000 claims abstract description 135
- 230000002159 abnormal effect Effects 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 230000003287 optical effect Effects 0.000 claims description 82
- 238000005192 partition Methods 0.000 claims description 39
- 238000009826 distribution Methods 0.000 claims description 38
- 238000012549 training Methods 0.000 claims description 34
- 238000012544 monitoring process Methods 0.000 claims description 31
- 239000011159 matrix material Substances 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000011282 treatment Methods 0.000 abstract 1
- 230000000694 effects Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
- G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
- G06V10/507—Summing image-intensity values; Histogram projection analysis
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开一种基于多区域变尺度3D‑HOF的监控视频异常检测方法,首先获取监控视频作为输入,对视频进行分区处理,然后提取各分区内的变尺度3D‑HOF特征和光流方向信息熵,并组合成最终的检测特征,最后使用稀疏组合学习算法在各分区中学习一个初始稀疏组合集,通过重构误差判断新数据是否异常,并使用正常数据在线更新稀疏组合集。应用本发明,不仅解决了监控视频中存在的透视变形问题,还充分利用不同光流幅值区间内运动信息的差异,可以获得更精确的运动速度信息。本发明适用于监控视频的异常检测,计算复杂度较低,检测结果准确,算法鲁棒性好。本发明在视频分析技术领域有着广泛的应用。
Description
技术领域
本发明属于视频分析技术领域,尤其涉及一种基于多区域变尺度 3D-HOF的监控视频异常检测方法,用于监控视频中异常物体及运动模式 检测。
背景技术
监控视频异常检测是视频分析技术领域的一个重要研究方向,在公 共场所的骚乱检测、地铁站入口的逃票检测、火灾预警、入侵监测等场 景有着广泛的应用前景。
目前,大多数异常检测方法是从训练视频中学习物体的正常外观和 运动模式的模型,并基于所建立的模型进行异常检测,却很少考虑物体 在监控视频中的位置信息对外观和运动模式的影响。由于视频中存在透 视变形,同一物体在视频中的不同区域,其外观和运动模式是不同的, 而不同物体在视频的不同区域,其运动模式却有可能相同,因此,在监 控视频的异常检测中,若不考虑物体在视频中的位置信息对外观和运动 模式所带来的影响,将会造成误检,得不到有效的检测结果。
综上所述,在监控视频的异常检测中,不考虑视频中物体的透视变 形问题会出现误检,但单纯地对每个像素建立直方图来解决透视变形的 方法,未将物体的像素作为整体来考虑,将会忽略物体各部分检测结果 的一致性而影响检测效果;而基于区域划分的方法从整段视频的角度将 视频划分为多个区域,以缓解透视变形对异常检测带来的影响,未进一 步考虑视频各区域内光流幅值的不同分布对检测造成的影响,仍可能导 致误检。因此,当前需要一种新的解决透视变形问题的监控视频异常检 测方法,以解决以上问题。
发明内容
本发明要解决的问题是:在监控视频的异常检测技术中,不考虑透 视变形问题会将远处的异常运动误判为近处的正常运动,造成漏检;而 现有的解决透视变形问题的异常检测方法,没有考虑视频中整体与局部 的关系,会导致误检。需要提出一种新的监控视频异常检测方法,提高 检测效果。
为了解决上述问题,本发明提供了一种基于多区域变尺度3D-HOF 的监控视频异常检测方法。该方法基于训练视频中光流幅值的分布规律 进行区域划分,并根据各区域内光流幅值分布范围的差异,提取其变尺 度3D-HOF特征,建立稀疏组合集,从而使用重构误差得到检测结果。
为实现上述目的,本发明采用如下的技术方案
一种基于多区域变尺度3D-HOF的监控视频异常检测方法,对给定场 景下的监控视频集合,进行如下操作:
1)将监控视频分为训练视频和测试视频两部分,其中训练视频由正 常视频组成;计算训练视频的稠密光流,并基于训练视频中光流幅值的 分布规律将视频划分为多个区域;
2)提取视频各分区内每个检测单元的变尺度3D-HOF特征和光流方 向信息熵,并将二者组合成最终的检测特征;
3)在训练视频的各分区内,分别使用稀疏组合学习算法学习其稀疏 组合集;在检测时,通过重构误差判断异常,并在检测过程中使用正常数 据更新稀疏组合集。
作为优选,所述步骤1)具体为:
1.1)使用Horn-Schunck光流法计算训练视频中每帧的稠密光流;
1.2)将训练视频按固定大小分为M块,并将光流幅值分为N个区间后,在每块内统计光流幅值直方图,并将第i块的直方图统计结果转换为向量形式:然后再将其转换为概率分布 转换公式为:
1.3)将1.2)中获得的概率分布作为K-medo i ds聚类算法的输入, 在聚类算法中,以两个概率分布的JS散度作为二者之间的距离,聚类完 成后,按聚类结果将视频划分为多个区域,JS散度的计算公式为:
其中P1、P2为两个概率分布。
作为优选,所述步骤2)具体为:
2.1)在各分区内,统计每个分区的光流幅值统计直方图,按幅值区 间内像素点的数量占总像素数的百分比,将幅值区间划分为三个区间B1、 B2和B3,并根据各区间内像素点的数量不同确定不同的幅值尺度,即在 各分区内形成由区间B1、B2和、B3组成的变尺度幅值区间;
2.2)在各分区内,划分光流方向区间:(-180°~-90°]、(-90°~0°]、 (0~90°]和(90°~180°];
2.3)在每个检测单元中,按照所确定的变尺度幅值区间和方向区间, 统计其变尺度3D-HOF直方图:遍历检测单元中的每个像素,按光流方向 和光流幅值确定其属于哪个区间,然后将对应的统计直条高度加一,获 得变尺度3D-HOF直方图后,将统计结果转换为向量形式;
2.4)在每个检测单元中,按照所确定的光流方向区间,统计光流方 向直方图;遍历检测单元中的每个像素,按光流方向确定其属于哪个光 流方向区间,然后将对应的统计直条高度加一,获得方向直方图后,计 算光流方向信息熵E,信息熵计算公式为:
其中,Oi为第i个光流方向区间所包含的像素点集合,n(Oi)为第i 个光流方向区间所包含的像素点数量,eps为0.000001。
2.5)对于同一检测单元,将提取的变尺度3D-HOF特征和光流方向 信息熵,并将二者组合为一个向量,作为最终的检测特征。
作为优选,所述步骤3)具体是:
3.1)在各分区内,分别使用稀疏组合学习算法学习一个初始稀疏组 合集;
3.2)检测时,在当前帧的各分区内,提取每个检测单元的检测特征, 然后依次使用对应分区的稀疏组合集中的每个稀疏组合重构该检测特 征,如果存在某个稀疏组合的重构误差小于设定阈值,则将此检测单元 标注为正常,并将该检测特征放入相应的正常事件集合中,否则就将其 标注为异常;
3.3)检测完连续h帧后,使用相应分区的正常事件集合中的检测特 征更新对应的稀疏组合集。
作为优选,所述的训练视频是固定位置摄像头拍摄得到的视频,视 频中同一物体在不同位置有较大的外观差异,训练时使用的视频中只包 含正常的物体及运动模式,检测时使用的视频包含异常的物体及运动模 式。
作为优选,步骤3)具体为:在训练视频的各分区内,分别使用稀 疏组合学习算法学习其稀疏组合集,并使用重构误差判断测试视频是否 异常,以第i个分区为例,具体步骤为:
3-1)在该分区内提取训练视频中所有检测单元的检测特征,使用稀 疏组合学习算法,学习一个初始稀疏组合集k=0;
3-2)在该分区内提取测试视频中检测单元的检测特征,依次使用稀 疏组合集中的稀疏组合重构该检测特征,如果存在某个稀疏 组合的重构误差小于设定阈值,则将此检测单元标注为正常,并将检 测特征放入该稀疏组合对应的正常事件集中,否则就将此检测单元标 记为异常;
3-3)考虑到现实场景中天气、风向变化会影响监控视频中物体外观 和运动模式,在检测时加入稀疏组合集的在线更新:以稀疏组合集中第 e个稀疏组合为例,检测完连续h帧后,使用其对应的正常事件集更新该稀疏组合更新公式为:
其中,为更新后的稀疏组合;k=0时,为n阶零矩阵,为1×n 的零矩阵,n为稀疏组合中基的个数;为稀疏组合可重构的正 常事件集合,为中正常事件的个数,为中第l个数据的第j 维;δ为一个很小的常数,防止除数为0;为更新稀疏组合的第j 维时,中第l个数据所占的权重,重构误差越小,权重越大;βl为中第l个数据的重构系数;
3-4)重复步骤3-2)和3-3),直到检测完所有视频帧。
本发明提供了一种基于多区域变尺度3D-HOF的监控视频异常检测 方法,该方法首先获取训练视频作为输入,然后计算训练视频中每帧图 像的稠密光流,对视频划分区域,在各分区内确定变尺度幅值区间,根 据确定的方向区间和变尺度幅值区间提取其变尺度3D-HOF特征,根据 方向区间计算其光流方向信息熵,并将二者组合为最终的检测特征,最 后,使用稀疏组合学习算法在各分区中学习一个初始稀疏组合集,通过 重构误差判断新数据是否异常,并使用正常数据在线更新稀疏组合集。 应用本发明,解决了监控视频中的透视变形问题,减少离摄像头较远区 域的漏检,提高了异常检测效果。本发明适用于监控视频的异常检测, 计算复杂度较低,检测结果准确,算法鲁棒性好。
本发明的优点是:首先,本发明对视频的不同分区分别进行训练和 检测,解决了视频中存在的透视变形问题;其次,本发明根据各分区内 光流幅值的分布特点,确定不同的变尺度幅值区间,这种方式能够提取 物体更精确的运动速度信息;最后,利用重构误差判断新数据是否异常, 并通过正常数据更新稀疏组合集,可以提高异常检测方法的鲁棒性。
附图说明
图1是本发明基于多区域变尺度3D-HOF的监控视频异常检测方法的 流程图;
图2是本发明基于光流幅值分布相似度的视频分区的操作示例。
具体实施方式
本发明提供了一种基于多区域变尺度3D-HOF的监控视频异常检测 方法,该方法以监控视频作为输入,并提取视频中每帧图像的稠密光流, 然后对视频按以固定大小分块,并根据各块内光流幅值分布相似性将视 频划分为多个区域,然后,在每个分区中,分别提取各检测单元的变尺 度3D-HOF和光流方向信息熵组成的检测特征,最后,采用稀疏组合学 习算法在各分区内分别学习稀疏组合集,通过重构误差判断各检测单元 是否异常,并使用正常数据在线更新对应的稀疏组合集。本发明适用于 监控视频的异常检测,具有很好的鲁棒性,检测结果准确。
本发明包括以下步骤:
1)获取训练视频,所述训练视频是通过固定位置摄像头拍摄的监控 视频,且视频中只包含正常的物体和运动模式。
2)考虑到视频中存在透视变形,即物体到摄像头的距离不同时,外 观和运动模式也有差异,基于这一现象,本发明使用一种基于概率分布 相似度的K-medoids聚类算法将视频划分为多个区域。首先,将视频按 固定大小分块,在各块内统计光流幅值分布,将幅值分布直方图的向量 化结果转换为概率分布,并将其作为K-medoids算法的输入,考虑到输入数据是概率分布,本发明将两个分布之间的JS散度作为聚类算法中数 据距离的度量依据,最后,根据聚类结果将视频划分为多个区域。JS散 度计算公式为:
其中,幅值分布直方图的向量化结果为P1、P2分 别为X1和X2对应的概率分布,
3)提取视频各分区内每个检测单元的变尺度3D-HOF特征和光流方 向信息熵,并将二者组合成最终的检测特征。
3.1)考虑到视频中像素点的光流幅值的分布规律:光流幅值越小, 对应的像素点越多,体现在直方图上则表现为:从左往右,直方图各直 条的高度呈递减趋势。基于这一特性,本发明基于光流幅值分布和幅值 区间范围大小,从左往右累加直方图各直条高度,按各分区内像素点总 数的97.5%和99%,将该分区的光流幅值区间划分为三个区间:B1、B2和B3;
3.2)基于区间B1、B2和B3内的光流幅值分布可以发现,幅值跨度 小的区间内,像素点的数量反而多:区间B1的幅值跨度较小,包含大部 分像素点;区间B2的幅值跨度较大,包含少部分像素点;而区间B3的幅 值跨度最大,但此区间包含的像素点最少。针对这一特性,本发明根据 区间内的幅值跨度和落入区间内的像素点个数,在不同区间内设置不同 的光流幅值尺度:区间B1设置较小尺度,使数据的分布更均匀;区间 B2设置较大尺度,使数据的分布更集中;区间B3则统计大于某个幅值的 所有像素点个数;
3.3)通过实验可以发现,正六边形可以更好地分割平面,所以在各 分区内,将每帧图像以固定大小的正六边形进行分割,并将连续t帧中 相同位置的正六边形组成的时空块作为一个检测单元;对每个检测单元, 根据光流方向区间:(-180°~-90°]、(-90°~0°]、(0~90°]、(90°~180°]和各 区间的不同光流幅值尺度来统计变尺度3D-HOF直方图:对于检测单元 中的每个像素,按光流方向和光流幅值确定其属于哪个区间,然后将对 应的统计直条高度加一。将直方图统计结果向量化后即得到该检测单元 的变尺度3D-HOF特征;
3.4)对每个检测单元,根据光流方向区间:(-180°~-90°]、(-90°~0°]、 (0~90°]和(90°~180°]统计直方图,然后计算其光流方向信息熵。信息熵E 的计算公式为:
其中,Oi为第i个光流方向区间所包含的像素点集合,n(Oi)为第i个光流 方向区间所包含的像素点总数,eps为0.000001,防止除零错误。
3.5)将每个检测单元中的变尺度3D-HOF特征和光流方向信息熵, 组合为一个向量,作为该检测单元的检测特征。
4)在训练视频的各分区内,分别使用稀疏组合学习算法学习其稀疏 组合集,并使用重构误差判断测试视频是否异常。以第i个分区为例, 具体步骤为:
4.1)在该分区内提取训练视频中所有检测单元的检测特征,使用稀 疏组合学习算法,学习一个初始稀疏组合集k=0;
4.2)在该分区内提取测试视频中检测单元的检测特征,依次使用稀 疏组合集中的稀疏组合重构该检测特征,如果存在某个稀疏 组合的重构误差小于设定阈值,则将此检测单元标注为正常,并将检 测特征放入该稀疏组合对应的正常事件集中,否则就将此检测单元标 记为异常;
4.3)考虑到现实场景中天气、风向变化会影响监控视频中物体外观 和运动模式,本发明在检测时加入稀疏组合集的在线更新:以稀疏组合 集中第e个稀疏组合为例,检测完连续h帧后,使用其对应的正常事 件集更新该稀疏组合更新公式为:
其中,为更新后的稀疏组合;k=0时,为n阶零矩阵,为1×n的 零矩阵,n为稀疏组合中基的个数;为稀疏组合可重构的正常 事件集合,为中正常事件的个数,为中第l个数据的第j维; δ为一个很小的常数,防止除数为0;为更新稀疏组合的第j维时, 中第l个数据所占的权重,重构误差越小,权重越大;βl为中第l 个数据的重构系数。
4.4)重复步骤4.2)和4.3),直到检测完所有视频帧。
本发明在视频分析技术领域有着广泛的应用,例如:公共场所的骚 乱检测、地铁站入口的逃票检测、火灾预警和入侵监测等。下面参照附 图,对本发明进行详尽的描述。
(1)在本发明的实施例中,从训练视频中计算稠密光流,计算方法 为Horn-Schunck光流法。
(2)对视频划分区域,具体做法为:首先,将所有训练视频合成一 个连续的视频,并按固定大小(W×H)将视频不重叠分块;然后,统计各 块内的光流幅值分布直方图,并将直方图向量化后的数据转换为概率分 布,作为K-medoids聚类算法的输入,将聚类中心的个数设置为4;在聚 类算法中,本发明使用JS散度来度量两个概率分布的相似程度;聚类完成后,将属于同一类的所有分块划分为一个区域。
(3)提取视频各分区内的变尺度3D-HOF特征和光流方向信息熵。
(3.1)根据分区内的幅值分布,确定变尺度区间。首先,找到分区 中的最大光流幅值fmag_max,将幅值区间[0.04,fmag_max]等分为30个区间; 统计该分区内的光流幅值直方图,然后从左往右依次累加各直条高度, 当累加值分别达到像素总数的97.5%和99%时,记录当前光流幅值和 最后根据和将区间[0.04,fmag_max]划分三个区间B1,B2,B3, 分别为:[0.04,),[),[+∞);
(3.2)根据各区间内像素点的数量不同,确定不同的光流幅值尺度, 即在各分区内形成由区间B1、B2和、B3组成的变尺度幅值区间。区间B1设置较小幅值尺度;区间B2设置较大幅值尺度;区间B3统计所有幅值大 于的像素点个数;
(3.3)在各分区内,对每帧图像以半径为6像素的正六边形进行分 割,并将连续5帧中相同位置的正六边形组成的时空块作为一个检测单 元;遍历检测单元中的每个像素点,根据所确定的方向区间: (-180°~-90°]、(-90°~0°]、(0~90°]、(90°~180°]和变尺度幅值区间B1、B2、 B3统计变尺度3D-HOF直方图:当像素点的光流方向和幅值属于某个区间时就将对应的直条高度加一,遍历完成后得到该检测单元的变尺度 3D-HOF特征;
(3.4)遍历检测单元中的每个像素点,根据光流方向区间: (-180°~-90°]、(-90°~0°]、(0~90°]和(90°~180°]进行直方图统计:当像素 点的光流方向属于某个区间时,就将对应的直条高度加1,最后使用光流 方向统计结果计算其光流方向信息熵;
(3.5)将变尺度3D-HOF特征以列向量方式保存,并将其光流方向 信息熵添加到变尺度3D-HOF特征中作为最后一维,即得到每个检测单元 的检测特征。
(4)使用稀疏组合学习算法学习稀疏组合集,并使用重构误差判断 是否异常。
4.1)在各分区内提取训练视频所有检测单元的检测特征,然后使用 稀疏组合学习算法从各分区中分别训练一个初始稀疏组合集,稀疏组合 集中每个稀疏组合包含的基向量数量设置为20;
4.2)在分区内提取测试视频中各检测单元的检测特征,依次使用对 应稀疏组合集中的每个稀疏组合重构检测特征,如果存在某个稀疏组合 的重构误差小于设定阈值,则将此检测单元标注为正常,并将检测特征 放入该稀疏组合对应的正常事件集中,否则就将此检测单元标记为异常;
4.3)以步骤4.2)的方式检测连续50帧后,依次使用不为空的正 常事件集合,更新对应的稀疏组合。
4.4)重复步骤4.2)和4.3),直到检测完所有测试视频帧。
在Intel Core i5-4460 3.20GHz CPU和Win10 64位操作系统下,采用 MATLABR2015a编程实现该方法。
本发明提供了一种基于多区域变尺度3D-HOF的监控视频异常检测 方法,适用于监控视频的异常检测,计算复杂度较低,检测结果准确, 算法鲁棒性好。实验表明该方法能够快速有效的进行异常检测。
Claims (6)
1.一种基于多区域变尺度3D-HOF的监控视频异常检测方法,其特征在于,对给定场景下的监控视频集合,进行如下操作:
1)将监控视频分为训练视频和测试视频两部分,其中训练视频由正常视频组成;计算训练视频的稠密光流,并基于训练视频中光流幅值的分布规律将视频划分为多个区域;
2)提取视频各分区内每个检测单元的变尺度3D-HOF特征和光流方向信息熵,并将二者组合成最终的检测特征;
3)在训练视频的各分区内,分别使用稀疏组合学习算法学习其稀疏组合集;在检测时,通过重构误差判断异常,并在检测过程中使用正常数据更新稀疏组合集。
2.根据权利要求1所述的一种基于多区域变尺度3D-HOF的监控视频异常检测方法,其特征在于,所述步骤1)具体为:
1.1)使用Horn-Schunck光流法计算训练视频中每帧的稠密光流;
1.2)将训练视频按固定大小分为M块,并将光流幅值分为N个区间后,在每块内统计光流幅值直方图,并将第i块的直方图统计结果转换为向量形式:然后再将其转换为概率分布转换公式为:
1.3)将1.2)中获得的概率分布作为K-medoids聚类算法的输入,在聚类算法中,以两个概率分布的JS散度作为二者之间的距离,聚类完成后,按聚类结果将视频划分为多个区域,JS散度的计算公式为:
其中P1、P2为两个概率分布。
3.根据权利要求2所述的一种基于多区域变尺度3D-HOF的监控视频异常检测方法,其特征在于,所述步骤2)具体为:
2.1)在各分区内,统计每个分区的光流幅值统计直方图,按幅值区间内像素点的数量占总像素数的百分比,将幅值区间划分为三个区间B1、B2和B3,并根据各区间内像素点的数量不同确定不同的幅值尺度,即在各分区内形成由区间B1、B2和、B3组成的变尺度幅值区间;
2.2)在各分区内,划分光流方向区间:(-180°~-90°]、(-90°~0°]、(0~90°]和(90°~180°];
2.3)在每个检测单元中,按照所确定的变尺度幅值区间和方向区间,统计其变尺度3D-HOF直方图:遍历检测单元中的每个像素,按光流方向和光流幅值确定其属于哪个区间,然后将对应的统计直条高度加一,获得变尺度3D-HOF直方图后,将统计结果转换为向量形式;
2.4)在每个检测单元中,按照所确定的光流方向区间,统计光流方向直方图;遍历检测单元中的每个像素,按光流方向确定其属于哪个光流方向区间,然后将对应的统计直条高度加一,获得方向直方图后,计算光流方向信息熵E,信息熵计算公式为:
其中,Oi为第i个光流方向区间所包含的像素点集合,n(Oi)为第i个光流方向区间所包含的像素点数量,eps为0.000001。
2.5)对于同一检测单元,将提取的变尺度3D-HOF特征和光流方向信息熵,并将二者组合为一个向量,作为最终的检测特征。
4.根据权利要求3所述的一种基于多区域变尺度3D-HOF的监控视频异常检测方法,其特征在于,所述步骤3)具体是:
3.1)在各分区内,分别使用稀疏组合学习算法学习一个初始稀疏组合集;
3.2)检测时,在当前帧的各分区内,提取每个检测单元的检测特征,然后依次使用对应分区的稀疏组合集中的每个稀疏组合重构该检测特征,如果存在某个稀疏组合的重构误差小于设定阈值,则将此检测单元标注为正常,并将该检测特征放入相应的正常事件集合中,否则就将其标注为异常;
3.3)检测完连续h帧后,使用相应分区的正常事件集合中的检测特征更新对应的稀疏组合集。
5.根据权利要求1所述的一种基于多区域变尺度3D-HOF的监控视频异常检测方法,其特征在于,所述的训练视频是固定位置摄像头拍摄得到的视频,视频中同一物体在不同位置有较大的外观差异,训练时使用的视频中只包含正常的物体及运动模式,检测时使用的视频包含异常的物体及运动模式。
6.根据权利要求3所述的一种基于多区域变尺度3D-HOF的监控视频异常检测方法,其特征在于,步骤3)具体为:在训练视频的各分区内,分别使用稀疏组合学习算法学习其稀疏组合集,并使用重构误差判断测试视频是否异常,以第i个分区为例,具体步骤为:
3-1)在该分区内提取训练视频中所有检测单元的检测特征,使用稀疏组合学习算法,学习一个初始稀疏组合集k=0;
3-2)在该分区内提取测试视频中检测单元的检测特征,依次使用稀疏组合集中的稀疏组合重构该检测特征,如果存在某个稀疏组合的重构误差小于设定阈值,则将此检测单元标注为正常,并将检测特征放入该稀疏组合对应的正常事件集中,否则就将此检测单元标记为异常;
3-3)考虑到现实场景中天气、风向变化会影响监控视频中物体外观和运动模式,在检测时加入稀疏组合集的在线更新:以稀疏组合集中第e个稀疏组合为例,检测完连续h帧后,使用其对应的正常事件集更新该稀疏组合更新公式为:
其中,为更新后的稀疏组合;k=0时,为n阶零矩阵,为1×n的零矩阵,n为稀疏组合中基的个数;为稀疏组合可重构的正常事件集合,为中正常事件的个数,为中第l个数据的第j维;δ为一个很小的常数,防止除数为0;为更新稀疏组合的第j维时,中第l个数据所占的权重,重构误差越小,权重越大;βl为中第l个数据的重构系数;
3-4)重复步骤3-2)和3-3),直到检测完所有视频帧。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710845420.3A CN107967440B (zh) | 2017-09-19 | 2017-09-19 | 一种基于多区域变尺度3d-hof的监控视频异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710845420.3A CN107967440B (zh) | 2017-09-19 | 2017-09-19 | 一种基于多区域变尺度3d-hof的监控视频异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107967440A true CN107967440A (zh) | 2018-04-27 |
CN107967440B CN107967440B (zh) | 2021-03-30 |
Family
ID=61997413
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710845420.3A Expired - Fee Related CN107967440B (zh) | 2017-09-19 | 2017-09-19 | 一种基于多区域变尺度3d-hof的监控视频异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107967440B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830882A (zh) * | 2018-05-25 | 2018-11-16 | 中国科学技术大学 | 视频异常行为实时检测方法 |
CN109039721A (zh) * | 2018-07-20 | 2018-12-18 | 中国人民解放军国防科技大学 | 基于误差重构的节点重要性评估方法 |
CN109697409A (zh) * | 2018-11-27 | 2019-04-30 | 北京文香信息技术有限公司 | 一种运动图像的特征提取方法及起立动作图像的识别方法 |
CN109784316A (zh) * | 2019-02-25 | 2019-05-21 | 平安科技(深圳)有限公司 | 一种追溯地铁闸机逃票的方法、装置及存储介质 |
CN110880184A (zh) * | 2019-10-03 | 2020-03-13 | 上海淡竹体育科技有限公司 | 一种基于光流场进行摄像头自动巡检的方法及装置 |
CN111797702A (zh) * | 2020-06-11 | 2020-10-20 | 南京信息工程大学 | 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法 |
CN112364680A (zh) * | 2020-09-18 | 2021-02-12 | 西安工程大学 | 一种基于光流算法的异常行为检测方法 |
CN112380905A (zh) * | 2020-10-15 | 2021-02-19 | 西安工程大学 | 一种基于监控视频的直方图结合熵的异常行为检测方法 |
CN112380915A (zh) * | 2020-10-21 | 2021-02-19 | 杭州未名信科科技有限公司 | 视频监控异常事件的检测方法、系统、设备和存储介质 |
CN112580526A (zh) * | 2020-12-22 | 2021-03-30 | 中南大学 | 基于视频监控的学生课堂行为识别系统 |
CN113343757A (zh) * | 2021-04-23 | 2021-09-03 | 重庆七腾科技有限公司 | 基于卷积稀疏编码和光流的时空异常检测方法 |
CN113449412A (zh) * | 2021-05-24 | 2021-09-28 | 河南大学 | 基于K-means聚类和综合相关度的故障诊断方法 |
WO2023142550A1 (zh) * | 2022-01-27 | 2023-08-03 | 上海商汤智能科技有限公司 | 异常事件检测方法及装置、计算机设备、存储介质、计算机程序、计算机程序产品 |
CN118314530A (zh) * | 2024-06-07 | 2024-07-09 | 盛视科技股份有限公司 | 基于异常事件检测的视频防尾随方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106384092A (zh) * | 2016-09-11 | 2017-02-08 | 杭州电子科技大学 | 面向监控场景的在线低秩异常视频事件检测方法 |
CN106548153A (zh) * | 2016-10-27 | 2017-03-29 | 杭州电子科技大学 | 基于多尺度变换下图结构的视频异常检测方法 |
-
2017
- 2017-09-19 CN CN201710845420.3A patent/CN107967440B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106384092A (zh) * | 2016-09-11 | 2017-02-08 | 杭州电子科技大学 | 面向监控场景的在线低秩异常视频事件检测方法 |
CN106548153A (zh) * | 2016-10-27 | 2017-03-29 | 杭州电子科技大学 | 基于多尺度变换下图结构的视频异常检测方法 |
Non-Patent Citations (1)
Title |
---|
李宏菲: ""人脸表情识别关键技术的研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108830882A (zh) * | 2018-05-25 | 2018-11-16 | 中国科学技术大学 | 视频异常行为实时检测方法 |
CN108830882B (zh) * | 2018-05-25 | 2022-05-17 | 中国科学技术大学 | 视频异常行为实时检测方法 |
CN109039721B (zh) * | 2018-07-20 | 2021-06-18 | 中国人民解放军国防科技大学 | 基于误差重构的节点重要性评估方法 |
CN109039721A (zh) * | 2018-07-20 | 2018-12-18 | 中国人民解放军国防科技大学 | 基于误差重构的节点重要性评估方法 |
CN109697409A (zh) * | 2018-11-27 | 2019-04-30 | 北京文香信息技术有限公司 | 一种运动图像的特征提取方法及起立动作图像的识别方法 |
CN109784316A (zh) * | 2019-02-25 | 2019-05-21 | 平安科技(深圳)有限公司 | 一种追溯地铁闸机逃票的方法、装置及存储介质 |
CN109784316B (zh) * | 2019-02-25 | 2024-02-02 | 平安科技(深圳)有限公司 | 一种追溯地铁闸机逃票的方法、装置及存储介质 |
CN110880184B (zh) * | 2019-10-03 | 2023-07-21 | 上海淡竹体育科技有限公司 | 一种基于光流场进行摄像头自动巡检的方法及装置 |
CN110880184A (zh) * | 2019-10-03 | 2020-03-13 | 上海淡竹体育科技有限公司 | 一种基于光流场进行摄像头自动巡检的方法及装置 |
CN111797702A (zh) * | 2020-06-11 | 2020-10-20 | 南京信息工程大学 | 基于空间局部二值模式与光流梯度的人脸伪造视频检测方法 |
CN112364680A (zh) * | 2020-09-18 | 2021-02-12 | 西安工程大学 | 一种基于光流算法的异常行为检测方法 |
CN112364680B (zh) * | 2020-09-18 | 2024-03-05 | 西安工程大学 | 一种基于光流算法的异常行为检测方法 |
CN112380905A (zh) * | 2020-10-15 | 2021-02-19 | 西安工程大学 | 一种基于监控视频的直方图结合熵的异常行为检测方法 |
CN112380905B (zh) * | 2020-10-15 | 2024-03-08 | 西安工程大学 | 一种基于监控视频的直方图结合熵的异常行为检测方法 |
CN112380915A (zh) * | 2020-10-21 | 2021-02-19 | 杭州未名信科科技有限公司 | 视频监控异常事件的检测方法、系统、设备和存储介质 |
CN112580526A (zh) * | 2020-12-22 | 2021-03-30 | 中南大学 | 基于视频监控的学生课堂行为识别系统 |
CN113343757A (zh) * | 2021-04-23 | 2021-09-03 | 重庆七腾科技有限公司 | 基于卷积稀疏编码和光流的时空异常检测方法 |
CN113449412B (zh) * | 2021-05-24 | 2022-07-22 | 河南大学 | 基于K-means聚类和综合相关度的故障诊断方法 |
CN113449412A (zh) * | 2021-05-24 | 2021-09-28 | 河南大学 | 基于K-means聚类和综合相关度的故障诊断方法 |
WO2023142550A1 (zh) * | 2022-01-27 | 2023-08-03 | 上海商汤智能科技有限公司 | 异常事件检测方法及装置、计算机设备、存储介质、计算机程序、计算机程序产品 |
CN118314530A (zh) * | 2024-06-07 | 2024-07-09 | 盛视科技股份有限公司 | 基于异常事件检测的视频防尾随方法 |
CN118314530B (zh) * | 2024-06-07 | 2024-08-27 | 盛视科技股份有限公司 | 基于异常事件检测的视频防尾随方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107967440B (zh) | 2021-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107967440B (zh) | 一种基于多区域变尺度3d-hof的监控视频异常检测方法 | |
Doshi et al. | Continual learning for anomaly detection in surveillance videos | |
Li et al. | Adaptively constrained dynamic time warping for time series classification and clustering | |
Zhu et al. | Msnet: A multilevel instance segmentation network for natural disaster damage assessment in aerial videos | |
Cong et al. | Abnormal event detection in crowded scenes using sparse representation | |
CN109544592B (zh) | 针对相机移动的运动目标检测算法 | |
CN103902966B (zh) | 基于序列时空立方体特征的视频交互事件分析方法及装置 | |
CN107766823B (zh) | 基于关键区域特征学习的视频中异常行为检测方法 | |
CN104717468B (zh) | 基于集群轨迹分类的集群场景智能监控方法及系统 | |
CN109145841A (zh) | 一种基于视频监控的异常事件的检测方法及装置 | |
CN110717408B (zh) | 一种基于tof相机的人流计数方法 | |
Meng et al. | Video‐Based Vehicle Counting for Expressway: A Novel Approach Based on Vehicle Detection and Correlation‐Matched Tracking Using Image Data from PTZ Cameras | |
CN110958467B (zh) | 视频质量预测方法和装置及电子设备 | |
CN110084201A (zh) | 一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法 | |
CN112100435A (zh) | 一种基于边缘端交通音视频同步样本的自动标注方法 | |
Li et al. | Spatiotemporal representation learning for video anomaly detection | |
Biswas et al. | Sparse representation based anomaly detection with enhanced local dictionaries | |
CN115731513A (zh) | 基于数字孪生的智慧园区管理系统 | |
Al-Dhamari et al. | Online video-based abnormal detection using highly motion techniques and statistical measures | |
CN110969645A (zh) | 面向拥挤场景的无监督异常轨迹检测方法和装置 | |
CN105740819A (zh) | 一种基于整数规划的人群密度估计方法 | |
Kalshetty et al. | Abnormal event detection model using an improved ResNet101 in context aware surveillance system | |
KR101529620B1 (ko) | 이동 방향별 보행자 계수 방법 및 장치 | |
CN105741277A (zh) | 基于ViBe算法与SLIC超像素的背景差分法 | |
KR101467307B1 (ko) | 인공 신경망 모델을 이용한 보행자 계수 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210330 |