CN107180229A - 一种监控视频中基于运动方向的异常行为检测方法 - Google Patents

一种监控视频中基于运动方向的异常行为检测方法 Download PDF

Info

Publication number
CN107180229A
CN107180229A CN201710308053.3A CN201710308053A CN107180229A CN 107180229 A CN107180229 A CN 107180229A CN 201710308053 A CN201710308053 A CN 201710308053A CN 107180229 A CN107180229 A CN 107180229A
Authority
CN
China
Prior art keywords
video
msub
mrow
pixel
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710308053.3A
Other languages
English (en)
Inventor
陈志�
掌静
岳文静
刘星
龚凯
王福星
金广华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hengtong Mdt Infotech Ltd
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Hengtong Mdt Infotech Ltd
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hengtong Mdt Infotech Ltd, Nanjing Post and Telecommunication University filed Critical Nanjing Hengtong Mdt Infotech Ltd
Priority to CN201710308053.3A priority Critical patent/CN107180229A/zh
Publication of CN107180229A publication Critical patent/CN107180229A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种监控视频中基于运动方向的异常行为检测方法，通过对运动方向的分析解决了难以准确检测视频异常行为的问题。本发明主要包括三部分：获取初步视频目标、优化视频目标和检测视频目标异常行为。第一部分处理原始视频帧和背景视频帧，利用改进的背景相减法，获取初步视频目标；第二部分，筛选运动速度在噪声边界阈值内的初步视频目标像素点，获取视频目标的精确位置；第三部分计算视频目标像素点的运动方向，统计运动方向熵以此判断行为是否异常。本发明方法模拟人工标记，能够及时检测出大部分异常情况，具有良好的实时性和有效性。

Description

一种监控视频中基于运动方向的异常行为检测方法
技术领域
本发明涉及图像处理技术领域，特别是一种监控视频中基于运动方向的异常行为检测方法。
背景技术
近年来，随着各种安全突发事件的增多，大众安全意识的提升，人工智能理念的渗透，智能监控越来越受到人们的关注。传统的监控系统主要通过人工监控的方式实现对公共场合的安全管理，缺乏实时性和主动性。在很多情况下，视频监控由于无人管理只是起到了视频备份的作用没有做到监管的职责。此外，随着监控摄像头的普及和广泛布设，传统的人工监控方式已经不能满足现代监控的需求。
针对这一问题，大众都致力于寻求解决方案来代替人工操作。目前，随着视频监控技术以及信息科学的不断发展，视频监控、人机交互、视频搜索等领域有了长足的发展，自动化监控逐渐成为一个具有广泛应用前景的研究课题。异常行为检测是自动监控的重要内容，相较于一般地人体行为识别集中在人的常规动作的识别上，异常行为通常具有高突发性，并且持续时间较短，很难获取行为特征的特点。
近年来，对于异常行为的检测，研究者们提出了不同的方法，主要分为基于人体运动特征的检测方法和基于前景目标运动轨迹的检测方法。基于人体运动特征的检测方法通过提取前景目标的运动特征达到高准确度，但是目标的运动特征不易提取且计算复杂；基于前景目标运动轨迹的检测方法计算量小，但是精度低，一般用于特定的场景。
总的来说，对于异常行为的检测，现在并特别没有高效的方法，还需要不断的探索。
发明内容
本发明所要解决的技术问题是克服现有技术的不足而提供一种监控视频中基于运动方向的异常行为检测方法，以有效的提高对视频中异常行为的检测效果。
本发明为解决上述技术问题采用以下技术方案：
根据本发明提出的一种监控视频中基于运动方向的异常行为检测方法，包括以下步骤：
步骤1、输入3个原始视频帧和1个背景视频帧，所述原始视频帧是用户输入的监控视频的视频帧，所述背景视频帧是用户输入的监控视频的背景的视频帧，每个原始视频帧和背景视频帧均由k个像素点构成；
步骤2、比较背景视频帧与原始视频帧，具体步骤如下：
步骤21、取原始视频帧的第一帧、第二帧和第三帧中每个像素点的灰度值，原始视频帧的第一帧在位置(xi,yi)处的像素点的灰度值为f(xi,yi,t-1)，原始视频帧的第二帧在位置(xi,yi)处的像素点的灰度值为f(xi,yi,t)，原始视频帧的第三帧在位置(xi,yi)处的像素点的灰度值为f(xi,yi,t+1)；再取背景视频帧像素点的灰度值，背景视频帧在位置(xi,yi)处的像素点的运动矢量为f0(xi,yi,t)，i依次取1到k中的整数值；然后分别计算背景视频帧与原始视频帧第一帧、第二帧和第三帧在位置(xi,yi)处的像素点的运动矢量的差值d1(xi,yi,t)、d2(xi,yi,t)和d3(xi,yi,t)，采用以下计算公式得到三组差值：
d1(xi,yi,t)＝|f(xi,yi,t-1)-f0(xi,yi,t)|，
d2(xi,yi,t)＝|f(xi,yi,t)-f0(xi,yi,t)，
d3(xi,yi,t)＝|f(xi,yi,t+1)-f0(xi,yi,t)；
接着计算上述三组差值的平均值d(xi,yi,t)：
d(xi,yi,t)＝(d1(xi,yi,t)+d2(xi,yi,t)+d3(xi,yi,t))/3；
步骤22、设置背景区域边界阈值为M1，当d(xi,yi,t)≥M1，设置b(xi,yi,t)＝1，当d(xi,yi,t)＜M1，设置b(xi,yi,t)＝0，设定原始视频帧的第一帧中满足b(xi,yi,t)＝1的所有像素点组成的区域为初步视频目标，b(xi,yi,t)为在位置(xi,yi)处的像素点的二值化表示；
步骤3、输入初步视频目标的所有像素点，根据光流法得到光流约束方程，对光流约束方程做泰勒展开，得到计算初步视频目标的每个像素点的水平梯度垂直梯度时间梯度ft，u(xi,yi)是位置(xi,yi)处的像素点的水平光流，v(xi,yi)是位置(xi,yi)处的像素点的垂直光流；
计算初步视频目标的每个像素点的速度T(xi,yi)：
步骤4、设置噪声区域边界阈值为M2，当初步视频目标中存在位置(xi,yi)处的像素点的速度T(xi,yi)≤M2，设定满足T(xi,yi)≤M2的所有像素点组成的区域为视频目标，转入步骤5，当初步视频目标的所有像素点的速度均满足T(xi,yi)＞M2，设定原始视频帧中不存在视频目标，转入步骤1；
步骤5、根据步骤3所述的光流约束方程得到计算视频目标的每个像素点的u(xi,yi)和v(xi,yi)；
转换u(xi,yi)和v(xi,yi)为极坐标表示形式，转换公式为ρ(xi,yi)和θ(xi,yi)为u(xi,yi)和v(xi,yi)的极坐标表示形式；
计算视频目标的每个像素点的运动方向r(xi,yi)：
步骤6、查询视频目标的所有像素点，当视频目标中位置为(xi,yi)处的像素点存在二值化表示b(xi,yi,t)＝0的毗邻像素点，设定该像素点为视频目标的轮廓，设置该像素点的权值A(xi,yi,t)＝2，当视频目标中位置为(xi,yi)处的像素点的毗邻像素点的二值化表示均为b(xi,yi,t)＝1，设置该像素点的权值A(xi,yi,t)＝1，所述的毗邻像素点是位置在(xi-1,yi-1)、(xi-1,yi)、(xi-1,yi+1)、(xi,yi-1)，(xi,yi+1)、(xi+1,yi-1)、(xi+1,yi)、(xi+1,yi+1)处的像素点；
步骤7、统计视频目标的运动方向，具体步骤如下：
步骤71、将方向范围360°均分为c个区间进行运动方向统计，每个区间大小为将步骤5所得的视频目标的每个像素点的运动方向按照权值A(xi,yi,t)的大小分别归类到相应区间，当A(xi,yi,t)＝1，运动方向归类到相应区间1次，当A(xi,yi,t)＝2，运动方向归类到相应区间2次，c表示运动方向的区间的个数；
步骤72、采用方向直方图模型H统计视频目标的像素点的运动方向，所述的H＝{hj},j＝1,2,…,c，hj表示第j区间的方向直方图统计；接着对每一区间进行归一化处理，定义归一化后的方向直方图模型为Hnorm，Hnorm＝{hnorm(j)}，
步骤73、计算归一化方向直方图模型的运动方向熵E：
步骤8、设置异常行为边界阈值为M3，当E≥M3，输出该视频目标的行为为异常行为，当E＜M3，设定该视频目标行为正常，转入步骤1。
作为本发明所述的一种监控视频中基于运动方向的异常行为检测方法进一步优化方案，所述步骤1中，输入的监控视频是在摄像机没有抖动的情况下获得。
作为本发明所述的一种监控视频中基于运动方向的异常行为检测方法进一步优化方案，所述步骤1中，k取720×560。
作为本发明所述的一种监控视频中基于运动方向的异常行为检测方法进一步优化方案，所述步骤1中，相邻两个原始视频帧的时间间隔为0.5秒。
作为本发明所述的一种监控视频中基于运动方向的异常行为检测方法进一步优化方案，所述步骤22中，M1取10，表示背景区域边界阈值。
作为本发明所述的一种监控视频中基于运动方向的异常行为检测方法进一步优化方案，步骤3中所述的光流法指设经过时间dt，在位置(xi,yi)处的像素点移动至位置(xi+dx,yi+dy)处，由此存在光流约束方程f(xi,yi,t)＝f(xi+dx,yi+dy,t+dt)的光流处理办法，dx表示dt时间内位置(xi,yi)处的像素点在水平方向移动的距离，dy表示dt时间内位置(xi,yi)处的像素点在垂直方向移动的距离。
作为本发明所述的一种监控视频中基于运动方向的异常行为检测方法进一步优化方案，所述步骤4中，M2取0.5，表示噪声区域边界阈值。
作为本发明所述的一种监控视频中基于运动方向的异常行为检测方法进一步优化方案，所述步骤71中，c取9。
作为本发明所述的一种监控视频中基于运动方向的异常行为检测方法进一步优化方案，所述步骤8中，M3的取值在0.5～0.6之间，表示异常行为边界阈值。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
本发明使用背景相减法处理原始视频帧并获取初步视频目标，并对获取的视频目标进行优化，通过对视频目标运动方向的统计分析达到检测异常行为的效果。能够检测出大部分异常情况，具有良好的实时性和有效性，具体来说：
(1)监控视频中存在大量静止画面，不需要进行行为检测，通过背景减法快速筛选视频帧，只对存在灰度值变化的视频帧进行检测，提高算法的检测速度；
(2)监控视频中受光照和天气变化的影响，只对运动的视频目标进行检测，减少光照和天气对检测效果的影响；
(3)视频前景目标根据运动的剧烈程度相异，对于视频帧像素点速度大于阈值的区域不予考虑，大大的减少了运算量，提供了算法的时效性；
(4)使用方向直方图对运动方向进行划分，可以使行人细微的肢体动作被忽略而不影响检测效果，大大降低了计算的繁琐度。
附图说明
图1是监控视频中基于运动方向的异常行为检测方法流程。
具体实施方式
下面结合附图对本发明的技术方案做进一步的详细说明：
在具体实施中，图1是监控视频中基于运动方向的异常行为检测方法流程。首先用户输入3个原始视频帧和1个背景视频帧，这里的原始视频帧取自监控视频的视频帧，时间间隔为0.5秒，背景视频帧是监控视频的背景的视频帧，每个视频帧由k个像素点构成。
背景相减法通过比较背景图像和视频图像的差别可以快速并且较精确的获取覆盖视频背景的区域，所以选取原始视频帧的第一帧、第二帧和第三帧中每个像素点的运动矢量。原始视频帧第一帧在位置(xi,yi)处的像素点的运动矢量为f(xi,yi,t-1)，原始视频帧第二帧在位置(xi,yi)处的像素点的运动矢量为f(xi,yi,t)，原始视频帧第三帧在位置(xi,yi)处的像素点的运动矢量为f(xi,yi,t+1)；再取背景视频帧像素点的运动矢量，背景视频帧在位置(xi,yi)处的像素点的运动矢量为f0(xi,yi,t)，所述i依次取1到k中的值，这里的f(xi,yi,t)和f0(xi,yi,t)均表示时间t时位置(xi,yi)处的像素点的灰度值，f(xi,yi,t-1)表示时间t-1时在位置(xi,yi)处的像素点的灰度值，f(xi,yi,t+1)表示时间t+1时位置(xi,yi)处像素点的灰度值。再计算背景视频帧与上述三个视频帧在位置(xi,yi)处的像素点的运动矢量的差值d1(xi,yi,t)、d2(xi,yi,t)和d3(xi,yi,t)，采用以下计算公式得到三组差值：
d1(xi,yi,t)＝|f(xi,yi,t-1)-f0(xi,yi,t)|，
d2(xi,yi,t)＝|f(xi,yi,t)-f0(xi,yi,t)，
d3(xi,yi,t)＝|f(xi,yi,t+1)-f0(xi,yi,t)；
通过多帧对比可以消除单帧对比带来的误差，所以计算背景视频帧与上述三个视频帧在位置(xi,yi)处的像素点的运动矢量的差值d(xi,yi,t)，采用以下公式计算d(xi,yi,t)：d(xi,yi,t)＝(d1(xi,yi,t)+d2(xi,yi,t)+d3(xi,yi,t))/3。
为了对消除视频背景的影响，所有像素点设置二值化表示b(xi,yi,t)标识位置(xi,yi)处的像素点是否属于背景，那么设置背景区域边界阈值为M1，M1按照经验值取0.5。如果d(xi,yi,t)＜M1，设置b(xi,yi,t)＝0，设定满足b(x,y,t)＝0的所有像素点组成的区域为背景区域；如果d(xi,yi,t)≥M1，设置b(xi,yi,t)＝1，设定满足b(x,y,t)＝1的所有像素点组成的区域为初步视频目标，只对初步视频目标作进一步处理。
假设摄像头不抖动并且视频帧的背景不变，初步视频目标与背景不存在相对运动，那么初步视频目标运动产生速度。对于上一步获取的初步视频目标，可以计算像素点的速度判断初步视频目标是运动物体还是由于光照、天气变化影响误判的背景区域。首先根据光流法得到光流约束方程f(xi,yi,t)＝f(xi+dx,yi+dy,t+dt)，对光流约束方程做泰勒展开，得到计算初步视频目标的每个像素点的水平梯度垂直梯度时间梯度ft，这里的光流法指假设经过dt时间，在位置(xi,yi)处的像素点移动至位置(xi+dx,yi+dy)处，存在光流约束方程f(xi,yi,t)＝f(xi+dx,yi+dy,t+dt)的光流处理办法，u(xi,yi)是位置(xi,yi)处的像素点的水平光流，v(xi,yi)是位置(xi,yi)处的像素点的垂直光流，可以算术表示为ft＝df/dt、u(xi,yi)＝dxi/dt、v(xi,yi)＝dyi/dt。通过上步得到的和ft计算初步视频目标的像素点的速度T(xi,yi)，
为了有效的消除噪声对检测效果影响，那么设置噪声区域边界阈值为M2，如果初步视频目标的所有像素点的速度均满足T(xi,yi)＞M2，设定原始视频帧中不存在视频目标，回到开始重新进行检测。如果初步视频目标中存在位置(xi,yi)处的像素点速度T(xi,yi)≤M2，设定满足T(xi,yi)≤M2的所有像素点组成的区域为视频目标，继续下面的操作。
对于视频目标区域的像素点，求解光流约束方程得到对矩阵进行逆运算得到由此求得u(xi,yi)和v(xi,yi)。将u(xi,yi)和v(xi,yi)由直角坐标形式转化为极坐标形式ρ(xi,yi)和θ(xi,yi)，计算公式为从而可以计算出视频目标的每个像素点的运动方向r(xi,yi)，对视频目标的所有像素点的运动方向r(xi,yi)进行求解。
快速查询视频目标的所有像素点，如果视频目标中位置为(xi,yi)处的像素点存在二值化表示的毗邻像素点，说明该像素点为视频目标的轮廓。异常行为的发生通常在人体轮廓更加剧烈，比如投掷、打斗等，所以设置该像素点的权值A(xi,yi,t)＝2。如果视频目标中位置为(xi,yi)处的像素点的毗邻像素点的二值化表示均为b(xi,yi,t)＝1，设置该像素点的权值A(xi,yi,t)＝1。这里的毗邻像素点是位置(xi-1,yi-1)、(xi-1,yi)、(xi-1,yi+1)、(xi,yi-1)，(xi,yi+1)、(xi+1,yi-1)、(xi+1,yi)、(xi+1,yi+1)处的像素点。
本发明主要通过视频目标的运动方向混乱程度判断异常行为，运动方向越混乱说明越可能发生异常行为，那么需要对视频目标的运动方向进行统计分析。将方向范围360°均分为9个区间，每个区间大小为40°，所得的视频目标的每个像素点的运动方向按照权值A(xi,yi,t)的大小分别归类到相应区间，如果A(xi,yi,t)＝1，那么运动方向归类到相应区间1次，如果A(xi,yi,t)＝2，运动方向归类到相应区间2次。
使用方向直方图模型可以对方向进行简明有效的分析，定义方向直方图模型为H，H＝{hj},j＝1,2,…,9，hj表示第j区间的方向直方图统计，对每一区间进行归一化处理，定义归一化后的方向直方图模型为Hnorm，Hnorm＝{hnorm(j)}，j＝1,2,…,9，hnorm表示第i区间的归一化方向直方图统计。计算归一化方向直方图模型的运动方向熵E，设定异常行为边界阈值为M3判断异常行为，如果E≥M3，说明该视频目标的行为为异常行为；如果E＜M3，说明该视频目标行为正常，回到开始位置继续进行异常行为检测。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替代，都应当视为属于本发明的保护范围。

Claims (9)

1.一种监控视频中基于运动方向的异常行为检测方法，其特征在于，包括以下步骤：
步骤1、输入3个原始视频帧和1个背景视频帧，所述原始视频帧是用户输入的监控视频的视频帧，所述背景视频帧是用户输入的监控视频的背景的视频帧，每个原始视频帧和背景视频帧均由k个像素点构成；
步骤2、比较背景视频帧与原始视频帧，具体步骤如下：
步骤21、取原始视频帧的第一帧、第二帧和第三帧中每个像素点的灰度值，原始视频帧的第一帧在位置(xi,yi)处的像素点的灰度值为f(xi,yi,t-1)，原始视频帧的第二帧在位置(xi,yi)处的像素点的灰度值为f(xi,yi,t)，原始视频帧的第三帧在位置(xi,yi)处的像素点的灰度值为f(xi,yi,t+1)；再取背景视频帧像素点的灰度值，背景视频帧在位置(xi,yi)处的像素点的运动矢量为f0(xi,yi,t)，i依次取1到k中的整数值；然后分别计算背景视频帧与原始视频帧第一帧、第二帧和第三帧在位置(xi,yi)处的像素点的运动矢量的差值d1(xi,yi,t)、d2(xi,yi,t)和d3(xi,yi,t)，采用以下计算公式得到三组差值：
d1(xi,yi,t)＝|f(xi,yi,t-1)-f0(xi,yi,t)|，
d2(xi,yi,t)＝|f(xi,yi,t)-f0(xi,yi,t)|，
d3(xi,yi,t)＝|f(xi,yi,t+1)-f0(xi,yi,t)|；
接着计算上述三组差值的平均值d(xi,yi,t)：
d(xi,yi,t)＝(d1(xi,yi,t)+d2(xi,yi,t)+d3(xi,yi,t))/3；
步骤22、设置背景区域边界阈值为M1，当d(xi,yi,t)≥M1，设置b(xi,yi,t)＝1，当d(xi,yi,t)＜M1，设置b(xi,yi,t)＝0，设定原始视频帧的第一帧中满足b(xi,yi,t)＝1的所有像素点组成的区域为初步视频目标，b(xi,yi,t)为在位置(xi,yi)处的像素点的二值化表示；
步骤3、输入初步视频目标的所有像素点，根据光流法得到光流约束方程，对光流约束方程做泰勒展开，得到计算初步视频目标的每个像素点的水平梯度垂直梯度时间梯度ft，u(xi,yi)是位置(xi,yi)处的像素点的水平光流，v(xi,yi)是位置(xi,yi)处的像素点的垂直光流；
计算初步视频目标的每个像素点的速度T(xi,yi)：
<mrow> <mi>T</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>a</mi> <mi>b</mi> <mi>s</mi> <mrow> <mo>(</mo> <mfrac> <msub> <mi>f</mi> <mi>t</mi> </msub> <mrow> <mi>s</mi> <mi>q</mi> <mi>r</mi> <mi>t</mi> <mrow> <mo>(</mo> <msub> <mi>f</mi> <msub> <mi>x</mi> <mi>i</mi> </msub> </msub> <mo>&amp;times;</mo> <msub> <mi>f</mi> <msub> <mi>x</mi> <mi>i</mi> </msub> </msub> <mo>,</mo> <msub> <mi>f</mi> <msub> <mi>y</mi> <mi>i</mi> </msub> </msub> <mo>&amp;times;</mo> <msub> <mi>f</mi> <msub> <mi>y</mi> <mi>i</mi> </msub> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
步骤4、设置噪声区域边界阈值为M2，当初步视频目标中存在位置(xi,yi)处的像素点的速度T(xi,yi)≤M2，设定满足T(xi,yi)≤M2的所有像素点组成的区域为视频目标，转入步骤5，当初步视频目标的所有像素点的速度均满足T(xi,yi)＞M2，设定原始视频帧中不存在视频目标，转入步骤1；
步骤5、根据步骤3所述的光流约束方程得到计算视频目标的每个像素点的u(xi,yi)和v(xi,yi)；
转换u(xi,yi)和v(xi,yi)为极坐标表示形式，转换公式为ρ(xi,yi)和θ(xi,yi)为u(xi,yi)和v(xi,yi)的极坐标表示形式；
计算视频目标的每个像素点的运动方向r(xi,yi)：
<mrow> <mi>r</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mi>argtan</mi> <mfrac> <mrow> <mi>&amp;rho;</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <mi>&amp;theta;</mi> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>;</mo> </mrow>
步骤6、查询视频目标的所有像素点，当视频目标中位置为(xi,yi)处的像素点存在二值化表示b(xi,yi,t)＝0的毗邻像素点，设定该像素点为视频目标的轮廓，设置该像素点的权值A(xi,yi,t)＝2，当视频目标中位置为(xi,yi)处的像素点的毗邻像素点的二值化表示均为b(xi,yi,t)＝1，设置该像素点的权值A(xi,yi,t)＝1，所述的毗邻像素点是位置在(xi-1,yi-1)、(xi-1,yi)、(xi-1,yi+1)、(xi,yi-1)，(xi,yi+1)、(xi+1,yi-1)、(xi+1,yi)、(xi+1,yi+1)处的像素点；
步骤7、统计视频目标的运动方向，具体步骤如下：
步骤71、将方向范围360°均分为c个区间进行运动方向统计，每个区间大小为将步骤5所得的视频目标的每个像素点的运动方向按照权值A(xi,yi,t)的大小分别归类到相应区间，当A(xi,yi,t)＝1，运动方向归类到相应区间1次，当A(xi,yi,t)＝2，运动方向归类到相应区间2次，c表示运动方向的区间的个数；
步骤72、采用方向直方图模型H统计视频目标的像素点的运动方向，所述的H＝{hj},j＝1,2,…,c，hj表示第j区间的方向直方图统计；接着对每一区间进行归一化处理，定义归一化后的方向直方图模型为Hnorm，Hnorm＝{hnorm(j)}，
步骤73、计算归一化方向直方图模型的运动方向熵E：
<mrow> <mi>E</mi> <mo>=</mo> <mo>-</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>c</mi> </munderover> <msub> <mi>h</mi> <mrow> <mi>n</mi> <mi>o</mi> <mi>r</mi> <mi>m</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> <msub> <mi>log</mi> <mn>2</mn> </msub> <mrow> <mo>(</mo> <msub> <mi>h</mi> <mrow> <mi>n</mi> <mi>o</mi> <mi>r</mi> <mi>m</mi> </mrow> </msub> <mo>(</mo> <mi>j</mi> <mo>)</mo> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
步骤8、设置异常行为边界阈值为M3，当E≥M3，输出该视频目标的行为为异常行为，当E＜M3，设定该视频目标行为正常，转入步骤1。
2.根据权利要求1所述的一种监控视频中基于运动方向的异常行为检测方法，其特征在于，所述步骤1中，输入的监控视频是在摄像机没有抖动的情况下获得。
3.根据权利要求1所述的一种监控视频中基于运动方向的异常行为检测方法，其特征在于，所述步骤1中，k取720×560。
4.根据权利要求1所述的一种监控视频中基于运动方向的异常行为检测方法，其特征在于，所述步骤1中，相邻两个原始视频帧的时间间隔为0.5秒。
5.根据权利要求1所述的一种监控视频中基于运动方向的异常行为检测方法，其特征在于，所述步骤22中，M1取10，表示背景区域边界阈值。
6.根据权利要求1所述的一种监控视频中基于运动方向的异常行为检测方法，其特征在于，步骤3中所述的光流法指设经过时间dt，在位置(xi,yi)处的像素点移动至位置(xi+dx,yi+dy)处，由此存在光流约束方程f(xi,yi,t)＝f(xi+dx,yi+dy,t+dt)的光流处理办法，dx表示dt时间内位置(xi,yi)处的像素点在水平方向移动的距离，dy表示dt时间内位置(xi,yi)处的像素点在垂直方向移动的距离。
7.根据权利要求1所述的一种监控视频中基于运动方向的异常行为检测方法，其特征在于，所述步骤4中，M2取0.5，表示噪声区域边界阈值。
8.根据权利要求1所述的一种监控视频中基于运动方向的异常行为检测方法，其特征在于，所述步骤71中，c取9。
9.根据权利要求1所述的一种监控视频中基于运动方向的异常行为检测方法，其特征在于，所述步骤8中，M3的取值在0.5～0.6之间，表示异常行为边界阈值。
CN201710308053.3A 2017-05-04 2017-05-04 一种监控视频中基于运动方向的异常行为检测方法 Pending CN107180229A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710308053.3A CN107180229A (zh) 2017-05-04 2017-05-04 一种监控视频中基于运动方向的异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710308053.3A CN107180229A (zh) 2017-05-04 2017-05-04 一种监控视频中基于运动方向的异常行为检测方法

Publications (1)

Publication Number Publication Date
CN107180229A true CN107180229A (zh) 2017-09-19

Family

ID=59832077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710308053.3A Pending CN107180229A (zh) 2017-05-04 2017-05-04 一种监控视频中基于运动方向的异常行为检测方法

Country Status (1)

Country Link
CN (1) CN107180229A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764209A (zh) * 2018-06-11 2018-11-06 南京邮电大学 一种基于监控视频的人物异常行为自动检测方法
CN109544520A (zh) * 2018-11-09 2019-03-29 福建和盛高科技产业有限公司 一种视频图像扭曲自动检测方法
CN111918099A (zh) * 2020-09-16 2020-11-10 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质
CN112084963A (zh) * 2020-09-11 2020-12-15 中德（珠海）人工智能研究院有限公司 一种监控预警方法、系统及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105405297A (zh) * 2015-12-21 2016-03-16 电子科技大学 一种基于监控视频的交通事故自动检测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105405297A (zh) * 2015-12-21 2016-03-16 电子科技大学 一种基于监控视频的交通事故自动检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
李向向: "视频监控下实时异常行为检测研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
沈佳: "视频运动目标跟踪与异常检测的研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
胡芝兰等: "基于运动方向的异常行为检测", 《自动化学报》 *
董坤: "视频监控中运动人体检测与异常行为分析研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
赵明月: "基于视频序列的人体异常行为识别研究", 《中国硕士论文全文数据库》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764209A (zh) * 2018-06-11 2018-11-06 南京邮电大学 一种基于监控视频的人物异常行为自动检测方法
CN109544520A (zh) * 2018-11-09 2019-03-29 福建和盛高科技产业有限公司 一种视频图像扭曲自动检测方法
CN109544520B (zh) * 2018-11-09 2023-08-18 福建和盛高科技产业有限公司 一种视频图像扭曲自动检测方法
CN112084963A (zh) * 2020-09-11 2020-12-15 中德（珠海）人工智能研究院有限公司 一种监控预警方法、系统及存储介质
CN112084963B (zh) * 2020-09-11 2022-11-01 中德（珠海）人工智能研究院有限公司 一种监控预警方法、系统及存储介质
CN111918099A (zh) * 2020-09-16 2020-11-10 Oppo广东移动通信有限公司 视频处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN101957997B (zh) 一种动态场景中基于区域均值核密度估计的运动目标检测方法
CN106203513B (zh) 一种基于行人头肩多目标检测及跟踪的统计方法
CN109785363A (zh) 一种无人机航拍视频运动小目标实时检测与跟踪方法
CN107180229A (zh) 一种监控视频中基于运动方向的异常行为检测方法
CN105404847B (zh) 一种遗留物实时检测方法
CN106204586B (zh) 一种基于跟踪的复杂场景下的运动目标检测方法
CN102663362B (zh) 一种基于灰度特征的运动目标检测方法
CN108830252A (zh) 一种融合全局时空特征的卷积神经网络人体动作识别方法
CN103310444B (zh) 一种基于头顶摄像头的监控行人计数的方法
CN107256386A (zh) 基于深度学习的人类行为分析方法
CN105513053B (zh) 一种用于视频分析中背景建模方法
CN108198200A (zh) 跨摄像头场景下指定行人在线跟踪方法
CN102930248A (zh) 基于机器学习的人群异常行为检测方法
CN103258332B (zh) 一种抗光照变化的运动目标的检测方法
CN101635835A (zh) 智能视频监控方法及系统
CN105678803A (zh) 基于w4算法和帧间差分的视频监控目标检测方法
CN101464944A (zh) 一种基于统计特征的人群密度分析方法
CN104134077A (zh) 一种基于确定学习理论的与视角无关的步态识别方法
CN107220596A (zh) 基于级联纠错机制的人体姿态估计方法
CN106447674A (zh) 一种视频的背景去除方法
CN106339687A (zh) 基于视频的行人过街信号自适应计算方法
CN101483763A (zh) 一种面向社会治安监控的数字影像处理方法及其装置
CN103971384B (zh) 一种无线视频传感器节点协作目标跟踪方法
Karpagavalli et al. Estimating the density of the people and counting the number of people in a crowd environment for human safety
CN105321187A (zh) 基于人头检测的行人计数方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170919

RJ01 Rejection of invention patent application after publication