CN108764209A - 一种基于监控视频的人物异常行为自动检测方法 - Google Patents

一种基于监控视频的人物异常行为自动检测方法 Download PDF

Info

Publication number
CN108764209A
CN108764209A CN201810595992.5A CN201810595992A CN108764209A CN 108764209 A CN108764209 A CN 108764209A CN 201810595992 A CN201810595992 A CN 201810595992A CN 108764209 A CN108764209 A CN 108764209A
Authority
CN
China
Prior art keywords
pixel
frame
image
value
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810595992.5A
Other languages
English (en)
Inventor
张姝彦
陈志�
李玲娟
岳文静
掌静
董聪
闫晗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201810595992.5A priority Critical patent/CN108764209A/zh
Publication of CN108764209A publication Critical patent/CN108764209A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于监控视频的人物异常行为自动检测方法，该方法首先对异常行为特征进行提取，选用的特征为目标运动轨迹特征和外接矩形框宽高比特征，通过位置动态对监控场景下视频中全局移动对象运动轨迹特征进行提取，通过最小外接矩形框对移动对象进行标记。依据特征提取结果，通过异常测量函数实现监控场景下视频中全局移动对象的异常行为自动识别。

Description

一种基于监控视频的人物异常行为自动检测方法
技术领域
本发明涉及图像处理技术领域，特别是一种基于图像识别的行为检测方法。
背景技术
计算机视觉又称图像理解和图像分析，是当今世界上最为活跃且最有发展潜力的学科之一。美国电气和电子工程师协会IEEE 1988年8月的会刊组织了计算机视觉专辑，在其引言中定义了计算机视觉为用任何办法对二维图象数据做出理解。到目前为止计算机视觉已有四十多年的研究历史，几十年的研究工作虽然出现了为数不少的专用计算机视觉系统，也在理论研究方面也积累了一些方法和工具。但由于计算机视觉是一门交叉性很强的学科，它不仅涉及到计算机科学、数学、光学、最优控制、神经生理学、神经心理学和临床病理学等自然学科，还涉及哲学、认知心理学以及美学等社会科学，在研究工作碰到了相当多的问题，所以目前为止还没有出现完全模拟人类视觉的通用方法。但计算机视觉在某些具体的应用领域已经被广泛应用，尤其是在安防中的监控系统。
发明内容
技术问题：本发明提出一种视频监控中的人物异常行为检测方法。对人物异常行为特征进行提取，选用的特征为目标运动轨迹的质心坐标，通过位置动态对监控场景下视频中全局移动对象运动轨迹特征进行提取，通过最小外接矩形框对移动对象进行标记。依据特征提取结果，通过异常测量函数实现监控场景下视频中全局移动对象的异常行为自动识别。
技术方案：本发明的一种视频监控中的人物异常行为检测方法包括如下步骤：
步骤1、用户输入视频，按相同时间间隔均匀抽取视频中的f帧图像，按行访问每一帧图像的每个像素点，记录每个像素点的三个通道的色彩强度值，计算每个像素点的灰度化值，使每一帧图像转化为一个二维矩阵，将第i帧图像记为Ii，i∈{1,2,…,f}；
步骤2、依次将每帧图像分割为前景像素点和背景像素点，得到运动目标的质心坐标；前景像素点为运动目标所在像素点，背景像素点为非运动目标所在像素点；
步骤3、设置初始化迭代次数k为1，方向计数器Count值为0；
步骤4、探测第k帧输入图像Ik，记录每帧图像运动目标的质心坐标，用序列数据集{(x1,y1),(x2,y2),...,(xn,yn)}表示第f帧图像运动目标的轨迹；
步骤5、根据公式和Δθt＝｜θt-θt-1｜计算Δθt，如果Δθt的值大于90，则将方向计数器Count的值加1，并进行步骤6；否则，返回步骤4，k加1；
步骤6、如果方向计数器的值Count大于阈值K时，根据公式计算出质心坐标与运动目标进入场景时的起始位置的距离ΔS，其中(xm,ym)是第m帧运动目标的质心坐标；如果ΔS单调递增，返回步骤4，k加1；如果ΔS有变化，即由大变小再由小变大，或由小变大再由大变小，进行步骤7；
步骤7、记录运动对象处于监控场景的时间T，如果T小于设定值，则该运动对象发生行为异常；否则返回步骤4。
其中，所述步骤2的具体如下：
步骤2.1、将第一帧图像作为背景图像B0(x,y)，设置阈值T；
步骤2.2、依次将i的取值从1到f-1，采用公式求出Ii与Ii+1之间的帧差二值图像Di，由帧差二值图像Di更新第i帧的背景图像Bi(x,y)，α为更新速度；
步骤2.3、将Bf-1(x,y)视为背景图像B(x,y)；
步骤2.4、依次将i取值1到f-1，采用公式计算背景差分二值图像DBi(x,y)；在背景差分二值图像DBi(x,y)中，扫描每个像素点，将DBi(x,y) 中所有灰度值为0的像素点的称为背景像素点，将DBi(x,y)中所有灰度值为255的像素点即为前景像素点，前景像素点构成的连通域称为运动目标，获取运动目标的数量B，同时获取每个运动目标的几何特征，该几何特征包括外接矩形、面积以及质心位置。
技术效果：本发明采用以上技术方案与现有技术相比：
(1)本发明算法较为简单，节省了计算成本，不需要考虑背景更新，且具有较好的实时性；
(2)本发明采用自定义的异常测量函数实现监控场景下视频中全局移动对象的异常行为并自动识别，具有可更改性。
附图说明
图1是本发明视频监控中的的人物异常行为自动识别方法流程。
具体实施方式
下面对本发明使用的视频监控中的人物异常行为检测方法具体实施例作更详细的描述。其特征在于，包括如下步骤：
步骤1)、从教室监控录像中选取一段8046帧视频序列，压缩大小至240x320像素，按相同时间间隔均匀抽取视频的中的40帧画面。按行访问每一帧画面的每个像素点，记录每个像素点的三个通道的色彩强度值，计算每个像素点的灰度化值，使每一帧图像转化为一个二维矩阵，将第i帧图像转化成的二维矩阵记为Ii，i∈{1,2,…,40}；
步骤2)、依次将每帧图像分割为图斑像素点和背景像素点，得到图斑的数量及其几何特征，所述图斑像素点为运动目标所在像素点，背景像素点为非运动目标所在像素点；
步骤2)具体步骤如下：
步骤2.1)、将第一帧图像作为背景图像B0(x,y)，设置阈值T＝27；
步骤2.2)、依次将i取值1到f-1，采用公式求出Ii与Ii+1之间的帧差二值图像Di，由帧差二值图像Di更新背景图像设置更新速度α＝0.6。
步骤2.3)、B39(x,y)可视为背景图像矩阵B(x,y)；
步骤2.4)、依次将i取值1到39，采用公式计算背景差分二值图像DBi(x,y)；在背景差分二值图像DBi(x,y)中，扫描每个像素点，将 DBi(x,y)中所有灰度值为0的像素点的称为背景像素点，将DBi(x,y)中所有灰度值为255 的像素即为前景像素点，前景像素点构成的连通域称为运动目标，获取运动目标的数量5，同时获取每个运动目标的几何特征，该几何特征包括外接矩形、面积以及质心位置；
步骤3、设置初始化迭代次数k为1，方向计数器Count值为0；
步骤4、探测第k帧输入图像Ik，记录每帧图像运动目标的质心坐标，用序列数据集{(x1,y1),(x2,y2),...,(xn,yn)}表示第f帧图像运动目标的轨迹。
步骤5、根据公式和Δθt＝｜θt-θt-1｜计算Δθt，如果Δθt的值大于90，则将方向计数器Count的值加1，并进行步骤6；否则，返回步骤4，k加1；
步骤6、如果方向计数器的值Count大于阈值K时，根据公式计算出质心坐标与运动目标进入场景时的起始位置的距离ΔS，其中(xm,ym)是第m帧运动目标的质心坐标。如果ΔS单调递增，返回步骤4，k加1；如果ΔS有变化，即由大变小再由小变大，或由小变大再由大变小，进行步骤7；
步骤7、记录运动对象处于监控场景的时间T。如果T小于设定值，则该运动对象发生行为异常；否则返回步骤4。
通过该方法验证得知，该视频中有4个运动目标，有1个运动目标发生异常行为。

Claims (2)

1.一种视频监控中的人物异常行为检测方法，其特征在于，该检测方法包括如下步骤：
步骤1、用户输入视频，按相同时间间隔均匀抽取视频中的f帧图像，按行访问每一帧图像的每个像素点，记录每个像素点的三个通道的色彩强度值，计算每个像素点的灰度化值，使每一帧图像转化为一个二维矩阵，将第i帧图像记为Ii，i∈{1,2,…,f}；
步骤2、依次将每帧图像分割为前景像素点和背景像素点，得到运动目标的质心坐标；前景像素点为运动目标所在像素点，背景像素点为非运动目标所在像素点；
步骤3、设置初始化迭代次数k为1，方向计数器Count值为0；
步骤4、探测第k帧输入图像Ik，记录每帧图像运动目标的质心坐标，用序列数据集{(x1,y1),(x2,y2),...,(xn,yn)}表示第f帧图像运动目标的轨迹；
步骤5、根据公式和Δθt＝|θt-θt-1|计算Δθt，如果Δθt的值大于90，则将方向计数器Count的值加1，并进行步骤6；否则，返回步骤4，k加1；
步骤6、如果方向计数器的值Count大于阈值K时，根据公式计算出质心坐标与运动目标进入场景时的起始位置的距离ΔS，其中(xm,ym)是第m帧运动目标的质心坐标；如果ΔS单调递增，返回步骤4，k加1；如果ΔS有变化，即由大变小再由小变大，或由小变大再由大变小，进行步骤7；
步骤7、记录运动对象处于监控场景的时间T，如果T小于设定值，则该运动对象发生行为异常；否则返回步骤4。
2.根据权利要求1所述的一种视频监控中的人物异常行为检测方法，其特征在于，所述步骤2的具体如下：
步骤2.1、将第一帧图像作为背景图像B0(x,y)，设置阈值T；
步骤2.2、依次将i的取值从1到f-1，采用公式求出Ii与Ii+1之间的帧差二值图像Di，由帧差二值图像Di更新第i帧的背景图像Bi(x,y)，α为更新速度；
步骤2.3、将Bf-1(x,y)视为背景图像B(x,y)；
步骤2.4、依次将i取值1到f-1，采用公式计算背景差分二值图像DBi(x,y)；在背景差分二值图像DBi(x,y)中，扫描每个像素点，将DBi(x,y)中所有灰度值为0的像素点的称为背景像素点，将DBi(x,y)中所有灰度值为255的像素点即为前景像素点，前景像素点构成的连通域称为运动目标，获取运动目标的数量B，同时获取每个运动目标的几何特征，该几何特征包括外接矩形、面积以及质心位置。
CN201810595992.5A 2018-06-11 2018-06-11 一种基于监控视频的人物异常行为自动检测方法 Pending CN108764209A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810595992.5A CN108764209A (zh) 2018-06-11 2018-06-11 一种基于监控视频的人物异常行为自动检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810595992.5A CN108764209A (zh) 2018-06-11 2018-06-11 一种基于监控视频的人物异常行为自动检测方法

Publications (1)

Publication Number Publication Date
CN108764209A true CN108764209A (zh) 2018-11-06

Family

ID=64021400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810595992.5A Pending CN108764209A (zh) 2018-06-11 2018-06-11 一种基于监控视频的人物异常行为自动检测方法

Country Status (1)

Country Link
CN (1) CN108764209A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684916A (zh) * 2018-11-13 2019-04-26 恒睿(重庆)人工智能技术研究院有限公司 基于路径轨迹数据异常检测方法、系统、设备及存储介质
CN115601772A (zh) * 2022-12-15 2023-01-13 南京邮电大学（Cn） 一种基于多模态学习的美学质量评价模型和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049748A (zh) * 2012-12-30 2013-04-17 信帧电子技术（北京）有限公司 行为监测方法及装置
CN105678811A (zh) * 2016-02-25 2016-06-15 上海大学 一种基于运动检测的人体异常行为检测方法
US20160217345A1 (en) * 2013-08-26 2016-07-28 International Business Machines Corporation Role-based tracking and surveillance
CN106951827A (zh) * 2017-02-21 2017-07-14 南京邮电大学 一种基于目标运动特性的全局异常行为检测方法
CN107180229A (zh) * 2017-05-04 2017-09-19 南京邮电大学 一种监控视频中基于运动方向的异常行为检测方法
CN107491749A (zh) * 2017-08-11 2017-12-19 南京邮电大学 一种人群场景中全局和局部异常行为检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049748A (zh) * 2012-12-30 2013-04-17 信帧电子技术（北京）有限公司 行为监测方法及装置
US20160217345A1 (en) * 2013-08-26 2016-07-28 International Business Machines Corporation Role-based tracking and surveillance
CN105678811A (zh) * 2016-02-25 2016-06-15 上海大学 一种基于运动检测的人体异常行为检测方法
CN106951827A (zh) * 2017-02-21 2017-07-14 南京邮电大学 一种基于目标运动特性的全局异常行为检测方法
CN107180229A (zh) * 2017-05-04 2017-09-19 南京邮电大学 一种监控视频中基于运动方向的异常行为检测方法
CN107491749A (zh) * 2017-08-11 2017-12-19 南京邮电大学 一种人群场景中全局和局部异常行为检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
常晓锋, 冯晓毅: "基于背景减法和时空熵的运动目标检测新方法", 《计算机仿真》 *
董坤: "视频监控中运动人体检测与异常行为分析研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
赵卫峰，黄沄: "基于运动轨迹分量的行人徘徊行为检测研究", 《电视技术》 *
郑良仁 等: "监控场景下视频中全局移动对象的异常行为自动识别", 《科学技术与工程》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109684916A (zh) * 2018-11-13 2019-04-26 恒睿(重庆)人工智能技术研究院有限公司 基于路径轨迹数据异常检测方法、系统、设备及存储介质
CN109684916B (zh) * 2018-11-13 2020-01-07 恒睿(重庆)人工智能技术研究院有限公司 基于路径轨迹数据异常检测方法、系统、设备及存储介质
CN115601772A (zh) * 2022-12-15 2023-01-13 南京邮电大学（Cn） 一种基于多模态学习的美学质量评价模型和方法

Similar Documents

Publication Publication Date Title
Li et al. Delving into egocentric actions
CN104680559B (zh) 基于运动行为模式的多视角室内行人跟踪方法
JP6650657B2 (ja) フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN105046206B (zh) 基于视频中运动先验信息的行人检测方法及装置
Gerke et al. Soccer player recognition using spatial constellation features and jersey number recognition
CN102799646B (zh) 一种面向多视点视频的语义对象分割方法
CN110288627A (zh) 一种基于深度学习和数据关联的在线多目标跟踪方法
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
CN110991397B (zh) 一种行进方向确定方法及相关设备
CN110827262B (zh) 一种基于连续有限帧红外图像的弱小目标检测方法
CN104167006A (zh) 一种任意手形的手势跟踪方法
CN106529441A (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN116645697A (zh) 一种多视角步态识别方法、装置、电子设备及存储介质
CN112258525A (zh) 一种基于鸟类高帧频序列图像丰度统计和种群识别算法
Zhou et al. A study on attention-based LSTM for abnormal behavior recognition with variable pooling
CN108764209A (zh) 一种基于监控视频的人物异常行为自动检测方法
CN114155278A (zh) 目标跟踪及相关模型的训练方法和相关装置、设备、介质
CN104123569B (zh) 一种基于有监督学习的视频人数信息统计方法
CN104715492B (zh) 一种同时适应于静止相机和运动相机的前景目标提取方法
CN113762231B (zh) 端对端的多行人姿态跟踪方法、装置及电子设备
Lingaswamy et al. An efficient moving object detection and tracking system based on fractional derivative
CN103824299B (zh) 一种基于显著度的目标跟踪方法
CN103345762B (zh) 基于流形学习的贝叶斯视觉跟踪方法
Truong et al. Single object tracking using particle filter framework and saliency-based weighted color histogram

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181106