CN111931682B - 一种异常行为检测方法及装置 - Google Patents

一种异常行为检测方法及装置 Download PDF

Info

Publication number
CN111931682B
CN111931682B CN202010859895.XA CN202010859895A CN111931682B CN 111931682 B CN111931682 B CN 111931682B CN 202010859895 A CN202010859895 A CN 202010859895A CN 111931682 B CN111931682 B CN 111931682B
Authority
CN
China
Prior art keywords
dimensional gradient
video data
detected
preset
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010859895.XA
Other languages
English (en)
Other versions
CN111931682A (zh
Inventor
邓练兵
方文佳
宋宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhuhai Dahengqin Technology Development Co Ltd
Original Assignee
Zhuhai Dahengqin Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhuhai Dahengqin Technology Development Co Ltd filed Critical Zhuhai Dahengqin Technology Development Co Ltd
Priority to CN202010859895.XA priority Critical patent/CN111931682B/zh
Publication of CN111931682A publication Critical patent/CN111931682A/zh
Application granted granted Critical
Publication of CN111931682B publication Critical patent/CN111931682B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种异常行为检测方法及装置，其中，该方法包括：获取待检测视频数据；根据所述待检测视频数据获取初始三维梯度特征；根据初始三维梯度特征和预设背景图像的背景三维梯度特征获取待检测视频数据的三维梯度特征；根据所述三维梯度特征和预设稀疏组合对所述待检测视频数据中的异常行为进行检测。通过实施本发明，可以利用计算机完成待检测视频中异常行为的检测，通过计算机进行异常行为的检测，有效避免了漏检的情况，并且，在对待检测视频数据中的异常行为进行检测时，所使用的三维梯度特征过滤了背景图像的特征，减少了异常行为检测时的干扰，同时提高了检测效率。

Description

一种异常行为检测方法及装置
技术领域
本发明涉及图像处理技术领域，具体涉及一种异常行为检测方法及装置。
背景技术
现今社会中，视频监控摄像头无处不在，监控中心的电视墙上同时监视多路监控画面，专业监控人员通过监控画面监视目标区域内的异常情况。但是研究表明，专业监控人员在仅仅监视2个监视器的情况下，22分钟后将错过95％的行为，不能事先有效防控犯罪行为的发生。由此可见，通过人工方式进行监控画面的监视，极易出现漏检等问题。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中的对异常行为进行检测时容易出现漏检的缺陷，从而提供一种异常行为检测方法及装置。
本发明第一方面提供了一种异常行为检测方法，包括：获取待检测视频数据；根据待检测视频数据获取初始三维梯度特征；根据初始三维梯度特征和预设背景图像的背景三维梯度特征获取待检测视频数据的三维梯度特征；根据三维梯度特征和预设稀疏组合对待检测视频数据中的异常行为进行检测。
可选地，在本发明提供的异常行为检测方法中，根据待检测视频数据获取初始三维梯度特征的步骤，包括：将待检测视频数据转换为多个视频帧；将各视频帧调整为多个不同比例尺度的图像数据；将各不同比例尺度的图像数据分成预设比例的补丁区域；根据多个视频帧数据的补丁区域形成立方体；根据立方体形成初始三维梯度特征。
可选地，在本发明提供的异常行为检测方法中，通过如下公式根据立方体形成初始三维梯度特征：
Figure BDA0002647723210000021
Figure BDA0002647723210000022
Figure BDA0002647723210000023
Figure BDA0002647723210000024
其中，
Figure BDA0002647723210000025
表示第i个像素的初始三维梯度特征，Ii,x表示第i个像素在水平方向的特征，Ii,y表示第i个像素在垂直方向的特征，Ii,t表示i个像素在时间轴方向的特征，f(x,y,t)表示待检测视频数据中水平方向值为x，垂直方向值为y，时间轴方向值为t的位置的灰度图像的像素值。
可选地，在本发明提供的异常行为检测方法中，初始三维梯度特征包括待检测视频数据中多个不同位置的像素的初始三维梯度特征，背景三维梯度特征包括预设背景图像中多个不同位置的像素的背景三维梯度特征，待检测视频数据中的像素与预设背景图像中的像素一一对应；根据初始三维梯度特征和预设背景图像的背景三维梯度特征获取待检测视频数据的三维梯度特征的步骤，包括：分别计算待检测视频数据和预设背景图像中处于同一位置的像素的初始三维梯度特征和背景三维梯度特征的特征差值；根据小于预设阈值的特征差值对应的初始三维梯度特征构建待检测视频数据的三维梯度特征。
可选地，在本发明提供的异常行为检测方法中，通过如下步骤获取预设稀疏组合，获取训练视频数据；根据训练视频数据获取多个训练三维梯度特征；分别根据各训练三维梯度特征、各训练三维梯度特征的稀疏表示计算稀疏参数；将各三维梯度特征计算得到的稀疏参数的集合确定为预设稀疏组合。
可选地，在本发明提供的异常行为检测方法中，通过如下公式计算稀疏参数：
Figure BDA0002647723210000031
Figure BDA0002647723210000032
Figure BDA0002647723210000033
Figure BDA0002647723210000041
其中，Si表示稀疏参数，
Figure BDA0002647723210000042
表示第j个训练三维梯度特征利用稀疏参数Si的稀疏表示，
Figure BDA0002647723210000043
表示第j个训练三维梯度特征是否用Si进行稀疏表示，当
Figure BDA0002647723210000044
为1时，表示第j个训练三维梯度特征用Si进行稀疏表示，当
Figure BDA0002647723210000045
为0时，表示第j个训练三维梯度特征不用Si进行稀疏表示，∏表示将基投射到单元列，δt的值为1E-4。
可选地，在本发明提供的异常行为检测方法中，根据三维梯度特征和预设稀疏组合对待检测视频数据中的异常行为进行检测的步骤，包括：根据预设稀疏组合确定辅助矩阵；根据辅助矩阵和三维梯度特征计算待测视频数据的范数值；若待测视频数据的范数值小于预设阈值，则判定待测视频数据中不存在异常行为；若待测视频数据的范数值大于或等于预设阈值，则判定待测视频数据中存在异常行为。
可选地，在本发明提供的异常行为检测方法中，通过如下公式获取辅助矩阵：
Figure BDA0002647723210000046
其中，Ri表示辅助矩阵中的第i个参数，Si表示预设稀疏组合中的第i个稀疏参数，IP表示单位矩阵。
可选地，在本发明提供的异常行为检测方法中，待测视频数据的范数值为：
Figure BDA0002647723210000047
其中，k表示辅助矩阵中的参数个数，x表示三维梯度特征。
本发明第二方面提供了一种异常行为检测装置，包括：数据获取模块，用于获取待检测视频数据；初始三维梯度特征获取模块，用于根据待检测视频数据获取初始三维梯度特征；三维梯度特征获取模块，用于根据初始三维梯度特征和预设背景图像的背景三维梯度特征获取待检测视频数据的三维梯度特征；异常行为检测模块，用于根据三维梯度特征和预设稀疏组合对待检测视频数据中的异常行为进行检测。
本发明第三方面提供了一种计算机设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，从而执行如本发明第一方面提供的异常行为检测方法。
本发明第四方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行如本发明第一方面提供的异常行为检测方法。
本发明技术方案，具有如下优点：
本发明提供的异常行为检测方法及装置，在获取待检测视频数据后，先提取待检测视频数据的初始三维梯度特征，然后根据初始三维梯度特征和预设背景图像的背景三维梯度特征获取待检测视频数据的三维梯度特征，最后根据三维梯度特征和预设稀疏组合对待检测视频数据中的异常行为进行检测，通过实施本发明，可以利用计算机完成待检测视频中异常行为的检测，通过计算机进行异常行为的检测，有效避免了漏检的情况，并且，在对待检测视频数据中的异常行为进行检测时，所使用的三维梯度特征是通过待检测视频数据的初始三维梯度特征和预设背景图像的背景三维梯度特征获取的，因此得到的三维梯度特征可以过滤背景图像的特征，减少了异常行为检测时的干扰，同时提高了检测效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1-图5为本发明实施例中异常行为检测方法的具体示例的流程图；
图6为本发明实施例中异常行为检测装置的具体示例的原理框图；
图7为本发明实施例中计算机设备的具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本发明实施例提供了一种异常行为检测方法，如图1所示，包括：
步骤S10：获取待检测视频数据，在本发明实施例中，待检测视频数据可以通过设置在目标区域的摄像头获取。
步骤S20：根据待检测视频数据获取初始三维梯度特征。在一具体实施例中，待检测视频数据可以分为多个视频帧，待检测视频数据的初始三维梯度特征是通过待检测视频的多个视频帧计算得到的。
步骤S30：根据初始三维梯度特征和预设背景图像的背景三维梯度特征获取待检测视频数据的三维梯度特征。
在一具体实施例中，对异常行为的检测通常是指对目标区域中能够产生无规律活动行为的对象的异常行为的检测，因此可以将目标区域中通常不可能存在活动行为以及产生有规律活动行为的对象确定为背景，例如固定建筑物等。在对待检测视频数据中的异常行为进行检测时，背景不作为检测对象，因此为了减少异常行为检测时的计算量，可以将初始三维梯度特征中属于背景的特征进行剔除。
在本发明实施例中，可以先获取预设背景图像，预设背景图像中仅包含目标区域中的背景，然后根据预设背景图像获取背景三维梯度特征。背景三维梯度特征的获取方式与上述初始三维梯度特征的获取方式相同。
步骤S40：根据三维梯度特征和预设稀疏组合对待检测视频数据中的异常行为进行检测。
三维梯度特征中包含丰富的边缘特征和运动特征，因此即使在杂乱的场景下，通过三维梯度特征也可以检测到异常行为。
具体地，在本发明实施例中，通过预设稀疏组合和待检测视频数据的三维梯度特征计算待检测视频数据的范数值，当范数值大于或等于预设阈值时，判定待检测视频数据中存在异常行为。
本发明提供的异常行为检测方法，在获取待检测视频数据后，先提取待检测视频数据的初始三维梯度特征，然后根据初始三维梯度特征和预设背景图像的背景三维梯度特征获取待检测视频数据的三维梯度特征，最后根据三维梯度特征和预设稀疏组合对待检测视频数据中的异常行为进行检测，通过实施本发明，可以利用计算机完成待检测视频中异常行为的检测，通过计算机进行异常行为的检测，有效避免了漏检的情况，并且，在对待检测视频数据中的异常行为进行检测时，所使用的三维梯度特征是通过待检测视频数据的初始三维梯度特征和预设背景图像的背景三维梯度特征获取的，因此得到的三维梯度特征可以过滤背景图像的特征，减少了异常行为检测时的干扰，同时提高了检测效率。
在一可选实施例中，如图2所示，上述步骤S20具体包括：
步骤S21：将待检测视频数据转换为多个视频帧，视频帧可以是.tif，.jpg，.png，.bmp等格式，且每个视频帧代表待检测视频的一秒钟的图像。
步骤S22：将各视频帧调整为多个不同比例尺度的图像数据。
在一具体实施例中，比例尺度以及比例尺度的数量可以根据实际需求进行调整，在本发明实施例中，例如是将每一视频帧都调整为3个比例尺度的图像数据：20×20，30×40，120×160。
步骤S23：将各不同比例尺度的图像数据分成预设比例的补丁区域。
补丁区域为大小相等的互不重叠的区域，在本发明实施例中，补丁区域的比例为10×10。
步骤S24：根据多个视频帧数据的补丁区域形成立方体。
在一具体实施例中，形成立方体时所用的视频帧数据的数量可根据实际情况进行调整，在一定范围内，使用越多的视频帧数据的补丁区域形成立方体，对异常行为的检测结果越准确，但是计算量越大，在本发明实施例中，根据每5个连续的视频帧数据的补丁区域形成一个立方体。
步骤S25：根据立方体形成初始三维梯度特征。在本发明实施例中，通过应用Sobel导数函数来生成三维梯度特征。
在一可选实施例中，本发明实施例中通过如下公式根据立方体形成初始三维梯度特征：
Figure BDA0002647723210000091
Figure BDA0002647723210000092
Figure BDA0002647723210000101
Figure BDA0002647723210000102
其中，
Figure BDA0002647723210000103
表示第i个像素的初始三维梯度特征，Ii,x表示第i个像素在水平方向的特征，Ii,y表示第i个像素在垂直方向的特征，Ii,t表示i个像素在时间轴方向的特征，f(x,y,t)表示待检测视频数据中水平方向值为x，垂直方向值为y，时间轴方向值为t的位置的灰度图像的像素值。
在一可选实施例中，在本发明提供的异常行为检测方法中，初始三维梯度特征包括待检测视频数据中多个不同位置的像素的初始三维梯度特征，背景三维梯度特征包括预设背景图像中多个不同位置的像素的背景三维梯度特征，由于待检测视频图像数据和预设背景图像都为目标区域的图像，因此待检测视频数据中的像素与预设背景图像中的像素一一对应。在此基础上，如图3所示，上述步骤S30具体包括：
步骤S31：分别计算待检测视频数据和预设背景图像中处于同一位置的像素的初始三维梯度特征和背景三维梯度特征的特征差值。
步骤S32：根据小于预设阈值的特征差值对应的初始三维梯度特征构建待检测视频数据的三维梯度特征。
在一具体实施例中，若某一像素的初始三维梯度特征和背景三维梯度特征的差值小于一定值，则可以判定该像素为表示背景的像素，如上述步骤S30中所述，待检测视频数据中的背景对异常行为的检测结果不会具有积极影响，反而会对异常行为的检测过程造成冗余，因此可以将初始三维梯度特征中表示背景的像素的初始三维梯度特征剔除，根据其他像素的初始三维梯度特征构建用于检测异常行为的三维梯度特征，从而减小异常行为检测时的计算量。
在一可选实施例中，如图4所示，本发明实施例中通过如下步骤获取预设稀疏组合，
步骤S51：获取训练视频数据。
步骤S52：根据训练视频数据获取多个训练三维梯度特征。训练三维梯度特征的方法见上述步骤S21-步骤S25。
步骤S53：分别根据各训练三维梯度特征、各训练三维梯度特征的稀疏表示计算稀疏参数：
Figure BDA0002647723210000111
Figure BDA0002647723210000112
Figure BDA0002647723210000113
Figure BDA0002647723210000114
其中，Si表示稀疏参数，
Figure BDA0002647723210000115
表示第j个训练三维梯度特征利用稀疏参数Si的稀疏表示，
Figure BDA0002647723210000116
表示第j个训练三维梯度特征是否用Si进行稀疏表示，当
Figure BDA0002647723210000121
为1时，表示第j个训练三维梯度特征用Si进行稀疏表示，当
Figure BDA0002647723210000122
为0时，表示第j个训练三维梯度特征不用Si进行稀疏表示，∏表示将基投射到单元列，δt的值为1E-4。在上述公式中，Si的值是通过训练三维梯度特征迭代计算得到的，只有在L(β,Si)收敛时，此时的Si才会作为稀疏参数被列入预设稀疏组合中。
步骤S54：将各三维梯度特征计算得到的稀疏参数的集合确定为预设稀疏组合。
在一具体实施例中，在通过训练视频数据获取预设稀疏组合后，本发明实施例提供的异常行为检测方法还包括：
首先，获取验证视频数据；
然后，根据验证视频数据获取多个验证三维梯度特征。验证三维梯度特征的方法见上述步骤S21-步骤S25。
最后，根据验证三维梯度特征和预设稀疏组合后检测验证视频数据中的异常行为。
当验证结果的准确率达到预设值时，利用预设稀疏组合检测待检测视频数据中的异常行为。当验证结果的准确率小于预设值时，重新获取大量的训练视频数据，并根据新的训练视频数据获取新的预设稀疏组合，直到通过新的预设稀疏组合获得的检测结果的准确率达到预设值。
在一可选实施例中，如图5所示，上述步骤S40具体包括：
步骤S41：根据预设稀疏组合确定辅助矩阵。
在本发明实施例中，通过如下公式根据预设稀疏组合中的稀疏参数计算辅助矩阵中的参数：
Figure BDA0002647723210000131
其中，Ri表示辅助矩阵中的第i个参数，Si表示预设稀疏组合中的第i个稀疏参数，IP表示单位矩阵。
根据预设稀疏组合中的所有稀疏参数计算得到的参数形成的矩阵为辅助矩阵。
步骤S42：根据辅助矩阵和三维梯度特征计算待测视频数据的范数值：
Figure BDA0002647723210000132
其中，k表示辅助矩阵中的参数个数，x表示三维梯度特征。
步骤S43：判断待测视频数据的范数值是否小于预设阈值，若待测视频数据的范数值小于预设阈值，则判定待测视频数据中不存在异常行为；若待测视频数据的范数值大于或等于预设阈值，则判定待测视频数据中存在异常行为。在一具体实施例中，预设阈值的值可根据经验选取。
在本发明实施例中，对异常行为的检测是相对于待检测视频中的其他事件差异较大的事件进行检测，例如，一个在大多数人静止或慢慢行走的环境中突然出现开始跑步的人，或者一个骑自行车的人突然进入只有人走路或站立的视频框架中，或者相机的视线被阻挡，并在稍后重新获得的情况，这些情况在实施本申请提供的异常行为检测方法后都会被检测为异常行为。
实施例2
本发明实施例提供了一种异常行为检测装置，如图6所示，包括：
数据获取模块10，用于获取待检测视频数据，详细描述见上述任一方法实施例中对步骤S10的描述。
初始三维梯度特征获取模块20，用于根据待检测视频数据获取初始三维梯度特征，详细描述见上述任一方法实施例中对步骤S20的描述。
三维梯度特征获取模块30，用于根据初始三维梯度特征和预设背景图像的背景三维梯度特征获取待检测视频数据的三维梯度特征，详细描述见上述任一方法实施例中对步骤S30的描述。
异常行为检测模块40，用于根据三维梯度特征和预设稀疏组合对待检测视频数据中的异常行为进行检测，详细描述见上述任一方法实施例中对步骤S40的描述。
本发明提供的异常行为检测装置，在获取待检测视频数据后，先提取待检测视频数据的初始三维梯度特征，然后根据初始三维梯度特征和预设背景图像的背景三维梯度特征获取待检测视频数据的三维梯度特征，最后根据三维梯度特征和预设稀疏组合对待检测视频数据中的异常行为进行检测，通过实施本发明，可以利用计算机完成待检测视频中异常行为的检测，通过计算机进行异常行为的检测，有效避免了漏检的情况，并且，在对待检测视频数据中的异常行为进行检测时，所使用的三维梯度特征是通过待检测视频数据的初始三维梯度特征和预设背景图像的背景三维梯度特征获取的，因此得到的三维梯度特征可以过滤背景图像的特征，减少了异常行为检测时的干扰，同时提高了检测效率。
实施例3
本发明实施例提供一种计算机设备，如图7所示，该计算机设备主要包括一个或多个处理器51以及存储器52，图7中以一个处理器51为例。
该计算机设备还可以包括：输入装置53和输出装置54。
处理器51、存储器52、输入装置53和输出装置54可以通过总线或者其他方式连接，图7中以通过总线连接为例。
处理器51可以为中央处理器(Central Processing Unit，CPU)。处理器51还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。存储器52可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据异常行为检测装置的使用所创建的数据等。此外，存储器52可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器52可选包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至异常行为检测装置。输入装置53可接收用户输入的计算请求(或其他数字或字符信息)，以及产生与异常行为检测装置有关的键信号输入。输出装置54可包括显示屏等显示设备，用以输出计算结果。
实施例4
本发明实施例提供一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的异常行为检测方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(FlashMemory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (11)

1.一种异常行为检测方法，其特征在于，包括：
获取待检测视频数据；
根据所述待检测视频数据获取初始三维梯度特征；
根据所述初始三维梯度特征和预设背景图像的背景三维梯度特征获取所述待检测视频数据的三维梯度特征；
根据所述三维梯度特征和预设稀疏组合对所述待检测视频数据中的异常行为进行检测；
所述初始三维梯度特征包括所述待检测视频数据中多个不同位置的像素的初始三维梯度特征，所述背景三维梯度特征包括所述预设背景图像中多个不同位置的像素的背景三维梯度特征，所述待检测视频数据中的像素与所述预设背景图像中的像素一一对应；
根据所述初始三维梯度特征和预设背景图像的背景三维梯度特征获取待检测视频数据的三维梯度特征的步骤，包括：
分别计算所述待检测视频数据和所述预设背景图像中处于同一位置的像素的初始三维梯度特征和背景三维梯度特征的特征差值；
根据小于预设阈值的特征差值对应的初始三维梯度特征构建所述待检测视频数据的三维梯度特征。
2.根据权利要求1所述的异常行为检测方法，其特征在于，所述根据所述待检测视频数据获取初始三维梯度特征的步骤，包括：
将所述待检测视频数据转换为多个视频帧；
将各所述视频帧调整为多个不同比例尺度的图像数据；
将各不同比例尺度的图像数据分成预设比例的补丁区域；
根据多个视频帧数据的补丁区域形成立方体；
根据所述立方体形成所述初始三维梯度特征。
3.根据权利要求2所述的异常行为检测方法，其特征在于，通过如下公式根据所述立方体形成所述初始三维梯度特征：
Figure FDA0003158369610000021
Figure FDA0003158369610000022
Figure FDA0003158369610000023
Figure FDA0003158369610000024
其中，
Figure FDA0003158369610000025
表示第i个像素的初始三维梯度特征，Ii,x表示第i个像素在水平方向的特征，Ii,y表示第i个像素在垂直方向的特征，Ii,t表示i个像素在时间轴方向的特征，f(x,y,t)表示待检测视频数据中水平方向值为x，垂直方向值为y，时间轴方向值为t的位置的灰度图像的像素值。
4.根据权利要求1所述的异常行为检测方法，其特征在于，通过如下步骤获取所述预设稀疏组合，
获取训练视频数据；
根据所述训练视频数据获取多个训练三维梯度特征；
分别根据各训练三维梯度特征、各训练三维梯度特征的稀疏表示计算稀疏参数；
将各三维梯度特征计算得到的稀疏参数的集合确定为所述预设稀疏组合。
5.根据权利要求4所述的异常行为检测方法，其特征在于，通过如下公式计算所述稀疏参数：
Figure FDA0003158369610000031
Figure FDA0003158369610000032
Figure FDA0003158369610000033
Figure FDA0003158369610000034
其中，Si表示稀疏参数，
Figure FDA0003158369610000035
表示第j个训练三维梯度特征利用稀疏参数Si的稀疏表示，
Figure FDA0003158369610000036
表示第j个训练三维梯度特征是否用Si进行稀疏表示，当
Figure FDA0003158369610000041
为1时，表示第j个训练三维梯度特征用Si进行稀疏表示，当
Figure FDA0003158369610000042
为0时，表示第j个训练三维梯度特征不用Si进行稀疏表示，∏表示将基投射到单元列，δt的值为1E-4，x表示训练三维梯度特征，Ωc表示训练三维梯度特征的下标集合，L(β,Si)表示重构误差，λ表示重构误差上限。
6.根据权利要求1所述的异常行为检测方法，其特征在于，根据所述三维梯度特征和预设稀疏组合对所述待检测视频数据中的异常行为进行检测的步骤，包括：
根据所述预设稀疏组合确定辅助矩阵；
根据所述辅助矩阵和所述三维梯度特征计算待测视频数据的范数值；
若所述待测视频数据的范数值小于预设阈值，则判定所述待测视频数据中不存在异常行为；
若所述待测视频数据的范数值大于或等于所述预设阈值，则判定所述待测视频数据中存在异常行为。
7.根据权利要求6所述的异常行为检测方法，其特征在于，通过如下公式获取所述辅助矩阵：
Figure FDA0003158369610000043
其中，Ri表示所述辅助矩阵中的第i个参数，Si表示所述预设稀疏组合中的第i个稀疏参数，IP表示单位矩阵。
8.根据权利要求6所述的异常行为检测方法，其特征在于，
所述待测视频数据的范数值为：
Figure FDA0003158369610000051
其中，k表示辅助矩阵中的参数个数，x表示三维梯度特征。
9.一种异常行为检测装置，其特征在于，包括：
数据获取模块，用于获取待检测视频数据；
初始三维梯度特征获取模块，用于根据所述待检测视频数据获取初始三维梯度特征；
三维梯度特征获取模块，用于根据所述初始三维梯度特征和预设背景图像的背景三维梯度特征获取待检测视频数据的三维梯度特征；
异常行为检测模块，用于根据所述三维梯度特征和预设稀疏组合对所述待检测视频数据中的异常行为进行检测；
所述初始三维梯度特征包括所述待检测视频数据中多个不同位置的像素的初始三维梯度特征，所述背景三维梯度特征包括所述预设背景图像中多个不同位置的像素的背景三维梯度特征，所述待检测视频数据中的像素与所述预设背景图像中的像素一一对应；
根据所述初始三维梯度特征和预设背景图像的背景三维梯度特征获取待检测视频数据的三维梯度特征，包括：
分别计算所述待检测视频数据和所述预设背景图像中处于同一位置的像素的初始三维梯度特征和背景三维梯度特征的特征差值；
根据小于预设阈值的特征差值对应的初始三维梯度特征构建所述待检测视频数据的三维梯度特征。
10.一种计算机设备，其特征在于，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，从而执行如权利要求1-8中任一项所述的异常行为检测方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行如权利要求1-8中任一项所述的异常行为检测方法。
CN202010859895.XA 2020-08-24 2020-08-24 一种异常行为检测方法及装置 Active CN111931682B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010859895.XA CN111931682B (zh) 2020-08-24 2020-08-24 一种异常行为检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010859895.XA CN111931682B (zh) 2020-08-24 2020-08-24 一种异常行为检测方法及装置

Publications (2)

Publication Number Publication Date
CN111931682A CN111931682A (zh) 2020-11-13
CN111931682B true CN111931682B (zh) 2021-08-27

Family

ID=73305118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010859895.XA Active CN111931682B (zh) 2020-08-24 2020-08-24 一种异常行为检测方法及装置

Country Status (1)

Country Link
CN (1) CN111931682B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426813A (zh) * 2015-10-27 2016-03-23 杭州电子科技大学 一种视频异常行为检测方法
CN106503652A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩自适应稀疏重建的异常事件检测方法
CN110929601A (zh) * 2019-11-09 2020-03-27 北京工业大学 基于深度字典学习的人群异常检测方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433493B1 (en) * 2000-09-06 2008-10-07 Hitachi, Ltd. Abnormal behavior detector
US20070028219A1 (en) * 2004-10-15 2007-02-01 Miller William L Method and system for anomaly detection
CN106503647A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩逼近结构化稀疏表示的异常事件检测方法
US11169514B2 (en) * 2018-08-27 2021-11-09 Nec Corporation Unsupervised anomaly detection, diagnosis, and correction in multivariate time series data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105426813A (zh) * 2015-10-27 2016-03-23 杭州电子科技大学 一种视频异常行为检测方法
CN106503652A (zh) * 2016-10-21 2017-03-15 南京理工大学 基于低秩自适应稀疏重建的异常事件检测方法
CN110929601A (zh) * 2019-11-09 2020-03-27 北京工业大学 基于深度字典学习的人群异常检测方法

Also Published As

Publication number Publication date
CN111931682A (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
US10349003B2 (en) Video recording system, server, system, and storage medium
RU2607774C2 (ru) Способ управления в системе захвата изображения, устройство управления и машиночитаемый носитель данных
US8248474B2 (en) Surveillance system and surveilling method
CN109949347B (zh) 人体跟踪方法、装置、系统、电子设备和存储介质
US10445590B2 (en) Image processing apparatus and method and monitoring system
US20100201880A1 (en) Shot size identifying apparatus and method, electronic apparatus, and computer program
CN105828065B (zh) 一种视频画面过曝检测方法及装置
JP2012089929A (ja) 物体検知装置、物体検知方法、監視カメラシステム、およびプログラム
KR102199094B1 (ko) 관심객체 검출을 위한 관심영역 학습장치 및 방법
US6819353B2 (en) Multiple backgrounds
US8305438B2 (en) Testing surveillance camera installations
CN111339979B (zh) 基于特征提取的图像识别方法及图像识别装置
US20110280478A1 (en) Object monitoring system and method
CN113239937A (zh) 镜头偏移检测方法、装置、电子设备及可读存储介质
CN110210530A (zh) 基于机器视觉的智能监控方法、装置、设备、系统和存储介质
CN109688328A (zh) 一种基于不同点位摄像机的视频拼接融合及分割的方法和装置
JP2010015469A (ja) 静止領域検出方法とその装置、プログラム及び記録媒体
WO2013132711A1 (ja) 物体検知装置、物体検知方法及びプログラム
CN111931682B (zh) 一种异常行为检测方法及装置
US20200065979A1 (en) Imaging system and method with motion detection
KR20150050790A (ko) 가변 해상도를 이용한 관심영상 검출장치 및 방법
EP4099224A1 (en) A concept for detecting an anomaly in input data
CN114998794A (zh) 高空抛物识别方法、系统、装置及存储介质
JP2018124786A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
KR102085034B1 (ko) 영상의 전경과 배경을 분리하여 전경영상을 검출하는 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant