CN116229367A - 监控视频内容异常的检测方法、装置、设备和存储介质 - Google Patents
监控视频内容异常的检测方法、装置、设备和存储介质 Download PDFInfo
- Publication number
- CN116229367A CN116229367A CN202310223078.9A CN202310223078A CN116229367A CN 116229367 A CN116229367 A CN 116229367A CN 202310223078 A CN202310223078 A CN 202310223078A CN 116229367 A CN116229367 A CN 116229367A
- Authority
- CN
- China
- Prior art keywords
- target
- edge
- video
- matrix
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 112
- 238000000034 method Methods 0.000 title claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 143
- 230000008859 change Effects 0.000 claims abstract description 86
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 230000002159 abnormal effect Effects 0.000 claims abstract description 23
- 230000015654 memory Effects 0.000 claims description 25
- 238000012806 monitoring device Methods 0.000 claims description 20
- 230000005856 abnormality Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 241001464837 Viridiplantae Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本公开提供了一种监控视频内容异常的检测方法、装置、设备以及存储介质。该方法包括：根据第一监控视频中的目标视频帧的边缘特征信息，确定目标视频帧对应的目标边缘特征矩阵；根据目标边缘特征矩阵和参考模板矩阵，确定边缘变化率；以及根据边缘变化率和阈值变化率，检测第一监控视频的内容是否异常。根据本公开的方案，根据目标视频帧的边缘特征信息得到目标边缘特征矩阵，再基于参考模板矩阵与目标边缘特征矩阵进行逐元素的对比，确定边缘变化率，从而根据边缘变化率确定监控视频内容是否异常，准确率高，鲁棒性强。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及计算机视觉、安防技术、视频监控技术领域。
背景技术
监控设备在安全、消防等领域有着重要作用。监控设备可以持续地对指定区域进行摄录，以实现监控目的。对监控设备的破坏，通常是人为地对监控设备的摄像机构进行遮挡或移动，导致监控设备无法对指定区域进行摄录和监控，使得监控设备采集到的监控视频的内容异常。现有的检测监控视频内容是否异常的方法，通常是基于监控视频中的背景是否发生变化，来判断监控设备是否被人为破坏。
发明内容
本公开提供了一种监控视频内容异常的检测方法、装置、设备以及存储介质，以解决或缓解现有技术中的一项或更多项技术问题。
第一方面，本公开提供了一种监控视频内容异常的检测方法，包括：
根据第一监控视频中的目标视频帧的边缘特征信息，确定目标视频帧对应的目标边缘特征矩阵；
根据目标边缘特征矩阵和参考模板矩阵，确定边缘变化率；其中，参考模板矩阵基于第一监控视频的历史视频帧的边缘特征信息得到，历史视频帧的采集时间早于目标视频帧；以及
根据边缘变化率和阈值变化率，检测第一监控视频的内容是否异常。
第二方面，本公开提供了一种监控视频内容异常的检测装置，包括：
矩阵确定模块，用于根据第一监控视频中的目标视频帧的边缘特征信息，确定目标视频帧对应的目标边缘特征矩阵；
变化率确定模块，用于根据目标边缘特征矩阵和参考模板矩阵，确定边缘变化率；其中，参考模板矩阵基于第一监控视频的历史视频帧的边缘特征信息得到，历史视频帧的采集时间早于目标视频帧；以及
异常确定模块，用于根据边缘变化率和阈值变化率，检测第一监控视频的内容是否异常。
第三方面，本公开提供了一种监控设备，包括：
摄像单元，用于采集第三监控视频；
检测单元，用于执行上述第一方面所述的方法，以得出第三监控视频的内容是否异常的检测结果。
第四方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
第六方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
本公开提供的技术方案的有益效果至少包括：根据目标视频帧的边缘特征信息得到目标边缘特征矩阵，再基于参考模板矩阵与目标边缘特征矩阵进行逐元素的对比，确定边缘变化率，从而根据边缘变化率确定监控视频内容是否异常，误报率低，准确率高，鲁棒性强，无需区分视频帧中的前景和背景，因此算力需求小，可以部署在监控设备中。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本公开提供的一些实施方式，而不应将其视为是对本公开范围的限制。
图1是根据本公开一实施例的监控视频内容异常的检测方法的流程示意图；
图2是根据本公开另一实施例的监控视频内容异常的检测方法的流程示意图；
图3是根据本公开一实施例的监控视频内容异常的检测装置的结构示意图；
图4是根据本公开一实施例的监控设备的结构示意图；
图5是用来实现本公开实施例的电子设备的框图。
具体实施方式
下面将参考附图对本公开作进一步地详细描述。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路等未作详细描述，以便于凸显本公开的主旨。
图1是根据本公开一实施例的监控视频内容异常的检测方法的流程示意图。如图1所示，该方法可以包括以下步骤：
S101、根据第一监控视频中的目标视频帧的边缘特征信息，确定目标视频帧对应的目标边缘特征矩阵。
本实施例的执行主体可以是监控设备，还可以是服务器。本实施例中以执行主体为监控设备进行介绍。
本公开实施例中，第一监控视频是由待检测的监控设备采集的，第一监控视频可以是缓存在监控设备的存储器中的视频文件，也可以是存储在服务器中的视频文件，也可以是实时的视频流，在此不作限定。
边缘特征信息，可以理解为表示目标对象在视频画面中所处区域的边界信息。边界存在于物体与背景之间、物体与物体之间，根据边界信息可以将目标对象从视频画面中分离出来或将表示目标对象的区域检测出来。目标对象可以包括属于视频画面的背景的物体(例如：房屋、墙体、柱子、电线杆、路灯、树木、绿化带)和属于视频画面前景的物体，通常是可移动的物体(例如：汽车、足球)以及包括人类在内的动物(例如：猫、狗)。边缘特征信息可以使用任意一种现有的边缘特征提取或检测方法得到，例如基于索伯(Sobel)算子的边缘检测算法或基于坎尼(Canny)算子的边缘检测算法，在此不作限定。
目标边缘特征矩阵，可以理解为目标视频帧所包含的多个像素点的边缘特征信息组成的矩阵。
S102、根据目标边缘特征矩阵和参考模板矩阵，确定边缘变化率。其中，参考模板矩阵基于第一监控视频的历史视频帧的边缘特征信息得到，历史视频帧的采集时间早于目标视频帧。
本公开实施例中，将目标边缘特征矩阵的元素与参考模板矩阵中对应的元素进行对比，根据发生变化的元素的数量与元素的总数的比值，得到边缘变化率。
参考模板矩阵可以基于第一监控视频的一个历史视频帧的边缘特征信息得到，也可以是基于第一监控视频的多个历史视频帧的边缘特征信息得到。基于多个历史视频帧的边缘特征信息得到的参考模板矩阵具有更强的鲁棒性。
S103、根据边缘变化率和阈值变化率，检测第一监控视频的内容是否异常。
阈值变化率，可以理解为判断边缘变化率的是否触发检测结果为异常的阈值。具体而言，在边缘变化率大于阈值变化率时，判定检测结果为异常。边缘变化率大于阈值变化率，可以说明目标视频帧中多个目标对象的轮廓边缘在画面中发生的变化超过了设定的阈值，由此可以推断采集第一监控视频的监控设备可能已被人为破坏。检测结果为异常时可以生成报警信息。在边缘变化率大于0但不大于阈值变化率时，说明视频画面中的内容发生了变化，但是整体布局没有很大的变化，属于正常的变化，例如：树木被风吹动、光照变化、物体的正常移动，因此，判定检测结果为正常。边缘变化率为0，则说明视频画面中的内容未发生变化。阈值变化率还可以理解为是灵敏度参数。阈值变化率可以设置为0至1中的任意数值，例如0.3，即30％。当阈值变化率设置地较小时，可以对较小的边缘变化率也进行报警。当阈值变化率设置地合适时，可以应对由不同的天气、早晚不同的光照等引发的内容变化或其他诸如动态绿植、人、车等常出现在监控视频中的事物的正常移动引发的内容变化，不会得出检测结果为异常。
根据本公开实施例的方案，直接根据目标视频帧的边缘特征信息得到目标边缘特征矩阵，再基于参考模板矩阵与目标边缘特征矩阵进行逐元素的对比，确定边缘变化率，从而根据边缘变化率确定监控视频内容是否异常，误报率低、准确率高、鲁棒性强，无需区分视频帧中的前景和背景，因此算力需求小，可以部署在监控设备中持续运行。
在一种可能的实施方式中，第一监控视频的内容异常包括：由于采集第一监控视频的监控设备被人为移动，使得第一监控视频的内容所对应的监控区域与设定的监控区域偏离。或者是由于采集第一监控视频的监控设备被人为遮挡，使得第一监控视频的内容所对应的监控区域小于设定的监控区域。
根据本公开实施例的方案，对人为移动摄像头、遮挡摄像头、摄像头损坏等多种破坏方式均可通过同一个方法、同一个判别系统判断出来，算法简单，准确率高。
在一种可能的实施方式中，步骤S101根据第一监控视频中的目标视频帧的边缘特征信息，确定目标视频帧对应的目标边缘特征矩阵，进一步包括步骤：
S1011、以第一时间间隔，从第一监控视频中获取目标视频帧。
本公开实施例中，第一时间间隔可以理解为对第一监控视频进行检测的频率。即从第一监控视频的视频流中获取视频帧的时间间隔。第一时间间隔可以是10分钟、30分钟或1小时，在此不作限定。第一时间间隔越大则需要的算力支持更少，也可以说明系统的鲁棒性越好。
S1012、对目标视频帧进行边缘特征提取，确定目标视频帧所包含的多个像素点的边缘特征信息。其中，多个像素点包括目标视频帧中前景部分的像素点和背景部分的像素点。
本公开实施例中，多个像素点可以是目标视频帧的全部像素点，也可以是部分像素点。选取部分像素点时，可以是按在视频帧上间隔地抽取，也不需要区分前景部分的像素点和背景部分的像素点。
S1013、根据多个像素点的边缘特征信息，确定目标边缘特征矩阵。其中，目标边缘特征矩阵所包含的元素用于表征对应像素点属于目标对象的轮廓边缘的概率。
本公开实施例中，将多个像素点的边缘特征信息组成目标边缘特征矩阵。可以按像素点的排列顺序组成对应的矩阵，每个像素点对应矩阵中的一个元素。像素点的边缘特征信息包括该像素点是否为目标对象的轮廓边缘的信息。
根据本公开实施例的方案，可以定期地从第一监控视频中抽取当前视频帧作为目标视频帧进行检测，确定第一监控视频的内容是否异常，从而持续地保证监控设备正常运行。
在一种可能的实施方式中，本公开实施例的监控视频内容异常的检测方法还包括步骤：
S201、以第二时间间隔，从第一监控视频中获取第一视频帧。
S202、根据第一视频帧的边缘特征信息，确定第一边缘特征矩阵。
S203、根据第一边缘特征矩阵，更新参考模板矩阵。
根据本公开实施例的方案，可以以第二时间间隔定期地从第一监控视频中抽取当前视频帧作为第一视频帧，使用第一视频帧更新参考模板矩阵，使参考模板矩阵能够自动更新，从而适应正常的环境改变。
在一种可能的实施方式中，S203根据第一边缘特征矩阵，更新参考模板矩阵，进一步包括步骤：
确定第一边缘特征矩阵与第一权重系数的第一乘积。
确定参考模板矩阵与第二权重系数的第二乘积。
将第一乘积与第二乘积相加，得到更新后的参考模板矩阵。
本公开实施例中，初始的参考模板矩阵可以根据首次获取的第一视频帧的边缘特征信息得到。之后每次更新时，将本次确定的第一边缘特征矩阵与第一权重系数的乘积加上当前的参考模板矩阵与第二权重系数的乘积，使得第一边缘特征矩阵与当前的参考模板矩阵融合，得到新的参考模板矩阵。
第一权重系数与第二权重系数，可以理解为第一边缘特征矩阵与当前的参考模板矩阵的融合系数，也可以理解为参考模板矩阵的更新程度。第一权重系数和第二权重系数可以是0至1中的任意数值。在一种示例中，第二权重系数为[0.2,0.5]，第一权重系数与第二权重系数的和为1。
假设第k次更新后的参考模板矩阵为B(k)，则
B(k)＝αB(k-1)+(1-α)b(k)，α∈[0,1]，k∈N，k≥1 (1)
b(k)表示k时刻从第一监控视频中抽出的目标视频帧的目标边缘特征矩阵。α为第二权重系数。B(k)与b(k)两者都是形状为(H,W)的二维矩阵，每个元素为[0,1]之间的实数，表示此处是否为边缘的概率。可以得出第k次更新后的参考模板矩阵B(k)包含之前每个目标边缘特征矩阵的信息，即：
B(k)＝αkB(0)+αk-1(1-α)b(1)+αk-2(1-α)b(2)+…+(1-α)b(k) (2)
B(0)表示初始的参考模板矩阵。
因此，参考模板矩阵是基于每次更新时的目标视频帧和权重系数融合得到的。参考模板矩阵可以自动适应正常的环境变化和正常的人为活动，从而大大降低误报率，具有更强的鲁棒性。
具体而言，以参考模板矩阵中第i行第j列的元素来说，分为两种情况：
情况1：该元素目前被认为是背景的边缘(元素的数值较大)，在下一更新时刻，该元素对应的画面内容可能：
(1)未发生变化。
此时B(k-1) ij＝b(k) ij＝p，p∈(0,1]是一个较大的实数，根据更新算法，有B(k) ij＝p。
需要说明的是，如果在更新时刻之前发生了正常遮挡，例如行人经过或者暂时停靠的车辆遮挡住了该元素对应的画面内容，导致边缘变化，或是因为一些自然因素导致背景的变化，但在更新时刻又复原了，则仍为属于未发生变化。正常遮挡可以理解为是一个目标对象的边缘被处于该目标对象之前的另一个目标对象的非边缘部分覆盖，使得前者的边缘在被遮挡后不再显示为边缘。
(2)发生了正常遮挡。
假设是在第m次更新模板时发生的正常遮挡，则有B(m-1) ij＝p，但是b(m) ij＝q，q∈[0,1)，是一个较小的实数。根据更新算法，有
化简可得B(k) ij＝αk-m+1p-αk-m+1q+q，因此，如果该元素不再发生变化，当k很大时，B(k) ij趋向于q，即随着更新次数增加，该元素的数值会逐渐增大，也即长时间未发生变化的目标对象会被逐步认定为是画面中的背景。
可以看到，如果是正常遮挡，算法可以通过持续更新使得模板适应这种遮挡带来的变化，从而降低误报率。
情况2：该元素目前不是背景的边缘(元素的数值较小)，在下一更新时刻，该元素对应的画面内容可能：
(1)未发生正常遮挡。
此时B(k-1) ij＝b(k) ij＝q，q∈[0,1)是一个较小的数。那么更新后也有B(k) ij＝q。属于正常情况。
(2)发生了正常遮挡。
与上述情况1当中的第(2)种可能的变化方式类似，有B(k) ij＝αk-m+1q-αk-m+1p+p，当k很大时，趋向于p。即随着模板更新次数增加，该元素的数值会逐渐增大，也即长时间未发生变化的目标对象会被逐步认定为是画面中的背景，不会突然发出报警。
反过来看，因为是逐个元素去对比参考模板矩阵和目标边缘特征矩阵的差异，所以不论是何种异常，只要突然变化的元素的个数足够多，超过阈值变化率，就会发出报警。而能够让像素点大范围突变的情况，通常可以确定是人为干涉的异常状况。
在一种可能的实施方式中，步骤S102根据目标边缘特征矩阵和参考模板矩阵，确定边缘变化率，可以包括步骤：
将目标边缘特征矩阵所包含的元素与参考模板矩阵中对应的元素进行对比，确定元素的变化结果。
根据多个元素的变化结果，确定边缘变化率。
本公开实施例中，将目标边缘特征矩阵所包含的元素与参考模板矩阵中对应的元素进行对比，可以确定两个矩阵中对应的元素之间的差值。例如，目标边缘特征矩阵中第7行第8列的元素值为0.81，参考模板矩阵中第7行第8列的元素值为0.24，两者的差值为0.57。确定对应元素之间的差值后，在该差值大于预设阈值的情况下，可以判定该元素发生了变化。
根据所有元素的变化结果，可以将发生变化的元素除以元素的总数，得到边缘变化率。也可以将各个对应元素的差值的绝对值累加，作为边缘变化率。通过差值的绝对值累加得到的边缘变化率可以体现边缘变化程度。
在一种示例中，采集第一监控视频的监控设备安装在某商场的地面停车场中，第一监控视频的内容应当包括该停车场的至少部分监控区域。该监控区域中包含80个停车位和停车场的部分内部道路。停车场通常需要24小时持续进行监控，因此，每天早晚必然有明显的光照变化。另外，由于该停车场旁可能会存在楼房及绿化树木，因此在阳光下，楼房和树木的影子可能会投射在该监控区域的地面上并随时间变化。同时，停车场中随时会有车辆进出和人员走动，上述自然因素引发的正常的画面内容变化在相关技术中都有可能会引发误报警。
而根据本公开实施例的方法，参考模板矩阵可以通过持续更新，自动适应监控区域中正常的画面内容的变化。以车辆在该停车场中流动为例，某一时刻，该停车场的80个停车位中有35个停放了车辆。那么，在下一检测时刻(根据第一时间间隔获取目标视频帧时)到来时，如果开走了5辆车，又有4辆新车停放，共有9个车位发生了变化，上述变化根据上述方法确定边缘变化率为12％。该边缘变化率小于阈值变化率(以30％为例)，因此，本次检测结果为第一监控视频的内容正常，不会发生误报警。另一方面，如果是下一更新时刻(根据第二时间间隔触发参考模板矩阵更新时)到来，对参考模板矩阵的更新，会使新的参考模板矩阵中对应开走了的5辆车的轮廓边缘对应的元素的数值降低，并使得4辆新车的轮廓边缘对应的元素的数值提高。由于设置了用于控制融合比例的权重系数，元素的数值的改变是渐进的。假设后续几次更新时刻，停车场内的车辆一直没有发生变化，那么之前4辆新车的轮廓边缘所对应的元素的数值会逐渐地趋向于实际数值，可以理解为是被确定为是画面背景部分。
综上所述，对于目标视频帧的检测而言，监控视频的小范围的内容变化，不会直接判定为内容异常。同时，对于参考模板矩阵的更新而言，监控视频中所有的内容变化，会逐步地影响参考模板矩阵，即一次参考模板矩阵的更新，对参考模板矩阵的改变程度有限。而无法移动和长时间未发生移动的目标对象(例如、楼房、墙体、柱子、废弃车辆)，在参考模板矩阵中的对应元素会具有很高的数值，可以理解为是监控区域的背景。那么，经常发生变化的区域(如停车位的区域，尤其是靠近车辆出入口的使用率较高的停车位)在参考模板矩阵中所对应的元素的数值可能会是一个中间值(如0.5)，该区域发生变化而产生的边缘变化率(累加差值方式得到)会小于监控区域的背景发生变化而产生的边缘变化率。从而使得在背景发生变化时，得出的边缘变化率更大，更容易得出发生异常的检测结果。因此，根据本公开实施例的方案，在可以适应正常画面内容变化的同时，对异常变化的检测更加精准。
在一种可能的实施方式中，本公开实施例的监控视频内容异常的检测方法，还包括步骤：
以第三时间间隔，从第二监控视频中抽取多个采集时间早于目标视频帧的第二视频帧。
根据多个第二视频帧的边缘特征信息，确定多个第二边缘特征矩阵。
根据多个第二边缘特征矩阵和第三权重系数，确定参考模板矩阵。
本实施例的执行主体可以是服务器，第二监控视频可以是存储在该服务器或其它服务器中的视频文件。
本公开实施例中，可以由服务器从第二监控视频中抽取多个采集时间早于目标视频帧的第二视频帧。第二监控视频和第一监控视频由同一监控设备采集。将多个第二视频帧的第二边缘特征矩阵根据上述公式(2)融合得到参考模板矩阵。
由于参考模板矩阵通过持续更新可以提升准确性，对于没有持续运行上述检测方法的监控设备，可以利用服务器对该监控设备拍摄的视频文件执行检测方法。根据已存储的视频文件确定参考模板矩阵，从而确定第一监控视频的内容是否异常，识别出该监控设备的是否被人为破坏。可以适用于算力低的老旧监控设备，或是临时需要对某个未运行上述检测方法的监控设备进行检测。
在一种可能的实施方式中，本公开实施例的检测方法包括：
第一部分：背景提取与更新。
初始化：图像抽取的时间间隔dt(第二时间间隔)，更新背景模板(参考模板矩阵)的权重参数λ(第二权重系数)。
Step1:抽取最初时刻的图像img0。
Step2:利用边缘模型对img0进行边缘特征提取，得到相应的边缘特征信息矩阵m0。
Step3:初始化背景模板矩阵(参考模板矩阵)mt＝m0。
Step4：间隔dt时间后，从监控视频流中提取画面img1(第一视频帧)。
Step5：对img1进行step2相同的处理，得到相应的边缘特征信息矩阵m1(第一边缘特征矩阵)。
Step6：更新模板矩阵mt＝λmt+(1-λ)m1。
Step7：保存当前的背景模板直到下一个更新时刻到来。
需要说明的是：dt为从视频流中获取单张图片的时间间隔，越大则说明系统的鲁棒性越好，需要的算力支持也更少。
λ为当前图片的特征信息融合到背景模板中的权重，实验证明，社区监控设备中的该权重参数一般为λ∈[0.2,0.5]。
第二部分：摄像头移动与遮挡判断系统。
初始化：待判断的图像imgp(目标视频帧),系统中存储的更新模板矩阵mt，系统报警阈值E∈[0,1](阈值变化率)。
Step1：对imgp图像处理，提取它的边缘特征，生成相应的边缘特征矩阵mp(目标边缘特征矩阵)。
Step2：将mp和mt的按元素对比，得到mp中不属于背景信息点(发生变化)的元素比例q(边缘变化率)。
Step3：对比q和E，如果q>E，则判定异常发生，否则未发生异常，等待下一次判断时刻到来。
需要说明是：报警参数E可依据实际应用中的安保级别来确定，值越小说明系统的灵敏度越高，安保级别也越高。
第三部分：摄像头移动遮挡检测算法。
如图2所示，该算法的流程包括以下步骤：
Step1：设定权重λ、模板更新时间间隔dt，检测时间间隔Dt(第一时间间隔)、判断阈值E以及初始状态变量S＝0。
Step2：提取初始图像m0，生成初始模板mt＝m0。
Step3：间隔时间dt后，再次采样图片生成m1。
Step4：更新模板：mt＝λmt+(1-λ)m1。
Step5：间隔时间Dt后，采样图片生成mp。
Step6：计算mp和mt的差异比q，如果q>E，进入Step7，否则进入Step8。
Step7：判定检测结果为“异常”，系统报警，状态变量S设置为1。
Step8：判定检测结果为“正常”，间隔时间Dt后返回Step5。
图3是本公开一实施例的监控视频内容异常的检测装置的结构示意图。如图3所示，该监控视频内容异常的检测装置300至少包括：
第一矩阵确定模块301，用于根据第一监控视频中的目标视频帧的边缘特征信息，确定目标视频帧对应的目标边缘特征矩阵。
变化率确定模块302，用于根据目标边缘特征矩阵和参考模板矩阵，确定边缘变化率。其中，参考模板矩阵基于第一监控视频的历史视频帧的边缘特征信息得到，历史视频帧的采集时间早于目标视频帧。以及
异常确定模块303，用于根据边缘变化率和阈值变化率，检测第一监控视频的内容是否异常。
在一种可能的实施方式中，第一监控视频的内容异常包括：由于采集第一监控视频的监控设备被人为移动，使得第一监控视频的内容所对应的监控区域与预设的监控区域偏离。或者
由于采集第一监控视频的监控设备被人为遮挡，使得第一监控视频的内容所对应的监控区域小于预设的监控区域。
在一种可能的实施方式中，第一矩阵确定模块301，还包括：
视频抽取子模块，用于以第一时间间隔，从第一监控视频中获取目标视频帧。
特征提取子模块，用于对目标视频帧进行边缘特征提取，确定目标视频帧所包含的多个像素点的边缘特征信息。其中，多个像素点包括目标视频帧中前景部分的像素点和背景部分的像素点。
矩阵确定子模块，用于根据多个像素点的边缘特征信息，确定目标边缘特征矩阵。其中，目标边缘特征矩阵所包含的元素用于表征对应像素点属于目标对象的轮廓边缘的概率。
在一种可能的实施方式中，该监控视频内容异常的检测装置300还包括：
第一抽取模块，用于以第二时间间隔，从第一监控视频中获取第一视频帧。
第二矩阵确定模块，用于根据第一视频帧的边缘特征信息，确定第一边缘特征矩阵。
更新模块，用于根据第一边缘特征矩阵，更新参考模板矩阵。
在一种可能的实施方式中，更新模块用于：
确定第一边缘特征矩阵与第一权重系数的第一乘积。
确定参考模板矩阵与第二权重系数的第二乘积。
将第一乘积与第二乘积相加，得到更新后的参考模板矩阵。
在一种可能的实施方式中，该监控视频内容异常的检测装置300还包括：
第二抽取模块，用于以第三时间间隔，从第二监控视频中抽取多个采集时间早于目标视频帧的第二视频帧。
第三矩阵确定模块，用于根据多个第二视频帧的边缘特征信息，确定多个第二边缘特征矩阵。
第四矩阵确定模块，用于根据多个第二边缘特征矩阵和第三权重系数，确定参考模板矩阵。
在一种可能的实施方式中，变化率确定模块302用于：
将目标边缘特征矩阵所包含的元素与参考模板矩阵中对应的元素进行对比，确定元素的变化结果。
根据多个元素的变化结果，确定边缘变化率。
本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
图4是本公开一实施例提供的监控设备的结构示意图。该监控设备400包括：
摄像单元401，用于采集第三监控视频。
检测单元402，用于执行上述任一实施例提供的检测方法，以得出第三监控视频的内容是否异常的检测结果。
本公开实施例的设备的各单元的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。
图5为根据本公开一实施例的电子设备的结构框图。如图5所示，该电子设备包括：存储器510和处理器520，存储器510内存储有可在处理器520上运行的计算机程序。存储器510和处理器520的数量可以为一个或多个。存储器510可以存储一个或多个计算机程序，当该一个或多个计算机程序被该电子设备执行时，使得该电子设备执行上述方法实施例提供的方法。该电子设备还可以包括：通信接口530，用于与外界设备进行通信，进行数据交互传输。
如果存储器510、处理器520和通信接口530独立实现，则存储器510、处理器520和通信接口530可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准体系结构(Extended Industry StandardArchitecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器510、处理器520及通信接口530集成在一块芯片上，则存储器510、处理器520及通信接口530可以通过内部接口完成相互间的通信。
应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。
进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic Random Access Memory，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct RAMBUS RAM，DR RAM)。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(例如：红外、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(Digital Versatile Disc，DVD))或半导体介质(例如：固态硬盘(Solid State Disk，SSD))等。值得注意的是，本公开提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本公开实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本公开实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
以上所述仅为本公开的示例性实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (12)
1.一种监控视频内容异常的检测方法，包括：
根据第一监控视频中的目标视频帧的边缘特征信息，确定所述目标视频帧对应的目标边缘特征矩阵；
根据所述目标边缘特征矩阵和参考模板矩阵，确定边缘变化率；其中，所述参考模板矩阵基于所述第一监控视频的历史视频帧的边缘特征信息得到，所述历史视频帧的采集时间早于所述目标视频帧；以及
根据所述边缘变化率和阈值变化率，检测所述第一监控视频的内容是否异常。
2.根据权利要求1所述的方法，其中，所述第一监控视频的内容异常包括：由于采集所述第一监控视频的监控设备被人为移动，使得所述第一监控视频的内容所对应的监控区域与预设的监控区域偏离；或者
由于采集所述第一监控视频的监控设备被人为遮挡，使得所述第一监控视频的内容所对应的监控区域小于预设的监控区域。
3.根据权利要求1所述的方法，其中，根据第一监控视频中的目标视频帧的边缘特征信息，确定所述目标视频帧对应的目标边缘特征矩阵，包括：
以第一时间间隔，从第一监控视频中获取目标视频帧；
对所述目标视频帧进行边缘特征提取，确定所述目标视频帧所包含的多个像素点的边缘特征信息；其中，所述多个像素点包括所述目标视频帧中前景部分的像素点和背景部分的像素点；
根据所述多个像素点的边缘特征信息，确定目标边缘特征矩阵；其中，所述目标边缘特征矩阵所包含的元素用于表征对应像素点属于目标对象的轮廓边缘的概率。
4.根据权利要求1所述的方法，还包括：
以第二时间间隔，从所述第一监控视频中获取第一视频帧；
根据所述第一视频帧的边缘特征信息，确定第一边缘特征矩阵；
根据所述第一边缘特征矩阵，更新所述参考模板矩阵。
5.根据权利要求4所述的方法，其中，根据所述第一边缘特征矩阵，更新所述参考模板矩阵，包括：
确定所述第一边缘特征矩阵与第一权重系数的第一乘积；
确定所述参考模板矩阵与第二权重系数的第二乘积；
将所述第一乘积与所述第二乘积相加，得到更新后的参考模板矩阵。
6.根据权利要求1所述的方法，还包括：
以第三时间间隔，从第二监控视频中抽取多个采集时间早于所述目标视频帧的第二视频帧；
根据所述多个第二视频帧的边缘特征信息，确定多个第二边缘特征矩阵；
根据所述多个第二边缘特征矩阵和第三权重系数，确定参考模板矩阵。
7.根据权利要求1至6任一项所述的方法，其中，根据所述目标边缘特征矩阵和参考模板矩阵，确定边缘变化率，包括：
将所述目标边缘特征矩阵所包含的元素与参考模板矩阵中对应的元素进行对比，确定所述元素的变化结果；
根据所述多个元素的变化结果，确定边缘变化率。
8.一种监控视频内容异常的检测装置，包括：
矩阵确定模块，用于根据第一监控视频中的目标视频帧的边缘特征信息，确定所述目标视频帧对应的目标边缘特征矩阵；
变化率确定模块，用于根据所述目标边缘特征矩阵和参考模板矩阵，确定边缘变化率；其中，所述参考模板矩阵基于所述第一监控视频的历史视频帧的边缘特征信息得到，所述历史视频帧的采集时间早于所述目标视频帧；以及
异常确定模块，用于根据所述边缘变化率和阈值变化率，检测所述第一监控视频的内容是否异常。
9.一种监控设备，包括：
摄像单元，用于采集第三监控视频；
检测单元，用于执行权利要求1-6中任一项所述的方法，以得出第三监控视频的内容是否异常的检测结果。
10.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
11.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
12.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310223078.9A CN116229367A (zh) | 2023-03-06 | 2023-03-06 | 监控视频内容异常的检测方法、装置、设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310223078.9A CN116229367A (zh) | 2023-03-06 | 2023-03-06 | 监控视频内容异常的检测方法、装置、设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116229367A true CN116229367A (zh) | 2023-06-06 |
Family
ID=86580333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310223078.9A Pending CN116229367A (zh) | 2023-03-06 | 2023-03-06 | 监控视频内容异常的检测方法、装置、设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116229367A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116449761A (zh) * | 2023-06-13 | 2023-07-18 | 中苏科技股份有限公司 | 智能泵站智慧控制系统及方法 |
-
2023
- 2023-03-06 CN CN202310223078.9A patent/CN116229367A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116449761A (zh) * | 2023-06-13 | 2023-07-18 | 中苏科技股份有限公司 | 智能泵站智慧控制系统及方法 |
| CN116449761B (zh) * | 2023-06-13 | 2023-10-13 | 中苏科技股份有限公司 | 智能泵站智慧控制系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021042816A1 (zh) | 一种检测监控设备故障的方法、装置 | |
| US10346685B2 (en) | System and method for detecting and tracking a moving object | |
| GB2542686A (en) | Video data analyzing method and apparatus and parking lot monitoring system | |
| CN109167929B (zh) | 车载相机参数的调节方法、装置与电子设备 | |
| JP2013218679A (ja) | 短時間の駐車違反を取り締まるための、ビデオベースの検知装置及び通知装置 | |
| CN116229367A (zh) | 监控视频内容异常的检测方法、装置、设备和存储介质 | |
| CN111163285A (zh) | 高空抛坠物监测方法及其系统、计算机可读存储介质 | |
| JP7305965B2 (ja) | ビデオ監視システムのパラメータ設定方法、装置及びビデオ監視システム | |
| KR102300229B1 (ko) | 인공지능을 이용한 스마트 팜 원격 경보 시스템 | |
| CN105809710B (zh) | 检测运动目标的系统和方法 | |
| US20180260964A1 (en) | System and method for detecting moving object in an image | |
| KR101785017B1 (ko) | 모니터링 카메라 | |
| CN111160187A (zh) | 一种遗留物体检测的方法、装置及系统 | |
| KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
| CN105554414B (zh) | 强光抑制方法及装置 | |
| CN113408454A (zh) | 一种交通目标检测方法、装置、电子设备及检测系统 | |
| CN110114801A (zh) | 图像前景检测装置及方法、电子设备 | |
| CN112184814B (zh) | 定位方法和定位系统 | |
| JPH0973541A (ja) | 物体検出装置及び物体検出方法 | |
| CN116912517B (zh) | 相机视野边界的检测方法及装置 | |
| CN110020572B (zh) | 基于视频图像的人数统计方法、装置、设备及存储介质 | |
| KR102099816B1 (ko) | 실시간 로드 영상을 통해 유동 인구 데이터를 수집하는 방법 및 장치 | |
| CN115474038A (zh) | 摄像头遮挡检测方法、装置、电子设备及存储介质 | |
| JP2001325672A (ja) | 侵入者監視システム | |
| CN114155282A (zh) | 车辆追踪阈值更新方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |