CN111898486B - 监控画面异常的检测方法、装置及存储介质 - Google Patents
监控画面异常的检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111898486B CN111898486B CN202010676575.0A CN202010676575A CN111898486B CN 111898486 B CN111898486 B CN 111898486B CN 202010676575 A CN202010676575 A CN 202010676575A CN 111898486 B CN111898486 B CN 111898486B
- Authority
- CN
- China
- Prior art keywords
- frame image
- monitoring
- current frame
- picture
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 208
- 238000001514 detection method Methods 0.000 title claims abstract description 92
- 230000005856 abnormality Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000008859 change Effects 0.000 claims description 72
- 238000012806 monitoring device Methods 0.000 claims description 38
- 238000004590 computer program Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种监控画面异常的检测方法、装置及存储介质。该方法包括：获取监控设备拍摄的当前帧图像和用于对所述监控设备的监控画面进行异常检测的背景帧图像；根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，得到画面异常检测结果。
Description
技术领域
本申请涉及视频图像处理技术领域，具体而言，涉及一种监控画面异常的检测方法、装置及存储介质。
背景技术
随着“平安城市”、“智慧城市”概念的提出和推广，最近几年，安防市场呈现几何式的快速增长。
然而随着安防视频监控快速增长的同时，视频监控的应用往往会受到外部因素影响，导致视频监控无法有效实施，例如，监控视频的监控画面可能会出现视频遮挡、场景变化等异常情况，这都是安防视频监控发展过程中不得不面对和必须解决的问题。
发明内容
本申请的一个或多个实施例提供了监控画面异常的检测方法、装置及存储介质，以至少解决如何及时发现监控画面出现视频遮挡、场景变化等异常现象的问题。
根据本申请的一个实施例，提供了一种监控画面异常的检测方法，包括：获取监控设备拍摄的当前帧图像和用于对所述监控设备的监控画面进行异常检测的背景帧图像；根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，得到画面异常检测结果。
在至少一个示例性实施例中，根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测包括以下至少之一：根据所述当前帧图像和所述背景帧图像之间的所述纹理差异确定所述监控设备的监控画面是否出现视频遮挡现象；根据所述当前帧图像和所述背景帧图像之间所述配对特征点的所述位置距离确定所述监控设备的监控画面是否出现场景变化现象。
在至少一个示例性实施例中，根据所述当前帧图像和所述背景帧图像之间的所述纹理差异确定所述监控设备的监控画面是否出现视频遮挡现象包括：分别根据所述当前帧图像和所述背景帧图像的边缘梯度提取所述当前帧图像对应的纹理和所述背景帧图像对应的纹理；在确定所述当前帧图像对应的纹理小于所述背景帧图像对应的纹理的情况下，确定所述监控设备的监控画面出现视频遮挡现象。
在至少一个示例性实施例中，所述当前帧图像对应的纹理小于所述背景帧图像对应的纹理包括：所述当前帧图像对应的纹理Xc与所述背景帧图像对应的纹理Xb满足条件Xb-Xc≥θ1，其中，θ1为纹理差异判断阈值且取值大于0。
在至少一个示例性实施例中，在确定所述监控设备的监控画面出现视频遮挡现象的情况下，还包括：获取所述监控设备的监控画面出现视频遮挡现象前所拍摄的一帧图像的数据X'm；依次确定出现视频遮挡现象后N帧图像的数据X'j与数据X'm之间的差值η＝X'm-X'j，其中，j＝1,2,…N，N为预设数量；在N帧图像中存在图像对应的差值η小于预定差值阈值的情况下，从所述画面异常检测结果中过滤掉所述监控设备的监控画面出现所述视频遮挡现象的确定结果。
在至少一个示例性实施例中，根据所述当前帧图像和所述背景帧图像之间所述配对特征点的所述位置距离确定所述监控设备的监控画面是否出现场景变化现象包括：提取所述当前帧图像中的第一特征点和所述背景帧图像中的第二特征点；在所述当前帧图像中每个第一特征点对应的预定区域内计算每个第一特征点的第一特征描述子，并在所述背景帧图像中每个第二特征点对应的预定区域内计算每个第二特征点的第二特征描述子；根据所述第一特征描述子和所述第二特征描述子确定所述当前帧图像和所述背景帧图像之间的配对特征点；在确定所述当前帧图像和所述背景帧图像之间的配对特征点的距离大于预定距离阈值的情况下，确定所述监控设备的监控画面出现场景变化现象。
在至少一个示例性实施例中，确定所述当前帧图像和所述背景帧图像之间的配对特征点的距离大于预定距离阈值包括：确定的值大于所述预定距离阈值，其中，Pj,c和Pj,b分别为所述当前帧图像和所述背景帧图像之间的配对特征点的位置，K为所述配对特征点的总对数。
在至少一个示例性实施例中，在确定所述监控设备的监控画面出现场景变化现象的情况下，还包括：获取清晰度高于预定清晰度阈值的当前帧图像，将获取的当前帧图像作为背景帧图像，并返回执行根据所述当前帧图像和所述背景帧图像之间所述配对特征点的所述位置距离确定所述监控设备的监控画面是否出现所述场景变化现象的操作。
在至少一个示例性实施例中，在确定所述监控设备的监控画面出现场景变化现象的情况下，还包括：基于膨胀边缘算法分别对所述当前帧图像和所述背景帧图像对应的纹理进行膨胀；确定所述背景帧图像对应的纹理的膨胀结果和所述当前帧图像对应的纹理的膨胀结果/>之间的差值/>在差值ρ小于预定膨胀阈值的情况下，从所述画面异常检测结果中过滤掉所述监控设备的监控画面出现所述场景变化现象的确定结果。
在至少一个示例性实施例中，在确定所述监控设备的监控画面出现所述视频遮挡现象或所述场景变化现象的情况下，还包括：确定检测出现所述视频遮挡现象或所述场景变化现象的连续帧图像的数量是否超过预定帧数阈值；在连续帧图像的数量未超过所述预定帧数阈值的情况下，从所述画面异常检测结果中过滤掉所述监控设备的监控画面出现所述视频遮挡现象或所述场景变化现象的确定结果。
根据本申请的另一个实施例，提供了一种监控画面异常的检测装置，包括：获取模块，设置为获取监控设备拍摄的当前帧图像和用于对所述监控设备的监控画面进行异常检测的背景帧图像；异常检测模块，设置为根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，得到画面异常检测结果。
在至少一个示例性实施例中，所述异常检测模块包括：视频遮挡检测子模块，设置为根据所述当前帧图像和所述背景帧图像之间的所述纹理差异确定所述监控设备的监控画面是否出现视频遮挡现象；场景变化检测子模块，设置为根据所述当前帧图像和所述背景帧图像之间所述配对特征点的所述位置距离确定所述监控设备的监控画面是否出现场景变化现象。
根据本申请的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本申请的又一个实施例，还提供了一种监控设备或监控平台或智能视频监控服务器，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
根据本申请的又一个实施例，还提供了一种监控画面异常的检测系统，包括：一个或多个监控设备，设置为采集监控视频流，并将所述监控视频流传输至视频监控服务器；所述视频监控服务器，与所述一个或多个监控设备相连接，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行以下操作：接收所述监控设备传输的所述监控视频流；获取所述监控视频流中当前帧图像和用于对所述监控设备的监控画面进行异常检测的背景帧图像；根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，得到画面异常检测结果。
通过本申请的一个或多个实施例，由于根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，能够基于纹理差异、配对特征点的位置距离快速识别出监控设备的异常情况，因此，可以解决如何及时发现监控画面出现视频遮挡、场景变化等异常现象(例如，人为或意外噪声的遮挡或场景变化现象)的问题，实现了监控画面异常的及时和快速的检测。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例1的监控画面异常的检测方法的流程图；
图2是根据本申请实施例2的监控画面异常的检测装置的结构框图；
图3是根据本申请实施例2的监控画面异常的检测装置的详细结构框图；
图4是根据本申请实施例4的监控画面异常的检测方法的详细流程图。
具体实施方式
智能视频监控技术引起了越来越多研究人员的重视，然而该技术的发展却遇到了多方面的制约，遮挡目标跟踪就是其中之一。在单摄像机的视频监控中，由于观察角度等原因，目标之间的相互遮挡是普遍的现象，这对于实时监控相机目标区域造成严重遮挡，甚至影响视频监控系统的使用。如何利用智能视频监控技术，实现对监控画面异常进行诊断，检测监控设备是出现人为或意外噪声的遮挡和场景变化现象，对及时处理和修复故障设备具有较大意义。
下文中将参考附图并结合实施例来详细说明本申请。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
本申请实施例1所提供的方法实施例可以在监控设备、监控平台或智能视频监控服务器实现。
在本实施例中提供了一种监控画面异常的检测方法，图1是根据本申请实施例1的监控画面异常的检测方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，获取监控设备拍摄的当前帧图像和用于对所述监控设备的监控画面进行异常检测的背景帧图像；
步骤S104，根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，得到画面异常检测结果。
通过上述步骤，由于根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，能够基于纹理差异、配对特征点的位置距离快速识别出监控设备的异常情况，因此，可以解决如何及时发现监控画面出现视频遮挡、场景变化等异常现象(例如，人为或意外噪声的遮挡或场景变化现象)的问题，实现了监控画面异常的及时和快速的检测。
可选地，上述步骤的执行主体可以为监控设备、监控平台或智能视频监控服务器等，但不限于此。
在至少一个示例性实施例中，步骤S104可以包括以下至少之一：
步骤S104-1，根据所述当前帧图像和所述背景帧图像之间的所述纹理差异确定所述监控设备的监控画面是否出现视频遮挡现象，通过该方案，可以基于当前帧相对于背景帧的纹理差异来确定是否有视频遮挡，例如，如果纹理差异较大(变小很多)则表明出现了视频遮挡；
步骤S104-2，根据所述当前帧图像和所述背景帧图像之间所述配对特征点的所述位置距离确定所述监控设备的监控画面是否出现场景变化现象，通过该方案，可以通过配对特征点之间的位置距离来确定是否出现场景变化，例如，当配对特征点之间位置距离较大，则说明监控画面(或者说监控视野)出现了偏转，这表明出现了场景变化。
在至少一个示例性实施例中，步骤S104-1可以通过以下方式实现：
步骤S104-1-1，分别根据所述当前帧图像和所述背景帧图像的边缘梯度提取所述当前帧图像对应的纹理和所述背景帧图像对应的纹理；
步骤S104-1-2，在确定所述当前帧图像对应的纹理小于所述背景帧图像对应的纹理的情况下，确定所述监控设备的监控画面出现视频遮挡现象。
通过边缘梯度提取的方式来获得图像对应的纹理，能够得到较为准确的纹理信息，实现高效、准确的视频遮挡判断。
为了防止因图像间的细微差异导致的误检测，可以设置一定的误差阈值，例如，在至少一个示例性实施例中，所述当前帧图像对应的纹理小于所述背景帧图像对应的纹理的情况可以包括：所述当前帧图像对应的纹理Xc与所述背景帧图像对应的纹理Xb满足条件Xb-Xc≥θ1，其中，θ1为纹理差异判断阈值且取值大于0。
为了防止大物体近距离经过引起的遮挡的误检测，可以设置一个判断重复背景的辅助方案，例如，在至少一个示例性实施例中，在确定所述监控设备的监控画面出现视频遮挡现象的情况下，还可以包括：获取所述监控设备的监控画面出现视频遮挡现象前所拍摄的一帧图像的数据X'm；依次确定出现视频遮挡现象后N帧图像的数据X'j与数据X'm之间的差值η＝X'm-X'j，其中，j＝1,2,…N，N为预设数量；在N帧图像中存在图像对应的差值η小于预定差值阈值的情况下，从所述画面异常检测结果中过滤掉所述监控设备的监控画面出现所述视频遮挡现象的确定结果。也就是说，通过该方法确定出是因为大物体近距离经过导致判断监控设备被遮挡，因为该事件是一过性的，所以在画面异常检测结果中无需体现该遮挡现象。
在至少一个示例性实施例中，步骤S104-2可以通过以下方式实现：
步骤S104-2-1，提取所述当前帧图像中的第一特征点和所述背景帧图像中的第二特征点；
步骤S104-2-2，在所述当前帧图像中每个第一特征点对应的预定区域内计算每个第一特征点的第一特征描述子，并在所述背景帧图像中每个第二特征点对应的预定区域内计算每个第二特征点的第二特征描述子；
步骤S104-2-3，根据所述第一特征描述子和所述第二特征描述子确定所述当前帧图像和所述背景帧图像之间的配对特征点；
步骤S104-2-4，在确定所述当前帧图像和所述背景帧图像之间的配对特征点的距离大于预定距离阈值的情况下，确定所述监控设备的监控画面出现场景变化现象。
通过上述方案，能够通过当前帧图像和背景帧图像各自的特征点对应的特征描述子来快速确定配对特征点，并进而通过确定配对特征点之间的距离是否大于预定距离阈值来确定监控设备的监控画面是否出现场景变化现象，该方法能够高效、准确的判断是否出现场景变化。
在至少一个示例性实施例中，确定所述当前帧图像和所述背景帧图像之间的配对特征点的距离大于预定距离阈值可以包括：确定的值大于所述预定距离阈值，其中，Pj,c和Pj,b分别为所述当前帧图像和所述背景帧图像之间的配对特征点的位置，K为所述配对特征点的总对数。该方式能够从总体上判断当前帧图像和背景帧图像之间配对特征点的距离总和是否大于预定距离阈值，简化了场景变化的计算过程，能够高效、准确的判断是否出现场景变化。
为了防止因大量前景经过出现场景变化误报警的问题，可以通过及时更新背景的方式消除这一误报警，例如，在至少一个示例性实施例中，在确定所述监控设备的监控画面出现场景变化现象的情况下，还包括：获取清晰度高于预定清晰度阈值(主要为了保证背景图像的质量，使得检测结果更加准确)的当前帧图像，将获取的当前帧图像作为背景帧图像，并返回执行根据所述当前帧图像和所述背景帧图像之间所述配对特征点的所述位置距离确定所述监控设备的监控画面是否出现所述场景变化现象的操作。通过该方案，可以及时更新背景，使得场景变化的判断更为准确，消除因大量前景经过导致场景变化的误报警。
为了防止水面或树叶晃动引起的场景变化的误检测，可以设置一个判断前景和背景的相似度的辅助方案，在至少一个示例性实施例中，在确定所述监控设备的监控画面出现场景变化现象的情况下，还包括：基于膨胀边缘算法分别对所述当前帧图像和所述背景帧图像对应的纹理进行膨胀；确定所述背景帧图像对应的纹理的膨胀结果和所述当前帧图像对应的纹理的膨胀结果/>之间的差值/>在差值ρ小于预定膨胀阈值的情况下，从所述画面异常检测结果中过滤掉所述监控设备的监控画面出现所述场景变化现象的确定结果。通过该方案，可以防止水面或树叶晃动引起的场景变化的误检测，提高场景变化的判断的准确性。
为了增加检测的稳定性，防止因偶然情况导致的异常检出，可以在多帧连续出现异常的情况下才进行异常判断，例如，在至少一个示例性实施例中，在确定所述监控设备的监控画面出现所述视频遮挡现象或所述场景变化现象的情况下，还包括：确定检测出现所述视频遮挡现象或所述场景变化现象的连续帧图像的数量是否超过预定帧数阈值；在连续帧图像的数量未超过所述预定帧数阈值的情况下，从所述画面异常检测结果中过滤掉所述监控设备的监控画面出现所述视频遮挡现象或所述场景变化现象的确定结果。通过该方案，可以防止因偶然情况导致的误检测，增加检测的稳定性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的一个或多个实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
实施例2
在本实施例中还提供了一种监控画面异常的检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本申请实施例2的监控画面异常的检测装置的结构框图，如图2所示，该装置包括：
获取模块22，设置为获取监控设备拍摄的当前帧图像和用于对所述监控设备的监控画面进行异常检测的背景帧图像；
异常检测模块24，设置为根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，得到画面异常检测结果。
通过上述装置，由于根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，能够基于纹理差异、配对特征点的位置距离快速识别出监控设备的异常情况，因此，可以解决如何及时发现监控画面出现视频遮挡、场景变化等异常现象(例如，人为或意外噪声的遮挡或场景变化现象)的问题，实现了监控画面异常的及时和快速的检测。
图3是根据本申请实施例2的监控画面异常的检测装置的详细结构框图，如图3所示，该装置的异常检测模块24包括：
视频遮挡检测子模块242，设置为根据所述当前帧图像和所述背景帧图像之间的所述纹理差异确定所述监控设备的监控画面是否出现视频遮挡现象；
场景变化检测子模块244，设置为根据所述当前帧图像和所述背景帧图像之间所述配对特征点的所述位置距离确定所述监控设备的监控画面是否出现场景变化现象。
本实施例的装置是用于实现实施例1中的方法，具体的实现过程请参阅实施例1中的描述，在本实施例中不再赘述。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本申请的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
步骤S1，获取监控设备拍摄的当前帧图像和用于对所述监控设备的监控画面进行异常检测的背景帧图像；
步骤S2，根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，得到画面异常检测结果。可选地，存储介质还被设置为存储用于执行以下步骤的计算机程序：
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
实施例4
本实施例详细描述了监控画面异常的检测方法的具体处理过程。该实施例的方案通过视频遮挡及场景变化检测技术、对监控设备的画面进行检测，判断视频中是否出现了遮挡和场景变化现象，以便及时对设备进行修复，并且本方案能够适应不同程度、不同大小和不同颜色的物体遮挡，有效的区分场景变化和视频遮挡。
本实施例中，场景变化和视频遮挡主要通过当前帧和背景帧的相似度来判断，因此算法涉及到背景帧的维护和相似度的计算。为了处理水面晃动和部分遮挡造成的特征点变化，计算背景帧与当前帧的canny膨胀的差异进行处理；为了处理当大物体(例如大车辆)经过监控相机前造成的误检现象，通过N帧的滑动窗口过滤可以降低误检。并且使用清晰度作为视频遮挡、场景变化、背景更新的指标。
图4是根据本申请实施例4的监控画面异常的检测方法的详细流程图，以下结合图4详细描述异常检测的具体算法。
步骤S401.当前帧和背景帧纹理判断，首先计算当前帧和背景帧的canny边缘梯度:
Xi＝Φ(xi) i＝c,b
其中，X为提取的纹理图，Φ(·)为canny边缘提取算法，x为原始灰度图像，c、b分别代表当前帧灰度图像和背景帧灰度图像；然后定义视频遮挡判断公式如下：
Xb-Xc＜θ1
如果当前帧图的纹理小于背景图像，则可能出现视频遮挡现象。
步骤S402.特征点提取及相似度计算。针对出现视频遮挡和场景变化现象时，视频的画面发生较大的变化，即提取当前图像与背景图像的特征点进行度量。
首先对当前帧图像和背景图像提取harris特征点：
其中，f(x,y)为harris特征点，I(xk,yk)为图像I的xk、yk区域，W为滑动窗口大小，对I(x+Δx,y+Δy)进行泰勒展开：
则，harris特征点为：
其中，为结构张量。利用结构张量M构建harris响应函数：
R＝det(M)-k(trace(M))2
其中，det(M)为M的行列式，trace(M)为M的迹，k为常量参数。当R→+∞时，为角点；当R→-∞时，为边；当|R|→0时，为平滑区域。
然后通过上式可计算当前图像和背景图像的特征点，在每个特征点周围区域内计算harr特征描述子：
xi,k,yi,k∈Wi
其中，Fi为第i个特征点，为harr特征计算，Wi为第i个特征点周围的窗口区域。
最后使用当前帧图像和背景帧图像的特征点的特征描述子计算当前帧和背景帧配对的特征点，并通过配对特征点的距离计算相似度：
其中，S为当前帧和背景帧的相似度，越小说明越相似；Pj,c、Pj,b分别为通过Fi计算的匹配的当前帧和背景帧特征点的位置。
步骤S403.利用canny膨胀图计算前景和背景的相似度。
首先对canny图进行膨胀：
其中，Xi为canny纹理图，γ(·)为canny膨胀边缘算法，为膨胀后的canny纹理图，c、b分别代表当前帧灰度图像和背景帧灰度图像。
然后使用当前帧和背景帧的canny膨胀结果进行遮挡和场景变化过滤：
如果ρ值较小，则说明是水面或树叶晃动等场景。
步骤S404.背景图像更新。当发生场景变化且清晰度清晰时，进行背景更新，以便处理当大量前景经过时出现场景变化误报问题。
步骤S405.视频遮挡和场景变化后处理。处理较大物体近距离经过监控设备出现视频遮挡及场景变化误报问题，处理方法如下：
η＝X'm-X'j j＝1,2,…N
其中，Xm为出现场景变化前一帧图像数据；Xj为出现场景变化后第j帧图像数据；如果在N帧中出现η值非常小，则说明出现了重复背景，可能是大物体近距离经过监控设备。并且，为了进一步增加检测的稳定性，在后处理中使用多帧连续出现才进行异常判断的平滑处理。
步骤S406.根据步骤S401、S402、S403、S405的结果，可以得到监控画面中该帧是否出现视频遮挡或者场景变化。
综上，该方案中提供了完成的视频遮挡和场景变化检测流程，并且内部维护背景图像进行视频遮挡和场景变化检测，使用特征点和特征描述子进行视频遮挡和场景变化检测，使用滑动窗口过滤较大物体经过监控设备误检，使用纹理特征检测不同比例物体遮挡。该方案具有以下优点：
1.不受到遮挡面积的限制，能够对任意比例的遮挡物进行检测。
2.不受到遮挡物体颜色的限制，能够对任意颜色的遮挡物进行检测。
3.有效的区分了视频遮挡和场景变化现象，降低了误报率。
4.本方案的算法具有较强的鲁棒性，能够适应较多前景经过监控设备和较大物体经过监控设备。
显然，本领域的技术人员应该明白，上述的本申请的一个或多个实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。
以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (12)
1.一种监控画面异常的检测方法，其特征在于，包括：
获取监控设备拍摄的当前帧图像和用于对所述监控设备的监控画面进行异常检测的背景帧图像；
根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，得到画面异常检测结果；
根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测包括以下至少之一：根据所述当前帧图像和所述背景帧图像之间的所述纹理差异确定所述监控设备的监控画面是否出现视频遮挡现象；根据所述当前帧图像和所述背景帧图像之间所述配对特征点的所述位置距离确定所述监控设备的监控画面是否出现场景变化现象。
2.根据权利要求1所述的方法，其特征在于，根据所述当前帧图像和所述背景帧图像之间的所述纹理差异确定所述监控设备的监控画面是否出现视频遮挡现象包括：
分别根据所述当前帧图像和所述背景帧图像的边缘梯度提取所述当前帧图像对应的纹理和所述背景帧图像对应的纹理；
在确定所述当前帧图像对应的纹理小于所述背景帧图像对应的纹理的情况下，确定所述监控设备的监控画面出现视频遮挡现象。
3.根据权利要求2所述的方法，其特征在于，所述当前帧图像对应的纹理小于所述背景帧图像对应的纹理包括：
所述当前帧图像对应的纹理Xc与所述背景帧图像对应的纹理Xb满足条件Xb-Xc≥θ1，其中，θ1为纹理差异判断阈值且取值大于0。
4.根据权利要求1-3中任一项所述的方法，其特征在于，在确定所述监控设备的监控画面出现视频遮挡现象的情况下，还包括：
获取所述监控设备的监控画面出现视频遮挡现象前所拍摄的一帧图像的数据X'm；
依次确定出现视频遮挡现象后N帧图像的数据X'j与数据X'm之间的差值η＝X'm-X'j，其中，j＝1,2,…N，N为预设数量；
在N帧图像中存在图像对应的差值η小于预定差值阈值的情况下，从所述画面异常检测结果中过滤掉所述监控设备的监控画面出现所述视频遮挡现象的确定结果。
5.根据权利要求1所述的方法，其特征在于，根据所述当前帧图像和所述背景帧图像之间所述配对特征点的所述位置距离确定所述监控设备的监控画面是否出现场景变化现象包括：
提取所述当前帧图像中的第一特征点和所述背景帧图像中的第二特征点；
在所述当前帧图像中每个第一特征点对应的预定区域内计算每个第一特征点的第一特征描述子，并在所述背景帧图像中每个第二特征点对应的预定区域内计算每个第二特征点的第二特征描述子；
根据所述第一特征描述子和所述第二特征描述子确定所述当前帧图像和所述背景帧图像之间的配对特征点；
在确定所述当前帧图像和所述背景帧图像之间的配对特征点的距离大于预定距离阈值的情况下，确定所述监控设备的监控画面出现场景变化现象。
6.根据权利要求5所述的方法，其特征在于，确定所述当前帧图像和所述背景帧图像之间的配对特征点的距离大于预定距离阈值包括：
确定的值大于所述预定距离阈值，其中，Pj,c和Pj,b分别为所述当前帧图像和所述背景帧图像之间的配对特征点的位置，K为所述配对特征点的总对数。
7.根据权利要求1所述的方法，其特征在于，在确定所述监控设备的监控画面出现场景变化现象的情况下，还包括：
获取清晰度高于预定清晰度阈值的当前帧图像，将获取的当前帧图像作为背景帧图像，并返回执行根据所述当前帧图像和所述背景帧图像之间所述配对特征点的所述位置距离确定所述监控设备的监控画面是否出现所述场景变化现象的操作。
8.根据权利要求1、5-7中任一项所述的方法，其特征在于，在确定所述监控设备的监控画面出现场景变化现象的情况下，还包括：
基于膨胀边缘算法分别对所述当前帧图像和所述背景帧图像对应的纹理进行膨胀；
确定所述背景帧图像对应的纹理的膨胀结果和所述当前帧图像对应的纹理的膨胀结果/>之间的差值/>
在差值ρ小于预定膨胀阈值的情况下，从所述画面异常检测结果中过滤掉所述监控设备的监控画面出现所述场景变化现象的确定结果。
9.根据权利要求1-8中任一项所述的方法，其特征在于，在确定所述监控设备的监控画面出现所述视频遮挡现象或所述场景变化现象的情况下，还包括：
确定检测出现所述视频遮挡现象或所述场景变化现象的连续帧图像的数量是否超过预定帧数阈值；
在连续帧图像的数量未超过所述预定帧数阈值的情况下，从所述画面异常检测结果中过滤掉所述监控设备的监控画面出现所述视频遮挡现象或所述场景变化现象的确定结果。
10.一种监控画面异常的检测装置，其特征在于，包括：
获取模块，设置为获取监控设备拍摄的当前帧图像和用于对所述监控设备的监控画面进行异常检测的背景帧图像；
异常检测模块，设置为根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，得到画面异常检测结果；
所述异常检测模块包括：视频遮挡检测子模块，设置为根据所述当前帧图像和所述背景帧图像之间的所述纹理差异确定所述监控设备的监控画面是否出现视频遮挡现象；场景变化检测子模块，设置为根据所述当前帧图像和所述背景帧图像之间所述配对特征点的所述位置距离确定所述监控设备的监控画面是否出现场景变化现象。
11.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至9中任一项中所述的方法。
12.一种监控画面异常的检测系统，其特征在于，包括：
一个或多个监控设备，设置为采集监控视频流，并将所述监控视频流传输至视频监控服务器；
所述视频监控服务器，与所述一个或多个监控设备相连接，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行以下操作：
接收所述监控设备传输的所述监控视频流；
获取所述监控视频流中当前帧图像和用于对所述监控设备的监控画面进行异常检测的背景帧图像；
根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测，得到画面异常检测结果；
根据所述当前帧图像和所述背景帧图像之间的纹理差异和/或配对特征点的位置距离对所述监控设备的监控画面进行异常检测包括以下至少之一：根据所述当前帧图像和所述背景帧图像之间的所述纹理差异确定所述监控设备的监控画面是否出现视频遮挡现象；根据所述当前帧图像和所述背景帧图像之间所述配对特征点的所述位置距离确定所述监控设备的监控画面是否出现场景变化现象。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010676575.0A CN111898486B (zh) | 2020-07-14 | 2020-07-14 | 监控画面异常的检测方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010676575.0A CN111898486B (zh) | 2020-07-14 | 2020-07-14 | 监控画面异常的检测方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111898486A CN111898486A (zh) | 2020-11-06 |
| CN111898486B true CN111898486B (zh) | 2024-05-10 |
Family
ID=73192712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010676575.0A Active CN111898486B (zh) | 2020-07-14 | 2020-07-14 | 监控画面异常的检测方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111898486B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112637568B (zh) * | 2020-12-24 | 2021-11-23 | 中标慧安信息技术股份有限公司 | 基于多节点边缘计算设备的分布式安全监控方法和系统 |
| CN112597952A (zh) * | 2020-12-28 | 2021-04-02 | 深圳市捷顺科技实业股份有限公司 | 一种摄像机监控状态的识别方法、装置、系统及存储介质 |
| CN113205489A (zh) * | 2021-04-16 | 2021-08-03 | 广东海文通信有限责任公司 | 一种监控图像的检测方法、装置、计算机设备和存储介质 |
| CN114245200B (zh) * | 2021-11-02 | 2024-05-07 | 浙江大华技术股份有限公司 | 监控场景变化确定方法、装置、系统和电子装置 |
| CN113936242B (zh) * | 2021-12-14 | 2022-03-11 | 苏州浪潮智能科技有限公司 | 一种视频图像干扰检测方法、系统、设备以及介质 |
| CN116563429B (zh) * | 2023-06-14 | 2023-10-27 | 厦门华厦学院 | 一种基于云计算的动画设计处理监管系统及方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799863A (zh) * | 2012-07-02 | 2012-11-28 | 中国计量学院 | 视频监控中的团体人群异常行为检测方法 |
| CN109040709A (zh) * | 2018-09-21 | 2018-12-18 | 深圳市九洲电器有限公司 | 视频监控方法及装置、监控服务器及视频监控系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101932535B1 (ko) * | 2012-08-27 | 2018-12-27 | 한화테크윈 주식회사 | 실내 감시 시스템 및 실내 감시 방법 |
-
2020
- 2020-07-14 CN CN202010676575.0A patent/CN111898486B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102799863A (zh) * | 2012-07-02 | 2012-11-28 | 中国计量学院 | 视频监控中的团体人群异常行为检测方法 |
| CN109040709A (zh) * | 2018-09-21 | 2018-12-18 | 深圳市九洲电器有限公司 | 视频监控方法及装置、监控服务器及视频监控系统 |
Non-Patent Citations (1)
| Title |
|---|
| 夏裕建 ; 孙涵 ; .监控视频异常检测与质量诊断.计算机应用与软件.2016,(第06期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111898486A (zh) | 2020-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111898486B (zh) | 监控画面异常的检测方法、装置及存储介质 | |
| US10417503B2 (en) | Image processing apparatus and image processing method | |
| CN105701467B (zh) | 一种基于人体形态特征的多人异常行为识别方法 | |
| CN110650316A (zh) | 智能巡逻及预警处理方法、装置、电子设备及存储介质 | |
| CN101167086A (zh) | 用于安全应用的人体检测和跟踪 | |
| CN112101195B (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
| CN112102409A (zh) | 目标检测方法、装置、设备及存储介质 | |
| US20220309635A1 (en) | Computer vision-based anomaly detection method, device and electronic apparatus | |
| CN109255802B (zh) | 行人跟踪方法、装置、计算机设备及存储介质 | |
| CN110414571A (zh) | 一种基于特征融合的网站报错截图分类方法 | |
| CN111563492B (zh) | 一种跌倒检测方法、跌倒检测装置及存储装置 | |
| CN109030499B (zh) | 一种适用于目标缺陷连续在线检测防止缺陷数目重复计数的装置及方法 | |
| DE112020005223T5 (de) | Objektverfolgungseinrichtung und Objektverfolgungsverfahren | |
| CN113947754A (zh) | 一种基于视觉的船舶机械运行状态监测方法、系统及存储介质 | |
| CN110909617B (zh) | 基于双目视觉的活体人脸检测方法及装置 | |
| CN114674826A (zh) | 基于布匹的视觉检测方法及检测系统 | |
| CN112686162B (zh) | 仓库环境整洁状态的检测方法、装置、设备和存储介质 | |
| CN115082326A (zh) | 视频去模糊的处理方法、边缘计算设备及中心处理器 | |
| Wang et al. | Coarse-to-fine grained image splicing localization method based on noise level inconsistency | |
| CN112232113B (zh) | 人员识别方法、人员识别装置、存储介质与电子设备 | |
| CN111754713B (zh) | 视频监控方法、装置及系统 | |
| CN114708544A (zh) | 一种基于边缘计算的违规行为智能监测头盔及其监测方法 | |
| Miljanovic et al. | Detection of windows in facades using image processing algorithms | |
| CN113111777A (zh) | 基于arm平台的室内人员密度检测系统及检测方法 | |
| CN114821795B (zh) | 一种基于ReID技术的人员跑动检测和预警方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |