CN106504282A - 一种视频遮挡检测方法和装置 - Google Patents

一种视频遮挡检测方法和装置 Download PDF

Info

Publication number
CN106504282A
CN106504282A CN201611041564.5A CN201611041564A CN106504282A CN 106504282 A CN106504282 A CN 106504282A CN 201611041564 A CN201611041564 A CN 201611041564A CN 106504282 A CN106504282 A CN 106504282A
Authority
CN
China
Prior art keywords
frame
video
block
adjacent
degree coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611041564.5A
Other languages
English (en)
Other versions
CN106504282B (zh
Inventor
安鹏洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201611041564.5A priority Critical patent/CN106504282B/zh
Publication of CN106504282A publication Critical patent/CN106504282A/zh
Application granted granted Critical
Publication of CN106504282B publication Critical patent/CN106504282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例涉及图像处理领域，尤其涉及一种视频遮挡检测方法和装置，包括：分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图；根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数；根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数；若确定的所述第二不相似度系数大于第一阈值，则确定检测区域内发生遮挡，可以看出，通过分析相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图来判断检测区域是否发生遮挡，从而减少了运算量，提升了判断的效率。

Description

一种视频遮挡检测方法和装置
技术领域
本发明实施例涉及图像处理领域，尤其涉及一种视频遮挡检测方法和装置。
背景技术
视频监控是安全防范系统的重要组成部分，它是一种防范能力较强的综合系统。视频监控以其直观、准确、及时和信息内容丰富而广泛应用于社会各行各业，比如企业、公安、电力、地铁、银行、机场、医院、边防、政府、学校、金融、超市等场所。
视频遮挡，即监控设备中的摄像头由于受到干扰而影响对画面内容的观看，例如有人用手遮挡摄像头，用颜料喷涂摄像头等，这种状况持续一定的时间才可认定为视频遮挡，对于偶然行为引起的视频画面的短时间突然变化，应排除在视频遮挡之外。
现有技术中，在判定是否是被遮挡时，需要采集并存储至少两帧视频帧的原始图像，占用较多内存，并增加了运算量。
发明内容
本发明实施例提供一种视频遮挡检测方法和装置，用以通过分析相邻两视频帧的纹理特征来判断检测区域是否遮挡，从而减少了运算量，提升了判断的效率和准确性。
本发明实施例提供一种视频遮挡检测方法，包括：
分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图；
根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数；
根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数；
若确定的所述第二不相似度系数大于第一阈值，则确定检测区域内发生遮挡。
较佳的，所述根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数，包括：
针对任意同一位置的相邻两视频帧中的视频帧子块，根据确定的第一不相似度系数以及所述位置的权重值，确定相邻两视频帧的第二不相似度系数。
较佳的，在根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数之前，还包括:
若确定的所述第一不相似度系数大于第二阈值，则确定所述相邻两视频帧中的任意一个视频帧的视频帧子块被遮挡，并统计被遮挡的视频帧子块的数量；
所述根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数，包括：
根据确定的第一不相似度系数、所述位置的权重值以及被遮挡的视频帧子块的数量，确定相邻两视频帧的第二不相似度系数。
较佳的，根据下列方式确定所述位置的权重值：
针对任意一个位置上的视频帧子块，根据所述视频帧子块的面积、所述视频帧子块的面积与所述检测区域的重叠面积，确定所述位置的权重值。
较佳的，在根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数之后，还包括：
若确定的所述第一不相似度系数大于第三阈值，则统计所述相邻两视频帧中的任意一个视频帧的不相似度系数大于第三阈值的视频帧子块的数量；
若统计的不相似度系数大于第三阈值的视频帧子块的数量大于第四阈值，则判定所述检测区域整体被遮挡。
较佳的，在分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图之前，还包括：
将所述相邻两视频帧的分辨率均缩放到预先设定的分辨率。
较佳的，在分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图之前，还包括：
将所述相邻两视频帧均划分成至少两个视频帧子块，并且同一视频帧中的视频帧子块不重叠。
本发明实施例提供一种视频遮挡检测装置，包括：
第一确定模块，用于分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图；
计算模块，用于根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数；
根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数；
第二确定模块，用于在确定的所述第二不相似度系数大于第一阈值时，确定检测区域内发生遮挡。
较佳的，所述计算模块，具体用于：
针对任意同一位置的相邻两视频帧中的视频帧子块，根据确定的第一不相似度系数以及所述位置的权重值，确定相邻两视频帧的第二不相似度系数。
较佳的，所述第二确定模块，还用于：
在根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数之前，在确定的所述第一不相似度系数大于第二阈值时，确定所述相邻两视频帧中的任意一个视频帧的视频帧子块被遮挡，并统计被遮挡的视频帧子块的数量；
所述计算模块，具体用于：
根据确定的第一不相似度系数、所述位置的权重值以及被遮挡的视频帧子块的数量，确定相邻两视频帧的第二不相似度系数。
较佳的，根据下列方式确定所述位置的权重值：
针对任意一个位置上的视频帧子块，根据所述视频帧子块的面积、所述视频帧子块的面积与所述检测区域的重叠面积，确定所述位置的权重值。
较佳的，所述第二确定模块，还用于：
在根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数之后，在确定的所述第一不相似度系数大于第三阈值时，统计所述相邻两视频帧中的任意一个视频帧的不相似度系数大于第三阈值的视频帧子块的数量；在统计的不相似度系数大于第三阈值的视频帧子块的数量大于第四阈值时，判定所述检测区域整体被遮挡。
较佳的，所述第一确定模块，还用于：
在分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图之前，将所述相邻两视频帧的分辨率均缩放到预先设定的分辨率。
较佳的，所述第一确定模块，还用于：
在分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图之前，将所述相邻两视频帧均划分成至少两个视频帧子块，并且同一视频帧中的视频帧子块不重叠。
上述实施例提供的视频遮挡检测方法和装置，包括：首先分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图；然后根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数；根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数；若确定的所述第二不相似度系数大于第一阈值，则确定检测区域内发生遮挡，可以看出，通过分析相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图来判断检测区域是否发生遮挡，即通过分析相邻两视频帧与检测区域有重叠的至少一个视频帧子块的纹理特征来判断检测区域是否遮挡发生遮挡，从而减少了运算量，提升了判断的效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍。
图1为本发明实施例提供的一种视频遮挡检测方法的流程图；
图2为本发明实施例提供的基于相邻三视频帧判断检测区域是否发生遮挡的方法流程图；
图3a～图3b为本发明实施例提供的视频帧缩小至设定分辨率的结构示意图；
图3c～图3d为本发明实施例提供的视频帧的LBP特征图像值的结构示意图；
图4为本发明实施例提供的一种视频遮挡检测装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1示例性示出了本发明实施例提供的一种视频遮挡检测方法的流程图，如图1所示，该方法可包括：
S101、分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图。
值得注意的是，该步骤中的检测区域是由用户自定义设置的区域，例如为矩形区域，其尺寸应不大于视频帧的尺寸，相应地，下文中所指的“检测区域”一词均是指在该步骤中已经设置好了的检测区域。
S102、根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数。
第一不相似度系数是度量相邻两视频帧间不相似性的指标，其值越大表示相邻两视频帧越不相似。
S103、根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数。
S104、判断确定的第二不相似度系数是否大于第一阈值，若是，则转至步骤S105，否则，转至步骤S106。
其中，所述第一阈值是基于相邻两视频帧未被遮挡时，由噪声干扰所造成的图像特征变化的最大值，即第一阈值是基于相邻两视频帧未被遮挡时且在噪声干扰的情况下，所计算出的相邻两视频帧的不相似度系数的最大值。
S105、确定检测区域内发生遮挡。
S106、确定检测区域内未发生遮挡。
为了减少运算量，在分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图时，可只在相邻两视频帧中的灰度图上进行计算并保存与检测区域有重叠的至少一个视频帧子块的直方图。
为了节省存储资源，在分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图之前，还可将所述相邻两视频帧的分辨率均缩放到预先设定的分辨率。例如，若相邻两视频帧的原始分辨率为1920(pixel)*1080(pixel)，则可将所述相邻两视频帧的分辨率缩放至720(pixel)*576(pixel)。
在判断检测区域是否发生遮挡时，为了具有更高的准确度，也可以先确定视频帧子块的LBP(Local Binary Pattern，局部二值模式)特征图像，然后确定视频帧子块的LBP(Local Binary Pattern，局部二值模式)特征图像的直方图，并将确定的视频帧子块的LBP(Local Binary Pattern，局部二值模式)特征图像的直方图作为视频帧子块的特征直方图，最后基于视频帧子块的特征直方图，判断检测区域是否发生遮挡。即为了具有更高的准确度，也可分别确定相邻两视频帧与检测区域有重叠的至少一个视频帧子块的特征图像直方图，然后根据同一位置的相邻两视频帧中视频帧子块的特征图像直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数，最后基于特征图像直方图所确定的第一不相似度系数，判断检测区域是否发生遮挡。
具体的，在确定视频帧子块的LBP特征图像时，可采用灰度不变性LBP的方式确定视频帧子块的LBP特征图像，也可采用旋转不变性LBP的方式确定视频帧子块的LBP特征图像，还可采用旋转不变等价LBP的方式确定视频帧子块的LBP特征图像。
优选的，在判断检测区域是否发生遮挡时，为了具有更高的准确度，针对任意同一位置的相邻两视频帧中的视频帧子块，在确定相邻两视频帧的第二不相似度系数中时，还可根据确定的第一不相似度系数以及所述位置的权重值，确定相邻两视频帧的第二不相似度系数。
其中，可通过下列两种方式确定所述位置的权重值。
方式一、针对任意一个位置上的视频帧子块，根据视频帧子块的面积、视频帧子块与检测区域的重叠面积，确定所述位置的权重值。
具体的，针对任意一个位置上的视频帧子块，可将视频帧子块与检测区域的重叠面积除以视频帧子块的面积，作为所述位置的权重值。因此，当视频帧子块完全包含在检测区域内时，权重值最大，当视频帧子块完全不在检测区域内时，权重值最小。
方式二、针对任意一个位置上的视频帧子块，先根据视频帧子块的面积、视频帧子块的面积与检测区域的重叠面积计算出所述位置的权重值，并将该位置的权重值乘以该位置所对应的扩散系数所得到的值，作为所述位置的最终权重值。
优选的，在根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数之前，还可将确定的第一不相似度系数与第二阈值进行比较，若确定的第一不相似度系数大于第二阈值，则确定相邻两视频帧中的任意一个视频帧的视频帧子块被遮挡，并统计被遮挡的视频帧子块的数量，然后根据确定的第一不相似度系数、所述位置的权重值以及被遮挡的视频帧子块的数量，确定相邻两视频帧的第二不相似度系数。其中，第二阈值可以与第一阈值相同，第二阈值可以与第一阈值不相同，当第二阈值与第一阈值不相同时，第二阈值可以基于相邻两视频帧未被遮挡时，所述位置对应的视频帧子块由噪声干扰所造成的图像特征变化的最大值，即第二阈值是基于相邻两视频帧未被遮挡时且在噪声干扰的情况下，所计算出的所述位置对应的相邻两视频帧子块的不相似度系数的最大值，
具体的，可先确定各视频帧子块的第一不相似度系数与各视频帧所对应的位置的权重乘积之和，然后将确定的各视频帧子块的第一不相似度系数与各视频帧所对应的位置的权重乘积之和除以被遮挡的视频帧子块的数量之后所得的值，作为相邻两视频帧的第二不相似度系数。
在根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数之后，还可将确定的第一不相似度系数与第三阈值进行比较，若确定的第一不相似度系数大于第三阈值，则统计相邻两视频帧中的任意一个视频帧的不相似度系数大于第三阈值的视频帧子块的数量，若统计的不相似度系数大于第三阈值的视频帧子块的数量大于第四阈值，则判定检测区域整体被遮挡。其中，第三阈值基于相邻两视频帧整体被遮挡时，由噪声干扰所造成的图像特征变化的最大值，即第三阈值基于相邻两视频帧整体被遮挡时且在噪声干扰的情况下，所计算出的相邻两视频帧的不相似度系数的最大值。
为了具有更高的准确度，还可基于相邻三视频帧判断检测区域是否发生遮挡，为了描述简便起见，假设按照时间先后顺序获取的三帧视频帧分别为第k-2帧视频帧、第k-1帧视频帧和第k帧视频帧，则基于相邻三视频帧判断检测区域是否发生遮挡的方法流程，可参见图2。
S201、采集第k帧视频帧，并确定第k帧视频帧的像素值。
S202、根据第k帧视频帧的像素值，确定第k帧视频帧特征图像值。
S203、将第k帧视频帧划分成至少一个视频帧子块，并计算与检测区域有重叠的至少一个视频帧子块的特征图像值的特征直方图。
S204、基于任一与检测区域有重叠的视频帧子块所对应的位置，计算第k帧视频帧中的第一视频帧子块的特征直方图，并获取第k-1帧视频帧中的第二视频帧子块的特征直方图、第k-2帧视频帧中的第三视频帧子块的特征直方图。
具体的，可从第一模板MOD0中获取第k-1帧视频帧中的第二视频帧子块的特征直方图，可从第二模板MOD1中获取第k-2帧视频帧中的第三视频帧子块的特征直方图。
S205、根据第一视频帧子块的特征图像值的特征直方图和第二视频帧子块的特征图像值的特征直方图，确定第一视频帧子块的第一不相似度系数；根据第一视频帧子块的特征图像值的特征直方图和第三视频帧子块的特征图像值的特征直方图，确定第一视频帧子块的第二不相似度系数；根据第二视频帧子块的特征图像值的特征直方图和第三视频帧子块的特征图像值的特征直方图，确定第一视频帧子块的第三不相似度系数。
S206、判断当前视频帧子块是否是与检测区域有重叠的最后一个视频帧子块，若是，则转至步骤S207，否则，转至步骤S204。
S207、根据第一视频帧子块的第一不相似度系数，确定第k帧视频帧的第一不相似度系数P0；根据第一视频帧子块的第二不相似度系数，确定第k帧视频帧的第二不相似度系数P1；根据第一视频帧子块的第三不相似度系数，确定第k帧视频帧的第三不相似度系数P2。
S208、根据第k帧视频帧的第一不相似度系数P0、第k帧视频帧的第二不相似度系数P1以及第k帧视频帧的第三不相似度系数P2，确定检测区域是否发生遮挡。
具体的，在根据第k帧视频帧的第一不相似度系数P0、第k帧视频帧的第二不相似度系数P1以及第k帧视频帧的第三不相似度系数P2，确定检测区域是否发生遮挡时，可包括但不限于以下五种情况。
情况一
如果第一不相似度系数P0、第二不相似度系数P1、第三不相似度系数P2均小于第一阈值，则说明没有发生遮挡，并将第一模板MOD0中的特征直方图信息更新至第二模板MOD1中，将第k帧视频帧中的第一视频帧子块的特征直方图信息存储至第一模板MOD0。
情况二
如果第一不相似度系数P0和第二不相似度系数P1均大于第一阈值，并且第三不相似度系数P2小于第一阈值，则说明遮挡开始发生，仅将第k帧视频帧中的第一视频帧子块的特征直方图信息存储至第一模板MOD0，同时启动预警。
情况三
如果第一不相似度系数P0、第二不相似度系数P1、第三不相似度系数P2均大于第一阈值，则说明遮挡区域不断变化，仅将第k帧视频帧中的第一视频帧子块的特征直方图信息存储至第一模板MOD0，同时启动报警级别1。
情况四
如果第一不相似度系数P0小于第一阈值，并且第二不相似度系数P1和第三不相似度系数P2均大于第一阈值，则说明遮挡稳定，仅将第k帧视频帧中的第一视频帧子块的特征直方图信息存储至第一模板MOD0，同时启动报警级别2。
情况五
如果第一不相似度系数P0大于第一阈值，第二不相似度系数P1小于第一阈值，并且第三不相似度系数P2大于第一阈值，则说明遮挡消失，仅将第k帧视频帧中的第一视频帧子块的特征直方图信息存储至第一模板MOD0，同时停止报警。
值得注意的是，基于第k帧视频帧的第一不相似度系数P0、第k帧视频帧的第二不相似度系数P1、第k帧视频帧的第三不相似度系数P2的基础上，还可计算出第k帧视频帧的遮挡因子，并基于遮挡因子判断检测区域内是否发生遮挡。
需要说明的是，用户在自定义检测区域时，可自定义多个检测区域，并且当将相邻两视频帧或者相邻三视频帧均划分成至少两个视频帧子块时，保证同一视频帧中的视频帧子块不重叠。
下面通过一个具体的例子对上述的方法流程进行详细的解释说明，为了描述简便起见，假设按照时间先后顺序获取相邻的两个视频帧分别为第1帧视频帧和第2帧视频帧，并假设将所述相邻两视频帧即第1帧视频帧和第2帧视频帧均分成4个视频帧子块，进一步假设预先设定的分辨率为8(pixel)*8(pixel)，预先设置的检测区域为检测区域M，进一步假设判断检测区域M以及判断视频帧子块是否遮挡的阈值均为G0。
在将第1帧视频帧缩小至8(pixel)*8(pixel)以后的结构示意图，可参见图3a，在图3a中，将第1帧视频帧分成四个视频帧子块分别为视频帧子块11、视频帧子块12、视频帧子块13、视频帧子块14。
在将第2帧视频帧缩小至8(pixel)*8(pixel)以后的结构示意图，可参见图3b，在图3b中，将第1帧视频帧分成四个视频帧子块分别为视频帧子块21、视频帧子块22、视频帧子块23、视频帧子块24。
基于第1帧视频帧或者基于第2帧视频帧均可计算各视频帧子块的权重值，下面以第2帧视频帧为例计算视频帧子块21、视频帧子块22、视频帧子块23、视频帧子块24的权重值。
视频帧子块21的权重值Y1＝重叠面积所包含的像素个数/分块面积所包含的的像素个数＝4/16＝0.25；视频帧子块22的权重值Y2＝重叠面积所包含的像素个数/分块面积所包含的的像素个数＝4/16＝0.25；视频帧子块23的权重值Y3＝重叠面积所包含的像素个数/分块面积所包含的的像素个数＝4/16＝0.25；视频帧子块24的权重值Y4＝重叠面积所包含的像素个数/分块面积所包含的的像素个数＝4/16＝0.25。
然后，分别计算第1帧视频帧和第2帧视频帧的LBP特征图像，计算出的第1帧视频帧的LBP特征图像值，可参考图3c所示，计算出的第2帧视频帧的LBP特征图像值，可参考图3d所示。
基于图3c的基础上，可计算出第1帧视频帧中视频帧子块11的特征直方图、视频帧子块12的特征直方图、视频帧子块13的特征直方图、视频帧子块14的特征直方图；基于图3d的基础上，可计算出第2帧视频帧中视频帧子块21的特征直方图、视频帧子块22的特征直方图、视频帧子块23的特征直方图、视频帧子块24的特征直方图。
基于视频帧子块11的特征直方图和视频帧子块21的特征直方图，计算视频帧子块21与视频帧子块11的不相似度系数A。
具体的，可将视频帧子块11的特征直方图中各个像素值出现的次数与视频帧子块21的特征直方图中相应像素值出现的次数采用卡方距离或者巴氏系数的方式计算出视频帧子块21与视频帧子块11的不相似度系数A，并假设A大于阈值G0，则判定视频帧子块11或者视频帧子块21发生遮挡。
同理，基于视频帧子块12的特征直方图和视频帧子块22的特征直方图，计算视频帧子块22与视频帧子块12的不相似度系数B，并假设B大于阈值G0，则判定视频帧子块12或者视频帧子块22发生遮挡；基于视频帧子块13的特征直方图和视频帧子块23的特征直方图，计算视频帧子块23与视频帧子块13的不相似度系数C，并假设C大于阈值G0，则判定视频帧子块13或者视频帧子块23发生遮挡；基于视频帧子块14的特征直方图和视频帧子块24的特征直方图，计算视频帧子块24与视频帧子块14的不相似度系数D，并假设D小于阈值G0，则判定视频帧子块14或者视频帧子块24未发生遮挡。因此，可确定发生遮挡的视频帧子块的数量为3。
在计算出视频帧子块21与视频帧子块11的不相似度系数A、视频帧子块22与视频帧子块12的不相似度系数B、视频帧子块23与视频帧子块13的不相似度系数C、视频帧子块24与视频帧子块14的不相似度系数D之后，可基于视频帧子块21与视频帧子块11的不相似度系数A、视频帧子块22与视频帧子块12的不相似度系数B、视频帧子块23与视频帧子块13的不相似度系数C、视频帧子块24与视频帧子块14的不相似度系数D，计算出第2视频帧与第1视频帧的不相似度系数H。
为了在判断检测区域是否发生遮挡时，具有更高的准确度，在计算出视频帧子块21与视频帧子块11的不相似度系数A、视频帧子块22与视频帧子块12的不相似度系数B、视频帧子块23与视频帧子块13的不相似度系数C、视频帧子块24与视频帧子块14的不相似度系数D，以及视频帧子块21的权重值Y1、视频帧子块22的权重值Y2、视频帧子块23的权重值Y3、视频帧子块24的权重值Y4之后，可包括但不限于以下四种方法计算第2视频帧与第1视频帧的不相似度系数H。
第一种方法
H＝A+B+C+D
第二种方法
H＝Y1*A+Y2*B+Y3*C+Y4*D
第三种方法
H＝Y1*A*(视频帧子块21的面积)+Y2*B*(视频帧子块22的面积)+Y3*C*(视频帧子块23的面积)+Y4*D*(视频帧子块24的面积)。
其中，视频帧子块21的面积为视频帧子块21的像素个数，视频帧子块22的面积为视频帧子块22的像素个数，视频帧子块23的面积为视频帧子块23的像素个数，视频帧子块24的面积为视频帧子块24的像素个数。
因此，H＝Y1*A*16+Y2*B*16+Y3*C*16+Y4*D*16。
第四种方法
H＝Y1+Y2+Y3
针对上述四种计算第2视频帧与第1视频帧的不相似度系数H的方法，相应的，存在四种计算第2视频帧与第1视频帧的遮挡因子K的方法。
针对上述第一种计算第2视频帧与第1视频帧的不相似度系数H的方法，计算遮挡因子K的方法如下：
K＝(A+B+C+D)/与检测区域重叠的视频帧子块数，
而又因H＝A+B+C+D，因此，此时第2视频帧与第1视频帧的不相似度系数H，与遮挡因子K之间的关系为K＝H/4。
针对上述第二种计算第2视频帧与第1视频帧的不相似度系数H的方法，计算遮挡因子K的方法如下：
K＝(Y1*A+Y2*B+Y3*C+Y4*D)/与检测区域重叠的视频帧子块数，即K＝(Y1*A+Y2*B+Y3*C+Y4*D)/4。
而又因H＝Y1*A+Y2*B+Y3*C+Y4*D，因此，此时第2视频帧与第1视频帧的不相似度系数H，与遮挡因子K之间的关系为K＝H/4。
针对上述第三种计算第2视频帧与第1视频帧的不相似度系数H的方法，计算遮挡因子K的方法如下：
K＝[Y1*A*(视频帧子块21的面积)+Y2*B(视频帧子块22的面积)+Y3*C(视频帧子块23的面积)+Y4*D(视频帧子块24的面积)]/检测区域面积，即K＝[Y1*A*16+Y2*B*16+Y3*C*16+Y4*D*16]/(8*8)。
而又因H＝Y1*A*16+Y2*B*16+Y3*C*16+Y4*D*16，因此，此时第2视频帧与第1视频帧的不相似度系数H，与遮挡因子K之间的关系为K＝H/64。
针对上述第四种计算第2视频帧与第1视频帧的不相似度系数H的方法，计算遮挡因子K的方法如下：
K＝(Y1+Y2+Y3)/检测区域内发生遮挡的视频帧子块数，即K＝(Y1+Y2+Y3)/3。
而又因H＝Y1+Y2+Y3，因此，此时第2视频帧与第1视频帧的不相似度系数H，与遮挡因子K之间的关系为K＝H/3。
最后，在计算出第2视频帧与第1视频帧的不相似度系数H之后，将计算出的不相似度系数H与预先设置的阈值G0进行比较，若不相似度系数H大于阈值G0，则判定检测区域M内发生遮挡，否则判定检测区域M内未发生遮挡。
而在计算出第2视频帧与第1视频帧的遮挡因子K之后，可将计算出的遮挡因子K与预先设置的阈值G1进行比较，并在遮挡因子K大于阈值G1时，判定检测区域M内发生遮挡，其中，阈值G1是用于判断图像发生遮挡的，且阈值G1大于阈值G0，并且阈值G1小于视频帧完全遮挡时图像特征变化的最小值，即阈值G1是基于相邻两视频帧完全被遮挡时，由噪声干扰所造成的图像特征变化的最小值，即阈值G1是基于相邻两视频帧完全被遮挡时且在噪声干扰的情况下，所计算出的相邻两视频帧的不相似度系数的最小值。
根据以上内容可以看出，通过分析相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图来判断检测区域是否发生遮挡，即通过分析相邻两视频帧与检测区域有重叠的至少一个视频帧子块的纹理特征来判断检测区域是否遮挡发生遮挡，从而减少了运算量，提升了判断的效率。
又由于在分析相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图之前，还可将相邻两视频帧的分辨率均缩放到预先设定的分辨率，因此，不仅能够减小内存的占用，而且还能够适合多种分辨率视频帧图像的归一化处理。
另外，在通过分析相邻两视频帧与检测区域有重叠的至少一个视频帧子块的纹理特征时，由于可采用LBP算法提取视频帧图像特征，不仅能够减小空间占用，而且还能够提高检测的可靠性。
进一步的，还可将相邻两视频帧与检测区域有重叠的至少一个视频帧子块的纹理特征与视频帧子块的权重结合判断检测区域是否遮挡发生遮挡，从而提高了判断的可靠性。
基于相同的技术构思，本发明实施例还提供一种视频遮挡检测装置，如图4所示，该装置可包括：
第一确定模块401，用于分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图；
计算模块402，用于根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数；
根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数；
第二确定模块403，用于在确定的所述第二不相似度系数大于第一阈值时，确定检测区域内发生遮挡。
较佳的，计算模块402，具体用于：
针对任意同一位置的相邻两视频帧中的视频帧子块，根据确定的第一不相似度系数以及所述位置的权重值，确定相邻两视频帧的第二不相似度系数。
较佳的，第二确定模块403，还用于：
在根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数之前，在确定的所述第一不相似度系数大于第二阈值时，确定所述相邻两视频帧中的任意一个视频帧的视频帧子块被遮挡，并统计被遮挡的视频帧子块的数量；
计算模块402，具体用于：
根据确定的第一不相似度系数、所述位置的权重值以及被遮挡的视频帧子块的数量，确定相邻两视频帧的第二不相似度系数。
较佳的，根据下列方式确定所述位置的权重值：
针对任意一个位置上的视频帧子块，根据所述视频帧子块的面积、所述视频帧子块的面积与所述检测区域的重叠面积，确定所述位置的权重值。
较佳的，第二确定模块，还用于：
在根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数之后，在确定的所述第一不相似度系数大于第三阈值时，统计所述相邻两视频帧中的任意一个视频帧的不相似度系数大于第三阈值的视频帧子块的数量；在统计的不相似度系数大于第三阈值的视频帧子块的数量大于第四阈值时，判定所述检测区域整体被遮挡。
较佳的，第一确定模块，还用于：
在分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图之前，将所述相邻两视频帧的分辨率均缩放到预先设定的分辨率。
较佳的，第一确定模块，还用于：
在分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图之前，将所述相邻两视频帧均划分成至少两个视频帧子块，并且同一视频帧中的视频帧子块不重叠。
综上，可以看出，通过分析相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图来判断检测区域是否发生遮挡，即通过分析相邻两视频帧与检测区域有重叠的至少一个视频帧子块的纹理特征来判断检测区域是否遮挡发生遮挡，从而减少了运算量，提升了判断的效率。
又由于在分析相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图之前，还可将将相邻两视频帧的分辨率均缩放到预先设定的分辨率，因此，不仅能够减小内存的占用，而且还能够适合多种分辨率视频帧图像的处理。
另外，在通过分析相邻两视频帧与检测区域有重叠的至少一个视频帧子块的纹理特征时，由于可采用LBP算法提取视频帧图像特征，不仅能够减小空间占用，而且还能够提高检测的可靠性。
进一步的，还可将相邻两视频帧与检测区域有重叠的至少一个视频帧子块的纹理特征与视频帧子块的权重结合判断检测区域是否遮挡发生遮挡，从而提高了判断的可靠性。
本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种视频遮挡检测方法，其特征在于，包括：
分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图；
根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数；
根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数；
若确定的所述第二不相似度系数大于第一阈值，则确定检测区域内发生遮挡。
2.如权利要求1所述的方法，其特征在于，所述根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数，包括：
针对任意同一位置的相邻两视频帧中的视频帧子块，根据确定的第一不相似度系数以及所述位置的权重值，确定相邻两视频帧的第二不相似度系数。
3.如权利要求2所述的方法，其特征在于，在根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数之前，还包括:
若确定的所述第一不相似度系数大于第二阈值，则确定所述相邻两视频帧中的任意一个视频帧的视频帧子块被遮挡，并统计被遮挡的视频帧子块的数量；
所述根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数，包括：
根据确定的第一不相似度系数、所述位置的权重值以及被遮挡的视频帧子块的数量，确定相邻两视频帧的第二不相似度系数。
4.如权利要求2或3所述的方法，其特征在于，根据下列方式确定所述位置的权重值：
针对任意一个位置上的视频帧子块，根据所述视频帧子块的面积、所述视频帧子块的面积与所述检测区域的重叠面积，确定所述位置的权重值。
5.如权利要求1所述的方法，其特征在于，在根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数之后，还包括：
若确定的所述第一不相似度系数大于第三阈值，则统计所述相邻两视频帧中的任意一个视频帧的不相似度系数大于第三阈值的视频帧子块的数量；
若统计的不相似度系数大于第三阈值的视频帧子块的数量大于第四阈值，则判定所述检测区域整体被遮挡。
6.如权利要求1所述的方法，其特征在于，在分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图之前，还包括：
将所述相邻两视频帧的分辨率均缩放到预先设定的分辨率。
7.如权利要求1～6任一项所述的方法，其特征在于，在分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图之前，还包括：
将所述相邻两视频帧均划分成至少两个视频帧子块，并且同一视频帧中的视频帧子块不重叠。
8.一种视频遮挡检测装置，其特征在于，包括：
第一确定模块，用于分别确定相邻两视频帧中与检测区域有重叠的至少一个视频帧子块的直方图；
计算模块，用于根据同一位置的相邻两视频帧中的视频帧子块的直方图，确定同一位置的相邻两视频帧中的视频帧子块的第一不相似度系数；
根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数；
第二确定模块，用于在确定的所述第二不相似度系数大于第一阈值时，确定检测区域内发生遮挡。
9.如权利要求8所述的装置，其特征在于，所述计算模块，具体用于：
针对任意同一位置的相邻两视频帧中的视频帧子块，根据确定的第一不相似度系数以及所述位置的权重值，确定相邻两视频帧的第二不相似度系数。
10.如权利要求8所述的装置，其特征在于，所述第二确定模块，还用于：
在根据确定的第一不相似度系数，确定相邻两视频帧的第二不相似度系数之前，在确定的所述第一不相似度系数大于第二阈值时，确定所述相邻两视频帧中的任意一个视频帧的视频帧子块被遮挡，并统计被遮挡的视频帧子块的数量；
所述计算模块，具体用于：
根据确定的第一不相似度系数、所述位置的权重值以及被遮挡的视频帧子块的数量，确定相邻两视频帧的第二不相似度系数。
CN201611041564.5A 2016-11-23 2016-11-23 一种视频遮挡检测方法和装置 Active CN106504282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611041564.5A CN106504282B (zh) 2016-11-23 2016-11-23 一种视频遮挡检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611041564.5A CN106504282B (zh) 2016-11-23 2016-11-23 一种视频遮挡检测方法和装置

Publications (2)

Publication Number Publication Date
CN106504282A true CN106504282A (zh) 2017-03-15
CN106504282B CN106504282B (zh) 2019-09-17

Family

ID=58328059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611041564.5A Active CN106504282B (zh) 2016-11-23 2016-11-23 一种视频遮挡检测方法和装置

Country Status (1)

Country Link
CN (1) CN106504282B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368785A (zh) * 2020-03-17 2020-07-03 广东智媒云图科技股份有限公司 一种摄像头遮挡判断方法、装置、设备及存储介质
CN113112495A (zh) * 2021-04-30 2021-07-13 浙江大华技术股份有限公司 一种异常图像处理方法、装置、热成像设备及存储介质
CN115118948A (zh) * 2022-06-20 2022-09-27 北京华录新媒信息技术有限公司 一种全景视频中无规则遮挡的修复方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080253681A1 (en) * 2004-08-20 2008-10-16 Vyacheslav Chesnokov Image Processing Method and Computer Software for Image Processing
CN103780899A (zh) * 2012-10-25 2014-05-07 华为技术有限公司 一种检测摄像机是否被干扰的方法、装置及视频监控系统
CN104268900A (zh) * 2014-09-26 2015-01-07 中安消技术有限公司 一种运动目标检测方法及装置
CN104504707A (zh) * 2014-12-26 2015-04-08 西安理工大学 一种监控相机视频画面的异物遮挡检测方法
CN104637068A (zh) * 2013-11-14 2015-05-20 华为技术有限公司 视频帧及视频画面遮挡检测方法及装置
CN105357517A (zh) * 2015-11-16 2016-02-24 华为技术有限公司 屏幕的图像检测方法和装置
CN106127808A (zh) * 2016-06-20 2016-11-16 浙江工业大学 一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080253681A1 (en) * 2004-08-20 2008-10-16 Vyacheslav Chesnokov Image Processing Method and Computer Software for Image Processing
CN103780899A (zh) * 2012-10-25 2014-05-07 华为技术有限公司 一种检测摄像机是否被干扰的方法、装置及视频监控系统
CN104637068A (zh) * 2013-11-14 2015-05-20 华为技术有限公司 视频帧及视频画面遮挡检测方法及装置
CN104268900A (zh) * 2014-09-26 2015-01-07 中安消技术有限公司 一种运动目标检测方法及装置
CN104504707A (zh) * 2014-12-26 2015-04-08 西安理工大学 一种监控相机视频画面的异物遮挡检测方法
CN105357517A (zh) * 2015-11-16 2016-02-24 华为技术有限公司 屏幕的图像检测方法和装置
CN106127808A (zh) * 2016-06-20 2016-11-16 浙江工业大学 一种基于颜色与局部二值模式特征融合的抗遮挡粒子滤波目标跟踪方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368785A (zh) * 2020-03-17 2020-07-03 广东智媒云图科技股份有限公司 一种摄像头遮挡判断方法、装置、设备及存储介质
CN111368785B (zh) * 2020-03-17 2023-08-25 广东智媒云图科技股份有限公司 一种摄像头遮挡判断方法、装置、设备及存储介质
CN113112495A (zh) * 2021-04-30 2021-07-13 浙江大华技术股份有限公司 一种异常图像处理方法、装置、热成像设备及存储介质
CN113112495B (zh) * 2021-04-30 2024-02-23 浙江华感科技有限公司 一种异常图像处理方法、装置、热成像设备及存储介质
CN115118948A (zh) * 2022-06-20 2022-09-27 北京华录新媒信息技术有限公司 一种全景视频中无规则遮挡的修复方法及装置
CN115118948B (zh) * 2022-06-20 2024-04-05 北京华录新媒信息技术有限公司 一种全景视频中无规则遮挡的修复方法及装置

Also Published As

Publication number Publication date
CN106504282B (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
US9881217B2 (en) Method for detecting crowd density, and method and apparatus for detecting interest degree of crowd in target position
US9245200B2 (en) Method for detecting a straight line in a digital image
CN108875511B (zh) 图像生成的方法、装置、系统及计算机存储介质
US8706663B2 (en) Detection of people in real world videos and images
JP2004158042A (ja) 映像のテキスチャー特徴を記述する方法、装置およびその媒体
US20160335491A1 (en) Method and device for detecting gathering of objects based on stereo vision as well as non-transitory computer-readable medium
US9361702B2 (en) Image detection method and device
US20180121739A1 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US8774461B2 (en) Method and system for automatic detection of a class of objects
JP6616521B2 (ja) 画像処理装置
WO2021114896A1 (zh) 一种基于计算机视觉的异常检测方法、装置及电子设备
CN105243395A (zh) 一种人体图像比对方法和装置
EP3073443A1 (en) 3D Saliency map
CN106504282B (zh) 一种视频遮挡检测方法和装置
JP5253102B2 (ja) 物体判別方法および物体判別装置
CN109034100B (zh) 人脸图样检测方法、装置、设备及存储介质
US20170053172A1 (en) Image processing apparatus, and image processing method
López-Rubio et al. Local color transformation analysis for sudden illumination change detection
CN106778822B (zh) 基于漏斗变换的图像直线检测方法
CN105427276A (zh) 一种基于图像局部边缘特征的摄像头检测方法
CN110765875B (zh) 交通目标的边界检测方法、设备及装置
Castelló et al. Reducing complexity in polygonal meshes with view-based saliency
CN113592801B (zh) 视频图像的条纹干扰检测方法及其装置
KR101674266B1 (ko) 영상 기반의 건설 현장 안전 수준 평가 시스템
CN111915713A (zh) 一种三维动态场景的创建方法、计算机设备、存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant