CN113411570B - 基于跨时段特征判别及融合的监控视频亮度异常检测方法 - Google Patents
基于跨时段特征判别及融合的监控视频亮度异常检测方法 Download PDFInfo
- Publication number
- CN113411570B CN113411570B CN202110665591.4A CN202110665591A CN113411570B CN 113411570 B CN113411570 B CN 113411570B CN 202110665591 A CN202110665591 A CN 202110665591A CN 113411570 B CN113411570 B CN 113411570B
- Authority
- CN
- China
- Prior art keywords
- brightness
- period
- video
- reference value
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Abstract
本发明公开基于跨时段特征判别及融合的监控视频亮度异常检测方法,每个周期开始时刻触发对持续输入的视频流的视频帧亮度异常检测算法;计算每个时段视频帧的正常亮度特征值的参考值;将每时段计算的正常亮度特征值先与参考值比较,若在允许变化区间范围内,则加权合并后覆盖原参考值;否则,丢弃计算结果。每时段以固定周期抽取视频帧进行亮度异常检测,计算所抽取的视频帧的极大亮度、极小亮度和平均亮度,若该三个特征值均位于该时段对应参考值允许变化区间范围内,则判定为正常帧,否则判定为异常帧。本发明利用多特征值多角度融合自适应且自动化判别视频帧亮度异常,可大幅缩减维护人员巡检时间,具有非常广泛的应用前景。
Description
技术领域
本发明涉及数字图像处理领域,尤其涉及基于跨时段特征判别及融合的监控视频亮度异常检测方法。
背景技术
现代社会中,数字监控系统,图像处理技术和数据传输技术迭代速度快,带动视频系统向着智能化,大规模化的方向发展,其中两个最显著的特点是数字化和网络化。随着监控系统中摄像头数量激增,如何及时检测视频监控画面异常难度日益增大,尤其是亮度异常对视频质量的影响最为突出。工作人员遍历监控系统的全部摄像头画面,有问题的画面记录及时报告给维修人员,但是这样的维护耗费的时间过长,且可能会发现漏检的问题,如果监控出现亮度异常导致视频质量下降而没有及时解决的话可能会造成重大的损失。
传统的视频监控亮度异常传统判别算法中,基于平均值分布式的亮度异常检测算法,解决了亮度异常是指出摄像头故障,增益控制紊乱或者照明条件引起的总体偏亮或偏暗,而不包括天气,白昼等环境因素导致的视频亮度不正常。缺点在于只是通过前几帧的亮度平均值作为特征值,且阈值是一个自己默认设定的恒定数值,很容易出现误判和漏判的情况。且这种算法一旦检测的是全都是异常的视频将则无法判断出是否异常。梯度值比较法也可用于检测亮度异常检测,用相邻序列的图片相互比对检验,但异常的视频图片毕竟是少数。效果和平均值法的效果基本相同。根据直方图分布信息也是常用的方法之一,将视频帧按照灰度取值划分为若干区间然后统计每个区间的分布,然后比对帧之间灰度直方图的差异从而判断是否异常。也可以利用深度学习网络的方式,对人工标注的亮度异常和正常视频帧进行训练,再用于检测。
但是现有算法在视频帧亮度特征的实时提取上还有待完善,特别在不同时段、不同场景以及长时间持续异常正常阈值的自适应获取及处理上更缺乏有效的方法。
发明内容
本发明的目的在于提供基于跨时段特征判别及融合的监控视频亮度异常检测方法,减少大量数据集的训练又能通过多个特征值较为准确的识别视频流中的亮度异常问题。
本发明采用的技术方案是:
基于跨时段特征判别及融合的监控视频亮度异常检测方法,基于传统数字图像处理的算法,其包括以下步骤:
步骤1:针对摄像头持续输入的视频流,在每个时段周期的起始时刻触发视频帧亮度异常检测;
步骤2:提取每时段起始若干连续视频帧并分别计算极大亮度、极小亮度、平均亮度三个特征值;
步骤3:判断每个时段视频帧的正常亮度特征值的参考值是否存在;是则,执行步骤4;否则,以当前计算的极大亮度、极小亮度、平均亮度作为该时段特征值的参考值并执行步骤4;
步骤4:将每时段计算的极大亮度、极小亮度、平均亮度分别与各自的参考值比较,判断两者之差是否在允许变化区间范围内;是则,加权合并后作为该时段特征值新的参考值;否则,丢弃计算结果保持该时段特征值的当前参考值不变。
步骤5:对每时段视频帧进行亮度异常抽帧检测;每时段以固定周期抽取视频帧进行亮度异常检测,计算所抽取的视频帧的极大亮度、极小亮度和平均亮度;
步骤6:将所抽取的视频帧的极大亮度、极小亮度和平均亮度分别与该时段的当前参考值进行比较,判断两者之差是否在允许变化区间范围内;是则,判定当前抽取的视频帧为正常帧,否则判定当前抽取的视频帧为异常帧;
步骤7:将判断结果以列表的形式输出,第一列是每隔六帧的帧序号,第一行第二列是亮度总异常帧数。
进一步地,作为一种优选实施方式,步骤1中时段周期以一小时为一个时段周期。
进一步地,作为一种优选实施方式,步骤1中,将视频流分帧存入指定文件夹并依照设定规律的命名图片,且检测图片时使得RGB转换灰度图。
其中,pk表示Y分量分布中第k个取值的概率;N表示Y分量分布所有取值的个数。
进一步地,作为一种优选实施方式,步骤3的具体步骤如下:
进一步地,作为一种优选实施方式,步骤3-2中α和β根据经验分别设为0.8和0.05。
进一步地,作为一种优选实施方式,步骤5包括如下步骤:
步骤5-1,设每时段视频帧检测周期为Td,即每间隔Td抽取一帧进行亮度异常检测;
进一步地,作为一种优选实施方式,步骤6中第t时段所抽取的视频帧fj,t的异常标识为Aj,t,则有:
进一步地,作为一种优选实施方式,步骤7中log文件列表的形式输出判断结果,第一列是每隔六帧的帧序号,第一行第二列是亮度总异常帧数;输出log文件的内容包括:判断的总帧数、判断帧数的序号和判断的结果,判断的结果为0则为正常,为1则为异常。
本发明采用以上技术方案,相较于现有技术,本发明具有以下有益效果:当前的视频监控亮度异常传统判别算法最主要是基于平均值分布式的亮度异常检测算法,缺点在于只是通过前几帧的亮度平均值作为特征值,且阈值是一个默认设定的恒定数值,很容易出现误判和漏判的情况。且这种算法一旦检测的是全都是异常的视频将则无法判断出是否异常。本发明的目的在于克服现有技术的不足,提供基于跨时段特征判别及融合的视频监控亮度异常检测算法。
附图说明
以下结合附图和具体实施方式对本发明做进一步详细说明;
图1为本发明时段检测流程图;
图2为本发明特征值提取修正流程图;
图3为本发明亮度异常检测算法框架图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。
如图1至图3之一所示,本发明公开了基于跨时段特征判别及融合的监控视频亮度异常检测方法,其包括以下步骤:
步骤1:针对摄像头持续输入的视频流,在每个时段周期的起始时刻触发视频帧亮度异常检测;
步骤2:提取每时段起始若干连续视频帧并分别计算极大亮度、极小亮度、平均亮度三个特征值;
步骤3:判断每个时段视频帧的正常亮度特征值的参考值是否存在;是则,执行步骤4;否则,以当前计算的极大亮度、极小亮度、平均亮度作为该时段特征值的参考值并执行步骤4;
步骤4:将每时段计算的极大亮度、极小亮度、平均亮度分别与各自的参考值比较,判断两者之差是否在允许变化区间范围内;是则,加权合并后作为该时段特征值新的参考值;否则,丢弃计算结果保持该时段特征值的当前参考值不变。
步骤5:对每时段视频帧进行亮度异常抽帧检测;每时段以固定周期抽取视频帧进行亮度异常检测,计算所抽取的视频帧的极大亮度、极小亮度和平均亮度;
步骤6:将所抽取的视频帧的极大亮度、极小亮度和平均亮度分别与该时段的当前参考值进行比较,判断两者之差是否在允许变化区间范围内;是则,判定当前抽取的视频帧为正常帧,否则判定当前抽取的视频帧为异常帧;
步骤7:将判断结果以列表的形式输出,第一列是每隔六帧的帧序号,第一行第二列是亮度总异常帧数。
进一步地,作为一种优选实施方式,步骤1中时段周期以一小时为一个时段周期。
进一步地,作为一种优选实施方式,步骤1中,将视频流分帧存入指定文件夹并依照设定规律的命名图片,且检测图片时使得RGB转换灰度图。
其中,pk表示Y分量分布中第k个取值的概率;N表示Y分量分布所有取值的个数。
进一步地,作为一种优选实施方式,步骤3的具体步骤如下:
进一步地,作为一种优选实施方式,步骤3-2中α和β根据经验分别设为0.8和0.05。
进一步地,作为一种优选实施方式,步骤5包括如下步骤:
步骤5-1,设每时段视频帧检测周期为Td,即每间隔Td抽取一帧进行亮度异常检测;
进一步地,作为一种优选实施方式,步骤6中第t时段所抽取的视频帧fj,t的异常标识为Aj,t,则有:
进一步地,作为一种优选实施方式,步骤7中log文件列表的形式输出判断结果,第一列是每隔六帧的帧序号,第一行第二列是亮度总异常帧数;输出log文件的内容包括:判断的总帧数、判断帧数的序号和判断的结果,判断的结果为0则为正常,为1则为异常。
下面就本发明的具体原理做详细的说明:
首先,打开摄像头,针对持续输入的视频流,每小时为一个时段周期,每时段起始时刻触发视频帧亮度异常检测算法。
将输入的视频流按5s一段分帧后创建keepframes文件夹收录总的视频文件,进一步地,将视频分帧存入指定文件夹后,有规律的命名图片,例如:001,002等后检测图片时将RGB图像转换为灰度图
例如,摄像头打开输入视频流的时间是12月25日15点,则本算法会检测文件中是否有昨天相同时段的特征值text文件夹,如图1所示。如果有的话,则判断今日同时段的特征值与昨日比对是否在正常范围内,如果三个特征值和时段阈值存储文件中的三个阈值对比波动小于百分之20%,如果在正常范围内,则根据加权规则进行修正并覆盖进当前时段特征值存放text文件,如图2。
如果不在正常值范围内,则默认以前一天的特征值作为判别标准,text文件夹命名为15.text。一天输入视频流总共会产生24个text文件。
提取上述text文件里的特征值,并和实时提取的特征值经行比较,最后确定特征值阈值。每个小时时段提取的特征值要和前一天的相同时段存储的text文件保存的特征值经行比较,本发明主要检测两大类亮度异常事件:
(1)视频流全异常或整体异常,通常是因为设备出现故障所导致的。
(2)视频流出现局部的亮度异常,通常是因为路灯,车灯等一些外界强光导致的局部亮度突变。
接着,将修正好的特征值用于该时段的视频流判断,将所述的三个不同的特征值以参数的形式传入判别亮度异常的函数中,以整体平均值,极大亮度,极小亮度三个角度判别不同的亮度异常
设每时段视频帧检测周期为六帧,即每间隔六帧进行亮度异常检测;当整体像素平均值偏离整体像素值20%时,可以说明监控视频整体亮度异常,当超出当前视频流阈值的10倍时,可以说明在极亮像素和极暗像素出现了大变动,都是整体的亮度值可能不会有大幅度变动,这种情况被列为局部亮度异常,流程如图3所示。
最后的判断结果以log文件的列表的形式以输出,第一列是每隔六帧的帧序号,第一行第二列是亮度总异常帧数
设输出log文件视频帧fj,t的异常标识为Aj,t,则有
本发明采用以上技术方案,相较于现有技术,本发明具有以下有益效果:当前的视频监控亮度异常传统判别算法最主要是基于平均值分布式的亮度异常检测算法,缺点在于只是通过前几帧的亮度平均值作为特征值,且阈值是一个默认设定的恒定数值,很容易出现误判和漏判的情况。且这种算法一旦检测的是全都是异常的视频将则无法判断出是否异常。本发明的目的在于克服现有技术的不足,提供基于跨时段特征判别及融合的视频监控亮度异常检测算法。
显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
Claims (8)
1.基于跨时段特征判别及融合的监控视频亮度异常检测方法,其特征在于:其包括以下步骤:
步骤1:针对摄像头持续输入的视频流,在每个时段周期的起始时刻触发视频帧亮度异常检测;
其中,pk表示Y分量分布中第k个取值的概率;N表示Y分量分布所有取值的个数;
步骤3:判断每个时段视频帧的正常亮度特征值的参考值是否存在;是则,执行步骤4;否则,以当前计算的极大亮度、极小亮度、平均亮度作为该时段特征值的参考值并执行步骤4;
步骤3的具体步骤如下:
步骤4:将每时段计算的极大亮度、极小亮度、平均亮度分别与各自的参考值比较,判断两者之差是否在允许变化区间范围内;是则,加权合并后作为该时段特征值新的参考值;否则,丢弃计算结果保持该时段特征值的当前参考值不变;
步骤5:对每时段视频帧进行亮度异常抽帧检测;每时段以固定周期抽取视频帧进行亮度异常检测,计算所抽取的视频帧的极大亮度、极小亮度和平均亮度;
步骤6:将所抽取的视频帧的极大亮度、极小亮度和平均亮度分别与该时段的当前参考值进行比较,判断两者之差是否在允许变化区间范围内;是则,判定当前抽取的视频帧为正常帧,否则判定当前抽取的视频帧为异常帧;
步骤7:将判断结果以列表的形式输出,第一列是每隔六帧的帧序号,第一行第二列是亮度总异常帧数。
2.根据权利要求1所述的基于跨时段特征判别及融合的监控视频亮度异常检测方法,其特征在于:步骤1中时段周期以一小时为一个时段周期。
3.根据权利要求1所述的基于跨时段特征判别及融合的监控视频亮度异常检测方法,其特征在于:步骤1中,将视频流分帧存入指定文件夹并依照设定规律的命名图片,且检测图片时使得RGB转换灰度图。
4.根据权利要求1所述的基于跨时段特征判别及融合的监控视频亮度异常检测方法,其特征在于:步骤3-2中α和β根据经验分别设为0.8和0.05。
8.根据权利要求1所述的基于跨时段特征判别及融合的监控视频亮度异常检测方法,其特征在于:步骤7中log文件列表的形式输出判断结果,第一列是每隔六帧的帧序号,第一行第二列是亮度总异常帧数;输出log文件的内容包括:判断的总帧数、判断帧数的序号和判断的结果,判断的结果为0则为正常,为1则为异常。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110665591.4A CN113411570B (zh) | 2021-06-16 | 2021-06-16 | 基于跨时段特征判别及融合的监控视频亮度异常检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110665591.4A CN113411570B (zh) | 2021-06-16 | 2021-06-16 | 基于跨时段特征判别及融合的监控视频亮度异常检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113411570A CN113411570A (zh) | 2021-09-17 |
CN113411570B true CN113411570B (zh) | 2023-07-14 |
Family
ID=77684259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110665591.4A Active CN113411570B (zh) | 2021-06-16 | 2021-06-16 | 基于跨时段特征判别及融合的监控视频亮度异常检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113411570B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116708724B (zh) * | 2023-08-07 | 2023-10-20 | 江苏省电子信息产品质量监督检验研究院(江苏省信息安全测评中心) | 基于机器视觉的样品监控方法和系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005166054A (ja) * | 2003-12-02 | 2005-06-23 | Takashi Gomi | 動画像処理装置、及び映像監視システム |
CN101827280A (zh) * | 2010-02-04 | 2010-09-08 | 深圳市同洲电子股份有限公司 | 视频输出质量的检测方法和装置 |
CN102202163A (zh) * | 2011-05-13 | 2011-09-28 | 成都西图科技有限公司 | 一种监控视频的自适应增强方法及其装置 |
CN102568242A (zh) * | 2012-01-17 | 2012-07-11 | 杭州海康威视系统技术有限公司 | 基于视频处理的信号灯状态检测方法及其系统 |
US9204113B1 (en) * | 2010-06-28 | 2015-12-01 | Ambarella, Inc. | Method and/or apparatus for implementing high dynamic range image processing in a video processing system |
CN105635603A (zh) * | 2015-12-31 | 2016-06-01 | 天津大学 | 一种采用两路视频间亮度和色偏对视频拼接的系统 |
CN105976570A (zh) * | 2016-05-20 | 2016-09-28 | 山东师范大学 | 一种基于车载视频监控的驾驶员吸烟行为实时监测方法 |
CN110516609A (zh) * | 2019-08-28 | 2019-11-29 | 南京邮电大学 | 一种基于图像多特征融合的火灾视频检测及预警方法 |
CN112489055A (zh) * | 2020-11-30 | 2021-03-12 | 中南大学 | 融合亮度-时序特征的卫星视频动态车辆目标提取方法 |
-
2021
- 2021-06-16 CN CN202110665591.4A patent/CN113411570B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005166054A (ja) * | 2003-12-02 | 2005-06-23 | Takashi Gomi | 動画像処理装置、及び映像監視システム |
CN101827280A (zh) * | 2010-02-04 | 2010-09-08 | 深圳市同洲电子股份有限公司 | 视频输出质量的检测方法和装置 |
US9204113B1 (en) * | 2010-06-28 | 2015-12-01 | Ambarella, Inc. | Method and/or apparatus for implementing high dynamic range image processing in a video processing system |
CN102202163A (zh) * | 2011-05-13 | 2011-09-28 | 成都西图科技有限公司 | 一种监控视频的自适应增强方法及其装置 |
CN102568242A (zh) * | 2012-01-17 | 2012-07-11 | 杭州海康威视系统技术有限公司 | 基于视频处理的信号灯状态检测方法及其系统 |
CN105635603A (zh) * | 2015-12-31 | 2016-06-01 | 天津大学 | 一种采用两路视频间亮度和色偏对视频拼接的系统 |
CN105976570A (zh) * | 2016-05-20 | 2016-09-28 | 山东师范大学 | 一种基于车载视频监控的驾驶员吸烟行为实时监测方法 |
CN110516609A (zh) * | 2019-08-28 | 2019-11-29 | 南京邮电大学 | 一种基于图像多特征融合的火灾视频检测及预警方法 |
CN112489055A (zh) * | 2020-11-30 | 2021-03-12 | 中南大学 | 融合亮度-时序特征的卫星视频动态车辆目标提取方法 |
Non-Patent Citations (2)
Title |
---|
基于FPGA视频检测的智能交通系统;王立华;张秋雨;;中国电业(技术版)(11);全文 * |
基于局部和全局特征相融合的切变镜头自动检测算法;李秋红;陆蓓;吴海虹;;计算机应用与软件(04);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113411570A (zh) | 2021-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105430384B (zh) | 一种视频质量诊断方法和系统 | |
US8472717B2 (en) | Foreground image separation method | |
US7599550B1 (en) | Method for accurate real-time compensation for changing illumination spectra in digital video cameras | |
CN106791470B (zh) | 基于高动态范围摄像装置的曝光控制方法和装置 | |
US11308335B2 (en) | Intelligent video surveillance system and method | |
TWI382360B (zh) | 物件偵測方法及其裝置 | |
CN103093429B (zh) | 图像增强方法 | |
CN113411570B (zh) | 基于跨时段特征判别及融合的监控视频亮度异常检测方法 | |
DE4419068A1 (de) | Videokamera mit einer Funktion zum Korrigieren defekter Pixel einer Bildaufnahmevorrichtung vom Halbleitertyp und ein Verfahren zum Korrigieren defekter Pixel einer Bildaufnahmevorrichtung vom Halbleitertyp | |
CN101247480A (zh) | 一种基于图像中目标区域的自动曝光方法 | |
CN110096945B (zh) | 基于机器学习的室内监控视频关键帧实时提取方法 | |
CN104778674B (zh) | 一种基于时间序列的顺逆光交通图像自适应增强方法 | |
CN112200807B (zh) | 一种视频质量诊断方法与系统 | |
CN116456061B (zh) | 基于动态目标检测的智能社区监控管理方法、系统及介质 | |
CN111192213A (zh) | 图像去雾自适应参数的计算方法、图像去雾方法及系统 | |
CN110223248B (zh) | 一种红外图像细节增强的动态范围压缩方法 | |
CN105530406A (zh) | 一种基于历史帧图像统计值的智能增强方法 | |
CN112489018A (zh) | 一种电力线智能巡线方法及巡线 | |
CN105635524A (zh) | 一种基于历史帧图像暗区直方图面积统计的智能增强方法 | |
CN116582693A (zh) | 一种基于视频资源池的摄像头调用管控方法 | |
CN108282619B (zh) | 一种具有红灯颜色校正功能的图像采集系统 | |
CN110019060B (zh) | 一种机车视频文件与运行记录文件自动同步方法与装置 | |
CN107038689A (zh) | 一种视频增亮方法 | |
CN113873183B (zh) | 基于仿生复眼视觉系统的脉冲间隔校正方法 | |
CN115019156A (zh) | 一种基于时空特性的盲闪元检测和补偿方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |