CN103136763A - 用于检测视频序列异常段落的电子装置及其方法 - Google Patents

用于检测视频序列异常段落的电子装置及其方法 Download PDF

Info

Publication number
CN103136763A
CN103136763A CN2011103959878A CN201110395987A CN103136763A CN 103136763 A CN103136763 A CN 103136763A CN 2011103959878 A CN2011103959878 A CN 2011103959878A CN 201110395987 A CN201110395987 A CN 201110395987A CN 103136763 A CN103136763 A CN 103136763A
Authority
CN
China
Prior art keywords
video
sub
paragraph
change
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011103959878A
Other languages
English (en)
Other versions
CN103136763B (zh
Inventor
锺依华
翁世芳
陆欣
张玉勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuzhan Precision Technology Co ltd
Hon Hai Precision Industry Co Ltd
Original Assignee
Shenzhen Yuzhan Precision Technology Co ltd
Hon Hai Precision Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuzhan Precision Technology Co ltd, Hon Hai Precision Industry Co Ltd filed Critical Shenzhen Yuzhan Precision Technology Co ltd
Priority to CN201110395987.8A priority Critical patent/CN103136763B/zh
Priority to TW100145198A priority patent/TWI516131B/zh
Priority to US13/483,063 priority patent/US8660343B2/en
Publication of CN103136763A publication Critical patent/CN103136763A/zh
Application granted granted Critical
Publication of CN103136763B publication Critical patent/CN103136763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes

Abstract

一种用于检测视频序列异常段落的电子装置,包括:分割单元,用于将一数字信号的视频段落分割为多个子视频段落;特征信息提取单元,用于分别提取每一子视频段落中颜色变化特征、运动变化特征及背景信息变化特征;用于计算包括多个子视频段落的整个视频段落的每种变化特征的变化特征均值,进一步得出每种变化特征与该种变化特征均值的变化距离,并将该每种变化距离归一化;异常性度量模块,用于计算每一段视频段落中背景变化率并确定权重系数大小;最后计算子视频段落中的异常因子并判断异常因子大小,根据异常因子比较结果输出异常子视频段落。本发明还提供一种视频序列异常段落检测的方法。

Description

用于检测视频序列异常段落的电子装置及其方法
技术领域
本发明涉及一种视频分析技术,特别涉及一种用于检测视频序列异常段落的电子装置及其方法。
背景技术
随着计算机科学技术的不断发展,数字视频监控技术已经开始应用于很多公共场合。由于监控系统工作的连续性,所以会产生很多视频序列数据。视频序列中包含大量的视频帧,但并不是每个时间段内都包含我们感兴趣的事件。目前人们在视频监控段落中查找特定事件内容或奇异性信息是通过人工回放的方式检索。然而,这种检索的方式效率低下。奇异性是指在特定的应用背景中,某一段视频序列的内容在时空联合分布上和整个视频序列统计特征的明显不一致。
目前,怎样从视频序列中自动检测异常已逐渐成为视频监控技术的发展方向。目前视频异常自动检测技术中,通常的做法是先分别提取颜色变化特征和运动变化特征,然后将两种特征线性加权组合,最后经计算分析得出视频异常信息。但是,由于在实际检测过程中加权系数比较难以确定,很难在基于静态背景变化和动态背景变化的视频段落中应用上述自动检测视频异常的方法均达到较为理想的检测效果。
发明内容
鉴于此,有必要提供一种用于检测视频序列异常段落的电子装置及其方法,其能够基于动态和静态背景变化中均具有较好的检测效果。
一种视频序列异常段落检测的电子装置,包括:分割单元,用于将一视频段落分割为多个子视频段落,子视频段落中包括若干视频帧;特征信息提取单元,用于分别提取每一子视频段落中的颜色变化特征、运动变化特征及背景信息变化特征;及特征信息处理单元,用于根据每一子视频段落中颜色变化特征、运动变化特征及背景信息变化特征,分析处理得出异常的视频段落,该特征信息处理单元包括:距离度量模块,用于计算包括多个子视频段落的整个视频段落的每种变化特征的变化特征均值,进一步得出每种变化特征与该种变化特征均值的变化距离,并将该每种变化距离归一化;异常性度量模块,用于计算每一段视频段落中背景变化率,根据该背景变化率及一参考值确定权重系数大小,根据确定的权重系数以及多种变化距离进一步计算得出子视频段落中的异常因子,并判断每一子视频段落中异常因子大小;及输出模块,用于根据异常因子比较结果输出异常子视频段落。
一种视频序列异常段落检测的方法,包括:输入一视频段落;将该视频段落分割为多个子视频段落,每个子视频段落中包括若干个视频帧;提取每一子视频段落中颜色变化特征、运动变化特征及背景信息变化特征;计算包括多个子视频段落的整个视频段落的每种变化特征的变化特征均值,进一步得出每一子视频段落的每种变化特征与对应该种变化特征均值的变化距离,并将每种变化距离归一化;计算每一子视频段落中背景变化率;判断背景变化率与一参考值大小,进而确定权重系数和大小;根据确定的权重系数以及多种变化距离计算每一子视频段落中异常因子,并比较各个视频段落异常因子大小;及根据异常因子比较结果输出异常子视频段落。
该视频序列异常段落检测的电子装置中,通过将视频段落均等化分后提取颜色变化特征、运动变化特征及背景变化信息后进行耦合,来定义更为一般的异常因子,使得在动态背景时颜色信息对异常因子的贡献度较大,静态背景时运动信息对异常因子的贡献度较大,使得该电子装置可以适应于各种背景类型的视频段落异常检测。
附图说明
图1为一较佳实施方式视频序列异常段落检测电子装置的模块图。
图2为一较佳实施方式视频序列异常段落的方法流程图。
主要元件符号说明
电子装置    100
转换单元    10
分割单元    20
特征信息提取单元    30
背景信息提取模块    31
颜色信息提取模块    33
运动信息提取模块    35
特征信息处理单元    40
距离度量模块        41
异常性度量模块      43
背景变化率计算模块  431
异常因子计算模块    433
输出模块            435
方法                300
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
请参照图1,为一较佳实施方式中视频序列异常段落检测电子装置100的模块图。该电子装置100包括转换单元10、分割单元20、特征信息提取单元30及特征信息处理单元40。该电子装置100提取一段视频段落,并通过转换单元10将该视频段落转换为数字信号,以便于对该视频段落进一步进行数字信号处理。在其他实施方式中,该视频段落也可以直接是一种基于数字信号的视频段落,不必进行格式转换。该电子装置100可以从该视频段落中识别并提取异常信息。
该分割单元20对该视频段落按照等长的时间窗口划分或进行分割为多个子视频段落,每个子视频段落中包括有m个视频帧。本实施方式中,每个子视频段落中都包含一相对独立的事件,例如,某人出现并进入电梯的完整过程。本实施方式中,若一个分割后的子视频段落中包含多个独立的事件,可以对分割后的子视频段落进一步分割;若该分割后的子视频段落中未包含独立的事件,可以将此段落同相邻的子视频段落合并,以得到上述包含相对独立事件的视频段落。其他实施方式中,该视频段落也可以按照非等长的时间窗口分割为多个子视频段落。
本实施方式中,将由m个视频帧Im组成的第n个子视频段vn表示为:vn={In1,In2,...,Inm}。
该特征信息提取单元30用于分别提取每一子视频段落中的颜色变化特征、运动变化特征及背景信息变化特征。该特征信息提取单元30包括背景信息提取模块31、颜色信息提取模块33和运动信息提取模块35。
该背景信息提取模块31用于根据混合高斯模型提取该每一子视频段落中各视频帧的背景信息。
该颜色信息提取模块33用于提取该每一子视频段落中的颜色变化特征FPM。本实施方式中,该子视频段落中每一帧的图像是以RGB颜色空间模式来进行存储的,其他实施方式中,视频段落的图像也可以采用HSV和Nrgb等颜色空间存储。一实施方式中,假设图像中的像素总数为M,第k种颜色分布hk的像素总数为nk,则hk出现的频率为:hk=nk/M(k=0,1,2,...,255)。进一步地,根据累加直方图原理,如果从一段子视频中选取n帧,则这段子视频的直方图可以通过累加得到:
Figure BDA0000115584790000041
(k=0,1,2,...,255)。本实施方式中RGB颜色空间一共有2563=1.68*107种颜色,运算复杂度很高。一替代实施方式中,为了减少运算量,可预先将该彩色图像灰度化,然后基于该灰度化图像求直方图。最后,利用主成分分析法进一步求得每一子视频段的颜色变化特征FPM。其中,主成分分析也称主分量分析,旨在利用降维的思想,把多指标转化为少数几个综合指标。
该运动信息提取模块35用于提取每一子视频段落中运动特征,包括运动变化特征Avesum和段内运动变化率特征AllTwisum。本实施方式中,采用视频帧的差分信息来描述某一子视频段落中图像的变化和图像中背景的变化。那么,对于一子视频段落中两帧图像fm和fn进行差分运算,图像差分结果为:Δf(i,j)=|fm(i,j)-fn(i,j)|,其中,在选取两帧图像fm和fn时,如果子视频段落中包括较少的视频帧图像时,可采用逐帧选取的方式选择;如果子视频段落中包括较多的视频帧图像时,可采用按照特定规律的方式选择。同样,对于图像fm的背景bm和图像fn的背景bn,背景差分结果为:Δb(i,j)=|bm(i,j)-bn(i,j)|。其中,0≤i≤FR,0≤j≤FC(FR为图像行数,FC为图像列数)。图像差分结果表明两帧之间的变化程度,Δf(i,j)灰度值越高,两帧图像间的变化越大。相似地,背景差分结果显示了两帧图像的背景的变化程度,Δb(i,j)灰度值越高,背景变化越大。
然而,图像差分结果中常因存在噪声而引起结果发生变化,因此引入一阈值以减小该噪声存在影响图像差分结果。本实施方式中,以图像差分结果中大于一第一阈值的像素数Sumi,j作为第i帧和第j帧之间的运动变化特征Avesum,以该子视频段内帧间变化超过一第二阈值的次数作为运动变化率特征AllTwisum,从而可以得出该子视频段中的运动特征。其中,该第一阈值和第二阈值可根据具体图像差分去噪的实验中具体设定,通常做法是:选取一段视频,先通过人工的方式分析得出视频段落中的运动特征;假设存在若干第一阈值和第二阈值,再通过自动检测的方式,分别依次从预设的若干第一阈值和第二阈值中选取数值进行多次实验,分析得出应用假设存在第一阈值和第二阈值的运动特征,并通过与人工方式分析得出视频段落中运动特征比较后得出最为接近一组实验,该组实验中所用用第一阈值和第二阈值即为图像差分去噪实验中的最佳设定值。
同样,基于背景信息提取模块31提取的子视频段落中每个视频帧的背景信息中,可以得到两桢图像的背景差分结果中大于第三阈值的像素总数,从而得到子视频段落中背景信息的总体变化特征Avesum_back。
综上,每一子视频段落中的特征变化信息,可以用特征矢量Vn表示为:
vn=[FPM,Avesum,AllTwisum,Avesum_back]
该特征信息处理单元40包括距离度量模块41和异常性度量模块43。
该距离度量模块41用于计算包括多个子视频段落的整个视频段落的特征均值C,进一步得出每一子视频段落变化特征与该特征均值C的距离并将距离值归一化。本实施方式中,假设一整个视频段落被均等分割为D个子视频段落,那么整个视频段落的颜色变化特征的特征均值可以表示为:C=∑FPM/D;其中每个子视频段落的颜色变化特征与该颜色变化特征均值的距离可以表示为: d F ( F PM , C ) = | | F PM - C | | 2 = [ Σ i ( F PM ( i ) - C ( i ) ) 2 ] 1 / 2 . 最后将dF归一化得到颜色变化距离DF
其他实施方式中,还可以进一步计算得到子视频段落中运动变化特征Avesum与运动变化特征均值Ca的运动变化距离DAvesum;运动变化率特征AllTwisum与运动变化率特征均值Cb的运动变化率距离DAllTwisum;及背景信息的总体变化特征Avesum_back与背景信息的总体变化特征均值Cc的背景变化距离DAvesum_back
该异常性度量模块43用于计算每一子视频段落中的异常因子,并通过比较所有子视频段落的异常因子大小,判断输出异常因子最大的子视频段落。该异常性度量模块43进一步包括背景变化率计算模块431、异常因子计算模块433及输出模块435。
背景变化率计算模块431用于计算每一子视频段落中的背景变化率和确定异常因子权重系数。本实施方式中,定义该背景变化率
Figure BDA0000115584790000061
&alpha; i 1 = &lambda; &times; &alpha; i 1 if&lambda; < &tau; &prime; ( 1 - &lambda; ) &times; &alpha; i 2 if&lambda; &GreaterEqual; &tau; &prime; , 其中,αi1,αi2是权重系数。那么,根据前述该子视频段落中计算得出的背景变化距离DAvesum_back和运动变化距离DAvesum得出该段子视频段落中背景变化率λ,然后判断λ与一参考值τ′的大小,进一步计算得出权重系数αi1。其中,参考值τ′的选取与该第一阈值和第二阈值的选取方式类似,优选地,参考值τ′可以选取0.1≤τ′≤0.2中任一数值。
该异常因子计算模块433用于计算每一子视频段落中异常因子的大小。每一子视频段落中异常因子可以表示为:Fi=αi1DF+αi2(DAvesum+DAllTwisum),根据前述权重系数αi1和αi2计算得出子视频段落中的异常因子。例如,如果λ<τ′,则Fi=αi1DF+(1-λ)×αi2(DAvesum+DAllTwisum);如果λ≥τ′,则Fi=λ×αi1DFi2(DAvesum+DAllTwisum)。最后根据计算得出的每一子视频段落中异常因子,综合比较判断后,通过输出模块435根据异常因子比较结果输出异常子视频段落,该异常子视频段落,可以是异常因子最大的子视频段落,也可以是异常因子较大的几个子视频段落,且如果是相邻的多个异常因子较大子视频段落,将通过输出模块435将其合并输出。其中,异常因子较大的几个子视频段落可以认为是各子视频段落计算所得异常因子由大到小依次排列后,根据需求选取包含有按照从大到小的顺序选取的几个异常因子所对应的几个子视频段落。
本实施方式中,视频异常自动检测分析过程中,被分割的子视频段落背景如果是动态的,则采用颜色变化特征来反映异常信息;如果子视频段落的背景是静态的,则采用运动变化特征来反映视频段落中异常信息的效果较好。
本发明的一较佳实施方式中,使用背景的变化信息作为参考,将颜色变化距离DF,背景变化距离DAvesum_back,及运动变化距离DAvesum通过背景信息进行耦合,来定义更为一般的异常因子,使得在动态背景时颜色变化距离DF对异常因子的贡献度较大,静态背景时运动变化距离DAvesum对异常因子的贡献度较大,使得该电子装置100可以适应于各种背景类型的视频段落异常信息检测。
请同时参照图2,为一较佳实施方式的视频序列异常段落检测的方法流程图300。该方法300应用于电子装置100中,具体包括以下步骤:
步骤S301,输入一段视频,并通过转换单元10将该视频由视频信号转换为数字信号。在其他实施方式中,该视频段落也可以直接是一种基于数字信号的视频段落,不必进行格式转换。
步骤S302,将该视频段落分割为多个子视频段落,每个子视频段落中包括若干个视频帧。本实施方式中,视频段落按照等长的时间窗口分割为多个子视频段落。另,每个子视频段落中包含一相对独立的的事件,例如,某人出现并进入电梯的完整过程。在其他实施方式中,若该分割后的子视频段落中包含多个或未包含一相对独立的事件,可以将分割后的段落进一步分割或者合并,以得到上述包含相对独立事件的多个子视频段落。其他实施方式中,该视频段落也可以按照非等长的时间窗口分割为多个子视频段落。
本实施方式中,将由m个视频帧Im组成的第n个子视频段vn表示为:vn={In1,In2,...,Inm}。
步骤S303,提取该每一子视频段落中的颜色变化特征FPM。本实施方式中,该子视频段落中每一帧的图像是以RGB颜色空间模式来进行存储的,其他实施方式中,视频段落的图像也可以采用HSV和Nrgb等颜色空间存储。一实施方式中,假设图像中的像素总数为M,第k种颜色分布hk的像素总数为nk,则hk出现的频率为:hk=nk/M(k=0,1,2,...,255)。进一步地,根据累加直方图原理,如果从一段子视频中选取n帧,则这段子视频的直方图可以通过累加得到:
Figure BDA0000115584790000071
(k=0,1,2,...,255)。本实施方式中RGB颜色空间一共有2563=1.68*107种颜色,运算复杂度很高。一替代实施方式中,为了减少运算量,可预先将该彩色图像灰度化,然后基于该灰度化图像求直方图。最后,利用主成分分析法进一步求得每一子视频段的颜色变化特征FPM
步骤S304,提取每一子视频段落中运动特征,包括运动变化特征Avesum和段内运动变化率特征AllTwisum。本实施方式中,采用视频帧的差分信息来描述某一子视频段落中图像的变化和图像中背景的变化。那么,对于一子视频段落中两帧图像fm和fn进行差分运算,图像差分结果为:Δf(i,j)=|fm(i,j)-fn(i,j)|;同样,对于图像fm的背景bm和图像fn的背景bn,背景差分结果为:Δb(i,j)=|bm(i,j)-bn(i,j)|。其中,0≤i≤FR,0≤j≤FC(FR为图像行数,FC为图像列数)。图像差分结果表明两帧之间的变化程度,Δf(i,j)灰度值越高,两帧图像间的变化越大。相似地,背景差分结果显示了两帧图像的背景的变化程度,Δb(i,j)灰度值越高,背景变化越大。
然而,图像差分结果中常因存在噪声而引起结果发生变化,因此引入阈值以减小该噪声存在影响图像差分结果。本实施方式中,以图像差分结果中大于一第一阈值的像素数Sumi,j作为第i帧和第j帧之间的运动变化特征Avesum,以该子视频段内帧间变化超过一第二阈值的次数作为运动变化率特征AllTwisum,从而可以得出该子视频段中的运动特征。其中,该第一阈值和第二阈值可根据具体图像差分去噪的实验中具体设定,具体做法前面已经介绍,这里不再赘述。
步骤S305,根据混合高斯模型提取每一子视频段落中各视频帧的背景信息,并利用差分图像计算得出子视频段落中背景信息的总体变化特征Avesum_back。利用混合高斯模型提取视频段落中各视频帧背景信息的过程为现有技术,这里不再赘述。在提取子视频段落中各视频帧背景信息后,基于步骤S304的差分原理,可以得到两桢图像的背景差值图像中大于阈值的像素总数,从而得到子视频段落中背景信息的总体变化特征Avesum_back。
那么,每一子视频段落中的特征变化信息,可以用特征矢量表示为:
vn=[FPM,Avesum,AllTwisum,Avesum_back]
步骤S306,计算包括多个子视频段落的整个视频段落的变化特征均值C,进一步得出每一子视频段落变化特征与该变化特征均值C的距离并将距离值归一化。本实施方式中,假设一整个视频段落被均等分割为D个子视频段落,那么整个视频段落的颜色变化特征的特征均值可以表示为:C=∑FPM/D;其中每个子视频段落的颜色变化特征与该颜色变化特征均值的距离可以表示为: d F ( F PM , C ) = | | F PM - C | | 2 = [ &Sigma; i ( F PM ( i ) - C ( i ) ) 2 ] 1 / 2 . 最后将dF归一化得到颜色变化距离DF
替代实施方式中,还可以进一步计算得到子视频段落中运动变化特征Avesum与运动变化特征均值Ca的运动变化距离DAvesum;运动变化率特征AllTwisum与运动变化率特征均值Cb的运动变化率距离DAllTwisum;及背景信息的总体变化特征Avesum_back与背景信息的总体变化特征均值Cc的背景变化距离DAvesum_back
步骤S307,计算每一子视频段落中背景变化率λ。本实施方式中,定义该背景变化率
Figure BDA0000115584790000092
根据归一化背景变化距离DAvesum_back和运动变化距离DAvesum可以计算得到子视频段落中背景变化率λ。进一步,每一子视频段落中异常因子可以表示为:Fi=αi1DFi2(DAvesum+DAllTwisum),其中,αi1和αi2是权重系数,且它们在算法计算过程中始终满足归一化条件:αi1i2=1。
步骤S308,判断背景变化率λ与一参考值τ′大小,进而确定权重系数αi1和αi2大小。本实施方式中,背景变化率λ、参考值τ′和权重系数αi1和αi2的关系表示为: &alpha; i 1 = &lambda; &times; &alpha; i 1 if&lambda; < &tau; &prime; ( 1 - &lambda; ) &times; &alpha; i 2 if&lambda; &GreaterEqual; &tau; &prime; , 则通过判断λ与τ′的大小关系,可以确定权重系数αi1和αi2,其中,参考值τ′可以选取0.1≤τ′≤0.2中任一数值。
步骤S309,计算每一子视频段落中异常因子,并比较各个视频段落异常因子大小。根据异常因子Fi=αi1DFi2(DAvesum+DAllTwisum)可知:
如果λ<τ′,则Fi=αi1DF+(1-λ)×αi2(DAvesum+DAllTwisum);
如果λ≥τ,Fi=λ×αi1DFi2(DAvesum+DAllTwisum)。
步骤S310,根据异常因子比较结果输出异常子视频段落。该异常子视频段落,可以是异常因子最大的子视频段落,也可以是异常因子较大的几个子视频段落,且如果是相邻的多个异常因子较大子视频段落,将多个异常因子较大子视频段落合并输出。其中,异常因子较大的几个子视频段落可以认为是各子视频段落计算所得异常因子由大到小依次排列后,根据需求选取包含有按照从大到小的顺序选取的几个异常因子所对应的几个子视频段落。

Claims (20)

1.一种视频序列异常段落检测的电子装置,包括:
分割单元,用于将一视频段落分割为多个子视频段落,子视频段落中包括若干视频帧;
特征信息提取单元,用于分别提取每一子视频段落中的颜色变化特征、运动变化特征及背景信息变化特征;及
特征信息处理单元,用于根据每一子视频段落中颜色变化特征、运动变化特征及背景信息变化特征,分析处理得出异常的视频段落,该特征信息处理单元包括:
距离度量模块,用于计算包括多个子视频段落的整个视频段落的每种变化特征的变化特征均值,进一步得出每种变化特征与该种变化特征均值的变化距离,并将该每种变化距离归一化;
异常性度量模块,用于计算每一段视频段落中背景变化率,根据该背景变化率及一参考值确定权重系数大小,根据确定的权重系数以及多种变化距离进一步计算得出子视频段落中的异常因子,并判断每一子视频段落中异常因子大小;及
输出模块,用于根据异常因子比较结果输出异常子视频段落。
2.如权利要求1所述的电子装置,其特征在于,该特征信息提取单元包括:
颜色信息提取模块,用于提取该每一子视频段落中的颜色变化特征FPM
运动信息提取模块,用于根据图像差分运算提取每一子视频段落中运动变化特征Avesum和段内运动变化率特征AllTwisum;
背景信息提取模块,用于根据混合高斯模型提取该每一子视频段落中各视频帧的背景信息,并通过图像差分运算得出每一子视频段落中背景信息的总体变化特征Avesum_back。
3.如权利要求2所述的电子装置,其特征在于,每一子视频段落中的特征变化信息,用特征矢量表示为:vn=[FPM,Avesum,AllTwisum,Avesum_back]。
4.如权利要求3所述的电子装置,其特征在于,该视频段落被均等分割为D个子视频段落,则整个视频段落的颜色变化特征的特征均值表示为:C=∑FPM/D;其中每个子视频段落的颜色变化特征与颜色变化特征均值的距离表示为: d F ( F PM , C ) = | | F PM - C | | 2 = [ &Sigma; i ( F PM ( i ) - C ( i ) ) 2 ] 1 / 2 , 将dF归一化后得到颜色变化距离DF;同样,通过归一化后的子视频段落运动变化特征与运动变化特征均值计算得到运动变化距离DAvesum;通过运动变化率特征AllTwisum与运动变化率特征均值计算得到运动变化率距离DAllTwisum;及通过背景信息的总体变化特征Avesum back与背景信息的总体变化特征均值计算得到背景变化距离DAvesum_back
5.如权利要求4所述的电子装置,其特征在于,该异常性度量模块包括背景变化率计算模块和异常因子计算模块,该背景变化率计算模块用于计算每一子视频段落中背景变化率,并根据该背景变化率确定权重系数,定义该背景变化率为
Figure FDA0000115584780000022
且权重系数αi1和αi2与背景变化率λ、参考值τ′的关系为 &alpha; i 1 = &lambda; &times; &alpha; i 1 if&lambda; < &tau; &prime; ( 1 - &lambda; ) &times; &alpha; i 2 if&lambda; &GreaterEqual; &tau; &prime; .
6.如权利要求5所述的电子装置,其特征在于,该异常因子计算模块用于计算每一子视频段落中异常因子的大小,每一子视频段落中异常因子表示为:Fi=αi1DFi2(DAvesum+DAllTwisum),那么,
如果λ<τ′,则Fi=αi1DF+(1-λ)×αi2(DAvesum+DAllTwisum);
如果λ≥τ′,则Fi=λ×αi1DFi2(DAvesum+DAllTwisum)。
7.如权利要求6所述的电子装置,其特征在于,参考值τ′取值范围为0.1≤τ′≤0.2。
8.如权利要求1所述的电子装置,其特征在于,该分割单元用于将该视频段落按照等长的时间窗口划分为多个子视频段落。
9.如权利要求1所述的电子装置,其特征在于,该电子装置还包括一转换单元,用于将一基于视频信号的视频段落转换为数字信号的视频段落。
10.如权利要求1所述的电子装置,其特征在于,该输出的异常子视频段落为异常因子最大的子视频段落或异常因子较大的几个子视频段落,且如果是相邻的多个异常因子较大子视频段落,将多个异常因子较大子视频段落合并输出。
11.一种视频序列异常段落检测的方法,包括:
输入一视频段落;
将该视频段落分割为多个子视频段落,每个子视频段落中包括若干个视频帧;
提取每一子视频段落中颜色变化特征、运动变化特征及背景信息变化特征;
计算包括多个子视频段落的整个视频段落的每种变化特征的变化特征均值,进一步得出每一子视频段落的每种变化特征与对应该种变化特征均值的变化距离,并将每种变化距离归一化;
计算每一子视频段落中背景变化率;
判断背景变化率与一参考值大小,进而确定权重系数和大小;
根据确定的权重系数以及多种变化距离计算每一子视频段落中异常因子,并比较各个视频段落异常因子大小;及
根据异常因子比较结果输出异常子视频段落。
12.如权利要求11所述的视频序列异常段落检测的方法,其特征在于,该方法步骤还包括:
提取该每一子视频段落中的颜色变化特征FPM
提取每一子视频段落中运动特征,包括运动变化特征Avesum和运动变化率特征AllTwisum;及
根据混合高斯模型提取每一子视频段落中各视频帧的背景信息,并利用差分图像计算得出子视频段落中背景信息的总体变化特征Avesum_back。
13.如权利要求12所述的视频序列异常段落检测的方法,其特征在于,每一子视频段落中的特征变化信息,用特征矢量表示为:
vn=[FPM,Avesum,AllTwisum,Avesum_back]。
14.如权利要求13所述的视频序列异常段落检测的方法,其特征在于,该视频段落被均等分割为D个子视频段落,那么整个视频段落的颜色变化特征的特征均值表示为:C=∑FPM/D;其中每个子视频段落的颜色变化特征与该特征均值的距离表示为: d F ( F PM , C ) = | | F PM - C | | 2 = [ &Sigma; i ( F PM ( i ) - C ( i ) ) 2 ] 1 / 2 , 将dF归一化后得到颜色变化距离DF;同样,通过子视频段落运动变化特征与运动变化特征均值计算得到运动变化距离DAvesum;通过运动变化率特征AllTwisum与帧间运动变化率特征均值计算得到运动变化率距离DAllTwisum;及通过背景信息的总体变化特征Avesum_back与背景信息的总体变化特征均值计算得到背景变化距离DAvesum_back
15.如权利要求14所述的视频序列异常段落检测的方法,其特征在于,定义该背景变化率为
Figure FDA0000115584780000041
且权重系数αi1和αi2与背景变化率λ、参考值τ′的关系为 &alpha; i 1 = &lambda; &times; &alpha; i 1 if&lambda; < &tau; &prime; ( 1 - &lambda; ) &times; &alpha; i 2 if&lambda; &GreaterEqual; &tau; &prime; .
16.如权利要求15所述的视频序列异常段落检测的方法,其特征在于,每一子视频段落中异常因子表示为:Fi=αi1DFi2(DAvesum+DAllTwisum),那么,
如果λ<τ′,则Fi=αi1DF+(1-λ)×αi2(DAvesum+DAllTwisum);
如果λ≥τ′,则Fi=λ×αi1DFi2(DAvesum+DAllTwisum)。
17.如权利要求16所述的视频序列异常段落检测的方法,其特征在于,参考值τ′取值范围为0.1≤τ′≤0.2。
18.如权利要求11所述的视频序列异常段落检测的方法,其特征在于,该视频段落按照等长的时间窗口划分为多个子视频段落。
19.如权利要求11所述的视频序列异常段落检测的方法,其特征在于,该方法还包括将一视频段落由视频信号转换为数字信号。
20.如权利要求11所述的视频序列异常段落检测的方法,其特征在于,该输出的异常子视频段落为异常因子最大的子视频段落或异常因子较大的几个子视频段落,且如果是相邻的多个异常因子较大子视频段落,将多个异常因子较大子视频段落合并输出。
CN201110395987.8A 2011-12-02 2011-12-02 用于检测视频序列异常段落的电子装置及其方法 Active CN103136763B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201110395987.8A CN103136763B (zh) 2011-12-02 2011-12-02 用于检测视频序列异常段落的电子装置及其方法
TW100145198A TWI516131B (zh) 2011-12-02 2011-12-08 用於檢測視頻序列異常段落的電子裝置及其方法
US13/483,063 US8660343B2 (en) 2011-12-02 2012-05-30 System and method of detecting abnormal segments of video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110395987.8A CN103136763B (zh) 2011-12-02 2011-12-02 用于检测视频序列异常段落的电子装置及其方法

Publications (2)

Publication Number Publication Date
CN103136763A true CN103136763A (zh) 2013-06-05
CN103136763B CN103136763B (zh) 2017-07-21

Family

ID=48496553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110395987.8A Active CN103136763B (zh) 2011-12-02 2011-12-02 用于检测视频序列异常段落的电子装置及其方法

Country Status (3)

Country Link
US (1) US8660343B2 (zh)
CN (1) CN103136763B (zh)
TW (1) TWI516131B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648395A (zh) * 2018-05-14 2018-10-12 星络科技有限公司 一种社区安全防护方法及装置
CN110443182A (zh) * 2019-07-30 2019-11-12 深圳市博铭维智能科技有限公司 一种基于多实例学习的城市排水管道视频异常检测方法
CN113298046A (zh) * 2021-06-29 2021-08-24 中国科学院计算技术研究所数字经济产业研究院 基于监控视频的高空抛物检测方法
US20220076704A1 (en) * 2019-06-28 2022-03-10 Nvidia Corporation Automatic generation of video playback effects

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10602157B2 (en) 2015-09-11 2020-03-24 Facebook, Inc. Variable bitrate control for distributed video encoding
US10375156B2 (en) 2015-09-11 2019-08-06 Facebook, Inc. Using worker nodes in a distributed video encoding system
US10341561B2 (en) * 2015-09-11 2019-07-02 Facebook, Inc. Distributed image stabilization
US10063872B2 (en) 2015-09-11 2018-08-28 Facebook, Inc. Segment based encoding of video
US10506235B2 (en) 2015-09-11 2019-12-10 Facebook, Inc. Distributed control of video encoding speeds
US10499070B2 (en) 2015-09-11 2019-12-03 Facebook, Inc. Key frame placement for distributed video encoding
US10602153B2 (en) 2015-09-11 2020-03-24 Facebook, Inc. Ultra-high video compression
TW201904265A (zh) * 2017-03-31 2019-01-16 加拿大商艾維吉隆股份有限公司 異常運動偵測方法及系統
CN110225299B (zh) * 2019-05-06 2022-03-04 平安科技(深圳)有限公司 视频监测方法、装置、计算机设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151374A1 (en) * 2001-03-23 2004-08-05 Lipton Alan J. Video segmentation using statistical pixel modeling
US20060117356A1 (en) * 2004-12-01 2006-06-01 Microsoft Corporation Interactive montages of sprites for indexing and summarizing video
CN101055662A (zh) * 2007-06-01 2007-10-17 北京汇大通业科技有限公司 基于智能视频监控的多层次实时预警系统
CN101483763A (zh) * 2008-12-16 2009-07-15 南京大学 一种面向社会治安监控的数字影像处理方法及其装置
CN101631237A (zh) * 2009-08-05 2010-01-20 青岛海信网络科技股份有限公司 一种视频监控数据存储管理系统
US20100104261A1 (en) * 2008-10-24 2010-04-29 Zhu Liu Brief and high-interest video summary generation
US20110051992A1 (en) * 2009-08-31 2011-03-03 Wesley Kenneth Cobb Unsupervised learning of temporal anomalies for a video surveillance system
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0567059B1 (en) * 1992-04-24 1998-12-02 Hitachi, Ltd. Object recognition system using image processing
JP4215781B2 (ja) * 2006-06-16 2009-01-28 独立行政法人産業技術総合研究所 異常動作検出装置および異常動作検出方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040151374A1 (en) * 2001-03-23 2004-08-05 Lipton Alan J. Video segmentation using statistical pixel modeling
US20060117356A1 (en) * 2004-12-01 2006-06-01 Microsoft Corporation Interactive montages of sprites for indexing and summarizing video
CN101055662A (zh) * 2007-06-01 2007-10-17 北京汇大通业科技有限公司 基于智能视频监控的多层次实时预警系统
US20100104261A1 (en) * 2008-10-24 2010-04-29 Zhu Liu Brief and high-interest video summary generation
CN101483763A (zh) * 2008-12-16 2009-07-15 南京大学 一种面向社会治安监控的数字影像处理方法及其装置
CN101631237A (zh) * 2009-08-05 2010-01-20 青岛海信网络科技股份有限公司 一种视频监控数据存储管理系统
US20110051992A1 (en) * 2009-08-31 2011-03-03 Wesley Kenneth Cobb Unsupervised learning of temporal anomalies for a video surveillance system
CN102156983A (zh) * 2011-03-31 2011-08-17 上海交通大学 基于模式识别与目标跟踪的异常行人位置检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648395A (zh) * 2018-05-14 2018-10-12 星络科技有限公司 一种社区安全防护方法及装置
US20220076704A1 (en) * 2019-06-28 2022-03-10 Nvidia Corporation Automatic generation of video playback effects
US11574654B2 (en) * 2019-06-28 2023-02-07 Nvidia Corporation Automatic generation of video playback effects
CN110443182A (zh) * 2019-07-30 2019-11-12 深圳市博铭维智能科技有限公司 一种基于多实例学习的城市排水管道视频异常检测方法
CN110443182B (zh) * 2019-07-30 2021-11-09 深圳市博铭维智能科技有限公司 一种基于多实例学习的城市排水管道视频异常检测方法
CN113298046A (zh) * 2021-06-29 2021-08-24 中国科学院计算技术研究所数字经济产业研究院 基于监控视频的高空抛物检测方法

Also Published As

Publication number Publication date
US8660343B2 (en) 2014-02-25
TWI516131B (zh) 2016-01-01
TW201325237A (zh) 2013-06-16
US20130142425A1 (en) 2013-06-06
CN103136763B (zh) 2017-07-21

Similar Documents

Publication Publication Date Title
CN103136763A (zh) 用于检测视频序列异常段落的电子装置及其方法
Chung Naver at ActivityNet Challenge 2019--Task B Active Speaker Detection (AVA)
CN102413328B (zh) Jpeg图像双重压缩检测方法及系统
US9076066B2 (en) Image processing device and method for determining a similarity between two images
CN101567044B (zh) 一种人脸图像质量检测方法
US9870600B2 (en) Raw sensor image and video de-hazing and atmospheric light analysis methods and systems
CN103873852A (zh) 多模态并行的视频质量故障检测方法及装置
CN101682767B (zh) 用于测量视频编解码器块中细节损失的系统和方法
CN110020658B (zh) 一种基于多任务深度学习的显著目标检测方法
CN103034853A (zh) 一种jpeg图像通用隐写分析方法
CN103281473A (zh) 基于视频像素时空相关性的通用视频隐写分析方法
CN106303524B (zh) 基于预测残差异常模式的视频双重压缩检测方法
CN103093458A (zh) 关键帧的检测方法及装置
CN102301697B (zh) 视频签名产生设备
CN103067713A (zh) 一种位图jpeg压缩检测的方法及系统
CN110121109A (zh) 面向监控系统数字视频实时溯源方法、城市视频监控系统
CN115861210A (zh) 一种基于孪生网络的变电站设备异常检测方法和系统
Le Callet et al. No reference and reduced reference video quality metrics for end to end QoS monitoring
CN104837028A (zh) 视频同比特率双重压缩检测方法
CN103903214A (zh) 基于mcuu模型下的dct域图像隐写容量的评估方法
CN116912184B (zh) 一种基于篡改区域分离和区域约束损失的弱监督深度修复图像篡改定位方法及系统
CN105913008A (zh) 基于假设检验的人群异常事件检测方法
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法
CN101620734B (zh) 运动检测方法及装置、背景模型建立方法及装置
CN115830012A (zh) 一种接触网线索损伤数据检测分析方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant