发明内容
本发明的目的在于提供一种利用运动信息的视频图像增强方法,从而实现彩色监控视频的实时增强。
实现本发明目的的技术解决方案为:一种利用运动信息的快速监控视频增强方法,包括以下步骤:
步骤1、采集图像,获取输入图像序列并判断该图像是否为第一帧,若为第一帧则对整个图像区域计算光照分布估计,之后执行步骤6,若不为第一帧则执行步骤2,对整个图像区域计算光照分布估计所采用的公式为:
L1(σ2,x,y)=I1(x,y)*G(σ2)
其中,(x,y)为像素坐标,I1为第一帧输入图像,L1为第一帧的光照估计,“*”为图像处理中的卷积操作,G(σ2)为方差为σ2的高斯核函数;
步骤2、根据输入图像序列,计算两帧间运动图像,其步骤为:
步骤21、计算输入图像当前帧与前一帧的帧差图像ΔIn:
ΔIn(x,y)=In(x,y)-In-1(x,y),
其中,In为当前第n帧输入图像,In-1为第n-1帧输入图像;
步骤22、将帧差图像ΔIn中绝对值小于阈值的像素点的值设为0,得到运动图像Mn:
其中,Thard为硬阈值,Thard=[10,15],Tsoft为软阈值,其值为运动图像中非零像素点占所有像素点比例为p时的值,即
p=[0.05,0.1];
步骤3、寻找运动图像上非零区域的外接矩形,并将其标记为运动区域,其步骤为:
步骤31、寻找第i个运动区域
Ri=R((xi1,yi1),(xi2,yi2))={(x,y)|xi1≤x≤xi2,yi1≤y≤yi2},
其中(xi1,yi1)为矩形左上角坐标,(xi2,yi2)为矩形右下角坐标,定义运动区域积分为遍历运动图像Mn,用寻找到的第一个非零像素点的坐标初始化Ri,即
步骤32、对于第t次迭代,分别在四个方向上对当前区域
以步长Δ进行扩张,其中Δ=[2,4],从而得到扩张区域
和
计算当前区域和扩张区域的区域积分,将值最大的区域作为下次迭代的初始区域
步骤33、重复步骤32直到运动区域矩形不再改变,得到第i个运动区域Ri;
步骤34、更新运动图像Mn:
之后返回步骤31直到所有运动区域都被标记;
步骤4、对上述运动区域光照分布变化的显著性进行预测,只保留显著运动区域,将其余的运动区域删除;
步骤5、对上述显著运动区域重新计算光照分布估计,得到当前图像的光照分布估计;
步骤6、采用MSRCR方法对输入图像进行增强;
步骤7、输出增强图像。
一种实现利用运动信息的快速监控视频增强方法的装置,包括视频输入模块、光照估计模块、视频增强模块、视频输出模块和运动信息提取模块;所述视频输入模块从外界提取视频信息,并传递给运动信息提取模块和光照估计模块,其中运动信息提取模块对视频序列进行运动检测与光照变化显著性评估,并将显著运动区域信息传递给光照估计模块;光照估计模块更新显著运动区域的光照估计,并将光照估计传递给视频增强模块;视频增强模块对视频进行多尺度Retinex增强并进行彩色恢复,然后将增强后的视频序列传递给视频输出模块,视频输出模块将增强图像序列输出。
本发明与现有技术相比,其显著优点:1)本发明基于Retinex视觉原理,不需要调整参数,能够自动适应场景,能有效增强黑天、雾天、雨天、雪天视频;2)本发明利用视频中的运动信息消除方法的帧间冗余计算,对彩色视频提供实时增强。在本发明提供的实验装置上,对720×576分辨率彩色视频处理速度可达18~19帧/秒;3)本发明为后续目标检测、跟踪、行为分析等中高层视频分析任务对恶劣天气条件下监控视频的实时有效处理提供了可能。
下面结合附图对本发明作进一步详细描述。
具体实施方式
结合图1,本发明的利用运动信息的快速监控视频增强方法,包括以下步骤:
步骤1、采集图像,获取输入图像序列并判断该图像是否为第一帧,若为第一帧则对整个图像区域计算光照分布估计,之后执行步骤6,若不为第一帧则执行步骤2;
对整个图像区域计算光照分布估计所采用的公式为:
L1(σ2,x,y)=I1(x,y)*G(σ2)
其中,(x,y)为像素坐标,I1为第1帧输入图像,L1为第1帧的光照估计,“*”为图像处理中的卷积操作,G(σ2)为方差为σ2的高斯核函数。
步骤2、根据输入图像序列,计算两帧间运动图像;具体包括以下步骤:
步骤21、计算输入图像当前帧与前一帧的帧差图像ΔIn:
ΔIn(x,y)=In(x,y)-In-1(x,y),
其中,In为当前第n帧输入图像,In-1为第n-1帧输入图像;
步骤22、将帧差图像ΔIn中绝对值小于阈值的像素点的值设为0,得到运动图像Mn:
其中,Thard为硬阈值,Thard=[10,15],Tsoft为软阈值,其值为运动图像中非零像素点占所有像素点比例为p时的值,即
p=[0.05,0.1]。
步骤3、寻找运动图像上非零区域的外接矩形,并将其标记为运动区域;具体包括以下步骤:
步骤31、寻找第i个运动区域
Ri=R((xi1,yi1),(xi2,yi2))={(x,y)|xi1≤x≤xi2,yi1≤y≤yi2},
其中(x
i1,y
i1)为矩形左上角坐标,(x
i2,y
i2)为矩形右下角坐标,定义运动区域积分为
遍历运动图像M
n,用寻找到的第一个非零像素点的坐标初始化R
i,即
步骤32、对于第t次迭代,分别在四个方向上对当前区域
以步长Δ进行扩张,其中Δ=[2,4],从而得到扩张区域
和
计算当前区域和扩张区域的区域积分,将值最大的区域作为下次迭代的初始区域
步骤33、重复步骤32直到运动区域矩形不再改变,得到第i个运动区域Ri;
步骤34、更新运动图像Mn:
之后返回步骤31直到所有运动区域都被标记。
步骤4、对上述运动区域光照分布变化的显著性进行预测,只保留显著运动区域,将其余的运动区域删除;
当前帧与前一帧的光照分布变化如下:
ΔLn(σ2,x,y)=|Ln(σ2,x,y)-Ln-1(σ2,x,y)|
=|In(x,y)*G(σ2)-In-1(x,y)*G(σ2)|
=|In(x,y)-In-1(x,y)|*G(σ2)
≈Mn(x,y)*G(σ2)
其中,Ln为当前第n帧的光照估计,Ln-1为第n-1帧的光照估计,Mn为步骤2得到的初始运动图像,“*”为图像处理中的卷积操作,G(σ2)为方差为σ2的高斯核函数,实际处理时,采用三个不同尺度的高斯核函数。
以
作为运动区域R
i在尺度σ下的显著性度量,当它大于一定阈值时,认为该运动区域在尺度σ下光照分布变化显著,需重新计算,否则,认为光照分布估计不变,无需重新计算:L
n(σ
2,x,y)=L
n-1(σ
2,x,y)。
将运动区域内的运动图像Mn建模为高斯函数,最终,得到如下不等式用来判断运动区域在尺度σ下光照分布变化是否显著:
阈值T为:
简而言之,对运动区域光照分布变化的显著性进行预测具体为:
阈值T为:
其中,S(Ri)为运动区域积分,C是常数,一般取[0.125,0.25];若运动区域满足以上不等式则判断为显著运动区域并且保留,否则删除。
步骤5、对上述显著运动区域重新计算光照分布估计,得到当前图像的光照分布估计;对显著运动区域重新计算光照分布估计,具体为:
其中,Rσ为在尺度σ下的显著运动区域。
步骤6、采用MSRCR方法对输入图像进行增强;具体为:
步骤61、对RGB各个颜色通道计算MSR(Multi-scale Retinex,多尺度Retinex)增强结果,第k个通道的多尺度Retinex增强图像为:
其中,
为当前第k个通道的输入图像,
为当前第k个通道的光照估计分布,w
i光照估计各个尺度权重;
步骤62、对RGB各个通道进行颜色恢复,第k个通道的颜色恢复系数为
其中,α为120,则最终得到的各个通道的MSRCR增强图像为
步骤7、输出增强图像。
下面结合实例对本发明做进一步详细的说明。
本发明公开了一种利用运动信息的快速监控视频增强方法,并提供了一种视频增强设备,系统结构如图2所示。一种实现利用运动信息的快速监控视频增强方法的设备,包括视频输入模块、光照估计模块、视频增强模块、视频输出模块和运动信息提取模块;所述视频输入模块从外界提取视频信息,并将视频序列传递给运动信息提取模块和光照估计模块;运动信息提取模块对视频序列进行运动检测与光照变化显著性评估,并将显著运动区域信息传递给光照估计模块;光照估计模块更新显著运动区域的光照估计,并将光照估计传递给视频增强模块;视频增强模块对视频进行多尺度Retinex增强并进行彩色恢复,然后将增强后的视频序列传递给视频输出模块,视频输出模块将增强图像序列输出。系统以工控机为计算平台,其上搭载Intel Core Duo T2600处理器,工作主频为2.16GHz,视频输入输出均为PAL/NTSC制标准视频信号。
本实例的流程图如图1所示。输入图像大小为720×576,如图3所示。首先,计算输入图像当前帧与前一帧的帧差图像,引入阈值Tsoft、Thard,将帧差图像中绝对值小于阈值的像素点的值设为0,得到运动图像,如图4所示(为了便于观看已将像素值进行了拉伸),其中,Thard取10,p取5%。接着寻找运动图像中非零区域的外接矩形,将其标记为运动区域,如图5所示,其中,Δ取3。然后预测运动区域的光照分布变化显著性,其中C为0.25,对高于阈值的显著运动区域重新计算光照分布估计。最后采用MSRCR方法对输入图像进行增强,得到的增强图像如图6所示,其中wi=1/3。
本发明利用运动信息消除视频增强方法中的帧间冗余计算,在本发明提供的实验装置上,对720×576分辨率彩色监控视频的处理速度可达18~19帧/秒,在获得良好增强效果的同时达到监控系统对图像增强的实时性要求。