CN108805832B - 适于隧道环境特性的改进灰度投影稳像方法 - Google Patents

适于隧道环境特性的改进灰度投影稳像方法 Download PDF

Info

Publication number
CN108805832B
CN108805832B CN201810529451.2A CN201810529451A CN108805832B CN 108805832 B CN108805832 B CN 108805832B CN 201810529451 A CN201810529451 A CN 201810529451A CN 108805832 B CN108805832 B CN 108805832B
Authority
CN
China
Prior art keywords
projection
image
row
sub
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810529451.2A
Other languages
English (en)
Other versions
CN108805832A (zh
Inventor
赵敏
孙棣华
孙健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN201810529451.2A priority Critical patent/CN108805832B/zh
Publication of CN108805832A publication Critical patent/CN108805832A/zh
Application granted granted Critical
Publication of CN108805832B publication Critical patent/CN108805832B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及交通图像处理技术领域,公开了一种适于隧道环境特性的改进灰度投影稳像方法,包括如下步骤:1)获取视频图像并建立参考帧;2)对视频图像进行多尺度高斯拟合;3)将拟合后的视频图像划分为多个子区域窗口;4)对各个子区域窗口进行LPQ特征加权的灰度投影,获得多个行投影曲线与列投影曲线;5)根据步骤4)获得的行投影曲线与列投影曲线,估计抖动矢量,并利用抖动矢量修正当前图像帧。本发明从高速公路隧道实际环境出发,利用模糊鲁棒的LPQ特征加权增大了模糊图像像素间的灰度差值,并通过多尺度高斯估计修正了当前帧并改变了当前帧和背景帧投影曲线的局部差异,再基于多子区域窗口的思想提高了全局抖动矢量估计的准确性,最终形成一种适于隧道环境特性的改进灰度投影稳像方法。

Description

适于隧道环境特性的改进灰度投影稳像方法
技术领域
本发明涉及交通图像处理技术领域,具体涉及一种用于高速公路隧道视频的稳像处理方法。
背景技术
隧道内交通目标的准确提取,是隧道异常事件检测的关键。而在隧道场景中监控设备存在抖动,使得提取的车辆目标畸形、行人目标与背景连通,严重干扰了交通目标的有效提取。同时隧道图像存在画质模糊、车辆灯光等干扰也加大了隧道抖动视频稳像的难度,导致传统的稳像方法效果一般、针对性不强。因此,研究针对隧道环境特性的抖动视频稳像方法,对提高隧道内车辆、行人等交通目标的检测精度,具有重要的理论和实际意义。
阅读现有专利和论文,发现基于视频的稳像方法主要有四类,即基于块匹配的稳像方法、基于位平面匹配的稳像方法、基于特征点匹配的稳像方法和基于灰度投影的稳像方法。其中,对于基于块匹配的稳像方法,如哈尔滨工业大学申请的“应用于电子稳像的改进块匹配算法”(CN:103237156B),该类方法的搜索策略直接关系到稳像方法的精确度和实时性。众多搜索策略中,全搜索法拥有最高的搜索匹配精度,可用于与其它稳像算法的对比,但全搜索法需要计算待匹配区域内所有搜索块,其计算复杂度高、实时性差,难以应用于实时性要求高的隧道视频监控系统;对于基于位平面匹配的稳像方法,如哈尔滨大学申请的“一种基于FPGA平台的快速位平面电子稳像方法”(CN:103179399B),该类方法利用二进制异或操作加快了块匹配法搜索过程中的均方误差或绝对误差计算,然而,位平面的选择是该方法的关键,不同数量、不同层次的位平面将直接影响抖动矢量估计的精度和计算复杂度;对于基于特征点匹配的稳像方法,如中国科学院上海技术物理研究所申请的“一种基于鲁棒性特征点的视频相机电子稳像方法”(CN:107343145A),该类方法基于二进制描述算子并通过Hamming距离计算实现匹配,具有较快的匹配速度,但在光照干扰、画质模糊的隧道环境中,误匹配率较高,效果不佳;对于基于灰度投影的稳像方法,如北京理工大学申请的“一种灰度投影稳像方法及系统”(CN:107911615A),该类方法将块匹配和位匹配中二维空间搜索替换为基于灰度投影的一维空间搜索,具有计算量小,实时性强的特性,然而,对于灰度梯度较为平坦、灰度投影曲线较为平滑的情况,容易导致互相关图存在多个相似邻近波谷,同时当存在局部光照干扰时,也会造成抖动矢量的估计误差,对于隧道环境不能很好适应。
发明内容
有鉴于此,本发明提供一种适于隧道环境特性的改进灰度投影稳像方法。
本发明的目的是通过以下技术方案来实现的:
一种适于隧道环境特性的改进灰度投影稳像方法,该方法包括以下步骤:
1)获取视频图像并建立参考帧;
2)对视频图像进行多尺度高斯拟合;
3)将拟合后的视频图像划分为多个子区域窗口;
4)对各个子区域窗口进行LPQ特征加权的灰度投影,获得多个行投影曲线与列投影曲线;
5)根据步骤4)获得的行投影曲线与列投影曲线,估计抖动矢量,并利用抖动矢量修正当前图像帧。
进一步,所述步骤5)之后还有如下步骤:
6)利用步骤5)获得的修正后的图像帧更新背景图像及参考帧并返回步骤2)。
进一步,所述步骤1)中还包括标定感兴趣区域的步骤;其余步骤均为对感兴趣区域进行处理。
进一步,所述步骤1)具体包括如下步骤:
11)通过摄像头获取视频流,标定视频图像中未包含隧道文字信息和时间文字信息的矩形区域为感兴趣区域;
12)以视频流第一帧为基础建立背景帧,将背景帧拷贝为参考帧Img_bkg;
进一步,所述步骤2)具体包括如下步骤:
21)以视频流第二帧为稳像起始帧,拷贝给当前帧Img_cur;
22)将当前帧Img_cur与不同尺度因子的高斯函数进行卷积操作,高斯函数g(x,y)公式如下:
Figure GDA0001803896360000021
上式中c表示尺度因子,λ表示归一化因子,获得当前帧光照估计分量
Figure GDA0001803896360000022
表示如下:
Figure GDA0001803896360000023
其中,wi为不同尺度下光照估计值的权值系数,N为尺度个数,f(x,y)表示原始图像,gi(x,y)表示高斯函数;
提取当前帧Img_cur在HSV颜色空间中的亮度分量fV(x,y);根据照度反射模型,计算消除光照干扰后的反射分量r(x,y),如下:
Figure GDA0001803896360000031
上式中:fV(x,y)为当前帧Img_cur在HSV颜色空间中的亮度分量,
Figure GDA0001803896360000032
为当前帧光照估计分量;
24)提取参考帧Img_bkg在HSV颜色空间中的亮度分量fV(x,y),并由高斯拟合估计参考帧Img_bkg的光照分量
Figure GDA0001803896360000033
再由照度反射模型,得到消除光照干扰后的反射分量r(x,y),如下:
Figure GDA0001803896360000034
进一步,所述步骤3)具体包括如下步骤:
31)将经过步骤2)处理的当前帧Img_cur划分为多个子区域窗口,划分方式采用隔行隔列的方式,每个子区域窗口大小为16×16像素;
32)将参考帧Img_bkg划分为多个子区域窗口,划分方式采用隔行隔列的方式,每个子区域窗口大小为16×16像素。
进一步,所述步骤4)具体包括如下步骤:
41)计算各个子区域窗口内每个像素点的LPQ特征,首先计算子区域窗口内任意一个像素点(x,y)的短时傅里叶变换,得到像素点I(x,y)所对应的频域G(u,v),公式如下:
Figure GDA0001803896360000035
其中,Nx和Ny分别表示像素点I(x,y)邻域的宽度和高度,M表示邻域的大小,表示一块大小为Nx×Ny的矩形区域,x和y表示子区域窗口内像素坐标点,u和v分别频域坐标点;
分别将频域点u1=[a,0]T,u2=[0,a]T,u3=[a,a]T,u4=[a,-a]T代入由任意像素点
Figure GDA0001803896360000036
计算得到的频域函数G(u,v)中,按先后顺序将得到的SIFT值组织成向量形式,如下:
Figure GDA0001803896360000041
上式中:
Figure GDA0001803896360000042
表示频域点为u1=[a,0]T时时域坐标点(xj,yj)的短时傅里叶变换值,
Figure GDA0001803896360000043
表示频域点分别为u1=[a,0]T,u2=[0,a]T,u3=[a,a]T,u4=[a,-a]T时时域坐标点(xj,yj)的短时傅里叶变换组成的向量;
将向量
Figure GDA0001803896360000044
按实部和虚部顺序组织成向量形式,如下:
Figure GDA0001803896360000045
上式中:
Figure GDA00018038963600000411
频域点为u1=[a,0]T时时域坐标点(xj,yj)的短时傅里叶变换值,Re{·}表示取实部操作,Im{·}表示取虚部操作,将上述八维向量转化为八位二进制数表示的向量如下:
Figure GDA0001803896360000046
式中qi为向量W中第i维对应的二进制权值,则八维向量W的完整量化编码值为:
Figure GDA0001803896360000047
上式中:i表示八位二进制的位数,qi表示量W中第i维对应的二进制权值;
对上述编码值进行归一化处理,转化为[0,1]之间的权值,公式如下:
Figure GDA0001803896360000048
上式中:k表示八位二进制的位数,qk表示量W中第k维对应的二进制权值;
42)先将每个子区域窗口的像素乘以各自的LPQ编码值,然后,分别计算行或列的灰度投影值,公式如下:
Figure GDA0001803896360000049
Figure GDA00018038963600000410
上式中:Pk(i,j)表示第k帧中像素Ik(i,j)上的灰度值,Col表示图像的列数,Row表示图像的行数,ω(i,j)表示像素Ik(i,j)对应的编码值,colk(i)表示第i行投影值,rowk(j)表示第j列投影;
43)通过余弦滤波器改变灰度投影曲线两端投影值的权重比例,获得LPQ特征加权后的多行投影曲线与列投影曲线。
进一步,所述余弦滤波器为:
Figure GDA0001803896360000051
Figure GDA0001803896360000052
上式中:edgerow和edgecol分别表示水平、垂直方向上的边缘宽度,wcol(i)为与灰度投影分布曲线colk对应的权值系数,wrow(j)为与灰度投影分布曲线rowk对应的权值系数,Col表示图像的列数,Row表示图像的行数,i表示图像上第i行,j表示图像上第j行。
进一步,所述步骤5)具体包括如下步骤:
51)计算步骤4)获得的行投影曲线及列投影曲线的相关曲线,相关曲线上各个点所对应的互相值计算如下:
Figure GDA0001803896360000053
Figure GDA0001803896360000054
上式中:wr和wc分别表示垂直和水平方向上的抖动量,即分别为垂直相关曲线和水平相关曲线上的水平分量,Mr和Mc分别表示垂直和水平方向上的最大抖动量,上标c和r分别表示当前帧和参考帧的灰度投影曲线;
52)根据步骤51)得到的互相关曲线
Figure GDA0001803896360000061
Figure GDA0001803896360000062
分别寻找每个子区域窗口对应相关值曲线的波谷值,波谷值所对应的偏移量(w'c,w'r)即为抖动运动矢量;
53)统计各个子区域窗口行和列抖动矢量的众数,分别表示为lmvx和lmvy,即为减小局部运动目标和不规则光照干扰后的抖动估计矢量;
54)利用上述估计的抖动矢量反方向修正当前帧Img_cur,当前帧Img_cur水平方向反向平移lmvx,垂直方向反向平移lmvy,得到稳定后的当前帧,对于平移后出现的未定义边缘区域采用黑色进行补偿。
由于采用了上述技术方案,本发明具有如下的优点:
针对隧道环境下的视频图像存在多噪声、画质模糊、光照等干扰问题,本发明以实时性较高的灰度投影稳像方法为基础进行改进。首先针对模糊图像下相关值曲线存在邻近相似波谷或异常波谷的问题,本发明采用模糊鲁棒的LPQ纹理特征对像素点灰度值加权,改变了模糊图像下灰度投影曲线较为平滑的情况;在此基础上,针对车辆光照干扰下相关值曲线呈单调趋势、无法估计抖动矢量的问题,本发明利用多尺度高斯函数逼近图像中的亮度分量,结合减法运算校正了当前帧中的光照干扰,并消除了当前帧与参考帧投影曲线局部区域存在的较大差异;
同时,为了减少由局部运动目标和不规则光照干扰引起的抖动量估计误差,本发明基于多子区域窗口的统计思想进一步提高了全局抖动矢量估计的准确性。
综合上面所述,本发明从高速公路隧道实际环境出发,利用模糊鲁棒的LPQ特征加权增大了模糊图像像素间的灰度差值,并通过多尺度高斯估计修正了当前帧并改变了当前帧和背景帧投影曲线的局部差异,再基于多子区域窗口的思想提高了全局抖动矢量估计的准确性,最终形成一种适于隧道环境特性的改进灰度投影稳像方法。该方法能有效稳定隧道视频流,合理抑制画质模糊、光照等干扰造成的抖动矢量估计误差,实现交通目标的准确提取,提高现有高速公路隧道交通目标提取的准确率。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步的详细描述:
图1为本发明的流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。
参见图1,本发明提供一种适于隧道环境特性的改进灰度投影稳像方法,包括以下步骤:
1)获取视频图像并建立参考帧;具体包括如下步骤:
11)通过摄像头获取视频流,标定视频图像中未包含隧道文字信息和时间文字信息的矩形区域为感兴趣区域;
12)以视频流第一帧为基础建立背景帧,将背景帧拷贝为参考帧Img_bkg;
2)对视频图像进行多尺度高斯拟合;
具体包括如下步骤:
21)以视频流第二帧为稳像起始帧,拷贝给当前帧Img_cur;
22)将当前帧Img_cur与不同尺度因子的高斯函数进行卷积操作,高斯函数g(x,y)公式如下:
Figure GDA0001803896360000071
上式中c表示尺度因子,λ表示归一化因子,获得当前帧光照估计分量
Figure GDA0001803896360000072
表示如下:
Figure GDA0001803896360000073
其中,wi为不同尺度下光照估计值的权值系数,N为尺度个数,f(x,y)表示原始图像,gi(x,y)表示高斯函数;
提取当前帧Img_cur在HSV颜色空间中的亮度分量fV(x,y);根据照度反射模型,计算消除光照干扰后的反射分量r(x,y),如下:
Figure GDA0001803896360000081
上式中:fV(x,y)为当前帧Img_cur在HSV颜色空间中的亮度分量,
Figure GDA0001803896360000082
为当前帧光照估计分量;
24)提取参考帧Img_bkg在HSV颜色空间中的亮度分量fV(x,y),并由高斯拟合估计参考帧Img_bkg的光照分量
Figure GDA0001803896360000083
再由照度反射模型,得到消除光照干扰后的反射分量r(x,y),如下:
Figure GDA0001803896360000084
3)将拟合后的视频图像划分为多个子区域窗口;具体包括如下步骤:
31)将经过步骤2)处理的当前帧Img_cur划分为多个子区域窗口,划分方式采用隔行隔列的方式,每个子区域窗口大小为16×16像素;
32)将参考帧Img_bkg划分为多个子区域窗口,划分方式采用隔行隔列的方式,每个子区域窗口大小为16×16像素。
4)对各个个子区域窗口进行LPQ特征加权的灰度投影,获得多个行投影曲线与列投影曲线;具体包括如下步骤:
41)计算各个子区域窗口内每个像素点的LPQ特征,首先计算子区域窗口内任意一个像素点(x,y)的短时傅里叶变换,得到像素点I(x,y)所对应的频域G(u,v),公式如下:
Figure GDA0001803896360000085
其中,Nx和Ny分别表示像素点I(x,y)邻域的宽度和高度,M表示邻域的大小,表示一块大小为Nx×Ny的矩形区域,x和y表示子区域窗口内像素坐标点,u和v分别频域坐标点;
分别将频域点u1=[a,0]T,u2=[0,a]T,u3=[a,a]T,u4=[a,-a]T代入由任意像素点
Figure GDA0001803896360000086
计算得到的频域函数G(u,v)中,按先后顺序将得到的SIFT值组织成向量形式,如下:
Figure GDA0001803896360000087
上式中:
Figure GDA0001803896360000088
表示频域点为u1=[a,0]T时时域坐标点(xj,yj)的短时傅里叶变换值,
Figure GDA0001803896360000089
表示频域点分别为u1=[a,0]T,u2=[0,a]T,u3=[a,a]T,u4=[a,-a]T时时域坐标点(xj,yj)的短时傅里叶变换组成的向量;
将向量
Figure GDA0001803896360000091
按实部和虚部顺序组织成向量形式,如下:
Figure GDA0001803896360000092
上式中:
Figure GDA0001803896360000093
频域点为u1=[a,0]T时时域坐标点(xj,yj)的短时傅里叶变换值,Re{·}表示取实部操作,Im{·}表示取虚部操作,将上述八维向量转化为八位二进制数表示的向量如下:
Figure GDA0001803896360000094
式中qi为向量W中第i维对应的二进制权值,则八维向量W的完整量化编码值为:
Figure GDA0001803896360000095
上式中:i表示八位二进制的位数,qi表示量W中第i维对应的二进制权值;
对上述编码值进行归一化处理,转化为[0,1]之间的权值,公式如下:
Figure GDA0001803896360000096
上式中:k表示八位二进制的位数,qk表示量W中第k维对应的二进制权值;
42)先将每个子区域窗口的像素乘以各自的LPQ编码值,然后,分别计算行或列的灰度投影值,公式如下:
Figure GDA0001803896360000097
Figure GDA0001803896360000098
上式中:Pk(i,j)表示第k帧中像素Ik(i,j)上的灰度值,Col表示图像的列数,Row表示图像的行数,ω(i,j)表示像素Ik(i,j)对应的编码值,colk(i)表示第i行投影值,rowk(j)表示第j列投影;
43)通过余弦滤波器改变灰度投影曲线两端投影值的权重比例,获得LPQ特征加权后的多行投影曲线与列投影曲线。所述余弦滤波器为:
Figure GDA0001803896360000101
Figure GDA0001803896360000102
上式中:edgerow和edgecol分别表示水平、垂直方向上的边缘宽度,wcol(i)为与灰度投影分布曲线colk对应的权值系数,wrow(j)为与灰度投影分布曲线rowk对应的权值系数,Col表示图像的列数,Row表示图像的行数,i表示图像上第i行,j表示图像上第j行;
5)根据步骤4)获得的行投影曲线与列投影曲线,估计抖动矢量,并利用抖动矢量修正当前图像帧。具体包括如下步骤:
51)计算步骤4)获得的行投影曲线及列投影曲线的相关曲线,相关曲线上各个点所对应的互相值计算如下:
Figure GDA0001803896360000103
Figure GDA0001803896360000104
上式中:wr和wc分别表示垂直和水平方向上的抖动量,即分别为垂直相关曲线和水平相关曲线上的水平分量,Mr和Mc分别表示垂直和水平方向上的最大抖动量,上标c和r分别表示当前帧和参考帧的灰度投影曲线;
52)根据步骤51)得到的互相关曲线
Figure GDA0001803896360000111
Figure GDA0001803896360000112
分别寻找每个子区域窗口对应相关值曲线的波谷值,波谷值所对应的偏移量(w'c,w'r)即为抖动运动矢量;
53)统计各个子区域窗口行和列抖动矢量的众数,分别表示为lmvx和lmvy,即为减小局部运动目标和不规则光照干扰后的抖动估计矢量;
54)利用上述估计的抖动矢量反方向修正当前帧Img_cur,当前帧Img_cur水平方向反向平移lmvx,垂直方向反向平移lmvy,得到稳定后的当前帧,对于平移后出现的未定义边缘区域采用黑色进行补偿。
6)利用步骤5)获得的修正后的图像帧更新背景图像及参考帧并返回步骤2)。具体包括如下步骤:
61)利用步骤五中获取的稳定当前帧建立背景模型,这里采用高斯法建立背景模型;
62)对背景模型实时更新,采用基于像素变化率的背景更新方法,即连续三帧图像中变化率小于某一阈值的像素点以一定的更新率实时更新,同时,重新拷贝背景帧作为当前参考帧Img_bkg。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的保护范围当中。

Claims (9)

1.一种适于隧道环境特性的改进灰度投影稳像方法,其特征在于,该方法包括以下步骤:
1)获取视频图像并建立参考帧;
2)对视频图像进行多尺度高斯拟合;
3)将拟合后的视频图像划分为多个子区域窗口;
4)对各个子区域窗口进行LPQ特征加权的灰度投影,获得多个行投影曲线与列投影曲线;
5)根据步骤4)获得的行投影曲线与列投影曲线,估计抖动矢量,并利用抖动矢量修正当前图像帧。
2.根据权利要求1所述的一种适于隧道环境特性的改进灰度投影稳像方法,其特征在于,所述步骤5)之后还有如下步骤:
6)利用步骤5)获得的修正后的图像帧更新背景图像及参考帧并返回步骤2)。
3.根据权利要求1或2所述的一种适于隧道环境特性的改进灰度投影稳像方法,其特征在于,所述步骤1)中还包括标定感兴趣区域的步骤;其余步骤均为对感兴趣区域进行处理。
4.根据权利要求3所述的一种适于隧道环境特性的改进灰度投影稳像方法,其特征在于,所述步骤1)具体包括如下步骤:
11)通过摄像头获取视频流,标定视频图像中未包含隧道文字信息和时间文字信息的矩形区域为感兴趣区域。
12)以视频流第一帧为基础建立背景帧,将背景帧拷贝为参考帧Img_bkg。
5.根据权利要求4所述的一种适于隧道环境特性的改进灰度投影稳像方法,其特征在于,所述步骤2)具体包括如下步骤:
21)以视频流第二帧为稳像起始帧,拷贝给当前帧Img_cur;
22)将当前帧Img_cur与不同尺度因子的高斯函数进行卷积操作,高斯函数g(x,y)公式如下:
Figure FDA0003336890570000011
上式中c表示尺度因子,λ表示归一化因子,获得当前帧光照估计分量
Figure FDA0003336890570000012
表示如下:
Figure FDA0003336890570000013
其中,wi为不同尺度下光照估计值的权值系数,N为尺度个数,f(x,y)表示原始图像,gi(x,y)表示高斯函数;
提取当前帧Img_cur在HSV颜色空间中的亮度分量fV(x,y);根据照度反射模型,计算消除光照干扰后的反射分量r(x,y),如下:
Figure FDA0003336890570000021
上式中:fV(x,y)为当前帧Img_cur在HSV颜色空间中的亮度分量,
Figure FDA0003336890570000022
为当前帧光照估计分量;
24)提取参考帧Img_bkg在HSV颜色空间中的亮度分量fbV(x,y),并由高斯拟合估计参考帧Img_bkg的光照分量
Figure FDA0003336890570000023
再由照度反射模型,得到消除光照干扰后的反射分量rb(x,y),如下:
Figure FDA0003336890570000024
6.根据权利要求5所述的一种适于隧道环境特性的改进灰度投影稳像方法,其特征在于,所述步骤3)具体包括如下步骤:
31)将经过步骤2)处理的当前帧Img_cur划分为多个子区域窗口,划分方式采用隔行隔列的方式,每个子区域窗口大小为16×16像素;
32)将参考帧Img_bkg划分为多个子区域窗口,划分方式采用隔行隔列的方式,每个子区域窗口大小为16×16像素。
7.根据权利要求6所述的一种适于隧道环境特性的改进灰度投影稳像方法,其特征在于,所述步骤4)具体包括如下步骤:
41)计算各个子区域窗口内每个像素点的LPQ特征,首先计算子区域窗口内任意一个像素点(x,y)的短时傅里叶变换,得到像素点I(x,y)所对应的频域G(u,v),公式如下:
Figure FDA0003336890570000025
其中,Nx和Ny分别表示像素点I(x,y)邻域的宽度和高度,M表示邻域的大小,表示一块大小为Nx×Ny的矩形区域,x和y表示子区域窗口内像素坐标点,u和v分别频域坐标点;
分别将频域点u1=[a,0]T,u2=[0,a]T,u3=[a,a]T,u4=[a,-a]T代入由任意像素点计算得到的频域函数G(u,v)中,按先后顺序将得到的SIFT值组织成向量形式,如下:
Figure FDA0003336890570000031
上式中:表示频域点为u1=[a,0]T时时域坐标点(xj,yj)的短时傅里叶变换值,表示频域点分别为u1=[a,0]T,u2=[0,a]T,u3=[a,a]T,u4=[a,-a]T时时域坐标点(xj,yj)的短时傅里叶变换组成的向量;
将向量按实部和虚部顺序组织成向量形式,如下:
Figure FDA0003336890570000032
上式中:频域点为u1=[a,0]T时时域坐标点(xj,yj)的短时傅里叶变换值,Re{·}表示取实部操作,Im{·}表示取虚部操作,将上述八维向量转化为八位二进制数表示的向量如下:
Figure FDA0003336890570000033
式中qi为向量W中第i维对应的二进制权值,则八维向量W的完整量化编码值为:
Figure FDA0003336890570000034
上式中:i表示八位二进制的位数,qi表示量W中第i维对应的二进制权值;
对上述编码值进行归一化处理,转化为[0,1]之间的权值,公式如下:
Figure FDA0003336890570000035
上式中:k表示八位二进制的位数,qk表示量W中第k维对应的二进制权值;
42)先将每个子区域窗口的像素乘以各自的LPQ编码值,然后,分别计算行或列的灰度投影值,公式如下:
Figure FDA0003336890570000036
Figure FDA0003336890570000037
上式中:Pk(i,j)表示第k帧中像素Ik(i,j)上的灰度值,Col表示图像的列数,Row表示图像的行数,ω(i,j)表示像素Ik(i,j)对应的编码值,col k(i)表示第i行投影值,row k(j)表示第j列投影;
43)通过余弦滤波器改变灰度投影曲线两端投影值的权重比例,获得LPQ特征加权后的多行投影曲线与列投影曲线。
8.根据权利要求7所述的一种适于隧道环境特性的改进灰度投影稳像方法,其特征在于,所述余弦滤波器为:
Figure FDA0003336890570000041
Figure FDA0003336890570000042
上式中:edge row和edge col分别表示水平、垂直方向上的边缘宽度,w col(i)为与灰度投影分布曲线col k对应的权值系数,w row(j)为与灰度投影分布曲线row k对应的权值系数,Col表示图像的列数,Row表示图像的行数,i表示图像上第i行,j表示图像上第j行。
9.根据权利要求8所述的一种适于隧道环境特性的改进灰度投影稳像方法,其特征在于,所述步骤5)具体包括如下步骤:
51)计算步骤4)获得的行投影曲线及列投影曲线的相关曲线,相关曲线上各个点所对应的互相关值计算如下:
Figure FDA0003336890570000043
Figure FDA0003336890570000044
上式中:wr和wc分别表示垂直和水平方向上的抖动量,即分别为垂直相关曲线和水平相关曲线上的水平分量,Mr和Mc分别表示垂直和水平方向上的最大抖动量,上标c和r分别表示当前帧和参考帧的灰度投影曲线;
52)根据步骤51)得到的互相关曲线和分别寻找每个子区域窗口对应相关值曲线的波谷值,波谷值所对应的偏移量(w'c,w'r)即为抖动运动矢量;
53)统计各个子区域窗口行和列抖动矢量的众数,分别表示为lmv x和lmv y,即为减小局部运动目标和不规则光照干扰后的抖动估计矢量;
54)利用上述估计的抖动矢量反方向修正当前帧Img_cur,当前帧Img_cur水平方向反向平移lmv x,垂直方向反向平移lmv y,得到稳定后的当前帧,对于平移后出现的未定义边缘区域采用黑色进行补偿。
CN201810529451.2A 2018-05-29 2018-05-29 适于隧道环境特性的改进灰度投影稳像方法 Active CN108805832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810529451.2A CN108805832B (zh) 2018-05-29 2018-05-29 适于隧道环境特性的改进灰度投影稳像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810529451.2A CN108805832B (zh) 2018-05-29 2018-05-29 适于隧道环境特性的改进灰度投影稳像方法

Publications (2)

Publication Number Publication Date
CN108805832A CN108805832A (zh) 2018-11-13
CN108805832B true CN108805832B (zh) 2022-02-08

Family

ID=64090872

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810529451.2A Active CN108805832B (zh) 2018-05-29 2018-05-29 适于隧道环境特性的改进灰度投影稳像方法

Country Status (1)

Country Link
CN (1) CN108805832B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109743495B (zh) * 2018-11-28 2021-02-09 深圳市中科视讯智能系统技术有限公司 视频图像电子增稳方法及装置
CN110536064B (zh) * 2019-07-22 2021-04-06 杭州电子科技大学 一种固定场景的像素级精度视频图像去抖动方法
CN110529896B (zh) * 2019-08-09 2021-09-07 杭州九阳小家电有限公司 一种油烟机烟雾检测的矫正方法和油烟机
CN110807464B (zh) * 2019-10-21 2022-09-20 华中科技大学 一种获得图像模糊不变纹理特征描述子的方法和系统
CN112839178B (zh) * 2021-01-21 2023-05-02 常州路航轨道交通科技有限公司 一种图像的震动补偿方法、装置及计算机可读存储介质
CN113066001A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种图像处理方法及相关设备

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055884A (zh) * 2009-11-09 2011-05-11 深圳市朗驰欣创科技有限公司 一种视频图像的稳像控制方法、系统及视频分析系统
CN102098440A (zh) * 2010-12-16 2011-06-15 北京交通大学 针对摄像机抖动下运动目标检测的电子稳像方法及系统
CN102497494A (zh) * 2011-12-09 2012-06-13 首都师范大学 基于fpga的高速稳像系统中的运动估计模块
CN102665032A (zh) * 2012-04-17 2012-09-12 西北工业大学 一种机载视频稳像方法
CN103237156A (zh) * 2013-04-02 2013-08-07 哈尔滨工业大学 应用于电子稳像的改进块匹配算法
CN103402045A (zh) * 2013-08-20 2013-11-20 长沙超创电子科技有限公司 一种基于分区匹配和仿射模型相结合的图像去旋稳像方法
CN105574893A (zh) * 2015-12-18 2016-05-11 浙江大学 一种基于投影梯度的稳像方法
CN105681674A (zh) * 2016-03-21 2016-06-15 南通大学 基于机械稳像和电子稳像的稳像方法及复合式稳像系统
CN106375659A (zh) * 2016-06-06 2017-02-01 中国矿业大学 基于多分辨率灰度投影的电子稳像方法
CN106550172A (zh) * 2015-09-18 2017-03-29 河北工业大学 卫星装配中基于分区灰度投影的稳像算法
CN107343145A (zh) * 2017-07-12 2017-11-10 中国科学院上海技术物理研究所 一种基于鲁棒性特征点的视频相机电子稳像方法
CN107492076A (zh) * 2017-08-03 2017-12-19 重庆大学 一种高速公路隧道场景车辆阴影干扰抑制方法
CN107911615A (zh) * 2017-12-26 2018-04-13 北京理工大学 一种灰度投影稳像方法及系统

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102055884A (zh) * 2009-11-09 2011-05-11 深圳市朗驰欣创科技有限公司 一种视频图像的稳像控制方法、系统及视频分析系统
CN102098440A (zh) * 2010-12-16 2011-06-15 北京交通大学 针对摄像机抖动下运动目标检测的电子稳像方法及系统
CN102497494A (zh) * 2011-12-09 2012-06-13 首都师范大学 基于fpga的高速稳像系统中的运动估计模块
CN102665032A (zh) * 2012-04-17 2012-09-12 西北工业大学 一种机载视频稳像方法
CN103237156A (zh) * 2013-04-02 2013-08-07 哈尔滨工业大学 应用于电子稳像的改进块匹配算法
CN103402045A (zh) * 2013-08-20 2013-11-20 长沙超创电子科技有限公司 一种基于分区匹配和仿射模型相结合的图像去旋稳像方法
CN106550172A (zh) * 2015-09-18 2017-03-29 河北工业大学 卫星装配中基于分区灰度投影的稳像算法
CN105574893A (zh) * 2015-12-18 2016-05-11 浙江大学 一种基于投影梯度的稳像方法
CN105681674A (zh) * 2016-03-21 2016-06-15 南通大学 基于机械稳像和电子稳像的稳像方法及复合式稳像系统
CN106375659A (zh) * 2016-06-06 2017-02-01 中国矿业大学 基于多分辨率灰度投影的电子稳像方法
CN107343145A (zh) * 2017-07-12 2017-11-10 中国科学院上海技术物理研究所 一种基于鲁棒性特征点的视频相机电子稳像方法
CN107492076A (zh) * 2017-08-03 2017-12-19 重庆大学 一种高速公路隧道场景车辆阴影干扰抑制方法
CN107911615A (zh) * 2017-12-26 2018-04-13 北京理工大学 一种灰度投影稳像方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《Image stabilization by combining gray-scale projection and representative point matching algorithms》;Shuang Li等;《2011 3rd International Conference on Awareness Science and Technology (iCAST)》;20111231;第1-6页 *
《The vehicle-borne electronic image stabilization system based on Gray Projection Algorithm》;Liu Lu等;《2011 International Conference on Electric Information and Control Engineering》;20111231;第1-4页 *
《一种快速灰度投影算法的实现与仿真》;柴云峰等;《Proceedings of the 25th Chinese Control Conference》;20060811;第872-875页 *

Also Published As

Publication number Publication date
CN108805832A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108805832B (zh) 适于隧道环境特性的改进灰度投影稳像方法
US11488308B2 (en) Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN107301661B (zh) 基于边缘点特征的高分辨率遥感图像配准方法
US10169664B2 (en) Re-identifying an object in a test image
KR100377067B1 (ko) 이미지 시퀀스내의 객체의 움직임을 검출하기 위한 방법 및장치
CN109741356B (zh) 一种亚像素边缘检测方法及系统
US9589328B2 (en) Globally dominant point spread function estimation
CN109102013B (zh) 一种适于隧道环境特性的改进freak特征点匹配稳像方法
CN101860729A (zh) 一种用于全方位视觉的目标跟踪方法
CN105976330A (zh) 一种嵌入式雾天实时视频稳像方法
CN110929567B (zh) 基于单目相机监控场景下目标的位置速度测量方法及系统
CN109376641B (zh) 一种基于无人机航拍视频的运动车辆检测方法
CN112446436A (zh) 基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法
CN105374049B (zh) 一种基于稀疏光流法的多角点跟踪方法及装置
CN111444778A (zh) 一种车道线检测方法
CN110599516A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN103500454A (zh) 一种抖动视频运动目标提取方法
CN113409353B (zh) 运动前景检测方法、装置、终端设备及存储介质
CN110322476B (zh) 一种改进stc和surf特征联合优化的目标跟踪方法
CN111881837A (zh) 基于阴影提取的视频sar运动目标检测方法
CN110910429A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
Chen et al. A mean shift algorithm based on modified Parzen window for small target tracking
CN115248004A (zh) 获取河工模型中船模船头和船尾坐标信息的方法
Zhang et al. Motion detection using a model of visual attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant