CN103905746B - 亚像素级图像偏移定位及叠加方法和装置以及视频设备 - Google Patents

Abstract

本发明公开了亚像素级图像偏移定位及叠加方法，包括：步骤1，获得一组视频图像I_k，k＝1，2，...，K，K是大于等于1的整数；步骤2，将第1幅图像I₁(m，n)作为参考图像；步骤3，对于第2至第K幅图像中的每一幅图像I_k(1＜k≤K)，求出该幅图像与第1幅图像的形心偏移量，其中对于第k(2≤k≤K)幅图像，与第1幅图像的形心偏移量表示为步骤4，对第k(2≤k≤K)幅图像I_k进行亚像素级精度的反偏移操作，偏移量为得到偏移后的图像步骤5，对所有反偏移后的图像进行求和取平均，获得增强图像I^E，其中第1幅图像的偏移量为0。利用本发明的方法，能够得到高质量的视频图像。

Description

亚像素级图像偏移定位及叠加方法和装置以及视频设备

技术领域

本发明涉及图像及视频数据处理领域，特别涉及一种亚像素级图像偏移定位及叠加方法和装置以及视频设备。

背景技术

对于视频数据来说，由于要求高速连续拍摄，因此每帧图像的积分时间很短，大约在10～100毫秒之间。由此引起的一个后果是每帧图像的噪声比较大，信噪比比较低。另外，视频摄像头的图像采集器件CCD(或CMOS)的读出带宽有限，为了保证足够的帧频率，每帧图像的像素数相对比较少，通常只有640x480像素，或者更少的320x200像素，图像分辨率比较差，画质粗糙。

基于视频数据的图像增强技术的目标在于从一段视频中提取一幅噪声低、分辨率好的清晰图像。要实现这个目标，精确计算两帧图像中目标场景的位置差是一项关键技术。一旦位置差确定，就可以固定某一帧图像，移动其它帧图像，使得所有帧中的目标场景完全对齐，然后把对齐后的帧图像叠加平均。因场景目标的强度是相干的，而每帧图像的背景噪声是随机不相干的，故叠加平均之后，场景强度不变，而背景噪声降低了倍，其中N为帧数。也就是说，对准、叠加平均之后的图像的质量得到显著改善，即噪声降低、对比度增强、清晰度提高。

在实际的摄像，尤其是手持式摄像过程中，摄像机的位置、指向是不断变化着的。对于监控摄像头来说，镜头位置、指向可能是固定不变的，但场景目标往往是运动的。如果我们把每帧图像直接叠加平均，得到的结果是模糊的，原因是场景目标并没有对齐。

如何精确对齐场景目标？一种直接的方法是计算场景目标的形心位置，称为重心法。具体公式如下(细节可以参考论文“Zhai，C.et al.，2011，Micro-pixel accuracycentroid displacement estimation and detector calibration，Proc.R.Soc.A，467，3550-3569”)：

其中(x_mn，y_mn)为像素(m，n)的坐标，I_mn为像素(m，n)的强度，(x_c，y_c)为场景目标的形心坐标。这种方法的缺点是对于噪声比较强的图像，其定位精度很差。

如果已知场景目标的强度分布，可以用最小二乘法去拟合实测图像，从而获得比较高的定位精度(见参考文献“Stone，R.C.，1989，A comparison of digital centeringalgorithms.Astrophys.J.97，1227.”)。遗憾的是这种方法对于实际的视频数据几乎没有什么应用价值。原因很简单，在实际的视频数据中，我们对场景目标一无所知。

当摄像头的像素数目比较少，分辨率比较低时，可以通过抖动(Dithering)观测技术来提高成像的分辨率。相关算法的描述可以参考论文“Lauer，T.R.1999a，CombiningUndersampled Dithered Images，PASP，111，227”和“Hook，R.N.，Fruchter，A.S.，2000，Dithering，Sampling and Image Reconstruction，Astronomical Data AnalysisSoftware and System IX，ASP Conference Series，Vol.216”。在该方法中，为了实现超分辨率图像重建，也需要对图像中场景目标的偏移进行精确定位。

由此可见，亚像素级图像偏移定位技术是视频图像叠加增强的基础。目前常用的几种技术都不适合用来对整幅图像进行亚像素级偏移定位。

重心法比较适合于在天文观测图像中对比较致密的目标源(如恒星、星系等)进行精确定位，前提是图像的信噪比较高。对于整幅图像来说，由于无法划定一致的计算区域，因而该方法就完全适用了。

最小二乘法的适用前提是场景目标的强度分布已知。该方法可以获得亚像素级定位精度，并且有很好的噪声抑制能力。不过，对于实际的视频图像来说，真实的场景目标的强度分布是未知的，该方法也不能用来对整幅图像作亚像素级定位。

交叉相关方法适用于整幅图像的偏移定位，有很好的噪声抑制能力。然而，其定位精度最多也只能达到像素级。当图像以大场景目标为主时，该方法的定位精度就更差了。因此，该方法也满足亚像素级的图像偏移定位及叠加的要求。

发明内容

为了克服现有技术的上述缺陷，本发明提出了一种亚像素级图像偏移定位及叠加方法、装置及摄像设备。

本发明提供的亚像素级图像偏移定位及叠加方法包括步骤：步骤1，获得一组视频图像I_k，k＝1，2，...，K，K是大于等于1的整数；步骤2，将第1幅图像I₁(m，n)作为参考图像；步骤3，对于第2至第K幅图像中的每一幅图像I_k(1＜k≤K)，求出该幅图像与第1幅图像的形心偏移量，其中对于第k(2≤k≤K)幅图像，与第1幅图像的形心偏移量表示为步骤4，对第k(2≤k≤K)幅图像I_k进行亚像素级精度的反偏移操作，偏移量为得到偏移后的图像步骤5，对所有反偏移后的图像进行求和取平均，获得增强图像I^E，其中第1幅图像的偏移量为0。

本发明还提供了一种亚像素级图像偏移定位及叠加装置，该装置包括：视频图像获取单元，用于获得一组视频图像I_k，k＝1，2，...，K，K是大于等于1的整数；偏移量确定单元，用于将第1幅图像I₁(m，n)作为参考图像，对于第2至第K幅图像中的每一幅图像，求出该幅图像与第1幅图像的形心偏移量，其中对于第k(2≤k≤K)幅图像，与第1幅图像的形心偏移量表示为偏移单元，对第k(2≤k≤K)幅图像I_k进行亚像素级精度的反偏移操作，偏移量为得到偏移后的图像增强图像获取单元，对所有反偏移后的图像进行求和取平均，获得增强图像I^E，其中第1幅图像的偏移量为0。

本发明还提供了一种视频设备，其包括上述的亚像素级图像偏移定位及叠加装置，还包括：CCD/CMOS摄像装置，用于感知目标图像；视频数据读取装置，用于读取摄像装置的图像数据，并将读取的图像数据传送到亚像素级图像偏移定位及叠加装置进行处理；图像在线显示装置，用于显示亚像素级图像偏移定位及叠加装置生成的图像结果；图像离线显示装置，用于显示亚像素级图像偏移定位及叠加装置生成的图像结果。

利用本发明的方案，可以获得高分辨率、高灵敏度的视频图像。特别是本发明提出的亚像素级图像偏移定位及叠加装置，可以作为嵌入式设备融入现有的视频产品，可以从视频数据流中提取、合成高分辨率、高灵敏度图像。亚像素级图像偏移定位及叠加装置可以通过计算机软件来实现，也可以是专用的ASIC芯片，它从视频设备的读出单元获取视频数据，处理后的高分辨率、高灵敏度图像可以在线显示在视频设备的显示单元上，也可以离线显示在其它设备上。

应用本发明的方案，还可以实现亚像素级的图像偏移定位精度。当噪声信号比为1.0e-7时，可以实现微像素级定位精度，远远高于现有的其它图像偏移定位技术。利用本发明的方案在获得高精度的偏移后，可以实现超高分辨率成像。叠加平均后的图像包含了其频谱的很多高频成分。配合以适当的反卷积技术，如维纳滤波，最大熵方法，Lucy迭代等等，可以获得一幅超高分辨率的图像。理论上讲，对于M幅图像，处理之后图像的有效像素数目可以增加M倍。3)可以实现防抖摄像。在光线比较弱的情况下，相机、手机等拍照设备需要设置比较长的曝光时间来获得足够灵敏度的照片。如果没有三脚架的固定，这些拍照设备很难保持稳定，因而获得照片是模糊的。有了本发明提供的亚像素级图像偏移定位技术，我们可以对一段视频或一组照片进行在线或后期处理，精确计算每幅图像(或每帧图像)之间的偏移量，然后将他们对准叠加并平均，获得清晰的照片。4)可以实现弱光成像。当我们将一组照片对准叠加平均后，目标图像信号是相干的，不受影响；而背景噪声信号是随机的，叠加平均可以将噪声水平降低倍，M为被叠加平均的图像的数目。

附图说明

图1为本发明亚像素级图像偏移定位及叠加方法的流程图。

图2为本发明亚像素级图像偏移定位及叠加装置的工作原理图。

图3是使用本发明亚像素级图像偏移定位及叠加装置的视频设备功能结构图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明亚像素级图像偏移定位及叠加方法流程图。参照图1，该方法包括步骤：

步骤100，获得一组视频图像I_k，k＝1，2，……，K，K是大于等于1的整数。

在该步骤，摄像机实际采集到的一段视频，是由一帧帧图像组成的。该段假定有K帧图像I_k，k＝1，2，……，K。每帧图像的强度分布可以通过以下模型进行精确描述：

其中a为像素的大小，(x_s，y_s)为图像的形心位置，

I(x，y)为图像强度的连续分布，为图像的频谱，m，n分别为X和Y方向的像素排列的序号，Q_mn(x，y)为探测器响应函数，为探测器响应函数对应的频谱，(x，y)为X和Y方向的坐标，k_x＝0，1，...，N-1和k_y＝0，1，...，N-1为频谱在X和Y方向的波数，N为大于等于1的整数。

在I(x，y)为有限带宽信号的前提下，公式(2)精确描述了视频信号的采集过程。也就是说对于同一场景目标，其视频数据中不同的帧图像都可以用公式(2)描述。唯一的区别是，不同帧图像的形心位置(x_s，y_s)可能不一致。因此，可以运用最小二乘法来计算两幅帧图像形心位置的偏移量。

步骤200，从一组图像中不重复挑选两幅图像I_i和I_j，i≠j为图像排列的序号，它们对应的强度分布为I_i(m，n)和I_j(m，n)，图像大小都为NxN，N为X或Y方向的像素数目，m＝1，2，...，N和n＝1，2，...，N为图像在X和Y方向的像素排列的序号，其中将I_i(m，n)作为参考图像。

步骤300，以第一幅图像I_i(m，n)为参考图像，对第二幅图像I_j(m，n)进行亮度修正。该步骤进一步包括：

步骤301，求出参考图像I_i(m，n)所有像素值的总和

步骤302，求出第二幅图像I_j(m，n)所有像素值的总和

步骤303，将第二幅图像I_j(m，n)中的每个像素乘以一个修正因子S_i/S_j，得到归一化后的图像其中

步骤400，对参考图像I_i(m，n)进行亚像素级精度的偏移操作，整幅图像(或图像形心)的偏移量为(x_c，y_c)，该步骤进一步包括：

步骤401，对I_i(m，n)进行Fourier变换，获得其频谱F_i(k_x，k_y)。其中

步骤402，对频谱F_i(k_x，k_y)乘以相移因子获得新的频谱

步骤403，对频谱作Fourier反变换，得到偏移后的参考图像偏移量为(x_c，y_c)。

步骤500，用最小二乘法来搜索确定上述两幅图像I_i和I_j之间在X和Y方向的实际偏移量。该步骤进一步包括：

步骤501，确定两幅图像I_i和I_j在X和Y方向偏移量的搜索范围[x_b，x_e]和[y_b，y_e]，x_b为X方向的搜索起点，x_e为X方向的搜索终点，y_b为Y方向的搜索起点，y_e为Y方向的搜索终点。为了保证搜索范围涵盖实际的偏移量，可以把搜索范围设置的足够大，例如对于一副512x512大小的图像来说，偏移量搜索范围可以设置为：X方向[-512，512]，Y方向[-512，512]。同时，我们还需确定X方向的搜索步长d_x和Y方向的搜索步长d_y。搜索步长根据偏移量的精度来调整。例如，若偏移量的精度为0.1像素宽度，那么搜索步长可以设为0.1像素宽度，或更小。

步骤502，计算在X和Y方向要搜索的次数N_x和N_y，X方向和Y方向的搜索是独立进行的，所以总的搜索次数为N_x×N_y：

其中INT表示取整数操作。

步骤503，计算X方向第ii步(ii＝0，1，...，N_x)，Y方向第jj步(jj＝0，1，...，N_y)搜索对应的在X和Y方向的偏移量(x_ii，y_jj)，其中：

x_ii＝x_b+ii*d_x

y_jj＝y_b+jj*d_y

步骤504，对于每次搜索(X方向第ii步，第Y方向的第jj步，偏移量(x_ii，y_ii))，按照步骤400描述的方法获得参考图像I_i(m，n)偏移后的图像偏移后的图像与原图像I_i(m，n)的强度分布是不一样的。图像用来与第二幅图像I_j(m，n)做匹配，以确定I_i(m，n)与I_j(m，n)之间的精确偏移量。

步骤505，计算图像和I_j(m，n)之间差的绝对值的总和S_ij(x_ii，y_jj)：

步骤506，在所有的S_ij(x_ii，y_jj)中，找到数值最小的一个这个数对应的偏移量就是两幅图像I_i(m，n)和I_j(m，n)之间的形心位置偏移量(x_c，y_c)。即，

步骤600，对一组视频图像的偏移进行叠加，获得增强图像。该步骤进一步包括：

步骤601，将第1幅图像I₁作为参考图像。

步骤602，对于第2至第K幅图像中的每一幅，按照步骤500求出它和第1幅图像的形心偏移量，其中对于第k(2≤k≤K)幅图像，与第1幅图像的形心偏移量表示为

步骤603，按照步骤400，对第k(2≤k≤K)幅图像I_k进行亚像素级精度的反偏移操作，偏移量为得到偏移后的图像

步骤604，对所有反偏移后的图像(第1幅图像的偏移量为0)进行求和取平均操作，获得图像I^E，即为本视频偏移叠加后的增强图像。

根据本发明的一实施例，还提出了一种亚像素级图像偏移定位及叠加装置，用于执行上述的亚像素级图像偏移定位及叠加方法。该装置包括：

视频图像获取单元，用于获得一组视频图像I_k，k＝1，2，...，K，K是大于等于1的整数。

偏移量确定单元，用于将第1幅图像I₁(m，n)作为参考图像，对于第2至第K幅图像中的每一幅图像，求出该幅图像与第1幅图像的形心偏移量，其中对于第k(2≤k≤K)幅图像，与第1幅图像的形心偏移量表示为

偏移单元，用于对第k(2≤k≤K)幅图像I_k进行亚像素级精度的反偏移操作，偏移量为得到偏移后的图像

增强图像获取单元，用于对所有反偏移后的图像进行求和取平均，获得增强图像I^E，其中第1幅图像的偏移量为0。

其中偏移量确定单元进一步用于对第1幅图像I₁(m，n)进行亚像素级精度的偏移，得到偏移后的参考图像为偏移量为(x_c，y_c)，其中m＝1，2，...，N和n＝1，2，...，N为图像在X和Y方向的像素排列的序号，N为X或Y方向的像素数目，(x_c，y_c)为该第1幅图像的形心位置。

该偏移量确定单元还进一步用于：对I₁(m，n)进行傅里叶变换，获得其频谱F₁(K_x，K_y)；对频谱F₁(K_x，K_y)乘以相移因子获得新的频谱F₁ ^S(K_x，K_y，x_c，y_c)；对频谱F₁ ^S(K_x，K_y，x_c，y_c)作傅里叶反变换，得到偏移后的参考图像偏移量为(x_c，y_c)，其中k_x＝0，1，...，N-1和k_y＝0，1，...，N-1为频谱在X和Y方向的波数，N为大于等于1的整数；确定两幅图像I₁(m，n)和I_k(m，n)在X和Y方向偏移量的搜索范围[x_b，x_e]和[y_b，y_e]，x_b为X方向的搜索起点，x_e为X方向的搜索终点，y_b为Y方向的搜索起点，y_e为Y方向的搜索终点；计算在X和Y方向要搜索的次数分别是N_x和N_y；计算X方向第ii步(ii＝0，1，...，N_x)，Y方向第jj步(jj＝0，1，...，N_y)搜索对应的在X和Y方向的偏移量(x_ii，y_jj)；对于每次搜索，按照步骤2’获取参考图像I₁(m，n)偏移后的图像计算图像和I_k(m，n)之间差的绝对值的总和S_ij(x_ii，y_jj)：在所有的S_ij(x_ii，y_jj)中，找到数值最小的一个该数对应的偏移量就是两幅图像I₁(m，n)和I_k(m，n)之间的形心位置偏移量

本发明还提供了一种视频设备，图3为该设备的结构框图，参照图3，该视频设备包括：CCD/CMOS摄像装置，用于感知目标图像；视频数据读取装置，用于读取摄像装置的图像数据；该视频设备还包括上述参照图3所描述的亚像素级图像偏移定位及叠加装置，该装置用于生成高分辨率、高灵敏度的叠加图像；图像在线显示装置，用于显示亚像素级图像偏移定位及叠加装置在线处理生成的图像结果；图像离线显示单元，用于显示亚像素级图像偏移定位及叠加装置离线生成的图像结果。在这里，在线的含义是数据处理的时间很短，用户可以立即得到输出结果；离线的含义是数据处理时间比较长，用户需要等待一段时间才能获得输出结果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种亚像素级图像偏移定位及叠加方法，包括步骤：

步骤1，获得一组视频图像I_k，k＝1，2，...，K，K是大于等于1的整数；

步骤2，将第1幅图像I₁(m，n)作为参考图像，其中m＝1，2，...，N和n＝1，2，...，N为图像在X和Y方向的像素排列的序号；

步骤3，对于第2至第K幅图像中的每一幅图像I_k(1＜k≤K)，求出该幅图像与第1幅图像的形心偏移量，其中对于第k(2≤k≤K)幅图像，其与第1幅图像的形心偏移量表示为

步骤4，对第k(2≤k≤K)幅图像I_k进行亚像素级精度的反偏移操作，偏移量为得到偏移后的图像I′_k；

步骤5，对所有反偏移后的图像I′_k(1＜k≤K)进行求和取平均，获得增强图像I^I，其中第1幅图像的偏移量为0。

2.根据权利要求1所述的方法，其特征在于，在步骤2之后进一步包括：

步骤2’，对第1幅图像I₁(m，n)进行亚像素级精度的偏移，得到偏移后的参考图像为偏移量为(x_c，y_c)，其中m＝1，2，...，N和n＝1，2，...，N为图像在X和Y方向的像素排列的序号，N为X或Y方向的像素数目。

3.根据权利要求2所述的方法，其特征在于，所述步骤2’进一步包括步骤：

步骤21’，对I₁(m，n)进行傅里叶变换，获得其频谱F₁(K_x，K_y)；

步骤22’，对频谱F₁(K_x，K_y)乘以相移因子获得新的频谱F₁ ^S(K_x，K_v，_xc，y_c)；

步骤23’，对频谱F₁ ^S(K_x，K_y，x_c，y_c)作傅里叶反变换，得到偏移后的参考图像偏移量为(x_c，y_c)，

其中k_x＝0，1，...，N-1和k_y＝0，1，...，N-1为频谱在X和Y方向的波数，N为大于等于1的整数。

4.根据权利要求3所述的方法，其特征在于，步骤3中确定第1幅图像I₁与第k幅图像I_k之间的形心偏移量进一步包括：

步骤301，确定两幅图像I₁(m，n)和I_k(m，n)在X和Y方向偏移量的搜索范围[X_b，X_e]和[y_b，y_e]，x_b为X方向的搜索起点，x_e为X方向的搜索终点，y_b为Y方向的搜索起点，y_e为Y方向的搜索终点；

步骤302，计算在X和Y方向要搜索的次数分别是N_x和N_y；

步骤303，计算X方向第ii步(ii＝0，1，...，N_x)，Y方向第jj步(jj＝0，1，，...，N_y)搜索对应的在X和Y方向的偏移量(x_ii，y_jj)；

步骤304，对于每次搜索，按照步骤2’获取参考图像I₁(m，n)偏移后的图像

步骤305，计算图像和I_k(m，n)之间差的绝对值的总和S_ij(x_ii，y_jj)：

步骤306，在所有的S_ij(x_ii，y_jj)中，找到数值最小的一个该对应的偏移量就是两幅图像I₁(m，n)和I_k(m，n)之间的形心位置偏移量

5.一种亚像素级图像偏移定位及叠加装置，该装置包括：

视频图像获取单元，用于获得一组视频图像I_k，k＝1，2，...，K，K是大于等于1的整数；

偏移量确定单元，用于将第1幅图像I₁(m，n)作为参考图像，对于第2至第K幅图像中的每一幅图像，求出该幅图像与第1幅图像的形心偏移量，其中对于第k(2≤k≤K)幅图像，与第1幅图像的形心偏移量表示为其中m＝1，2，...，N和n＝1，2，...，N为图像在X和Y方向的像素排列的序号；

偏移单元，对第k(2≤k≤K)幅图像I_k进行亚像素级精度的反偏移操作，偏移量为得到偏移后的图像I′_k；

增强图像获取单元，对所有反偏移后的图像I′_k(1＜k≤K)进行求和取平均，获得增强图像I^I，其中第1幅图像的偏移量为0。

6.根据权利要求5所述的装置，其特征在于，偏移量确定单元进一步用于：对第1幅图像I₁(m，n)进行亚像素级精度的偏移，得到偏移后的参考图像为偏移量为(x_c，y_c)，其中m＝1，2，...，N和n＝1，2，...，N为图像在X和Y方向的像素排列的序号，N为X或Y方向的像素数目。

7.根据权利要求6所述的装置，其特征在于，偏移量确定单元进一步用于：对I₁(m，n)进行傅里叶变换，获得其频谱F₁(K_x，K_y)；对频谱F₁(K_x，K_y)乘以相移因子获得新的频谱F₁ ^S(K_x，K_y，x_c，y_c)；对频谱F₁ ^S(K_x，K_y，x_c，y_c)作傅里叶反变换，得到偏移后的参考图像偏移量为(x_c，y_c)，其中k_x＝0，1，...，N-1和k_y＝0，1，...，N-1为频谱在X和Y方向的波数，N为大于等于1的整数。

8.根据权利要求7所述的装置，其特征在于，偏移量确定单元进一步用于：确定两幅图像I₁(m，n)和I_k(m，n)在X和Y方向偏移量的搜索范围[x_b，x_e]和[y_b，y_e]，X_b为X方向的搜索起点，X_e为X方向的搜索终点，y_b为Y方向的搜索起点，y_e为Y方向的搜索终点；计算在X和Y方向要搜索的次数分别是N_x和N_y；计算X方向第ii步(ii＝0，1，...，N_x)，Y方向第jj步(jj＝0，1，...，N_y)搜索对应的在X和Y方向的偏移量(x_ii，y_jj)；对于每次搜索，按照步骤2’获取参考图像I₁(m，n)偏移后的图像计算图像和I_k(m，n)之间差的绝对值的总和S_ij(x_ii，y_jj)；在所有的S_ij(x_ii，y_jj)中，找到数值最小的一个该对应的偏移量就是两幅图像I₁(m，n)和I_k(m，n)之间的形心位置偏移量

9.一种视频设备，其包括如权利要求5-8任一项所述的亚像素级图像偏移定位及叠加装置，该视频设备还进一步包括：CCD/CMOS摄像装置，用于感知目标图像；视频数据读取装置，用于读取摄像装置的图像数据，并将读取的图像数据传送到亚像素级图像偏移定位及叠加装置进行处理；图像在线显示装置，用于显示亚像素级图像偏移定位及叠加装置在线生成的图像结果；图像离线显示装置，用于显示亚像素级图像偏移定位及叠加装置离线生成的图像结果。