CN106384331B - 一种基于精密位移的高分辨率图像合成方法 - Google Patents

Abstract

本发明一种基于精密位移的高分辨率图像合成方法属于图像处理和计算机视觉检测领域，涉及一种基于精密位移的高分辨率图像合成方法。该方法首先在被拍摄场景4个边角处分别布置1个圆形辅助靶标，并在场景中间区域放置一块精度较高的标定板，通过相机运动距离与辅助靶标特征点之间像素差，标定板实际尺寸与角点坐标提取像素差求取相机每个像素所代表的成像空间内实际物理尺寸的大小，利用位移平台带动相机运动并拍摄5幅图像，最后根据序列图像相对位置关系对其进行插值合成，得到最终的高分辨率图像。该方法通过微位移平台带动相机精确移动，利用低分辨率相机实现了更高分辨率图像的获取。

Description

一种基于精密位移的高分辨率图像合成方法

技术领域

本发明属于图像处理和计算机视觉检测领域，特别涉及一种基于精密位移的高分辨率图像合成方法，具体是指通过微位移平台带动相机精确移动，从而利用低分辨率相机拍摄合成高分辨率图像的方法。

背景技术

由于衍射极限的存在，导致所有成像系统任何两个感光单元之间的距离必须大于瑞利判据所规定的极限距离，否则将使临近两个像素点无法分辨。而随着制造水平的提高，当前相机CCD阵列的密度已经接近衍射极限，单纯通过改进硬件加工工艺已经无法进一步提升相机分辨率。但在视觉测量、医学成像等诸多领域，对高分辨率图像的需求又日益迫切，因此，广大学者对如何在现有低分辨率相机的基础上获得更高分辨率的图像进行了广泛的研究。

鞠怡明发明的专利号为CN 102314678 A的专利“图像分辨率提高装置及方法”提出了一种利用多幅低分辨率图像合成高分辨率图像的方法，首先拍摄多幅低分辨率图像，选择其中一幅作为底图像并进行插值放大，所插值部分均为透明像素，将下一幅图像放大至同样倍数后与底图像进行配准，然后进行叠加，依次对图像序列进行相同操作直至所有低分辨率图像叠加完，得到最终图像。该方法操作简单，但最终图像质量严重依赖于配准精度。W·郝发明的专利号为CN 102783135 A的专利“利用低分辨率图像提供高分辨率图像的方法和装置”提出了一种获取高分辨率图像的新方法，首先同时拍摄低分辨率图像序列及单幅高分辨率图像，再低分辨率图像序列生成聚合高分辨率图像，最后与原始高分辨率图像合成得到最终高分辨率图像的方法。该方法可有效降低图像噪声，减少模糊，但不能提高图像的分辨率。

发明内容

本发明所要解决的技术问题是克服现有技术的缺陷，发明一种基于精密位移的高分辨率图像合成方法。该方法通过利用精密位移平台拍摄相对位置关系已知的图像序列，并通过精确插值与像素填充，从而获取一幅最终分辨率为原相机分辨率9倍的图像。

本发明采用的技术方案是一种基于精密位移的高分辨率图像合成方法，该方法首先在被拍摄场景4个边角处分别布置1个圆形辅助靶标6，并在场景中间区域放置一块精度较高的标定板7，将相机固定于一个可以在水平和竖直两个维度上运动的位移平台上，通过相机运动距离与辅助靶标特征点之间像素差、标定板7实际尺寸与角点坐标提取像素差求取相机每个像素所代表的成像空间内实际物理尺寸的大小，之后利用位移平台带动相机运动并拍摄5幅图像，最后根据序列图像相对位置关系对其进行插值合成，得到最终的高分辨率图像。方法的具体步骤如下：

步骤1：拍摄场景布置

在欲拍摄场景成像平面内的4个边角处分别粘贴1个圆形辅助靶标6，并在场景中间区域摆放一块高精度棋盘格标定板7，场景布置如图1所示。将相机固定于可以在水平及竖直两个方向上高精度移动的位移平台上，调整位移平台使其运动平面尽可能平行于辅助靶标及标定板所在平面，同时调整相机使其光轴尽量垂直于标定板。

步骤2：求取图像像素与成像空间物理尺寸对应关系

调整相机参数，使标定板角点、辅助靶标及欲拍摄场景均能够清晰成像，之后操作中保持相机参数不变。使相机在水平方向上多次移动并在移动间隔时拍摄m幅图像，同样地，在竖直方向上拍摄n幅图像。分别提取图像中辅助靶标特征点及标定板网格角点，水平方向上第i幅图像中第k个辅助靶标在水平方向上的坐标记为标定板角点共有a×b个，其第p行第q列的角点在水平方向上的坐标记为相机在水平方向上第i次运动的距离记为d⁽ⁱ⁾，标定板网格在水平和竖直方向上的实际尺寸分别为l₁×l₂；同样地，在竖直方向上i和u分别用j和v表示，其余含义相同。则相机单个像素在水平与竖直方向上与实际成像空间物理尺寸x和y的对应关系为：

求得x和y之后，可将所粘贴辅助靶标及标定板移除。

步骤3：获取低分辨率图像序列

调整位移平台，使相机在各个运动方向均具有足够活动空间。在相机初始位置，拍摄第1幅图像，控制位移平台使相机向右移动向上移动拍摄第2幅图像，再向左移动拍摄第3幅图像，向下移动拍摄第4幅图像，向右移动拍摄第5幅图像，按照拍摄顺序依次将图像记为f₁,f₂,f₃,f₄,f₅。

步骤4：合成高分辨率图像

由步骤3所得的5幅图像中，后4幅图像相对于第1幅图像均有像素的偏差，分别位于第1幅图像的右上、左上、左下和右下位置，因此可以根据它们之间的相对位置关系将5幅图像中的所有像素逐个插值到一个大小为原图像9倍的高分辨率图像网格中，从而将原来图像的每个单像素相应地扩充为9个像素，其中每9个像素中5个像素由所拍摄图像序列内相应位置像素填充，同时为了避免块效应，保证图像平滑，其余4个像素由相邻像素插值填充。最终合成的图像f在第i行第j列处的像素值记为f(i,j)，则有：

完成图像的合成。

本发明的有益效果是在获取相机像素与成像空间实际尺寸对应关系后，控制位移平台带动相机精密移动并拍摄图像序列，通过图像序列之间精确位置关系合成单幅分辨率为原相机9倍的高分辨率图像，在不改变现有相机分辨率的情况下，利用低分辨率相机多次精密运动从而获取更高分辨率的图像。

附图说明

图1为拍摄场景图，其中，6-圆形辅助靶标，7-标定板。

图2为相机拍摄序列图像移动方向图，拍摄的第一，第二，第三，第四，第五幅图像分别记为f₁,f₂,f₃,f₄,f₅。

图3为高分辨率图像合成原理示意图，其中，1,2,3,4,5分别表示f₁,f₂,f₃,f₄,f₅在对应位置处的像素值，

具体实施方式

下面结合技术方案和附图详细说明本发明的具体实施方式。

附图1是拍摄场景图，在拍摄场景内4个边角处分别粘贴1个圆形辅助靶标6，在视场中心区域放置一块标定板7，用以确定相机像素与成像空间实际尺寸对应关系，之后可移除辅助靶标和标定板。

图2为相机拍摄序列图像移动方向图，按照如图所示轨迹先后拍摄5幅图像，分别记为f₁,f₂,f₃,f₄,f₅。

图3为高分辨率图像合成原理示意图，该图以单个像素为例，表征将其扩大为9个像素后，依照对应位置关系填充的5个像素情况，其中1,2,3,4,5分别表示f₁,f₂,f₃,f₄,f₅在对应位置处的像素值，其余4个像素则通过公式(2)插值求取。

首先在被拍摄场景4个边角处分别布置1个圆形辅助靶标6，并在场景中间区域放置一块精度较高的标定板7，将相机固定于一个可以在水平和竖直两个维度上运动的位移平台上，通过相机运动距离与辅助靶标特征点之间像素差、标定板7实际尺寸与角点坐标提取像素差求取相机每个像素所代表的成像空间内实际物理尺寸的大小，之后利用位移平台带动相机运动并拍摄5幅图像，最后根据序列图像相对位置关系对其进行插值合成，得到最终的高分辨率图像。方法的具体步骤如下：

步骤1：拍摄场景布置

在欲拍摄场景成像平面内的4个边角处分别粘贴1个圆形辅助靶标6，并在场景中间区域摆放一块高精度棋盘格标定板7，场景布置如图1所示。将相机固定于可以在水平及竖直两个方向上高精度移动的位移平台上，调整位移平台使其运动平面尽可能平行于辅助靶标及标定板所在平面，同时调整相机使其光轴尽量垂直于标定板。

步骤2：求取图像像素与成像空间物理尺寸对应关系

调整相机参数，使标定板角点、辅助靶标及欲拍摄场景均能够清晰成像，之后操作中保持相机参数不变。使相机在水平方向上多次移动并在移动间隔时拍摄m幅图像，同样地，在竖直方向上拍摄n幅图像。分别提取图像中辅助靶标特征点及标定板网格角点，水平方向上第i幅图像中第k个辅助靶标在水平方向上的坐标记为标定板角点共有a×b个，其第p行第q列的角点在水平方向上的坐标记为相机在水平方向上第i次运动的距离记为d⁽ⁱ⁾，标定板网格在水平和竖直方向上的实际尺寸分别为l₁×l₂；同样地，在竖直方向上i和u分别用j和v表示，其余含义相同。本实施例中在水平方向和和竖直方向上，位移平台均移动9次，各拍摄10幅图像，使用标定板角点共有5×4个，单个网格实际尺寸为100×100mm，由公式(1)，求得相机单个像素在水平与竖直方向上与实际成像空间物理尺寸对应关系为：x＝1.293mm，y＝1.287mm。然后将所粘贴辅助靶标及标定板移除。

步骤3：获取低分辨率图像序列

调整位移平台，使相机在各个运动方向均具有足够活动空间。在相机初始位置，拍摄第1幅图像，控制位移平台使相机向右移动0.431mm，向上移动0.429mm，拍摄第2幅图像，再向左移动0.862mm，拍摄第3幅图像，向下移动0.858mm，拍摄第4幅图像，向右移动0.862mm，拍摄第5幅图像，其移动轨迹如图2所示，按照拍摄顺序依次将图像记为f₁,f₂,f₃,f₄,f₅。

步骤4：合成高分辨率图像

由步骤3所得的5幅图像中，后4幅图像相对于第1幅图像均有像素的偏差，分别位于第1幅图像的右上、左上、左下和右下位置，因此可以根据它们之间的相对位置关系将5幅图像中的所有像素逐个插值到一个大小为原图像9倍的高分辨率图像网格中，从而将原来图像的每个单像素相应地扩充为9个像素，如图3所示，合成图像中每9个像素的中心及周边4个像素均有f₁,f₂,f₃,f₄,f₅在对应位置的像素值填充，为了避免块效应，保证图像平滑，另外4个空白区域像素则由其周边3个像素插值来填充，由公式(2)可得到最终合成图像的每个位置对应的像素值。

本发明提出了一种基于精密位移的高分辨率图像合成方法，通过准确求取相机单像素在水平和竖直方向上与成像空间实际尺寸的对应关系，控制相机精确移动拍摄序列图像，并基于序列图像间精确位置关系，通过插值方法和成功一幅大小为原图像9倍的高分辨图像，利用低分辨率相机实现了更高分辨率图像的获取。

Claims (1)

1.一种基于精密位移的高分辨率图像合成方法，其特征是，该方法首先在被拍摄场景4个边角处分别布置1个圆形辅助靶标(6)，并在场景中间区域放置一块精度较高的标定板(7)，将相机固定于一个可以在水平和竖直两个维度上运动的位移平台上，通过相机运动距离与辅助靶标特征点之间像素差、标定板(7)实际尺寸与角点坐标提取像素差求取相机每个像素所代表的成像空间内实际物理尺寸的大小，之后利用位移平台带动相机运动并拍摄5幅图像，最后根据序列图像相对位置关系对其进行插值合成，得到最终的高分辨率图像；方法的具体步骤如下：

步骤1：拍摄场景布置

在欲拍摄场景成像平面内的4个边角处分别粘贴1个圆形辅助靶标(6)，并在场景中间区域摆放一块高精度棋盘格标定板(7)，将相机固定在高精度移动的位移平台上，调整位移平台平行于辅助靶标及标定板所在平面运动，同时调整相机使其光轴垂直于标定板(7)；

步骤2：求取图像像素与成像空间物理尺寸对应关系

调整相机参数，使标定板角点、辅助靶标及欲拍摄场景均能够清晰成像，之后操作中保持相机参数不变；使相机在水平方向上多次移动并在移动间隔时拍摄m幅图像，同样地，在竖直方向上拍摄n幅图像；分别提取图像中辅助靶标特征点及标定板网格角点，水平方向上第i幅图像中第k个辅助靶标在水平方向上的坐标记为标定板角点共有a×b个，其第p行第q列的角点在水平方向上的坐标记为相机在水平方向上第i次运动的距离记为d⁽ⁱ⁾，标定板网格在水平和竖直方向上的实际尺寸分别为l₁×l₂；同样地，在竖直方向上i和u分别用j和v表示，其余含义相同；则相机单个像素在水平与竖直方向上与实际成像空间物理尺寸x和y的对应关系为：

求得x和y之后，可将所粘贴辅助靶标及标定板移除；

步骤3：获取低分辨率图像序列

调整位移平台，使相机在各个运动方向均具有足够活动空间；在相机初始位置，拍摄第1幅图像，控制位移平台使相机向右移动向上移动拍摄第2幅图像，再向左移动拍摄第3幅图像，向下移动拍摄第4幅图像，向右移动拍摄第5幅图像，按照拍摄顺序依次将图像记为f₁,f₂,f₃,f₄,f₅；

步骤4：合成高分辨率图像

由步骤3所得的5幅图像中，后4幅图像相对于第1幅图像均有像素的偏差，分别位于第1幅图像的右上、左上、左下和右下位置，因此可以根据它们之间的相对位置关系将5幅图像中的所有像素逐个插值到一个大小为原图像9倍的高分辨率图像网格中，从而将原来图像的每个单像素相应地扩充为9个像素，其中每9个像素中5个像素由所拍摄图像序列内相应位置像素填充，同时为了避免块效应，保证图像平滑，其余4个像素由相邻像素插值填充；最终合成的图像f在第i行第j列处的像素值记为f(i,j)，则有：

完成图像的合成。