CN107945196A - 一种用于航拍校正图像拼接的图像边沿检测方法 - Google Patents

Abstract

本发明一种用于航拍校正图像拼接的图像边沿检测方法，属于计算机视觉领域。无人机非理想的俯仰角、翻滚角等信息会造成航拍图像的非线性畸变，而通过几何校正后，校正图像边沿会产生大量无规则的噪点。在多幅航拍图像进行拼接形成一张无缝的大场景图像时，若直接对每幅航拍校正图像进行裁剪，将裁去大量有效信息，不裁剪则会产生明显的拼接噪点。本发明对存在边沿噪声的航拍校正图像进行两次边沿检测，以一定的规则区分无效像素与有效像素，确定边沿噪声带。在校正图像拼接时，只需剪裁掉此噪声带，即可避免拼接噪声，同时又最大限度地保留了图像的有效场景。

Description

一种用于航拍校正图像拼接的图像边沿检测方法

技术领域

本发明属于计算机视觉领域，特别是涉及一种用于航拍校正图像拼接的图像边沿检测方法。

背景技术

近年来，随着无人机技术的不断成熟，以及无人机灵活机动、拍摄图像分辨率高等优点，无人机在航拍中获得广泛应用。由于单幅航拍图像所对应的场景有限，需要通过图像拼接技术，将多张图像拼接在一起，得到一张高分辨率场景地图，进而用于灾后重建测量、自然环境监测、战时实时地图构建、局部区域高清场景地图绘制等。

具体而言，图像拼接是将两张或多张图像先进行匹配，得到彼此在空间位置上的对应关系，接着采用图像融合策略将这些图像拼接成一张无缝的图像。现有的图像拼接方法，如基于缝合线的图像融合、加权函数融合、多分辨率塔式分解融合、基于小波变换融合等方法，考虑更多的是将两张正射图像或者没有非线性畸变的图像拼接在一起。而无人机拍摄图像时，不免受到气流等因素影响，得到的图像通常为非正射图像，存在着非线性畸变。因此，在图像拼接前，需要利用无人机的俯仰角、翻滚角等信息对航拍图像先进行几何校正。在图像校正过程中，需要使用插值算法重建图像，这可导致校正图像的边沿出现噪点。如果不对校正图像边沿进行处理而直接进行拼接，拼接图上会出现大量噪点，进而影响图像质量。而如果只是简单地裁剪图像边沿，则会裁去大量有用信息。

发明内容

针对上述问题，本发明提供了一种用于航拍校正图像拼接的图像边沿检测方法。在图像校正后，两次检测图像边沿，去掉噪声带，同时最大限度地减少裁剪的像素。

本发明的技术方案是：

如附图1所示，令矩形ABCD表示原始航拍图像I_in，该图像存在非线性畸变；矩形EFGH表示I_in的几何校正图像I_C，该图像边沿特别是斜边的边沿存在噪点；矩形IJKL表示包含I_C的最小图像I_CB，在I_CB中用0像素值填充I_C之外的无效像素；矩形MNOP表示在I_C中最大可截取的图像I_CS。若直接选择I_in进行拼接，会出现拼接错位；若选用I_CS进行拼接，则会损失大量的图像信息；若选择I_CB进行拼接，拼接图中会出现边沿噪点和无效像素。本发明选择I_CB进行拼接，拼接前在I_CB上进行两次边沿检测，确定边沿噪声带，拼接时先从I_CB中剪裁此噪声带，再进行图像拼接。具体步骤如下：

步骤1，输入包含几何校正图像I_C的最小图像I_CB，设定边沿检测窗W_m×m的大小为m×m，其中m为奇数，取值3～9，单位是像素；

步骤2，以待检测像素点(x₀,y₀)为检测窗中心点，计算检测窗区域内的无效像素点数目。如附图2(a)所示，令矩形S₁S₂S₃S₄表示I_CB的一个子图像，其中灰色区域S₅S₆S₃S₄表示有效场景区域，白色区域S₁S₂S₆S₅表示无效像素区域，灰色区域与白色区域的分界线S₅S₆为图像边沿。矩形W₁W₂W₃W₄表示边沿检测窗W_m×m，图中m＝5，窗中的数值表示窗W_m×m所覆盖区域的像素值。计算检测窗W_m×m中无效像素值的个数，计算公式如下：

其中，←表示赋值；I_CB(x,y)表示最小图像I_CB中坐标(x,y)处的像素值；TH_n为无效像素判定的阈值，取1～5，单位是像素；Val(x,y)表示窗内坐标(x,y)处的像素判定值，Val(x,y)＝1为无效像素；表示向下取整；n(x₀,y₀)表示待检测像素点(x₀,y₀)处的无效像素个数；Val(i,j)表示窗内坐标(i,j)处的像素判定值，

步骤3，第一次图像边沿检测。对待检测像素点(x₀,y₀)作以下判定：

m²-2n(x₀,y₀)≤2m (3)

令U表示所有满足公式(3)的(x₀,y₀)集合，则

U＝{(x₀,y₀)|m²-2n(x₀,y₀)≤2m,(x₀,y₀)∈I_CB} (4)

设第一次边沿检测图像为I_CB1，则I_CB1的像素值I_CB1(x,y)确定如下：

图2(b)表示对最小图像I_CB的第一次边沿检测图像I_CB1，白色区域像素值为0，包括图像边沿和无效像素，图像边沿为线EFGH，灰色区域EFGH内像素值均为255，对应图像有效信息。

步骤4，在第一次边沿检测图像I_CB1中进行第二次图像边沿检测，确定边沿噪声带。如图3(a)所示，令矩形S₁S₂S₃S₄表示第一次边沿检测图像I_CB1带有边沿的一个子图像，边沿检测窗W_m×m大小不变。设第二次边沿检测图像为I_CB2，对第一次边沿检测图像I_CB1中待检测像素点作以下判断：

在检测窗W₁W₂W₃W₄覆盖区域，即第一次边沿检测图像I_CB1中第列、第列、第行、第行所围成的区域中，若存在像素为0的值，则判定为图像边沿或无效像素，在第二次边沿检测图像I_CB2中置的像素值为0；反之则判定为图像有效场景信息，在第二次边沿检测图像I_CB2中置的像素值为255。

对第一次边沿检测I_CB1所有像素进行相同检测，得到第二次图像边沿检测图像如图3(b)所示，其中第二次检测的边沿为线E'F'G'H'，两次边沿线围成的浅灰色带区域为边沿噪声带，深灰色区域E'F'G'H'内为无噪声有效场景区域。

本发明的有益效果：本发明是在对航拍图进行俯仰角、翻滚角、航偏角及航高校正后，对存在边沿噪声的航拍校正图像进行两次边沿检测，以一定的规则区分无效像素与有效像素，确定边沿噪声带。在校正图像拼接时，只需剪裁掉此噪声带，即可避免拼接噪声，同时又最大限度地保留了图像的有效场景。

附图说明

图1是校正图像示意图。

图2是第一次图像边沿检测示意图，图2(a)是第一次图像边沿检测窗示意图；图2(b)是第一边沿检测结果图。

图3是第二次图像边沿检测示意图，图3(a)是第二次图像边沿检测窗示意图；图3(b)是第二边沿检测结果图。

图4是一幅航拍图像及其校正图像；图4(a)是航拍图像；图4(b)是校正图像；图4(c)是校正图像的边沿局部放大图。

图5是边沿检测结果图；图5(a)是两次边沿检测得到的边沿分界线示意图；图5(b)是图像边沿噪声带局部放大图。

具体实施方式

下面结合技术方案和附图，进一步说明本发明的具体实施方式。

现有一幅航拍图像，见图4(a)，图像宽1200像素、图像高1200像素。包含其几何校正图像的最小图像见图4(b)，记为I_CB。放大I_CB的图像边沿得图4(c)，可以发现图像边沿处存在许多过度不连续的噪声像素，形成了一个噪声带。在I_CB上进行边沿检测，计算过程如下：

步骤1，输入包含校正图像的最小图像I_CB，设定边沿检测窗W_m×m的大小为7×7，即m＝7。

步骤2，以待检测像素点(x₀,y₀)为检测窗中心点，取TH_n＝3，采用公式(1)和公式(2)计算7×7检测窗区域内的无效像素点数目n(x₀,y₀)。

步骤3，第一次图像边沿判定。将满足公式(3)的(x₀,y₀)纳入集合U，然后根据公式(5)得到第一次边沿检测图像I_CB1，第一次边沿检测分界线如图5(a)所示。

步骤4，在I_CB1中进行第二次图像边沿检测，确定边沿噪声带。以待检测像素点为中心点，若第列、第列、第行、第行所围成的区域中存在像素为0的值，判定为图像边沿或无效像素，在第二次边沿检测图像I_CB2中置的像素值为0；反之则判定为图像有效场景信息，在I_CB2中置的像素值为255。对I_CB1所有像素进行相同检测，得到第二次图像边沿检测图像，第二次边沿检测分界线如图5(a)所示。

两次边沿检测分界线所围成的区域即为本发明所确定的噪声带，其放大图如图5(b)所示，可见期中存在许多过度不连续的噪声像素。去除后可明显提升拼接效果，同时又最大限度地保留了图像的有效场景。

Claims (3)

1.一种用于航拍校正图像拼接的图像边沿检测方法，其特征在于，令矩形ABCD表示原始航拍图像I_in，矩形EFGH表示I_in的几何校正图像I_C，矩形IJKL表示包含I_C的最小图像I_CB，在I_CB中用0像素值填充I_C之外的无效像素；在I_CB上进行两次边沿检测，具体步骤如下：

步骤1，输入包含几何校正图像I_C的最小图像I_CB，设定边沿检测窗W_m×m的大小为m×m，其中m为奇数，单位是像素；

步骤2，以待检测像素点(x₀,y₀)为检测窗中心点，计算检测窗区域W_m×m内的无效像素点的个数，计算公式如下：

其中，←表示赋值；I_CB(x,y)表示最小图像I_CB中坐标(x,y)处的像素值；TH_n为无效像素判定的阈值，单位是像素；Val(x,y)表示窗内坐标(x,y)处的像素判定值，Val(x,y)＝1为无效像素；表示向下取整；n(x₀,y₀)表示待检测像素点(x₀,y₀)处的无效像素个数，Val(i,j)表示窗内坐标(i,j)处的像素判定值，

步骤3，第一次图像边沿检测；对待检测像素点(x₀,y₀)作以下判定：

m²-2n(x₀,y₀)≤2m (3)

令U表示所有满足公式(3)的(x₀,y₀)集合，则

U＝{(x₀,y₀)|m²-2n(x₀,y₀)≤2m,(x₀,y₀)∈I_CB} (4)

设第一次边沿检测图像为I_CB1，则I_CB1的像素值I_CB1(x,y)确定如下：

得到最小图像I_CB的第一次边沿检测图像为I_CB1，像素值为0的区域包括图像边沿和无效像素，图像边沿为线EFGH，图像有效信息区域EFGH内像素值均为255；

步骤4，在第一次边沿检测图像I_CB1中进行第二次图像边沿检测，确定边沿噪声带；令矩形S₁S₂S₃S₄表示第一次边沿检测图像I_CB1带有边沿的一个子图像，边沿检测窗W_m×m大小不变；设第二次边沿检测图像为I_CB2，对第一次边沿检测图像I_CB1中待检测像素点作以下判断：

在检测窗W_m×m覆盖区域，即第一次边沿检测图像I_CB1中第列、第列、第行、第行所围成的区域中，若存在像素为0的值，则判定为图像边沿或无效像素，在第二次边沿检测图像I_CB2中置的像素值为0；反之则判定为图像有效场景信息，在第二次边沿检测图像I_CB2中置的像素值为255；

对第一次边沿检测图像I_CB1所有像素进行相同检测，得到第二次图像边沿检测图像I_CB2，其中第二次检测的边沿为线E'F'G'H'，两次边沿线围成的区域为边沿噪声带。

2.根据权利要求1所述的一种用于航拍校正图像拼接的图像边沿检测方法，其特征在于，所述的边沿检测窗W_m×m的m取值为3～9个像素。

3.根据权利要求1或2所述的一种用于航拍校正图像拼接的图像边沿检测方法，其特征在于，所述的无效像素判定的阈值TH_n取1～5像素。