CN115205713A - 一种无人机遥感图像阴影区景物颜色与纹理细节恢复方法 - Google Patents

Abstract

本发明公开了一种无人机遥感图像阴影下地物颜色与纹理细节恢复方法。该方法首先将无人机图像分割成块作为最小处理单元；其次，构造新的阴影检测指数(SDI)对阴影进行增强，并利用阈值分割得到阴影掩模；然后，利用激光雷达强度和高程信息提取同质区域。最后，匹配阴影/非阴影区的同质区域并利用光照补偿与灰度差值相结合的方法恢复阴影区缺失信息。本发明克服了现有方法因同质阴影/非阴影对匹配不精确而导致阴影区景物与真实地物色彩异质性显著的问题，在不干扰图像非阴影区域特征信息的前提下，恢复了阴影区景物的颜色和纹理信息，恢复后图像无明显阴影边界，本发明方法主要用于（但不限于）无人机遥感图像阴影区景物的颜色与纹理信息恢复。

Description

一种无人机遥感图像阴影区景物颜色与纹理细节恢复方法

技术领域

本发明涉及无人机遥感图像的阴影区域检测与恢复技术，具体为一种针对无人机遥感图像阴影区景物颜色与纹理细节恢复方法。

背景技术

遥感图像中的阴影是一种由于光线被物体完全或部分遮挡而造成图像特征缺失或清晰度低的图像退化现象。无人机遥感图像具有灵活性高、获取成本低、分辨率高等优点，已经成为地面监测及制图的重要数据来源。但由于太阳光照、地面反射和大气扰动的复合作用，无人机遥感图像广泛存在阴影区颜色特征和纹理特征辨识度低的问题，严重降低了无人机遥感图像质量，进而对图像解译、图像匹配、模式识别等后续图像处理造成极大干扰。尽管现在无人机相机有避免黑暗或高曝光的自动平衡方式，但该方式只能对不均匀光照区进行优化，而无法完全消除阴影。如何精确地检测阴影并有效地恢复阴影区域颜色、纹理细节信息尤为重要。目前阴影检测与恢复方法在处理地物比较复杂、物体种类繁多的无人机影像阴影上仍然是一项具有挑战性的任务，尤其是现有的方法难以解决阴影恢复后阴影区域与非阴影区域的异质性显著问题。

为了有效地减少阴影对遥感图像的影响，许多研究者致力于开发遥感图像阴影检测和恢复技术。精确的阴影检测是阴影恢复的重要前提，现有基于影像色彩特征的阴影检测方法较为有效。然而，由于光谱的相似性，有些暗物体与阴影仍然无法区分，对于无人机RGB遥感影像阴影精确检测需进一步研究。阴影补偿是一种提高图像质量、增强图像视觉效果的恢复过程。虽然阴影区域的信息被模糊了，但是阴影图像中仍然包含着一些有效的信息。这为恢复阴影区域的地物信息提供了可能性。因此，很多阴影恢复方法都是在一定程度上恢复阴影区域的地物信息，而不是完全恢复。阴影恢复的关键是在不干扰图像非阴影区域的特征信息的情况下，最大限度地恢复阴影区域的颜色和纹理信息。

已有的阴影恢复方法大致可分为线性相关校正方法、直方图匹配法、基于光照强度的方法和基于机器学习的方法等。线性相关校正法利用阴影与非阴影之间的关系构建线性相关函数进行阴影补偿，通过修正阴影像素来达到恢复图像信息的目的，然而该方法对直方图匹配窗口的大小较为敏感；基于光照强度的方法利用直射光和环境光的比值恢复阴影区域的信息，可有效提高原图像阴影区域的清晰度，但颜色信息丢失与边界效应严重；基于机器学习的恢复方法在实际应用中需要人工选取样本对模型参数进行训练，在分析阴影区和非阴影区样本间关系的基础上，基于马尔科夫随机场理论可构建阴影区和非阴影区间的匹配关系；近几年深度学习在图像阴影处理中表现出明显优势，SynShadow模型是一种有效的数据增强手段，但目前只针对近景图像。综上所述，现有阴影恢复方法可以对阴影区域颜色信息进行局部补偿，但恢复后阴影边界区与非阴影区域在颜色、纹理、之间的不一致性仍然很明显。

发明内容

本发明的核心思想是通过定义一种阴影检测指数用于提取阴影掩膜，结合阴影掩膜并利用同质区域中非阴影地物的信息来对应匹配并恢复该阴影地物缺失的信息。通过分析无人机遥感影像的光谱、细节等特点，提出一种无人机遥感图像阴影区景物颜色与纹理恢复方法，使得阴影区域景物与地物真实色彩具有一致性。

本发明方法包括以下具体步骤：

S1：无人机遥感图像分块；采用大小为S×S的滑动窗口对原始遥感图像进行分割，S应满足大于研究场地上最大目标的长度(L)或宽度(W)，即S＝max(L,W)；分割的过程中在相邻图像之间设定一个重叠区域N＝k×S，k为相邻图像的重叠率，k∈[0,1]，建议k值取0.2。

S2：对S1无人机遥感图像分块后的图像进行阴影检测；首先，基于无人机图像的R、G、B波段信息构造阴影检测指数(SDI)，SDI＝ω×|2G-B-R|+ε×G，其中G代表原始遥感图像的绿色波段；B代表原始遥感图像的蓝色波段；R代表影原始遥感图像红色波段；ω、ε为参数且ω+ε＝1，建议ω的取值范围为0.1～0.3。其次，采用Otsu方法即最大类间方差法对SDI增强图像进行阈值求取，利用最佳阈值分割SDI增强图像得到二值掩膜图像，小于阈值的像素点为黑色，表示阴影区域，大于阈值的部分为白色，表示非阴影区域。最后，采用数学形态学开运算填补孔洞，利用闭运算去除微小毛刺和碎片，经过形态学优化处理之后，可得到阴影检测最终结果。

S3：对步骤S1的分块图像进行同质区域分割处理；首先，从激光雷达强度中去除多种类型的噪声，采用直方图均衡化方法增强强度数据的对比度；其次，统计每个图像区域的激光雷达强度(IN)和高程特征(EL)，利用激光雷达强度和高程特征，定义代表典型地物的强度范围和高程范围；最后，基于强度范围和高程范围，满足IN∩EL这一条件的像素组成的区域划分为同质区域。

S4：将S1、S2与S3得到结果用于阴影区景物颜色与纹理恢复，通过匹配阴影/非阴影区的同质区域并利用光照补偿与灰度差值相结合的方法恢复阴影区缺失信息。具体步骤包括：

S41：输入S1中分为m块的无人机遥感图像；

S42：取包含n个同质区域的分块图像I_j(j∈{1,2,…,m})，将所有阴影区域表示为S，将所有非阴影区域标表示为U；

S43：找到同质阴影区域S_i对应的同质非阴影区域U_i，i∈{1,2,…,n}，对于第i个同质阴影区域S_i，其在q波段的均值为

q∈{R,G,B}，其对应的同质非阴影区域在q波段的均值为

S44：统计同质非阴影区域的纹理特征熵，若熵值ent≥t，则计算步骤S45；若熵值ent<t，则转到步骤S46，其中建议t值取5.3～5.8。熵值定义如下：

式中，l为同质非阴影区域灰度差分值的所有可能取值，p(i)为每一个灰度差分值的概率。

S45：

和

用以计算直射光分量和环境光分量的比值，则获得的比值表示如下：

则对

在q波段执行阴影补偿得

则同质阴影区域S_i补偿后表示为

S46：

和

用以计算非阴影区域与阴影区域的差值，则获得的差值表示如下：

则对

在q波段执行阴影补偿得

则同质阴影区域S_i补偿后表示为

S47：循环步骤S43到步骤S46，直到i＝n，一个图像小块阴影补偿结束；

S48：循环步骤S42到步骤S47，直到j＝m，所有图像小块阴影补偿结束；

S49：分块图像拼接，输出阴影补偿结果。

本发明与现有技术相比具有以下优点：

1.本发明基于无人机图像的R、G、B波段信息定义了新的阴影检测指标，可以有效提取阴影，有利于无人机遥感图像的阴影区信息恢复。

2.本发明通过对分块后的遥感图像进行同质区域分割，利用阴影/非阴影区的同质区域匹配，可以在不干扰图像非阴影区域的特征信息基础上恢复阴影区域景物颜色与纹理信息。

3.本发明采用光照补偿和灰度差值相结合的阴影恢复方法。恢复后阴影边界过渡自然，地物颜色与纹理信息与地物真实色彩具有一致性。

附图说明

图1为本发明的流程图；

图2为无人机RGB图像：(a)区域1，(b)区域2，(c)区域3，(d)区域4；

图3为本发明方法与其余三种方法在区域1、2、3、4阴影恢复所得结果图：(a)光照校正法，(b)颜色转移法，(c)SynShadow，(d)本发明方法

图4为图5恢复结果局部放大图；

图5为Kappa系数随参数变化图：(a)Kappa系数随参数k变化图，(b)Kappa系数随参数ω变化图。

具体实施方式

一种无人机遥感图像阴影区景物颜色与纹理恢复方法，包括以下步骤：

S1：无人机图像分块；采用大小为S×S的滑动窗口对原始遥感图像进行分割，S应满足大于研究场地上最大目标的长度(L)或宽度(W)，即S＝max(L,W)；分割的过程中在相邻图像之间设定一个重叠区域N＝k×S，k为相邻图像的重叠率，k∈[0,1]，本发明选取k＝0.2。

S2：分块后图像阴影检测；首先，基于无人机图像的R、G、B波段信息构造新的阴影检测指数(SDI)对S1的分块图像进行阴影增强，SDI＝ω×|2G-B-R|+ε×G，其中：G代表原始遥感图像的绿色波段；B代表原始遥感图像的蓝色波段；R代表影原始遥感图像的红色波段；ω、ε为参数且ω+ε＝1，本发明选取ω＝0.2，ε＝0.8；其次，采用Otsu方法即最大类间方差法对SDI增强图像进行阈值求取与分割，得到二值掩膜图像，小于阈值的像素点为黑色，表示阴影区域，大于阈值的部分为白色，表示非阴影区域；最后，采用数学形态学开运算填补孔洞，利用闭运算去除微小毛刺和碎片，经过形态学优化处理之后，可得到阴影检测最终结果。

S3：同质区域分割处理；首先，从激光雷达强度中去除多种类型的噪声，采用直方图均衡化方法增强强度数据的对比度；其次，统计每个图像区域的激光雷达强度(IN)和高程(EL)特征，利用激光雷达强度和高程特征，定义代表同质区域的强度范围和高程范围：

最后，基于以上强度范围和高程范围，满足IN∩EL这一条件的像素组成的区域划分为同质区域。

S4：阴影区景物颜色与纹理恢复；通过匹配阴影/非阴影区的同质区域并利用光照补偿与灰度差值相结合的方法恢复阴影区缺失信息。首先，输入S1中分为m块的无人机遥感图像，取包含n个同质区域的分块图像I_j(j∈{1,2,…,m})，将所有阴影区域表示为S，将所有非阴影区域标表示为U。其次，找到同质阴影区域S_i对应的同质非阴影区域U_i，i∈{1,2,…,n}。对于第i个同质阴影区域S_i，其在q波段的均值为

q∈{R,G,B}，其对应的同质非阴影区域在q波段的均值为

统计同质非阴影区域的纹理特征熵，

其中，l为灰度差分值的所有可能取值，p(i)为每一个灰度差分值的概率。若熵值ent≥t，计算直射光分量和环境光分量的比值

利用r_q对S_i在q波段执行阴影补偿得

若熵值ent<t，则计算非阴影区域与阴影区域的差值，则获得的差值为：

利用d_q对S_i在q波段执行阴影补偿得

本发明选取t＝5.5。其次，利用R、G、B三波段阴影补偿结果合成RGB图像，获得S_i阴影补偿结果

一个同质区域阴影补偿完成。重复以上步骤，直到i＝n，即一个图像小块阴影补偿结束；直到j＝m，即所有图像小块阴影补偿结束。最后，分块图像拼接，输出阴影补偿结果。

具体实施时，以4幅包含不同地物的无人机遥感图像为例，航摄地点的经纬度为东经112°43′、北纬38°27′，航摄高度为85m。所选用设备为的大疆“精灵PHANTOM 4RTK”无人机，配备1英寸CMOS、有效像素2000万的相机，该相机照片最大分辨率为5472pixel×3648pixel(3:2)。

本发明使用色差、阴影标准差指数(SSDI)、梯度相似性作为评价指标。

1)色差

△E_lab＝[(△L)²+(△a)²+(△b)²]^1/2

色差值与视觉感受的关系是：当ΔE<1时，几乎感觉不到色差；当1<ΔE≤2时，对色差感觉很小；当2<ΔE≤3.5时，对色差的感觉中等；当3.5<ΔE≤6时，对色差的感觉明显；当ΔE>6时，对色差的感觉强烈。

2)阴影标准差指数

其中，b为图像当前波段，B为图像总波段数。i为阴影区域的当前样本像素，N为阴影区域的样本总数。Fs为校正后的阴影样本集，

为对应的非阴影样本集的均值。SSDI可以反映阴影补偿后的阴影区域相对于非阴影区域的变化。当SSDI值较低时，表示阴影补偿后的阴影区域与非阴影区域纹理细节一致；当SSDI值较高时，表示阴影补偿后的阴影区域与非阴影区域纹理细节存在明显差异。

3)梯度相似性

式中g_x和g_y分别代表的是图像块x和y的中心梯度值。而C则是一个较小的正常数，为了防止分母过小引起算法的不稳定。g(x，y)代表的是x和y梯度相似值，其范围在[0,1]。

将本发明方法与光照校正、颜色转移、SynShadow方法进行了同时对4个测试区域进行了阴影恢复，恢复结果如附图所示，其中图3为本发明阴影恢复方法与光照校正、颜色转移、SynShadow方法在区域1、2、3、4阴影恢复所得结果图。图4为图3恢复结果局部放大图。

下表为本发明与其余三种方法实验结果指标对比：

本发明在4组实验区域中平均色差值为1.891，较光照校正、颜色转换和SynShadow方法的平均色差值低3.125、2.415和1.916；平均SSDI值为15.419，较光照校正和颜色转换方法的平均SSDI值低4.477和4.826；阴影边界平均阴影边界梯度相似值为0.726，较光照校正、颜色转换和SynShadow方法的平均阴影边界梯度相似值高0.234、0.202和0.101。该发明在不干扰图像非阴影区域的特征信息基础上恢复阴影区域景物颜色与纹理信息，可获得视觉上更自然的无阴影图像。

由于参数的灵敏度设置，本发明分析参数k，ω对本发明方法性能的影响。选取Kappa系数作为一致性检验和检测精度指标。Kappa系数与参数k、ω的关系如图5所示。k取值范围为0～0.7，ω取值范围为0.1～0.9，步长间隔为0.1，可见k、ω参数的大小对Kappa系数有显著影响。选取实验中4幅测试图像进行分析，4个区域中kappa系数的变化趋势基本一致，k＝0.2为最优值，且ω的最佳取值范围为0.1～0.3。

以上所述，仅为本发明中的具体实施方式，但本文发明的保护范围并不局限于此，认识熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权力要求书的保护范围为准。

Claims (4)

1.一种无人机遥感图像阴影区景物颜色与纹理细节恢复方法，其特征在于：包括以下步骤：

S1：无人机遥感图像分块；采用大小为S×S的滑动窗口对原始遥感图像进行分割，S应满足大于研究场地上最大目标的长度(L)或宽度(W)，即S＝max(L,W)；分割的过程中在相邻图像之间设定一个重叠区域N＝k×S，k为相邻图像的重叠率，k∈[0,1]；

S2：对S1无人机遥感图像分块后的图像进行阴影检测；首先，基于无人机图像的R、G、B波段信息构造阴影检测指数SDI对S1的分块图像进行阴影增强，SDI＝ω×|2G-B-R|+ε×G，其中G代表原始遥感图像的绿色波段；B代表原始遥感图像的蓝色波段；R代表影原始遥感图像的红色波段；ω、ε为参数且ω+ε＝1，其次，对SDI增强图像进行阈值求取，利用最佳阈值分割SDI增强图像得到二值掩膜图像，小于阈值的像素点为黑色，表示阴影区域，大于阈值的部分为白色，表示非阴影区域，最后，采用数学形态学开运算填补孔洞，利用闭运算去除微小毛刺和碎片，经过形态学优化处理之后，可得到阴影检测最终结果；

S3：对步骤S1的分块图像进行同质区域分割处理；首先，从激光雷达强度中去除多种类型的噪声，采用直方图均衡化方法增强强度数据的对比度；其次，统计每个图像区域的激光雷达强度IN和高程特征EL，利用激光雷达强度和高程特征，定义代表典型地物的强度范围和高程范围；最后，基于强度范围和高程范围，满足IN∩EL这一条件的像素组成的区域划分为同质区域；

S4：将S1、S2与S3得到结果用于阴影区景物颜色与纹理恢复，通过匹配阴影/非阴影区的同质区域并利用光照补偿与灰度差值相结合的方法恢复阴影区缺失信息。

2.根据权利要求1所述的一种无人机遥感图像阴影区景物颜色与纹理细节恢复方法，其特征在于：步骤S4具体包括以下步骤：

S41：输入S1中分为m块的无人机遥感图像；

S42：取包含n个同质区域的分块图像I_j，j∈{1,2,…,m}，将所有阴影区域表示为S，将所有非阴影区域标表示为U；

S43：找到同质阴影区域S_i对应的同质非阴影区域U_i，i∈{1,2,…,n}，对于第i个同质阴影区域S_i，其在q波段的均值为

其对应的同质非阴影区域在q波段的均值为

S44：统计同质非阴影区域的纹理特征熵，若熵值ent≥t，则计算步骤S45；若熵值ent<t，则转到步骤S46，

S45：

和

用以计算直射光分量和环境光分量的比值，则获得的比值表示如下：

则对

在q波段执行阴影补偿得

则同质阴影区域S_i补偿后表示为

S46：

和

用以计算非阴影区域与阴影区域的差值，则获得的差值表示如下：

则对

在q波段执行阴影补偿得

则同质阴影区域S_i补偿后表示为

S47：循环步骤S43到步骤S46，直到i＝n，一个图像小块阴影补偿结束；

S48：循环步骤S42到步骤S47，直到j＝m，所有图像小块阴影补偿结束；

S49：分块图像拼接，输出阴影补偿结果。

3.根据权利要求1或2所述的一种无人机遥感图像阴影区景物颜色与纹理细节恢复方法，其特征在于：步骤S1中，k值取0.2，步骤S2中，ω的取值范围为0.1～0.3。

4.根据权利要求2所述的一种无人机遥感图像阴影区景物颜色与纹理细节恢复方法，其特征在于：步骤S44中t取5.3～5.8。

Images