CN102637301B - 航空摄影过程中实时自动评定影像色彩质量的方法 - Google Patents

Abstract

本发明提供一种航空摄影过程中实时自动评定影像色彩质量的方法：首先，对航空摄影获取的航空影像进行重采样，获取两种不同分辨率的航空影像，然后进行阴影检测和云检测，根据检测所得阴影覆盖率和云覆盖率，评定影像色彩质量，输出质量评定报告。本发明的时效性强，处理速度快，自动化程度高，支持全自动检测。通过针对阴影检测和云检测各自分别提出不同的阈值获取方法，能有效提高检测精度，在保证自动化的同时保证精度。

Description

航空摄影过程中实时自动评定影像色彩质量的方法

技术领域

本发明属于遥感影像应用领域，特别是涉及到在航空摄影过程中，在机上对获取的影像进行实时、自动、快速的质量评定的方法。

背景技术

航空影像色彩质量评定主要包括阴影和云的实时检测两方面内容。阴影自动检测和云自动检测是影像色彩质量评定的关键技术，检测算法的复杂度直接决定了质量评定的速度，影响着机上实时处理系统的整体性能。两个模块独立进行互不干扰，检测方法分别独立选定。

遥感影像阴影检测算法主要分为基于模型和基于阴影特征的方法。基于模型的方法主要是根据影像上场景和地物的几何结构、光源、传感器参数等先验信息，建立阴影的统计模型、投影模型等来检测阴影，可用于解决真正射影像中存在的阴影遮蔽等问题。基于阴影特征的方法是通过分析阴影区域的共性及其与非阴影区域的差异，直接利用阴影所特有的不变特征，如在HIS、YIQ、YC_bC_r色彩空间中的高色调、低亮度特征，C₁C₂C₃空间中的C₃光度不变量以及基于区域纹理不变性的纹理指数特征等，实现阴影检测。因模型法中的先验知识通常难以获取，且算法复杂度高，耗时长，应用范围受到了较大的限制；而阴影特征法的算法相对比较简单，不依赖先验知识，被广泛应用于单幅影像的阴影检测，但仍存在特征阈值难确定、通用性差等问题。

相关文献有：Salvador E，Cavallaro A，Ebrahimi T.Cast Shadow Segmentation UsingInvariant Color Features[J].Computer Vision and Image Understanding，2004，95(2)：238-259.TsaiV J D.A Comparative Study on Shadow Compensation of Color Aerial Images in Invariant ColorModels[J].IEEE Transactions on Geoscience and Remote Sensing，2006，44(6)：1661-1671.Yao Jian，Zhang Zhangfei.Hierarchical Shadow Detection for Color Aerial Images[J].Computer Vision andImage Understanding，2006，102(1)：60-69.谢文寒，周国清.城市大比例尺真正射影像阴影与遮挡问题的研究[J].测绘学报，2010，39(01)：52-58.许妙忠，余志惠.高分辨率卫星影像中阴影的自动提取与处理[J].测绘信息与工程，2003，28(1)：20-22.何凯，赵红颖，刘晶晶，王成优.基于分形及纹理分析的城市遥感影像阴影去除[J].天津大学学报，2008，41(07)：800-804.

云检测主要有基于光谱特征、纹理特征和频率特征等方法，利用云在可见光、热红外等波段具有的光谱特征、云与下垫面地物的纹理特征差异、云的低频率特性等，结合阈值法、统计分析法、聚类法、神经网络法等方法即可以进行检测。实际应用中应综合遥感影像的数据特点和应用场景等因素选择合适的算法。相关文献有：Loyola D.A New Cloud RecognitionAlgorithm for Optical Sensors[J].IEEE International Geoscience and Remote Sensing SymposiumProceedings，IGARSS 1998 Digest，(2)：572-574.Marais I V Z，Preez J A Du，et al.An OptimalImage Transform for Threshold-based Cloud Detection Using Heteroscedastic DiscriminantAnalysis[J].International Journal of Remote Sensing，2011，32(6)：1713-1729.

云检测的光谱特征包括可见光波段、短波红外波段、亮温等，结合特征阈值的检测法用途较广。一般来说，根据不同的下垫面和不同种类的云选取不同的波段特征与阈值获取方法，如可见光特征对于云与下垫面差异大的区域有较好的检测效果；亮温特征可用于海洋上冷云的检测；阈值获取有直接经验阈值、自动阈值等不同的方式。因此，云检测必须综合考虑下垫面情况、应用目的等多种因素。相关文献有：王瑞富，孙凌，张杰，宋平舰.基于光谱阈值法和分裂合并聚类算法的“HY-1A”CCD云检测算法和应用[J]海洋学报，2006，28(6)：158-163.

云的局部和整体在纹理上有着某种程度的相似性，通过提取云与下垫面的纹理特征差异，可进行二者的区分。纹理特征可以从分形和灰度共生矩阵的角度进行描述，其中云检测算法中常用的纹理特征有分形维数和角二阶矩。分形维数值反映物体纹理的复杂程度，角二阶矩反映纹理的均一规则性。遥感影像中的下垫面地物种类多、灰度值变化明显，纹理细节丰富，其分形维数较大，ASM偏小；云层灰度值变化平稳，纹理粗、细节少，其分形维数偏小，ASM偏大。相关文献有：Pentland A P.Perceptual Organization and the Representation of NaturalForm[J].Artificial Intelligence，1986，28(3)：293-331.Bisoi A K，Mishra J.On Calculation ofFractal Dimension of Images[J].Pattern Recognition Letters，2001，22(6-7)：631-637.Chaudhuri，B.N.Sarkar.Texture Segmentation Using Fractal Dimension[J].Pattern Analysis and MachineIntelligence，IEEE Transactions on，1995，17(1)：72-77.单娜，郑天垚，王贞松.快速高准确度云检测算法及其应用[J]遥感学报，2009，13(6)：1138-1155.曹琼，郑红，李行善.一种基于纹理特征的卫星遥感图像云探测方法[J]航空学报，2007，28(3)：661-666.郁文霞，曹晓光，徐琳.遥感图像云自动检测[J].仪器仪表学报2006，27(6)：2184-2186.

云在频率域上主要集中在低频区域。通过傅里叶变换或小波变换等方法获取影像的低频数值对应的空间范围即可确定云区。小波法相对于傅里叶变换，其分离低频信息的能力更强，可根据需要选择不同的分辨率与方向进行云与地物的分离。相关文献有：张波，季民河，沈琪.基于小波变换的高分辨率快鸟遥感图像薄云去除[J].遥感信息，2011，(3)：38-43.)朱长青，杨启和，朱文忠.基于小波变换特征的遥感地貌影像纹理分析和分类[J].测绘学报，1996，25(4)：252-256.

光谱特征阈值法以像素为单位处理影像，可以充分利用多种光谱信息综合检测云，算法简单，执行效率高，适合大数据量的处理，但是存在阈值敏感的问题，选取合适阈值是关键。纹理分析法以子图为计算单位，一般需要足够的样本进行训练获取可靠的云特征区间，才能保证分类的精确度，不能独立处理，并且纹理特征的计算量大，不利于实时处理。基于频率特征分析法的不足之处主要在于其他地物的低频信息受干扰，选用多层小波法提取低频信息的计算量也很大，造成效率低下的问题。也有学者将这三种方法综合起来对云图进行检测。陶淑苹结合光谱特征阈值和纹理分析方法的优点，提出了多分支小波SCM算法可基本检测云，但此方法仍然需要大量的训练样本才能保证检测精度，依赖先验知识，不利于实时检测。相关文献有：陶淑苹，金光，张贵祥，曲宏松.实现遥感相机自主辨云的小波SCM算法[J]测绘学报，2011，40(5)：598-603.

根据航空影像实时质量评定中的数据处理与实时检测的同步性要求，质量评定所涉及的阴影检测和云检测方法需满足快速、自动、高准确度等条件，而航空影像只能提供可见光波段的数据，必须确定合适阴影检测和云检测算法，满足机上实时影像处理系统的要求。

发明内容

针对以上问题，本发明提出了用于在航空摄影过程中对影像色彩质量进行快速实时自动评定的方法，此方法涉及两部分的内容，即阴影检测模块和云检测模块，发明的目的在于在机上实时评定刚刚获取的航空影像的色彩质量，对于实时检测出的不满足质量要求的影像，会采取及时重拍的措施来获取满足要求的影像，从而避免因问题发现不及时、事后才重新补飞所引起的成本、效率等问题。

本发明提供的技术方案是一种航空影像色彩质量实时自动评定的方法，首先，对航空摄影获取的航空影像A进行重采样，获取两种不同分辨率的航空影像，分别记为航空影像B和航空影像C，航空影像B的分辨率大于航空影像C的分辨率；然后进行阴影检测和云检测，包括基于航空影像C分别获取阴影检测和云检测中所需的阈值，再在航空影像B的基础上，根据阈值逐像素进行该像素是否为云或者是否为阴影的判断，并统计阴影覆盖率和云覆盖率；根据检测所得阴影覆盖率和云覆盖率，评定影像色彩质量，输出质量评定报告；

所述阴影检测具体实现包括以下步骤，

步骤1.1，对航空影像B和C中每个像素提取阴影检测所运用的三项光谱特征值，三项光谱特征值分别是HIS色彩空间的亮度分量I、RGB色彩空间的归一化分量B’和YUV色彩空间的亮度分量Y，归一化分量B’和亮度分量Y的计算公式如下，

$B^{\′}=\frac{B}{R+G+B}$

Y＝0.299×R+0.578×G+0.1l4×B

其中，R、G、B分别为像素在RGB色彩空间的红色、绿色、蓝色分量；

步骤1.2，根据步骤1.1所得航空影像C中每个像素的三项光谱特征值，获取步骤1.1所述三项光谱特征值分别对应的阈值，实现方式如下，

亮度分量I对应的阈值T_I的确定方式为，首先采用一维Otsu阈值法获取I和H的比值分量IH的原始Otsu自动阈值T_IHo，IH＝(H+1)/(I+1)，I、H分别为像素在HIS色彩空间的亮度分量、色调分量；然后筛选航空影像C中满足限定条件{IH＞T_IHo}的像素，只有满足条件的像素对应的亮度分量I参与直方图统计；在筛选后统计出的直方图的基础上，再计算最大类间方差对应的阈值，计算所得阈值被赋予给T_I；

归一化分量B’的阈值T_B’的确定方式为，筛选航空影像C中满足限定条件{R＜100}的像素，R为像素在RGB色彩空间的红色分量，只有满足条件的像素对应的归一化分量B’参与直方图统计；在筛选后统计出的直方图的基础上，再计算最大类间方差对应的阈值，计算所得阈值被赋予给T_B’；

亮度分量Y的阈值T_Y采用经验值；

步骤1.3，根据步骤1.1所得航空影像B中每个像素的三项光谱特征值和步骤1.2所得相应的阈值，判断航空影像B中每个像素是否为阴影，并根据判断结果统计航空影像B的阴影覆盖率；判断结果是阴影的像素构成集合，如以下公式，

ShaowSet＝{(i，j)|(Y(i，j)＜T_Y||B′(i，j)＞T_B′)&&I(i，j)＜T_I}

其中，ShaowSet代表影像B中满足条件的像素(i，j)的集合，Y(i，j)、B′(i，j)、I(i，j)分别为像素(i，j)对应的亮度分量I、归一化分量B’和亮度分量Y的值，T_Y、T_B’、T_I分别表示亮度分量I、归一化分量B’和亮度分量I对应的阈值；

所述云检测具体实现包括以下步骤，

步骤2.1，从航空影像B和C中提取每个像素的云检测所运用的两项光谱特征值，两项光谱特征值分别是HIS色彩空间的亮度分量I、HIS色彩空间的亮度与饱和度的归一化差值特征P，P＝|(I-S)/(I+S)|，其中I、S分别为HIS色彩空间的亮度分量、饱和度分量；

步骤2.2，根据步骤2.1所得航空影像C中每个像素的两项光谱特征值，获取步骤2.1所述两项光谱特征值分别对应的阈值，实现方式如下，

步骤2.2.1，根据步骤2.1所得航空影像C中各像素的亮度分量I和归一化差值特征P进行初始云区的判断，判断结果是属于初始云区的像素构成集合，如以下公式，

CloudSet₀＝{(i，j)|I(i，j)＞T_Io)&&P(i，j)＞T_Po}

其中CloudSet₀代表满足条件{I(i，j)＞T_Io)&&P(i，j)＞T_Po}的像素的集合，记为初始云区，统计集合CloudSet₀中的所有像素的亮度均值YavgI，及不满足条件的所有像素的亮度均值NavgI，并记两者差值的绝对值为参数dI，即dI＝|YavgI-NavgI|；I(i，j)、P(i，j)分别为像素(i，j)对应的亮度分量I、归一化差值特征P的值，T_Io、T_Po分别为根据航空影像C对亮度分量I、归一化差值特征P采用一维Otsu阈值法获取的原始Otsu自动阈值；

步骤2.2.2，以dI为第一级分级标准，如果dI＞105，认为该影像存在厚云，进入步骤2.2.4，如果dI≤105，认为该影像存在薄云或者无云，进入步骤2.2.3；

步骤2.2.3，以第二级云区与初始云区覆盖率的差比值DR为薄云或无云的第二级分级标准，如果DR＞0.115，认为该影像中无云；如果DR≤0.115，以亮度差值绝对值dmI为第三级分级标准，如果dmI＞10认为该影像中无云，如果dmI≤10认为该影像存在薄云；

步骤2.2.4，根据步骤2.23和步骤2.24对影像进行初步分类的结果，设定亮度分量I对应的阈值T_I和归一化差值特征P对应的阈值T_P，具体方式如下，

(1)若分类为厚云，TI＝T_Io，归一化差值特征P对应的阈值TP的赋值以d＝T_Qo-T_Po为第二级分级标准，分级赋值的方式如下，

如果d≥220，T_P＝T_Qo-T_Pn；

如果180≤d＜220，T_P＝(d+T_Pn)/2；

如果d＜180，T_P＝(T_Po+T_Pn)/2；

(2)若分类为薄云，T_I＝T_Io，T_P＝T_Pn；

(3)若分类为无云，T_I＝255，T_P＝T_Pn；

其中，T_Qo是根据航空影像C对特征Q采用一维Otsu阈值法获取的原始Otsu自动阈值，Q＝(I+1)/(S+1)，I、S分别为HIS色彩空间中的亮度和饱和度；T_Po是根据航空影像C对归一化差值特征P采用一维Otsu阈值法获取的原始Otsu阈值；T_Pn是归一化差值特征P的带限定条件{P＞T_Po}的Otsu阈值；

阈值T_Pn的确定方式为，筛选航空影像C中满足限定条件{P＞T_Po}的像素，只有满足条件的像素对应的归一化差值特征P参与直方图统计；在筛选后统计出的直方图的基础上，再计算最大类间方差对应的阈值，计算所得阈值被赋予给T_Pn；

步骤2.3，根据步骤2.1所得航空影像B中每个像素的两项光谱特征值和步骤2.2所得相应的阈值，判断航空影像B中每个像素是否为云，并根据判断结果统计航空影像B的云覆盖率；判断结果是云的像素构成集合，如以下公式，

CloudSet＝{(i，j)|I(i，j)＞T_I)&&P(i，j)＞T_P}

其中，CloudSet代表影像B中满足条件{I(i，j)＞T_I)&&P(i，j)＞T_P}的像素(i，j)的集合，代表的是采用最合适的阈值确定的云区，I(i，j)、P(i，j)分别为像素(i，j)对应的亮度分量I、归一化差值特征P的值，T_I，T_P分别为步骤2.2所得亮度分量I、归一化差值特征P的阈值。

而且，步骤2.2.3中所述第二级云区与初始云区覆盖率的差比值DR和亮度差值绝对值dmI的获取方式如下，

以初始云区的每个像素为中心，计算其7×7邻域内的亮度I的均值Avg和方差Var，并求出均值的最大值MaxAvg和方差的最小值MinVar；再次以初始云区的每个像素为中心，求出其对应方差与最小方差的差值，均值与最大方差的差值，并以这两个差值的绝对值之和作为分值Score，即Score＝|Avg-MaxAvg|+|Var-MinVar|；求出所有分值的最大值，记为MaxScore；

以0.15MaxScore对初始云区进行进一步划分，如果初始云区中的像素对应的分值Score小于0.15MaxScore的认为属于第二级云区；计算DR＝|R2-R1|/R1，R1为初始云区的覆盖率，R2为第二级云区的覆盖率；

以0.03MaxScore对初始云区进行进一步划分，计算初始云区中分值Score小于0.03MaxScore的所有像素的亮度均值ymI，在初始云区中分值Score大于或等于0.03MaxScore的所有像素中统计满足条件I＜T_Io+80的像素的亮度均值nmI，计算dmI＝|ymI-nmI|。

由于传统的影像处理都是在获取完影像后，在地面实验室再进行统一后处理，时效性不强，会引起诸如影像质量不满足要求等问题发现不及时，如果事后重新补飞再获取满足要求的影像则又会受到天气、空中管制等影响，导致成本增加、效率降低等问题。本发明的优点在于：

1.时效性强，处理速度快，在机上获取影像后就可以立即进行影像的色彩质量评定，能及时检查出不满足要求的影像，可采取重拍措施获取满足条件要求的影像。本发明主要通过两方面来提高时效性，不需要高性能的设备也能快速评定影像色彩质量：

(1)通过对重采样影像进行质量评定，通过重采样出两种不同分辨率的影像，一种分辨率偏低的影像是用于计算阴影检测和云检测所用到的各种光谱特征的自动阈值，另一种相对较高分辨率的影像是用于将获取的阈值和实际的检测方法结合起来进行阴影和云的检测。大量实验发现：在合适的偏低分辨影像上获取的阈值与在其相对较高分辨率影像上获取的阈值相差幅度很小，但是最终的检测覆盖率的差值相对较大，为了保证最终评定影像色彩质量的阴影和云的覆盖率的准确性，将这样获取的阈值结果与特征条件组合一起应用到较高分辨率的影像上，遍历一次即可获取检测的结果，不仅能够保证检测结果的准确性，还在计算量上确有大幅度的减少，提高了检测的效率。

(2)通过采用基于光谱特征的检测方法，阴影检测和云检测方法均是采用合适的光谱特征条件组合，通过阈值法判断，进行检测，算法简单，检测速度快。自动阈值的获取方法也不能太复杂。

2.自动化程度高，全自动检测。本发明针对阴影检测和云检测各自分别提出了不同的自动阈值获取的方法，用于获取光谱特征的合适阈值，以克服以往简单的自动阈值法存在的弊病，提高检测精度。对于不同的特征往往采用不同方法获取的阈值，以提高阈值的适应性。阴影特征的自动阈值中使用到了Otsu提出的最大类间方差法阈值，并在此方法上进行创新，提出了改进的带有限定条件的Otsu自动阈值法。云特征的自动阈值用到了综合相关特征的多种阈值获取合适阈值的方法，采用分级分配阈值的策略，对不同类别影像分别赋予不同阈值，进行检测。这样有针对性的自动阈值获取的方法能有效提高检测精度，在保证自动化的同时保证精度。

附图说明

图1是本发明实施例的阴影自动检测流程图。

图2是本发明实施例的云自动检测流程图。

具体实施方式

以下结合附图和实施例详细说明本发明技术方案。本发明实施例实现过程为：

首先，对航空摄影获取的航空影像A进行重采样，获取两种不同分辨率的航空影像，分别记为航空影像B和航空影像C，航空影像B的分辨率大于航空影像C的分辨率。

按照金字塔影像的建立原理，在原始影像的基础上，根据待处理的影像与原始影像的缩放倍数关系n的大小，按照将原始影像上n×n大小的像素取均值，可以取得低分辨率的影像。通过设定不同n值，可取得两种不同分辨率的影像：低分辨率的影像C可用于获取阴影检测和云检测的特征阈值，再将获取的阈值直接应用到较高分辨率的影像B上获取检测结果。

然后进行阴影检测和云检测，包括基于航空影像C分别获取阴影检测和云检测中所需的阈值，再在航空影像B的基础上，根据阈值逐像素进行该像素是否为云或者是否为阴影的判断，并统计阴影覆盖率和云覆盖率。

在进行阴影检测和云检测之前，可以先在基于RGB色彩模式下的低分辨率的航空影像B和C的基础上，根据如式(1)所示的RGB-HIS的转换原理进行色彩空间转换，获取影像对应的HIS色彩模式特征值，以便检测时使用。也可以在检测用到相应值时，进行转换计算。具体计算属于现有技术，为便于实施参考起见，提供如下：

$\left\{\begin{array}{c}I=(R+G+B)/3\\ H=\left\{\begin{array}{cc}\mathrm{\θ},& \mathrm{if}(G\≥B)\\ 2\mathrm{\π}-\mathrm{\θ},& \mathrm{otherwise}\end{array}\right.\\ S=1-\frac{3}{R+G+B}\min (R,G,B)\end{array}\right.---\left(1\right)$

其中 $\mathrm{\θ}=\arccos \left\{\frac{(R-G)+(R-B)}{2\sqrt{{(R-G)}^2+(R-B)(G-B)}}\right\}$

参见图1，实施例的阴影检测包括以下步骤：

步骤1.1，对航空影像B和C中每个像素提取阴影检测所运用的三项光谱特征值，三项光谱特征值分别是HIS色彩空间的亮度分量I、RGB色彩空间的归一化分量B’和YUV色彩空间的亮度分量Y，(其中B′分量和Y分量分别由式(2)、式(3)计算得到)

$B^{\′}=\frac{B}{R+G+B}---\left(2\right)$

Y＝0.299×R+0.578×G+0.114×B                                        (3)

其中，R、G、B分别为像素在RGB色彩空间的红色、绿色、蓝色分量。

步骤1.2，根据步骤1.1所得航空影像C中每个像素的三项光谱特征值，获取步骤1.1所述三项光谱特征值分别对应的阈值。

本发明设计将三个特征分量按照如式(5)所示的逻辑条件组合方式进行组合，并按照本发明提出的阴影光谱特征自动阈值的获取方法，获取阴影各光谱特征对应的自动阈值，即可用于判定影像中的阴影。

现有技术中的一维Otsu阈值法应用到阴影特征自动阈值的获取中，原理是首先统计关于该阴影特征的统计直方图，用阈值k把直方图分割为C₀与C₁两部分，并按照式(5)计算这两类的类间方差σ_k ²，取最大类间方差对应的k值为最优阈值，即可获取自动阈值。

σ_k ²＝ω₀(μ₀-μ)²+ω₁(μ₁-μ)²＝ω₀ω₁(μ₁-μ₀)²                       (4)

其中σ_k ²代表阈值为k时的类间方差，ω_i，μ_i分别为C_i组产生的概率和均值，μ为整体属性的均值。

本发明在一维Otsu算法的基础上，对Otsu算法中的统计直方图进行改进，创造性地将关于其他特征的限定条件引入到属性直方图的统计中，主要思路是：在统计特征属性直方图之前首先按照一定的限定条件进行筛选，只有满足条件的像素的属性才被纳入到统计直方图中，而非原来的整幅图像所有像素都参与统计，然后在此直方图的基础上计算最大类间方差对应的最优阈值。这种带限定条件的Otsu阈值法，可针对不同的特征选定不同的限定条件来改进阈值，使改进后的阈值能够大幅度提高阴影检测的精度。

在本发明提出的改进的Otsu阈值法的基础上，分别针对阴影检测组合中的三项特征，分别选用不同的方法来获取能够有效检测阴影的自动阈值。

(1)亮度分量I对应的阈值T_I的确定方式为，利用带限定条件{IH＞T_IHo}的改进Otsu算法获取I特征的阈值T_I：

首先采用一维Otsu阈值法获取I和H的比值分量IH的原始Otsu自动阈值T_IHo，IH＝(H+1)/(I+1)，I、H分别为像素在HIS色彩空间的亮度分量、色调分量；然后筛选航空影像C中满足限定条件{IH＞T_IHo}的像素，只有满足条件的像素对应的亮度分量I参与直方图统计；在筛选后统计出的直方图的基础上，再计算最大类间方差对应的阈值，计算所得阈值被赋予给T_I_。

(2)归一化分量B’的阈值T_B’的确定方式为，在影像C的基础上获取T_B’：利用带限定条件{R＜100}的改进Otsu算法计算B’的特征阈值T_B’：

筛选航空影像C中满足限定条件{R＜100}的像素，R为像素在RGB色彩空间的红色分量，只有满足条件的像素对应的归一化分量B’参与直方图统计；在筛选后统计出的直方图的基础上，再计算最大类间方差对应的阈值，计算所得阈值被赋予给T_B’。

(3)亮度分量Y的阈值T_Y采用经验值。YUV色彩空间中的亮度特征Y是作为阴影检测的辅助特征，因此对Y特征选取采用经验阈值的方式，在大量实验的基础上，实施例选出Y特征的经验阈值20作为Y特征的阈值。

步骤1.3，根据步骤1.1所得航空影像B中每个像素的三项光谱特征值和步骤1.2所得相应的阈值，判断航空影像B中每个像素是否为阴影，并根据判断结果统计航空影像B的阴影覆盖率；判断结果是阴影的像素构成集合，如以下公式，

ShaowSet＝{(i，j)|(Y(i，j)＜T_Y||B′(i，j)＞T_B′)&&I(i，j)＜T_I}          (5)

其中，ShaowSet代表影像B中满足条件的像素(i，j)的集合，Y(i，j)、B′(i，j)、I(i，j)分别为像素(i，j)对应的亮度分量I、归一化分量B’和亮度分量Y的值，T_Y、T_B’、T_I分别表示亮度分量I、归一化分量B’和亮度分量I对应的阈值。

具体实施时，可以在重采样得到的航空影像B上，如式(5)所示按照已计算出阈值的阴影特征条件组合，逐像素遍历，选择满足特征条件组合的像素为阴影，不满足的像素为非阴影；与此同时记录满足条件的像素的数目nShadow，将其除以此影像的总像素数，即可得到阴影覆盖率。

参见图2，实施例的云检测包括以下步骤：

步骤2.1，从航空影像B和C中提取每个像素的云检测所运用的两项光谱特征值，两项光谱特征值分别是HIS色彩空间的亮度分量I、HIS色彩空间的亮度与饱和度的归一化差值特征P，P＝|(I-S)/(I+S)，其中I、S分别为HIS色彩空间的亮度分量、饱和度分量。

步骤2.2，根据步骤2.1所得航空影像C中每个像素的两项光谱特征值，获取步骤2.1所述两项光谱特征值分别对应的阈值。

云检测中选用了常用的亮度特征I以及差值特征P，用于检测云的特征很多，亮度I与饱和度S的归一化差值特征P＝|(I-S)/(I+S)，还是第一次被用于作为检测云的光谱特征。要快速、准确、自动的检测云，选取合适的特征是一项关键步骤，但同时能够自动的确定其合适的阈值以准确地检测云也是另一项关键步骤。在阴影检测模块提出了改进的带限定条件的Otsu阈值的方法。虽然选用恰当的限定条件，会在一定程度上提高阈值的适用性，提高检测精度，但大量实验发现：单对亮度I特征采用一维Otsu阈值法获取的检测结果基本包含了所有的云，但也存在部分被误判的地物；采用P特征剔除这些地物时，若仅采用Otsu法阈值取得的结果并不理想，总体来说偏小，若采用带合适限定条件的Otsu阈值法，阈值虽有改善，但仍无法突破阈值评定标准单一、不灵活等限制，不足以适应云与下垫面的千万种组合。为寻找最合适的P特征阈值，综合运用了以上两种阈值的阈值分级赋值策略应运而生。

阈值的分级赋值策略是以合适的云特征参数为依据，将云划分为多个不同的类，在综合相关特征阈值的基础上，各类分别赋予不同的特征阈值，这样可以改善阈值评定标准单一的问题，提高灵活度，使获取的阈值能够得到更好的检测结果。但是分级的标准不容易把握，合理的分级依据应建立在大量的数据统计与综合分析的基础上。分级时，首先第一级分级就是要将影像进行分类，分别分为无云、薄云、厚云影像。对于薄云和无云，其阈值容易确定，只要能够将这两者进行区分，即可实现检测；对于厚云则需要采用第二级分类标准进行进一步划分，每一类赋予不同的阈值，以更好的检测云。

云检测实验中，亮度I采用其Otsu阈值T_Io确定初始云区，再用P特征剔除初始云中误判为云的地物。P特征的阈值T_P选取不当会导致地物剔除不干净或者云漏判等问题，其阈值是影响检测精度的关键因素。本发明在分析了大量影像的有关特征阈值的基础上，设计了将影像分为无云、薄云、厚云的分类策略，并在厚云影像中，提出了关于T_P的进一步分级赋值策略，T_P的赋值引入了特征Q＝(I+1)/(S+1)的Otsu阈值T_Qo、P特征的Otsu阈值T_Po和P特征的带限定条件{P＞T_Po}的Otsu阈值T_Pn三项特征阈值。分级标准包括两项：第一级标准为初始云区的亮度均值与非初始云区的亮度均值的差值绝对值dI，将云分为厚云、薄云或无云两大类：对于薄云或无云，其P阈值直接取T_Po为最终阈值，并需要采用方法进一步分出薄云和无云，对于无云，亮度阈值采用255，对于薄云，亮度阈值采用T_Io；对于厚云，再采用T_Qo与T_Po的差值d为第二级标准，将厚云分为三部分，由高至低分别赋为T_Qo-T_Po、(d+T_Pn)/2、(T_Po+T_Pn)/2。这是在对大量影像进行实验统计分析相关特征阈值后归纳提出的，P和Q特征都是基于I和S的比值特征，具有一定的相关性，因此引入Q的阈值到T_P的赋值中可行有效，尤其是在云与下垫面差异较大的情况下，效果尤其好。

具体地说，实施例阈值确定实现方式如下，

步骤2.2.1，根据步骤2.1所得航空影像C中各像素的亮度分量I和归一化差值特征P进行初始云区的判断，判断结果是属于初始云区的像素构成集合，如以下公式，

CloudSet₀＝{(i，j)|I(i，j)＞T_Io)&&P(i，j)＞T_Po}                          (6)

其中CloudSet₀代表满足条件{I(i，j)＞T_Io)&&P(i，j)＞T_Po}的像素的集合，记为初始云区，统计集合CloudSet₀中的所有像素的亮度均值YavgI，及不满足条件的所有像素的亮度均值NavgI，并记两者差值的绝对值为参数dI，即dI＝|YavgI-NavgI|；I(i，j)、P(i，j)分别为像素(i，j)对应的亮度分量I、归一化差值特征P的值，T_Io、T_Po分别为根据航空影像C对亮度分量I、归一化差值特征P采用一维Otsu阈值法获取的原始Otsu自动阈值；

步骤2.2.2，以dI为第一级分级标准，如果dI＞105，认为该影像存在厚云，进入步骤2.2.4，如果dI≤105，认为该影像存在薄云或者无云，进入步骤2.2.3；

步骤2.2.3，以第二级云区与初始云区覆盖率的差比值DR为薄云或无云的第二级分级标准，如果DR＞0.115，认为该影像中无云；如果DR≤0.115，以亮度差值绝对值dmI为第三级分级标准，如果dmI＞10认为该影像中无云，如果dmI≤10认为该影像存在薄云；然后进入步骤2.24；

步骤2.2.4，根据步骤2.23和步骤2.24对影像进行初步分类的结果，设定亮度分量I对应的阈值T_I和归一化差值特征P对应的阈值T_P，具体方式如下，

(1)若分类为厚云，T_I＝T_Io，归一化差值特征P对应的阈值T_P的赋值以d＝T_Qo-T_Po为第二级分级标准，分级赋值的方式如下，

如果d≥220，T_P＝T_Qo-T_Pn；

如果180≤d＜220，T_P＝(d+T_Pn)/2；

如果d＜180，T_P＝(T_Po+T_Pn)/2；

(2)若分类为薄云，T_I＝T_Io，T_P＝T_Pn；

(3)若分类为无云，T_I＝255，T_P＝TPn；

其中，T_Qo是根据航空影像C对特征Q采用一维Otsu阈值法获取的原始Otsu自动阈值，Q＝(I+1)/(S+1)，I、S分别为HIS色彩空间中的亮度和饱和度；T_Po是根据航空影像C对归一化差值特征P采用一维Otsu阈值法获取的原始Otsu阈值；T_Pn是归一化差值特征P的带限定条件{P＞T_Po}的Otsu阈值；

阈值T_Pn的确定方式为，筛选航空影像C中满足限定条件{P＞T_Po}的像素，只有满足条件的像素对应的归一化差值特征P参与直方图统计；在筛选后统计出的直方图的基础上，再计算最大类间方差对应的阈值，计算所得阈值被赋予给T_Pn。

实施例的步骤2.2.3中所述第二级云区与初始云区覆盖率的差比值DR和亮度差值绝对值dmI的获取方式如下，

以初始云区的每个像素为中心，计算其7×7邻域内的亮度I的均值Avg和方差Var，并求出均值的最大值MaxAvg和方差的最小值MinVar；再次以初始云区的每个像素为中心，求出其对应方差与最小方差的差值，均值与最大方差的差值，并以这两个差值的绝对值之和作为分值Score，即Score＝|Avg-MaxAvg|+|Var-MinVar|；求出所有分值的最大值，记为MaxScore；

以0.15MaxScore对初始云区进行进一步划分，如果初始云区中的像素对应的分值Score小于0.15MaxScore的认为属于第二级云区；计算DR＝|R2-R1|/R1，R1为初始云区的覆盖率，R2为第二级云区的覆盖率；计算初始云区中分值Score小于0.03MaxScore的所有像素的亮度均值ymI，在初始云区中分值Score大于或等于0.03MaxScore的所有像素中统计满足条件I＜T_Io+80的像素的亮度均值nmI，计算dmI＝|ymI-nmI|。

具体实施时，本领域技术人员也可根据具体情况自行调整，例如以初始云区的每个像素为中心，计算其11×11邻域内的亮度I的均值Avg和方差Var；计算时dmI以0.06MaxScore对初始云区进行进一步划分等等。

步骤2.3，根据步骤2.1所得航空影像B中每个像素的两项光谱特征值和步骤2.2所得相应的阈值，判断航空影像B中每个像素是否为云，并根据判断结果统计航空影像B的云覆盖率；判断结果是云的像素构成集合，如以下公式，

CloudSet＝{(i，j)|I(i，j)＞T_I)&&P(i，j)＞T_P}                           (7)

其中，CloudSet代表影像B中满足条件{I(i，j)＞T_I)&&P(i，j)＞T_P}的像素(i，j)的集合，代表的是采用最合适的阈值确定的云区，I(i，j)、P(i，j)分别为像素(i，j)对应的亮度分量I、归一化差值特征P的值，T_I，T_P分别为步骤2.2所得亮度分量I、归一化差值特征P的阈值。

实施例将亮度特征I和亮度I与饱和度S的归一化差值特征P采用如式(6)所示的逻辑交组合，再按照本发明提出的针对这两个光谱特征分别设计的自动阈值方案获取合理的阈值，将特征组合与其最佳阈值结合在一起，即可用于检测影像中的云。重采样得到的相对较高分辨率的航空影像B上，按照上一步中自动阈值方法获取的合适阈值应用到云特征条件组合中，逐像素遍历，将满足特征条件组合的像素判定为云，不满的像素属于下垫面；与此同时记录满足条件的像素的数目nCloud，将其除以此影像的总像素数，即可得到阴影覆盖率。

最后，根据关于阴影覆盖率和云覆盖率的具体要求，结合实际得到的阴影覆盖率和云覆盖率，对影像质量进行评估，输出影像色彩质量评定报告。根据对影像中阴影和云的覆盖率的要求，一般不能超过某个限定值，结合计算得到的阴影覆盖率和云覆盖率，与限定值进行比较，对影像色彩质量进行评定，即可输出质量评定结果。

本发明提供的方法可以采用计算机软件实现自动运行，也可以采用模块化技术设计为四个个模块。

影像重采样模块：用于对直接获取的篇幅较大、分辨率较高的航空影像进行重采样，用金字塔原理来缩小影像分辨率，重采样后的影像输出到阴影检测模块和云检测模块。在重采样后的影像上进行阴影检测和云检测，可大幅度减少计算量，提高速度。

阴影检测模块：用于检测影像中的阴影，根据本发明提出的阴影检测特征条件组合，结合本发明提出的获取阴影特征的最佳自动阈值的方法，对影像逐像素判断满足条件的阴影，实现阴影的自动检测，计算并输出阴影覆盖率到色彩质量评定模块。

云检测模块：用于检测影像中的云，根据本发明提出的基于光谱特征的云检测特征条件组合，同时制定的一套关于云特征自动阈值获取的方法，其中涉及到分级分配相关特征阈值的策略，能有效的区分薄云、无云和厚云，并能获取最佳的自动阈值，准确地检测云，最后计算并输出云覆盖率到色彩质量评定模块。

色彩质量评定模块：用于结合阴影检测模块输入的阴影覆盖率和云检测模块输入的云覆盖率，对影像质量进行评估，输出影像色彩质量评定报告。

在对影像进行色彩质量评定时，阴影检测和云检测是两个相互独立的模块，独立执行，自动完成。在得到待处理的影像后，立即进行阴影检测和云检测，整个过程无需人工干预，全部自动完成。阴影自动检测模块的具体流程图如图1所示，云自动检测模块的具体流程图如图2所示。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (2)

1.一种航空摄影过程中实时自动评定影像色彩质量的方法，其特征在于：首先，对航空摄影获取的航空影像A进行重采样，获取两种不同分辨率的航空影像，分别记为航空影像B和航空影像C，航空影像B的分辨率大于航空影像C的分辨率；然后进行阴影检测和云检测，包括基于航空影像C分别获取阴影检测和云检测中所需的阈值，再在航空影像B的基础上，根据阈值逐像素进行该像素是否为云或者是否为阴影的判断，并统计阴影覆盖率和云覆盖率；根据检测所得阴影覆盖率和云覆盖率，评定影像色彩质量，输出质量评定报告；

所述阴影检测具体实现包括以下步骤，

步骤1.1，对航空影像B和C中每个像素提取阴影检测所运用的三项光谱特征值，三项光谱特征值分别是HIS色彩空间的亮度分量I、RGB色彩空间的归一化分量B’和YUV色彩空间的亮度分量Y，归一化分量B’和亮度分量Y的计算公式如下，

$B^{\′}=\frac{B}{R+G+B}$

Y=0.299×R+0.578×G+0.114×B

其中，R、G、B分别为像素在RGB色彩空间的红色、绿色、蓝色分量；

步骤1.2，根据步骤1.1所得航空影像C中每个像素的三项光谱特征值，获取步骤1.1所述三项光谱特征值分别对应的阈值，实现方式如下，

亮度分量I对应的阈值T_I的确定方式为，首先采用一维Otsu阈值法获取I和H的比值分量IH的原始Otsu自动阈值T_IHo，IH=(H+1)/(I+1)，I、H分别为像素在HIS色彩空间的亮度分量、色调分量；然后筛选航空影像C中满足限定条件{IH>T_IHo}的像素，只有满足条件的像素对应的亮度分量I参与直方图统计；在筛选后统计出的直方图的基础上，再计算最大类间方差对应的阈值，计算所得阈值被赋予给T_I；

归一化分量B’的阈值T_B’的确定方式为，筛选航空影像C中满足限定条件{R<100}的像素，R为像素在RGB色彩空间的红色分量，只有满足条件的像素对应的归一化分量B’参与直方图统计；在筛选后统计出的直方图的基础上，再计算最大类间方差对应的阈值，计算所得阈值被赋予给T_B’；

亮度分量Y的阈值T_Y采用经验值；

步骤1.3，根据步骤1.1所得航空影像B中每个像素的三项光谱特征值和步骤1.2所得相应的阈值，判断航空影像B中每个像素是否为阴影，并根据判断结果统计航空影像B的阴影覆盖率；判断结果是阴影的像素构成集合，如以下公式，

ShaowSet＝{(i,j)|(Y(i,j)＜T_Y||B'(i,j)＞T_B')&&I(i,j)＜T_I}

其中，ShaowSet代表影像B中满足条件的像素(i,j)的集合，Y(i,j)、B'(i,j)、I(i,j)分别为像素(i,j)对应的亮度分量I、归一化分量B’和亮度分量Y的值，T_Y、T_B’、T_I分别表示亮度分量I、归一化分量B’和亮度分量I对应的阈值；

所述云检测具体实现包括以下步骤，

步骤2.1，从航空影像B和C中提取每个像素的云检测所运用的两项光谱特征值，两项光谱特征值分别是HIS色彩空间的亮度分量I、HIS色彩空间的亮度与饱和度的归一化差值特征P，P=|(I-S)/(I+S)|，其中I、S分别为HIS色彩空间的亮度分量、饱和度分量；

步骤2.2，根据步骤2.1所得航空影像C中每个像素的两项光谱特征值，获取步骤2.1所述两项光谱特征值分别对应的阈值，实现方式如下，

步骤2.2.1，根据步骤2.1所得航空影像C中各像素的亮度分量I和归一化差值特征P进行初始云区的判断，判断结果是属于初始云区的像素构成集合，如以下公式，

CloudSet₀＝{(i,j)|I(i,j)＞T_Io&&P(i,j)＞T_Po}

其中CloudSet₀代表满足条件{I(i,j)＞T_Io&&P(i,j)＞T_Po}的像素的集合，记为初始云区，统计集合CloudSet₀中的所有像素的亮度均值YavgI，及不满足条件的所有像素的亮度均值NavgI，并记两者差值的绝对值为参数dI，即dI=|YavgI-NavgI|；I(i,j)、P(i,j)分别为像素(i,j)对应的亮度分量I、归一化差值特征P的值，T_Io、T_Po分别为根据航空影像C对亮度分量I、归一化差值特征P采用一维Otsu阈值法获取的原始Otsu自动阈值；

步骤2.2.2，以dI为第一级分级标准，如果dI>105，认为该影像存在厚云，进入步骤2.2.4，如果dI≤105，认为该影像存在薄云或者无云，进入步骤2.2.3；

步骤2.2.3，以第二级云区与初始云区覆盖率的差比值DR为薄云或无云的第二级分级标准，如果DR>0.115，认为该影像中无云；如果DR≤0.115，以亮度差值绝对值dmI为第三级分级标准，如果dmI>10认为该影像中无云，如果dmI≤10认为该影像存在薄云；

步骤2.2.4，根据步骤2.23和步骤2.24对影像进行初步分类的结果，设定亮度分量I对应的阈值T_I和归一化差值特征P对应的阈值T_P，具体方式如下，

(1)若分类为厚云，T_I=T_Io，归一化差值特征P对应的阈值T_P的赋值以d=T_Qo-T_Po为第二级分级标准，分级赋值的方式如下，

如果d≥220，T_P=T_Qo-T_Pn；

如果180≤d＜220，T_P=(d+T_Pn)/2；

如果d＜180，T_P=(T_Po+T_Pn)/2；

(2)若分类为薄云，T_I=T_Io，T_P=T_Pn；

(3)若分类为无云，T_I=255，T_P=T_Pn；

其中，T_Qo是根据航空影像C对特征Q采用一维Otsu阈值法获取的原始Otsu自动阈值，Q=(I+1)/(S+1)，I、S分别为HIS色彩空间中的亮度和饱和度；T_Po是根据航空影像C对归一化差值特征P采用一维Otsu阈值法获取的原始Otsu阈值；T_Pn是归一化差值特征P的带限定条件{P>T_Po}的Otsu阈值；

阈值T_Pn的确定方式为，筛选航空影像C中满足限定条件{P>T_Po}的像素，只有满足条件的像素对应的归一化差值特征P参与直方图统计；在筛选后统计出的直方图的基础上，再计算最大类间方差对应的阈值，计算所得阈值被赋予给T_Pn；

步骤2.3，根据步骤2.1所得航空影像B中每个像素的两项光谱特征值和步骤2.2所得相应的阈值，判断航空影像B中每个像素是否为云，并根据判断结果统计航空影像B的云覆盖率；判断结果是云的像素构成集合，如以下公式，

CloudSet＝{(i,j)|I(i,j)＞T_I&&P(i,j)＞T_P}

其中，CloudSet代表影像B中满足条件{I(i,j)＞T_I&&P(i,j)＞T_P}的像素(i,j)的集合，代表的是采用最合适的阈值确定的云区，I(i,j)、P(i,j)分别为像素(i,j)对应的亮度分量I、归一化差值特征P的值，T_I，T_P分别为步骤2.2所得亮度分量I、归一化差值特征P的阈值。

2.如权利要求1所述航空摄影过程中实时自动评定影像色彩质量的方法，其特征在于：步骤2.2.3中所述第二级云区与初始云区覆盖率的差比值DR和亮度差值绝对值dmI的获取方式如下，

以初始云区的每个像素为中心，计算其7×7邻域内的亮度I的均值Avg和方差Var，并求出均值的最大值MaxAvg和方差的最小值MinVar；再次以初始云区的每个像素为中心，求出其对应方差与最小方差的差值，均值与最大方差的差值，并以这两个差值的绝对值之和作为分值Score，即Score=|Avg-MaxAvg|+|Var-MinVar|；求出所有分值的最大值，记为MaxScore；

以0.15MaxScore对初始云区进行进一步划分，如果初始云区中的像素对应的分值Score小于0.15MaxScore，认为属于第二级云区；计算DR=|R2-R1|/R1，R1为初始云区的覆盖率，R2为第二级云区的覆盖率；

以0.03MaxScore对初始云区进行进一步划分，计算初始云区中分值Score小于0.03MaxScore的所有像素的亮度均值ymI，在初始云区中分值Score大于或等于0.03MaxScore的所有像素中统计满足条件I<T_Io+80的像素的亮度均值nmI，计算dmI=|ymI-nmI|。