CN112954239B - 星上cmos图像灰尘污染去除与复原系统及复原方法 - Google Patents

Abstract

星上CMOS图像灰尘污染去除与复原系统及复原方法，涉及遥感图像处理领域。解决图像中受污染像元灰度值改变的问题，该系统为了保证获取多样性较好的图像样本，它首先利用推扫距离计算单元来确保任意两张图像之间的推扫距离足够大；然后利用图像测试单元来筛选对比度较高、过曝面积较小的图像。然后将采集到的图像样本保存至图像存储器，最后利用图像运算与统计单元计算出校正系数，保存至图像校正单元里。这样，每当探测器获取的图像都可以经过图像校正单元校正，使得灰尘影像去除，灰尘覆盖的信息得到复原。该方法计算复杂度低，易于在硬件中实现，使得空间遥感相机能够在轨进行图像校正。

Description

星上CMOS图像灰尘污染去除与复原系统及复原方法

技术领域

本发明涉及遥感数字图像领域，具体涉及一种快速的星上CMOS图像灰尘影像去除与复原系统及复原方法。

背景技术

在研制空间相机时，特别是采用面阵探测器，由于在生产、组装、发射或投入应用的过程中，往往容易受到未知因素的干扰，导致少量的灰尘落上面阵探测器上，由于灰尘的数量、落入探测器的位置、形状、光学性质是随机的，因而往往无法事先知道这些灰尘所带来的影响。而且，面阵探测器面积越大，被落入灰尘的概率越大。在实际研制过程当中很难避免这个现象发生。对于在轨的相机，常用的办法是利用星上已有的除尘机构进行除尘，但由于种种原因，其除尘能力十分有限。

灰尘一旦落入面阵探测器，其获取的图像将会出现灰尘的影像。本文称该影像所覆盖的像元及其周边的像元为受污染的像元，其接收到的辐照度因灰尘的特殊光学性质而发生变化，这些变化包括：

1.由于灰尘的低透光性而引起该像元接收的辐照度降低；

2.由于灰尘对光的散射而引起的周边像元额外接收到辐照度；

因此，灰尘会导致受污染像元获取的信息失真，这会给后续的图像分析带来严重的影响(例如，在目标识别中，容易误将灰尘识别为目标，增加虚警率)。

发明内容

本发明为了解决图像中受污染像元灰度值改变的问题，提供一种星上CMOS图像灰尘影像去除与复原系统及复原方法。

星上CMOS图像灰尘影像去除与复原系统，包括空间遥感相机、推扫距离计算单元、图像采集器、图像测试单元、图像运算与统计单元以及图像校正单元；

所述空间遥感相机在推扫过程中获取图像；

所述推扫距离计算单元经姿态控制系统获得推扫距离，当推扫距离大于图像幅高时，图像采集器向空间遥感相机发送采集图像指令；

所述图像测试单元对所述图像采集器采集的图像进行检测后存储到存储单元作为图像样本；

所述图像运算与统计单元读取存储单元中的图像样本并进行计算，获得校正参数，保存至图像校正单元；

所述图像校正单元对图像进行校正，最终获得灰尘影像去除及覆盖信息复原的图像。

星上CMOS图像灰尘污染去除与复原方法，该方法由以下步骤实现：

步骤一、空间遥感相机对地面拍照过程中，推扫距离计算单元从姿态控制系统获取相对推扫距离信息，当相对推扫距离大于图像幅高时，所述图像采集器向所述空间遥感相机发送采集图像的指令；

步骤二、所述图像测试单元对图像采集器采集到的图像进行检测，若图像符合设定的要求，则存储到存储单元作为图像样本；

步骤三、所述图像运算与统计单元读取存储单元的图像样本f_i(x,y)，并计算校正参数，具体为：

采用下式计算沿帧均值和标准差的图像，获得沿帧均值图像m(x,y)和沿帧标准差图像s(x,y)如下式为：

步骤四、进行统计量均衡处理；在均衡非灰尘影像区域的同时，保留灰尘影像区域的原始的沿帧均值和标准差，具体计算方法为：

步骤四一、首先设定滤波窗口，采用所述滤波窗口对沿帧均值图像进行标准差滤波，即在该窗口覆盖的区域内计算出该区域的标准差，即为该图像中当前一点的局部标准差，将滤波窗口遍历完整张图象，则构成标准差滤波图像m_s(x,y)；

步骤四二、对所述标准差滤波图像m_s(x,y)进行阈值处理，获得阈值图像b(x,y)；

确定灰尘影像区域，即大于阈值的置0，为灰尘影像区域，否则置1，为非灰尘影像区域；t为阈值；

步骤四三、按下式计算沿帧均值图像m(x,y)和沿帧标准差图像s(x,y)的全局均值

和

则获得最终估计的沿帧均值图像

和沿帧标准差图像

用下式表示为：

将估计的沿帧均值图像

和沿帧标准差图像

作为图像校正系数，保存至图像校正单元；

步骤五、所述图像校正单元对空间遥感相机获取的的原始含有灰尘影像的图像g(x,y)进行校正，获得校正后的图像；校正方法如下：

首先求出原始含有灰尘影像的图像g(x,y)的平均灰度值m₀和对比度s₀：

然后采用步骤四三中所述的校正系数校正由灰尘引起的像元增益和偏置，获得中间图像g'(x,y)；

若中间图像g'(x,y)的全局均值m₁和对比度s₁为：

上式中M和N为图像的宽和高。按下式进行最后校正：

所述g”(x,y)即为校正后的图像。

本发明的有益效果：

本发明系统利用了图像采集器、图像测试单元在轨自动获取多张符合要求的图像。这使得校正系数的求解能够在星上进行，若灰尘的形态等特性发生变化，还可以根据要求重新计算，获得更新的校正系数。避免了后期手工挑选样本图像等耗时耗力的工作。

在求解校正系数后，每当探测器获取的图像都可以经过图像校正单元校正，使得灰尘影像去除，灰尘覆盖的信息得到复原。该方法计算复杂度低，易于在硬件中实现，使得空间遥感相机能够在轨进行图像校正。

附图说明

图1为本发明所述的星上CMOS图像灰尘影像去除与复原系统的原理框图；

图2为幅高与推扫距离示意图；

图3为图像运算与统计单元的流程图；

图4为沿帧均值和标准差初步估计方法的原理图；

图5为标准差滤波示意图(尺寸未按比例绘制)；

图6为图像校正单元的流程图。

具体实施方式

具体实施方式一、结合图1至图6说明本实施方式，星上CMOS图像灰尘影像去除与复原系统，本实施方式利用了如下原理：在获取多张图像后，这些图像中任意一个相同位置的像元的灰度值会形成一个分布，而且图像获取场景越多样化、图像张数越多，根据中心极限定理，这些分布会越接近正态分布，因而具有更稳定的均值和方差。

假设灰尘具有透光性和散射的特点。与正常像元相比，受污染的像元会有较低(或较高)的均值和方差，这一特点使得计算校正系数成为可能。

本实施方式具体包括空间遥感相机、推扫距离计算单元、图像采集器、图像测试单元、图像运算与统计单元以及图像校正单元；

首先由空间遥感相机(面阵探测器)在推扫过程中获取图像，与此同时，推扫距离计算单元从姿态控制系统确定推扫距离，若推扫距离满足图像多样性的要求，图像采集器将会启动图像采集工作；

图像采集器采集到图像后，传到图像测试单元。它主要检查图像对比度、过曝区域面积等是否在设定范围内；若采集到的图像满足设定范围内，将会传到图像运算统计单元，当存储单元收集了足够多的图像，将反馈图像采集器来停止采集，然后由图像运算与统计单元利用这些采集到的图像计算出面阵探测器所有像元的系数，输出给图像校正单元。

至此，图像校正单元已就绪，即“面阵探测器→图像采集器→图像校正单元→输出图像”。每当图像采集器充面阵探测器获取图像后，直接进入图像校正单元即可实现校正，最后输出校正好的图像，即无灰尘影像、灰尘覆盖区域的信息已复原的图像。

本实施方式中，所述推扫距离计算单元利用姿态控制系统(提供数据包含卫星平台所处经纬度、高度等信息)提供的信息确定足够大的推扫距离，并对图像采集器发送指令来采集图像；利用图像测试单元对采集到的图像进行筛选，将符合要求的图像保存至图像存储单元，作为图像样本。当图像样本足够大时，即停止采集。图像运算与统计单元对图像样本进行计算，得到图像校正系数，保存至图像校正单元。以后探测器获取到的图像可以经过图像校正单元得到校正。最终得到灰尘影像去除、其覆盖的信息复原的图像。所述图像测试单元对图像检测的要求为：要求图像的对比度达到阈值，一般为满亮度的1/4；过曝区域面积小于阈值，一般为1％。

本实施方式中，所述图像运算与统计单元用于计算校正系数，它包括沿帧均值图像和沿帧标准差图像的计算，以及统计量均衡处理方法，保证计算出来的非灰尘影像区域校正系数统一化，使得校正后的图像中平坦区域避免出现类似“波纹”痕迹。所述统计量均衡处理方法，包括标准差滤波，以及灰尘影像区域确定方法。图像校正单元包括非均匀性校正和全局矩匹配过程。

具体实施方式二、结合图1至图6说明本实施方式，本实施方式为具体实施方式一所述的星上CMOS图像灰尘影像去除与复原系统的复原方法，该方法由以下步骤实现：

一、首先，在空间相机对地面拍照过程中，图像采集器从面阵探测器采集图像(在本实例中，图像大小为12000×5000像素)。为了保证参与计算的图像的多样性，任意两张图像之间的差异要大，这一点按下述的方法来保证：空间遥感相机在推扫过程中，为了保证相邻两张图像之间有较大的差异，其相对推扫距离最好要大于幅高，如图2所示，由推扫距离计算单元从姿态控制系统获取相对推扫距离信息后，当相对推扫距离大于幅高时，才对图像采集器发送采集图像的指令。这样保证了相邻两张图像的无重合区域，进而保证图像的差异性；

二、所述图像测试单元对图像采集器采集到的图像进行检测，若图像符合设定的要求，则存储到存储单元作为图像样本；

本实施方式中，不是所有采集到的图像都能用于参与后续的校正参数的计算，例如有些图像有大量的云，容易发生过曝；有些图像则是一片近乎平坦的区域(例如沙漠、海面)，其对比度(即图像全局标准差)很低，这些都会影响后续的校正参数计算的准确性。因此本系统还需图像测试单元检查图像采集器采集到的图像是否有效。例如图像对比度和过曝区域面积必须满足要求(对比度一般要大于满亮度的1/4，过曝区域面积一般小于1％，可根据具体情况适当调整)才能从参与后续的校正参数计算。假设图像灰度值范围是0～255整型，在本实例中，对比度要求为64以上，过曝区域面积要求不能超过1％。

根据在图像测试单元根据设定好的要求从图像采集器筛选出足够多的图像作为样本，记作f_i(x,y)，其中(x,y)表示像元坐标，i表示图像样本序号(本例为500张，故i取1～500)，将图像样本保存到存储单元。

三、由图像运算与统计单元读取并计算合理的校正参数，其运算如图3所示，其中沿帧均值图像m(x,y)和沿帧标准差图像s(x,y)按下式计算：

如图4所示，可以得到：受灰尘影响的像元会有受影响的沿帧均值和标准差；正常像元会有接近正常的沿帧均值和标准差。

步骤四、将沿帧均值图像和沿帧标准差图像初步估计完毕后，由于样本数量有限，估计结果不完全准确。若直接对原始图像进行校正，将会留有不均匀的痕迹，特别是在图像中的平坦区域，会留下类似于“波浪”的痕迹。因此需要进行统计量均衡处理。在均衡非灰尘影像区域的同时，应保留灰尘影像区域的原始的沿帧均值和标准差，具体计算方法如下：

a)如图5所示，首先设定合适大小的滤波窗口(大小设定为包围最大灰尘影像区域的最小矩形的1.5倍左右)。用这个滤波窗口对沿帧均值图像进行“标准差滤波”，即对该滤波窗口所覆盖的区域统计其标准差，得到该矩阵中每一点的局部标准差，当滤波窗口遍历完整张沿帧均值图像后，即可获得标准差滤波后的图像m_s(x,y)。在本实例中，最大灰尘影像区域占70×50像素，故取105×75作为窗口大小。当滤波窗口对靠近边缘时，会出现超出边界问题，为了解决这一问题，可以考虑增加其扩展边缘，其灰度值用与之在图像内最近的像素灰度值填充。

b)对选定的矩阵进行标准差滤波后得到，再结合此对沿帧均值矩阵进行阈值处理，得到阈值图像b(x,y)，

确定出灰尘影像区域，即大于阈值的置0，为灰尘影像区域，否则置1，为非灰尘影像区域。其中阈值一般取满亮度(最大灰度值)的千分之五左右。在本例中，阈值设定为t＝1.3。

c)按下式计算沿帧均值图像m(x,y)和沿帧标准差图像s(x,y)的全局均值

和

则获得最终估计的沿帧均值图像

和沿帧标准差图像

至此，沿帧均值图像和沿帧标准差图像已估计完毕，这就是图像校正系数，保存至图像校正单元里，为图像校正工作做准备。此时，图像校正系统已就绪，即“面阵探测器→图像采集器→图像校正单元→输出图像”。其余单元可以关闭。

最后图像校正单元可以对原图像(包括后续获取的图像)进行校正，校正方法如下：假设任意含有灰尘影像的原始图像g(x,y)，其平均灰度值m₀和对比度s₀为

则首先校正由灰尘引起的像元增益和偏置的改变，得到中间图像g'(x,y)

此时，灰尘影像区域的增益和偏置恢复正常，与正常像元的一致，但图像全局的动态范围和对比度有所改变，故要与原图像进行全局矩匹配，即使其动态范围与对比度与原图像的相一致。若f'(x,y)的全局均值和对比度为：

上式中M和N为图像的宽和高，在此例中，分别是12000和5000。进一步地，按下式进行最后校正：

至此，g”(x,y)就是校正后的图像。图像校正单元具体流程如图6所示。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.星上CMOS图像灰尘污染去除与复原系统，包括空间遥感相机、推扫距离计算单元、图像采集器、图像测试单元、图像运算与统计单元以及图像校正单元；其特征是：

所述空间遥感相机在推扫过程中获取图像；

所述推扫距离计算单元经姿态控制系统获得推扫距离，当推扫距离大于图像幅高时，图像采集器向空间遥感相机发送采集图像指令；

所述图像测试单元对所述图像采集器采集的图像进行检测后存储到存储单元作为图像样本；

所述图像测试单元对采集的图像检查图像对比度、过曝区域面积是否在设定范围内，若采集到的图像满足设定范围，将会存储到存储单元作为图像样本，所述图像样本数量为多个；

所述图像运算与统计单元读取存储单元中的图像样本并进行计算，获得校正参数，保存至图像校正单元；获得校正参数的过程为：

计算沿帧均值图像m(x,y)和沿帧标准差图像s(x,y)；

进行统计量均衡处理，在均衡非灰尘影像区域的同时，保留灰尘影像区域的原始的沿帧均值和标准差，具体为：

采用滤波窗口对沿帧均值图像进行标准差滤波，即在该窗口覆盖的区域内计算出该区域的标准差，即为该图像当前一点的局部标准差，当滤波窗口遍历完整张图像，则构成标准差滤波图像m_s(x,y)；对标准差滤波图像m_s(x,y)进行阈值处理，确定出灰尘影像区域和非灰尘影像区域；

计算沿帧均值图像m(x,y)和沿帧标准差图像s(x,y)的全局均值

和

获得最终估计的沿帧均值图像

和沿帧标准差图像

作为图像校正系数，即校正参数；

所述图像校正单元对图像进行校正，最终获得灰尘影像去除及覆盖信息复原的图像。

2.根据权利要求1所述的星上CMOS图像灰尘污染去除与复原系统，其特征在于：所述图像测试单元对图像检测的要求为：要求图像的对比度达到阈值，阈值为满亮度的1/4；过曝区域面积小于阈值，阈值为1％。

3.采用根据权利要求1所述的星上CMOS图像灰尘污染去除与复原系统的复原方法，其特征是：该方法由以下步骤实现：

步骤一、空间遥感相机对地面拍照过程中，推扫距离计算单元从姿态控制系统获取相对推扫距离信息，当相对推扫距离大于图像幅高时，所述图像采集器向所述空间遥感相机发送采集图像的指令；

步骤二、所述图像测试单元对图像采集器采集到的图像进行检测，若图像符合设定的要求，则存储到存储单元作为图像样本；

步骤三、所述图像运算与统计单元读取存储单元的图像样本f_i(x,y)，其中(x,y)表示像元坐标，i表示图像样本序号，并计算校正参数，具体为：

采用下式计算沿帧均值和标准差的图像，获得沿帧均值图像m(x,y)和沿帧标准差图像s(x,y)如下式为：

步骤四、进行统计量均衡处理；在均衡非灰尘影像区域的同时，保留灰尘影像区域的原始的沿帧均值和标准差，具体计算方法为：

步骤四一、首先设定滤波窗口，采用所述滤波窗口对沿帧均值图像进行标准差滤波，即在该窗口覆盖的区域内计算出该区域的标准差，即为该图像中当前一点的局部标准差，将滤波窗口遍历完整张图象，则构成标准差滤波图像m_s(x,y)；

步骤四二、对所述标准差滤波图像m_s(x,y)进行阈值处理，获得阈值图像b(x,y)；

确定灰尘影像区域，即大于阈值的置0，为灰尘影像区域，否则置1，为非灰尘影像区域，t为阈值；

步骤四三、按下式计算沿帧均值图像m(x,y)和沿帧标准差图像s(x,y)的全局均值

和

则获得最终估计的沿帧均值图像

和沿帧标准差图像

用下式表示为：

将估计的沿帧均值图像

和沿帧标准差图像

作为图像校正系数，保存至图像校正单元；

步骤五、所述图像校正单元对空间遥感相机获取的的原始含有灰尘影像的图像g(x,y)进行校正，获得校正后的图像；校正方法如下：

首先求出原始含有灰尘影像的图像g(x,y)的平均灰度值m₀和对比度s₀：

然后采用步骤四三中所述的校正系数校正由灰尘引起的像元增益和偏置，获得中间图像g'(x,y)；

若中间图像g'(x,y)的全局均值m₁和对比度s₁为：

上式中M和N为图像的宽和高；按下式进行最后校正：

所述g”(x,y)即为校正后的图像。

4.根据权利要求3所述的复原方法，其特征在于：步骤二中，图像符合设定的要求具体为：对比度达到设定的阈值，阈值为满亮度的1/4；过曝区域面积小于设定的阈值，阈值为1％。

Images