CN111105417B - 影像噪声定位方法及系统 - Google Patents

Abstract

本发明公开了一种影像噪声定位方法及系统，涉及图像分析领域，用于实现：通过构建样本数据对模型进行学习训练，选取需质检的遥感影像，计算分析，判定该影像中条带噪声的严重程度。本发明的有益效果为：对遥感影像中条带噪声检测定位速度快，效率高，能客观且快速地定位遥感影像中条带噪声的位置，以及判断该影像中条带噪声的严重程度，为条带去噪快速提供条带噪声定位信息。有助于海量遥感数据处理，从而提高遥感影像数据生产效率。

Description

影像噪声定位方法及系统

技术领域

本发明涉及图像分析领域，特别涉及一种影像噪声定位方法及系统。

背景技术

光学遥感卫星成像一般采用CCD线阵推扫的方式，由于探测器每个探元间的响应差异，导致推扫成像时容易产生条带噪声，严重影响影像产品质量和后续应用。针对影像的条带噪声去除和结果评价是辐射处理和质检的重要步骤。在影像辐射质检过程中，目前经典的条带噪声评价方法，如条纹系数、列均值方法等，难以准确量化和衡量影像整体的条纹噪声情况和去除效果，使得辐射质检评价结果有时不能准确表征影像的实际质量。在这种情况下，往往需要人工目视判读的方法对影像有无条带进行评价，严重影响了工作效率，且易受人为主观影响，不利于实际工作需要。现今未有相关文献记载条带噪声定位的相关研究，而现有的去除条带噪声的算法多是基于辐射定标参数对全幅遥感影像进行去噪处理，且假设探测器响应呈线性，不考虑不同地物的局部差异性。处理后容易产生局部条带噪声。

发明内容

为至少解决现有技术中存在的技术问题之一，本发明的目的在于提供一种影像噪声定位方法及系统，通过构建样本数据对模型进行学习训练，选取需质检的遥感影像，计算分析，判定该影像中条带噪声的严重程度。

本发明解决其问题所采用的技术方案第一方面是：一种影像噪声定位方法，其特征在于，包括以下步骤：S10、采集光谱影像作为样本数据并进行预处理；S20、构建条带噪声判别模型，基于所述样本数据对所述条带噪声判别模型进行机器学习训练；S30、将待定位的光谱影像作为所述条带噪声判别模型的输入源，经过所述模型判别后生成判别结果，根据所述判别结果得到条带噪声的位置信息以及噪声值。

有益效果：对遥感影像中条带噪声检测定位速度快，效率高，能客观且快速地定位遥感影像中条带噪声的位置，以及判断该影像中条带噪声的严重程度，为条带去噪快速提供条带噪声定位信息，有助于海量遥感数据处理，从而提高遥感影像数据生产效率。

根据本发明第一方面所述的，S10包括：S11、通过光学遥感卫星进行光谱影像数据采集，获得一定数量的原始遥感数据；S12、对所述原始遥感数据分类并按指定尺寸进行裁剪；S13、将裁剪后的所述遥感数据按照有无条带噪声进行分类，得到样本数据集。

根据本发明第一方面所述的，S20包括：S21、基于卷积神经网络组建条带噪声分类模型； S22、基于所述样本数据对所述条带噪声分类模型进行训练，根据训练结果与样本数据进行对比，进行损失修正，得到条带噪声判别模型；S23、判断所述条带噪声判别模型是否拟合，若是则模型训练完成，否则返回执行步骤S22。

根据本发明第一方面所述的，S21包括：基于卷积神经网络分别组建输入模型、条带噪声特征提取模型以及分类输出模型。

根据本发明第一方面所述的，S22包括：基于所述样本数据经过多层卷积网络计算得到预测标签，根据所述预测标签判断是否存在条带；根据预测标签的判断结果与真实样本数据标签进行计算，获得预测损失值；将所述预测损失值作为所述多层卷积网络的各个网络中的反馈输入，用以更新所述输入模型、所述条带噪声特征提取模型以及分类输出模型的参数。

根据本发明第一方面所述的，S20还包括：S24、构建分类激活热力图模型，并将所述条带噪声判别模型作为前置模型；S25、将所述条带噪声判别模型输出的一维特征作为所述分类激活热力图模型的输入源；S26、所述分类激活热力图模型对所述输入源进行热力图计算，获取置信度；S27、基于所述置信度对所述一维特征进行加权求和，得到一维的类激活热力图。

根据本发明第一方面所述的，S30包括：S31、基于所述分类激活热力图模型，以所述待定位的光谱影像作为输入源进行计算，获得条带判断结果及对应的激活热力图。

根据本发明第一方面所述的，S30还包括：S32、设置阈值，根据所述激活热力图获取热力值，基于所述阈值对所述热力值进行筛选，确定条带边界；S33、基于所述条带边界获取条带噪声位置信息，并将所述样本数据进行拼接，根据判别结果进行噪声值分级；S34、基于所述判别结果及噪声值分级，得到对应样本数据的条带位置信息及噪声值。

本发明解决其问题所采用的技术方案第二方面是：一种影像噪声定位系统，其特征在于，包括：数据采集模块，用于采集光谱影像作为样本数据并进行预处理；模型构建模块，用于构建条带噪声判别模型，基于所述样本数据对所述条带噪声判别模型进行机器学习训练；模型执行模块，用于将待定位的光谱影像作为所述条带噪声判别模型的输入源，经过所述模型判别后生成判别结果，根据所述判别结果得到条带噪声的位置信息以及噪声值。

有益效果：对遥感影像中条带噪声检测定位速度快，效率高，能客观且快速地定位遥感影像中条带噪声的位置，以及判断该影像中条带噪声的严重程度，为条带去噪快速提供条带噪声定位信息，有助于海量遥感数据处理，从而提高遥感影像数据生产效率。

根据本发明第二方面所述的，模型执行模块还包括：热力图生成单元，用于基于分类激活热力图模型，以所述待定位的光谱影像作为输入源进行计算，获得条带判断结果及对应的激活热力图；边界确定单元，用于设置阈值，根据所述激活热力图获取热力值，基于所述阈值对所述热力值进行筛选，确定条带边界；噪声值分级单元，用于基于所述条带边界获取条带噪声位置信息，并将所述样本数据进行拼接，根据判别结果进行噪声值分级。

附图说明

图1是根据本发明实施例的方法流程示意图；

图2是根据本发明实施例的系统结构示意图；

图3是根据本发明实施例的样本数据示意图；

图4是根据本发明实施例的分类模型示意图；

图5是根据本发明实施例的判别结果示意图。

具体实施方式

以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。

参照图1，是根据本发明实施例的方法流程示意图；

构建样本数据集并对所述数据集进行预处理；

构造条带噪声判别模型，利用所述数据集进行条带噪声判别模型训练，根据条带噪声判别模型构造分类激活热力图模型；

选取需质检的遥感影像，将选取的遥感影像进行计算分析，输入分类激活热力图模型得到影像的激活热力图；

设定阈值对所述激活热力图中的激活热力值进行筛选，确定条带边界，得到条带噪声的位置，经计算分析，判定该影像中条带噪声的严重程度。

具体包括：

构建样本数据集，对原始遥感数据中的影像进行分类并按一定的尺寸进行滑动窗口裁剪，将裁剪后的图像进行挑选，有条带噪声的为正样本，无条带噪声的为负样本，建立样本数据集。

构造条带噪声判别模型，条带噪声分类模型由3个卷积神经网络模块组成，模型结构依次是，输入模块，条带噪声特征提取模块，分类输出模块。

训练条带噪声判别模型，利用制作好的样本数据集，将已构建好的样本图像数据集输入条带噪声判别模型中，输入图像经过多层卷积网络的计算得到一个预测标签，所述预测标签为是否有条带，并将输出的预测标签与真实样本标签进行计算，求出预测损失值，将求出损失值反向传播回每层网络中，更新整个条带噪声判别模型参数，重复上述操作，直至模型拟合，得到训练好的条带噪声判别模型。

构造分类激活热力图模型，提取已训练好的条带噪声判别模型作为分类激活热力图模型的前馈网络。使用最后一个卷积层输出的一维特征进行热力图计算。在模型判别为有条带的情况下，获取有条带的置信度，根据梯度反向传播原理，求置信度对于最后一个卷积层的平均梯度值，以该平均梯度值作为权重对最后一个卷积层的输出值进行加权求和，得到一维的类激活热力图。

选取需质检的遥感影像，从原始遥感影像中，选取待识别的遥感影像进行滑动窗口裁剪，裁剪后的子图作为输入图像，利用构建好的条带噪声分类激活热力图模型，将待识别的遥感影像输入模型中，得到是否有条带的判别结果，以及有条带噪声情况下的激活热力图。激活热力图仅根据有条带噪声的置信度进行计算，无条带噪声的情况下不输出热力图。

设定阈值对激活热力图中的激活热力值进行筛选，确定条带边界，得到条带噪声的位置。将所有子图的计算结果进行拼接，根据各个图像的各个计算区域的判别结果，进行计算分析，对该图像的条带噪声严重程度进行分级，最终得到遥感影像中条带噪声的判别定位结果以及影像中条带噪声的严重程度。

参照图2，是根据本发明实施例的系统结构示意图，包括：

数据采集模块，用于采集光谱影像作为样本数据并进行预处理；

模型构建模块，用于构建条带噪声判别模型，基于所述样本数据对所述条带噪声判别模型进行机器学习训练；

模型执行模块，用于将待定位的光谱影像作为所述条带噪声判别模型的输入源，经过所述模型判别后生成判别结果，根据所述判别结果得到条带噪声的位置信息以及噪声值。

下面举一实施例加以说明：

S1：构建样本数据集并对所述数据集进行预处理。

在本实施方式中，构建样本数据集制作步骤为：

a.从获取的尺寸为5056*5056的卫星高光谱原始数据的各个波段图像中，选取有条带噪声与无条带噪声比例适当的图像，有条带噪声标记为正样本，无条带噪声标记为负样本，正样本与负样本比例为1:1。

所述卫星高光谱原始数据也可以是全色影像、多光谱影像等遥感影像之一。

参照图3，是根据本发明实施例的样本数据示意图；

其中图3中第一幅图为有条带噪声的卫星高光谱影像，图3中第二幅图为无条带噪声的卫星高光谱影像。

b.对样本图像里的图采用512*512大小的滑动窗口方式进行裁剪，对裁剪过后的小图进行进一步筛选，保证正负样本的比例；

c.对裁剪后的图片做水平翻转操作，以增加样本数量，处理后样本数量扩充至原来2倍。

S2：构造条带噪声判别模型，利用所述数据集进行条带噪声判别模型训练，根据条带噪声判别模型构造分类激活热力图模型。

本实施方式中，条带噪声分类模型由3个卷积神经网络模块组成，参照图4，是根据本发明实施例的分类模型示意图。

模型结构依次是，输入模块，条带噪声特征提取模块，分类输出模块。条带噪声分类模型具体为：

输入模块作为图像到神经网络的输入；

条带噪声特征提取模块对图像中的条带噪声进行特征提取。

条带噪声特征提取模块使用深度可分离卷积模块进行特征提取，针对条带噪声的特性，其中的卷积使用1*3和3*1卷积核，卷积模式使用valid卷积模式；在池化操作时，仅在竖直方向上进行特征压缩，横向特征维度不压缩，最终输出一维多通道特征向量。

分类输出模块使用全连接层构建2个节点作为有条带噪声和无条带噪声的分类结果。

分类输出模块使用全局平均池化操作将特征提取模块输出的一维多通道特征向量压缩为一维单通道向量，最后使用全连接层输出两个节点，使用Softmax进行激活，[1,0]表示无条带，[0,1]表示有条带。

本实施方式中，训练条带噪声判别模型，利用制作的样本数据集，将已构建好的样本图像数据集输入条带噪声判别模型中，输入图像经过多层卷积网络的计算得到一个预测标签(是否有条带)，并将输出的预测标签与真实样本标签进行计算，求出预测损失值，将求出的损失值反向传播回每层网络中，更新整个条带噪声判别模型参数，重复上述操作，直至模型拟合，得到训练好的条带噪声判别模型。

构造分类激活热力图模型，提取已训练好的条带噪声判别模型作为分类激活热力图模型的前馈网络。使用最后一个卷积层输出的一维特征进行热力图计算。

S3：选取需质检的高光谱影像，将选取的高光谱影像进行计算分析，输入分类激活热力图模型得到影像的激活热力图。

本实施方式中，选取需质检的高光谱影像，从卫星获取的原始高光谱影像中，选取待识别的高光谱影像进行512*512大小的滑动窗口裁剪，裁剪后的子图作为输入图像，利用搭建好的条带噪声分类激活热力图模型，将裁剪后的高光谱影像输入模型中，得到是否有条带的判别结果，以及有条带噪声情况下的激活热力图。激活热力图仅根据有条带噪声的置信度进行计算，无条带噪声的情况下不输出热力图。在模型判别为有条带的情况下，获取有条带的置信度，根据梯度反向传播原理，求置信度对于最后一个卷积层的平均梯度值，以该平均梯度值作为权重对最后一个卷积层的输出值进行加权求和，得到一维的类激活热力图。

S4：设定阈值对所述激活热力图中的激活热力值进行筛选，确定条带边界，得到条带噪声的位置，经计算分析，判定该影像中条带噪声的严重程度。

在本实施方式中，设定阈值对激活热力图中的激活热力值进行筛选，确定条带边界，得到条带噪声的位置。将所有子图的计算结果进行拼接，根据各个波段图像的各个计算区域的判别结果，进行计算分析，对该波段图像的条带噪声严重程度进行分级，最终得到所有波段高光谱影像的分析结果，即影像中条带噪声的判别定位结果以及影像中条带噪声的严重程度。

参照图5，为条带定位结果示意图，选取一组代表性影像，其中图5中第一幅图为待检测卫星高光谱影像，图5中第二幅图为生成的影像激活热力图，图5中第三幅图为条带定位标记结果图，其中Ture代表检测影像中存在条带噪声。

应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术- 包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。

此外，可按任何合适的顺序来执行本文描述的过程的操作，除非本文另外指示或以其他方式明显地与上下文矛盾。本文描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。

进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本文所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。

计算机程序能够应用于输入数据以执行本文所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/ 或实施方式可以有各种不同的修改和变化。

Claims (6)

1.一种影像噪声定位方法，其特征在于，包括以下步骤：S10、采集光谱影像作为样本数据并进行预处理；

S20、构建条带噪声判别模型，基于所述样本数据对所述条带噪声判别模型进行机器学习训练；

所述S20包括：

S21、基于卷积神经网络组建条带噪声分类模型，

S22、基于所述样本数据对所述条带噪声分类模型进行训练，根据训练结果与样本数据进行对比，进行损失修正，得到条带噪声判别模型，

S23、判断所述条带噪声判别模型是否拟合，若是则模型训练完成，否则返回执行步骤S22，

S24、构建分类激活热力图模型，并将所述条带噪声判别模型作为前置模型，

S25、将所述条带噪声判别模型输出的一维特征作为所述分类激活热力图模型的输入源，

S26、所述分类激活热力图模型对所述输入源进行热力图计算，获取置信度，

S27、基于所述置信度对所述一维特征进行加权求和，得到一维的类激活热力图；

S30、将待定位的光谱影像作为所述条带噪声判别模型的输入源，经过所述模型判别后生成判别结果，根据所述判别结果得到条带噪声的位置信息以及噪声值；

所述S30包括：

S31、基于所述分类激活热力图模型，以所述待定位的光谱影像作为输入源进行计算，获得条带判断结果及对应的激活热力图；

S32、设置阈值，根据所述激活热力图获取热力值，基于所述阈值对所述热力值进行筛选，确定条带边界；

S33、基于所述条带边界获取条带噪声位置信息，并将所述样本数据进行拼接，根据判别结果进行噪声值分级；

S34、基于所述判别结果及噪声值分级，得到对应样本数据的条带位置信息及噪声值。

2.根据权利要求1所述的影像噪声定位方法，其特征在于，所述S10包括：

S11、通过光学遥感卫星进行光谱影像数据采集，获得一定数量的原始遥感数据；

S12、对所述原始遥感数据分类并按指定尺寸进行裁剪；

S13、将裁剪后的所述遥感数据按照有无条带噪声进行分类，得到样本数据集。

3.根据权利要求1所述的影像噪声定位方法，其特征在于，所述S21包括：基于卷积神经网络分别组建输入模型、条带噪声特征提取模型以及分类输出模型。

4.根据权利要求3所述的影像噪声定位方法，其特征在于，所述S22包括：基于所述样本数据经过多层卷积网络计算得到预测标签，根据所述预测标签判断是否存在条带；

根据预测标签的判断结果与真实样本数据标签进行计算，获得预测损失值；

将所述预测损失值作为所述多层卷积网络的各个网络中的反馈输入，用以更新所述输入模型、所述条带噪声特征提取模型以及分类输出模型的参数。

5.一种影像噪声定位系统，其特征在于，包括：数据采集模块，用于采集光谱影像作为样本数据并进行预处理；

模型构建模块，用于构建条带噪声判别模型，基于所述样本数据对所述条带噪声判别模型进行机器学习训练；

模型执行模块，用于将待定位的光谱影像作为所述条带噪声判别模型的输入源，经过所述模型判别后生成判别结果，根据所述判别结果得到条带噪声的位置信息以及噪声值；

所述模型构建模块还用于基于卷积神经网络组建条带噪声分类模型，基于所述样本数据对所述条带噪声分类模型进行训练，根据训练结果与样本数据进行对比，进行损失修正，得到条带噪声判别模型，判断所述条带噪声判别模型是否拟合，若是则模型训练完成，否则返回执行基于所述样本数据对所述条带噪声分类模型进行训练、根据训练结果与样本数据进行对比、进行损失修正、得到条带噪声判别模型，构建分类激活热力图模型，并将所述条带噪声判别模型作为前置模型，将所述条带噪声判别模型输出的一维特征作为所述分类激活热力图模型的输入源，所述分类激活热力图模型对所述输入源进行热力图计算，获取置信度，基于所述置信度对所述一维特征进行加权求和，得到一维的类激活热力图；

所述模型执行模块还用于基于所述分类激活热力图模型，以所述待定位的光谱影像作为输入源进行计算，获得条带判断结果及对应的激活热力图，设置阈值，根据所述激活热力图获取热力值，基于所述阈值对所述热力值进行筛选，确定条带边界，基于所述条带边界获取条带噪声位置信息，并将所述样本数据进行拼接，根据判别结果进行噪声值分级，基于所述判别结果及噪声值分级，得到对应样本数据的条带位置信息及噪声值。

6.根据权利要求5所述的影像噪声定位系统，其特征在于，所述模型执行模块还包括：热力图生成单元，用于基于分类激活热力图模型，以所述待定位的光谱影像作为输入源进行计算，获得条带判断结果及对应的激活热力图；

边界确定单元，用于设置阈值，根据所述激活热力图获取热力值，基于所述阈值对所述热力值进行筛选，确定条带边界；

噪声值分级单元，用于基于所述条带边界获取条带噪声位置信息，并将所述样本数据进行拼接，根据判别结果进行噪声值分级。

Images