CN108229271A - 解译遥感图像的方法、装置和电子设备 - Google Patents

Abstract

本申请公开了解译遥感图像的方法、装置和电子设备。该方法的具体实施方式包括：调整至少一张原始遥感图像，得到相对各原始遥感图像有变化的至少一张调整后的遥感图像；通过多层神经网络模型解译各原始遥感图像和各调整后的遥感图像，得到解译结果集；对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果；基于各原始遥感图像的融合后解译结果调整多层神经网络模型的网络参数。该实施方式能够在少量数据标注的前提下，自动利用大量数据中的信息进行学习，更新多层神经网络模型得到更好的解译结果。

Description

解译遥感图像的方法、装置和电子设备

技术领域

本申请涉及计算机技术领域，具体涉及图像识别技术领域，尤其涉及解译遥感图像的方法、装置和电子设备。

背景技术

解译也称判读或判释，指从遥感图像获取信息的基本过程。即根据各专业(部门)的要求，运用解译标志和实践经验与知识，从遥感图像上识别目标，定性、定量地提取出目标的分布、结构、功能等有关信息，并把它们表示在地理底图上的过程。

目前，在图像识别领域中，解译出遥感图像中像素的类别信息通常涉及图像特征的提取，基于深度学习技术可实现全自动地提取图像特征以解译遥感图像中像素的类别信息。传统的图像解译方法首先使用遥感图像训练集来训练CNN(Conventional NeuralNetwork，卷积神经网络)，然后使用CNN解译出遥感图像中像素的类别信息。

传统的图像特征提取方法需要使用预先标定的一些属性(例如，图像标签等)来训练CNN。现有技术中，可通过人工手动标注的方式来进行图像的属性标注。

发明内容

本申请提出了一种改进的解译遥感图像的技术方案。

第一方面，本申请提供了一种解译遥感图像的方法，该方法包括：调整至少一张原始遥感图像，得到相对各原始遥感图像有变化的至少一张调整后的遥感图像；通过多层神经网络模型解译各原始遥感图像和各调整后的遥感图像，得到解译结果集，解译结果集包括对各原始遥感图像进行解译的解译结果和对与各原始遥感图像对应的各调整后的遥感图像进行解译的解译结果；对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果；基于各原始遥感图像的融合后解译结果调整多层神经网络模型的网络参数。

在一些实施例中，解译结果集和融合后解译结果包括：各张遥感图像中每个像素所属的目标类别信息。

在一些实施例中，对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果，包括：融合解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果中每个像素属于目标类别的信息，得到原始遥感图像中每个像素属于目标类别的融合信息；根据原始遥感图像中每个像素属于目标类别的融合信息，确定各原始遥感图像的融合后解译结果。

在一些实施例中，调整至少一张原始遥感图像，得到相对各原始遥感图像有变化的至少一张调整后的遥感图像，包括：对至少一张原始遥感图像进行裁剪，得到与各原始遥感图像对应的至少一张调整后的遥感图像；和/或对至少一张原始遥感图像进行旋转，得到与各原始遥感图像对应的至少一张调整后的遥感图像；和/或对至少一张原始遥感图像进行缩放，得到与各原始遥感图像对应的至少一张调整后的遥感图像；和/或对至少一张原始遥感图像的色彩进行调整，得到与各原始遥感图像对应的至少一张调整后的遥感图像。

在一些实施例中，对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果，包括：确定解译结果集中同一原始遥感图像的解译结果的第一置信度，以及与原始遥感图像对应的各调整后的遥感图像的解译结果的第二置信度；以及基于第一置信度和第二置信度确定融合后解译结果。

在一些实施例中，对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果，包括：确定各调整后的遥感图像较同一原始遥感图像的变化程度；根据变化程度确定各调整后的遥感图像的解译结果在融合后解译结果中所占的权重；根据各权重对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到融合后解译结果。

在一些实施例中，各调整后的遥感图像较同一原始遥感图像的变化程度与各调整后的遥感图像的解译结果在融合后解译结果中所占权重正相关。

在一些实施例中，基于以下至少一项确定各调整后的遥感图像较同一原始遥感图像的变化程度：对同一原始遥感图像进行裁剪后图像面积的变化率、对同一原始遥感图像进行旋转的角度与一预设角度值的比值、对同一原始遥感图像进行缩放的缩放比例、对同一原始遥感图像中各像素点进行色度调整的色度调整比例。

在一些实施例中，在首次通过多层神经网络模型解译各原始遥感图像和各调整后的遥感图像之前，还包括训练多层神经网络模型的步骤；训练多层神经网络模型的步骤包括：将已标注的遥感图像数据作为训练数据训练多层神经网络模型；该方法还包括：响应于当前的多层神经网络模型不满足训练完成条件，继续执行训练多层神经网络模型的步骤。

在一些实施例中，训练完成条件包括以下至少一项：训练多层神经网络模型的训练次数达到预设的训练次数阈值；以及相邻两次训练中，多层神经网络模型的输出之间的损失值处于预设的容差范围之内。

第二方面，本申请提供了一种解译遥感图像的装置，该装置包括：调整单元，用于调整至少一张原始遥感图像，得到相对各原始遥感图像有变化的至少一张调整后的遥感图像；解译单元，用于通过多层神经网络模型解译各原始遥感图像和各调整后的遥感图像，得到解译结果集，解译结果集包括对各原始遥感图像进行解译的解译结果和对与各原始遥感图像对应的各调整后的遥感图像进行解译的解译结果；融合单元，用于对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果；训练单元，用于基于各原始遥感图像的融合后解译结果调整多层神经网络模型的网络参数。

在一些实施例中，解译结果集和融合后解译结果包括：各张遥感图像中每个像素所属的目标类别信息。

在一些实施例中，融合单元进一步用于：融合解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果中每个像素属于目标类别的信息，得到原始遥感图像中每个像素属于目标类别的融合信息；根据原始遥感图像中每个像素属于目标类别的融合信息，确定各原始遥感图像的融合后解译结果。

在一些实施例中，调整单元进一步用于：对至少一张原始遥感图像进行裁剪，得到与各原始遥感图像对应的至少一张调整后的遥感图像；和/或对至少一张原始遥感图像进行旋转，得到与各原始遥感图像对应的至少一张调整后的遥感图像；和/或对至少一张原始遥感图像进行缩放，得到与各原始遥感图像对应的至少一张调整后的遥感图像；和/或对至少一张原始遥感图像的色彩进行调整，得到与各原始遥感图像对应的至少一张调整后的遥感图像。

在一些实施例中，融合单元进一步用于：确定解译结果集中同一原始遥感图像的解译结果的第一置信度，以及与原始遥感图像对应的各调整后的遥感图像的解译结果的第二置信度；以及基于第一置信度和第二置信度确定融合后解译结果。

在一些实施例中，融合单元进一步用于：确定各调整后的遥感图像较同一原始遥感图像的变化程度；根据变化程度确定各调整后的遥感图像的解译结果在融合后解译结果中所占的权重；根据各权重对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到融合后解译结果。

在一些实施例中，各调整后的遥感图像较同一原始遥感图像的变化程度与各调整后的遥感图像的解译结果在融合后解译结果中所占权重正相关。

在一些实施例中，基于以下至少一项确定各调整后的遥感图像较同一原始遥感图像的变化程度：对同一原始遥感图像进行裁剪后图像面积的变化率、对同一原始遥感图像进行旋转的角度与一预设角度值的比值、对同一原始遥感图像进行缩放的缩放比例、对同一原始遥感图像中各像素点进行色度调整的色度调整比例。

在一些实施例中，训练单元进一步用于：将已标注的遥感图像数据作为训练数据训练多层神经网络模型；并且响应于当前的多层神经网络模型不满足训练完成条件，继续基于各原始遥感图像的融合后解译结果调整多层神经网络模型的网络参数。

在一些实施例中，训练完成条件包括以下至少一项：训练多层神经网络模型的训练次数达到预设的训练次数阈值；以及相邻两次训练中，多层神经网络模型的输出之间的损失值处于预设的容差范围之内。

第三方面，本申请提供了一种电子设备，包括：存储器，存储可执行指令；一个或多个处理器，与存储器通信以执行可执行指令从而完成以下操作：调整至少一张原始遥感图像，得到相对各原始遥感图像有变化的至少一张调整后的遥感图像；通过多层神经网络模型解译各原始遥感图像和各调整后的遥感图像，得到解译结果集，解译结果集包括对各原始遥感图像进行解译的解译结果和对与各原始遥感图像对应的各调整后的遥感图像进行解译的解译结果；对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果；基于各原始遥感图像的融合后解译结果调整多层神经网络模型的网络参数。

本申请提供的解译遥感图像的方法、装置和电子设备，在少量数据标注的前提下训练得到多层神经网络模型，利用遥感图像特性，多次对遥感图像进行不同的调整后再输入多层神经网络模型，并将多次解译的解译结果合并，利用弱监督的数据继续训练多层神经网络模型得到更好的解译结果。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请可以应用于其中的示例性系统架构图；

图2是根据本申请的解译遥感图像的方法的一个实施例的流程图；

图3是根据本申请的解译遥感图像的方法的应用场景的示意图；

图4是根据本申请的解译遥感图像的装置的一个实施例的结构示意图；

图5是适于用来实现本申请实施例的电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的解译遥感图像的方法或解译遥感图像的装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101(例如，航拍飞机)、终端设备102(例如，人造卫星)，网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102通过网络103与服务器104交互，以接收或发送消息等。终端设备101、102是用来搭载传感器的运载工具，常用的有气球、飞机和人造卫星等，从远距离获取目标物体的电磁波特性，通过该信息的传输、贮存、卫星、修正、识别目标物体，融合后实现其功能(例如，定时功能、定位功能、定性功能、定量功能)。传感器例如可以是用来探测目标物电磁波特性的仪器设备，常用的有照相机、扫描仪和成像雷达等。

服务器104可以是提供各种服务的服务器，例如从终端设备101、102上搭载的传感器获取遥感图像的后台图像处理服务器。后台图像处理服务器可以对接收到的遥感图像等数据进行分析等处理，并将处理结果(例如图像特征的解译结果)输出。

需要说明的是，本申请实施例所提供的解译遥感图像的方法一般由服务器104执行，相应地，解译遥感图像的装置一般设置于服务器104中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

继续参考图2，示出了根据本申请的解译遥感图像的方法的一个实施例的流程200。该解译遥感图像的方法，包括以下步骤：

步骤201，调整至少一张原始遥感图像，得到相对各原始遥感图像有变化的至少一张调整后的遥感图像。

在本实施例中，解译遥感图像的方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从用户利用其进行遥感图像采集的终端设备接收至少一张遥感图像。对至少一张原始遥感图像进行各种方式的调整得到调整后的至少一张遥感图像。每张原始遥感图像可得到至少一张针对该原始遥感图像调整后的遥感图像。在这里，“调整”可以是改变原始遥感图像的图像参数的各种操作。图像参数例如可以包括但不限于遥感图像的亮度、对比度、色相、饱和度、明度和/或遥感图像中各像素之间的相对位置关系、遥感图像中各像素与某一固定点之间的相对位置关系等。

此外，为了得到相对于同一张原始遥感图像的多张调整后的遥感图像，可以采用同样的调整方式来对该原始遥感图像进行不同程度的调整，从而得到各张调整后的遥感图像，和/或，还可以采用不同的调整方式来对该原始图像进行调整，从而得到各张调整后的遥感图像。

步骤202，通过多层神经网络模型解译各原始遥感图像和各调整后的遥感图像，得到解译结果集。

在本实施例中，多层神经网络模型例如可以是深度神经网络或者卷积神经网络等。卷积神经网络是一种人工神经网络。卷积神经网络通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而融合后提升分类或预测的准确性。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。该多层神经网络模型用于提取遥感图像样本的特征以解译遥感图像中像素的类别信息。该原始遥感图像中可以包括多个未经标注的图像特征。解译结果集包括对各原始遥感图像进行解译得到的解译结果和对与各原始遥感图像对应的各调整后的遥感图像进行解译得到的解译结果。

解译结果可以包括原始遥感图像中的每个像素所属的目标类别的信息，该信息可以通过像素所属目标类别的概率来确定。例如，解译出某个像素点属于道路的概率为80％，属于草地的概率为10％，则可确定该像素点所属的目标类别为道路。

步骤203，对解译结果集中同一原始遥感图像的解译结果，以及与该原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果。

在本实施例中，例如，可以选择一张原始遥感图像的解译结果和与该原始遥感图像对应的至少一张调整后的遥感图像的解译结果进行融合。融合后解译结果与仅对原始遥感图像进行解译的解译结果相比，通过解译经过调整后的遥感图像增加了解译出无法通过原始遥感图像解译的目标类别信息的几率。融合方式有多种，可以平均合并，也可以对不同的调整方式和/或调整程度设置不同的权重来进行融合。

步骤204，基于各原始遥感图像的融合后解译结果调整多层神经网络模型的网络参数。

在本实施例中，例如，可以将已标注的遥感图像数据作为训练数据输入多层神经网络模型；确定多层神经网络模型的输出结果和已标注的遥感图像数据之间的损失值；并基于损失值优化调整多层神经网络模型的网络参数，从而得到新的多层神经网络模型。可使用网络参数调整后的多层神经网络模型继续执行步骤201～步骤204，循环执行该边解译边训练的过程，直到多层神经网络模型的当前训练情况满足训练完成条件。不同次循环执行步骤201～步骤204，需要解译的至少一张原始遥感图像中至少有部分不同。即，将原始遥感图像的融合后解译结果作为扩充样本数据训练该多层神经网络模型。可以分阶段分批使用扩充样本数据训练该多层神经网络模型，逐步使用更好的多层神经网络模型改进弱监督样本数据的解译效果。此外，设置训练完成条件可避免出现无限循环地训练该多层神经网络模型的情况。训练完成条件包括以下至少一项：训练多层神经网络模型的训练次数达到预设的训练次数阈值；相邻两次训练中，多层神经网络模型的输出之间的损失值处于预设的容差范围之内；完成对所有原始遥感图像的解译，得到对应的融合后解译结果。

现有技术采用手工标注的方式需要消耗大量的人力，标定效率较低。同时一些影像经常覆盖非常大的区域，导致完全标注的时间也很长。传统的完全标注的监督学习需要的人力资源较多。因此对于深度学习这类型需要大量数据驱动的学习方案不适用。而标注数据不足会制约深度学习的性能。

而本申请的上述实施例提供的方法通过调整遥感图像以增加训练样本的数量，能够在少量数据标注的前提下，自动利用大量数据中的信息进行学习，更新多层神经网络模型，从而得到更准确的解译结果。

在本实施例的一些可选的实现方式中，解译结果集和融合后解译结果可以包括各张遥感图像中每个像素所属的目标类别信息。该目标类别信息可以通过像素属于某类别的概率来确定。例如，设定概率阈值，某个像素点属于某目标类别的概率超过该概率阈值时，可确定该像素点属于该类别。例如，概率阈值为50％，解译出某个像素点属于道路的概率为80％，则可认为该像素点属于道路。可利用该概率绘制出目标类别的概率分布图以表示遥感图像的道路分布，颜色越深则像素点属于道路的概率越高。

在本实施例的一些可选的实现方式中，对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果，包括：融合解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果中每个像素属于目标类别的信息，得到原始遥感图像中每个像素属于目标类别的融合信息；根据原始遥感图像中每个像素属于目标类别的融合信息，确定各原始遥感图像的融合后解译结果。该融合信息可以通过像素所属目标类别的概率来确定。例如，原始遥感图像的解译结果中某个像素点为道路的概率为80％，顺时针旋转30度后遥感图像的解译结果中该像素点为道路的概率为70％，顺时针旋转60度后遥感图像的解译结果中该像素点为道路的概率为60％，顺时针旋转90度后遥感图像的解译结果中该像素点为道路的概率为50％。则取它们的平均值65％作为该像素点为道路的概率，由于平均值65％大于预定概率阈值50％，因此可确定出该像素点属于该道路。即融合后解译结果为该像素点属于道路。

在本实施例的一些可选的实现方式中，调整至少一张原始遥感图像，得到相对各原始遥感图像有变化的至少一张调整后的遥感图像，包括但不限于以下方式：对至少一张原始遥感图像进行裁剪，得到与各原始遥感图像对应的至少一张调整后的遥感图像；和/或对至少一张原始遥感图像进行旋转，得到与各原始遥感图像对应的至少一张调整后的遥感图像；和/或对至少一张原始遥感图像进行缩放，得到与各原始遥感图像对应的至少一张调整后的遥感图像；和/或对至少一张原始遥感图像的色彩进行调整，得到与各原始遥感图像对应的至少一张调整后的遥感图像。例如，对原始遥感图像进行裁剪可以将原始遥感图像向某一方向平移出图像选择框进行裁剪，保留在选择框中内容作为调整后的遥感图像。还可以使用图像选择框选择出保留的部分，将其它部分裁剪掉。对原始遥感图像进行旋转可以将原始遥感图像顺时针或者逆时针旋转一定的角度。对原始遥感图像进行缩放可以将原始遥感图像放大或者缩小一定的倍数。对原始遥感图像的色彩进行调整可以对原始遥感图像的亮度、对比度等进行色调的允许范围的色彩调整。通过这种方式可以增训练样本的数量，提高训练收敛速度，使得训练结果更准确。

在本实施例的一些可选的实现方式中，对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果，包括：确定解译结果集中同一原始遥感图像的解译结果的第一置信度，以及与原始遥感图像对应的各调整后的遥感图像的解译结果的第二置信度；以及基于第一置信度和第二置信度确定融合后解译结果。第一置信度和第二置信度为遥感图像中像素点属于目标类别的概率。例如，将原始遥感图像中某个像素点属于道路的概率80％与同一原始遥感图像调整后的遥感图像中该像素点属于道路的概率70％进行平均，得到平均值75％，其超过概率阈值50％，因此可以确定出整合后解译结果为该像素点属于道路。平均值合并的方式简单易行，减少计算量从而降低解译时间。在图像变化不大的情况下采用平均合并的方式能够得到较理想的解译结果。

在本实施例的一些可选的实现方式中，对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果，包括：确定各调整后的遥感图像较同一原始遥感图像的变化程度；根据变化程度确定各调整后的遥感图像的解译结果在融合后解译结果中所占的权重；根据各权重对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到融合后解译结果。例如，旋转和缩放两种方式的解译结果合并中，可以设置原始遥感图像的解译结果权重为1，设置旋转后解译结果的权重为0.8，设置缩放后解译结果的权重为0.2，合并之后再做归一化处理得到融合后解译结果。还可以按照变化程度设置权重，例如，将与原始遥感图像相比变化了80％的遥感图像的解译结果权重设置为0.2，将将与原始遥感图像相比变化了20％的遥感图像的解译结果权重设置为0.8。根据权重合并的方式可以降低失真严重的图像对解译结果的影响，使训练数据的解译结果与原始数据的解译结果更接近，提高解译的准确性。

在本实施例的一些可选的实现方式中，各调整后的遥感图像较同一原始遥感图像的变化程度与各调整后的遥感图像的解译结果在融合后解译结果中所占权重正相关。变化程度可用百分比来衡量使得不同变化类型之间具有可比性。较原始遥感图像变化程度比较小，权重比较大，较原始遥感图像变化程度比较大的，权重比较小。权重与变化程度的关系可以是线性衰减或非线性衰减。

在本实施例的一些可选的实现方式中，基于以下至少一项确定各调整后的遥感图像较同一原始遥感图像的变化程度：对同一原始遥感图像进行裁剪后图像面积的变化率、对同一原始遥感图像进行旋转的角度与一预设角度值的比值、对同一原始遥感图像进行缩放的缩放比例、对同一原始遥感图像中各像素点进行色度调整的色度调整比例。例如，将原始遥感图像从图像选择框中向上移动出1/10后，图像面积的变化程度为10％，将原始遥感图像旋转72度后与预设角度值360相比的变化程度为20％、将原始遥感图像缩小0.5倍后变化程度为50％、将原始遥感图像中各像素点增加了30％的亮度，则变化程度为30％。

在本实施例的一些可选的实现方式中，在首次通过多层神经网络模型解译各原始遥感图像和各调整后的遥感图像之前，还包括训练多层神经网络模型的步骤；训练多层神经网络模型的步骤包括：将已标注的遥感图像数据作为训练数据训练多层神经网络模型；该方法还包括：响应于当前的多层神经网络模型不满足训练完成条件，继续执行训练多层神经网络模型的步骤。将原始遥感图像和/或各调整后的遥感图像加入训练样本数据，进行进一步训练。相当于对多层神经网络模型扩充更多弱监督的数据。

在本实施例的一些可选的实现方式中，训练完成条件包括以下至少一项：训练多层神经网络模型的训练次数达到预设的训练次数阈值；以及相邻两次训练中，多层神经网络模型的输出之间的损失值处于预设的容差范围之内。每次根据调整后的所有的遥感图像的解译结果调整多层神经网络模型称为一次训练。训练次数阈值设置的越大，则循环执行训练的次数越多，得到的多层神经网络模型的解译效果越好。损失值达到一定值之后继续训练多层神经网络模型时，损失值收敛的速度越来越慢，再继续训练该多层神经网络模型也收效甚微。因此设置一定的训练完成条件可以实现解译效果和训练时间的平衡，避免出现无限循环地训练该多层神经网络模型的情况。

继续参见图3，图3是根据本实施例的解译遥感图像的方法的应用场景的一个示意图。用户使用经标注的遥感图像301作为样本训练得到多层神经网络模型302。再分别将未标注的遥感图像303、旋转后得到的遥感图像A 304和缩放后得到的遥感图像B 305输入多层神经网络模型302进行解译，分别得到原始图像解译结果306、遥感图像A304的解译结果307和遥感图像B305的解译结果308，然后将所有解译结果融合后作为融合后解译结果输出。

进一步参考图4，作为对上述各图所示方法的实现，本申请提供了一种解译遥感图像的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图4所示，本实施例的解译遥感图像的装置400包括：调整单元401、解译单元402、融合单元403和训练单元404。其中，调整单元401用于调整至少一张原始遥感图像，得到相对各原始遥感图像有变化的至少一张调整后的遥感图像；解译单元402用于通过多层神经网络模型解译各原始遥感图像和各调整后的遥感图像，得到解译结果集，解译结果集包括对各原始遥感图像进行解译的解译结果和对与各原始遥感图像对应的各调整后的遥感图像进行解译的解译结果；融合单元403用于对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果；训练单元404用于基于各原始遥感图像的融合后解译结果调整多层神经网络模型的网络参数。

在本实施例中，解译遥感图像的装置400的调整单元401、解译单元402、融合单元403和训练单元404的具体处理可以参考图2对应实施例中的步骤201、步骤202、步骤203和步骤204。

在本实施例的一些可选的实现方式中，解译结果集和融合后解译结果包括：各张遥感图像中每个像素所属的目标类别信息。

在本实施例的一些可选的实现方式中，融合单元403进一步用于：融合解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果中每个像素属于目标类别的信息，得到原始遥感图像中每个像素属于目标类别的融合信息；根据原始遥感图像中每个像素属于目标类别的融合信息，确定各原始遥感图像的融合后解译结果。

在本实施例的一些可选的实现方式中，调整单元401进一步用于：对至少一张原始遥感图像进行裁剪，得到与各原始遥感图像对应的至少一张调整后的遥感图像；和/或对至少一张原始遥感图像进行旋转，得到与各原始遥感图像对应的至少一张调整后的遥感图像；和/或对至少一张原始遥感图像进行缩放，得到与各原始遥感图像对应的至少一张调整后的遥感图像；和/或对至少一张原始遥感图像的色彩进行调整，得到与各原始遥感图像对应的至少一张调整后的遥感图像。

在本实施例的一些可选的实现方式中，融合单元403进一步用于：确定解译结果集中同一原始遥感图像的解译结果的第一置信度，以及与原始遥感图像对应的各调整后的遥感图像的解译结果的第二置信度；以及基于第一置信度和第二置信度确定融合后解译结果。

在本实施例的一些可选的实现方式中，融合单元403进一步用于：确定各调整后的遥感图像较同一原始遥感图像的变化程度；根据变化程度确定各调整后的遥感图像的解译结果在融合后解译结果中所占的权重；根据各权重对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到融合后解译结果。

在本实施例的一些可选的实现方式中，各调整后的遥感图像较同一原始遥感图像的变化程度与各调整后的遥感图像的解译结果在融合后解译结果中所占权重正相关。

在本实施例的一些可选的实现方式中，基于以下至少一项确定各调整后的遥感图像较同一原始遥感图像的变化程度：对同一原始遥感图像进行裁剪后图像面积的变化率、对同一原始遥感图像进行旋转的角度与一预设角度值的比值、对同一原始遥感图像进行缩放的缩放比例、对同一原始遥感图像中各像素点进行色度调整的色度调整比例。

在本实施例的一些可选的实现方式中，训练单元404进一步用于：将已标注的遥感图像数据作为训练数据训练多层神经网络模型；并且响应于当前的多层神经网络模型不满足训练完成条件，继续基于各原始遥感图像的融合后解译结果调整多层神经网络模型的网络参数。

在本实施例的一些可选的实现方式中，训练完成条件包括以下至少一项：训练多层神经网络模型的训练次数达到预设的训练次数阈值；以及相邻两次训练中，多层神经网络模型的输出之间的损失值处于预设的容差范围之内。

本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图5，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备500的结构示意图：如图5所示，计算机系统500包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)501，和/或一个或多个图像处理器(GPU)513等，处理器可以根据存储在只读存储器(ROM)502中的可执行指令或者从存储部分508加载到随机访问存储器(RAM)503中的可执行指令而执行各种适当的动作和处理。通信部512可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，

处理器可与只读存储器502和/或随机访问存储器503中通信以执行可执行指令，通过总线504与通信部512相连、并经通信部512与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，调整至少一张原始遥感图像，得到相对各原始遥感图像有变化的至少一张调整后的遥感图像；通过多层神经网络模型解译各原始遥感图像和各调整后的遥感图像，得到解译结果集，解译结果集包括对各原始遥感图像进行解译的解译结果和对与各原始遥感图像对应的各调整后的遥感图像进行解译的解译结果；对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果；基于各原始遥感图像的融合后解译结果调整多层神经网络模型的网络参数。

此外，在RAM 503中，还可存储有装置操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。在有RAM503的情况下，ROM502为可选模块。RAM503存储可执行指令，或在运行时向ROM502中写入可执行指令，可执行指令使处理器501执行上述通信方法对应的操作。输入/输出(I/O)接口505也连接至总线504。通信部512可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

需要说明的，如图5所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明公开的保护范围。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，调整至少一张原始遥感图像，得到相对各原始遥感图像有变化的至少一张调整后的遥感图像；通过多层神经网络模型解译各原始遥感图像和各调整后的遥感图像，得到解译结果集，解译结果集包括对各原始遥感图像进行解译的解译结果和对与各原始遥感图像对应的各调整后的遥感图像进行解译的解译结果；对解译结果集中同一原始遥感图像的解译结果，以及与原始遥感图像对应的各调整后的遥感图像的解译结果进行融合，得到各原始遥感图像的融合后解译结果；基于各原始遥感图像的融合后解译结果调整多层神经网络模型的网络参数。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。

可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种解译遥感图像的方法，其特征在于，所述方法包括：

调整至少一张原始遥感图像，得到相对各所述原始遥感图像有变化的至少一张调整后的遥感图像；

通过多层神经网络模型解译各所述原始遥感图像和各所述调整后的遥感图像，得到解译结果集，所述解译结果集包括对各所述原始遥感图像进行解译的解译结果和对与各所述原始遥感图像对应的各所述调整后的遥感图像进行解译的解译结果；

对所述解译结果集中同一所述原始遥感图像的解译结果，以及与所述原始遥感图像对应的各所述调整后的遥感图像的解译结果进行融合，得到各所述原始遥感图像的融合后解译结果；

基于各所述原始遥感图像的融合后解译结果调整所述多层神经网络模型的网络参数。

2.根据权利要求1所述的方法，其特征在于，所述解译结果集和所述融合后解译结果包括：各张遥感图像中每个像素所属的目标类别信息。

3.根据权利要求1或2所述的方法，其特征在于，所述对所述解译结果集中同一所述原始遥感图像的解译结果，以及与所述原始遥感图像对应的各所述调整后的遥感图像的解译结果进行融合，得到各所述原始遥感图像的融合后解译结果，包括：

融合所述解译结果集中同一所述原始遥感图像的解译结果，以及与所述原始遥感图像对应的各所述调整后的遥感图像的解译结果中每个像素属于目标类别的信息，得到所述原始遥感图像中每个像素属于目标类别的融合信息；

根据所述原始遥感图像中每个像素属于目标类别的融合信息，确定各所述原始遥感图像的融合后解译结果。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述调整至少一张原始遥感图像，得到相对各所述原始遥感图像有变化的至少一张调整后的遥感图像，包括：

对至少一张原始遥感图像进行裁剪，得到与各所述原始遥感图像对应的至少一张调整后的遥感图像；和/或

对至少一张原始遥感图像进行旋转，得到与各所述原始遥感图像对应的至少一张调整后的遥感图像；和/或

对至少一张原始遥感图像进行缩放，得到与各所述原始遥感图像对应的至少一张调整后的遥感图像；和/或

对至少一张原始遥感图像的色彩进行调整，得到与各所述原始遥感图像对应的至少一张调整后的遥感图像。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述解译结果集中同一所述原始遥感图像的解译结果，以及与所述原始遥感图像对应的各所述调整后的遥感图像的解译结果进行融合，得到各所述原始遥感图像的融合后解译结果，包括：

确定所述解译结果集中同一所述原始遥感图像的解译结果的第一置信度，以及与所述原始遥感图像对应的各所述调整后的遥感图像的解译结果的第二置信度；以及

基于所述第一置信度和所述第二置信度确定所述融合后解译结果。

6.根据权利要求1-4任一项所述的方法，其特征在于，所述对所述解译结果集中同一所述原始遥感图像的解译结果，以及与所述原始遥感图像对应的各所述调整后的遥感图像的解译结果进行融合，得到各所述原始遥感图像的融合后解译结果，包括：

确定各所述调整后的遥感图像较同一所述原始遥感图像的变化程度；

根据所述变化程度确定各所述调整后的遥感图像的解译结果在所述融合后解译结果中所占的权重；

根据各所述权重对所述解译结果集中同一所述原始遥感图像的解译结果，以及与所述原始遥感图像对应的各所述调整后的遥感图像的解译结果进行融合，得到所述融合后解译结果。

7.根据权利要求6所述的方法，其特征在于，所述各所述调整后的遥感图像较同一所述原始遥感图像的变化程度与各所述调整后的遥感图像的解译结果在所述融合后解译结果中所占权重正相关。

8.根据权利要求6或7所述的方法，其特征在于，基于以下至少一项确定各所述调整后的遥感图像较同一所述原始遥感图像的变化程度：

对同一所述原始遥感图像进行裁剪后图像面积的变化率、对同一所述原始遥感图像进行旋转的角度与一预设角度值的比值、对同一所述原始遥感图像进行缩放的缩放比例、对同一所述原始遥感图像中各像素点进行色度调整的色度调整比例。

9.一种解译遥感图像的装置，其特征在于，所述装置包括：

调整单元，用于调整至少一张原始遥感图像，得到相对各所述原始遥感图像有变化的至少一张调整后的遥感图像；

解译单元，用于通过多层神经网络模型解译各所述原始遥感图像和各所述调整后的遥感图像，得到解译结果集，所述解译结果集包括对各所述原始遥感图像进行解译的解译结果和对与各所述原始遥感图像对应的各所述调整后的遥感图像进行解译的解译结果；

融合单元，用于对所述解译结果集中同一所述原始遥感图像的解译结果，以及与所述原始遥感图像对应的各所述调整后的遥感图像的解译结果进行融合，得到各所述原始遥感图像的融合后解译结果；

训练单元，用于基于各所述原始遥感图像的融合后解译结果调整所述多层神经网络模型的网络参数。

10.一种电子设备，其特征在于，包括：

存储器，存储可执行指令；

一个或多个处理器，与存储器通信以执行可执行指令从而完成以下操作：

调整至少一张原始遥感图像，得到相对各所述原始遥感图像有变化的至少一张调整后的遥感图像；

通过多层神经网络模型解译各所述原始遥感图像和各所述调整后的遥感图像，得到解译结果集，所述解译结果集包括对各所述原始遥感图像进行解译的解译结果和对与各所述原始遥感图像对应的各所述调整后的遥感图像进行解译的解译结果；

对所述解译结果集中同一所述原始遥感图像的解译结果，以及与所述原始遥感图像对应的各所述调整后的遥感图像的解译结果进行融合，得到各所述原始遥感图像的融合后解译结果；

基于各所述原始遥感图像的融合后解译结果调整所述多层神经网络模型的网络参数。