CN108229680A - 神经网络系统、遥感图像识别方法、装置、设备及介质 - Google Patents

Abstract

本申请实施方式公开了一种用于识别遥感图像的神经网络系统、遥感图像识别方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的神经网络系统包括：至少两个第一神经网络、共享神经网络以及至少一个第二神经网络；其中，所述至少两个第一神经网络中每个第一神经网络的输出端分别与所述共享神经网络的输入端连接，所述共享神经网络的输出端与所述至少一个第二神经网络中每个第二神经网络的输入端连接。

Description

神经网络系统、遥感图像识别方法、装置、设备及介质

技术领域

本申请涉及计算机视觉技术，尤其是涉及一种用于识别遥感图像的神经网络系统、遥感图像识别方法、遥感图像识别装置、计算机程序、计算机可读存储介质以及电子设备。

背景技术

随着深度学习技术在图像识别、目标检测以及图像分割等方面不断取得的突破性进展，神经网络已经被应用于遥感图像识别领域中。

由于不同卫星在拍摄遥感图像时，所采用的波段以及分辨率等参数的不同，会导致遥感图像的数据分布规律相差较大，因此，利用卫星A的样本训练集中的图像样本训练出的神经网络，在对卫星B拍摄的遥感图像进行图像识别时，其表现往往较差。

发明内容

本申请实施方式提供一种用于实现遥感图像识别的技术方案。

根据本申请实施方式的其中一方面，提供了一种用于识别遥感图像的神经网络系统，所述神经网络系统包括：至少两个第一神经网络、共享神经网络以及至少一个第二神经网络；其中，所述至少两个第一神经网络中每个第一神经网络的输出端分别与所述共享神经网络的输入端连接，所述共享神经网络的输出端与所述至少一个第二神经网络中每个第二神经网络的输入端连接。

在本申请一实施方式中，所述第一神经网络用于从输入的待识别遥感图像中提取初始图像特征；所述共享神经网络用于根据所述第一神经网络输入的所述初始图像特征，得到图像特征，并将得到的所述图像特征提供至所述至少一个第二神经网络；所述第二神经网络用于根据所述共享神经网络提供的图像特征，确定所述遥感图像的识别结果。

在本申请又一实施方式中，所述至少两个第一神经网络中的不同第一神经网络输入的遥感图像具有不同的参数特性；和/或，所述至少两个第一神经网络中的不同第一神经网络具有不同的网络参数。

在本申请再一实施方式中，所述至少两个第一神经网络中的不同第一神经网络对应来自不同卫星的遥感图像。

在本申请再一实施方式中，所述至少一个第二神经网络具体为多个第二神经网络，并且所述至少两个第一神经网络的不同第一神经网络对应于所述多个第二神经网络中的不同第二神经网络。

在本申请再一实施方式中，所述至少两个第一神经网络中不同的第一神经网络具有相同的层结构；和/或，所述至少一个第二神经网络中不同的第二神经网络具有相同的层结构。

在本申请再一实施方式中，所述第一神经网络和所述第二神经网络中的至少一个包括：至少一个卷积层和至少一个激活层；或者，所述第一神经网络和所述第二神经网络中的至少一个包括：至少一个批规范化BN层、至少一个激活层以及至少一个卷积层。

在本申请再一实施方式中，所述至少两个第一神经网络中的不同第一神经网络输出的初始图像特征具有相同的行、列以及通道数，不同第一神经网络输出的初始图像特征中的任一相同通道所对应的语义相同。

在本申请再一实施方式中，所述共享神经网络包括：卷积神经网络。

在本申请再一实施方式中，所述用于识别遥感图像的神经网络系统是利用多个遥感图像样本集进行协作训练得到的；其中，所述至少两个第一神经网络中的不同第一神经网络对应的遥感图像样本集对应于不同的卫星。

在本申请再一实施方式中，第一遥感图像样本集中包括的遥感图像样本的数量远大于第二遥感图像样本集中包括的遥感图像样本的数量，其中，所述多个遥感图像样本集包括所述第一遥感图像样本集和第二遥感图像样本集。

在本申请再一实施方式中，所述神经网络系统是通过同时利用不同遥感图像样本集中的遥感图像样本对各第一神经网络、共享神经网络和各第二神经网络进行训练得到的；或者，所述神经网络系统是通过交替利用不同遥感图像样本集中的遥感图像样本对各第一神经网络、共享神经网络和各第二神经网络进行训练得到的。

在本申请再一实施方式中，所述训练的过程包括：将第一遥感图像样本输入到与所述第一遥感图像样本对应的第一神经网络，得到第一初始图像特征，并将第二遥感图像样本输入到与所述第二遥感图像样本对应的第一神经网络，得到第二初始图像特征，其中，所述第一遥感图像样本和所述第二遥感图像样本属于不同的遥感图像样本集；将包括所述第一初始图像特征和所述第二初始图像特征的初始图像特征输入至所述共享神经网络中，得到包括所述第一遥感图像样本的第一图像特征和所述第二遥感图像样本的第二图像特征的图像特征；将所述第一图像特征输入至与所述第一遥感图像样本对应的第二神经网络，得到所述第一遥感图像样本的识别结果，并将所述第二图像特征输入至与所述第二遥感图像样本对应的第二神经网络，得到所述第二遥感图像样本的识别结果；根据所述第一识别结果、所述第一遥感图像样本的标注信息、所述第二识别结果和所述第二遥感图像样本的标注信息，调整与所述第一遥感图像样本对应的第一神经网络和第二神经网络、与所述第二遥感图像样本对应的第一神经网络和第二神经网络以及所述共享神经网络的参数。

在本申请再一实施方式中，所述训练的过程包括：利用所述第一遥感图像样本集中的遥感图像样本对所述第一遥感图像样本集对应的第一神经网络和第二神经网络以及所述共享神经网络进行训练；将所述第二遥感图像样本集中的遥感图像样本依次经过与所述第二遥感图像样本集对应的第一神经网络、训练后的所述共享神经网络以及与所述第二遥感图像样本集对应的第二神经网络进行处理，得到所述遥感图像样本的识别结果；根据所述遥感图像样本的识别结果和标注信息，对所述第二遥感图像样本集对应的第一神经网络和所述第二神经网络的参数进行调整，得到训练后的与所述第二遥感图像样本集对应的第一神经网络和第二神经网络。

根据本申请实施方式的其中另一个方面，提供了一种遥感图像识别方法，该方法包括：将待识别遥感图像输入至用于识别遥感图像的神经网络系统的至少两个第一神经网络中的与待处理遥感图像对应的第一神经网络，经由所述对应的第一神经网络从所述待识别遥感图像中提取初始图像特征；将所述初始图像特征输入至所述神经网络系统的共享神经网络中，经由所述共享神经网络根据所述初始图像特征形成图像特征；将所述图像特征输入至所述神经网络系统的至少一个第二神经网络中与所述待识别遥感图像对应的第二神经网络中，经由所述对应的第二神经网络对所述图像特征进行分类处理，形成所述待识别遥感图像的识别结果。

在本申请一实施方式中，所述至少两个第一神经网络中的不同第一神经网络输入的遥感图像具有不同的参数特性；和/或，所述至少两个第一神经网络中的不同第一神经网络具有不同的网络参数。

在本申请又一实施方式中，所述至少两个第一神经网络中的不同第一神经网络对应来自不同卫星的遥感图像。

在本申请再一实施方式中，所述至少一个第二神经网络具体为多个第二神经网络，并且所述至少两个第一神经网络的不同第一神经网络对应于所述多个第二神经网络中的不同第二神经网络。

在本申请再一实施方式中，所述至少两个第一神经网络中不同的第一神经网络具有相同的层结构；和/或，所述至少一个第二神经网络中不同的第二神经网络具有相同的层结构。

在本申请再一实施方式中，所述第一神经网络和所述第二神经网络中的至少一个包括：至少一个卷积层和至少一个激活层；或者，所述第一神经网络和所述第二神经网络中的至少一个包括：至少一个批规范化BN层、至少一个激活层以及至少一个卷积层。

在本申请再一实施方式中，所述至少两个第一神经网络中的不同第一神经网络输出的初始图像特征具有相同的行、列以及通道数，不同第一神经网络输出的初始图像特征中的任一相同通道所对应的语义相同。

在本申请再一实施方式中，所述共享神经网络包括：卷积神经网络。

在本申请再一实施方式中，所述方法还包括：利用多个遥感图像样本集对所述神经网络系统进行协作训练；其中，所述至少两个第一神经网络中的不同第一神经网络对应的遥感图像样本集对应于不同的卫星。

在本申请再一实施方式中，第一遥感图像样本集中包括的遥感图像样本的数量远大于第二遥感图像样本集中包括的遥感图像样本的数量，其中，所述多个遥感图像样本集包括所述第一遥感图像样本集和第二遥感图像样本集。

在本申请再一实施方式中，训练所述神经网络系统的过程包括：同时利用不同遥感图像样本集中的遥感图像样本对各第一神经网络、共享神经网络和各第二神经网络进行训练；或者，交替利用不同遥感图像样本集中的遥感图像样本对各第一神经网络、共享神经网络和各第二神经网络进行训练。

在本申请再一实施方式中，所述同时利用不同遥感图像样本集中的遥感图像样本对各第一神经网络、共享神经网络和各第二神经网络进行训练包括：将第一遥感图像样本输入到与所述第一遥感图像样本对应的第一神经网络，得到第一初始图像特征，并将第二遥感图像样本输入到与所述第二遥感图像样本对应的第一神经网络，得到第二初始图像特征，其中，所述第一遥感图像样本和所述第二遥感图像样本属于不同的遥感图像样本集；将包括所述第一初始图像特征和所述第二初始图像特征的初始图像特征输入至所述共享神经网络中，得到包括所述第一遥感图像样本的第一图像特征和所述第二遥感图像样本的第二图像特征的图像特征；将所述第一图像特征输入至与所述第一遥感图像样本对应的第二神经网络，得到所述第一遥感图像样本的识别结果，并将所述第二图像特征输入至与所述第二遥感图像样本对应的第二神经网络，得到所述第二遥感图像样本的识别结果；根据所述第一识别结果、所述第一遥感图像样本的标注信息、所述第二识别结果和所述第二遥感图像样本的标注信息，调整与所述第一遥感图像样本对应的第一神经网络和第二神经网络、与所述第二遥感图像样本对应的第一神经网络和第二神经网络以及所述共享神经网络的参数。

在本申请再一实施方式中，所述交替利用不同遥感图像样本集中的遥感图像样本对各第一神经网络、共享神经网络和各第二神经网络进行训练包括：利用所述第一遥感图像样本集对所述第一遥感图像样本集对应的第一神经网络和第二神经网络以及所述共享神经网络进行训练；将所述第二遥感图像样本集中的遥感图像样本依次经过与所述第二遥感图像样本集对应的第一神经网络、训练后的所述共享神经网络以及与所述第二遥感图像样本集对应的第二神经网络进行处理，得到所述遥感图像样本的识别结果；根据所述遥感图像样本的识别结果和标注信息，对所述第二遥感图像样本集对应的第一神经网络和所述第二神经网络的参数进行调整，得到训练后的与所述第二遥感图像样本集对应的第一神经网络和第二神经网络。

根据本申请实施方式的其中再一个方面，提供了一种遥感图像识别装置，且该装置包括：初始处理模块，用于将待识别遥感图像输入至用于识别遥感图像的神经网络系统的至少两个第一神经网络中的与待处理遥感图像对应的一个第一神经网络，经由所述对应的第一神经网络从待处理遥感图像中提取初始图像特征；共享处理模块，用于将所述初始图像特征输入至所述神经网络系统的共享神经网络中，经由所述共享神经网络根据所述初始图像特征形成图像特征；输出处理模块，用于将所述图像特征输入至所述神经网络系统包括的至少一个第二神经网络中与所述将待识别遥感图像对应的第二神经网络中，经由所述对应的第二神经网络对所述图像特征进行分类处理，形成待识别遥感图像的识别结果。

在本申请一实施方式中，所述装置还包括：训练模块，用于利用多个遥感图像样本集对所述用于识别遥感图像的神经网络系统进行协作训练；其中，所述至少两个第一神经网络中的不同第一神经网络对应的遥感图像样本集对应于不同的卫星。

在本申请又一实施方式中，所述训练模块包括：第一训练单元，用于同时利用不同遥感图像样本集中的遥感图像样本对各第一神经网络、共享神经网络和各第二神经网络进行训练；或者，第二训练单元，用于交替利用不同遥感图像样本集中的遥感图像样本对各第一神经网络、共享神经网络和各第二神经网络进行训练。

在本申请再一实施方式中，所述第一训练单元具体用于：将第一遥感图像样本输入到与所述第一遥感图像样本对应的第一神经网络，得到第一初始图像特征，并将第二遥感图像样本输入到与所述第二遥感图像样本对应的第一神经网络，得到第二初始图像特征，其中，所述第一遥感图像样本和所述第二遥感图像样本属于不同的遥感图像样本集；将包括所述第一初始图像特征和所述第二初始图像特征的初始图像特征输入至所述共享神经网络中，得到包括所述第一遥感图像样本的第一图像特征和所述第二遥感图像样本的第二图像特征的图像特征；将所述第一图像特征输入至与所述第一遥感图像样本对应的第二神经网络，得到所述第一遥感图像样本的识别结果，并将所述第二图像特征输入至与所述第二遥感图像样本对应的第二神经网络，得到所述第二遥感图像样本的识别结果；根据所述第一识别结果、所述第一遥感图像样本的标注信息、所述第二识别结果和所述第二遥感图像样本的标注信息，调整与所述第一遥感图像样本对应的第一神经网络和第二神经网络、与所述第二遥感图像样本对应的第一神经网络和第二神经网络以及所述共享神经网络的参数。

在本申请再一实施方式中，所述第二训练单元具体用于：利用所述第一遥感图像样本集对所述第一遥感图像样本集对应的第一神经网络和第二神经网络以及所述共享神经网络进行训练；将所述第二遥感图像样本集中的遥感图像样本依次经过与所述第二遥感图像样本集对应的第一神经网络、训练后的所述共享神经网络以及与所述第二遥感图像样本集对应的第二神经网络进行处理，得到所述遥感图像样本的识别结果；根据所述遥感图像样本的识别结果和标注信息，对所述第二遥感图像样本集对应的第一神经网络和所述第二神经网络的参数进行调整，得到训练后的与所述第二遥感图像样本集对应的第一神经网络和第二神经网络。

根据本申请实施方式的再一个方面，提供了一种电子设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现本申请任一实施方式的遥感图像识别方法。

根据本申请实施方式的再一个方面，提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本申请任一实施方式的遥感图像识别方法。

根据本申请实施方式的再一个方面，提供了一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现本申请任一实施方式的遥感图像识别方法。

根据本申请实施例的再一个方面，提供的一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的遥感图像识别方法。

在一个可选实施方式中，所述计算机程序产品具体为计算机存储介质，在另一个可选实施方式中，所述计算机程序产品具体为软件产品，例如SDK等。

根据本申请实施例的再一个方面，提供了一种遥感图像识别方法，包括：第一装置向第二装置发送遥感图像识别指示，该指示使得第二装置执行上述任一可能的实施方式中的遥感图像识别方法；第一装置接收第二装置发送的识别结果。

基于本申请提供的一种用于识别遥感图像的神经网络系统、遥感图像识别方法、遥感图像识别装置、电子设备、计算机程序以及计算机可读存储介质，本申请通过从具有不同参数的遥感图像(如待识别遥感图像以及遥感图像样本等)提取出分类掩膜的过程中抽离出共有的部分，形成共享神经网络，并针对不同的部分形成多个第一神经网络及至少一个第二神经网络，使用于识别遥感图像的神经网络系统可以呈现出分-总的结构或者分-总-分的结构，从而有利于提高用于识别遥感图像的神经网络系统的可适用性。

下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。

附图说明

构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：

图1为本申请的用于识别遥感图像的神经网络系统的一个实施方式的结构示意图；

图2为本申请的用于识别遥感图像的神经网络系统的另一个实施方式的结构示意图；

图3为本申请的遥感图像识别方法的一个实施方式的流程图；

图4为本申请的训练神经网络系统的一个实施方式的流程图；

图5为本申请的训练神经网络系统的一个实施方式的示意图；

图6为本申请的训练神经网络系统的另一个实施方式的流程图；

图7为本申请的遥感图像识别装置的一个实施方式示意图；

图8为实现本申请实施方式的一示例性设备的框图；

图9为本申请的一个应用场景示意图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施方式。应该注意到：除非另外具体说明，否则在这些实施方式中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施方式的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

本申请实施方式可以应用于计算机系统/服务器，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。

计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或者远程计算系统存储介质上。

示例性实施例

本申请提供的用于实现遥感图像识别的技术方案可以由单片机、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、微处理器、智能移动电话、笔记型计算机、平板电脑、台式计算机或者服务器等能够运行计算机程序(也可以称为程序代码)的电子设备实现，且该计算机程序可以存储于闪存、缓存、硬盘或者光盘等计算机可读存储介质中。

在一个可选示例中，本申请的用于实现遥感图像识别的技术方案可以针对来自不同卫星的具有不同参数的遥感图像进行云雪水等目标的识别处理。

下面结合图1至图8对本申请提供的用于实现遥感图像识别的技术方案进行说明。

图1为本申请的用于实现遥感图像识别的神经网络系统的结构示意图。

如图1所示，本实施方式的用于实现遥感图像识别的神经网络系统可以包括：至少两个第一神经网络100(图1中仅示意性的示出了两个第一神经网络100)、一个共享神经网络110以及至少一个第二神经网络120(图1中示意性的示出了两个第二神经网络120)。

在一个可选示例中，每一个第一神经网络100的输出端均与共享神经网络110的输入端连接，每一个第二神经网络120的输入端均与共享神经网络110的输出端连接。由此可知，无论是待处理遥感图像，还是用于训练神经网络的遥感图像样本，均可以从其中一个第一神经网络100的输入端进入到用于实现遥感图像识别的神经网络中，并经由相应的第一神经网络100、共享神经网络110以及其中一个第二神经网络120的顺序处理之后，由其中一个第二神经网络120输出遥感图像识别结果。

在一个可选示例中，每一个第一神经网络100各自对应一种参数规格(或参数特性)的遥感图像，其中，作为一个可选的例子，由于不同卫星的光学传感器不同，因此，不同卫星所摄取到的遥感图像所具有的分辨率、波段数量、波段中心波长以及波段带宽等参数并不完全相同，相应地，这里的参数规格可以包括分辨率、波段数量、波段中心波长以及波段带宽中的任意一项或多项，本申请实施例对遥感图像的参数规格中包括的具体参数类型不作限定。

可选地，不同的第一神经网络对应的参数规格可以相同或不相同，例如，该至少两个第一神经网络中的至少一个第一神经网络对应于第一参数规格的遥感图像，并且该至少两个第一神经网络中的另外至少一个第一神经网络对应于不同于第一参数规格的第二参数规格的遥感图像，等等，本申请实施例对此不做限定。为了便于描述，下文中以不同的第一神经网络100所对应的遥感图像的参数规格不相同为例进行描述。

在一个或多个可选例子中，不同参数规格的遥感图像可以来自于不同的卫星，相应地，可以针对不同的卫星设置不同的第一神经网络100。

一个具体的例子如图2所示，卫星A所摄取到的遥感图像通常会被划分为尺寸较小的多个遥感图像，例如，被划分多个为1025(宽)×1025(高)×4(如基于RGB的3通道和一个近红外通道)的遥感图像，而卫星B所摄取到的遥感图像同样会被划分为多个尺寸较小的遥感图像，例如，被划分为多个1025(宽)×1025(高)×5(如基于RGB的3通道和两个近红外通道)的遥感图像，本申请可以针对卫星A设置第一神经网络A1，针对卫星B设置第一神经网络B1，从而1025×1025×4的待处理遥感图像会被输入至第一神经网络A1中，由第一神经网络A1对1025×1025×4的待处理遥感图像进行处理，1025×1025×5的待处理遥感图像会被输入至第一神经网络B1中，由第一神经网络B1对1025×1025×5的待处理遥感图像进行处理。当然，在两个不同的卫星所摄取到的遥感图像具有相同的参数规格的情况下，本申请可以使这两个不同的卫星对应同一个第一神经网络100。

需要特别说明的是，本申请中的输入至不同的第一神经网络100中的遥感图像的宽和高通常是相同的，即输入至不同的第一神经网络的遥感图像具有相同的行和相同的列。例如，输入至不同的第一神经网络100中的遥感图像的宽和高均为1025×1025，再例如，输入至不同的第一神经网络100中的遥感图像的宽和高均为513×513。另外，输入至各第一神经网络100中的遥感图像通常是针对相应的卫星所形成的大尺寸的遥感图像进行裁切而获得的小尺寸的遥感图像。

在一个可选示例中，每一个第一神经网络100所包含的层结构可以根据实际需求设置，即每一个第一神经网络100所包含的层的数量以及层类型(如卷积层等)可以根据实际需求设置，一个可选的例子，每一个第一神经网络100均可以包括一个或者多个卷积层，一个卷积层可以对应设置有激活层，也可以对应设置有BN(Batch Normalization，批量标准化)层以及激活层，该激活层所使用的激活函数可以是Relu(Rectified Linear Units，修正线性单元)激活函数(即Relu层)、Sigmoid激活函数(即Sigmoid层)、Tanh激活函数(即Tanh层)、Leaky-ReLU激活函数(即Leaky-ReLU层)、P-ReLU激活函数(即P-ReLU层)、R-ReLU激活函数(即R-ReLU层)或者Maxout激活函数(即Maxout层)等。如图2所示，第一神经网络A1和第一神经网络B1均包含有至少两个串联连接的卷积层，且每一卷积层均对应设置有BN层以及Relu层。

在本申请实施例中，不同的第一神经网络可以具有不同的网络参数。在一个可选例子中，不同的第一神经网络可以具有不同的层结构，或者，不同的第一神经网络可以具有相同的层结构但是至少一层的层函数不同，等等，本申请实施例对此不做限定。

在一个可选示例中，本申请中的不同的第一神经网络100所具有的层结构可以是相同的，即每一个第一神经网络100所包含的层的数量以及层类型是相同的，例如，每一个第一神经网络100均包括3个或者4个串联连接的卷积层，且每一卷积层均对应设置有BN层和Relu层。然而，这并不表示位于不同第一神经网络100中的相同层的超参数(如通道数等)也必须相同，通常情况下，位于不同第一神经网络100中的相同层的超参数会存在区别。当然，本申请并不排除不同的第一神经网络100所具有的层结构不相同的情况。本申请不限制不同的第一神经网络100的层结构的具体表现形式。

在一个可选示例中，每一个第一神经网络100可以用于从输入其中的待处理遥感图像中提取初始图像特征。每一个第一神经网络100提取出的初始图像特征可以被作为共享神经网络110的输入信息提供给共享神经网络110。可选地，本申请中的不同的第一神经网络100提供给共享神经网络110的初始图像特征具有相同的规范(即符合相同的规范)，例如，不同的第一神经网络100提供给共享神经网络110的初始图像特征具有相同的宽和高以及通道数，而且可选地，不同第一神经网络100所输出的初始图像特征中的任一相同位置处的图像特征的任一相同通道的语义相同，即不同第一神经网络100所输出的初始图像特征中的任一相同位置处的图像特征的任一相同通道具有相同的物理含义。一个可选的例子，不同第一神经网络100均输出513×513×32的初始图像特征，即不同第一神经网络100所输出的初始图像特征的宽和高均为513，通道数均为32，同时，针对初始图像特征中的任一相同通道所表示的语义相同，如第1通道均表示第1语义，第2通道均表示第2语义，……以及第32通道均表示第32语义。

在一个可选示例中，共享神经网络110的输入信息是第一神经网络100的输出信息，共享神经网络110的输出信息是第二神经网络120的输入信息。共享神经网络110主要用于根据第一神经网络100输出的初始图像特征形成图像特征。相对于初始图像特征而言，共享神经网络110所形成的图像特征具有更丰富的语义。另外，共享神经网络110所形成的图像特征的宽和高可以小于初始图像特征的宽和高，而通道数可以多于初始图像特征的通道数；例如，共享神经网络110可以根据第一神经网络100输出的513×513×32的初始图像特征，形成129×129×64的图像特征。当然，本申请并不排除共享神经网络110所形成的图像特征的宽和高不小于初始图像特征的宽和高的可能性。

在一个可选示例中，本申请中的共享神经网络110可以具体为卷积神经网络(如图2中的ConvNet)，例如，该卷积神经网络至少包括多个串联起来的卷积层等。共享神经网络110中的每一卷积层同样可以对应设置有激活层，或者对应设置有BN层以及激活层。该激活层可以具体为Relu层、Sigmoid层、Tanh层、Leaky-ReLU层、P-ReLU层、R-ReLU层或者Maxout层等。在一个或多个可选实施例中，共享神经网络110所包含的卷积层的数量大于任一第一神经网络100或者任一第二神经网络120所包含的卷积层的数量。本申请不限制共享神经网络110的结构的具体表现形式。

可选地，该神经网络系统可以包括一个第二神经网络。此时，从不同参数规格的遥感图像中提取的图像特征可以采用同一个第二神经网络进行处理。或者，该神经网络系统也可以包括多个第二神经网络系统，其中，每一个第二神经网络120对应一种参数规格的遥感图像，并且不同第二神经网络120所对应的遥感图像的参数规格可以相同或不相同。例如，该多个第一神经网络中的至少一个第二神经网络对应于第一参数规格的遥感图像，并且该多个第二神经网络中的另外至少一个第二经网络对应于不同于第一参数规格的第二参数规格的遥感图像，等等，本申请实施例对此不做限定。一种参数规格的遥感图像其数据的概率分布往往会存在差异，有时会存在较大差异，因此采用不同的分类方式对遥感图像的图像特征进行分类处理有利于提高遥感图像的识别精度。

为了便于描述，下文中以不同的第二神经网络所对应的遥感图像的参数规格不相同为例进行描述。

续前例，如图2所示，在从卫星A所摄取到的遥感图像中裁切出1025×1025×3的遥感图像，而从卫星B所摄取到的遥感图像中裁切出1025×1025×5的遥感图像的情况下，本申请可以针对卫星A设置第二神经网络A2，针对卫星B设置第二神经网络B2，1025×1025×3的待处理遥感图像会被输入至第一神经网络A1中，由第一神经网络A1从1025×1025×3的待处理遥感图像中提取513×513×32的初始图像特征，由共享神经网络110根据该初始图像特征形成129×129×64的图像特征后，被输入至第二神经网络A2中，由第二神经网络A2对129×129×64的图像特征进行处理；1025×1025×5的待处理遥感图像会被输入至第一神经网络B1中，由第二神经网络B1从1025×1025×3的待处理遥感图像中提取513×513×32的初始图像特征，由共享神经网络110根据该初始图像特征形成129×129×64的图像特征后，被输入至第二神经网络B2中，由第二神经网络B2对129×129×64的图像特征进行处理。

当然，在两个不同的卫星所摄取到的遥感图像具有相同的参数规格的情况下，本申请可以使这两个不同的卫星对应同一个第二神经网络120。另外，在两个不同的卫星所摄取到的遥感图像所具有的参数规格不相同的情况下，本申请同样可以使这两个不同的卫星对应同一个第二神经网络120。

在一个可选示例中，每一个第二神经网络120所包含的层结构可以根据实际需求设置，即每一个第二神经网络120所包含的层的数量以及层类型(如卷积层等)可以根据实际需求设置，一个可选的例子，每一个第二神经网络120均可以包括一个或者多个卷积层，每一卷积层均可以设置有激活层，或者每一卷积层均可以设置有BN层以及激活层。该激活层可以具体为Relu层、Sigmoid层、Tanh层、Leaky-ReLU层、P-ReLU层、R-ReLU层或者Maxout层等。一个可选的例子如图2所示，第二神经网络A2和第二神经网络B2均包含有至少两个串联连接的卷积层，且每一卷积层均对应设置有BN层以及Relu层。另外，每一个第二神经网络120均可以包含有全连接层，如图2中的两个FC(全连接)层可以分别属于第二神经网络A2和第二神经网络B2。

在一个可选示例中，本申请中的不同的第二神经网络120所具有的层结构可以是相同的，即每一个第二神经网络120所包含的层的数量以及层类型是相同的，例如，每一个第二神经网络120均包括3个或者4个串联连接的对应设置有BN层和Relu层的卷积层。当然，本申请并不排除不同的第二神经网络120所具有的层结构不相同的情况。本申请不限制不同的第二神经网络120的层结构的具体表现形式。

在一个可选示例中，本申请中的每一个第二神经网络120均可以相当于一个分类器，第二神经网络120主要用于对输入其中的图像特征进行分类处理，从而形成相应的待处理遥感图像的分类掩膜，该分类掩膜可以为云雪掩膜或者云雪水掩膜等。本申请不限制第二神经网络120输出的分类掩膜的具体表现形式。

在本申请中，该至少两个第一神经网络和该至少一个第二神经网络可以存在对应关系，其中，该对应关系可以是一对多、一对一或多对一的对应关系。例如，在图2所示的例子中，该至少两个第一神经网络和该至少一个第二神经网络的个数相同，并且该至少两个第一神经网络和至少两个第二神经网络一一对应。再例如，该至少一个第二神经网络的个数为一个，相应地，该至少两个第一神经网络对应于相同的第二神经网络。再例如，该至少两个第一神经网络中的部分第一神经网络对应该至少一个第二神经网络中的一个或多个第二神经网络，本申请实施例对此不做限定。

在一个可选例子中，存在对应关系的第一神经网络和第二神经网络属于同一个神经网络子系统，这样，该神经网络系统可以包括至少两个神经网络子系统，其中，神经网络子系统包括第一神经网络、共享神经网络和第二神经网络。可选地，每个神经网络子系统包括的第一神经网络的个数可以为一个或多个，每个神经网络子系统包括的第二神经网络的个数可以为一个或多个，并且不同的神经网络子系统具有不同的网络参数。可选地，不同的神经网络子系统可以包括不同的第一神经网络，但本申请实施例不限于此。

如果针对不同卫星设置不同的神经网络进行遥感图像识别，不仅需要对大量的遥感图像进行标注，以形成相应的样本训练集，还需要利用相应的样本训练集对不同的神经网络进行训练。通过本申请实施例提供的神经网络系统，通过将至少两个第一神经网络连接共享神经网络，在对该神经网络系统进行训练时，利用具有不同参数特性的遥感图像样本均可以实现对共享神经网络的训练，从而不仅可以避免针对每一种参数特性均需要进行大量的分类掩膜标注，以针对每一种参数特性均需要形成大量的遥感图像样本，而且还可以避免需要利用不同的训练样本集中包括的大量遥感图像样本分别对对应于不同参数特性的不同的神经网络系统进行训练。由此可知，本申请提供的技术方案不仅有利于降低神经网络系统的训练成本，而且有利于提高神经网络系统的可适用性。

应理解，图2所示的例子仅为了帮助本申请实施例提供的技术方案，而不应理解成对本申请的限定。

本申请实施例利用神经网络系统进行遥感图像识别的过程可以参见下文对图3所示例子的描述。本申请实施例对神经网络系统进行训练的过程可以参见下文对图4、图5以及图6所示例子的描述。

图3为本申请的遥感图像识别方法的一个实施方式的流程图。图3中的遥感图像识别方法主要包括：S300、S310以及S320。下面对图3中的各个步骤分别进行说明。

S300、将待识别遥感图像输入至用于识别遥感图像的神经网络系统的至少两个第一神经网络中的与待处理遥感图像对应的第一神经网络，经由对应的第一神经网络从待识别遥感图像中提取初始图像特征。

在一个可选示例中，每一个第一神经网络各自对应一种参数规格的待识别遥感图像，不同第一神经网络所对应的待识别遥感图像的参数规格不相同。在一种实施方式中，可以认为每一个第一神经网络对应一个卫星，本申请可以根据待识别遥感图像来自的卫星，将待识别遥感图像输入至相应的第一神经网络中。

在一个可选示例中，本申请中的不同的第一神经网络从相应的待识别遥感图像中提取出的初始图像特征具有相同的规范(即符合相同的规范)，例如，不同的第一神经网络提取出的初始图像特征具有相同的宽和高以及通道数，而且，不同的第一神经网络所提取出的初始图像特征中的任一相同位置处的图像特征的任一相同通道的语义相同，即不同第一神经网络所提取出的初始图像特征中的任一相同位置处的图像特征的任一相同通道具有相同的物理含义。

S310、将初始图像特征输入至神经网络系统的共享神经网络中，经由共享神经网络根据初始图像特征形成图像特征。

在一个可选示例中，相对于第一神经网络所提取出的初始图像特征而言，共享神经网络根据初始图像特征形成的图像特征具有更丰富的语义。另外，可选地，共享神经网络所形成的图像特征的宽和高分别可以小于初始图像特征的宽和高，而通道数可以多于初始图像特征的通道数。当然，本申请并不排除共享神经网络110所形成的图像特征的宽和高不小于初始图像特征的宽和高的可能性。

S320、将图像特征输入至神经网络系统的至少一个第二神经网络中与待识别遥感图像对应的第二神经网络中，经由对应的第二神经网络对图像特征进行分类处理，形成待识别遥感图像的识别结果。

在一个可选示例中，在本申请设置有多个第二神经网络的情况下，本申请可以将图像特征输入至多个第二神经网络中的与待识别遥感图像对应的第二神经网络。本申请中的每一个第二神经网络各自对应一种参数规格的遥感图像，不同第二神经网络对应的遥感图像的参数规格可以相同或不相同。在一种实施方式中，可以认为每一个第二神经网络对应一个卫星，本申请可以根据待识别遥感图像来自的卫星，将待识别遥感图像的图像特征输入至相应的第二神经网络中。

在一个可选示例中，本申请中的每一个第二神经网络均可以相当于一个分类器，经由第二神经网络对图像特征的分类处理所形成的待识别遥感图像的分类掩膜可以为云雪掩膜或者云雪水掩膜等。本申请不限制第二神经网络通过对图像特征进行分类形成分类掩膜的具体实现方式。

在一个可选示例中，本申请中的用于识别遥感图像的神经网络系统是利用多个遥感图像样本集进行协作训练得到的。通常情况下，不同的遥感图像样本集对应不同的第一神经网络，且不同的遥感图像样本集对应不同的卫星。另外，不同的遥感图像样本集中的遥感图像样本的数量可以存在较大差异，例如，预先设置有多个遥感图像样本集，这多个遥感图像样本集包括第一遥感图像样本集和第二遥感图像样本集，且第一遥感图像样本集中包括的遥感图像样本的数量远大于(例如，至少为两倍)第二遥感图像样本集中包括的遥感图像样本的数量，但本申请实施例对此不做限定。

在一个或多个可选示例中，本申请中的神经网络系统可以是通过同时利用不同遥感图像样本集中的遥感图像样本对各第一神经网络、共享神经网络和各第二神经网络进行训练得到的。

在一个或多个可选示例中，本申请中的神经网络系统也可以是通过交替利用不同遥感图像样本集中的遥感图像样本对各第一神经网络、共享神经网络和各第二神经网络进行训练得到的。下面结合附图对本申请的训练神经网络系统的方法进行说明。

图4为本申请的用于识别遥感图像的神经网络系统的训练方法的一个实施方式的流程图。

图4中，本实施方式的训练方法主要包括：S400、S410、S420、S430以及S440。

S400、获取每一个第一神经网络对应的至少一个遥感图像样本。

在一个可选示例中，每一个第一神经网络对应一个遥感图像样本集，遥感图像样本集中包括多个带有标注信息(如分类掩膜标注信息)的遥感图像样本，本申请可以根据预先设定的批数量(batch size)从每一个遥感图像样本集中分别选取相应数量的遥感图像样本。一个可选的例子，图5中，卫星A对应遥感图像样本集A，卫星B对应遥感图像样本集B，在预先设定的batch size为8时，从遥感图像样本集A中随机或者顺序选取8个遥感图像样本，从遥感图像样本集B中随机或者顺序选取8个遥感图像样本。

需要特别说明的是，本申请针对每一个第一神经网络所选取的遥感图像样本的数量可以相同，也可以不同。本申请可以根据不同第一神经网络所对应的遥感图像样本集包含的遥感图像样本的实际数量确定针对每一个第一神经网络所选取的遥感图像样本的数量，例如，如果遥感图像样本集A所包含的遥感图像样本的数量远远大于遥感图像样本集B所包含的遥感图像样本的数量(即遥感图像样本集B仅包含少量的遥感图像样本)，则在一次迭代过程中，本申请从遥感图像样本集A中选取的遥感图像样本的数量可以多于从遥感图像样本集B中选取的遥感图像样本的数量。

S410、将各遥感图像样本分别输入至相应的第一神经网络，经由各第一神经网络从各遥感图像样本中分别提取初始图像特征。

在一个可选示例中，如图5所示，本申请可以将从遥感图像样本集A中选取出的各遥感图像样本(例如，第1-第8遥感图像样本，共8个遥感图像样本)分别输入第一神经网络A1中，将从遥感图像样本集B中选取出的各遥感图像样本(例如，第9-第16遥感图像样本，共8个遥感图像样本)分别输入第一神经网络B1中，由第一神经网络A1分别提取其接收到的各遥感图像样本(例如，第1-第8遥感图像样本)的初始图像特征，由第一神经网络B1分别提取其接收到的各遥感图像样本(例如，第9-第16遥感图像样本)的初始图像特征。

S420、将各遥感图像样本的初始图像特征输入至共享神经网络中，经由共享神经网络根据各初始图像特征形成各遥感图像样本的图像特征。

在一个可选示例中，各遥感图像样本的初始图像特征合并在一起输入至共享神经网络中，由共享神经网络根据合并在一起的初始图像特征形成一个合并在一起的图像特征；例如，图5中的第一神经网络A1输出的8个遥感图像样本的初始图像特征和第一神经网络B1输出的8个遥感图像样本的初始图像特征合并(Concat along batch)后，形成16个遥感图像样本的初始图像特征，合并在一起的16个遥感图像样本的初始图像特征输入至共享神经网络(Conv Net)中，由共享神经网络根据合并在一起的16个遥感图像样本的初始图像特征形成一个合并在一起的图像特征。

S430、将各遥感图像样本的图像特征分别输入至相应的第二神经网络，经由第二神经网络对相应的图像特征进行分类处理，形成相应的遥感图像样本的识别结果(如遥感图像样本的分类掩膜)。

在一个可选示例中，本申请会对合并在一起的图像特征进行分割，形成每一个第二神经网络的输入信息，由各第二神经网络分别对其接收到的图像特征进行分类处理，从而形成相应的遥感图像样本的识别结果(如遥感图像样本的分类掩膜)。一个可选的例子如图5所示，本申请可以将共享神经网络输出的图像特征进行分割(即图5中的Slice alongbatch)，从而获得第1-第8遥感图像样本的图像特征以及第9-第16遥感图像样本的图像特征，本申请会将第1-第8遥感图像样本的图像特征输入至第二神经网络A2中，将第9-第16遥感图像样本的图像特征输入至第二神经网络B2中，由第二神经网络A2对第1-第8遥感图像样本的图像特征进行分类处理，形成第1-第8遥感图像样本的分类掩膜并输出，由第二神经网络B2对第9-第16遥感图像样本的图像特征进行分类处理，形成第9-第16遥感图像样本的分类掩膜，并输出。

S440、以各遥感图像样本的标注信息(如分类掩膜标注信息)为指导信息，经由损失函数，基于后向传播方式，对各第一神经网络、共享神经网络以及各第二神经网络进行训练，以降低第二神经网络输出的遥感图像样本的识别结果(如分类掩膜)与相应的标注信息(如分类掩膜标注信息)之间的差异。也就是说，基于各遥感图像样本的标注信息(如分类掩膜标注信息)以及每一个第二神经网络输出的识别结果(如分类掩膜)，经由损失函数对各第一神经网络、共享神经网络以及各第二神经网络进行训练。

在一个可选示例中，本申请中的每一个第二神经网络对应有各自的损失函数，每一个损失函数针对与其对应的第二神经网络输出的分类掩膜以及相应的遥感图像样本的分类掩膜标注信息进行计算，可以得到相应的第二神经网络、共享神经网络以及相应的第一神经网络在当前网络参数(例如，权重等)下的预测损失，进而通过向后传播方式，可以计算出相应的第二神经网络、共享神经网络以及相应的第一神经网络的网络参数在当前遥感图像样本下的梯度，从而基于优化算法(例如，随机梯度下降法或Adam等)更新相应的第二神经网络、共享神经网络以及相应的第一神经网络的网络参数，以对相应的第二神经网络、共享神经网络及相应的第一神经网络进行训练。如图5中，第二神经网络A2对应损失函数A(即图5中的loss A)，而第二神经网络B2对应损失函数B(即图5中的loss B)，损失函数A根据第二神经网络A2输出的第1-第8遥感图像样本的分类掩膜以及第1-第8遥感图像样本的分类掩膜标注信息进行计算，该计算结果用于对第二神经网络A2、共享神经网络以及第一神经网络A1进行训练，损失函数B根据第二神经网络B2输出的第9-第16遥感图像样本的分类掩膜以及第9-第16遥感图像样本的分类掩膜标注信息进行计算，该计算结果用于对第二神经网络B2、共享神经网络以及第一神经网络B1进行训练。

上述从S400-S440为一次迭代过程中的训练操作，经过多次迭代后，会使各第二神经网络输出的分类掩膜分别与相应的遥感图像样本的分类掩膜标注信息非常接近，在接近程度符合预定要求的情况下，完成对用于识别遥感图像的神经网络系统的训练。

由上述描述可知，本申请可以利用多来源的遥感图像样本集对用于识别遥感图像的神经网络系统进行训练，由于多来源的遥感图像样本集具有训练样本多且数据分布广等特点，因此，本申请有利于促使训练成功的神经网络在遥感图像样本集之外具有较好的表现。由于共享神经网络的结构通常比第一神经网络以及第二神经网络的结构复杂，而不同来源的遥感图像样本集中的遥感图像样本均可以对共享神经网络进行训练，从而本申请可以避免使每一个遥感图像样本集都需要包含有大量的遥感图像样本，以保证能够对用于识别遥感图像的神经网络系统进行充分训练的现象；因此，本申请能够有效减少针对遥感图像设置标注信息(如分类掩膜标注信息等)的工作量以及对神经网络进行训练的时间，从而有利于降低神经网络的训练成本。

图6为本申请的用于识别遥感图像的神经网络系统的训练方法的另一个实施方式的流程图。

图6中，本实施方式的训练方法主要包括：S600、S610、S620、S630以及S640。

S600、获取任一第一神经网络对应的至少一个遥感图像样本。

在一个可选示例中，每一个第一神经网络对应一个遥感图像样本集，遥感图像样本集中包括多个带有分类掩膜标注信息的遥感图像样本，本申请可以根据预先设定的批数量从一个遥感图像样本集中选取相应数量的遥感图像样本。一个可选例子，图5中，卫星A对应遥感图像样本集A，卫星B对应遥感图像样本集B，在预先设定的batch size为8时，可以从遥感图像样本集A或者遥感图像样本集B中随机或者顺序选取8个遥感图像样本。

需要特别说明的是，本申请可以在多次迭代过程中，交替的从不同的遥感图像样本集中选取遥感图像样本，例如，在第一次迭代过程中，从遥感图像样本集A中选取8个遥感图像样本，在第二次迭代过程中，从遥感图像样本集B中选取8个遥感图像样本，在第三次迭代过程中，从遥感图像样本集A中选取8个遥感图像样本，……，以此类推，直到对用于识别遥感图像的神经网络系统成功训练。当然，本申请也可以以其中一个或者多个遥感图像样本集为主，对用于识别遥感图像的神经网络系统进行训练，例如，如果遥感图像样本集A所包含的遥感图像样本的数量远远大于遥感图像样本集B所包含的遥感图像样本的数量(即遥感图像样本集B仅包含少量的遥感图像样本)，则在多次迭代过程中，本申请可以主要从遥感图像样本集A中选取的遥感图像样本，并穿插着从遥感图像样本集B中选取遥感图像样本。

S610、将各遥感图像样本输入至多个第一神经网络中的与遥感图像样本对应的一个第一神经网络，经由该第一神经网络从各遥感图像样本中分别提取初始图像特征。

图5中，在本次迭代过程中，如果本申请是从遥感图像样本集A中选取的遥感图像样本(例如，从遥感图像样本集A中选取第1-第8遥感图像样本)，则本申请将各遥感图像样本输入第一神经网络A1中，由第一神经网络A1提取其接收到的各遥感图像样本的初始图像特征(例如，第1-第8遥感图像样本的初始图像特征)。在本次迭代过程中，如果本申请是从遥感图像样本集B中选取的遥感图像样本(例如，从遥感图像样本集B中选取出第9-第16遥感图像样本)，则本申请将各遥感图像样本输入第一神经网络B1中，由第一神经网络B1提取其接收到的各遥感图像样本的初始图像特征(例如，第9-第16遥感图像样本的初始图像特征)。

S620、将各遥感图像样本的初始图像特征输入至共享神经网络中，经由共享神经网络根据初始图像特征形成各遥感图像样本的图像特征。

续前例，图5中的第一神经网络A1输出的8个遥感图像样本的初始图像特征或者第一神经网络B1输出的8个遥感图像样本的初始图像特征被输入至共享神经网络(Conv Net)中，由共享神经网络根据其接收到的8个遥感图像样本的初始图像特征形成图像特征。

S630、将各遥感图像样本的图像特征分别输入至多个第二神经网络中的与遥感图像样本对应的一个第二神经网络，经由第二神经网络对各图像特征进行分类处理，形成各遥感图像样本的识别结果(如各遥感图像样本的分类掩膜)。

续前例，在各遥感图像样本的图像特征为第1-第8遥感图像样本的图像特征的情况下，本申请可以将第1-第8遥感图像样本的图像特征输入至第二神经网络A2中，由第二神经网络A2对第1-第8遥感图像样本的图像特征进行分类处理，形成第1-第8遥感图像样本的分类掩膜，并输出；在各遥感图像样本的图像特征为第9-第16遥感图像样本的图像特征的情况下，本申请可以将第9-第16遥感图像样本的图像特征输入至第二神经网络B2中，由第二神经网络B2对第9-第16遥感图像样本的图像特征进行分类处理，形成第9-第16遥感图像样本的分类掩膜，并输出。

S640、以各遥感图像样本的标注信息(如分类掩膜标注信息)为指导信息，经由损失函数，基于后向传播方式，对上述第一神经网络、共享神经网络以及上述第二神经网络进行训练，以降低第二神经网络输出的遥感图像样本的识别结果(如分类掩膜)与相应的标注信息(如分类掩膜标注信息)之间的差异。即基于各遥感图像样本的标注信息(如分类掩膜标注信息)以及第二神经网络输出的识别结果(如分类掩膜)，经由损失函数对共享神经网络以及遥感图像样本对应的第一神经网络和第二神经网络进行训练。

续前例，在第二神经网络A2输出的分类掩膜为第1-第8遥感图像样本的分类掩膜的情况下，第二神经网络A2对应的损失函数A根据第1-第8遥感图像样本的分类掩膜以及第1-第8遥感图像样本的分类掩膜标注信息进行计算，可以得到第二神经网络A2、共享神经网络以及第一神经网络A1在当前网络参数下的预测损失，进而通过向后传播方式，可以计算出第二神经网络A2、共享神经网络以及第一神经网络A1的网络参数在当前遥感图像样本下的梯度，从而基于优化算法(例如，随机梯度下降法或者Adam等)更新第二神经网络A2、共享神经网络以及第一神经网络A1的网络参数，以对第二神经网络A2、共享神经网络以及第一神经网络A1进行训练。在第二神经网络B2输出的分类掩膜为第9-第16遥感图像样本的分类掩膜的情况下，第二神经网络B2对应的损失函数B根据第9-第16遥感图像样本的分类掩膜以及第9-第16遥感图像样本的分类掩膜标注信息进行计算，可以得到第二神经网络B2、共享神经网络以及第一神经网络B1在当前网络参数下的预测损失，进而通过向后传播方式，可以计算出第二神经网络B2、共享神经网络以及第一神经网络B1的网络参数在当前遥感图像样本下的梯度，从而基于优化算法(例如，随机梯度下降法或者Adam等)更新第二神经网络B2、共享神经网络以及第一神经网络B1的网络参数，以对第二神经网络B2、共享神经网络以及第一神经网络B1进行训练。

上述从S600-S640为一次迭代过程中的训练操作，经过多次迭代后，会使各第二神经网络输出的分类掩膜分别与相应的遥感图像样本的分别掩膜标注信息非常接近，在接近程度符合预定要求的情况下，成功完成对用于识别遥感图像的神经网络系统的训练。

需要特别说明的是，图4至图6所示的例子仅为了帮助本申请实施例提供的技术方案，而不应理解成对本申请的限定。本申请还可以采用除了上述例举的两种训练方法之外的其他训练方法对用于识别遥感图像的神经网络系统进行训练，例如，上述S400可以变化为获取部分第一神经网络(如两个或三个第一神经网络)各自对应的至少一个遥感图像样本。本申请不再一一举例说明。

图7为本申请的遥感图像识别装置的一个实施例的结构示意图。如图7所示，该实施例的装置包括：初始处理模块700、共享处理模块710以及输出处理模块720。可选的，该装置还可以包括：训练模块730。

初始处理模块700用于将待识别遥感图像输入至用于识别遥感图像的神经网络系统的多个第一神经网络中的与待处理遥感图像对应的一个第一神经网络，经由第一神经网络从待处理遥感图像中提取初始图像特征。初始处理模块700执行的具体操作如上述针对S300的描述，在此不再详细说明。

共享处理模块710用于将初始图像特征输入至用于识别遥感图像的神经网络系统的共享神经网络中，经由共享神经网络根据所述初始图像特征形成图像特征。共享处理模块710执行的具体操作如上述针对S310的描述，在此不再详细说明。

输出处理模块720用于将图像特征输入至用于识别遥感图像的神经网络系统的第二神经网络中，经由第二神经网络对图像特征进行分类处理，形成待识别遥感图像的识别结果。输出处理模块720执行的具体操作如上述针对S320的描述，在此不再详细说明。

训练模块730用于利用多个遥感图像样本集对用于识别遥感图像的神经网络系统进行协作训练。

训练模块730可以包括第一训练单元以及第二训练单元中的至少一个。

第一训练单元用于同时利用不同遥感图像样本集中的遥感图像样本对各第一神经网络、共享神经网络和各第二神经网络进行训练；例如：

首先，第一训练单元将第一遥感图像样本输入到与第一遥感图像样本对应的第一神经网络，得到第一初始图像特征；第一训练单元将第二遥感图像样本输入到与第二遥感图像样本对应的第一神经网络，得到第二初始图像特征，第一遥感图像样本和第二遥感图像样本属于不同的遥感图像样本集。

其次，第一训练单元将包括第一初始图像特征和第二初始图像特征的初始图像特征输入至共享神经网络中，得到包括第一遥感图像样本的第一图像特征和第二遥感图像样本的第二图像特征的图像特征。

再次，第一训练单元将第一图像特征输入至与第一遥感图像样本对应的第二神经网络，得到第一遥感图像样本的识别结果，并将第二图像特征输入至与第二遥感图像样本对应的第二神经网络，得到第二遥感图像样本的识别结果。

最后，根据第一识别结果、第一遥感图像样本的标注信息、第二识别结果和第二遥感图像样本的标注信息，调整与第一遥感图像样本对应的第一神经网络和第二神经网络、与第二遥感图像样本对应的第一神经网络和第二神经网络以及共享神经网络的参数。

第二训练单元用于交替利用不同遥感图像样本集中的遥感图像样本对各第一神经网络、共享神经网络和各第二神经网络进行训练；例如：

首先，第二训练单元利用第一遥感图像样本集对第一遥感图像样本集对应的第一神经网络和第二神经网络以及共享神经网络进行训练；

其次，第二训练单元将第二遥感图像样本集中的遥感图像样本依次经过与第二遥感图像样本集对应的第一神经网络、训练后的共享神经网络以及与第二遥感图像样本集对应的第二神经网络进行处理，得到遥感图像样本的识别结果。

最后，第二训练单元根据遥感图像样本的识别结果和标注信息，对第二遥感图像样本集对应的第一神经网络和第二神经网络的参数进行调整，得到训练后的与第二遥感图像样本集对应的第一神经网络和第二神经网络。

第一训练单元执行的具体操作如上述针对图4的描述，在此不再详细说明。第二训练单元执行的具体操作如上述针对图6的描述，在此不再详细说明。

示例性设备

图8示出了适于实现本申请的示例性设备800，设备800可以是移动终端(例如，智能移动电话等)、个人计算机(PC，例如，台式计算机或者笔记型计算机等)、平板电脑以及服务器等。图8中，设备800包括一个或者多个处理器、通信部等，所述一个或者多个处理器可以为：一个或者多个中央处理单元(CPU)801，和/或，一个或者多个图像处理器(GPU)813等，处理器可以根据存储在只读存储器(ROM)802中的可执行指令或者从存储部分808加载到随机访问存储器(RAM)803中的可执行指令而执行各种适当的动作和处理。通信部812可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器802和/或随机访问存储器830中通信以执行可执行指令，通过总线804与通信部812相连、并经通信部812与其他目标设备通信，从而完成本申请方法实施例中的相应步骤。

此外，在RAM 803中，还可以存储有装置操作所需的各种程序以及数据。CPU801、ROM802以及RAM803通过总线804彼此相连。在有RAM803的情况下，ROM802为可选模块。RAM803存储可执行指令，或在运行时向ROM802中写入可执行指令，可执行指令使中央处理单元801执行上述方法实施例所包括的步骤。输入/输出(I/O)接口805也连接至总线804。通信部812可以集成设置，也可以设置为具有多个子模块(例如，多个IB网卡)，并分别与总线连接。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装在存储部分808中。

需要特别说明的是，如图8所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图8的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如，GPU和CPU可分离设置，再如理，可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或GPU上等。这些可替换的实施方式均落入本申请的保护范围。

特别地，根据本申请的实施方式，下文参考流程图描述的过程可以被实现为计算机软件程序，例如，本申请实施方式包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的步骤的程序代码，程序代码可包括对应执行本申请的各方法实施例中的步骤的指令。

在这样的实施方式中，该计算机程序可以通过通信部分809从网络上被下载及安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请中记载的上述指令。

在一个或多个可选实施方式中，本发明实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的遥感图像识别方法。

该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

在一个或多个可选实施方式中，本发明实施例还提供了一种遥感图像识别方法及其对应的装置和电子设备、计算机存储介质、计算机程序以及计算机程序产品，其中，该方法包括：第一装置向第二装置发送遥感图像识别指示，该指示使得第二装置执行上述任一可能的实施例中的遥感图像识别方法；第一装置接收第二装置发送的识别结果。

在一些实施例中，该遥感图像识别指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行遥感图像的识别，相应地，响应于接收到调用指令，第二装置可以执行上述遥感图像识别方法中的任意实施例中的步骤和/或流程。

参考图9，示意性地示出了根据本申请实施方式的可以在其中实现的一个应用场景。

图9中，神经网络系统900为能够针对输入的遥感图像获得分类掩膜(如云雪掩膜或者云雪水掩膜等)的神经网络系统。用于训练神经网络系统900的遥感图像样本集有多个，例如，遥感图像样本集A、遥感图像样本集B、……以及遥感图像样本集X等。所有遥感图像样本集对应多个卫星，不同的遥感图像样本集通常对应不同的卫星。每一个遥感图像样本集中均包含有多个遥感图像样本，且每一个遥感图像样本集所包含的遥感图像样本的数量通常并不相同。每一个遥感图像样本集中的每一个遥感图像样本均具有标注信息，该标注信息可以包括：分类掩膜标注信息。在基于所有遥感图像样本集中的多个遥感图像样本利用本申请的上述技术方案对神经网络系统900进行训练后，可以方便快捷的使神经网络系统900学习到针对不同卫星的遥感图像进行准确识别分类掩膜的能力，从而不仅有利于降低用于识别遥感图像的神经网络系统的训练成本，而且有利于提高用于识别遥感图像的神经网络系统的可适用性。

然而，本领域技术人员完全可以理解，本申请实施方式的适用场景不受到该框架任何方面的限制。

应理解，本公开实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本公开实施例的限定。

还应理解，在本公开中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。

还应理解，对于本公开中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。

还应理解，本公开对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。

可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。

本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施方式是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (10)

1.一种用于识别遥感图像的神经网络系统，其特征在于，所述神经网络系统包括：

至少两个第一神经网络、共享神经网络以及至少一个第二神经网络；其中，所述至少两个第一神经网络中每个第一神经网络的输出端分别与所述共享神经网络的输入端连接，所述共享神经网络的输出端与所述至少一个第二神经网络中每个第二神经网络的输入端连接。

2.根据权利要求1所述的神经网络系统，其特征在于：

所述第一神经网络用于从输入的待识别遥感图像中提取初始图像特征；

所述共享神经网络用于根据所述第一神经网络输入的所述初始图像特征，得到图像特征，并将得到的所述图像特征提供至所述至少一个第二神经网络；

所述第二神经网络用于根据所述共享神经网络提供的图像特征，确定所述遥感图像的识别结果。

3.根据权利要求1至2中任一项所述的神经网络系统，其特征在于：

所述至少两个第一神经网络中的不同第一神经网络输入的遥感图像具有不同的参数特性；和/或

所述至少两个第一神经网络中的不同第一神经网络具有不同的网络参数。

4.根据权利要求1至3中任一项所述的神经网络系统，其特征在于，所述至少两个第一神经网络中的不同第一神经网络对应来自不同卫星的遥感图像。

5.根据权利要求1至4中任一项所述的神经网络系统，其特征在于，所述至少一个第二神经网络具体为多个第二神经网络，并且所述至少两个第一神经网络的不同第一神经网络对应于所述多个第二神经网络中的不同第二神经网络。

6.一种遥感图像识别方法，其特征在于，所述方法包括：

将待识别遥感图像输入至用于识别遥感图像的神经网络系统的至少两个第一神经网络中的与待处理遥感图像对应的第一神经网络，经由所述对应的第一神经网络从所述待识别遥感图像中提取初始图像特征；

将所述初始图像特征输入至所述神经网络系统的共享神经网络中，经由所述共享神经网络根据所述初始图像特征形成图像特征；

将所述图像特征输入至所述神经网络系统的至少一个第二神经网络中与所述待识别遥感图像对应的第二神经网络中，经由所述对应的第二神经网络对所述图像特征进行分类处理，形成所述待识别遥感图像的识别结果。

7.一种遥感图像识别装置，其特征在于，所述装置包括：

初始处理模块，用于将待识别遥感图像输入至用于识别遥感图像的神经网络系统的至少两个第一神经网络中的与待处理遥感图像对应的一个第一神经网络，经由所述对应的第一神经网络从待处理遥感图像中提取初始图像特征；

共享处理模块，用于将所述初始图像特征输入至所述神经网络系统的共享神经网络中，经由所述共享神经网络根据所述初始图像特征形成图像特征；

输出处理模块，用于将所述图像特征输入至所述神经网络系统包括的至少一个第二神经网络中与所述将待识别遥感图像对应的第二神经网络中，经由所述对应的第二神经网络对所述图像特征进行分类处理，形成待识别遥感图像的识别结果。

8.一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述存储器中存储的计算机程序，且所述计算机程序被执行时，实现上述权利要求6所述的遥感图像识别方法。

9.一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现上述权利要求6所述的遥感图像识别方法。

10.一种计算机程序，包括计算机指令，当所述计算机指令在设备的处理器中运行时，实现上述权利要求6所述的遥感图像识别方法。