CN113505627A - 遥感数据处理方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例提供一种遥感数据处理方法、装置、电子设备和存储介质，该方法包括：借助目标检测模型的第一接口输入待检测遥感图像，同时再借助目标检测模型的第二接口输入与待检测遥感图像对应的其他遥感信息。其中，遥感图像能够描述目标物体的部分信息，比如纹理信息，而其他遥感信息用于描述目标物体不能体现在遥感图像中的其他信息，比如深度信息。而通过上述方法，目标检测模型借助不同的接口，同时使用不同类型的数据，即遥感图像及其对应的其他遥感信息进行目标检测，从而保证目标检测的准确性。

Description

遥感数据处理方法、装置、电子设备和存储介质

技术领域

本发明涉及遥感图像处理领域，尤其涉及一种遥感数据处理方法、装置、电子设备和存储介质。

背景技术

遥感可以通过人造地球卫星、航空等平台上的遥测仪器来对地球表面实施感应遥测。通过得到的遥感图像可以进行资源管理和检测。一种常见的资源监测场景为：对土地覆盖的检测，也即是检测出土地是森林、空旷土地、耕地、水域、工厂、商业区等。利用检测结果，可以实现对森林砍伐进行跟踪，也可以为城市规划提供参考。

一种常见的方式为使用目标检测模型对遥感图像进行目标检测，以根据检测结果实现对遥感图像的分析，则保证目标检测的准确性就显得十分重要。

发明内容

本发明实施例提供一种遥感数据处理方法、装置、电子设备和存储介质，用以保证目标检测的准确性。

第一方面，本发明实施例提供一种遥感数据处理方法，包括：

借助目标检测模型的第一接口，输入待检测遥感图像；

借助所述目标检测模型的第二接口，输入所述待检测遥感图像对应的其他遥感信息；

根据所述待检测遥感图像和所述其他遥感信息，输出所述待检测遥感图像是否包含目标物体的检测结果。

第二方面，本发明实施例提供一种遥感数据处理装置，包括：

输入模块，用于借助目标检测模型的第一接口，输入待检测遥感图像；以及借助所述目标检测模型的第二接口，输入所述待检测遥感图像对应的其他遥感信息；

输出模块，用于根据所述待检测遥感图像和所述其他遥感信息，输出所述待检测遥感图像是否包含目标物体的检测结果。

第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的遥感数据处理方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的遥感数据处理方法。

本发明提供的遥感数据处理方法，借助目标检测模型的第一接口输入待检测遥感图像，同时借助目标检测模型的第二接口输入与待检测遥感图像对应的其他遥感信息。其中，遥感图像和其他遥感信息能够分别描述待检测遥感图像中物体不同维度的信息，比如遥感图像能够描述目标物体的纹理信息，其他遥感信息能够描述目标物体的高度信息。最终，目标检测模型同时根据遥感图像和其他遥感信息进行目标检测。在上述方法中，目标检测模型借助多个接口，可以实现不同类型遥感数据的同时输入，从而最终保证目标检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种遥感数据处理方法的流程图；

图2为本发明实施例提供的另一种遥感数据处理方法的流程图；

图3为本发明实施例提供的又一种遥感数据处理方法的流程图；

图4为本发明实施例提供的一种遥感数据处理装置的结构示意图；

图5为与图4所示实施例提供的遥感数据处理装置对应的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式。除非上下文清楚地表示其他含义，“多个”一般包含至少两个。

取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。

下面结合以下的实施例对本文提供的遥感数据处理方法进行详细介绍。下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。另外，在各实施例之间不冲突的情况下，下述各实施例及各实施例中的特征可以相互组合。

图1为本发明实施例提供的一种遥感数据处理方法的流程图。该遥感数据处理方法可以由诸如检测装置，此检测装置具体可以为具有数据处理能力的电子设备，比如服务器。如图1所示，该方法可以包括如下步骤：

S101，借助目标检测模型的第一接口，输入待检测遥感图像。

借助目标检测模型提供的第一接口，将待检测遥感图像输入目标检测模型。可选地，第一接口可以通过预设的第一读取函数实现待检测遥感图像的输入。其中，待检测遥感图像中包含预设波段范围的光谱信息，待检测遥感图像能够描述图像中物体的纹理。

S102，借助目标检测模型的第二接口，输入待检测遥感图像对应的其他遥感信息。

同时，借助目标检测模型提供的第二接口，还可以将与待检测遥感图像对应的其他遥感信息输入目标检测模型。可选地，第二接口可以通过预设的第二读取函数实现其他遥感信息的输入。可选地，其他遥感信息能够描述待检测遥感图像中物体的高度信息。其他遥感信息可以包括高程信息、不能在待检测遥感图像中体现的其他波段的光谱信息中的至少一种。

其中，待检测遥感图像和其他遥感信息可以同时被遥感仪器采集到。并且二者分别用于描述物体不同维度的信息，二者可以认为是不同类型的遥感数据。

需要说明的有，在上述描述中，目标检测模型的第一接口用于输入待检测遥感图像，第二接口用于输入其他遥感信息。但在实际中，目标检测模型提供的各接口均支持不同类型遥感数据的输入，并不限定于步骤101～步骤102中的输入方式。

S103，根据遥感图像和模型其他遥感信息，输出待检测遥感图像是否包含目标物体的检测结果。

最终，目标检测模型同时根据不同类型的遥感数据进行目标物体的检测。由于不同类型的遥感数据能够描述物体不同维度的信息，因此，能够更加准确地检测出待检测遥感图像中是否包含目标物体。

其中，目标检测输出的检测结果可以包括待检测遥感图像中包含目标服务的概率值以及目标物体在待检测遥感图像中的位置。从显示角度来说，在待检测遥感图像中，目标物体所在的位置会用预设形状的至少一个预测框标注出来。常用的预测框为矩形框，同时还会显示此预测框对应的概率值。

本实施例中，借助目标检测模型的第一接口输入待检测遥感图像，同时借助目标检测模型的第二接口输入与待检测遥感图像对应的其他遥感信息。其中，遥感图像和其他遥感信息能够分别描述待检测遥感图像中物体不同维度的信息。最终，目标检测模型同时根据遥感图像和其他遥感信息进行目标检测。在上述方法中，目标检测模型借助多个接口，可以实现不同类型遥感数据的同时输入，从而最终保证目标检测的准确性。

在图1所示的实施例的基础上，结合目标检测模型的具体结构对目标检测过程进行描述。则图2为本发明实施例提供的另一种遥感数据处理方法的流程图。如图2所示，该方法可以包括如下步骤：

S201，借助第一接口，将待检测遥感图像输入目标检测模型，以由目标检测模型中的特征提取层提取待检测遥感图像的至少一种尺寸的特征图。

在本实施中，目标检测模型可以包括至少一个特征提取层以及至少一个预测层。其中，预测层与特征提取层一一对应。

基于上述模型结构，目标检测模型的至少一个特征提取层可以对待检测遥感图像进行卷积计算，以得到至少一种尺寸的特征图。

举例来说，目标检测模型可以包括特征提取层1、特征提取层2和特征提取层3，则特征提取层1对输入的待检测遥感图像信息卷积计算，以得到第一尺寸的特征图1。类似地，特征提取层2再对特征图1进行卷积计算，以得到第二尺寸的特征图2。特征提取层3再对特征图2进行卷积计算，以得到第三尺寸的特征图3。并且特征图1～特征图3的尺寸依次减小。

S202，借助目标检测模型的第二接口，输入待检测遥感图像对应的其他遥感信息。

同时，目标检测模型还可以借助第二接口获取与待检测遥感图像对应的其他遥感图像。目标检测模型不会对输入的待检测遥感图像对应的其他遥感信息进行处理，即其他遥感信息会原样地被目标检测模型中的预测层获取到。

S203，根据其他遥感信息和目标特征图，由目标检测模型中的目标预测层输出检测结果，目标检测模型包含的特征提取层与预测层一一对应，目标特征图为至少一种尺寸的特征图中的任一特征图，目标预测层与提取目标特征图的特征提取层对应。

最终，目标检测模型中的目标预测层可以分别根据目标特征图以及待检测遥感图像对应的其他遥感信息进行目标的检测。其中，目标特征图可以是至少一个尺寸的特征图中的任一特征图。且目标检测层与提取目标特征图的特征提取层对应。在目标检测根据每张特征图和其他遥感信息进行目标检测后，即可得到最终的检测结果。

继续承接上述举例，目标检测模型可以包括预测层1、预测层2和预测层3。预测层1用于根据特征图1以及待检测遥感图像对应的其他遥感信息进行目标检测，得到待检测遥感图像中存在目标物体的第一概率以及目标物体在待检测遥感图像中的第一位置。类似的，预测层2根据特征图2和其他遥感信息进行目标检测，得到待检测遥感图像中存在目标物体的第二概率以及目标物体在待检测遥感图像中的第二位置；预测层3根据特征图3和其他遥感信息进行目标检测，得到待检测遥感图像中存在目标物体的第三概率以及目标物体在待检测遥感图像中的第三位置。

在最终的检测结果中，待检测遥感图像中可以包含至少一个预测框，用以表明目标物体在待检测遥感图像中的位置。并且检测结果中预测框的数量与目标检测模型中特征提取层、预测层的数量成倍数关系。

按照上述方式，检测结果中的至少一个预测框都会展示给用户。但为了使检测结果更加清晰、明了，一种可选地方式，可以根据预设阈值，将概率值大于预设阈值的预测框显示出来。其中，在模型训练过程中，可以根据目标检测模型检测的目标物体的类型，确定模型的召回率和误判率，再根据此召回率和误判率反推上述的预设阈值。

而另一种可选地方式，也可以直接将最高概率值对应的预测框作为最终的预测结果，展示在待检测遥感图像中。

另外，本实施例未详细描述的内容可参见图1所示实施例中的相关描述，在此不再赘述。

本实施例中，借助第一接口，可以使目标检测模型中的特征提取层对待检测遥感图像进行特征提取，以得到特征图；又借助第二接口，又可以使目标检测模型中的预测层根据特征图以及待检测遥感图像对应的其他遥感信息进行目标检测。使用不同维度的数据进行目标检测，从而保证检测结果的准确性。

容易理解的，目标检测模型检测的准确性是最需要被关注的，则为例保证目标检测模型检测的准确性，图3为本发明实施例提供的又一种遥感数据出方法的流程图，此方法也可以认为是目标检测模型的训练方法。如图3所示，该方法可以包括如下步骤：

S301，借助目标检测模型的第一接口，将包含目标物体的遥感图像作为正样本输入目标检测模型。

S302，借助目标检测模型的第二接口，将不包含目标物体的遥感图像作为负样本输入目标检测模型。

目标检测模型用于检测待检测遥感图像中是否包含目标物体，因此，可以收集包含目标物体的遥感图像并将其作为正样本，同时收集不包含目标物体的遥感图像并将其作为负样本。同时还可以人工将正样本中目标物体所在的位置标注出来。之后，将正、负样本作为训练样本，将标注的目标物体在正样本中的位置作为监督信息进行目标检测模型的训练。

其中，正、负样本的数量比可以为预设比例。并且需要说明的有，根据在遥感图像中的大小可以将遥感图像中的物体划分为大物体和小物体。在实际中，运动场、道路上的汽车等可以划分为小物体，森林、化工厂等可以划分为大物体。若正样本中包括的目标物体属于大物体，则输入模型的正、负样本的数量具有第一预设比例；若目标物体为小物体，则输入模型的正、负样本的数量具有第二预设比例。

需要说明的还有，本实施例中的负样本不是根据正样本中不包含目标物体的图像区域生成的，而是收集到的、且其中包含的物体在形状上与目标物体具有一定相似度的遥感图像。也正是由于正、负样本各自包含物体之间的相似性，才能够在模型训练过程中，使负样本对正样本产生一定的干扰作用，从而提高训练出的目标检测模型检测目标物体的准确性。

举例来说，正样本中包含的目标物体可以是田径场，此时相应的，负样本中包含的物体可以是与田径场形状相似的足球场、立交桥等等。

S303，根据正样本和负样本各自的损失值，调整目标检测模型的模型参数。

最终，根据正、负样本各自的损失值对目标检测模型的模型参数进行调节，从而完成模型训练。

可选地，综合考虑目标检测模型的收敛速度以及模型的检测准确性，在分别借助不同接口将正、负样本输入目标检测模型，得到正、负样本各自的损失值后，若负样本的损失值大于预设阈值，则可以调整负样本的损失值，具体来说是调小负样本的损失值。然后，再根据调小后的损失值以及正样本的损失值，调整目标检测模型的模型参数。

对于负样本损失值的具体调整方式，可选地，可以根据损失值大于预设阈值的程度确定对应的调整参数，并按照此调整参数调小负样本的损失值。可选地，还可以直接将负样本的损失值调整为0，此时也即是对负样本进行了滤除处理，使负样本不会参与到模型训练的过程中。

本实施例中，负样本中包含的物体与正样本中包含的目标物体具有一定的相似性，因此，借助目标检测模型的多个接口，将正、负样本同时输入目标检测模型进行模型训练后，便能够使负样本对正样本产生一定的干扰，从而保证目标检测模型的训练效果，提高目标检测模型的检测准确性。

另外，上述实施例中已经提及目标检测模型可以提供多个接口，并且接口不仅限于上述的第一接口和第二接口。则可选地，目标检测模型还可以包括第三接口、第四接口。

在模型训练的过程中，在收集正、负样本的同时，还可以得到正、负样本各自对应的其他遥感信息，此时，可以借助第三接口，可以将正样本对应的其他遥感信息输入目标检测模型；借助第四接口，可以将负样本对应的其他遥感信息输入目标检测模型。之后，可以根据借助不同接口同时输入的正、负样本以及其他遥感信息进行模型训练，保证目标检测模型的训练效果。

可选地，训练出的目标检测模型还可以具有多目标检测能力。则以目标检测模型能够同时检测第一目标物体第二和目标物体为例进行说明：

在模型训练过程中，可以分别借助目标检测模型提供的多个接口分别将包含第一目标物体的正样本、包含第二目标物体的正样本、不包含第一目标物体的负样本、不包含第二目标物体的负样本一同输入目标检测模型，以实现目标检测模型的训练。可选地，在输入上述多种正样本的同时，还可以将上述多种样本各自对应的其他遥感信息也输入至目标检测模型中，以实现模型训练。

并且当包含第一目标物体的正样本和包含第二目标物体的正样本的数量相差较大时，为了保证训练出的目标检测模型对第一目标物体和第二目标物体据具有相近的检测准确性，目标检测模型还可以自动对数量较少的正样本进行数据增强，以使两种正样本之间实现样本数量的均衡。

以下将详细描述本发明的一个或多个实施例的遥感数据处理装置。本领域技术人员可以理解，这些遥感数据处理装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。

图4为本发明实施例提供的一种遥感数据处理装置的结构示意图，如图4所示，该装置包括：

输入模块11，用于借助目标检测模型的第一接口，输入待检测遥感图像；以及借助所述目标检测模型的第二接口，输入所述待检测遥感图像对应的其他遥感信息。

输出模块12，用于根据所述待检测遥感图像和所述其他遥感信息，输出所述待检测遥感图像是否包含目标物体的检测结果。

可选地，所述输入模块11具体用于：借助所述第一接口，将所述待检测遥感图像输入所述目标检测模型，以由所述目标检测模型中的特征提取层提取所述待检测遥感图像的至少一种尺寸的特征图。

可选地，所述输入模块11具体用于：根据所述其他遥感信息和目标特征图，由所述目标检测模型中的目标预测层输出所述检测结果，所述目标检测模型包含的特征提取层与预测层一一对应，所述目标特征图为所述至少一种尺寸的特征图中的任一特征图，所述目标预测层与提取所述目标特征图的特征提取层对应。

可选地，所述装置还包括：调整模块21。

所述输入模块11具体用于：借助所述第一接口，将包含目标物体的遥感图像作为正样本输入所述目标检测模型；以及借助所述第二接口，将不包含目标物体的遥感图像作为负样本输入所述目标检测模型；

所述调整模块21，用于根据所述正样本和负样本各自的损失值，调整所述目标检测模型的模型参数。

可选地，所述调整模块21具体用于：若所述负样本的损失值大于预设阈值，则调整所述负样本的损失值；

根据所述正样本的损失值和所述负样本调整后的损失值，调整所述目标检测模型的模型参数。

可选地，所述输入模块11，还用于借助所述目标检测模型的第三接口，将所述正样本对应的其他遥感信息输入所述目标检测模型；以及借助所述目标检测模型的第四接口，将所述负样本对应的其他遥感信息输入所述目标检测模型。

其中，所述目标检测模型提供至少两个接口，借助所述至少两个接口分别输入遥感图像和遥感图像对应的其他遥感信息的输入，所述其他遥感信息包括高程信息。

图4所示装置可以执行图1至图3所示实施例的方法，本实施例未详细描述的部分，可参考对图1至图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1至图3所示实施例中的描述，在此不再赘述。

以上描述了遥感数据处理装置的内部功能和结构，在一个可能的设计中，遥感数据处理装置的结构可实现为一电子设备，如图5所示，该电子设备可以包括：处理器31和存储器32。其中，所述存储器32用于存储支持该电子设备执行上述图1至图3所示实施例中提供的遥感数据处理方法的程序，所述处理器31被配置为用于执行所述存储器32中存储的程序。

所述程序包括一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器31执行时能够实现如下步骤：

借助目标检测模型的第一接口，输入待检测遥感图像；

借助所述目标检测模型的第二接口，输入所述待检测遥感图像对应的其他遥感信息；

根据所述待检测遥感图像和所述其他遥感信息，输出所述待检测遥感图像是否包含目标物体的检测结果。

可选地，所述处理器31还用于执行前述图1至图3所示实施例中的全部或部分步骤。

其中，所述电子设备的结构中还可以包括通信接口33，用于该电子设备与其他设备或通信网络通信。

另外，本发明实施例提供了一种计算机存储介质，用于储存上述电子设备所用的计算机软件指令，其包含用于执行上述图1至图3所示方法实施例中遥感数据处理方法所涉及的程序。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种遥感数据处理方法，其特征在于，包括：

借助目标检测模型的第一接口，输入待检测遥感图像；

借助所述目标检测模型的第二接口，输入所述待检测遥感图像对应的其他遥感信息；

根据所述待检测遥感图像和所述其他遥感信息，输出所述待检测遥感图像是否包含目标物体的检测结果。

2.根据权利要求1所述的方法，其特征在于，所述借助目标检测模型的第一接口，输入待检测遥感图像，包括：

借助所述第一接口，将所述待检测遥感图像输入所述目标检测模型，以由所述目标检测模型中的特征提取层提取所述待检测遥感图像的至少一种尺寸的特征图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述待检测遥感图像和所述其他遥感信息，输出所述待检测遥感图像是否包含目标物体的检测结果，包括：

根据所述其他遥感信息和目标特征图，由所述目标检测模型中的目标预测层输出所述检测结果，所述目标检测模型包含的特征提取层与预测层一一对应，所述目标特征图为所述至少一种尺寸的特征图中的任一特征图，所述目标预测层与提取所述目标特征图的特征提取层对应。

4.根据权利要求1所述的方法，其特征在于，所述目标检测模型提供至少两个接口，借助所述至少两个接口分别输入遥感图像和遥感图像对应的其他遥感信息的输入，所述其他遥感信息包括高程信息。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

借助所述第一接口，将包含目标物体的遥感图像作为正样本输入所述目标检测模型；

借助所述第二接口，将不包含目标物体的遥感图像作为负样本输入所述目标检测模型；

根据所述正样本和负样本各自的损失值，调整所述目标检测模型的模型参数。

6.根据权利要求5所述的方法，其特征在于，所述根据所述正样本和所述负样本各自的损失值，调整所述目标检测模型的模型参数，包括：

若所述负样本的损失值大于预设阈值，则调整所述负样本的损失值；

根据所述正样本的损失值和所述负样本调整后的损失值，调整所述目标检测模型的模型参数。

7.根据权利要求5所述的方法，其特征在于，所述方法还包括：

借助所述目标检测模型的第三接口，将所述正样本对应的其他遥感信息输入所述目标检测模型；

借助所述目标检测模型的第四接口，将所述负样本对应的其他遥感信息输入所述目标检测模型。

8.一种遥感数据处理装置，其特征在于，包括：

输入模块，用于借助目标检测模型的第一接口，输入待检测遥感图像；以及借助所述目标检测模型的第二接口，输入所述待检测遥感图像对应的其他遥感信息；

输出模块，用于根据所述待检测遥感图像和所述其他遥感信息，输出所述待检测遥感图像是否包含目标物体的检测结果。

9.一种电子设备，其特征在于，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的遥感数据处理方法。

10.一种非暂时性机器可读存储介质，其特征在于，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至7中任一项所述的遥感数据处理方法。

Images