CN116051985B - 一种基于多模型互馈学习的半监督遥感目标检测方法 - Google Patents

Abstract

本申请一种基于多模型互馈学习的半监督遥感目标检测方法，包括以下步骤：将待检测遥感图像M分别输入n个第一目标检测器中，以获取每一第一目标检测器输出的检测结果列表，每一检测结果列表包括若干检测结果信息；根据每一检测结果信息中的位置信息对检测结果信息进行分组，以获取检测结果组列表A＝(A1,A2,...,Ar,...,As)；分别对A1,A2,...,Ar,...,As进行数据融合处理，得到目标检测结果列表B＝(B1,B2,...,Br,...,Bs)。本申请中以B作为最终的目标检测结果，可以提高目标检测的准确度。

Description

一种基于多模型互馈学习的半监督遥感目标检测方法

技术领域

本申请涉及遥感数据处理领域，尤其涉及一种基于多模型互馈学习的半监督遥感目标检测方法。

背景技术

目标检测作为计算机视觉领域中十分重要的任务，已经在安防、交通、智能教育和遥感等领域有着许多的应用。随着深度学习的发展，基于深度学习的目标检测算法表现出了优越的性能，基于深度学习的目标检测算法被广泛地研究。深度学习主要是基于监督学习的方式，其在训练模型的过程中主要依赖于大量的有标注的数据。不同于分类任务对训练样本只需要对图像进行标注类型标签，目标检测需要对训练样本标注出精细的检测框以及目标对应的类型，需要耗费大量的人力物力。特别是对于遥感图像的目标检测任务，由于图像尺寸大以及部分类型的目标分布稀疏，导致对单张遥感图像进行标注精细的检测框和类型标签需要花费大量的时间成本和人力成本。而为了使得训练后的目标检测算法输出结果的准确定达到要求，需要进行标注的遥感图像的数量也是较大的，这也进一步导致了进行遥感图像标注的时间成本和人力成本的提升。

发明内容

有鉴于此，本申请提供一种基于多模型互馈学习的半监督遥感目标检测方法，至少部分解决现有技术中存在的问题。

在本申请的一方面，提供一种基于多模型互馈学习的半监督遥感目标检测方法，包括以下步骤：

S100，将所述待检测遥感图像M分别输入n个第一目标检测器中，以获取每一第一目标检测器输出的检测结果列表，每一检测结果列表包括对应的第一目标检测器对M进行目标检测后得到的若干检测结果信息，每一检测结果信息均具有一个对应的第一候选检测框，每一检测结果信息均包括其对应的第一候选检测框的位置信息、目标物类型标识和置信度；n个所述第一目标检测器为通过以不同的调整方式使用相同的遥感图像调整自身内部的检测器参数进行调整后得到的。

S200，根据每一检测结果信息中的位置信息对检测结果信息进行分组，以获取检测结果组列表A＝(A1,A2,...,Ar,...,As)，Ar＝(Ar₁,Ar₂,...,Ar_j,...,Ar_m(r))，Ar_j＝(Wr_j,Gr_j,Pr_j)，r＝1,2,...,s，j＝1,2,...,m(r)；其中，s为分组后得到的检测结果组的数量，Ar为A中第r个检测结果组，Ar_j为Ar中第j个检测结果信息，m(r)为Ar中检测结果信息的数量，m(r)≤n；Wr_j为Ar_j对应的第一候选检测框的位置信息，Gr_j为Ar_j对应的第一候选检测框的目标物类型标识，Pr_j为Gr_j对应的置信度；同一检测结果组内任意两个检测结果信息对应的第一候选检测框之间的重合度大于重合度阈值。

S300，分别对A1,A2,...,Ar,...,As进行数据融合处理，得到目标检测结果列表B＝(B1,B2,...,Br,...,Bs)，Br＝(BWr,BGr,BPr)；其中，Br为对Ar进行数据融合处理后得到的目标检测结果信息，每一目标检测结果信息具有一个目标检测框，BWr为Br对应的目标检测框的位置信息，BGr为Br对应的目标检测框的目标物类型标识，BPr为Br对应的目标检测框的置信度。

其中，Br对应的目标检测框为max(Pr₁,Pr₂,...,Pr_j,...,Pr_m(r))所在的检测结果信息对应的第一候选检测框，max()为预设的最大值确定函数。

本申请提供的基于多模型互馈学习的半监督遥感目标检测方法，n个第一目标检测器是通过以不同的调整方式使用相同的遥感图像调整自身内部的检测器参数后得到的，使得n个第一目标检测器中的检测器参数相互不同，这样n个第一目标检测器之间具有相近的识别能力但识别结果会因检测器参数的不同而存在差异(即不同的第一目标检测器对同一类型的目标的识别准确度存在差异和/或不同的第一目标检测器对不同类型的目标的识别准确度不同)，从而使得能够通过第一目标检测器对同一遥感图像进行更加全面的目标检测。本申请中，使用相互不同的n个第一目标检测器分别对M进行目标检测，并通过n个第一目标检测器输出的检测结果列表将对应的第一候选检测框之间的重合度大于重合度阈值的检测结果信息分组到同一检测结果组内，即同一检测结果组内的检测结果信息对应的第一候选检测框针对的是M中的同一个目标物。然后对同一检测结果组内的检测结果信息进行融合，从而选择出置信度最高的检测结果信息作为目标检测结果信息，从而得到的每一检测结果组对应的目标检测结果信息。由此，得到的目标检测结果信息能够更加精准。

同时，经过实验验证，通过本方法中提供的第一目标检测器，在根据遥感图像调整自身的检测参数时，仅需要使用较少的有标注的遥感图像即可使得调整后的n个第一目标检测器联合得到的目标检测结果信息的准确度达到预设的准确度条件。从而降低了训练第一目标检测器时所需要标注的遥感图像的数量，降低了标注工作的时间成本和人力成本。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本申请实施例提供的一种基于多模型互馈学习的半监督遥感目标检测方法的流程图。

具体实施方式

下面结合附图对本申请实施例进行详细描述。

需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合；并且，基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。

需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。

请参考图1所示，本申请提供一种基于多模型互馈学习的半监督遥感目标检测方法，具体包括以下步骤：

S100，将所述待检测遥感图像M分别输入n个第一目标检测器中，以获取每一第一目标检测器输出的检测结果列表。

每一检测结果列表包括对应的第一目标检测器对M进行目标检测后得到的若干检测结果信息，每一检测结果信息均具有一个对应的第一候选检测框，每一检测结果信息均包括其对应的第一候选检测框的位置信息、目标物类型标识和置信度。其中，位置信息可以包括对应的第一候选检测框的四个角点的坐标信息，也可以包括第一候选检测框最大横纵坐标和最小横纵坐标。目标物类型标识可以为人物标识、动物标识、物品标识或性别标识等。置信度则用于表示第一目标检测器计算的到的第一候选检测框内包含的目标物的目标物类型为对应的目标物类型的可能性，可能性越大置信度越大。

n个所述第一目标检测器为通过以不同的调整方式使用相同的遥感图像调整自身内部的检测器参数进行调整后得到的。具体的，第一目标检测器可以为神经网络模型或机器学习模型，例如，CNN神经网络模型或随机森林模型等。本领域技术人员能够根据目标检测任务的需求选择出神经网络模型或机器学习模型作为本实施例中的第一目标检测器。相应的，相同的遥感图像则可以理解为使用的为同一批带有标注信息的样本图像，且样本图像为遥感图像。对自身内部的检测器参数进行调整可以理解为通过使用上述的样本图像进行训练调整神经网络模型或机器学习模型内部的模型参数。不同的调整方式可以是通过将相同的多张遥感图像以不同顺序输入每一第一目标检测器内对其进行训练。

S200，根据每一检测结果信息中的位置信息对检测结果信息进行分组，以获取检测结果组列表A＝(A1,A2,...,Ar,...,As)，Ar＝(Ar₁,Ar₂,...,Ar_j,...,Ar_m(r))，Ar_j＝(Wr_j,Gr_j,Pr_j)，r＝1,2,...,s，j＝1,2,...,m(r)。

其中，s为分组后得到的检测结果组的数量，Ar为A中第r个检测结果组，Ar_j为Ar中第j个检测结果信息，m(r)为Ar中检测结果信息的数量，m(r)≤n；Wr_j为Ar_j对应的第一候选检测框的位置信息，Gr_j为Ar_j对应的第一候选检测框的目标物类型标识，Pr_j为Gr_j对应的置信度；同一检测结果组内任意两个检测结果信息对应的第一候选检测框之间的重合度大于重合度阈值，即同一检测结果组内的每一检测结果信息对应的第一候选检测框均对应M中的同一区域。具体的，重合度阈值的取值范围为80％-99％，本实施例中，重合度阈值为90％。

S300，分别对A1,A2,...,Ar,...,As进行数据融合处理，得到目标检测结果列表B＝(B1,B2,...,Br,...,Bs)，Br＝(BWr,BGr,BPr)；其中，Br为对Ar进行数据融合处理后得到的目标检测结果信息，每一目标检测结果信息具有一个目标检测框，BWr为Br对应的目标检测框的位置信息，BGr为Br对应的目标检测框的目标物类型标识，BPr为Br对应的目标检测框的置信度。

其中，Br对应的目标检测框为max(Pr₁,Pr₂,...,Pr_j,...,Pr_m(r))所在的检测结果信息对应的第一候选检测框，max()为预设的最大值确定函数。BWr为max(Pr₁,Pr₂,...,Pr_j,...,Pr_m(r))所在的检测结果信息内的位置信息，BGr为max(Pr₁,Pr₂,...,Pr_j,...,Pr_m(r))所在的检测结果信息内的目标物类型标识，BPr为max(Pr₁,Pr₂,...,Pr_j,...,Pr_m(r))所在的检测结果信息内的置信度，且BPr＝max(Pr₁,Pr₂,...,Pr_j,...,Pr_m(r))。

本实施例提供的基于多模型互馈学习的半监督遥感目标检测方法，n个第一目标检测器是通过以不同的调整方式使用相同的遥感图像调整自身内部的检测器参数后得到的，使得n个第一目标检测器中的检测器参数相互不同，这样n个第一目标检测器之间具有相近的识别能力但识别结果会因检测器参数的不同而存在差异(即不同的第一目标检测器对同一类型的目标的识别准确度存在差异和/或不同的第一目标检测器对不同类型的目标的识别准确度不同)，从而使得能够通过第一目标检测器对同一遥感图像进行更加全面的目标检测。本实施例中，使用相互不同的n个第一目标检测器分别对M进行目标检测，并通过n个第一目标检测器输出的检测结果列表将对应的第一候选检测框之间的重合度大于重合度阈值的检测结果信息分组到同一检测结果组内，即同一检测结果组内的检测结果信息对应的第一候选检测框针对的是M中的同一个目标物。然后对同一检测结果组内的检测结果信息进行融合，从而选择出置信度最高的检测结果信息作为目标检测结果信息，从而得到的每一检测结果组对应的目标检测结果信息。由此，得到的目标检测结果信息能够更加精准。

同时，经过实验验证，通过本方法中提供的第一目标检测器，在根据遥感图像调整自身的检测参数时，仅需要使用较少的有标注的遥感图像即可使得调整后的n个第一目标检测器联合得到的目标检测结果信息的准确度达到预设的准确度条件。从而降低了训练第一目标检测器时所需要标注的遥感图像的数量，降低了标注工作的时间成本和人力成本。

在本申请的一种示例性实施例中，所述n个第一目标检测器通过以下步骤得到：

S010，获取若干初始遥感图像。即可以理解为未被标注的样本图像。

S020，确定每一初始遥感图像的图像复杂度。图像复杂度用于表示对应的初始遥感图像内的信息丰富程度(例如目标数量多或目标类型多等)和/或对对应的初始遥感图像进行目标检测的难度。具体的，信息丰富程度和/或检测的难度越高，图像复杂度越高。

具体的，所述步骤S020，包括：

S021，使用预设的预训练模型对每一初始遥感图像进行目标检测，得到每一初始遥感图像对应的初始目标检测结果。

S022，根据每一初始遥感图像对应的初始目标检测结果，确定每一初始遥感图像的图像复杂度。

具体的，所述步骤S022，包括：

S0221，根据每一初始遥感图像对应的初始目标检测结果，确定每一初始遥感图像的图像信息熵。其中，信息熵越大则表示对应的初始遥感图像内的信息丰富度也高，相应的，使用检测器对其进行目标识别的难度也就越高。

S0222，将每一初始遥感图像的图像信息熵，作为其对应的图像复杂度。

其中，预训练模型即为使用其他的遥感图像进行预训练的模型，其具有基本的目标检测能力但检测的准确度低于本申请中的第一目标检测器。本实施例中，确定图像信息熵的方法可以采用采用现有的信息熵确定方法。本领域技术人员能够根据实际需求确定出能够根据目标检测结果确定出对应信息熵的方法。

S030，将每一大于复杂度阈值的图像复杂度对应的初始遥感图像确定为第一遥感图像，以得到若干第一遥感图像。

S040，获取用户输入的每一第一遥感图像对应的标注信息。标注信息包括对应的第一遥感图像内目标物的位置信息以及目标物的目标物类型标识。

即将若干初始遥感图像中大于复杂度阈值的图像复杂度对应的初始遥感图像确定为需要进行人为标注的样本图像。接收到标注信息后，可以通过映射表或直接加载到对应的第一遥感图像内等方式，建立标注信息和第一遥感图像的关联关系。

具体的，本领域技术人员能够通过实际需求确定复杂度阈值的具体数值。本实施例中也提供一种用户确定复杂度阈值的方法，具体如下：

将每一初始遥感图像按对应的图像复杂度由高到低的顺序进行排列。

选取排序后的若干初始遥感图像中前设定百分比的初始遥感图像作为中间遥感图像。

将所有中间遥感图像中对应的图像复杂度中，数值最低的图像复杂度确定为复杂度阈值。

其中，设定百分比可以为10％-20％，本实施例中，设定百分比为15％。

S050，获取n个第一原始检测器和n个第二原始检测器；n个第一原始检测器和n个第二原始检测器一一对应；所述第一原始检测器配置有x个第一检测器运行参数D11,D12,...,D1y,...,D1x，y＝1,2,...,x；其中，D1y为第一原始检测器的第y个第一检测器运行参数；所述第二原始检测器均具有x个第二检测器运行参数D21,D22,...,D2y,...,D2x；其中，D2y为第二原始检测器的第y个第一检测器运行参数；D1y＝D2y。

即初始获取到的n个第一原始检测器和n个第二原始检测器中，任意两个检测器(可以是第一原始检测器和/或第二原始检测器)之间完全相同。

S060，将若干第一遥感图像进行n次随机排序，以得到n个目标遥感图像组H1,H2,...,Hi,...,Hn，Hi＝(Hi1,Hi2,...,Hif,...,Hiu)，Hif＝(Tif,Bif)，i＝1,2,...,n，f＝1,2,...,u；其中，u为所述第一遥感图像的数量，Hi为对若干第一遥感图像进行第i次随机排序后得到的目标遥感图像组，Hif为Hi中第f个目标遥感图像信息，Tif为Hif对应的第一遥感图像，Bif为Tif对应的标注信息；n个第一原始检测器与n个目标遥感图像组一一对应。

经试验确定，不同的模型以不同的顺序训练同一批样本后，模型之间训练后得到的模型参数相互不同。

S070，将Hi输入第i个第一原始检测器，以获取所述第i个第一原始检测器根据Hi得到的x个第一训练后检测器运行参数D31,D32,...,D3y,...,D3x；其中，D3y为第i个第一原始检测器根据Hi得到的第y个第三检测器运行参数。

S080，根据D31,D32,...,D3y,...,D3x对第i个第一原始检测器和第i个第二原始检测器进行更新，以使得D1y＝D3y，D2y＝(1-α)*D2y+α*D3y。α的取值范围为0.99到0.9999。具体的，本实施例中α的取值为0.999。

S090，确定当前每一第二原始检测器的更新次数是否达到第一预设次数，若达到，则将当前的每一第二原始检测器确定为所述第一目标检测器；否则进入步骤S060。

其中，执行一次步骤S060-步骤S080可以理解为对第一原始检测器进行一次训练，以及根据对应的第一原始检测器训练后得到的检测器参数(即D31,D32,...,D3y,...,D3x)，对第二原始检测器的每一第二检测器运行参数进行更新。即完整执行一次步骤S060-步骤S080，第二原始检测器的更新次数加1。每执行完一次后，判断当前的更新次数是否达到第一预设次数，若达到，则结束更新，否则继续执行下一次更新。具体的，第一预设次数的取值范围可以为50-200，本申请中，第一预设次数为100。

可以理解的是，步骤S060中进行排序的可以是所有确定出的第一遥感图像，也可以是其中的一部分。例如将所有确定出的第一遥感图像分为10组，并在每次进入步骤S060时使用新的一组进行处理。

本实施例中，通过图像复杂度确定出信息丰富度更高和/或检测的难度更高的初始遥感图像作为第一遥感图像进行人工标记。经试验确定，信息丰富度更高和/或检测的难度更高的图像对第一原始检测器的训练效果，相较于同等数量的信息丰富度更低和/或检测的难度更低的图像的训练效果更佳。如此，本实施例中，通过图像复杂度确定出少量的初始遥感图像作为第一遥感图像，可以降低需要进行人工标注的样本图像的数量，从而减小样本图像标注的时间成本和人力成本。且经过本申请确定出的第一遥感图像对第一原始检测器的训练效果更佳。

在本申请的一种示例性实施例中，所述步骤S090，所述方法还包括：

S091，确定当前每一第二原始检测器的更新次数是否达到第一预设次数，若达到，则将当前的每一第二原始检测器确定为候选目标检测器，并进入步骤S092；否则进入步骤S060；

S092，确定当前的每一第一原始检测器是否均符合设定条件，若符合，则进入步骤S096；否则，将每一小于或等于复杂度阈值的图像复杂度对应的初始遥感图像确定为第二遥感图像。

具体的设定条件可以为第一原始检测器的检测准确率是否发到要求或第一原始检测器是否收敛，即可以理解为第一原始检测器是否达到训练结束要求。

S093，依次将每一第二遥感图像分别输入每一所述候选目标检测器，以获取每一第二遥感图像对应的n个第一候选检测结果列表；任意第二遥感图像对应的第i个第一检测结果列表包括第i个候选目标检测器对该第二遥感图像进行目标检测后得到的若干第一候选检测结果信息；每一第一候选检测结果信息均具有一个对应的第二候选检测框，每一第一候选检测结果信息均包括其对应的第二候选检测框的位置信息、目标物类型标识和置信度。

进一步的，本实施例中还可以参考对每一第二遥感图像对应的n个第一候选检测结果列表进行例如步骤S200和步骤S300的操作，以确定出每一第二遥感图像对应的第二目标检测结果列表，并将该第二目标检测结果列表作为对应的第二遥感图像的标注信息。

S094，依次根据每一第二遥感图像对应的n个第一候选检测结果列表进行不确定度预测处理，得到每一第二遥感图像对应的不确定度。

具体的，不确定度用于表示多个第二遥感图像对同一第二遥感图像的检测结果的差异度，差异度越小，则说明对该第二遥感图像进行目标检测的检测结果更加精准，即可以理解为，将其对应的第二目标检测结果列表作为对应的第二遥感图像的标注信息会更加准确。

S095，将对应的不确定度小于不确定度阈值的第二遥感图像，确定为第一遥感图像，并进入步骤S060。

S096，将当前的每一第二原始检测器确定为所述第一目标检测器。

本实施例中，通过不确定度将对应的第二目标检测结果列表更加准确的第二遥感图像作为第一遥感图像并以第二目标检测结果列表作为其标注信息，使得其成为了标注后的样本，且由于对应的不确定度小于不确定度阈值，故而其标注信息的准确度较高，可以直接进行对第一原始检测器的训练，而不需要人为的在对其进行标注，进一步的减小了样本标注的时间成本和人力成本。

在本申请的一种示例性实施例中，所述不确定度预测处理包括以下步骤：

S0941，将当前的第二遥感图像对应的n个第一候选检测结果列表中对应置信度大于置信度阈值的第一候选检测结果信息确定为第二候选检测结果信息。

S0942，根据每一第二候选检测结果信息中的位置信息对若干第二候选检测结果信息进行分组，以获取第二候选检测结果组列表E＝(E1,E2,...,Eq,...,Ed)，Eq＝(Eq₁,Eq₂,...,Eq_k,...,Eq_g(q))，Eq_k＝(EWq_k,EGq_k,EPq_k)，q＝1,2,...,d，k＝1,2,...,_g(q)；其中，d为分组后得到的第二候选检测结果组的数量，Eq为E中第q个第二候选检测结果组，Eq_k为Eq中第k个第二候选检测结果信息，g(q)为Eq中第二候选检测结果信息的数量，g(q)≤n；Wq_k为Eq_k对应的第二候选检测框的位置信息，EWq_k＝(X1q_k,X2q_k,Y1q_k,Y1q_k)，其中，X1q_k为Eq_k对应的第二候选检测框的最小相对横坐标，X2q_k为Eq_k对应的第二候选检测框的最大相对横坐标，Y1q_k为Eq_k对应的第二候选检测框的最小相对纵坐标，Y2q_k为Eq_k对应的第二候选检测框的最大相对纵坐标，Gq_k为Eq_k对应的第二候选检测框的目标物类型标识，Pq_k为Gq_k对应的置信度；同一第二候选检测结果组内任意两个第二候选检测结果信息对应的第二候选检测框之间的重合度大于重合度阈值。

S0943，根据E，获取每一第二候选检测结果组对应的子不确定度Z1,Z2,...,Zq,...,Zd；其中，Zq为Eq对应的子不确定度，其中，Zq符合以下条件：

Zq＝(site+con)/2。

site＝siteX1+siteX2+siteY1+siteY2。

con＝avg(Pq₁+Pq₂+...+Pq_k+...+Pq_g(q))。

其中，site为位置不确定度，con为置信不确定度，siteX1为第一子位置不确定度，siteX2为第二子位置不确定度，siteY1为第三子位置不确定度，siteY2为第四子位置不确定度，X1q_avg为平均最小相对横坐标，X2q_avg为平均最大相对横坐标，Y1q_avg为平均最小相对纵坐标，Y2q_avg为平均最大相对纵坐标，avg()为预设的平均值确定函数。

S0944，获取当前的第二遥感图像对应的不确定度P_tar＝(Z1+Z2+...+Zq+...+Zd)/d。

本实施例中，在获取第二图像的不确定度时，同时使用了每一第二候选检测结果组的位置不确定度和置信不确定度，使得不确定度能够同时表示表格维度不确定性信息，从而实现了全面且完整的不确定度的确定，使得确定出的不确定度更加准确。具体的，不确定度阈值的确定方法可以为参考置信度阈值的确定方法，此处不加赘述。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

根据本申请的这种实施方式的电子设备。电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

电子设备以通用计算设备的形式表现。电子设备的组件可以包括但不限于：上述至少一个处理器、上述至少一个储存器、连接不同系统组件(包括储存器和处理器)的总线。

其中，所述储存器存储有程序代码，所述程序代码可以被所述处理器执行，使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。

储存器可以包括易失性储存器形式的可读介质，例如随机存取储存器(RAM)和/或高速缓存储存器，还可以进一步包括只读储存器(ROM)。

储存器还可以包括具有一组(至少一个)程序模块的程序/实用工具，这样的程序模块包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线可以为表示几类总线结构中的一种或多种，包括储存器总线或者储存器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。

电子设备也可以与一个或多个外部设备(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备交互的设备通信，和/或与使得该电子设备能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口进行。并且，电子设备还可以通过网络适配器与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器通过总线与电子设备的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本申请的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的步骤。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本申请示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (7)

1.一种基于多模型互馈学习的半监督遥感目标检测方法，其特征在于，包括以下步骤：

S100，将待检测遥感图像M分别输入n个第一目标检测器中，以获取每一第一目标检测器输出的检测结果列表；每一检测结果列表包括对应的第一目标检测器对M进行目标检测后得到的若干检测结果信息，每一检测结果信息均具有一个对应的第一候选检测框，每一检测结果信息均包括其对应的第一候选检测框的位置信息、目标物类型标识和置信度；n个所述第一目标检测器为通过以不同的调整方式使用相同的遥感图像调整自身内部的检测器参数进行调整后得到的；

S200，根据每一检测结果信息中的位置信息对检测结果信息进行分组，以获取检测结果组列表A=(A1,A2,...,Ar,...,As)，Ar=(Ar₁,Ar₂,...,Ar_j,...,Ar_m(r))，Ar_j=(Wr_j,Gr_j,Pr_j)，r=1,2,...,s，j=1,2,...,m(r)；其中，s为分组后得到的检测结果组的数量，Ar为A中第r个检测结果组，Ar_j为Ar中第j个检测结果信息，m(r)为Ar中检测结果信息的数量，m(r)≤n；Wr_j为Ar_j对应的第一候选检测框的位置信息，Gr_j为Ar_j对应的第一候选检测框的目标物类型标识，Pr_j为Gr_j对应的置信度；同一检测结果组内任意两个检测结果信息对应的第一候选检测框之间的重合度大于重合度阈值；

S300，分别对A1,A2,...,Ar,...,As进行数据融合处理，得到目标检测结果列表B=(B1,B2,...,Br,...,Bs)，Br=(BWr,BGr,BPr)；其中，Br为对Ar进行数据融合处理后得到的目标检测结果信息，每一目标检测结果信息具有一个目标检测框，BWr为Br对应的目标检测框的位置信息，BGr为Br对应的目标检测框的目标物类型标识，BPr为Br对应的目标检测框的置信度；

其中，Br对应的目标检测框为max(Pr₁,Pr₂,...,Pr_j,...,Pr_m(r))所在的检测结果信息对应的第一候选检测框，max()为预设的最大值确定函数；

所述n个第一目标检测器通过以下步骤得到：

S010，获取若干初始遥感图像；

S020，确定每一初始遥感图像的图像复杂度；

S030，将每一大于复杂度阈值的图像复杂度对应的初始遥感图像确定为第一遥感图像，以得到若干第一遥感图像；

S040，获取用户输入的每一第一遥感图像对应的标注信息；

S050，获取n个第一原始检测器和n个第二原始检测器；n个第一原始检测器和n个第二原始检测器一一对应；所述第一原始检测器配置有x个第一检测器运行参数D11,D12,...,D1y,...,D1x，y=1,2,...,x；其中，D1y为第一原始检测器的第y个第一检测器运行参数；所述第二原始检测器均具有x个第二检测器运行参数D21,D22,...,D2y,...,D2x；其中，D2y为第二原始检测器的第y个第一检测器运行参数；D1y=D2y；

S060，将若干第一遥感图像进行n次随机排序，以得到n个目标遥感图像组H1,H2,...,Hi,...,Hn，Hi=(Hi1,Hi2,...,Hif,...,Hiu)，Hif=(Tif,Bif)，i=1,2,...,n，f=1,2,...,u；其中，u为所述第一遥感图像的数量，Hi为对若干第一遥感图像进行第i次随机排序后得到的目标遥感图像组，Hif为Hi中第f个目标遥感图像信息，Tif为Hif对应的第一遥感图像，Bif为Tif对应的标注信息；n个第一原始检测器与n个目标遥感图像组一一对应；

S070，将Hi输入第i个第一原始检测器，以获取所述第i个第一原始检测器根据Hi得到的x个第一训练后检测器运行参数D31,D32,...,D3y,...,D3x；其中，D3y为第i个第一原始检测器根据Hi得到的第y个第三检测器运行参数；

S080，根据D31,D32,...,D3y,...,D3x对第i个第一原始检测器和第i个第二原始检测器进行更新，以使得D1y=D3y，D2y=(1-α)*D2y+α*D3y；

S090，确定当前每一第二原始检测器的更新次数是否达到第一预设次数，若达到，则将当前的每一第二原始检测器确定为所述第一目标检测器；否则进入步骤S060。

2.根据权利要求1所述的基于多模型互馈学习的半监督遥感目标检测方法，其特征在于，所述步骤S090，所述方法还包括：

S091，确定当前每一第二原始检测器的更新次数是否达到第一预设次数，若达到，则将当前的每一第二原始检测器确定为候选目标检测器，并进入步骤S092；否则进入步骤S060；

S092，确定当前的每一第一原始检测器是否均符合设定条件，若符合，则进入步骤S096；否则，将每一小于或等于复杂度阈值的图像复杂度对应的初始遥感图像确定为第二遥感图像；

S093，依次将每一第二遥感图像分别输入每一所述候选目标检测器，以获取每一第二遥感图像对应的n个第一候选检测结果列表；任意第二遥感图像对应的第i个第一检测结果列表包括第i个候选目标检测器对该第二遥感图像进行目标检测后得到的若干第一候选检测结果信息；每一第一候选检测结果信息均具有一个对应的第二候选检测框，每一第一候选检测结果信息均包括其对应的第二候选检测框的位置信息、目标物类型标识和置信度；

S094，依次根据每一第二遥感图像对应的n个第一候选检测结果列表进行不确定度预测处理，得到每一第二遥感图像对应的不确定度；

S095，将对应的不确定度小于不确定度阈值的第二遥感图像，确定为第一遥感图像，并进入步骤S060；

S096，将当前的每一第二原始检测器确定为所述第一目标检测器。

3.根据权利要求2所述的基于多模型互馈学习的半监督遥感目标检测方法，其特征在于，所述不确定度预测处理包括以下步骤：

S0941，将当前的第二遥感图像对应的n个第一候选检测结果列表中对应置信度大于置信度阈值的第一候选检测结果信息确定为第二候选检测结果信息；

S0942，根据每一第二候选检测结果信息中的位置信息对若干第二候选检测结果信息进行分组，以获取第二候选检测结果组列表E=(E1,E2,...,Eq,...,Ed)，Eq=(Eq₁,Eq₂,...,Eq_k,...,Eq_g(q))，Eq_k=(EWq_k,EGq_k,EPq_k)，q=1,2,...,d，k=1,2,...,_g(q)；其中，d为分组后得到的第二候选检测结果组的数量，Eq为E中第q个第二候选检测结果组，Eq_k为Eq中第k个第二候选检测结果信息，g(q)为Eq中第二候选检测结果信息的数量，g(q)≤n；Wq_k为Eq_k对应的第二候选检测框的位置信息，EWq_k=(X1q_k,X2q_k,Y1q_k,Y1q_k)，其中，X1q_k为Eq_k对应的第二候选检测框的最小相对横坐标，X2q_k为Eq_k对应的第二候选检测框的最大相对横坐标，Y1q_k为Eq_k对应的第二候选检测框的最小相对纵坐标，Y2q_k为Eq_k对应的第二候选检测框的最大相对纵坐标，Gq_k为Eq_k对应的第二候选检测框的目标物类型标识，Pq_k为Gq_k对应的置信度；同一第二候选检测结果组内任意两个第二候选检测结果信息对应的第二候选检测框之间的重合度大于重合度阈值；

S0943，根据E，获取每一第二候选检测结果组对应的子不确定度Z1,Z2,...,Zq,...,Zd；其中，Zq为Eq对应的子不确定度，其中，Zq符合以下条件：

Zq=(site+con)/2；

site=siteX1+siteX2+siteY1+siteY2；

；

con=avg(Pq₁+Pq₂+...+Pq_k+...+Pq_g(q))；

其中，site为位置不确定度，con为置信不确定度，siteX1为第一子位置不确定度，siteX2为第二子位置不确定度，siteY1为第三子位置不确定度，siteY2为第四子位置不确定度，X1q_avg为平均最小相对横坐标，X2q_avg为平均最大相对横坐标，Y1q_avg为平均最小相对纵坐标，Y2q_avg为平均最大相对纵坐标，avg()为预设的平均值确定函数；

S0944，获取当前的第二遥感图像对应的不确定度P_tar=(Z1+Z2+...+Zq+...+Zd)/d。

4.根据权利要求1所述的基于多模型互馈学习的半监督遥感目标检测方法，其特征在于，所述步骤S020，包括：

S021，使用预设的预训练模型对每一初始遥感图像进行目标检测，得到每一初始遥感图像对应的初始目标检测结果；

S022，根据每一初始遥感图像对应的初始目标检测结果，确定每一初始遥感图像的图像复杂度。

5.根据权利要求4所述的基于多模型互馈学习的半监督遥感目标检测方法，其特征在于，所述步骤S022，包括：

S0221，根据每一初始遥感图像对应的初始目标检测结果，确定每一初始遥感图像的图像信息熵；

S0222，将每一初始遥感图像的图像信息熵，作为其对应的图像复杂度。

6.根据权利要求1所述的基于多模型互馈学习的半监督遥感目标检测方法，其特征在于，α的取值范围为0.99到0.9999。

7.根据权利要求6所述的基于多模型互馈学习的半监督遥感目标检测方法，其特征在于，α的取值为0.999。

Images