CN116523842A - 遥感目标检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种遥感目标检测方法、装置、电子设备及存储介质，可以应用于图像处理技术领域。该方法包括：利用卷积神经网络的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图；对多个特征图分别进行通道转换，得到与多个特征图分别对应的转换图，得到多个转换图；利用基于自注意力机制的网络对多个转换图和目标遥感图像进行特征提取，得到多个目标特征图；根据多个目标特征图，检测目标遥感图像中的目标对象。

Description

遥感目标检测方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，更具体地，涉及一种基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法、装置、电子设备、存储介质和程序产品。

背景技术

随着科学技术的进步以及世界各国对遥感领域中的遥感图像的不断研究，遥感信息科学已经进入“大数据时代”。光学遥感图像具有将人眼所见景物真实再现、分辨率高且纹理细节丰富等优势。可见光遥感图像中被检测识别出的目标被广泛应用在军事、民用、环境科学等领域。可见光遥感图像在国防建设、港口管理、海上救援、货物运输等方面发挥着重要作用。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：现有相关技术，在对遥感图像中的目标进行检测的过程中，基于灰度信息、模板匹配、视觉显著性以及机器学习等方法从遥感图像中提取的特征已经无法满足日益增长的高数据量、大画幅、高准确率、多样特征的要求。

发明内容

有鉴于此，本公开提供了一种基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法、装置、电子设备、存储介质和程序产品。

本公开的一个方面提供了一种基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法，包括：

利用卷积神经网络的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图；

对上述多个特征图分别进行通道转换，得到与上述多个特征图分别对应的转换图，得到多个转换图；

利用基于自注意力机制的网络对上述多个转换图和上述目标遥感图像进行特征提取，得到多个目标特征图，其中，与上述多个目标特征图分别对应的通道数呈倍数增大，与上述多个目标特征图分别对应的尺寸随着与上述多个目标特征图分别对应的通道数的增加呈倍数减小，与上述多个目标特征图分别对应的通道数和与上述多个转换图分别对应的通道数一一对应；

根据上述多个目标特征图，检测上述目标遥感图像中的目标对象。

本公开的另一方面提供了一种基于卷积神经网络与窗口注意力机制融合的遥感目标检测装置，包括：

特征图得到模块，用于利用卷积神经网络的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图；

转换图得到模块，用于对上述多个特征图分别进行通道转换，得到与上述多个特征图分别对应的转换图，得到多个转换图；

目标特征图得到模块，用于利用基于自注意力机制的网络对上述多个转换图和上述目标遥感图像进行特征提取，得到多个目标特征图，其中，与上述多个目标特征图分别对应的通道数呈倍数增大，与上述多个目标特征图分别对应的尺寸随着与上述多个目标特征图分别对应的通道数的增加呈倍数减小，与上述多个目标特征图分别对应的通道数和与上述多个转换图分别对应的通道数一一对应；

检测模块，用于根据上述多个目标特征图，检测上述目标遥感图像中的目标对象。

本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器执行上述方法。

本公开的另一方面还提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述方法。

本公开的另一方面还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法的应用场景图；

图2示意性示出了根据本公开实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法的流程图；

图3示意性示出了根据本公开另一实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法的流程图；

图4示意性示出了根据本公开另一实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法的流程图；

图5示意性示出了根据本公开实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测装置的结构框图；以及

图6示意性示出了根据本公开实施例的适于实现基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法的电子设备的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

在本公开的技术方案中，所涉及的数据(如包括但不限于用户个人信息)的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。

现有相关技术，在对遥感图像中的目标进行检测的过程中，基于灰度信息、模板匹配、视觉显著性以及机器学习等方法从遥感图像中提取的特征已经无法满足日益增长的高数据量、大画幅、高准确率、多样特征的要求。

目标检测准确率的高低与提取到的特征是否准确具有很强的关联性。而遥感图像具有画幅大、背景复杂等特点，遥感图像中的目标具有目标小、尺度多、特征多样等特点，这些固有特点使得对遥感图像进行特征提取较为困难，进而影响检测的准确率。

为了至少部分地解决相关技术中存在的技术问题，本公开的实施例提供了一种基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法、装置、电子设备及存储介质，可以应用于图像处理技术领域。该基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法包括：利用卷积神经网络的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图；对多个特征图分别进行通道转换，得到与多个特征图分别对应的转换图，得到多个转换图；利用基于自注意力机制的网络对多个转换图和目标遥感图像进行特征提取，得到多个目标特征图，其中，与多个目标特征图分别对应的通道数呈倍数增大，与多个目标特征图分别对应的尺寸随着与多个目标特征图分别对应的通道数的增加呈倍数减小，与多个目标特征图分别对应的通道数和与多个转换图分别对应的通道数一一对应；根据多个目标特征图，检测目标遥感图像中的目标对象。

图1示意性示出了根据本公开实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法的应用场景图。

如图1所示，根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。

需要说明的是，本公开实施例所提供的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法一般可以由服务器105执行。相应地，本公开实施例所提供的基于卷积神经网络与窗口注意力机制融合的遥感目标检测装置一般可以设置于服务器105中。本公开实施例所提供的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的基于卷积神经网络与窗口注意力机制融合的遥感目标检测装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

以下将基于图1描述的场景，通过图2～图4对公开实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法进行详细描述。

图2示意性示出了根据本公开实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法的流程图。

如图2所示，该实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法包括操作S210～操作S240。

在操作S210，利用卷积神经网络的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图。

根据本公开的实施例，与多个特征图分别对应的通道数可以呈倍数增大，与多个特征图分别对应的尺寸可以随着与多个特征图分别对应的通道数的增加呈倍数减小。

根据本公开的实施例，针对多个特征图中的每个特征图，特征图包括多个特征子图，多个特征子图的尺寸可以相同。与特征图对应的通道数表征多个特征子图的数量。与多个特征图分别对应的尺寸表征与多个特征图对应的多个特征子图的尺寸。

根据本公开的实施例，卷积神经网络例如可以为残差神经网络(ResidualNetwork)，更具体的可以为ResNet 18、ResNet 34或ResNet50等。

根据本公开的实施例，例如可以利用ResNet50的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图。ResNet50例如可以包括2个特征提取支路。可以利用ResNet50的第一个特征提取支路对目标遥感图像进行特征提取，得到特征图A。利用ResNet50的第二个特征提取支路对特征图A进行特征提取，得到特征图B。与特征图B对应的通道数可以为与特征图A对应的通道数的2倍，与特征图B对应的尺寸可以为与特征图A对应的尺寸的1/2。

根据本公开的实施例，利用卷积神经网络的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图，使得多个特征图包括更多的与目标遥感图像相关的局部特征。

在操作S220，对多个特征图分别进行通道转换，得到与多个特征图分别对应的转换图，得到多个转换图。

根据本公开的实施例，可以对多个特征图中的每个特征图进行1*1卷积操作，得到与多个特征图分别对应的转换图，得到多个转换图。

根据本公开的实施例，对多个特征图分别进行通道转换，得到与多个特征图分别对应的转换图，得到多个转换图，使得与多个特征图分别对应的转换图可以适用于后续的特征提取网络，使得利用卷积神经网络提取到的多个特征图经过通道转换后可以结合到其它特征提取网络中。

在操作S230，利用基于自注意力机制的网络对多个转换图和目标遥感图像进行特征提取，得到多个目标特征图，其中，与多个目标特征图分别对应的通道数呈倍数增大，与多个目标特征图分别对应的尺寸随着与多个目标特征图分别对应的通道数的增加呈倍数减小，与多个目标特征图分别对应的通道数和与多个转换图分别对应的通道数一一对应。

根据本公开的实施例，针对多个目标特征图中的每个目标特征图，目标特征图可以包括多个目标特征子图，多个目标特征子图的尺寸可以相同。与目标特征图对应的通道数表征多个目标特征子图的数量。与多个目标特征图分别对应的尺寸表征与多个目标特征图对应的多个目标特征子图的尺寸。

根据本公开的实施例，基于自注意力机制的网络例如可以为基于滑动窗口自注意力机制的主干网络(Hierarchical Vision Transformer using Shifted WindoWs，SwinTransformer)，更具体的可以为Swin Transformer v1和Swin Transformer v2。

根据本公开的实施例，例如可以利用Swin Transformerv2对多个转换图和目标遥感图像进行特征提取，得到多个目标特征图。多个目标特征图例如可以包括目标特征图C和目标特征图D。与特征图D对应的通道数可以为与特征图C对应的通道数的2倍，与特征图D对应的尺寸可以为与特征图C对应的尺寸的1/2。

根据本公开的实施例，例如多个转换图可包括转换图E和转换图F。与转换图E对应的通道数和与目标特征图C对应的通道数相同，与转换图E对应的尺寸和与目标特征图C对应的尺寸相同。与转换图F对应的通道数和与目标特征图D对应的通道数相同，与转换图F对应的尺寸和与目标特征图D对应的尺寸相同。实现与多个目标特征图分别对应的通道数和与多个转换图分别对应的通道数一一对应。

根据本公开的实施例，利用基于自注意力机制的网络对多个转换图和目标遥感图像进行特征提取，得到多个目标特征图，实现利用基于自注意力机制的网络从包括更多的局部特征的转换图中提取全局特征，使得多个目标特征图兼顾多样特征，多个目标特征图包括的特征更准确。

在操作S240，根据多个目标特征图，检测目标遥感图像中的目标对象。

根据本公开的实施例，可以利用旋转目标检测算法(Guided Anchoring-RolTransformer，Rol Transformer)对多个目标特征图进行检测，得到目标遥感图像中的目标对象。

根据本公开的实施例，深度卷积神经网络能较好的提取到遥感图像中的遥感目标对象的局部特征，而基于自注意力机制的网络Swin Transformer网络，引入了滑动窗口机制，可以让模型学习到跨窗口的信息，提取到更多的全局特征的信息，但是对于局部特征的提取效果一般，因此，可以将深度卷积神经网络与基于自注意力机制的网络SwinTransformer网络相结合，使得结合后的网络可以兼顾多样特征，提高根据结合后的网络对目标遥感图像中的目标对象进行检测的准确率。

根据本公开的实施例，本公开的实施例提供的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法，可以实现利用卷积神经网络的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图，得到包括更多与目标遥感图像相关的局部特征的多个特征图，对多个特征图分别进行通道转换，得到与多个特征图分别对应的转换图，得到多个转换图，使得利用卷积神经网络提取到的多个特征图经过通道转换后可以结合到其它特征提取网络中，然后利用基于自注意力机制的网络对多个转换图和目标遥感图像进行特征提取，得到多个目标特征图，实现利用基于自注意力机制的网络从包括更多局部特征的转换图中提取全局特征，使得多个目标特征图兼顾多样特征，多个目标特征图包括的特征更准确，然后根据兼顾多样特征且特征更准确的多个目标特征图检测目标遥感图像中的目标对象，提高对目标遥感图像中的目标对象进行检测的准确率。

根据本公开的实施例，由于与多个目标特征图分别对应的尺寸随着与多个目标特征图分别对应的通道数的增加呈倍数减小，且利用基于自注意力机制的网络对多个转换图和目标遥感图像进行特征提取，得到多个目标特征图，实现利用基于自注意力机制的网络从包括更多局部特征的转换图中提取全局特征，使得多个目标特征图兼顾多样特征，多个目标特征图包括的特征更准确，因此，根据多个目标特征图，检测目标遥感图像中的目标对象，还可以实现对不同尺度的遥感目标对象进行检测，提高对不同尺度的遥感目标对象进行检测的准确率。

根据本公开的实施例，本公开的实施例提供的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法，能够使同一目标遥感图像中的不同尺寸的目标特征图被有效利用，提高对不同尺寸的遥感目标对象进行检测的准确率。

根据本公开的实施例，可以先对原始大画幅遥感图像进行预处理，得到目标遥感图像。

根据本公开的实施例，原始大画幅遥感图像可以为高分辨率可见光遥感图像。例如原始大画幅遥感图像可以为通道数为3的R(3B图像。

根据本公开的实施例，可以对原始大画幅遥感图像进行边缘填充及裁剪，得到目标遥感图像。例如目标遥感图像的预设尺寸可以为1024*1024像素(px，Pixel)，预设重叠区域可以为200px，预设边缘处理方式可以包括对缺少像素的图片边缘以0填充。

根据本公开的实施例，多个特征图包括第一特征图、第二特征图、第三特征图和第四特征图，与第一特征图、第二特征图、第三特征图和第四特征图分别对应的尺寸呈倍数减小，与第一特征图、第二特征图、第三特征图和第四特征图分别对应的通道数呈倍数增大，利用卷积神经网络的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图包括：

对目标遥感图像进行第一特征提取，得到第一特征图；

对第一特征图进行第二特征提取，得到第二特征图；

对第二特征图进行第三特征提取，得到第三特征图；

对第三特征图进行第四特征提取，得到第四特征图。

根据本公开的实施例，卷积神经网络例如可以为ResNet50，可以将经过预处理的1024*1024*3的目标遥感图像输入ResNet50，利用ResNet50的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图。

根据本公开的实施例，例如与第一特征图对应的通道数可以为2，与第一特征图对应的尺寸可以为16*16px，与第二特征图对应的通道数可以为4，与第二特征图对应的尺寸可以为8*8px，与第三特征图对应的通道数可以为8，与第三特征图对应的尺寸可以为4*4px，与第四特征图对应的通道数可以为16，与第四特征图对应的尺寸可以为2*2px。使得与第一特征图、第二特征图、第三特征图和第四特征图分别对应的通道数呈倍数增大，与第一特征图、第二特征图、第三特征图和第四特征图分别对应的尺寸呈倍数减小。

根据本公开的实施例，通过对目标遥感图像进行第一特征提取，得到第一特征图；对第一特征图进行第二特征提取，得到第二特征图；第二特征图进行第三特征提取，得到第三特征图；对第三特征图进行第四特征提取，得到第四特征图，与第一特征图、第二特征图、第三特征图和第四特征图分别对应的尺寸呈倍数减小，实现利用卷积神经网络对目标遥感图像提取多尺度的局部特征，得到精度较高的多尺度的局部特征。

根据本公开的实施例，利用基于自注意力机制的网络对多个转换图和目标遥感图像进行特征提取，得到多个目标特征图包括：

利用基于自注意力机制的网络对目标遥感图像进行特征提取，得到与目标遥感图像对应的特征图；

对多个转换图和与目标遥感图像对应的特征图进行特征提取，得到多个目标特征图。

根据本公开的实施例，基于自注意力机制的网络例如可以为SwinTransformer，可以将经过预处理的1024*1024*3的目标遥感图像输入SwinTransformer，利用SwinTransformer对目标遥感图像进行特征提取，得到与目标遥感图像对应的特征图。

根据本公开的实施例，与目标遥感图像对应的特征图的通道数和多个转换图中通道数最少的转换图的通道数相同。与目标遥感图像对应的特征图的尺寸和多个转换图中尺寸最大的转换图的尺寸相同。

根据本公开的实施例，多个转换图包括第一转换图、第二转换图、第三转换图和第四转换图，多个目标特征图包括第一目标特征图、第二目标特征图、第三目标特征图和第四目标特征图，与第一目标特征图、第二目标特征图、第三目标特征图和第四目标特征图分别对应的尺寸呈倍数减小；对多个转换图和与目标遥感图像对应的特征图进行特征提取，得到多个目标特征图包括：

对第一转换图和与目标遥感图像对应的特征图求和，得到第一目标特征图，其中，与第一转换图对应的尺寸和与第一目标特征图对应的尺寸相同；

对第一目标特征图进行特征提取，得到第一中间特征图，其中，与第一中间特征图对应的尺寸和与第二转换图对应的尺寸相同；

对第一中间特征图和第二转换图求和，得到第二目标特征图，其中，与第二转换图对应的尺寸和与第二目标特征图对应的尺寸相同；

对第二目标特征图进行特征提取，得到第二中间特征图，其中，与第二中间特征图对应的尺寸和与第三转换图对应的尺寸相同；

对第二中间特征图和第三转换图求和，得到第三目标特征图，其中，与第三转换图对应的尺寸和与第三目标特征图对应的尺寸相同；

对第三目标特征图进行特征提取，得到第三中间特征图，其中，与第三中间特征图对应的尺寸和与第四转换图对应的尺寸相同；

对第三中间特征图和第四转换图求和，得到第四目标特征图，其中，与第四转换图对应的尺寸和与第四目标特征图对应的尺寸相同。

根据本公开的实施例，通过对第一转换图和与目标遥感图像对应的特征图求和，得到第一目标特征图；对第一目标特征图进行特征提取，得到第一中间特征图；对第一中间特征图和第二转换图求和，得到第二目标特征图；对第二目标特征图进行特征提取，得到第二中间特征图；对第二中间特征图和第三转换图求和，得到第三目标特征图；对第三目标特征图进行特征提取，得到第三中间特征图；对第三中间特征图和第四转换图求和，得到第四目标特征图，使得包括更多局部特征的多个转换图和与目标遥感图像对应的特征图以交互方式进行融合，得到不同分辨率下的兼顾多样特征的第四目标特征图，以便后续可以根据不同分辨率下的兼顾多样特征的多个目标特征图检测目标遥感图像中的目标对象，提高对目标遥感图像中的不同分辨率的目标对象进行检测的准确率。

图3示意性示出了根据本公开另一实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法的流程图。

如图3所示，在步骤310，可以获取经过预处理的1024*1024*3的目标遥感图像。在步骤320，可以将1024*1024*3的目标遥感图像输入ResNet50。在步骤321，可以利用ResNet50对目标遥感图像进行预处理。

在步骤322，可以利用ResNet50对经过预处理的目标遥感图像进行第一特征提取，得到第一特征图。在步骤323，可以利用ResNet50对第一特征图进行特征提取，得到第二特征图。在步骤324，可以利用ResNet50对第二特征图进行特征提取，得到第三特征图。在步骤325，可以利用ResNet50对第三特征图进行特征提取，得到第四特征图。

图3中的第一特征图可以包括256个尺寸为256*256px的第一特征子图，第二特征图可以包括512个尺寸为128*128px的第二特征子图，第三特征图可以包括1024个尺寸为64*64px的第三特征子图，第四特征图可以包括2048个尺寸为32*32px的第四特征子图。其中，第一特征图可以包括256个尺寸为256*256p×的第一特征子图，说明与第一特征图对应的通道数为256，与第一特征图对应的尺寸为256*256p×，以此类推可以得到与第二特征图、第三特征图和第四特征图对应的通道数和尺寸。

如图3所述，在步骤330，可以对图3中的第一特征图、第二特征图、第三特征图和第四特征图分别进行通道转换，即1*1卷积，得到与第一特征图、第二特征图、第三特征图和第四特征图分别对应的转换图，得到多个转换图。

图3中，与第一特征图对应的第一转换图可以包括96个尺寸为256*256px的转换子图，与第二特征图对应的第二转换图可以包括192个尺寸为128*128px的转换子图，与第三特征图对应的第三转换图可以包括384个尺寸为64*64px的转换子图，与第四特征图对应的第四转换图可以包括768个尺寸为32*32px的转换子图。

根据本公开的实施例，在步骤340，可以将1024*1024*3的目标遥感图像输入SwinTransformer。在步骤341，可以利用Swin Transformer对目标3进行特征提取，得到与目标遥感图像对应的特征图。与目标遥感图像对应的特征图可以包括96个尺寸为256*256px的特征子图。

在步骤342，可以利用Swin Transformer对与目标遥感图像对应的特征图和第一转换图进行求和，得到第一目标特征图C2，对第一目标特征图C2进行特征提取，得到第一中间特征图。第一目标特征图C2可以包括96个尺寸为256*256px的第一目标特征子图。第一中间特征图可以包括192个尺寸为128*128px的第一中间特征子图。

在步骤343，可以利用Swin Transformer对第一中间特征图和第二转换图求和，得到第二目标特征图C3，对第二目标特征图C3进行特征提取，得到得到第二中间特征图。第二目标特征图C3可以包括192个尺寸为128*128px的第二目标特征子图，第二中间特征图可以包括384个尺寸为64*64px的第二中间特征子图。

在步骤344，利用Swin Transformer对第二中间特征图和第三转换图求和，得到第三目标特征图C4，对第三目标特征图C4进行特征提取，得到得到第三中间特征图。第三目标特征图C4可以包括384个尺寸为64*64px的第三目标特征子图，第三中间特征图可以包括768个尺寸为32*32px的第三中间特征子图。

在步骤345，可以利用Swin Transformer对第三中间特征图和第四转换图求和，得到第四目标特征图C5。第四目标特征图C5可以包括768个尺寸为32*32px的第四目标特征子图。

与图3中的第一目标特征图C2、第二目标特征图C3、第三目标特征图C4和第四目标特征图C5各自对应的尺寸分别为目标遥感图像的尺寸的1/4，1/8，1/16，1/32。与图3中的第一目标特征图、第二目标特征图、第三目标特征图和第四目标特征图各自对应的通道数分别为96、192、384、768。

如图3所示的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法，将卷积神经网络提取的遥感目标对象的局部特征(即多个特征图)与基于自注意力机制的网络提取的全局特征(即多个目标特征图)，通过通道转换操作，以交互方式进行融合，以交互方式融合不同分辨率下的局部特征和全局表示，使卷积神经网络与基于自注意力机制的网络相结合的特征提取网络兼顾多样的特征，得到兼顾多样的特征的多个目标特征图，进而可以根据多个目标特征图检测目标遥感图像中的目标对象，提高对目标遥感图像中的目标对象进行检测的准确率。

根据本公开的实施例，根据多个目标特征图，检测目标遥感图像中的目标对象包括：

对多个目标特征图进行上采样，得到多个上采样特征图；

对多个上采样特征图进行下采样，得到多个下采样特征图；

根据多个下采样特征图，检测目标对象。

根据本公开的实施例，上采样操作包括逆卷积。

根据本公开的实施例，例如可以对多个目标特征图进行3*3的逆卷积，得到多个上采样特征图。

根据本公开的实施例，通过对多个目标特征图进行上采样，得到多个上采样特征图；对多个上采样特征图进行下采样，得到多个下采样特征图；根据多个下采样特征图，检测目标对象，实现对不同分辨率的多个目标特征图进行特征融合，增强金字塔结构的多个目标特征图之间的信息交流，充分融合金字塔结构的不同分辨率的多个目标特征图包括的特征信息，使得多个下采样特征图包括的特征更准确，然后根据特征更准确的多个下采样特征图检测目标遥感图像中的目标对象，提高对目标遥感图像中的目标对象进行检测的准确率。

根据本公开的实施例，对多个目标特征图进行上采样，得到多个上采样特征图包括：

对多个目标特征图进行通道转换，得到多个目标转换图，其中，与多个目标转换图分别对应的通道数相同；

对多个目标转换图进行上采样，得到多个上采样特征图。

根据本公开的实施例，可以通过对多个目标特征图进行1*1的卷积操作，实现对多个目标特征图进行通道转换，得到多个目标转换图。

根据本公开的实施例，例如，可以对图3输出的第一目标特征图、第二目标特征图、第三目标特征图和第四目标特征图分别进行1*1的卷积操作，使得与第一目标特征图、第二目标特征图、第三目标特征图和第四目标特征图分别对应的通道数均变为256，为后续对与第一目标特征图、第二目标特征图、第三目标特征图和第四目标特征图分别对应的目标转换图进行上采样做准备。

根据本公开的实施例，通过对多个目标特征图进行通道转换，得到多个目标转换图，其中，与多个目标转换图分别对应的通道数相同；对多个目标转换图进行上采样，得到多个上采样特征图，实现对不同分辨率的多个目标特征图进行上采样融合，增强金字塔结构的多个目标特征图之间的信息交流，使得上采样特征图包括的特征更准确。

根据本公开的实施例，根据多个下采样特征图，检测目标对象包括：

对多个下采样特征图中尺寸最大的下采样特征图进行上采样，得到第一上采样特征图；

根据多个下采样特征图和第一上采样特征图，检测目标对象。

根据本公开的实施例，与多个下采样特征图分别对应的通道数相同，与多个下采样特征图分别对应的尺寸呈倍数增大。

根据本公开的实施例，对多个下采样特征图中尺寸最大的下采样特征图进行上采样，得到第一上采样特征图，使得与第一上采样特征图对应的尺寸大于与多个下采样特征图分别对应的尺寸，得到尺寸更大的第一上采样特征图。

根据本公开的实施例，通过对多个下采样特征图中尺寸最大的下采样特征图进行上采样，得到第一上采样特征图；根据多个下采样特征图和第一上采样特征图，检测目标对象，增加更大尺寸的第一上采样特征图，使得与多个下采样特征图和第一上采样特征图对应的尺寸范围更广，即与多个下采样特征图和第一上采样特征图对应的特征的分辨率的范围更广，使得多个下采样特征图和第一上采样特征图更适用于对目标遥感图像中的不同尺度的目标对象进行检测，提高对目标遥感图像中的不同分辨率的目标对象进行检测的准确率。

图4示意性示出了根据本公开另一实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法的流程图。

如图4所示，在步骤410，可以对图3输出的第一目标特征图C2、第二目标特征图C3、第三目标特征图C4和第四目标特征图C5进行上采样，得到多个上采样特征图。

在步骤411，可以对第一目标特征图C2、第二目标特征图C3、第三目标特征图C4和第四目标特征图C5分别进行通道转换，即1*1卷积(Con1*1)，得到多个目标转换图，多个使得与第一目标特征图C2、第二目标特征图C3、第三目标特征图C4和第四目标特征图C5分别对应的目标转换图的通道数均转换至256。

根据本公开的实施例，对第一目标特征图C2、第二目标特征图C3、第三目标特征图C4和第四目标特征图C5分别进行通道转换，为后续进行上采样做准备。

在步骤412，可以对第四目标特征图C5进行3*3卷积，得到与第四目标特征图C5对应的上采样特征图P5。可以对第四目标特征图C5进行上采样，即进行3*3逆卷积，得到与第四目标特征图C5对应的上采样中间特征图Q5。与上采样特征图P5对应的尺寸为32*32px，与上采样中间特征图Q5对应尺寸为64*64px。

在步骤412，可以对上采样中间特征图P5和与第三目标特征图C4对应的目标转换图求和(add)，再进行3*3卷积，得到与第三目标特征图C4对应的上采样特征图P4。可以对上采样中间特征图P5和与第三目标特征图C4对应的目标转换图求和，再进行上采样，即3*3逆卷积，得到与第三目标特征图C4对应的上采样中间特征图Q4。与上采样特征图P4对应的尺寸为64*64px，与上采样中间特征图Q4对应尺寸为128*128px。

在步骤412，可以对上采样中间特征图P4和与第二目标特征图C3对应的目标转换图求和，再进行3*3卷积，得到与第二目标特征图C3对应的上采样特征图P3。可以对上采样中间特征图P4和与第二目标特征图C3对应的目标转换图求和，再进行上采样，即3*3逆卷积，得到与第二目标特征图C3对应的上采样中间特征图Q3。与上采样特征图P3对应的尺寸为128*128px，与上采样中间特征图Q3对应尺寸为256*256px。

在步骤412，对上采样中间特征图P3和与第一目标特征图C2对应的目标转换图求和，再进行3*3卷积，得到与第一目标特征图C2对应的上采样特征图P2。与上采样特征图P2对应的尺寸为256*256px。

在步骤420，可以对上采样特征图P2、上采样特征图P3、上采样特征图P4和上采样特征图P5进行下采样，得到多个下采样特征图。

在步骤420，可以对第一上采样特征图P2进行通道转换，即1*1卷积，再进行3*3卷积，得到第一下采样特征图N2。与第一下采样特征图N2对应的尺寸为256*256px。可以对第一上采样特征图P2进行通道转换，即1*1卷积，再进行下采样，即3*3卷积，得到下采样中间特征图R3。与下采样中间特征图R3的尺寸可以为128*128p×。

在步骤420，可以对下采样中间特征图R3和上采样特征图P3求和(concat)，再进行通道转换，即1*1卷积，再进行3*3卷积，得到第二下采样特征图N3。其中，对下采样中间特征图R3与上采样特征图P3求和，使得求和后的特征图的通道数转变至512。与第二下采样特征图N3对应的尺寸为128*128px。对下采样中间特征图R3和上采样特征图P3求和，再进行通道转换，即1*1卷积，再进行下采样，即3*3卷积，得到下采样中间特征图R4。与下采样中间特征图R4对应的尺寸可以为64*64px。

在步骤420，对下采样中间特征图R4和上采样特征图P4求和，再进行通道转换，即1*1卷积，再进行3*3卷积，得到第三下采样特征图N4。其中，对下采样中间特征图R4和上采样特征图P4求和，使得求和后的特征图的通道数转变至512。与第三下采样特征图N4对应的尺寸为64*64px。对下采样中间特征图R4和上采样特征图P4求和，再进行通道转换，即1*1卷积，再进行下采样，即3*3卷积，得到下采样中间特征图R5。与下采样中间特征图R5对应的尺寸可以为32*32px。

在步骤420，对下采样中间特征图R5和上采样特征图P5求和，再进行通道转换，即1*1卷积，再进行3*3卷积，得到第四下采样特征图N5。其中，对下采样中间特征图R5和上采样特征图P5求和，使得求和后的特征图的通道数转变至512。与第四下采样特征图N5对应的尺寸为32*32px。

根据本公开的实施例，在步骤420进行通道转换，是为了对第一下采样特征图N2、第二下采样特征图N3、第三上采样特征图N4、第四上采样特征图N5中的特征分别进行融合，且使与第一下采样特征图N2、第二下采样特征图N3、第三上采样特征图N4、第四上采样特征图N5分别对应的通道数适用后续的Rol Transformer。

在步骤430，对第一下采样特征图N2进行上采样，即3*3逆卷积，得到第一上采样特征图N1。与第一上采样特征图N1对应的尺寸为512*512px。

在步骤440，利用基于Rol Transformer的检测头对第一下采样特征图N2、第二下采样特征图N3、第三上采样特征图N4、第四上采样特征图N5和第一上采样特征图N1进行检测，得到目标遥感图像中的目标对象。

根据本公开的实施例，步骤440输出带有与目标对应的标注框的图像，实现完整的遥感目标对象检测。通过与真实人工标注的大规模数据集进行对比，即可得到准确率数值。

根据本公开的实施例，与步骤412中的各种类型的特征图分别对应的通道数均为256。与第一下采样特征图N2、第二下采样特征图N3、第三上采样特征图N4、第四上采样特征图N5分别对应的通道数均为256。

根据本公开的实施例，在步骤440，利用基于Rol Transformer的检测头对第一下采样特征图N2、第二下采样特征图N3、第三上采样特征图N4、第四上采样特征图N5和第一上采样特征图N1进行检测，得到目标遥感图像中的目标对象，实现充分利用低层高分辨率特征定位和高层的高语义信息特征识别目标对象，以更好适应目标对象尺寸跨度大、尺寸多样的问题。

如图4所示，通过对多个目标特征图进行上采样，得到多个上采样特征图；对多个上采样特征图进行下采样，得到多个下采样特征图；根据多个下采样特征图，检测目标对象，实现对不同分辨率的多个目标特征图进行特征融合，增强金字塔结构的多个目标特征图之间的信息交流，充分融合金字塔结构的不同分辨率的多个目标特征图包括的特征信息，使得多个下采样特征图包括的特征更准确，然后根据特征更准确的多个下采样特征图检测目标遥感图像中的目标对象，提高对目标遥感图像中的目标对象进行检测的准确率。

基于上述基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法，本公开还提供了一种基于卷积神经网络与窗口注意力机制融合的遥感目标检测装置。以下将结合图5对该装置进行详细描述。

图5示意性示出了根据本公开实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测装置的结构框图。

如图5所示，该实施例的基于卷积神经网络与窗口注意力机制融合的遥感目标检测装置500包括特征图得到模块510、转换图得到模块520、目标特征图得到模块530和检测模块540。

特征图得到模块510，用于利用卷积神经网络的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图。在一实施例中，特征图得到模块510可以用于执行前文描述的操作S210，在此不再赘述。

转换图得到模块520，用于对多个特征图分别进行通道转换，得到与多个特征图分别对应的转换图，得到多个转换图。在一实施例中，转换图得到模块520可以用于执行前文描述的操作S220，在此不再赘述。

目标特征图得到模块530，用于利用基于自注意力机制的网络对多个转换图和目标遥感图像进行特征提取，得到多个目标特征图，其中，与多个目标特征图分别对应的通道数呈倍数增大，与多个目标特征图分别对应的尺寸随着与多个目标特征图分别对应的通道数的增加呈倍数减小，与多个目标特征图分别对应的通道数和与多个转换图分别对应的通道数一一对应。在一实施例中，目标特征图得到模块530可以用于执行前文描述的操作S230，在此不再赘述。

检测模块540，用于根据多个目标特征图，检测目标遥感图像中的目标对象。在一实施例中，检测模块540可以用于执行前文描述的操作S240，在此不再赘述。

根据本公开的实施例，目标特征图得到模块包括与目标图像对应的特征图得到子模块和目标特征图得到子模块。

与目标图像对应的特征图得到子模块，用于利用基于自注意力机制的网络对目标遥感图像进行特征提取，得到与目标遥感图像对应的特征图。

目标特征图得到子模块，用于对多个转换图和与目标遥感图像对应的特征图进行特征提取，得到多个目标特征图。

根据本公开的实施例，多个转换图包括第一转换图、第二转换图、第三转换图和第四转换图，多个目标特征图包括第一目标特征图、第二目标特征图、第三目标特征图和第四目标特征图，与第一目标特征图、第二目标特征图、第三目标特征图和第四目标特征图分别对应的尺寸呈倍数减小。目标特征图得到子模块包括第一目标特征图得到单元、第一中间特征图得到单元、第二目标特征图得到单元、第二中间特征图得到单元、第三目标特征图得到单元、第三中间特征图得到单元和第四目标特征图得到单元。

第一目标特征图得到单元，用于对第一转换图和与目标遥感图像对应的特征图求和，得到第一目标特征图，其中，与第一转换图对应的尺寸和与第一目标特征图对应的尺寸相同。

第一中间特征图得到单元，用于对第一目标特征图进行特征提取，得到第一中间特征图，其中，与第一中间特征图对应的尺寸和与第二转换图对应的尺寸相同。

第二目标特征图得到单元，用于对第一中间特征图和第二转换图求和，得到第二目标特征图，其中，与第二转换图对应的尺寸和与第二目标特征图对应的尺寸相同。

第二中间特征图得到单元，用于对第二目标特征图进行特征提取，得到第二中间特征图，其中，与第二中间特征图对应的尺寸和与第三转换图对应的尺寸相同。

第三目标特征图得到单元，用于对第二中间特征图和第三转换图求和，得到第三目标特征图，其中，与第三转换图对应的尺寸和与第三目标特征图对应的尺寸相同。

第三中间特征图得到单元，用于对第三目标特征图进行特征提取，得到第三中间特征图，其中，与第三中间特征图对应的尺寸和与第四转换图对应的尺寸相同。

第四目标特征图得到单元，用于对第三中间特征图和第四转换图求和，得到第四目标特征图，其中，与第四转换图对应的尺寸和与第四目标特征图对应的尺寸相同。

根据本公开的实施例，多个特征图包括第一特征图、第二特征图、第三特征图和第四特征图，与第一特征图、第二特征图、第三特征图和第四特征图分别对应的尺寸呈倍数减小，与第一特征图、第二特征图、第三特征图和第四特征图分别对应的通道数呈倍数增大。特征图得到模块包括第一特征图得到子模块、第二特征图得到子模块、第三特征图得到子模块和第四特征图得到子模块。

第一特征图得到子模块，用于对目标遥感图像进行第一特征提取，得到第一特征图。

第二特征图得到子模块，用于对第一特征图进行第二特征提取，得到第二特征图。

第三特征图得到子模块，用于对第二特征图进行第三特征提取，得到第三特征图。

第四特征图得到子模块，用于对第三特征图进行第四特征提取，得到第四特征图。

根据本公开的实施例，检测模块包括多个上采样特征图得到子模块、多个下采样特征图得到子模块和目标对象检测子模块。

多个上采样特征图得到子模块，用于对多个目标特征图进行上采样，得到多个上采样特征图。

多个下采样特征图得到子模块，用于对多个上采样特征图进行下采样，得到多个下采样特征图。

目标对象检测子模块，用于根据多个下采样特征图，检测目标对象。

根据本公开的实施例，多个上采样特征图得到子模块包括多个目标转换图得到单元和多个上采样特征图得到单元。

多个目标转换图得到单元，用于对多个目标特征图进行通道转换，得到多个目标转换图，其中，与多个目标转换图分别对应的通道数相同。

多个上采样特征图得到单元，用于对多个目标转换图进行上采样，得到多个上采样特征图。

根据本公开的实施例，目标对象检测子模块包括第一上采样特征图得到单元和目标对象检测单元。

第一上采样特征图得到单元，用于对多个下采样特征图中尺寸最大的下采样特征图进行上采样，得到第一上采样特征图。

目标对象检测单元，用于根据多个下采样特征图和第一上采样特征图，检测目标对象。

根据本公开的实施例，上采样操作包括逆卷积。

根据本公开的实施例，特征图得到模块510、转换图得到模块520、目标特征图得到模块530和检测模块540中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，特征图得到模块510、转换图得到模块520、目标特征图得到模块530和检测模块540中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，特征图得到模块510、转换图得到模块520、目标特征图得到模块530和检测模块540中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图6示意性示出了根据本公开实施例的适于实现基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法的电子设备的方框图。

如图6所示，根据本公开实施例的电子设备600包括处理器601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。处理器601例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))等等。处理器601还可以包括用于缓存用途的板载存储器。处理器601可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 603中，存储有电子设备600操作所需的各种程序和数据。处理器601、ROM602以及RAM 603通过总线604彼此相连。处理器601通过执行ROM602和/或RAM603中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM602和RAM603以外的一个或多个存储器中。处理器601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，电子设备600还可以包括输入/输出(I/O)接口605，输入/输出(I/O)接口605也连接至总线604。电子设备600还可以包括连接至输入/输出(I/O)I/O接口605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至输入/输出(I/O)I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 602和/或RAM 603和/或ROM 602和RAM 603以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法。

在该计算机程序被处理器601执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分609被下载和安装，和/或从可拆卸介质611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被处理器601执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (10)

1.一种基于卷积神经网络与窗口注意力机制融合的遥感目标检测方法，包括：

利用卷积神经网络的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图；

对所述多个特征图分别进行通道转换，得到与所述多个特征图分别对应的转换图，得到多个转换图；

利用基于自注意力机制的网络对所述多个转换图和所述目标遥感图像进行特征提取，得到多个目标特征图，其中，与所述多个目标特征图分别对应的通道数呈倍数增大，与所述多个目标特征图分别对应的尺寸随着与所述多个目标特征图分别对应的通道数的增加呈倍数减小，与所述多个目标特征图分别对应的通道数和与所述多个转换图分别对应的通道数一一对应；

根据所述多个目标特征图，检测所述目标遥感图像中的目标对象。

2.根据权利要求1所述的方法，其中，所述利用基于自注意力机制的网络对所述多个转换图和所述目标遥感图像进行特征提取，得到多个目标特征图包括：

利用基于自注意力机制的网络对所述目标遥感图像进行特征提取，得到与所述目标遥感图像对应的特征图；

对所述多个转换图和所述与所述目标遥感图像对应的特征图进行特征提取，得到所述多个目标特征图。

3.根据权利要求2所述的方法，其中，所述多个转换图包括第一转换图、第二转换图、第三转换图和第四转换图，所述多个目标特征图包括第一目标特征图、第二目标特征图、第三目标特征图和第四目标特征图，与所述第一目标特征图、所述第二目标特征图、所述第三目标特征图和所述第四目标特征图分别对应的尺寸呈倍数减小；所述对所述多个转换图和与所述目标遥感图像对应的特征图进行特征提取，得到所述多个目标特征图包括：

对所述第一转换图和与所述目标遥感图像对应的特征图求和，得到所述第一目标特征图，其中，与所述第一转换图对应的尺寸和与所述第一目标特征图对应的尺寸相同；

对所述第一目标特征图进行特征提取，得到第一中间特征图，其中，与所述第一中间特征图对应的尺寸和与所述第二转换图对应的尺寸相同；

对所述第一中间特征图和所述第二转换图求和，得到所述第二目标特征图，其中，与所述第二转换图对应的尺寸和与所述第二目标特征图对应的尺寸相同；

对所述第二目标特征图进行特征提取，得到第二中间特征图，其中，与所述第二中间特征图对应的尺寸和与所述第三转换图对应的尺寸相同；

对所述第二中间特征图和所述第三转换图求和，得到所述第三目标特征图，其中，与所述第三转换图对应的尺寸和与所述第三目标特征图对应的尺寸相同；

对所述第三目标特征图进行特征提取，得到第三中间特征图，其中，与所述第三中间特征图对应的尺寸和与所述第四转换图对应的尺寸相同；

对所述第三中间特征图和所述第四转换图求和，得到所述第四目标特征图，其中，与所述第四转换图对应的尺寸和与所述第四目标特征图对应的尺寸相同。

4.根据权利要求1所述的方法，其中，所述多个特征图包括第一特征图、第二特征图、第三特征图和第四特征图，与所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图分别对应的尺寸呈倍数减小，与所述第一特征图、所述第二特征图、所述第三特征图和所述第四特征图分别对应的通道数呈倍数增大，所述利用卷积神经网络的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图包括：

对所述目标遥感图像进行第一特征提取，得到第一特征图；

对所述第一特征图进行第二特征提取，得到第二特征图；

对所述第二特征图进行第三特征提取，得到第三特征图；

对所述第三特征图进行第四特征提取，得到第四特征图。

5.根据权利要求1所述的方法，其中，所述根据所述多个目标特征图，检测所述目标遥感图像中的目标对象包括：

对所述多个目标特征图进行上采样，得到多个上采样特征图；

对所述多个上采样特征图进行下采样，得到多个下采样特征图；

根据所述多个下采样特征图，检测所述目标对象。

6.根据权利要求5所述的方法，其中，所述对所述多个目标特征图进行上采样，得到多个上采样特征图包括：

对所述多个目标特征图进行通道转换，得到多个目标转换图，其中，与所述多个目标转换图分别对应的通道数相同；

对所述多个目标转换图进行上采样，得到多个上采样特征图。

7.根据权利要求5所述的方法，其中，所述根据所述多个下采样特征图，检测所述目标对象包括：

对所述多个下采样特征图中尺寸最大的下采样特征图进行上采样，得到第一上采样特征图；

根据所述多个下采样特征图和所述第一上采样特征图，检测所述目标对象。

8.根据权利要求5所述的方法，其中，所述上采样操作包括逆卷积。

9.一种基于卷积神经网络与窗口注意力机制融合的遥感目标检测装置，包括：

特征图得到模块，用于利用卷积神经网络的不同特征提取支路对目标遥感图像进行特征提取，得到多个特征图；

转换图得到模块，用于对所述多个特征图分别进行通道转换，得到与所述多个特征图分别对应的转换图，得到多个转换图；

目标特征图得到模块，用于利用基于自注意力机制的网络对所述多个转换图和所述目标遥感图像进行特征提取，得到多个目标特征图，其中，与所述多个目标特征图分别对应的通道数呈倍数增大，与所述多个目标特征图分别对应的尺寸随着与所述多个目标特征图分别对应的通道数的增加呈倍数减小，与所述多个目标特征图分别对应的通道数和与所述多个转换图分别对应的通道数一一对应；

检测模块，用于根据所述多个目标特征图，检测所述目标遥感图像中的目标对象。

10.一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个指令，

其中，当所述一个或多个指令被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至8中任一项所述的方法。