CN115239968A

CN115239968A - 一种图像处理方法、装置、计算机设备及存储介质

Info

Publication number: CN115239968A
Application number: CN202210884702.5A
Authority: CN
Inventors: 邵振洲; 关永; 渠瀛; 李明月; 刘超; 施智平; 王国辉; 刘永梅
Original assignee: Capital Normal University
Current assignee: Capital Normal University
Priority date: 2022-07-25
Filing date: 2022-07-25
Publication date: 2022-10-25
Also published as: WO2024021134A1

Abstract

本公开提供了一种图像处理方法、装置、计算机设备及存储介质，其中，该方法包括：获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征；其中，所述第一图像与所述第二图像的图像类型不同；基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重；基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据；基于所述融合特征数据进行目标检测处理，得到目标检测结果。

Description

一种图像处理方法、装置、计算机设备及存储介质

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、计算机设备及存储介质。

背景技术

在对图像进行处理时，可以对图像进行目标检测，判断出其中包含的人、车辆、动物等对象；或者，也可以对图像中的人体进行位姿、动作等的识别检测等。为了通过图像处理的方式得到较为准确地检测效果，对图像的质量要求较高。但现实场景中，由于拍摄环境、拍摄器件等的影响，采集到的图像可能存在显示不清晰等质量问题，这就容易导致在图像处理后得到的检测结果不准确的问题。

发明内容

本公开实施例至少提供一种图像处理方法、装置、计算机设备及存储介质。

第一方面，本公开实施例提供了一种图像处理方法，包括：获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征；其中，所述第一图像与所述第二图像的图像类型不同；基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重；基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据；基于所述融合特征数据进行目标检测处理，得到目标检测结果。

这样，不同图像类型下获取的图像特征可以通过特征融合的方式，进行在特征上的相互补充，而通过为不同图像特征分别确定特征选择权重的方式，可以在进行特征融合时，将图像特征中不同图像类型下特有的特征部分进行融合。这样，得到的融合特征数据除了提供颜色特征外，还可以提供除颜色特征外的其他特征，因此在对图像进行处理时可以通过融合特征数据中多种维度的特征进行检测处理，提升检测结果的准确性。

一种可选的实施方式中，获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征，包括：获取所述第一图像以及所述第二图像；针对任一图像，对该图像进行卷积处理，并对卷积处理后得到的结果进行压缩选择处理，得到该图像对应的图像特征。

一种可选的实施方式中，所述基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重，包括：对所述第一图像特征以及所述第二图像特征进行第一特征融合处理，得到初始融合特征；基于所述初始融合特征，为所述第一图像特征以及所述第二图像特征确定特征重要性向量；利用所述特征重要性向量，确定所述第一图像特征以及所述第二图像特征分别对应的特征选择权重。

这样，特征选择权重可以在对图像特征进行融合前对各图像特征进行有效地选择，而非简单的特征叠加，以使得到的融合特征数据可以包含第一图像和第二图像中更具有检测优势的特征，以通过融合特征数据提高目标检测的准确性。

一种可选的实施方式中，所述基于所述初始融合特征，为所述第一图像特征以及所述第二图像特征确定特征重要性向量，包括：对所述初始融合特征进行全局池化处理，得到中间融合特征；对所述中间融合特征进行全连接处理，并对全连接处理后的中间融合特征进行归一化处理，得到所述特征重要性向量。

一种可选的实施方式中，利用所述特征重要性向量，确定所述第一图像特征以及所述第二图像特征分别对应的特征选择权重，包括：基于所述特征重要性向量、所述第一图像特征、和所述第二图像特征，为所述第一图像特征和所述第二图像特征分别确定对应的特征选择权重。

一种可选的实施方式中，所述基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据，包括：基于所述第一图像特征对应的特征选择权重，对所述第一图像特征进行特征选择，得到所述第一图像特征的第一选择特征数据；以及，利用所述第二图像特征对应的特征选择权重对所述第二图像特征进行特征选择，得到所述第二图像特征的第二选择特征数据；将所述第一选择特征数据和所述第二选择特征数据进行第二特征融合处理，得到所述融合特征数据。

一种可选的实施方式中，所述图像处理方法应用于预先训练好的网络中；所述网络包括；特征编码器、特征重加权器、以及目标检测器；其中，所述特征编码器，用于获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征；其中，所述第一图像与所述第二图像的图像类型不同；所述特征重加权器，用于基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重；基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据；所述目标检测器，用于基于所述融合特征数据进行目标检测处理，得到目标检测结果。

这样，图像处理方法可以通过网络进行在硬件设备上的部署，更适用于实际应用中。

一种可选的实施方式中，采用下述方式训练得到所述特征编码器、以及所述特征重加权器：获取第一样本图像以及第二样本图像；其中，所述第一样本图像与所述第二样本图像的图像类型不同；利用待训练的特征编码器对所述第一样本图像进行第一特征提取，得到第一样本特征；以及利用所述待训练的特征编码器对所述第二样本图像进行第二特征提取，得到第二样本特征；利用待训练的特征重加权器，确定所述第一样本特征和所述第二样本特征分别对应的样本特征选择权重，并基于所述第一样本特征和所述第二样本特征分别对应的样本特征选择权重，对所述第一样本特征以及所述第二样本特征进行特征融合，得到样本融合特征数据；利用特征解码器对所述样本融合特征数据进行第一解码处理和第二解码处理，得到所述第一样本图像对应的第一解码图像，以及所述第二样本图像对应的第二解码图像；基于第一样本图像、第二样本图像、第一解码图像、以及第二解码图像，确定特征对比损失；基于所述特征对比损失更新所述待训练的特征编码器和所述待训练的特征重加权器，得到所述特征编码器、以及所述特征重加权器。

一种可选的实施方式中，所述特征对比损失包括下述至少一种：同类特征对比损失以及非同类特征对比损失；其中，所述同类特征对比损失包括下述至少一种：所述第一样本图像和所述第一解码图像的第一特征对比损失，以及所述第二样本图像和所述第二解码图像的第二特征对比损失；所述非同类特征对比损失包括下述至少一种：所述第一样本图像和所述第二解码图像的第三特征对比损失，以及所述第二样本图像和所述第一解码图像的第四特征对比损失。

这样，选用了交叉损失函数平衡样本图像和解码图像，可以使得两种图像类型的图像中，一种图像类型的图像可以与另一种图像类型的图像相接近，以保证两种图像类型的图像中互补的特征并不参与特征融合，而是进行了较好的保留。对于实际的应用过程，得到的融合特征数据，同样的会包含两种不同图像类型的图像中可以互补的特征，而对于两种不同的图像而言，互补的特征可以补充自身图像类型下的缺陷或不足，因此相较于单一的采用两种不同图像类型下的图像进行目标检测的方式，更易于进行准确地目标检测。

第二方面，本公开实施例还提供一种图像处理装置，包括：获取模块，用于获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征；其中，所述第一图像与所述第二图像的图像类型不同；确定模块，用于基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重；特征融合模块，用于基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据；处理模块，用于基于所述融合特征数据进行目标检测处理，得到目标检测结果。

一种可选的实施方式中，所述获取模块在获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征时，用于：获取所述第一图像以及所述第二图像；针对任一图像，对该图像进行卷积处理，并对卷积处理后得到的结果进行压缩选择处理，得到该图像对应的图像特征。

一种可选的实施方式中，所述确定模块在基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重时，用于：对所述第一图像特征以及所述第二图像特征进行第一特征融合处理，得到初始融合特征；基于所述初始融合特征，为所述第一图像特征以及所述第二图像特征确定特征重要性向量；利用所述特征重要性向量，确定所述第一图像特征以及所述第二图像特征分别对应的特征选择权重。

一种可选的实施方式中，所述确定模块在基于所述初始融合特征，为所述第一图像特征以及所述第二图像特征确定特征重要性向量时，用于：对所述初始融合特征进行全局池化处理，得到中间融合特征；对所述中间融合特征进行全连接处理，并对全连接处理后的中间融合特征进行归一化处理，得到所述特征重要性向量。

一种可选的实施方式中，所述确定模块在利用所述特征重要性向量，确定所述第一图像特征以及所述第二图像特征分别对应的特征选择权重时，用于：基于所述特征重要性向量、所述第一图像特征、和所述第二图像特征，为所述第一图像特征和所述第二图像特征分别确定对应的特征选择权重。

一种可选的实施方式中，所述特征融合模块在基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据时，用于：基于所述第一图像特征对应的特征选择权重，对所述第一图像特征进行特征选择，得到所述第一图像特征的第一选择特征数据；以及，利用所述第二图像特征对应的特征选择权重对所述第二图像特征进行特征选择，得到所述第二图像特征的第二选择特征数据；将所述第一选择特征数据和所述第二选择特征数据进行第二特征融合处理，得到所述融合特征数据。

第三方面，本公开可选实现方式还提供一种计算机设备，处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

第四方面，本公开可选实现方式还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。

关于上述图像处理装置、计算机设备、及计算机可读存储介质的效果描述参见上述图像处理方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种图像处理方法的流程图；

图2示出了本公开实施例所提供的一种第一图像和第二图像的示意图；

图3示出了本公开实施例所提供的一种目标检测结果的示意图；

图4示出了本公开实施例所提供的一种网络的示意图；

图5示出了本公开实施例所提供的一种第一特征编码器的结构示意图；

图6示出了本公开实施例所提供的一种特征编码器的结构示意图；

图7示出了本公开实施例所提供的一种特征重加权器的示意图；

图8示出了本公开实施例所提供的一种特征解码器的示意图；

图9示出了本公开实施例所提供的另一种网络的示意图；

图10示出了本公开实施例所提供的一种图像处理装置的示意图；

图11示出了本公开实施例所提供的一种计算机设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

经研究发现，采用图像处理的方式进目标检测或者人体位姿、动作等识别检测时，对处理的图像具有较高的质量要求。比如，对于利用如照相机等图像采集设备采集到的图像，若在夜间或者阴雨天等光线不足的拍摄环境下进行拍摄，则得到的图像会存在显示不清晰的问题。由于图像仅有单一的图像特征，而图像不清晰会对这种图像特征造成影响，导致图像特征并不能较好的用于进行图像处理。这样的图像在经过图像处理后，容易出现检测结果不准确的问题。

基于上述研究，本公开提供了一种图像处理方法、装置、计算机设备及存储介质，通过获取不同图像类型的图像，以得到不同的图像特征。不同图像类型下获取的图像特征可以通过特征融合的方式，进行在特征上的相互补充，而通过为不同图像特征分别确定特征选择权重的方式，可以在进行特征融合时，将图像特征中不同图像类型下特有的特征部分进行融合。这样，得到的融合特征数据除了提供颜色特征外，还可以提供除颜色特征外的其他特征，因此在对图像进行处理时可以通过融合特征数据中多种维度的特征进行检测处理，提升检测结果的准确性。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像处理方法进行详细介绍，本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面对本公开实施例提供的图像处理方法加以说明。本公开实施例提供的图像处理方法，具体可以应用但不限于下述多个场景中。多个场景例如包括驾驶场景，比如应用于对车辆行驶过程中，针对车辆前方采集的图像进行图像处理，以得到车辆前方各对象(比如行人、其他车辆、障碍物等)等检测结果，从而根据检测结果进行行车避让，保证行车安全。或者，也可以包括运动检测场景，比如在运动员的训练过程中，通过对运动中的运动员进行图像采集，以通过图像处理的方式进行对人体位姿、动作的检测，以指导对运动员的运动姿态进行调整，达到更好的训练效果。又或者，可以包括虚拟现实的应用场景，通过对现实场景中的人物进行图像采集，以通过图像处理确定人物的动作，以在构建的虚拟场景中通过虚拟人物表达与现实场景中的人物相应的动作。上述的场景仅为可能的几种示例场景，其他可以进行图像处理的场景，均在本公开实施例的保护范围内，在此不再赘述。

参见图1所示，为本公开实施例提供的图像处理方法的流程图，所述方法包括步骤S101～S104，其中：

S101：获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征；其中，所述第一图像与所述第二图像的图像类型不同；

S102：基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重；

S103：基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据；

S104：基于所述融合特征数据进行目标检测处理，得到目标检测结果。

本公开实施例通过对不同图像类型下的第一图像和第二图像分别进行特征提取，以得到第一图像的第一图像特征和第二图像的第二图像特征，然后利用第一图像特征和第二图像特征确定各自分别对应的特征选择权重，以对第一图像特征和第二图像特征进行特征融合处理，并对融合处理后得到的融合特征数据进行目标检测处理，可以得到目标检测结果。由于在对图像进行处理时，可以通过融合特征数据中多种维度的特征进行检测处理，规避仅通过颜色特征进行图像处理时外界因素对图像的颜色特征造成的影响，以提高图像处理后得到的检测结果的准确性。

下面以驾驶场景为例，对上述S101～S104加以详细说明。

针对上述S101，首先对第一图像和第二图像进行说明。此处，第一图像和第二图像中分别至少包含不同图像类型下的图像信息，这种图像信息可以用于指示相应图像类型下的图像特征，不同图像类型下的图像特征并不完全相同。此处说明的图像类型不同，具体是指利用两种图像反应出的图像信息不同。示例性的，通过颜色空间表达的图像，比如红-绿-蓝通道(Red-Green-Blue，RGB)图像、色相-饱和度-明度通道(Hue-Saturation-Value，HSV)图像、亮度-蓝色色度-红色色度(Luminance-U-Chrominance-V-Chrominance)图像等，其反映出的图像信息包括各像素点的颜色信息。通过热成像方式获取的图像，比如热成像采集装置获取的热红外图像，其反映出的图像信息则包括图像中各对象的热红外辐射信息。通过坐标和深度值表达点云数据对应位置信息的图像，比如深度图像，其反应出的深度图像信息包括指示出的点云点在三维空间中的位置信息。

在一种可能的情况下，第一图像和第二图像例如是图像类型不同的原始采集图像。例如，第一图像包括由摄像机采集得到的RGB视频帧图像，第二图像包括热成像采集装置采集得到的热红外图像，在这种情况下，对第一图像和第二图像进行图像处理时，可以得到兼具颜色信息表达的图像特征和热红外辐射信息表达的图像特征的融合特征数据。又例如，第一图像包括采集得到的RGB图像，第二图像包括采集得到的深度图像，则在这种情况下，对第一图像和第二图像进行图像处理时，可以得到兼具颜色信息表达的图像特征和深度图像信息表达的图像特征的融合特征数据。

也即，若第一图像和第二图像均仅包含一个图像类型下的图像信息，则经过图像处理后，得到的融合特征数据会相应的包含在两种图像类型下的图像信息，也即融合了两种不同图像类型下的图像特征。

在另一种可能的情况下，第一图像和第二图像中可以有至少一个图像，其对应的图像特征已融合了两种及两种以上不同图像类型下的图像特征。例如，第一图像包括采集得到的RGB图像，第二图像包括融合了热红外辐射信息表达的图像特征以及深度图像信息表达的图像特征的特征融合图像。在该种情况下，对第一图像和第二图像进行图像处理后，可以得到兼具颜色信息表达的图像特征、热红外辐射信息表达的图像特征和深度图像信息表达的图像特征下的三种图像特征的融合特征数据，也即相较于采用两种不同图像类型下的原始采集图像进行图像处理的方式，可以得到兼具更多不同图像类型下的图像特征的融合特征数据。由于融合特征数据中可以包括不同图像类型下的图像特征，因此在进行目标检测处理时，具有更多可以用于检测的特征，因而可以更进一步提高目标检测处理的准确性。

另外，根据上述示例，若第一图像和/或第二图像中存在兼具了不同图像类型下的图像特征的特征融合图像，由于获得特征融合图像的方式通常也是根据两种不同图像类型下的采集到的图像进行特征融合的方式进行的，因此在获取特征融合图像以作为第一图像和/或第二图像时，也可以采用本公开实施例提供的图像处理方法完成对两种图像进行特征融合等的部分。又或者，可以直接将三种或三种以上的不同图像类型的图像进行图像处理，以得到具有三种或三种以上不同图像类型下的图像特征的融合特征数据。

具体地，可以根据实际情况选取合适的方式进行图像处理。比如，在具有三种图像类型下的图像时，可以先将其中两种图像类型下图像作为第一图像和第二图像，利用本公开实施例提供的图像处理方法对第一图像的第一图像特征和第二图像特征的特征融合。然后，利用得到的融合特征数据确定第一图像和第二图像的融合特征图像后，将融合特征图像作为新的第一图像，将未进行处理的第三种图像类型下的图像作为新的第二图像，并利用本公开实施例提供的处理方法进行处理。或者，直接将三种不同图像类型下的图像直接进行图像处理，则在获取图像特征的步骤上，会确定对三种图像分别进行特征提取，以将得到的不同图像特征进行特征融合。此处，并不在选取的方式上做出限定，通过特征融合的方式对多种图像类型下的图像进行图像处理的不同方式，均在本公开实施例的保护范围内。

下面，为便于说明，以第一图像和第二图像分别为仅具有一种图像类型下的图像特征的图像为例进行说明。此处仅列举一种可能的示例，并不对第一图像和第二图像的具体图像类型和包含的图像特征进行限定。

示例性的，参见图2所示，为本公开实施例提供的一种第一图像和第二图像的示意图。其中，第一图像为RGB图像，具体可以由摄像头、行车记录仪等图像采集设备进行拍摄得到，例如图2中(a)所示；第二图像为热成像图像，具体可以由热成像仪进行采集得到，例如图2中(b)所示。而对于运动检测的场景，则可以通过架设高速摄像机和热成像仪的方式对运动员分别进行拍摄，得到RGB图像类型的第一图像和热成像图像类型的第二图像。

针对图像采集的区域，例如上述说明的车辆前方区域，在一种可能的情况下，为了在后续步骤中进行图像处理时进行更好地特征融合，可以使图像采集设备以及热成像仪以相同的视角进行拍摄；或者，也可以在视角不同的情况下，通过对图像进行透视等操作，以对图像的视角进行调整。在另一种可能的情况下，也可以直接将不同视角下分别获取到的RGB图像和热成像图像分别作为第一图像和第二图像。此处图2中示出的示意图中，具体示出了在不同视角下分别拍摄得到的RGB图像和热成像图像。

通过图2可以看出，对应RGB图像的第一图像中可以较为清楚地显示车前方区域中的各个对象，包括在前方的行人、以及侧边的车辆和建筑。但在黑夜环境中，由于光线昏暗，并且四周建筑具有一定的灯光影响，第一图像中前方道路上的行人并不容易与其他对象区分开，以确定准确的位置。而对应热成像图像的第二图像中，由于温度较少受到光线的影响，相较而言可以在图像中较为明显地区分出多个对象，因此有益于在图像处理时确定存在对象的区域，但相较于第一图像而言并不能不能容易地判断和确定对象的分类。因此，在通过第一图像和第二图像进行图像处理，以进行目标检测时，具体可以通过对第一图像的特征和第二图像的特征进行融合的方式进行，以有效地利用不同图像类型下的特征优势，也即融合在一种图像类型的图像下具有、但另一种图像类型下并不具有或者并不能明显表达的图像特征，以利用融合后的特征数据实现更为准确地图像处理。

具体地，通过对第一图像和第二图像分别进行特征提取，可以得到第一图像的第一图像特征、以及第二图像的第二图像特征。由于第一图像和第二图像的图像类型不同，因此在进行特征提取时选取的参数等不同，因而将对第一图像进行特征提取的方式称为第一特征提取，将对第二图像进行特征提取的方式称为第二特征提取，以做出区分。

在具体实施中，在获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征时，具体可以采用下述方式：获取所述第一图像以及所述第二图像；针对任一图像，对该图像进行卷积处理，并对卷积处理后得到的结果进行压缩选择，得到该图像对应的图像特征。

以对第一图像进行第一特征提取，得到第一图像特征为例进行说明。在对第一图像进行卷积处理时，例如可以采用尺寸(以像素为单位)为1×1和3×3的卷积核先后对第一图像进行卷积处理，得到第一图像对应的中间图像特征，也即卷积处理后得到的结果。对于卷积处理后得到的结果，可以通过压缩选择的方式得到第一图像特征。其中，压缩选择具体包括对卷积处理后得到的结果进行全局池化和全连接操作，以通过乘法运算从卷积后得到的中间图像特征中选择得到第一图像的第一图像特征。

对第二图像进行第二特征提取的方式，与对第一图像进行第一特征提取的方式相同，但其中的参数可以具体根据图像类型的不同而做出相应地调整，以从第二图像中获取有效的第二图像特征，具体在此不再赘述。

这样，对于图像类型不同的第一图像和第二图像，可以分别获取到第一图像的第一图像特征，以及第二图像的第二图像特征。

针对上述S102，对于上述得到的第一图像特征和第二图像特征，在进行特征融合时，具体还可以确定分别对应的特征选择权重，以在融合前对其中的特征进行有效地选择，而非简单的特征叠加，以使得到的特征融合结果，也即下文中说明的融合特征数据，可以包含第一图像和第二图像中更具有检测优势的特征，以通过融合特征数据提高目标检测的准确性。

在具体实施中，在基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重时，可以采用下述方式：对所述第一图像特征以及所述第二图像特征进行第一特征融合处理，得到初始融合特征；基于所述初始融合特征，为所述第一图像特征以及所述第二图像特征确定特征重要性向量；利用所述特征重要性向量，确定所述第一图像特征以及所述第二图像特征分别对应的特征选择权重。

示例性的，为便于表述，将第一图像特征表示为U₁，并将第二图像特征表示为U₂。在对第一图像特征和第二图像特征进行第一特征融合处理后，得到的初始融合特征U例如可以采用下述公式(1)表示：

U＝U₁+U₂ (1)

此处，第一图像特征U₁和第二图像特征U₂均表述了多通道下的图像特征，因此在进行第一特征融合处理时，具体针对每一通道进行对应的特征融合处理。示例性的，第一图像特征U₁和第二图像特征U₂的通道数均为C，因此得到的初始融合特征U也对应C个通道。

在得到初始融合特征U的情况下，可以为第一图像特征U₁以及第二图像特征U₂确定特征重要性向量Z。

具体地，可以先对所述初始融合特征进行全局池化处理，得到中间融合特征；然后，对所述中间融合特征进行全连接处理，并对全连接处理后的中间融合特征进行归一化处理，得到所述特征重要性向量。

其中，在对初始融合特征进行全局池化处理后，例如可以得到尺寸为1×1×C的中间融合特征；对中间融合特征进行连续的全连接处理以及归一化处理，可以得到尺寸为1×1×C的特征重要性向量Z。此处，归一化处理具体例如包括softmax运算。

利用得到的特征重要性向量Z，可以确定第一图像特征U₁以及第二图像特征U₂分别对应的特征选择权重。具体地，利用特征重要性向量Z，可以为第一图像特征和第二图像特征，分别确定对应的特征选择权重。

其中，由于第一图像特征U₁以及第二图像特征U₂均包括C个通道，因此相应的特征选择权重均以通道为最小单位进行确定。为便于说明，第一图像特征U₁中包含的C个通道中的第c个对应记作

对应的特征选择权重记作a_c；第二图像特征U₂中第c个通道对应记作

对应的特征选择权重记作b_c。

此处，第一图像特征U₁对应的特征选择权重a_c、以及第二图像特征U₂对应的特征选择权重b_c，具体满足下述公式(2)：

此处，针对不同的图像特征，采用特征重要性向量进行权重的影响，可以得到相对应的特征选择权重。由于通过特征重要性向量进行了干预，并且考虑到了两种不同的图像特征，因此得到的特征选择权重可以在后续步骤中对图像特征进行选择时，选择出图像特征中更具有特征优势的部分，以利于在后续步骤中对图像处理时可以通过更显著的特征进行检测分析。

针对上述S103，在根据上述步骤确定第一图像特征和第二图像特征分别对应的特征选择权重的情况下，可以基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据。

在具体实施中，可以基于所述第一图像特征对应的特征选择权重，对所述第一图像特征进行特征选择，得到所述第一图像特征的第一选择特征数据；以及，利用所述第二图像特征对应的特征选择权重对所述第二图像特征进行特征选择，得到所述第二图像特征的第二选择特征数据；将所述第一选择特征数据和所述第二选择特征数据进行第二特征融合处理，得到所述融合特征数据。

延续上述示例，针对第c个通道，在基于第一图像特征对应的特征选择权重a_c，对第一图像特征

进行特征选择后，得到的第一选择特征数据U_1-c可以采用下述公式(3)表示：

相似的，针对第c个通道，在基于第二图像特征对应的特征选择权重b_c，对第二图像特征

进行特征选择后，得到的第二选择特征数据U_2-c可以采用下述公式(4)表示：

此处的点乘运算符“·”，表示对特征进行选择。

然后，利用第一选择特征数据U_1-c和第二选择特征数据U_2-c进行第二特征融合处理，得到融合特征数据U_Fuse-c时，融合特征数据U_Fuse-c满足下述公式(5)：

U_Fuse-c＝U_1-c+U_2-c (5)

此处，与上述第一特征融合处理的方式相似，在第二特征融合处理时以每个通道为基准进行特征融合，具体方式在此不再赘述。

这样，即可以得到对第一图像和第二图像分别对应的图像特征进行特征融合后得到的融合特征数据。

针对上述S104，由于通过上述步骤得到的融合特征数据可以保留第一图像和第二图像中具有特征优势的部分，也即具有两种不同图像类型下的互补信息，因此可以利用融合特征数据进行目标检测处理，以得到目标检测结果。由于融合特征数据能够具有图像类型不同的第一图像和第二图像中的不同特征，因此更易通过融合特征数据进行准确地目标检测，以获得更为准确地目标检测结果。

示例性的，参见图3所示，为本公开实施例提供的一种目标检测结果的示意图。具体地，利用融合特征数据，例如可以得到对第一图像和/或第二图像中对象的标注结果，作为目标检测结果。在该种情况下，目标检测结果包括但不限于对象的类别信息以及位置信息。在图3中，具体以标注框31和标注框32的形式，对两个对象类别为行人的对象分别进行了标注，标注信息可以反应两个行人的当前位置。

进一步地，由于通过本公开实施例提供的图像处理方法，可以使得到的目标检测结果更准确，因此在不同的场景下，也可以利用目标检测结果进一步地进行提示、控制等处理，以实现在不同场景下相应的不同作用。

例如，在驾驶场景下，利用目标检测结果可以对车辆进行安全驾驶的提醒、告警以及控制。例如，在目标检测结果指示车辆前方有行人时，可以通过提醒或告警的方式提示驾驶人员注意避让行人，或者可以通过生成相应的控制信息的方式，控制自动驾驶车辆进行避让。由于目标检测结果较为准确，因此进一步生成的提示信息或控制信息的准确性也更高，能够有效地保障车辆的行车安全。或者，在运动检测场景下，利用目标检测结果可以对运动员的当前训练过程进行指导。例如，在目标检测结果指示运动员当前动作存在运动损伤风险时，可以通过提示信息的方式告知运动员进行动作的调整，以辅助运动员进行安全、正规的动作训练等。又或者，在虚拟现实的应用场景中，利用目标检测结果可以对虚拟场景中的虚拟人物进行控制。例如，目标检测结果指示现实场景中的人物正在前进，则可以利用目标检测结果反应的动作信息生成对虚拟场景中虚拟人物的动作控制指令，以控制虚拟人物相应的完成前进动作，以实现虚拟人物与现实场景中人物动作的同步，达到现实场景中的人物对虚拟人物进行控制的效果。

在本公开另一实施例中，在将本公开实施例提供的图像处理方法部署在硬件设备，以利用硬件设备在车辆、运动捕捉设备等设备上进行部署时，可以通过将图像处理方法应用于预选训练好的网络中，并将利用网络部署在硬件设备上的方式进行。其中，网络具体包括特征编码器、特征重加权器、以及目标检测器，对应完成上述实施例中的多个处理步骤。具体地，参见图4所示，为本公开实施例提供的一种网络的示意图，其中，

所述特征编码器41，用于获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征；其中，所述第一图像与所述第二图像的图像类型不同；

所述特征重加权器42，用于基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重；基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据；

所述目标检测器43，用于基于所述融合特征数据进行目标检测处理，得到目标检测结果。

在一种可能的情况下，若选择对两种具有不同图像类型下的图像信息的第一图像和第二图像进行图像处理，则特征编码器41例如包括对第一图像进行第一特征提取的第一特征编码器和对第二图像进行第二特征提取的第二特征编码器。在另一种可能的情况下，若选择对多种不同图像类型下的图像进行图像处理，特征编码器41也相应的包含与多个不同类型下的图像分别对应的特征编码器。

为便于说明，下述实施例中仍以对两种具有不同图像类型下的图像进行图像处理的方式为例进行说明，则在特征编码器41中包括第一特征编码器和第二特征编码器。以第一特征编码器为例，示例性的，参见图5所示，为本公开实施例提供的一种第一特征编码器的结构示意图。

对于第一特征编码器，可以应用YOLOv3作为主干网络，并采用残差结构提高对第一图像进行第一特征提取时的效率，并缓解由于网络深度加深产生的过拟合问题。第一特征编码器在对第一图像进行处理得到第一图像特征时，先经过包含两个不同尺寸的卷积核的卷积层，对第一图像进行卷积处理，得到中间图像特征；然后，中间图像特征通过包含全局池化层和全连接层的压缩选择网络(Squeeze-and-Excitation Networks，SENet)进行压缩选择处理，以得到第一图像特征。

对于第二特征编码器，采用的网络结构与第一特征编码器相似，但具体采用的网络参数不同。因此，在该种情况下，特征编码器的具体结构例如图6所示，包含网络结构相似的第一特征编码器411和第二特征编码器412。其中，第一特征编码器411和第二特征编码器412分别对第一图像和第二图像的处理过程，具体过程可以参见上述对应的说明，在此不再重复赘述。

对于特征重加权器42，参见图7所示，为本公开实施例提供的一种特征重加权器的示意图。其中，特征重加权器42的输入数据为第一图像特征以及第二图像特征，在通过加法器(在图7中以

符号表示)对第一图像特征U₁和第二图像特征U₂进行第一特征融合处理后，得到初始融合特征U。然后，对于初始融合特征U，通过全局池化层和全连接层的处理，得到特征重要性向量Z。利用特征重要性向量Z，可以为第一图像特征U₁确定在第c个通道下的特征选择权重a_c、以及为第二图像特征U₂确定在第c个通道下的特征选择权重b_c。

针对第c个通道，可以采用乘法器(在图7中以

符号表示)通过特征选择权重a_c对第一图像特征

进行特征选择，得到的第一选择特征数据U_1-c。相似的，可以采用另一乘法器通过特征选择权重b_c对第二图像特征

进行特征选择，得到第二选择特征数据U_2-c。此处，采用两个乘法器分别进行特征选择的处理，可以实现同步处理，提高特征选择的效率。

在获得第一选择特征数据U_1-c以及第二选择特征数据U_2-c后，利用加法器可以进行第二特征融合处理，得到融合特征数据U_Fuse-c。

此处，特征重加权器42对第一图像特征和第二图像特征进行处理，得到融合特征数据的具体说明，可以参见上述对应部分的描述，此处同样不再赘述。

对于目标检测器43，具体可以通过卷积神经网络等主干网络搭建，并承担利用融合特征数据进行目标检测的任务。此处，在不同的场景下，目标检测的具体任务不同，因此在确定利用融合特征数据进行目标检测时，根据实际的应用场景确定目标检测器43实际执行的目标检测的具体任务。示例性的，在驾驶场景中，目标检测任务具体可以包括对行人、其他车辆、障碍物等对象的分类检测，并确定各对象的位置，比如得到图像中各对象的标注框。在运动检测场景中，目标检测任务具体可以包括对其中的人物进行位姿检测和/或动作检测，以确定人物的动作是否规范。在虚拟现实的应用场景中，目标检测任务具体可以包括对现实场景中的人物进行动作检测，以获取动作信息。

另外，由于不同场景下目标检测器43执行的具体任务不同，因此在不同场景下选用的目标检测器43也根据具体任务的不同而有所区别，此处说明的区别包括但不限于网络类型的区别，以及在同种网络下使用的网络参数的区别。

由于目标检测器43具体通过融合特征数据进行目标检测，因此可以在对特征编码器41和特征重加权器42训练后，通过得到的较为稳定且准确的融合特征数据进行对目标检测器43的训练；或者，目标检测器43也可以与特征编码器41和特征重加权器42进行联合训练，在本公开实施例中并不对此两种训练方式进行限定。

此处，若选用目标检测器43，与特征编码器41和特征重加权器42进行联合训练的方式，可以得到一个“端对端”的模型，使目标检测器43能够更适用于对特征重加权器42输出的融合特征数据进行处理，也即目标检测器43能够更适应特征重加权器42输出的融合特征数据的特征。这样，能够进一步地提高目标检测器43对融合特征数据进行数据处理后，得到的目标检测结果的精度。

其中，以对特征编码器41和特征重加权器42进行训练的方式为例进行说明。在具体实施中，可以采用下述步骤A1-A5训练特征编码器41和特征重加权器42：

A1：获取第一样本图像以及第二样本图像；其中，所述第一样本图像与所述第二样本图像的图像类型不同。

此处，在选取第一样本图像和第二样本图像时，可以根据在实际应用场景中选取的第一图像和第二图像分别对应的图像类型，选取在两种图像类型下分别对应的第一样本图像和第二样本图像。例如，在上述示例中，第一图像为通过颜色空间表达的RGB图像，而第二图像为通过热成像方式获取的热成像图像，则第一样本图像可以相应的选取RGB图像，第二样本图像可以相应的选取热成像图像。另外，第一样本图像和第二样本图像可以选取在同一视角下拍摄的图像，也即在显示的画面上对齐的图像。或者在视角不同时提供对应的标注标签，以在训练时使网络有目的的学习图像特征，以提升检测能力。

此处，在不同的应用场景下，标注标签也有所区别。示例性的，对于驾驶场景下用于训练的样本图像，对应的标注标签例如包括在样本图像上对其中包含的各个对象的标注框。而对于运动检测场景下用于训练的样本图像，对应的标注标签例如可以是其中包含的人体对应的人体关键点的位置，以及对应的动作信息等。

A2：利用待训练的特征编码器对所述第一样本图像进行第一特征提取，得到第一样本特征；以及利用所述待训练的特征编码器对所述第二样本图像进行第二特征提取，得到第二样本特征。

此处，待训练的特征编码器，在进行第一特征提取和第二特征提取时的具体方式，与上述实施例中说明的特征编码器对第一图像进行第一特征提取的过程、以及对第二图像进行第二特征提取的过程相似，在此不再重复赘述。

A3：利用待训练的特征重加权器，确定所述第一样本特征和所述第二样本特征分别对应的样本特征选择权重，并基于所述第一样本特征和所述第二样本特征分别对应的样本特征选择权重，对所述第一样本特征以及所述第二样本特征进行特征融合，得到样本融合特征数据。

此处，待训练的特征重加权器，在对第一样本特征和第二样本特征进行特征融合，确定样本融合特征数据的方式，与上述实施例中说明的特征重加权器为第一图像特征和第二图像特征进行特征融合，得到融合特征数据的方式相似，在此同样不再重复赘述。

A4：利用特征解码器对所述样本融合特征数据进行第一解码处理和第二解码处理，得到所述第一样本图像对应的第一解码图像，以及所述第二样本图像对应的第二解码图像。

此处，特征解码器具体由反卷积层和上采样层构成的。特征解码器可以是预先训练好的，或者也可以在此过程中作为待训练的特征解码器，与待训练的特征编码器和待训练的特征重加权器共同进行训练。

与上述特征编码器41相对应的，在一种可能的情况下，若选择对两种具有不同图像类型下的图像信息的第一图像和第二图像进行图像处理，特征编码器41包括第一特征编码器411和第二特征编码器412，相应的特征解码器包括第一特征解码器和第二特征解码器。在另一种可能的情况下，若选择对多种不同图像类型下的图像进行图像处理，特征编码器41相应的包含与多个不同类型下的图像分别对应的特征编码器，特征解码器也相应的包含与多个不同类型下的图像分别对应的特征解码器。

为便于说明，下述实施例中仍以对两种具有不同图像类型下的图像进行图像处理的方式为例进行说明，则在特征解码器中包括第一特征解码器和第二解码编码器。参见图8所示，为本公开实施例提供的一种特征解码器的示意图，特征解码器44包括第一特征解码器441以及第二特征解码器442。其中，第一特征解码器441将样本融合特征数据解码，以“还原”为第一样本图像的图像类型下对应的第一解码图像；相应的，第二特征解码器442将样本融合特征数据解码，得到第二样本图像的图像类型下对应的第二解码图像。也即，第一特征解码器441以及第二特征解码器442分别对应的网络参数并不相同。

A5：基于第一样本图像、第二样本图像、第一解码图像、以及第二解码图像，确定特征对比损失；基于所述特征对比损失更新所述待训练的特征编码器和所述待训练的特征重加权器，得到所述特征编码器、以及所述特征重加权器。

其中，特征对比损失具体包括下述至少一种：同类特征对比损失以及非同类特征对比损失。其中，所述同类特征对比损失包括下述至少一种：所述第一样本图像和所述第一解码图像的第一特征对比损失，以及所述第二样本图像和所述第二解码图像的第二特征对比损失；所述非同类特征对比损失包括下述至少一种：所述第一样本图像和所述第二解码图像的第三特征对比损失，以及所述第二样本图像和所述第一解码图像的第四特征对比损失。

为了进行便于说明，参见图9所示，为本公开实施例提供的另一种网络的示意图，该网络用于进行对网络中各部分进行训练。在该网络中，包括上述说明的特征编码器41、特征重加权器42以及特征解码器44，其中省略部分网络结构和数据的标注。在确定特征对比损失时，通过相同图像类型的第一样本图像和第一解码图像，可以确定第一特征对比损失，以及通过相同图像类型的第二样本图像和第二解码图像，可以确定第二特征对比损失，在图中以实线示出。对于第一特征对比损失和第二特征对比损失，由于这两种特征对比损失均是根据相同图像类型的图像确定的，因此可以合并为同类特征对比损失。

相似的，通过不同图像类型的第一样本图像和第二解码图像，可以确定第三特征对比损失，以及通过不同图像类型的第二样本图像和第一解码图像，可以确定第四特征对比损失，在图中以虚线示出。对于第三特征对比损失和第四特征对比损失，由于这两种特征对比损失均是根据不同图像类型的图像确定的，因此可以合并为非同类特征对比损失。

在具体实施中，在确定特征对比损失时，可以采用计算均方误差(mean-squareerror，MSE)的方式实现。具体地，得到的第一特征对比损失L_{1_1'}、第二特征对比损失L_{2_2'}、第三特征对比损失L_{1_2'}、以及第四特征对比损失L_{2_1'}满足下述公式(6)：

其中，为便于表述，在公式中“1”对应第一样本图像，“2”对应第二样本图像，“1'”对应第一解码图像，“2'”对应第二解码图像。

此处，选用了交叉损失(cross loss)函数平衡样本图像和解码图像，可以使得两种图像类型的图像中，一种图像类型的图像可以与另一种图像类型的图像相接近。这样在计算损失时得到的特征对比损失也较小。若在计算损失时得到的特征对比损失较小，则说明对于得到的样本融合特征数据中表达的大部分特征仅与一种图像类型对应，也即说明了在得到样本融合特征时，两种图像类型的图像中互补的特征并不参与特征融合，而是进行了较好的保留。对于实际的应用过程，得到的融合特征数据，同样的会包含两种不同图像类型的图像中可以互补的特征，而对于两种不同的图像而言，互补的特征可以补充自身图像类型下的缺陷或不足，因此相较于单一的采用两种不同图像类型下的图像进行目标检测的方式，更易于进行准确地目标检测。

在利用特征对比损失更新待训练的特征编码器和待训练的特征重加权器时，更新的方向为使特征对比损失减小的方向。在具体实施中，特征对比损失L具体可以满足下述公式(7)：

L＝L_{1_1'}+L_{2_2'}+L_{1_2'}+L_{2_1'} (7)

具体地，可以采用随机梯度下降的算法最小化特征对比损失L，以得到在特征对比损失L最小时的特征编码器、特征重加权器，或者还可以包括特征解码器，以完成对网络中的结构进行训练的过程。

这样，对于训练后得到的特征编码器以及特征重加权器，可以应用于图4所示出网络中，以对实际应用中获取的第一图像和第二图像进行图像处理，得到较为准确的目标检测结果。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与图像处理方法对应的图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图10所示，为本公开实施例提供的一种图像处理装置的示意图，所述装置包括：获取模块11、确定模块12、特征融合模块13、处理模块14；其中，

获取模块11，用于获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征；其中，所述第一图像与所述第二图像的图像类型不同；

确定模块12，用于基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重；

特征融合模块13，用于基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据；

处理模块14，用于基于所述融合特征数据进行目标检测处理，得到目标检测结果。

一种可选的实施方式中，所述获取模块11在获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征时，用于：获取所述第一图像以及所述第二图像；针对任一图像，对该图像进行卷积处理，并对卷积处理后得到的结果进行压缩选择处理，得到该图像对应的图像特征。

一种可选的实施方式中，所述确定模块12在基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重时，用于：对所述第一图像特征以及所述第二图像特征进行第一特征融合处理，得到初始融合特征；基于所述初始融合特征，为所述第一图像特征以及所述第二图像特征确定特征重要性向量；利用所述特征重要性向量，确定所述第一图像特征以及所述第二图像特征分别对应的特征选择权重。

一种可选的实施方式中，所述确定模块12在基于所述初始融合特征，为所述第一图像特征以及所述第二图像特征确定特征重要性向量时，用于：对所述初始融合特征进行全局池化处理，得到中间融合特征；对所述中间融合特征进行全连接处理，并对全连接处理后的中间融合特征进行归一化处理，得到所述特征重要性向量。

一种可选的实施方式中，所述确定模块12在利用所述特征重要性向量，确定所述第一图像特征以及所述第二图像特征分别对应的特征选择权重时，用于：基于所述特征重要性向量、所述第一图像特征、和所述第二图像特征，为所述第一图像特征和所述第二图像特征分别确定对应的特征选择权重。

一种可选的实施方式中，所述特征融合模块13在基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据时，用于：基于所述第一图像特征对应的特征选择权重，对所述第一图像特征进行特征选择，得到所述第一图像特征的第一选择特征数据；以及，利用所述第二图像特征对应的特征选择权重对所述第二图像特征进行特征选择，得到所述第二图像特征的第二选择特征数据；将所述第一选择特征数据和所述第二选择特征数据进行第二特征融合处理，得到所述融合特征数据。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

本公开实施例还提供了一种计算机设备，如图11所示，为本公开实施例提供的计算机设备结构示意图，包括：

处理器10和存储器20；所述存储器20存储有处理器10可执行的机器可读指令，处理器10用于执行存储器20中存储的机器可读指令，所述机器可读指令被处理器10执行时，处理器10执行下述步骤：

获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征；其中，所述第一图像与所述第二图像的图像类型不同；基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重；基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据；基于所述融合特征数据进行目标检测处理，得到目标检测结果。

上述存储器20包括内存210和外部存储器220；这里的内存210也称内存储器，用于暂时存放处理器10中的运算数据，以及与硬盘等外部存储器220交换的数据，处理器10通过内存210与外部存储器220进行数据交换。

上述指令的具体执行过程可以参考本公开实施例中所述的图像处理方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种图像处理方法，其特征在于，包括：

获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征；其中，所述第一图像与所述第二图像的图像类型不同；

基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重；

基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据；

基于所述融合特征数据进行目标检测处理，得到目标检测结果。

2.根据权利要求1所述的方法，其特征在于，获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征，包括：

获取所述第一图像以及所述第二图像；

针对任一图像，对该图像进行卷积处理，并对卷积处理后得到的结果进行压缩选择处理，得到该图像对应的图像特征。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重，包括：

对所述第一图像特征以及所述第二图像特征进行第一特征融合处理，得到初始融合特征；

基于所述初始融合特征，为所述第一图像特征以及所述第二图像特征确定特征重要性向量；

利用所述特征重要性向量，确定所述第一图像特征以及所述第二图像特征分别对应的特征选择权重。

4.根据权利要求3所述的方法，其特征在于，所述基于所述初始融合特征，为所述第一图像特征以及所述第二图像特征确定特征重要性向量，包括：

对所述初始融合特征进行全局池化处理，得到中间融合特征；

对所述中间融合特征进行全连接处理，并对全连接处理后的中间融合特征进行归一化处理，得到所述特征重要性向量。

5.根据权利要求3或4所述的方法，其特征在于，利用所述特征重要性向量，确定所述第一图像特征以及所述第二图像特征分别对应的特征选择权重，包括：

基于所述特征重要性向量、所述第一图像特征、和所述第二图像特征，为所述第一图像特征和所述第二图像特征分别确定对应的特征选择权重。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据，包括：

基于所述第一图像特征对应的特征选择权重，对所述第一图像特征进行特征选择，得到所述第一图像特征的第一选择特征数据；以及，利用所述第二图像特征对应的特征选择权重对所述第二图像特征进行特征选择，得到所述第二图像特征的第二选择特征数据；

将所述第一选择特征数据和所述第二选择特征数据进行第二特征融合处理，得到所述融合特征数据。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述图像处理方法应用于预先训练好的网络中；所述网络包括；特征编码器、特征重加权器、以及目标检测器；其中，

所述特征编码器，用于获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征；其中，所述第一图像与所述第二图像的图像类型不同；

所述特征重加权器，用于基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重；基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据；

所述目标检测器，用于基于所述融合特征数据进行目标检测处理，得到目标检测结果。

8.一种图像处理装置，其特征在于，包括：

获取模块，用于获取对第一图像进行第一特征提取得到的第一图像特征，以及对第二图像进行第二特征提取得到的第二图像特征；其中，所述第一图像与所述第二图像的图像类型不同；

确定模块，用于基于所述第一图像特征和所述第二图像特征，确定所述第一图像特征和所述第二图像特征分别对应的特征选择权重；

特征融合模块，用于基于所述第一图像特征和所述第二图像特征分别对应的特征选择权重，对所述第一图像特征以及所述第二图像特征进行特征融合，得到融合特征数据；

处理模块，用于基于所述融合特征数据进行目标检测处理，得到目标检测结果。

9.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至7任一项所述的图像处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至7任一项所述的图像处理方法的步骤。