CN112668675B - 一种图像处理方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本申请实施例提出一种图像处理方法、装置、计算机设备及存储介质，可以应用于自动驾驶、智慧交通等场景。该方法具体是：获取目标领域的待检测图像；对待检测图像进行处理，以得到待检测图像的头部特征图，头部特征图包括待检测图像中所述目标类型的对象的位置特征分布数据；根据头部特征图确定待检测图像的检测结果，检测结果包括待检测图像中目标类型的对象的位置数据。通过本方案，可以提高对象检测的效率和准确度。

Description

一种图像处理方法、装置、计算机设备及存储介质

技术领域

本申请涉及互联网技术领域，尤其涉及一种图像处理方法、装置、计算机设备及存储介质。

背景技术

随着深度学习技术的不断发展，基于深度学习的图像目标检测技术被广泛应用于人们的日常生活中以及工业领域中。

目前，常用的目标检测主要是通过源领域的样本图像和样本图像的标注进行检测网络模型的训练，然后对目标领域的样本图像进行人工标注，并通过带有标注的目标领域的样本图像对检测网络模型进行微调，从而达到模型也能检测目标领域图像的目的。由于人工介入浪费人力和耗费时间，并且人工介入可能由于主观因素，导致对样本图像的标注不够准确，从而对图像处理的效果不佳。

发明内容

本申请实施例提出了一种图像处理方法、装置、计算机设备及存储介质，可以提高对象检测的效率和准确度。

本申请实施例一方面提供了一种图像处理方法，包括：

获取目标领域的待检测图像；

对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，所述头部特征图包括所述待检测图像中目标类型的对象的位置特征分布数据；

根据所述头部特征图确定所述待检测图像的检测结果，所述检测结果包括所述待检测图像中所述目标类型的对象的位置数据。

本申请实施例一方面提供了一种图像处理装置，包括：

获取单元，用于获取目标领域的待检测图像；

处理单元，用于对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，所述头部特征图包括所述待检测图像中目标类型的对象的位置特征分布数据；

确定单元，用于根据所述头部特征图确定所述待检测图像的检测结果，所述检测结果包括所述待检测图像中所述目标类型的对象的位置数据。

本申请实施例一方面提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述各实施例中的方法。

本申请实施例一方面提供了一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，执行上述各实施例中的方法。

本申请实施例一方面提供了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中，计算机指令被终端设备的处理器执行时，执行上述各实施例中的方法。

通过本申请实施例提供的图像处理方法，可以对待检测图像进行处理，得到检测图像的头部特征图，其中，头部特征图包括所述待检测图像中目标类型的对象的位置特征分布数据。然后，根据检测图像的头部特征图即可确定待检测图像的检测结果。相比于人工标注目标领域的样本图像，本申请无需人工标注目标领域的样本图像，并可以自动识别得到待检测图像的检测结果，从而提高了对象检测的效率和准确度。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种目标检测系统的结构示意图；

图2a是本申请实施例提供的一种源领域的样本图像的场景示意图；

图2b是本申请实施例提供的一种目标领域的样本图像的场景示意图；

图2c是本申请实施例提供的一种训练样本检测网络模型的数据流程图；

图2d是本申请实施例提供的一种训练样本检测网络的整体流程示意图；

图2e是本申请实施例提供的一种图像处理的场景示意图；

图2f是本申请实施例提供的另一种图像处理的场景示意图；

图3是本申请实施例提供的一种图像处理方法的流程示意图；

图4是本申请实施例提供的一种对象表征形式的示意图；

图5是本申请实施例提供的一种头部特征图的结构示意图；

图6a是本申请实施例提供的一种特征金字塔网络模块的结构示意图；

图6b是本申请实施例提供的一种压缩-激励模块的结构示意图；

图6c是本申请实施例提供的一种激励模块的工作原理的流程示意图；

图7是本申请实例提供的一种训练对象检测网络模型的流程示意图；

图8是本申请实施例提供的一种确定检测损失的流程示意图；

图9是本申请实施例提供的一种确定熵损失的流程示意图；

图10是本申请实施例提供的一种图像处理装置的结构示意图；

图11是本申请实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中所涉及到的“第一”、“第二”等描述仅用于描述目的，而不能理解为指示或者暗示其相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的技术特征可以明示或者隐含的包括至少一个该特征。

为了能够更好地理解本申请实施例，下面对本申请实施例涉及的专业术语进行介绍：

目标检测：指图像维度上的包裹感兴趣物体框体的检测技术。

领域迁移：指将算法/模型从一种数据分布的源领域，在另一种数据分布的目标领域上进行学习与应用。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本申请实施例提供的方案属于人工智能领域下属的自然语言处理技术和深度学习技术。

深度学习(Deep Learning，DL)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

在本申请中，主要涉及通过迁移学习技术和深度学习技术对待检测图像进行处理，以得到待检测图像的检测结果。具体的，可以根据深度学习技术，调用对象检测网络模型对待检测图像进行处理，以得到待检测图像的头部特征图。由于待检测图像为目标领域的图像，而对象检测网络模型是基于源领域的第一样本图像、第一样本图像中目标类型的对象的标注数据和目标领域的第二样本图像训练后得到的，从而实现了从源领域到目标领域的迁移学习。后续，当获取到目标用户的目标检测请求时，可以根据对象检测网络模型对目标领域的待检测图像进行识别处理，从而确定待检测图像的检测结果。

本申请可以应用于如下场景：计算机设备可以基于仿真软件自动合成的仿真图像（即源领域的第一样本图像），以及基于仿真软件针对第一样本图像自动标注的标注数据，和真实场景下的图像（即目标领域的第二样本图像），无需标注第二样本图像，从而训练得到对象检测网络模型。后续，当获取到针对目标领域的图像（即待检测图像）的目标检测请求时，可以基于本申请提供的方案，调用对象检测网络模型对待检测图像进行识别处理，从而确定出待检测图像的检测结果。例如，检测结果可以为指示框等等。

举例来说，在智慧交通、自动驾驶等场景中的基于深度学习的车辆检测任务，通过申请提供的方案，可以摆脱神经网络对于真实场景下的标签依赖，即通过本申请真实场景下的图像无需标注车辆，利用仿真场景下的图像与标注数据，采用熵优化的思想，训练具备领域迁移能力的对象检测网络模型，从而在真实世界中有着合理的车辆检测效果。

请参见图1，图1是本申请实施例提供的一种数据处理系统的结构示意图。服务器140以及计算机设备集群，其中，计算机设备集群可以包括：计算机设备110、计算机设备120、...、计算机设备130等。计算机设备集群与服务器140可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。

图1所示的服务器140可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（Content Delivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器。

图1所示的计算机设备110、计算机设备120、计算机设备130等可以是手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备（MID，mobile internet device）、车辆、路边设备、飞行器、可穿戴设备，例如智能手表、智能手环、计步器等，等具有数据处理功能的智能设备。

以计算机设备110为例，计算机设备110获取目标领域的待检测图像；然后，计算机设备110将待检测图像发送至服务器140。服务器140对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，所述头部特征图包括所述待检测图像中所述目标类型的对象的位置特征分布数据；最后，服务器140根据所述头部特征图确定所述待检测图像的检测结果，所述检测结果包括所述待检测图像中所述目标类型的对象的位置数据。

后续，当服务器140获取到目标用户的目标检测请求时，其中，目标检测请求携带待检测图像。然后，服务器140可以将待检测图像中目标类型的对象的位置数据发送至计算机设备110。进一步地，计算机设备110可以根据待检测图像中目标类型的对象的位置数据展示指示框。具体来说，不同类型的对象的指示框的颜色不同。

需要说明的是，调用对象检测网络模型对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，以及根据所述头部特征图确定所述待检测图像的检测结果。也可以由计算机设备110或者计算机设备集群中任意的计算机设备来执行。

可以理解的是，本申请实施例描述的系统架构示意图是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

请参见图2a，图2a是本申请实施例提供的一种源领域下的第一样本图像的场景示意图。本申请中，可以选定一批训练样本用于模型训练，即选定用于模型训练的样本图像集合，样本图像集合包括源领域下的第一样本图像和目标领域下的第二样本图像。其中，源领域下的第一样本图像是指：原始领域的数据样本，包括样本图像和带有目标级真值标注（bounding box）的标签数据（可记为标注数据）。并且，源领域下的样本图像为仿真图像，即可以通过电脑自动合成的图像，通常是使用专业的仿真软件获得，仿真软件如UE4软件（UNREAL ENGINE）。目标领域下的第二样本图像是指：新任务场景中的目标领域的数据样本，即真实场景下的图像。并且目标领域下的样本图像只有图像，没有真值标注，也就是说，目标领域即为领域迁移任务所关注的泛化检测场景。

举例来说，如图2a所示，图2a可以为UE4软件合成的一种第一样本图像的场景示意图。图2a所示的第一样本图像具体可以为源领域下的第一样本图像，该源领域下的第一样本图像包括真值标注，其中，真值标注具体可以为杆牌真值标注。例如，F10为杆真值标注，F20为牌真值标注。另外，请参见图2b，图2b是本申请实施例提供的一种目标领域下的第二样本图像的场景示意图，第二样本图像中不包括真值标注。

在一种可能的实现方式中，可以根据源领域的第一样本图像、第一样本图像中目标类型的对象的标注数据和目标领域的第二样本图像，训练样本检测网络模型。请参见图2c，图2c是本申请实施例提供的一种训练样本检测网络模型的数据流程示意图。如图2c所示，虚线箭头所指为源领域（带有标注数据）的数据流部分，实线箭头所指为目标领域（不含标注数据）的数据流部分。可以看出，源领域数据流和目标流域数据流在单阶段检测网络方面是相同的。不同的是，在获得头部特征图后，目标领域的数据需要额外进行一次熵优化模块的计算。

以具体的业务场景为例：源领域为仿真图像及其杆牌物体的标注数据，标注数据包括至少一个类型。目标领域为真实场景中的图像。当然，在具体的业务场景中，标注数据的对象的类型数量可以根据业务场景或者业务需求的不同进行适应性调整，例如对象的类型数量可以为四种，除了识别待检测图像中是否包含杆、牌类型的对象，还可以识别待检测图像中是否包含猫、狗类型的对象。需要说明的是，第一样本图像中标注数据所包括的类型数量大于或者等于最终识别的待检测图像中包括的对象的类型数量。即仿真图像中标注数据包括两种对象的类型，如杆和牌，则调用训练后的样本检测网络模型可以识别到的待检测图像包括的目标类型的对象，同样为两种，杆和牌，不能识别其它类型的对象。

在一种可能的实现方式中，计算机设备根据源领域的第一样本图像、第一样本图像中目标类型的对象的标注数据和目标领域的第二样本图像，训练样本检测网络模型。请参见图2d，图2d是本申请实施例提供的一种训练样本检测网络的流程示意图。其中，样本检测网络模型包括特征提取模块和特征融合模块，每批次训练模型时，将源领域的第一样本图像和目标领域的第二样本图像共同输入到样本检测网络模型中，其中，第一样本图像包括目标类型的对象的标注数据，并且目标类型为至少一个类型，例如目标类型可以为杆、牌等等，第二样本图像不带标注数据。通过特征提取模块分别对第一样本图像和第二样本图像进行特征提取，分别得到第一样本图像对应的头部特征图和第二样本图像对应的头部特征图。然后，根据第一样本图像对应的头部特征图、第二样本图像对应的头部特征图的信息熵以及第一样本图像的目标类型的对象的标注数据，训练样本检测网络模型。

当训练后的样本检测网络模型满足模型收敛条件时，将样本检测网络模型作为对象检测网络模型，对象检测网络模型可以用于检测目标领域的图像中目标类型的对象。举例来说，请参见图2e，图2e是本申请实施例提供的一种图像处理的场景示意图。计算机设备显示图像处理界面，用户可以在相册中随机挑选一张图片作为待检测图像，然后点击发送按钮，服务器获取待检测图像。然后，服务器根据本申请提供的图像处理方法，确定待检测图像的头部特征图，并根据头部特征图确定待检测图像的检测结果，其中，检测结果包括待检测图像中目标类型的对象的位置数据。

在一种可能的实现方式中，本申请实施例提供的方案可应用于：对真实场景下的图像进行目标检测，即通过本申请提供的方案，调用对象检测网络模型对真实场景下的图像进行识别检测，确定真实场景下的图像的检测结果，例如，检测结果可以为包括至少一种类型的对象的指示框。

进一步地，请参见图2f，图2f是本申请实施例提供的另一种图像处理的场景示意图。计算机设备通过调用对象检测网络模型对待检测图像进行识别处理，待检测图像为目标领域的图像，若待检测图像为图2b所示的图像，通过本申请的对象检测网络模型，可以对待检测图像进行识别处理，并确定待检测图像的检测结果，其中，检测结果包括待检测图像中目标类型的对象的位置数据。进一步地，计算机设备可以根据位置数据，在待检测图像中通过指示框进行标注处理，如图2f所示，图2f中，确定待检测图像中包括杆和牌两种目标类型的对象，具体来说，杆是指S10，牌是指S20。并且，杆和牌的指示框的颜色可以不同，例如杆的指示框颜色可以为红色，牌的指示框颜色可以为蓝色。杆和牌的指示框的宽和高分别根据检测结果中包括的待检测图像中目标类型的对象的位置数据确定的。

通过本方案，能够在无需标注目标领域图像的情况下，将经由源领域有标注数据的样本图像和无标注数据的目标领域样本图像的信息熵训练出的对象检测网络模型，迁移至目标领域的任务图像上，从而极大的节约了甚至免去了目标领域图像的标注成本，实现了对目标领域的图像中指定对象的高效、准确的检测。

请参见图3，图3是本申请实施例提供的一种图像处理方法的流程示意图。该方法应用于计算机设备，如图3所示，该图像处理方法可包括步骤S310~S330。其中：

步骤S310：获取目标领域的待检测图像。

具体实现时，待检测图像是指：新任务场景中的目标领域的数据样本，只有图像，没有真值标注（即标注数据）。目标领域即为真实场景，例如日常生活中道路场景或者海上、江上等场景。例如，如图2b所示即为目标领域的待检测图像的示意图。

举例来说，用户可以从手机相册中随机选择某张图片作为待检测图像，或者用户可以根据实时拍摄生成待检测图像。如图2e所示，用户从手机相册中随机选择某张图片作为待检测图像，然后点击发送按钮，即计算机设备获取目标领域的待检测图像。

步骤S320：对所述待检测图像进行处理，以得到所述待检测图像的头部特征图。

其中，头部特征图包括待检测图像中目标类型的对象的位置特征分布数据。并且，头部特征图具体包括中心点特征图和宽高属性特征图，其中，中心点特征图中包括多个特征点，每个特征点代表与该特征点对应的待检测图像中的像素点为目标类型的对象的中心点的概率。宽高属性特征图的维度为2，意思是说，宽高属性特征图具体是由宽属性特征图和高属性特征图组成，并且宽属性特征图和高属性特征图的图尺寸相同。另外，中心点特征图的图尺寸与宽高属性特征图的图尺寸同样相同。例如，中心点特征图的图尺寸与宽高属性特征图的图尺寸均为h*w。宽属性特征图中包括多个特征点，每个特征点代表与该特征点对应的待检测图像中的像素点对应的预测宽；同理，高属性特征图中包括多个特征点，每个特征点代表与该特征点对应的待检测图像中的像素点对应的预测高。

举例来说，如图4所示，图4是本申请实施例提供的一种对象表征形式的示意图。本申请实施例对于对象的表征形式为中心点+宽高属性的形式。则头部特征图分别对二者进行预测，即中心点特征图和宽高属性特征图。其中，中心点特征图的维度为h*w*C，宽高属性预测特征图的维度是h*w*2，C为所要预测的目标类型的类型数量。以杆牌检测为例，C=2，即杆、牌两类物体；而宽高特征图的维度固定为2，分别表示了对于宽的预测值和高的预测值。特征图上的每个特征点分别表达了该坐标位置处，是目标类型的对象的中心点的概率和宽高的预测值。

进一步地，如图5所示，图5是本申请实施例提供的一种头部特征图的结构示意图。针对头部特征图，具体包括两个特征图，一个是中心点特征图h*w*C，C是类型数量，如图5所示，C=2。对于c=1（譬如杆）类型，ij位置处值为0.8，那么意味着在ij位置处，有检测响应，物体中心位置是ij，该对象为杆的中心点的概率为0.8。同理，对于c=2（譬如牌）类型，ij位置处值为0.2，那么意味着在ij位置处，有检测响应，物体中心位置是ij，该对象为牌的中心点的概率为0.2。另外一个是宽高属性特征图，h*w*2，表示对象的宽高属性信息，例如ij位置处的值分别为10，20，表示ij位置处的对象，宽高分别为10，20。其中，10和20为特征图的尺寸。若需计算原图尺寸，则通常需要按照降采样倍数换算，例如*=4，40，80。

步骤S330：根据所述头部特征图确定所述待检测图像的检测结果，所述检测结果包括所述待检测图像中所述目标类型的对象的位置数据。

具体实现时，位置数据可以包括指示框，位置数据具体可以包括：待检测图像是目标类型的对象的中心点的预测概率，和待检测图像是目标类型的对象对应的指示框的宽和高。

在一种可能的实现方式中，头部特征图包括中心点特征图和宽高属性特征图。其中，中心点特征图包括待检测图像中每个像素点为目标类型的对象的中心点的概率，宽高属性特征图包括待检测图像中每个像素点对应的宽高数据。

具体地，首先，计算机设备根据中心点特征图确定待检测图像中目标类型的对象的中心点。然后，计算机设备根据中心点以及中心点处的像素对应的宽高数据，确定待检测图像中目标类型的对象的指示框。最后，计算机设备将目标类型的对象的指示框作为目标类型的对象的位置数据。

举例来说，待检测图像中每个像素点对应头部特征图中的一个特征点。例如，C=1时，坐标（i，j）位置处值为0.99，那么意味着在（i，j）位置处，对于C=1（譬如狗）类别，有检测响应，物体中心位置是（i，j），中心点的预测概率是0.99。另外一个是宽高属性特征图，h*w*2，表示物体的宽高属性信息，例如（i，j）位置处的值分别为10，20，表示ij位置处的物体，宽高分别为10，20。因此，可以确定待检测图像的检测结果，检测结果包括待检测图像中目标类型的对象的位置数据。

后续，计算机设备可以根据目标类型的对象的位置数据在待检测图像中将指示框标注出来，例如，指示框的中心点位置为（i，j），由于头部特征图中的宽高数据与原图尺寸之间通过按照降采样倍率（通常为4）进行换算，因此在原图（待检测图像）中的指示框的宽为40，高为80。另外，指示框的形状通常为矩形，但是，指示框的形状也可以根据待检测图像中包括的目标类型的对象来确定，若目标类型的对象为球体、圆形等，则指示框通常为圆形或者椭圆等等。指示框的形状可以根据目标类型的对象的形状，或者业务场景的不同进行灵活变化，本申请对此不作具体限定。当然，若目标类型不止一个类型，即目标类型包括两个及以上类型，则每种类型的指示框的颜色可以不同，以此便于在待检测图像中区分不同类型的对象。

通过本申请实施例提供的图像处理方法，可以处理目标领域的待检测图像，从而得到待检测图像的头部特征图。其中，头部特征图包括待检测图像中所述目标类型的对象的位置特征分布数据，并根据头部特征图确定待检测图像的检测结果。通过本方案，目标领域的第二样本图像无需标注即可训练得到对象检测网络模型，对象检测网络模型可以直接对目标领域的图像进行处理，从而得到检测结果，可以节省对目标领域图像的标注成本，提高对象检测的效率和准确度。

在一种可能的实现方式中，计算机设备可以调用对象检测网络模型对待检测图像进行处理，以得到待检测图像的头部特征图。其中，对象检测网络模型是通过对目标领域的样本图像进行熵优化得到的。具体来说，对象检测网络模型是基于源领域的第一样本图像、第一样本图像中目标类型的对象的标注数据和目标领域的第二样本图像训练后得到的。

通过本方案，相比于需要对目标领域的样本图像人工标注出检测对象或者人工设计合理的锚点集（anchor set），并且还需要采用双阶段训练的方式，双阶段训练需要标注候选框。目标领域的第二样本图像无需标注即可训练得到对象检测网络模型，而是利用目标领域的样本图像的信息熵进行熵优化训练得到对象检测网络模型。最后，训练得到的对象检测网络模型可以直接对目标领域的图像进行处理，从而得到检测结果，可以节省对目标领域图像的标注成本，提高对象检测的效率和准确度。

在一种可能的实现方式中，对象检测网络模型包括特征提取模块和特征融合模块。如图2d所示，图2d中的对象检测网络模型包括特征提取模块和特征融合模块。计算机设备调用对象检测网络模型对待检测图像进行处理，以得到待检测图像的头部特征图的具体实现方式可以包括：计算机设备调用特征提取模块对待检测图像进行特征提取，以得到待检测图像的初始特征图；调用特征融合模块对待检测图像和初始特征图进行特征融合，以得到待检测图像的头部特征图。其中，特征提取模块由卷积层（Conv）、批正则化（BN）、非线性激活（ReLU）、池化层（Pooling）组成。特征提取模块能够有效提取输入图像（待检测图像）的一种高维特征表达（即初始特征图）。

在一种可能的实现方式中，首先，计算机设备调用特征融合模块对待检测图像和初始特征图进行卷积处理和采样处理，得到第一特征图；然后，计算机设备调用特征融合模块对待检测图像和初始特征图进行压缩处理和激励处理，得到初始特征图对应的通道权重，并根据通道权重对初始特征图进行加权处理，得到第二特征图；最后，计算机设备对第一待融合特征图和第二待融合特征图进行融合处理，得到待检测图像的头部特征图。

举例来说，特征融合模块可以包括第一模块和第二模块，第一模块具体可以为特征金字塔网络（Feature Pyramid Networks，FPN）模块。请参见图6a，图6a是本申请实施例提供的一种特征金字塔网络模块的结构示意图。其中，FPN模块是融合待检测图像的初始特征图的低层和高层的特征图表征，从而得到第一特征图。

如图6a所示，FPN模块的基本运算单元同样是卷积层（Conv）、批正则化（BN）、非线性激活（ReLU）、池化层（Pooling），以及element-wise，的元操作。其中，element-wise包括element-wise sum（相加运算）和element-wise mul（相乘运算）。图6a所示的D代表上采样（upsampling），包括反卷积（Deconv）、批正则化（BN）和非线性激活（ReLU），其中，激活函数包括但不限于：sigmoid函数、tanh函数、relu函数。图6a所示的L通常包括1×1卷积（1×1Conv）、批正则化（BN）和非线性激活（ReLU）。从特征图尺寸160×480到特征图尺寸80×240是通过下采样/降采样（subsampled）得到，同理，从特征图尺寸80×240到特征图尺寸40×120也是通过下采样/降采样（subsampled）得到，以此类推。知道特征图尺寸为20×60为止，停止降采样处理。后续，将降采样处理后得到的20×60的特征图与经过1×1卷积操作之后的20×60的特征图进行叠加，并进行反卷积处理，即可得到40×120的特征图。同理，对之前降采样处理过程中得到的40×120的特征图进行反卷积处理，然后与刚刚反卷积处理后得到的40×120的特征图在此进行叠加，并同样进行反卷积处理，即可得到80×240的特征图。以此类推，对之前降采样处理过程中得到的80×240的特征图进行反卷积处理，然后与刚刚反卷积处理后得到的80×240的特征图在此进行叠加，即可得到80×240的特征图，即第一特征图。

另外，请参见图6b，图6b是本申请实施例提供的一种压缩-激励模块的结构示意图。压缩-激励模块具体可以为SE（Squeeze-Excitation）模块，初始特征图的尺寸可以为h*w*C，然后通过全局平均池化将h*w*C压缩成1*1*C，并通过激励的方式对1*1*C进行处理，得到通道权重。最后，计算机设备将通道权重与初始特征图进行加权运算，得到第二特征图。

具体来说，如图6b所示，第一步是压缩（Squeeze）操作，这个操作就是一个全局平均池化（global average pooling）。经过压缩操作后初始特征图被压缩为1×1×C向量。请参见图6c，图6c是本申请实施例提供的一种激励模块的工作原理的流程示意图。接下来就是激励（Excitation）操作，激励操作主要由两个全连接层FC组成，其中SERatio是一个缩放参数，这个参数的目的是为了减少通道个数从而降低计算量。第一个全连接层有C*SERatio个神经元，输入为1×1×C，输出1×1×C×SERadio。第二个全连接层有C个神经元，输入为1×1×C×SERadio，输出为1×1×C。最后是scale操作，在得到1×1×C向量之后，就可以对原来的特征图进行scale操作了。很简单，就是通道权重相乘，原有特征向量为W×H×C，将SE模块计算出来的各通道权重值分别和初始特征图对应通道的二维矩阵相乘，得出的结果输出。

最后，计算机设备对第一特征图和第二特征图进行融合处理，从而得到待检测图像的头部特征图。当然，也可以是对待检测图像的初始特征图通过FPN模块进行处理之后，得到的第一特征图作为SE模块的输入，然后得到第二特征图。最后，将SE模块根据第一特征图处理后得到的第二特征图作为待检测图像的头部特征图。

请参见图7，图7是本申请实例提供的一种训练对象检测网络模型的流程示意图。该方法应用于计算机设备，如图7所示，该方法的训练流程可包括步骤S710~S730。其中：

步骤S710：获取训练样本集，所述训练样本集包括源领域的第一样本图像、所述第一样本图像中目标类型的对象的标注数据和目标领域的第二样本图像。

具体实现时，源领域是指真实业务场景，目标领域是指仿真场景。第一样本图像则是指：真实业务场景下的照片，例如高速路上拍摄的实时照片，海上拍摄的实时照片，或者风景照等等。

其中，第一样本图像是指通过电脑自动合成的仿真图像，例如具体可以通过专业的仿真软件(如UE4软件)自动合成第一样本图像。举例来说，第一样本图像具体可以为图2a所示的图像，并且，标注数据具体可以是指示框，指示框的形状具体可以为矩形框，若目标类型不止一个类型，则不同类型的指示框的颜色还可以不同，如图2a所示的第一样本图像种的指示框为F10和F20。由于目标类型为2，因此F10代表其中一种类型，F20代表另外一种类型，F10和F20指示框的颜色可以不同，具体可以为F10为红色，F20为蓝色。需要说明的是，第一样本图像中目标类型的对象的指示框也是通过仿真软件自动标注出来。通过本方案，第一样本图像和第一样本图像中目标类型的对象的标注数据均是通过电脑自动合成，相比人工采集并标注图像，节约了时间成本和人工成本，提高了图像处理效率。

另外，第二样本图像为真实场景下的图像，例如图2b所示的图像。第二图像可以为用户从手机相册或者云端存储的图像库中选择的图像，当然，图像库中的图像均为真实场景下的图像。第二样本图像也可以为驾驶过程中车辆中的拍摄装置实时采集到的行驶道路周围状况的图像，等等。

步骤S720：通过对所述第二样本图像进行熵优化以及对所述第一样本图像进行检测优化训练样本检测网络模型。

具体的，熵优化是指根据第二样本图像的信息熵调整样本检测网络模型的模型参数。检测优化是指根据第一样本图像计算检测损失，并根据检测损失调整样本检测网络模型的模型参数。

在一种可能的实现方式中，计算机设备根据第二样本图像的信息熵确定样本检测网络模型的熵损失。计算机设备根据第一样本图像和第一样本图像中目标类型的对象的标注数据，确定样本检测网络模型的检测损失。计算机设备根据熵损失和检测损失训练样本检测网络模型。

具体实现时，计算机设备调用样本检测网络模型对第一样本图像进行特征提取，得到第一样本图像的第一头部预测特征图。然后，计算机设备根据第一头部预测特征图和标注数据确定样本检测网络模型的检测损失。

具体实现时，样本检测网络模型具体可以为能够实现目标检测功能的神经网络模型，目标检测（Object Detection）的任务是找出图像中所有感兴趣的目标（对象/物体），确定它们的类别和位置。例如，目标检测模型具体可以为：R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN、R-FCN、OverFeat、YOLOv1、YOLOv2、YOLOv3、SSD和RetinaNet等。在以上所述的目标检测网络模型中，目标检测模型又可以具体分为单阶段目标检测模型和双阶段目标检测模型。例如，单阶段目标检测网络模型为OverFeat、YOLOv1、YOLOv2、YOLOv3、SSD和RetinaNet等。双阶段目标检测网络模型为R-CNN、SPP-Net、Fast R-CNN、Faster R-CNN和R-FCN等等。

其中，双阶段目标检测模型的工作流程大致是：对待检测图像继续进行特征提取->生成预选框->分类/回归（确定检测结果）。单阶段目标检测模型的工作流程大致是：对待检测图像继续进行特征提取->分类/回归（确定检测结果）。由此可知，单阶段目标检测模型相比双阶段目标检测网络模型而言，不用生成预选框，因此单阶段目标检测网络模型比双阶段目标检测网络模型的处理效率更快，工作效率更高。

在一种可能的实现方式中，样本检测网络模型可以包括样本特征提取模块和样本特征融合模块。计算机设备调用样本检测网络模型对源领域的第一样本图像进行特征提取，得到第一样本图像的第一头部预测特征图具体可以包括：计算机设备调用样本特征提取模块对第一样本图像进行特征提取，以得到第一样本图像的初始特征图；计算机设备调用样本特征融合模块对第一样本图像的初始特征图进行特征融合，以得到第一样本图像的第一头部预测特征图。举例来说，样本特征提取模块和样本特征融合模块的分别对应的结构，具体可参见图2d所示的特征提取模块和特征融合模块分别对应的结构。并且，样本特征融合模块还可以包括第一样本模块和第二样本模块，第一样本模块的结构具体可参见图6a所示的结构示意图，第二样本模块的结构具体可参见图6b所示的结构示意图。

当然，第一头部预测特征图同样包括第一中心点预测特征图和第一宽高属性预测特征图。第一中心点预测特征图和第一宽高属性预测特征图的尺寸相同，例如均为H*W，当然，第一宽高属性预测特征图的维度为2，意思是说，包括第一宽属性预测特征图和第一高属性预测特征图。另外，第一中心点预测特征图的维度与目标类型包括的类型数量相同，例如目标类型的数量为3，则第一中心点预测特征图的维度同样为3，例如目标类型的数量为1，则第一中心点预测特征图的维度同样为1。需要说明的是，第一头部预测特征图中的每个特征点包括的含义与待检测图像的中心点特征图中每个特征点包括的含义相同。即第一中心点预测特征图包括第一样本图像中每个像素点为目标类型的对象的中心点的概率，第一宽高属性预测特征图包括第一样本图像中每个像素点对应的宽高数据。

具体实现时，计算机设备调用样本检测网络模型对所述第二样本图像进行特征提取，得到第二样本图像的第二头部预测特征图。然后，计算机设备根据第二头部预测特征图的信息熵确定样本检测网络模型的熵损失。

在一种可能的实现方式中，计算机设备“调用样本检测网络模型对目标领域的第二样本图像进行特征提取，得到第二样本图像的第二头部预测特征图”的执行步骤，具体可参见步骤S720中计算机设备“调用样本检测网络模型对源领域的第一样本图像进行特征提取，得到第一样本图像的第一头部预测特征图”的执行步骤，本申请实施例在此不再赘述。

需要说明的是，在基于源领域的第一样本图像和目标领域的第二样本图像对样本监测网络模型的训练过程中，第一样本图像与第二样本图像是同时输入样本监测网络模型中的。具体地，一个批处理的batch包括多个第一样本图像以及相等数量的第二样本图像，当然，每次批处理过程中，输入样本检测网络模型的第一样本图像和第二样本图像之间的数量也可以不相同，本申请对此不作具体限定。

步骤S730：当训练后的样本检测网络模型满足模型收敛条件时，将所述训练后的样本检测网络模型作为对象检测网络模型。

在一种可能的实现方式中，熵损失包括第三网络损失和第四网络损失，检测损失包括第一网络损失和第二网络损失。计算机设备获取第一网络损失对应的第一加权系数，第二网络损失对应的第二加权系数，以及获取第三网络损失对应的第三加权系数，第三网络损失对应的第四加权系数；然后，计算机设备根据第一加权系数、第二加权系数、第三加权系数和第四加权系数，对检测损失和熵损失进行加权运算，得到目标损失；最后，计算机设备根据目标损失调整样本检测网络模型的模型参数。后续，当调整后的样本检测网络模型包括满足模型收敛条件时，则将调整后的样本检测网络模型作为对象检测网络模型。

需要说明的是，所谓模型收敛条件可以是指：当样本检测网络模型的训练次数达到预设训练阈值时，例如100次，则样本检测网络模型满足模型收敛条件；当每个样本图像对应的预测结果和每个样本图像对应的真实检测结果之间的误差小于误差阈值时，则样本检测网络模型满足模型收敛条件；当样本检测网络模型相邻两次训练得到的每个样本图像对应的预测结果之间的变化小于变化阈值时，则样本检测网络模型满足模型收敛条件。其中，样本图像可以为第一样本图像或第二样本图像。

通过本方案，目标领域的第二样本图像无需标注即可训练得到对象检测网络模型，对象检测网络模型可以直接对目标领域的图像进行处理，从而得到检测结果。因此可以实现领域迁移的目的，并且第一样本图像是由仿真自动合成，无需用户线下收集，进而提高了模型训练的效率；另外，第一样本图像中目标类型的对象的标注数据也是仿真软件自动标注，相比人工标注而言，既提高了效率也提高了准确性，进而提高了模型训练的准确性，并进一步提高了模型训练的效率。

请参见图8，图8是本申请实施例提供的一种确定熵损失的流程示意图。该方法应用于计算机设备，如图8所示，图8所示的实施例为图7实施例中步骤S720对应的一个具体实施例。该方法的流程可包括步骤S810~S840。其中：

步骤S810：对所述第二头部预测特征图包括的第二中心点预测特征图或者第二宽高属性预测特征图进行归一化处理，得到归一化后的第二中心点预测特征图或者第二宽高属性预测特征图。

具体实现时，计算机设备通过调用样本检测网络模型，对第二样本图像进行处理，得到第二样本图像的第二头部预测特征图。其中，第二头部预测特征图包括第二中心点预测特征图和第二宽高属性预测特征图。计算机设备可以对第二中心点预测特征图进行归一化处理，得到归一化处理后的第二中心点预测特征图。同样地，计算机设备也可以对第二宽高属性预测特征图进行归一化处理，得到归一化处理后的第二宽高属性预测特征图。

举例来说，本申请实施例以计算机设备可以对第二中心点预测特征图进行归一化 处理，得到归一化处理后的第二中心点预测特征图为例，进行详细说明。记第二头部预测特 征图输入的第二中心点预测特征图为

。则归一化处理可参见公式（1）：

其中，softmax为归一化函数。

步骤S820：对所述多个特征点中每一个特征点分别计算信息熵，并根据所有特征点的信息熵、所述第二头部预测特征图的宽和高得到第三网络损失。

具体实现时，归一化后的第二中心点预测特征图包括多个特征点，每个特征点对应第二样本图像中的一个像素点。计算机设备对多个特征点中每一个特征点分别计算信息熵，其中，计算第三网络损失如公式（2）所示：

其中，公式（2）中，W是指第二头部预测特征图的宽，H是指第二头部预测特征图的高。（x，y）为第二中心点预测特征图中的任一特征点。

进一步地，计算信息熵如公式（3）所示：

其中，公式（3）中，C为目标类型的数量，

为x，y，c处的预测值，即x，y，c处对 应的第二样本图像中的像素点为目标类型的对象的中心点的预测概率。

综上所述，根据公式（1）和公式（2），即可计算出第三网络损失。

步骤S830：对所述多个特征点中每一个特征点分别计算最大平方损失，并根据所有特征点的最大平方损失、所述第二头部预测特征图的宽和高得到第四网络损失。

具体实现时，归一化后的第二中心点预测特征图包括多个特征点，每个特征点对应第二样本图像中的一个像素点。计算机设备对多个特征点中每一个特征点分别计算最大平方损失，其中，计算第四网络损失如公式（4）所示：

其中，公式（4）中，W是指第二头部预测特征图的宽，H是指第二头部预测特征图的高。

步骤S840：根据所述第三网络损失和所述第四网络损失，确定所述样本检测网络模型的熵损失。

具体实现时，计算机设备获取第三网络损失对应的第三加权系数，以及获取第四网络损失对应的第四加权系数。然后，计算机设备根据第三加权系数和第四加权系数对第三网络损失和第四网络损失进行加权运算，得到样本检测网络模型的熵损失。

最后，计算机设备将检测损失和熵损失进行叠加运算，得到目标损失，如公式（5）所示：

其中，

分别为第一网络损失、第二网络损失，第三网络损 失和第四网络损失的平衡权重参数。

综上所述，熵损失即为图2c所示的熵优化模块产生的损失。只有需要处理目标领域的图像时，才需要使用到熵优化模块。其中，该模块的输入为目标领域的头部特征图中的中心点预测特征图或者宽高属性预测特征图，以熵表征形式，对目标领域的中心点预测特征图或者宽高属性预测特征图进行熵降低优化。通过设计熵损失并进行回传，达到单阶段检测网络权重针对目标领域数据的更新效果，从而达到的领域迁移的目标。

通过本方案，针对同一张图像，双阶段检测网络模型的耗时在80ms，本申请训练得到的对象检测网络模型（单阶段检测网络模型）的耗时在8ms以内。本申请能够获得10倍以上的检测速度提升，因此提高了模型的检测效率。进一步地，本申请的迁移检测是一种anchor-free的设计思想（无需标定锚点和候选框），无需针对某一特定领域而进行anchorset设计（锚点设计），从而本申请具备更好的泛化效果。

请参见图9，图9是本申请实施例提供的一种确定检测损失的流程示意图。该方法应用于计算机设备，如图9所示，图9所示的实施例为图7实施例中步骤S720对应的一个具体实施例。该方法的流程可包括步骤S910~S930。其中：

步骤S910：根据所述第一中心点预测特征图、所述目标类型的对象的中心点和所述第一样本图像的数量，确定第一网络损失。

其中，第一样本图像中目标类型的对象的标注数据具体包括第一样本图像中目标类型的对象的指示框的宽、高和目标类型的对象的中心点。

具体实现时，计算机设备通过调用样本检测网络模型，对第一样本图像进行处理，得到第一样本图像的第一头部预测特征图。其中，第一头部预测特征图包括第一中心点预测特征图，第一中心点预测特征图包括第一样本图像中每个像素点为目标类型的对象的中心点的概率。

举例来说，第一网络损失即为图2c中所示的检测网络损失中的一部分，在本申请实施例中即所设计的单阶段检测网络损失。如不考虑领域迁移、目标领域数据时，即为常规的目标检测网络损失。具体地，对于第一中心点预测特征图，本申请实施例可以采用FocalLoss进行优化，如公式（6）所示：

其中，公式（6）中的N为第一样本图像的数量，具体为每批次处理中的第一样图像 的数量。

为x，y，c处的预测值，即x，y，c处对应的第一样本图像中的像素点为目标类型 的对象的中心点的预测概率。

为x，y，c处的真值，即x，y，c处对应的第一样本图像中 的像素点为目标类型的对象的中心点的真实概率，通常为0或1。

为Focal Loss超参 数，一般取2和4。

步骤S920：根据所述第一宽高属性预测特征图、所述第一样本图像的数量、所述指示框的宽和高，确定第二网络损失。

具体实现时，计算机设备通过调用样本检测网络模型，对第一样本图像进行处理，得到第一样本图像的第一头部预测特征图。其中，第一头部预测特征图包括第一宽高属性预测特征图，第一宽高属性预测特征图包括第一样本图像中每个像素点对应的宽高数据。第一样本图像中目标类型的对象的标注数据包括第一样本图像中目标类型的对象的指示框的宽、高和目标类型的对象的中心点。

举例来说，第二网络损失即为图2c中所示的检测网络损失中的一部分，在本申请实施例中即所设计的单阶段检测网络损失。如不考虑领域迁移、目标领域数据时，即为常规的目标检测网络损失。具体地，对于第一宽高属性预测特征图，本申请实施例可以采用L1Loss进行优化，如公式（7）所示：

其中，公式（7）中的N为第一样本图像的数量，具体为每批次处理中的第一样图像 的数量。w，h为真值，具体的，w是指目标类型的对象的指示框宽，h是指目标类型的对象的指 示框高。

为预测值，具体的，

是指目标类型的对象的指示框宽的预测值，

是指 目标类型的对象的指示框高的预测值。

步骤S930：根据所述第一网络损失和所述第二网络损失，确定所述样本检测网络模型的检测损失。

具体实现时，计算机设备获取第一网络损失对应的第一加权系数，以及获取第二网络损失对应的第二加权系数。然后，计算机设备根据第一加权系数和第二加权系数对第一网络损失和第二网络损失进行加权运算，得到样本检测网络模型的检测损失。

请参见图10，图10是本申请实施例提供的一种图像处理装置的结构示意图。该图像处理装置可应用于图3~图9对应的方法实施例中的计算机设备。图像处理装置可以是运行于轻量节点中的一个计算机程序（包括程序代码），例如该图像处理装置为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。该图像处理装置可包括：

获取单元1001，用于获取目标领域的待检测图像；

处理单元1002，用于对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，所述头部特征图包括所述待检测图像中目标类型的对象的位置特征分布数据；

确定单元1003，用于根据所述头部特征图确定所述待检测图像的检测结果，所述检测结果包括所述待检测图像中所述目标类型的对象的位置数据。

在一种可能的实现方式中，所述处理单元1002对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，包括：

调用对象检测网络模型对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，所述对象检测网络模型是通过对所述目标领域的样本图像进行熵优化得到的。

在一种可能的实现方式中，本申请实施例提供的图像处理装置还包括：训练单元1004。

所述处理单元1002调用对象检测网络模型对所述待检测图像进行处理之前，所述方法还包括：

获取单元1001获取训练样本集，所述训练样本集包括源领域的第一样本图像和目标领域的第二样本图像；

训练单元1004通过对所述第二样本图像进行熵优化以及对所述第一样本图像进行检测优化训练样本检测网络模型，当训练后的样本检测网络模型满足模型收敛条件时，将所述训练后的样本检测网络模型作为对象检测网络模型，所述对象检测网络模型用于识别所述目标领域的图像中所述目标类型的对象。

在一种可能的实现方式中，所述训练样本集还包括第一样本图像中目标类型的对象的标注数据；

所述训练单元1004通过对所述第二样本图像进行熵优化以及对所述第一样本图像进行检测优化训练样本检测网络模型，包括：

根据所述第二样本图像的信息熵确定所述样本检测网络模型的熵损失；

根据所述第一样本图像和所述第一样本图像中目标类型的对象的标注数据，确定所述样本检测网络模型的检测损失；

根据所述熵损失和所述检测损失训练所述样本检测网络模型。

在一种可能的实现方式中，训练单元1004根据所述第二样本图像的信息熵确定所述样本检测网络模型的熵损失，包括：

调用所述样本检测网络模型对所述第二样本图像进行特征提取，得到所述第二样本图像的第二头部预测特征图；

根据所述第二头部预测特征图的信息熵确定所述样本检测网络模型的熵损失。

在一种可能的实现方式中，训练单元1004根据所述第二头部预测特征图确定所述样本检测网络模型的熵损失，包括：

对所述第二头部预测特征图包括的第二中心点预测特征图或者第二宽高属性预测特征图进行归一化处理，得到归一化后的第二中心点预测特征图或者第二宽高属性预测特征图，所述归一化后的第二中心点预测特征图或者第二宽高属性预测特征图包括多个特征点，每个特征点对应所述第二样本图像中的一个像素点；

对所述多个特征点中每一个特征点分别计算信息熵，并根据所有特征点的信息熵、所述第二头部预测特征图的宽和高得到第三网络损失；

对所述多个特征点中每一个特征点分别计算最大平方损失，并根据所有特征点的最大平方损失、所述第二头部预测特征图的宽和高得到第四网络损失；

根据所述第三网络损失和所述第四网络损失确定所述样本检测网络模型的熵损失。

在一种可能的实现方式中，训练单元1004根据所述第一样本图像和所述第一样本图像中目标类型的对象的标注数据，确定所述样本检测网络模型的检测损失，包括：

调用所述样本检测网络模型对所述第一样本图像进行特征提取，得到所述第一样本图像的第一头部预测特征图；

根据所述第一头部预测特征图和所述标注数据确定所述样本检测网络模型的检测损失。

在一种可能的实现方式中，所述第一头部预测特征图包括第一中心点预测特征图和第一宽高属性预测特征图，所述标注数据包括所述第一样本图像中所述目标类型的对象的指示框的宽、高和所述目标类型的对象的中心点；

所述训练单元1004根据所述第一头部预测特征图和所述标注数据确定所述样本检测网络模型的检测损失，包括：

根据所述第一中心点预测特征图、所述目标类型的对象的中心点和所述第一样本图像的数量，确定第一网络损失；

根据所述第一宽高属性预测特征图、所述第一样本图像的数量、所述指示框的宽和高，确定第二网络损失；

根据所述第一网络损失和所述第二网络损失确定所述样本检测网络模型的检测损失。

在一种可能的实现方式中，所述熵损失包括第三网络损失和第四网络损失，所述检测损失包括第一网络损失和第二网络损失；所述训练单元1004根据所述熵损失和所述检测损失训练所述样本检测网络模型，包括：

获取所述第一网络损失对应的第一加权系数，所述第二网络损失对应的第二加权系数，以及获取所述第三网络损失对应的第三加权系数，所述第三网络损失对应的第四加权系数；

根据所述第一加权系数、所述第二加权系数、所述第三加权系数和所述第四加权系数，对所述检测损失和所述熵损失进行加权运算，得到目标损失；

根据所述目标损失调整所述样本检测网络模型的模型参数。

在一种可能的实现方式中，对象检测网络模型包括特征提取模块和特征融合模块；

所述处理单元1002调用对象检测网络模型对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，包括：

调用所述特征提取模块对所述待检测图像进行特征提取，以得到所述待检测图像的初始特征图；

调用所述特征融合模块对所述初始特征图进行特征融合，以得到所述待检测图像的头部特征图。

在一种可能的实现方式中，所述处理单元1002调用所述特征融合模块对所述待检测图像和所述初始特征图进行特征融合，以得到所述待检测图像的头部特征图，包括：

调用所述特征融合模块对所述初始特征图进行卷积处理和采样处理，得到第一特征图；

调用所述特征融合模块对所述初始特征图进行压缩处理和激励处理，得到所述初始特征图对应的通道权重，并根据所述通道权重对所述初始特征图进行加权处理，得到第二特征图；

对所述第一特征图和所述第二特征图进行融合处理，得到所述待检测图像的头部特征图。

在一种可能的实现方式中，所述头部特征图包括中心点特征图和宽高属性特征图，所述中心点特征图包括所述待检测图像中每个像素点为所述目标类型的对象的中心点的概率，所述宽高属性特征图包括所述待检测图像中每个像素点对应的宽高数据；

所述确定单元1003根据所述头部特征图确定所述待检测图像的检测结果，包括：

根据所述中心点特征图确定所述待检测图像中所述目标类型的对象的中心点；

根据所述中心点以及所述中心点处的像素对应的宽高数据，确定所述待检测图像中所述目标类型的对象的指示框；

将所述目标类型的对象的指示框作为所述目标类型的对象的位置数据。

在一种可能的实现方式中，所述目标类型包括至少一个类型，所述中心点特征图的维度与所述目标类型包括的类型数量相同，所述中心点特征图包括所述待检测图像中每个像素点属于每种类型的对象的中心点的概率。

请参见图11，图11是本申请实施例提供的一种计算机设备的结构示意图。上述图3~图9对应实施例中的计算机设备可以为计算机设备1100。如图11所示，计算机设备1100可以包括：用户接口1102、处理器1104、编码器1106以及存储器1108。信号接收器1116用于经由蜂窝接口1110、WIFI接口1112、...、或NFC接口1114接收或者发送数据。编码器1106将接收到的数据编码为计算机处理的数据格式。存储器1108中存储有计算机程序，处理器1104被设置为通过计算机程序执行上述任一项方法实施例中的步骤。存储器1108可包括易失性存储器（例如，动态随机存取存储器DRAM），还可以包括非易失性存储器（例如，一次性可编程只读存储器OTPROM）。在一些实例中，存储器1108可进一步包括相对于处理器1104远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备1100。用户接口1102可以包括：键盘1118和显示器1120。

在图11所示的计算机设备1100中，处理器1104可以用于调用存储器1108中存储计算机程序，以实现：

获取目标领域的待检测图像；

对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，所述头部特征图包括所述待检测图像中目标类型的对象的位置特征分布数据；

根据所述头部特征图确定所述待检测图像的检测结果，所述检测结果包括所述待检测图像中所述目标类型的对象的位置数据。

在一种可能的实现方式中，所述处理器1104对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，包括：

调用对象检测网络模型对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，所述对象检测网络模型是通过对所述目标领域的样本图像进行熵优化得到的。

在一种可能的实现方式中，所述处理器1104调用对象检测网络模型对所述待检测图像进行处理之前，所述方法还包括：

获取训练样本集，所述训练样本集包括源领域的第一样本图像和目标领域的第二样本图像；

通过对所述第二样本图像进行熵优化以及对所述第一样本图像进行检测优化训练样本检测网络模型，当训练后的样本检测网络模型满足模型收敛条件时，将所述训练后的样本检测网络模型作为对象检测网络模型，所述对象检测网络模型用于识别所述目标领域的图像中所述目标类型的对象。

在一种可能的实现方式中，所述训练样本集还包括第一样本图像中目标类型的对象的标注数据；

所述处理器1104通过对所述第二样本图像进行熵优化以及对所述第一样本图像进行检测优化训练样本检测网络模型，包括：

根据所述第二样本图像的信息熵确定所述样本检测网络模型的熵损失；

根据所述第一样本图像和所述第一样本图像中目标类型的对象的标注数据，确定所述样本检测网络模型的检测损失；

根据所述熵损失和所述检测损失训练所述样本检测网络模型。

在一种可能的实现方式中，所述处理器1104根据所述第二样本图像的信息熵确定所述样本检测网络模型的熵损失，包括：

调用所述样本检测网络模型对所述第二样本图像进行特征提取，得到所述第二样本图像的第二头部预测特征图；

根据所述第二头部预测特征图的信息熵确定所述样本检测网络模型的熵损失。

在一种可能的实现方式中，所述处理器1104根据所述第二头部预测特征图确定所述样本检测网络模型的熵损失，包括：

对所述第二头部预测特征图包括的第二中心点预测特征图或者第二宽高属性预测特征图进行归一化处理，得到归一化后的第二中心点预测特征图或者第二宽高属性预测特征图，所述归一化后的第二中心点预测特征图或者第二宽高属性预测特征图包括多个特征点，每个特征点对应所述第二样本图像中的一个像素点；

对所述多个特征点中每一个特征点分别计算信息熵，并根据所有特征点的信息熵、所述第二头部预测特征图的宽和高得到第三网络损失；

对所述多个特征点中每一个特征点分别计算最大平方损失，并根据所有特征点的最大平方损失、所述第二头部预测特征图的宽和高得到第四网络损失；

根据所述第三网络损失和所述第四网络损失确定所述样本检测网络模型的熵损失。

在一种可能的实现方式中，所述处理器1104根据所述第一样本图像和所述第一样本图像中目标类型的对象的标注数据，确定所述样本检测网络模型的检测损失，包括：

调用所述样本检测网络模型对所述第一样本图像进行特征提取，得到所述第一样本图像的第一头部预测特征图；

根据所述第一头部预测特征图和所述标注数据确定所述样本检测网络模型的检测损失。

在一种可能的实现方式中，所述第一头部预测特征图包括第一中心点预测特征图和第一宽高属性预测特征图，所述标注数据包括所述第一样本图像中所述目标类型的对象的指示框的宽、高和所述目标类型的对象的中心点；

所述处理器1104根据所述第一头部预测特征图和所述标注数据确定所述样本检测网络模型的检测损失，包括：

根据所述第一中心点预测特征图、所述目标类型的对象的中心点和所述第一样本图像的数量，确定第一网络损失；

根据所述第一宽高属性预测特征图、所述第一样本图像的数量、所述指示框的宽和高，确定第二网络损失；

根据所述第一网络损失和所述第二网络损失确定所述样本检测网络模型的检测损失。

在一种可能的实现方式中，所述熵损失包括第三网络损失和第四网络损失，所述检测损失包括第一网络损失和第二网络损失；

所述处理器1104根据所述熵损失和所述检测损失训练所述样本检测网络模型，包括：

获取所述第一网络损失对应的第一加权系数，所述第二网络损失对应的第二加权系数，以及获取所述第三网络损失对应的第三加权系数，所述第三网络损失对应的第四加权系数；

根据所述第一加权系数、所述第二加权系数、所述第三加权系数和所述第四加权系数，对所述检测损失和所述熵损失进行加权运算，得到目标损失；

根据所述目标损失调整所述样本检测网络模型的模型参数。

在一种可能的实现方式中，所述对象检测网络模型包括特征提取模块和特征融合模块；

所述处理器1104调用对象检测网络模型对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，包括：

调用所述特征提取模块对所述待检测图像进行特征提取，以得到所述待检测图像的初始特征图；

调用所述特征融合模块对所述初始特征图进行特征融合，以得到所述待检测图像的头部特征图。

在一种可能的实现方式中，所述处理器1104调用所述特征融合模块对所述待检测图像和所述初始特征图进行特征融合，以得到所述待检测图像的头部特征图，包括：

调用所述特征融合模块对所述初始特征图进行卷积处理和采样处理，得到第一特征图；

调用所述特征融合模块对所述初始特征图进行压缩处理和激励处理，得到所述初始特征图对应的通道权重，并根据所述通道权重对所述初始特征图进行加权处理，得到第二特征图；

对所述第一特征图和所述第二特征图进行融合处理，得到所述待检测图像的头部特征图。

在一种可能的实现方式中，所述头部特征图包括中心点特征图和宽高属性特征图，所述中心点特征图包括所述待检测图像中每个像素点为所述目标类型的对象的中心点的概率，所述宽高属性特征图包括所述待检测图像中每个像素点对应的宽高数据；

所述处理器1104根据所述头部特征图确定所述待检测图像的检测结果，包括：

根据所述中心点特征图确定所述待检测图像中所述目标类型的对象的中心点；

根据所述中心点以及所述中心点处的像素对应的宽高数据，确定所述待检测图像中所述目标类型的对象的指示框；

将所述目标类型的对象的指示框作为所述目标类型的对象的位置数据。

在一种可能的实现方式中，目标类型包括至少一个类型，所述中心点特征图的维度与所述目标类型包括的类型数量相同，所述中心点特征图包括所述待检测图像中每个像素点属于每种类型的对象的中心点的概率。

应当理解，本申请实施例中所描述的计算机设备1100可执行前文图3~图9所对应实施例中对图像处理方法的描述，也可执行前文图10对应实施例中对图像处理装置的描述，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

此外，这里需要指出的是：本申请实施例还提供了一种计算机存储介质，且计算机存储介质中存储有前文提及的图像处理装置所执行的计算机程序，且该计算机程序包括程序指令，当处理器执行上述程序指令时，能够执行前文图3~图9所对应实施例中的方法，因此，这里将不再进行赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。作为示例，程序指令可以被部署在一个计算机设备上，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行，分布在多个地点且通过通信网络互连的多个计算机设备可以组成区块链系统。

根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备可以执行前文图3~图9所对应实施例中的方法，因此，这里将不再进行赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，上述存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。

以上所揭露的仅为本申请的部分实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

获取训练样本集，所述训练样本集包括源领域的第一样本图像、所述第一样本图像中目标类型的对象的标注数据以及目标领域无标注数据的第二样本图像；

根据所述第二样本图像的信息熵确定样本检测网络模型的熵损失；

根据所述第一样本图像和所述第一样本图像中目标类型的对象的标注数据，确定所述样本检测网络模型的检测损失；

根据所述熵损失和所述检测损失训练所述样本检测网络模型，当训练后的样本检测网络模型满足模型收敛条件时，将所述训练后的样本检测网络模型作为对象检测网络模型，所述对象检测网络模型用于识别所述目标领域的图像中所述目标类型的对象；

获取所述目标领域的待检测图像；

调用所述对象检测网络模型对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，所述头部特征图包括所述待检测图像中所述目标类型的对象的位置特征分布数据；

根据所述头部特征图确定所述待检测图像的检测结果，所述检测结果包括所述待检测图像中所述目标类型的对象的位置数据。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第二样本图像的信息熵确定所述样本检测网络模型的熵损失，包括：

调用所述样本检测网络模型对所述第二样本图像进行特征提取，得到所述第二样本图像的第二头部预测特征图；

根据所述第二头部预测特征图的信息熵确定所述样本检测网络模型的熵损失。

3.根据权利要求2所述的方法，其特征在于，所述根据所述第二头部预测特征图的信息熵确定所述样本检测网络模型的熵损失，包括：

对所述第二头部预测特征图包括的第二中心点预测特征图或者第二宽高属性预测特征图进行归一化处理，得到归一化后的第二中心点预测特征图或者第二宽高属性预测特征图，所述归一化后的第二中心点预测特征图或者第二宽高属性预测特征图包括多个特征点，每个特征点对应所述第二样本图像中的一个像素点；

对所述多个特征点中每一个特征点分别计算信息熵，并根据所有特征点的信息熵、所述第二头部预测特征图的宽和高得到第三网络损失；

对所述多个特征点中每一个特征点分别计算最大平方损失，并根据所有特征点的最大平方损失、所述第二头部预测特征图的宽和高得到第四网络损失；

根据所述第三网络损失和所述第四网络损失确定所述样本检测网络模型的熵损失。

4.根据权利要求1~3中任一项所述的方法，其特征在于，所述根据所述第一样本图像和所述第一样本图像中目标类型的对象的标注数据，确定所述样本检测网络模型的检测损失，包括：

调用所述样本检测网络模型对所述第一样本图像进行特征提取，得到所述第一样本图像的第一头部预测特征图；

根据所述第一头部预测特征图和所述标注数据确定所述样本检测网络模型的检测损失。

5.根据权利要求4所述的方法，其特征在于，所述第一头部预测特征图包括第一中心点预测特征图和第一宽高属性预测特征图，所述标注数据包括所述第一样本图像中所述目标类型的对象的指示框的宽、高和所述目标类型的对象的中心点；

所述根据所述第一头部预测特征图和所述标注数据确定所述样本检测网络模型的检测损失，包括：

根据所述第一中心点预测特征图、所述目标类型的对象的中心点和所述第一样本图像的数量，确定第一网络损失；

根据所述第一宽高属性预测特征图、所述第一样本图像的数量、所述指示框的宽和高，确定第二网络损失；

根据所述第一网络损失和所述第二网络损失确定所述样本检测网络模型的检测损失。

6.根据权利要求1所述的方法，其特征在于，所述熵损失包括第三网络损失和第四网络损失，所述检测损失包括第一网络损失和第二网络损失；

所述根据所述熵损失和所述检测损失训练所述样本检测网络模型，包括：

获取所述第一网络损失对应的第一加权系数，所述第二网络损失对应的第二加权系数，以及获取所述第三网络损失对应的第三加权系数，所述第三网络损失对应的第四加权系数；

根据所述第一加权系数、所述第二加权系数、所述第三加权系数和所述第四加权系数，对所述检测损失和所述熵损失进行加权运算，得到目标损失；

根据所述目标损失调整所述样本检测网络模型的模型参数。

7.根据权利要求1所述的方法，其特征在于，所述对象检测网络模型包括特征提取模块和特征融合模块；

所述调用对象检测网络模型对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，包括：

调用所述特征提取模块对所述待检测图像进行特征提取，以得到所述待检测图像的初始特征图；

调用所述特征融合模块对所述初始特征图进行特征融合，以得到所述待检测图像的头部特征图。

8.根据权利要求7所述的方法，其特征在于，所述调用所述特征融合模块对所述初始特征图进行特征融合，以得到所述待检测图像的头部特征图，包括：

调用所述特征融合模块对所述初始特征图进行卷积处理和采样处理，得到第一特征图；

调用所述特征融合模块对所述初始特征图进行压缩处理和激励处理，得到所述初始特征图对应的通道权重，并根据所述通道权重对所述初始特征图进行加权处理，得到第二特征图；

对所述第一特征图和所述第二特征图进行融合处理，得到所述待检测图像的头部特征图。

9.根据权利要求1所述的方法，其特征在于，所述头部特征图包括中心点特征图和宽高属性特征图，所述中心点特征图包括所述待检测图像中每个像素点为所述目标类型的对象的中心点的概率，所述宽高属性特征图包括所述待检测图像中每个像素点对应的宽高数据；

所述根据所述头部特征图确定所述待检测图像的检测结果，包括：

根据所述中心点特征图确定所述待检测图像中所述目标类型的对象的中心点；

根据所述中心点以及所述中心点处的像素对应的宽高数据，确定所述待检测图像中所述目标类型的对象的指示框；

将所述目标类型的对象的指示框作为所述目标类型的对象的位置数据。

10.一种图像处理装置，其特征在于，所述装置包括：

获取单元，用于获取训练样本集，所述训练样本集包括源领域的第一样本图像、所述第一样本图像中目标类型的对象的标注数据以及目标领域无标注数据的第二样本图像；

训练单元，用于根据所述第二样本图像的信息熵确定样本检测网络模型的熵损失，根据所述第一样本图像和所述第一样本图像中目标类型的对象的标注数据，确定所述样本检测网络模型的检测损失，并根据所述熵损失和所述检测损失训练所述样本检测网络模型，当训练后的样本检测网络模型满足模型收敛条件时，将所述训练后的样本检测网络模型作为对象检测网络模型，所述对象检测网络模型用于识别所述目标领域的图像中所述目标类型的对象；

所述获取单元，还用于获取所述目标领域的待检测图像；

处理单元，用于调用所述对象检测网络模型对所述待检测图像进行处理，以得到所述待检测图像的头部特征图，所述头部特征图包括所述待检测图像中所述目标类型的对象的位置特征分布数据；

确定单元，用于根据所述头部特征图确定所述待检测图像的检测结果，所述检测结果包括所述待检测图像中所述目标类型的对象的位置数据。

11.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1~9中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1~9中任一项所述的方法。

Images