CN112597994A - 候选框处理方法、装置、设备及介质 - Google Patents

Abstract

本发明实施例提供了一种候选框处理方法、装置、设备及介质，应用于目标检测网络，所述目标检测网络包括候选框生成模块和目标检测模块，所述方法包括：预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度；根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块；其中，在不同的使用阶段，输入到所述目标检测模块的候选框的喜好程度不同。

Description

候选框处理方法、装置、设备及介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种候选框处理方法、装置、设备及介质。

背景技术

目标检测(Object Detection)是计算机视觉的一项核心技术，以目标为物体为例，目标检测旨在定位图像中每一个物体的同时给出正确的物体类别。目标检测作为基础的视觉算法有着广泛的应用。

相关技术中，目标检测算法主要采用两阶段的检测方法，该方法通常需要先生成候选框，再进一步对候选框进行分类和再定位。然而，目前的两阶段的检测方法中生成候选框和对候选框进行分类和再定位是彼此割裂的两个阶段。即，候选框的生成和再检测往往是作为单独的子任务存在，此种方式导致了目标检测的效率低下、准确率不高。

发明内容

鉴于上述问题，提出了本发明实施例的一种候选框处理方法、装置、设备及介质，以便克服上述问题或者至少部分地解决上述问题。

为了解决上述问题，本发明的第一方面，公开了一种候选框处理方法，应用于目标检测网络，所述目标检测网络包括候选框生成模块和目标检测模块，所述方法包括：

预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度；

根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块；其中，在不同的使用阶段，输入到所述目标检测模块的候选框的喜好程度不同。

可选地，根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块，包括：

在所述目标检测网络的当前使用阶段为训练阶段的情况下，从所述候选框生成模块输出的各个候选框中，采样喜好程度低于预设阈值的候选框并输入到所述目标检测模块。

可选地，根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块，包括：

在所述目标检测网络的当前使用阶段为应用阶段的情况下，从所述候选框生成模块输出的各个候选框中，采样喜好程度不低于所述预设阈值的候选框并输入到所述目标检测模块。

可选地，所述方法还包括：

在所述候选框生成模块的输出端串联预测模块；

在所述目标检测网络的当前使用阶段为训练阶段的情况下，根据所述目标检测模块的目标检测损失值，生成喜好程度标签；

根据所述预测模块输出的喜好程度预测结果与所述喜好程度标签，对所述预测模块进行训练，得到喜好程度预测模块，所述喜好程度预测模块用于预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度。

可选地，所述目标检测模块包括目标分类子模块和目标定位子模块；根据所述目标检测模块输出的目标预测结果与所述候选框生成模块输出的候选框对应的标签，生成喜好程度标签，包括：

根据所述目标分类子模块的分类损失值，生成喜好程度标签；或

根据所述目标分类子模块的分类损失值和所述目标定位子模块的定位损失值，生成喜好程度标签。

可选地，根据所述预测模块输出的喜好程度预测结果与所述喜好程度标签，对所述预测模块进行训练，得到喜好程度预测模块，包括：

根据所述预测模块输出的喜好程度预测结果与所述喜好程度标签，确定喜好程度损失值；

根据所述喜好程度损失值，对所述预测模块进行参数更新；

可选地，在所述目标检测网络的当前使用阶段为训练阶段的情况下，所述方法还包括：

根据所述目标检测模块输出的目标预测结果与所述候选框生成模块输出的候选框对应的标签，生成目标检测损失值；

根据所述喜好程度损失值和所述目标检测损失值，对所述候选框生成模块和所述目标检测模块进行参数更新。

可选地，所述方法还包括：

在所述目标检测网络的当前使用阶段为应用阶段的情况下，获得所述目标检测模块输出的对相应的候选框进行检测的检测结果；

输出所述检测结果。

本发明实施例的第二方面，提供了一种候选框处理装置，应用于目标检测网络，所述目标检测网络包括候选框生成模块和目标检测模块，所述装置包括：

预测模块，用于预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度；

输入模块，用于根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块；其中，在不同的使用阶段，输入到所述目标检测模块的候选框的喜好程度不同。

本发明实施例的第三方面，还公开了一种电子设备，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如第一方面实施例所述的候选框处理方法。

本发明实施例的第四方面，还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明第一方面实施例所述的候选框处理方法。

本发明实施例包括以下优点：

在本发明实施例中，目标检测网络包括候选框生成模块和目标检测模块，其中，候选框生成模块可以用于生成多个候选框，目标检测模块可以用于对多个候选框中的部分候选框进行分类检测。具体而言，为了提高对目标检测的效率和准确率，本申请提出了在生成多个候选框的同时，可以预测目标检测模块对各个候选框的喜好程度，进而可以根据当前目标检测网络所处的使用阶段，从候选框生成模块生成的多个候选框中筛选出相应的候选框输入到目标检测模块中进行分类检测。例如，可以在目标检测网络的应用阶段(或测试阶段)，可以将目标检测模块所喜好的候选框输入给目标检测模块，以达到更高准确度的检测结果。在目标检测网络的训练阶段，可以将目标检测模块所不喜好的候选框输入给目标检测模块，以达到难例样本训练的目的，从而提高模型的训练效果，使模型训练的更好。

由于可以预测目标检测模块对候选框生成模块输出的各个候选框的喜好程度，并在不同的使用阶段，将相应喜好程度的候选框输入到目标检测模块，如此，候选框生成模块和目标检测模块之间进行了任务上的联动，使得候选框的生成(可以称为上游任务)和再检测(可以称为下游任务)并不是单独的子任务，也即是，目标检测的上下游任务进行了联动，处于上游的候选框生成任务可以更加关注自身生成的候选框对下游的目标检测任务所施加的影响，从而在训练阶段使得目标检测任务能学习的更好，在应用阶段使得目标检测任务更加高效和准确，以此从整体上提高了目标检测的效率和准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中提出的总的技术方案的原理示意图；

图2是本发明实施例中训练得到目标检测网络的步骤流程图；

图3是本发明实施中一种目标检测网络的网络结构图；

图4是本发明实施中利用一种目标检测网络进行目标检测的原理示意图；

图5是本发明实施中候选框处理方法的步骤流程图；

图6是本发明实施中一种候选框处理装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，采用两阶段的检测方法执行目标检测时，一般检测网络具有两个部分的子网络，分别为RPN子网络和RCNN子网络，其中，RPN子网络用于候选框的生成，而RCNN子网络用于对候选框进行分类和再定位。一般而言，RCNN子网络对候选框的分类和再定位与目标检测的准确性息息相关。

在先技术中，这两个子网络是独立存在的，即RCNN子网络不会对RPN有任何的指导作用，这对于RPN来说无疑是丢失了一部分很重要的监督信息，例如RPN无法从RCNN部分“在线地”意识到候选框的好坏，因此也缺少了更重要、更明确的信息来让RPN变得更好，与此同时，RPN输出的候选框也因为缺少RCNN的反馈，容易产生一些并不是RCNN最需要的候选框，因此，无论在训练阶段还是应用阶段，此种方式均无法得到较好的目标检测的准确率和效率。

有鉴于此，本申请人提出将RPN子网络和RCNN子网络有机的联合起来，实现将RCNN子网络的预测结果有效地直接反馈给RPN，使得RPN可以确定自身生成的候选框被RCNN子网络所喜好的程度；如此，便可以根据候选框被RCNN子网络所喜好的程度，针对性地向RCNN子网络输入相应喜好程度的候选框。

为了实现这一技术构想，参照图1所示，图1示出了本申请的提出的总的技术方案的原理示意图，如图1所示，其中，目标检测网络的网络结构可以如图1所示，包括候选框生成模块和目标检测模块，其中，候选框生成模块可以是RPN子网络，而目标检测模块可以是RCNN子网络。当然，候选框生成模块也可以是其他类型的子网络，目标检测模块也可以是其他类型的子网络，在此，不对两个模块的网络类型进行限定。

如图1所示，申请人提出的总的技术方案是：在训练出目标检测网络的过程中，将目标检测模块对候选框的分类结果损失(图1中LOSS所示)进行反馈，进而根据反馈的分类结果损失学习一个预测器，该预测器用来预测目标检测模块对候选框生成模块给的候选框的喜好程度，之后，便可以根据预测器预测的候选框的喜好程度进一步调整候选框生成模块输入到目标检测模块的候选框的策略。

下面，对本申请实施例的候选框处理方法的整体流程进行介绍：

首先，可以利用样本数据先训练得到一个包括候选框生成模块和目标检测模块的初始网络，该初始网络具备基本的候选框生成和对候选框进行分类和再定位的功能。

之后，可以在候选框生成模块和目标检测模块之间串接预测模块，该预测模块可以用于预测目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度。

接着，继续利用样本数据对串接有预测模块的网络进行训练，得到目标检测网络，训练出的预测模块便可以准确预测目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度，最后，可以利用目标检测网络进行目标检测。

下面，分阶段对本实施例的候选框处理方法进行详细介绍。

首先，需要训练一个可以预测目标检测模块对候选框生成模块输出的各个候选框的喜好程度的目标检测网络，即目标检测网络所处的使用阶段是训练阶段时，通过该训练阶段可以训练出一个目标检测网络，该目标检测网络除包括候选框生成模块和目标检测模块外，还可以包括串接在候选框生成模块和目标检测模块之间的预测模块，该预测模块可以用于预测目标检测模块对候选框生成模块输出的各个候选框的喜好程度。进而，可以在训练过程中，将相应的候选框输入到目标检测模块进行训练。

参照图2所示，示出了在训练阶段，如何训练得到目标检测网络的步骤流程图，具体可以包括以下步骤：

步骤S201：在候选框生成模块的输出端串联预测模块。

本实施例中，如图3所示，示出了本申请实施例的目标检测网络的网络结构图，包括基础特征提取层、候选框生成模块、预测模块以及目标检测模块，其中，预测模块的输入端与候选框生成模块的输出端串联，候选框生成模块生成的各个候选框可以输入到预测模块，进而预测模块输出各个候选框的喜好程度值。

其中，在每次训练时，可以将样本图像输入到网络中，接着，候选框生成模块可以输出该样本图像对应的多个候选框，接着，预测模块可以输出多个候选框的喜好程度；之后，可以根据预测模块输出的各个候选框的喜好程度，将相应喜好程度的候选框输入到目标检测模块，或者，也可以将全部候选框均输入到目标检测模块，接着，目标检测模块可以对输入到该目标检测模块的候选框进行分类和再定位，进而得到样本图像的目标预测结果。

步骤S202：在所述目标检测网络的当前使用阶段为训练阶段的情况下，根据所述目标检测模块的目标检测损失值，生成喜好程度标签。

本实施例中，目标检测模块的目标检测损失值，可以是根据目标检测模块输出的目标预测结果与候选框对应的标签确定出的，反映了目标预测结果与真实结果的差异性。实际中，可以根据该目标检测损失值，生成喜好程度标签，该喜好程度标签可以反映目标检测模块对输入的候选框进行预测的难易程度。例如，目标检测损失值低，表征目标预测结果与真实结果接近，则喜好程度标签可以表征目标检测模块对输入的候选框的识别较为简单，也就是说目标检测模块对输入的候选框的识别难度较低。

在一种示例中，由于目标检测模块可以对候选框进行分类和再定位，因此，所述目标检测模块包括目标分类子模块和目标定位子模块，参照图4所示，示出了此种情况下利用目标检测网络进行目标检测的原理示意图。相应地，目标检测损失值可以包括两部分的损失值，一部分是分类损失值，如图4中的分类器损失，另一部分是定位损失值，如图4中的定位器损失。其中，分类损失值可以反映目标检测模块对候选框的分类预测结果与候选框的真实类别之间的差异，定位损失值可以反映目标检测模块对候选框的再定位结果与候选框的真实位置之间的差异。

则相应地，在所述目标检测模块的目标检测损失值，生成喜好程度标签时，可以根据所述目标分类子模块的分类损失值，生成喜好程度标签，或者，可以根据目标分类子模块的分类损失值和目标定位子模块的定位损失值，生成喜好程度标签。例如，如图4所示，根据喜好程度采样的候选框输入到分类子模块和目标定位子模块，得到了相应的分类器损失和定位器损失，之后，可以根据分类器损失和定位器损失确定为喜好程度标签。

实际中，可以单独根据目标分类子模块的分类损失值，生成喜好程度标签，即将分类器损失反馈以生成喜好程度标签；当然，如图4所示，也可以将目标分类子模块的分类损失值和目标定位子模块的定位损失值均反馈，生成喜好程度标签。

步骤S203：根据所述预测模块输出的喜好程度预测结果与所述喜好程度标签，对所述预测模块进行训练，得到喜好程度预测模块。其中，所述喜好程度预测模块可以用于预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度。

本实施例中，由于输入至目标检测模块的候选框是根据预测模块预测的各个候选框的喜好程度确定的，喜好程度标签又是根据目标检测模块对输入的候选框进行检测的目标检测损失值确定出的，该喜好程度标签可以真实反映目标检测模块对输入的候选框的识别难度。因此，可以根据喜好程度标签和预测模块预测的候选框的喜好程度，对预测模块进行训练，得到喜好程度预测模块。

示例地，假设预测模块预测候选框001的喜好程度是0.8，而根据该候选框001在目标检测模块中的目标检测损失值确定出的喜好程度标签为0.4，则可以根据喜好程度0.8与喜好程度标签0.4之间的差距，对预测模块的参数进行更新。

具体地，在根据所述预测模块输出的喜好程度预测结果与所述喜好程度标签，对所述预测模块进行训练，得到喜好程度预测模块时，可以根据所述目标检测模块输出的喜好程度预测结果与所述喜好程度标签，确定喜好程度损失值；根据所述喜好程度损失值，对所述预测模块进行参数更新。

其中，在对预测模块进行更新时，可以根据喜好程度预测结果与所述喜好程度标签，确定喜好程度损失值，该喜好程度损失值可以反映以下差距：预测模块预测出的候选框被目标检测模块所喜好的程度与目标检测模块在对候选框进行检测时的真实难度之间的差距。进而，可以根据喜好程度损失值，对预测模块的参数进行更新。

其中，多次训练后得到的喜好程度预测模块便可以较为准确地预测出各候选框被目标检测模块所喜好的喜好程度，即，可以准确预测出候选框生成模块所生成的候选框被目标检测模块识别时的识别难度。

具体地，在一种示例中，对预测模块外的目标检测模块和候选框生成模块的参数的更新过程可以是：在训练阶段中，可以根据所述目标检测模块输出的目标预测结果与所述候选框生成模块输出的候选框对应的标签，生成目标检测损失值；根据所述喜好程度损失值和所述目标检测损失值，对所述候选框生成模块和所述目标检测模块进行参数更新。

本实施例中，在每轮训练时，可以对目标检测网络的所有模块的参数进行更新，即在根据喜好程度损失值，对预测模块的参数进行更新时，可以同时根据网络的整体损失，对候选框生成模块和目标检测模块进行参数更新。

其中，网络的整体损失值可以根据喜好程度损失值和目标检测损失值确定，实际中，目标检测损失值可以根据目标检测模块输出的目标预测结果与候选框生成模块输出的候选框对应的标签确定。而整体损失值可以是喜好程度损失值和目标检测损失值的加权求和值。

如此，经过多次训练后，便同时得到了训练好的喜好程度预测模块和训练好的候选框生成模块以及目标检测模块。

通过上述的训练过程，便可以得到目标检测网络，之后，可以利用目标检测网络进行目标检测。在目标检测过程中，可以根据喜好程度预测模块预测出的各个候选框的喜好程度，将相应喜好程度的候选框输入到目标检测模块，得到由目标检测模块输出的识别结果。

由上述内容可知，本申请涉及到训练目标检测网络的过程和利用目标检测网络进行目标检测的两个过程，该两个过程即为目标检测网络的不同使用阶段，在此两个过程中，对预测出的候选框的喜好程度的利用策略可以是不同的。

参照图5所示，示出了一实施例中的候选框处理方法的步骤流程图，如图5所示，具体可以包括以下步骤：

步骤S501：预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度。

本实施例中，在训练阶段，可以由预测模块预测目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度；而在应用阶段，便可以由喜好程度预测模块预测目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度。其中，应用阶段可以包括对目标检测网络进行测试的测试阶段，以及利用目标检测网络进行相应的目标检测任务的阶段，当然，还可以包括应用目标检测网络进行其他相应任务的阶段。

其中，无论是在哪一使用阶段，候选框的喜好程度均可以用于预测目标检测模块对各个候选框进行识别的难度。

步骤S502：根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块。

其中，在不同的使用阶段，输入到所述目标检测模块的候选框的喜好程度不同。

本实施例中，当前使用阶段可以包括训练阶段和应用阶段，可以利用预测出的候选框的喜好程度，调整不同使用阶段从各候选框中采样出目标候选框以输入到目标检测模块进行检测的采样策略。如此，可以提高不同使用阶段，对各候选框进行利用的灵活性，以帮助训练一个学习能力更强的目标检测网络，和提高后续应用阶段的对候选框进行分类和再定位的准确度。具体如下所述：

其中，在所述目标检测网络的当前使用阶段为训练阶段的情况下，即训练目标检测网络的过程中，可以从所述候选框生成模块输出的各个候选框中，采样喜好程度低于预设阈值的候选框并输入到所述目标检测模块。

也就是说，在上述训练目标检测网络的过程中，经过预测模块预测出的喜好程度，在每次训练时，可以将喜好程度低于预设阈值的候选框并输入到目标检测模块，以通过目标检测模块进行分类和定位，进而根据分类和/或定位的损失得到当次的喜好程度标签，接着，根据预测模块预测出的喜好程度和喜好程度标签，可以得到当次的喜好程度损失值。

在目标检测网络的训练阶段，将让喜好程度差的候选框来输出给目标检测模块，即提高了目标检测模块对候选框进行识别的难度，如此，相当于给目标检测模块做了难例样本挖掘，让目标检测模块学习的难度更大，从而增强目标检测模块的分类准确度。此种情况下，在生成候选框阶段便使用喜好程度做难例挖掘，可以利用到所有生成的候选框，解决了以往只能对候选框生成模块输出到目标检测模块之后的候选框进行挖掘时，难例挖掘不够的问题。

其中，在目标检测网络的当前使用阶段为应用阶段的情况下，从所述候选框生成模块输出的各个候选框中，采样喜好程度不低于所述预设阈值的候选框并输入到所述目标检测模块。

本实施例中，在利用目标检测网络对待检测的图像进行目标检测任务时以及在测试该目标检测网络的过程中，为了得到准确率较高的检测结果，可以将喜好程度不低于预设阈值的候选框并输入到所述目标检测模块，也就是说，在应用阶段，可以将目标检测模块识别难度较低的候选框输入给目标检测模块，即相当于输出了目标检测模块更容易预测的候选框，因此减小了目标检测模块对候选框进行分类和再定位的难度，从而提高了对候选框的分类和再定位的准确性。

其中，在一种示例中，在应用阶段，还可以获得所述目标检测模块输出的对相应的候选框进行检测的检测结果；并输出所述检测结果。其中，输出检测结果可以是指将检测结果进行输出显示，或者将检测结果发送给前端设备。如此，可以实现了应用目标检测网络对待检测图像进行目标检测的目的。

本申请实施例，由于可以预测目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度，并可以在目标检测的应用阶段，可以将目标检测模块所喜好的候选框输入给目标检测模块，将目标检测模块较容易识别的候选框输入给目标检测模块，以达到更高准确度的检测结果。在目标检测的训练阶段，可以将目标检测模块所不喜好的候选框输入给目标检测模块，即将目标检测模块识别难度大的候选框输入，以达到难例样本训练的目的，从而提高模型的训练效果，使模型训练的更好。

如此，候选框生成模块和目标检测模块之间进行了任务上的联动，处于上游的候选框生成任务可以更加关注自身生成的候选框对下游的检测任务所施加的影响，从而在训练阶段使得目标检测任务能学习的更好，在应用阶段使得目标检测任务更加高效和准确，以此从整体上提高了目标检测的效率和准确率。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图6所示，示出了本发明实施例的一种候选框处理装置的结构框图，如图6所示，应用于目标检测网络，所述目标检测网络包括候选框生成模块和目标检测模块，所述装置具体可以包括以下模块：

预测模块601，用于预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度；

输入模块602，用于根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块；其中，在不同的使用阶段，输入到所述目标检测模块的候选框的喜好程度不同。

可选地，所述输入模块602，具体可以包括以下单元：

第一输入单元，用于在所述目标检测网络的当前使用阶段为训练阶段的情况下，从所述候选框生成模块输出的各个候选框中，采样喜好程度低于预设阈值的候选框并输入到所述目标检测模块。

可选地，所述输入模块602，具体还可以包括以下单元：

第二输入单元，用于在所述目标检测网络的当前使用阶段为应用阶段的情况下，从所述候选框生成模块输出的各个候选框中，采样喜好程度不低于所述预设阈值的候选框并输入到所述目标检测模块。

可选地，所述装置还可以包括以下模块：

增加模块，用于在所述候选框生成模块的输出端串联预测模块；

标签生成模块，用于在所述目标检测网络的当前使用阶段为训练阶段的情况下，根据所述目标检测模块的目标检测损失值，生成喜好程度标签；

第一更新模块，用于根据所述目标检测模块输出的喜好程度预测结果与所述喜好程度标签，对所述预测模块进行训练，得到喜好程度预测模块，所述喜好程度预测模块用于预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度。

可选地，所述目标检测模块包括目标分类子模块和目标定位子模块；所述标签生成模块，具体可以用于根据所述目标分类子模块的分类损失值，生成喜好程度标签；或根据所述目标分类子模块的分类损失值和所述目标定位子模块的定位损失值，生成喜好程度标签。

可选地，所述第一更新模块具体可以包括以下单元：

损失值确定单元，用于根据所述目标检测模块输出的喜好程度预测结果与所述喜好程度标签，确定喜好程度损失值；

参数更新单元，用于根据所述喜好程度损失值，对所述预测模块进行参数更新；

可选地，所述装置还可以包括第二更新模块，所述第二更新模块，具体用于在所述目标检测网络的当前使用阶段为训练阶段的情况下，根据所述目标检测模块输出的目标预测结果与所述候选框生成模块输出的候选框对应的标签，生成目标检测损失值；并根据所述喜好程度损失值和所述目标检测损失值，对所述候选框生成模块和所述目标检测模块进行参数更新。

可选地，所述装置还包括：

获得模块，用于在所述目标检测网络的当前使用阶段为应用阶段的情况下，获得所述目标检测模块输出的对相应的候选框进行检测的检测结果；

输出模块，用于输出所述检测结果。

需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。

本发明实施例还提供了一种电子设备，该电子设备可以用于执行候选框处理方法，可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器被配置为执行所述的候选框处理方法。

本发明实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本发明实施例所述的候选框处理方法。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种候选框处理方法、装置、设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (11)

1.一种候选框处理方法，其特征在于，应用于目标检测网络，所述目标检测网络包括候选框生成模块和目标检测模块，所述方法包括：

预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度；

根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块；其中，在不同的使用阶段，输入到所述目标检测模块的候选框的喜好程度不同。

2.根据权利要求1所述的方法，其特征在于，根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块，包括：

在所述目标检测网络的当前使用阶段为训练阶段的情况下，从所述候选框生成模块输出的各个候选框中，采样喜好程度低于预设阈值的候选框并输入到所述目标检测模块。

3.根据权利要求1所述的方法，其特征在于，根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块，包括：

在所述目标检测网络的当前使用阶段为应用阶段的情况下，从所述候选框生成模块输出的各个候选框中，采样喜好程度不低于所述预设阈值的候选框并输入到所述目标检测模块。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：

在所述候选框生成模块的输出端串联预测模块；

在所述目标检测网络的当前使用阶段为训练阶段的情况下，根据所述目标检测模块的目标检测损失值，生成喜好程度标签；

根据所述预测模块输出的喜好程度预测结果与所述喜好程度标签，对所述预测模块进行训练，得到喜好程度预测模块，所述喜好程度预测模块用于预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度。

5.根据权利要求4所述的方法，其特征在于，所述目标检测模块包括目标分类子模块和目标定位子模块；根据所述目标检测模块的目标检测损失值，生成喜好程度标签，包括：

根据所述目标分类子模块的分类损失值，生成喜好程度标签；或

根据所述目标分类子模块的分类损失值和所述目标定位子模块的定位损失值，生成喜好程度标签。

6.根据权利要求4所述的方法，其特征在于，根据所述预测模块输出的喜好程度预测结果与所述喜好程度标签，对所述预测模块进行训练，得到喜好程度预测模块，包括：

根据所述预测模块输出的喜好程度预测结果与所述喜好程度标签，确定喜好程度损失值；

根据所述喜好程度损失值，对所述预测模块进行参数更新。

7.根据权利要求6所述的方法，其特征在于，在所述目标检测网络的当前使用阶段为训练阶段的情况下，所述方法还包括：

根据所述目标检测模块输出的目标预测结果与所述候选框生成模块输出的候选框对应的标签，生成所述目标检测损失值；

根据所述喜好程度损失值和所述目标检测损失值，对所述候选框生成模块和所述目标检测模块进行参数更新。

8.根据权利要求1-7任一所述的方法，其特征在于，所述方法还包括：

在所述目标检测网络的当前使用阶段为应用阶段的情况下，获得所述目标检测模块输出的对相应的候选框进行检测的检测结果；

输出所述检测结果。

9.一种候选框处理装置，其特征在于，应用于目标检测网络，所述目标检测网络包括候选框生成模块和目标检测模块，所述装置包括：

预测模块，用于预测所述目标检测模块对所述候选框生成模块输出的各个候选框的喜好程度；

输入模块，用于根据所述目标检测网络的当前使用阶段，将所述候选框生成模块输出的各个候选框中相应喜好程度的候选框输入到所述目标检测模块；其中，在不同的使用阶段，输入到所述目标检测模块的候选框的喜好程度不同。

10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现如权利要求1-8任一所述的候选框处理方法。

11.一种计算机可读存储介质，其特征在于，其存储的计算机程序使得处理器执行如权利要求1-8任一所述的候选框处理方法。

Images