CN112862002A - 多尺度目标检测模型的训练方法、目标检测方法和装置 - Google Patents

Abstract

本申请涉及一种多尺度目标检测模型的训练方法、目标检测方法和装置。该训练方法包括：获取第一样本数据，其每张样本图片携带有目标标注信息；将样本图片分别输入至多尺度目标检测模型的多尺度识别网络和分支选择网络中，得到分支选择结果和每一分支的识别结果；根据分支选择结果和每一分支的识别结果得到模型输出结果；根据模型输出结果和目标标注信息计算得到第一损失函数，并基于第一损失函数反向传播以对多尺度识别网络和分支选择网络中的参数进行调整，直至第一损失函数满足预设值，得到多尺度目标检测模型。目标检测方法为根据多尺度目标检测模型进行目标检测的方法。采用本方法提高了准确性，也不需要增加额外的计算量。

Description

多尺度目标检测模型的训练方法、目标检测方法和装置

技术领域

本申请涉及人工智能技术领域，特别是涉及一种多尺度目标检测模型的训练方法、目标检测方法和装置。

背景技术

目标检测，即找出图像中所有感兴趣的物体，包含物体定位和物体分类两个子任务，同时确定物体的类别和位置。是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。

在现实生活中，各类物体大小不一，甚至同一种物体都可能出现较大的尺度变化，卷积神经网络中较深层的特征有很大的感受野以及丰富的语义信息，深层特征对于物体姿态变化、遮挡以及局部变形等等的变化具有鲁棒性(robust),但由于分辨率的降低导致几何细节信息丢失。相反浅层特征有很小的感受野和丰富的几何细节信息，但问题是分辨率较高以及语义信息匮乏。在卷积神经网络中，物体的语义信息可以在不同层(与物体大小有关)出现。对于小物体而言，浅层特征包含它的一些细节信息，随着层数加深，所提取特征中的几何细节信息可能完全消失(感受野过大)，通过深层特征检测小物体就变得很困难。对于大物体而言，它语义信息将出现在较深层特征中。这在一定程度上会影响卷积神经网络的性能。

传统技术中，为了解决检测目标大小变化范围大的问题，可以采用三个并行的网络来分别识别不同尺度的目标。

然而，目前的采用三个并行的网络来识别方式，由人工来设置网络选择的方式，例如首先获取到目标大小，然后与阈值进行比较，从而确定是使用三个网络中的哪个网络的输出结果，这样的方式由于是人工来设置阈值，其准确性不够，且需要进行目标大小的计算，增加额外的计算量。

发明内容

基于此，有必要针对上述技术问题，提供一种能够在不增加额外计算量的前提下提高准确性的多尺度目标检测模型的训练方法、目标检测方法和装置。

一种多尺度目标检测模型的训练方法，所述多尺度目标检测模型的训练方法包括：

获取第一样本数据，所述第一样本数据中每张样本图片携带有目标标注信息；

将所述样本图片分别输入至多尺度目标检测模型的多尺度识别网络和分支选择网络中，得到对应所述分支选择网络的分支选择结果和对应所述多尺度识别网络的每一分支的识别结果，所述多尺度识别网络的每一分支网络结构相同的并且参数共享，但膨胀卷积的系数不同；

根据所述分支选择结果和所述每一分支的识别结果得到模型输出结果；

根据所述模型输出结果和所述目标标注信息计算得到第一损失函数，并基于所述第一损失函数反向传播以对所述多尺度识别网络和分支选择网络中的参数进行调整，直至所述第一损失函数满足预设值，得到多尺度目标检测模型。

在其中一个实施例中，所述根据所述分支选择结果和所述每一分支的识别结果得到模型输出结果之前，还包括：

根据所述分支选择结果确定目标分支，将所述目标分支的识别结果作为对应样本图片的伪标签；

根据所述样本图片的伪标签和非目标分支的识别结果对所述非目标分支进行训练。

在其中一个实施例中，所述根据所述样本图片的伪标签和非目标分支的识别结果对所述非目标分支进行训练，包括：

改变所述分支选择网络的分支选择结果为选择非目标分支；

根据所述样本图片的伪标签和非目标分支的识别结果计算得到第二损失函数，并基于所述第二损失函数反向传播以对所述多尺度识别网络中的参数进行调整，直至所述第二损失函数满足预设值，得到多尺度目标检测模型。

在其中一个实施例中，所述获取第一样本数据，所述第一样本数据中每张样本图片携带有目标标注信息之后，还包括：

提取所述样本图片的图像特征，并基于所述图像特征生成候选区域。

在其中一个实施例中，所述方法还包括：

获取测试数据，所述测试数据中的测试图片携带有测试标签；

将所述测试图片输入至训练完成的多尺度目标检测模型中，以通过所述分支选择网络得到测试选择结果，通过所述多尺度识别网络得到每一分支的测试识别结果；

根据所述测试选择结果和所述测试识别结果得到初始预测结果；

对所述预测结果进行过滤得到目标预测结果；

通过所述测试标签和所述目标预测结果进行比较以得到测试结果。

一种基于多尺度目标检测模型的目标检测方法，所述基于多尺度目标检测模型的目标检测方法包括：

获取待检测图片；

将所述待检测图片输入至上述的多尺度目标检测模型的训练方法训练得到的多尺度目标检测模型中得到目标检测结果。

一种多尺度目标检测模型的训练装置，所述多尺度目标检测模型的训练装置包括：

样本获取模块，用于获取第一样本数据，所述第一样本数据中每张样本图片携带有目标标注信息；

数据处理模块，用于将所述样本图片分别输入至多尺度目标检测模型的多尺度识别网络和分支选择网络中，得到对应所述分支选择网络的分支选择结果和对应所述多尺度识别网络的每一分支的识别结果，所述多尺度识别网络的每一分支网络结构相同的并且参数共享，但膨胀卷积的系数不同；

模型输出结果获取模块，用于根据所述分支选择结果和所述每一分支的识别结果得到模型输出结果；

训练模块，用于根据所述模型输出结果和所述目标标注信息计算得到第一损失函数，并基于所述第一损失函数反向传播以对所述多尺度识别网络和分支选择网络中的参数进行调整，直至所述第一损失函数满足预设值，得到多尺度目标检测模型。

一种基于多尺度目标检测模型的目标检测装置，所述基于多尺度目标检测模型的目标检测装置包括：

待检测图片获取模块，用于获取待检测图片；

检测模块，用于将所述待检测图片输入至上述的多尺度目标检测模型的训练装置训练得到的多尺度目标检测模型中得到目标检测结果。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一个实施例中所述的方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一个实施例中所述的方法的步骤。

上述多尺度目标检测模型的训练方法、目标检测方法和装置，在训练的时候，将多尺度识别网络和分支选择网络进行联合训练，即根据多尺度识别网络输出的每一分支的识别结果和分支选择网络输出的分支选择结果来进行损失函数的计算以及反向传播，从而得到多尺度目标检测模型，也即分支选择结果是根据模型来进行得到的，而无需人工进行设置，提高了准确性，此外也不需要计算目标大小，因此也不需要增加额外的计算量。

附图说明

图1为一个实施例中多尺度目标检测模型的训练方法的流程示意图；

图2为一个实施例中的多尺度目标检测模型的训练过程的示意图；

图3为一个实施例中的多尺度识别网络的示意图；

图4为一个实施例中基于多尺度目标检测模型的目标检测方法的流程示意图；

图5为一个实施例中多尺度目标检测模型的训练装置的结构框图；

图6为一个实施例中基于多尺度目标检测模型的目标检测装置的结构框图；

图7为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种多尺度目标检测模型的训练方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。所谓训练阶段即训练样本中包含具体的标签信息，基于这些标签信息可以形成监督学习，从而产生损失函数，进而对模型中的参数进行调整。本实施例中，该方法包括以下步骤：

S102：获取第一样本数据，第一样本数据中每张样本图片携带有目标标注信息。

具体地，第一样本数据可以是预先标注的数据，其包括目标标注信息，目标标注信息是指每张图片中的目标的位置。

S104：将样本图片分别输入至多尺度目标检测模型的多尺度识别网络和分支选择网络中，得到对应分支选择网络的分支选择结果和对应多尺度识别网络的每一分支的识别结果，多尺度识别网络的每一分支网络结构相同的并且参数共享，但膨胀卷积的系数不同。

具体地，多尺度目标检测模型至少包括多尺度识别网络以及分支选择网络，其中多尺度识别网络是用于提取样本图片的多尺度特征的，分支选择网络则是用于根据图片特征选取多尺度识别网络中的其中一个分支的，具体可以结合图2所示，图2为一个实施例中的多尺度目标检测模型的训练过程的示意图。

其中，多尺度识别网络可以包括多个分支，且每个分支的网络结构相同，且参数共享，但膨胀卷积的系数不同。其中，此处的参数共享是指卷积参数是相同的，膨胀系数不同，则是为了获得不同的感受野，也即不同尺度的图片特征。此外需要说明的是，多尺度识别网络的分支可以至少包括两个，本实施例中以三个分支为例进行说明，具体可以参见图3，图3中三个分支中的卷积参数均相同，但是膨胀系数d不相同，这样将样本图片输入至该多尺度识别网络中可以得到对应该样本图片的三个不同尺度的特征。在其他的实施例中，将样本图片输入至该多尺度识别网络中可以得到对应分支数量的多个不同尺度的特征。

分支选择网络则是可以提取样本图片的特征，并根据样本图片的特征选取对应的分支，例如其可以采用gumbel layer网络，将所提取的特征作为输入放入gumbel softmax中，输出为一个n维的one-hot向量，通个这个向量决定使用多尺度识别网络的某一个分支，其中n为分支的数量，仍以上述三个分支为例说明，其得到的向量可以是(1,0,0)，则表征所选择的是第一个分支。

S106：根据分支选择结果和每一分支的识别结果得到模型输出结果。

具体地，模型输出结果是根据分支选择结果和每一分支的识别结果得到的，即通过每一分支的识别结果乘以上述分支选择结果中的向量，从而将未选择的分支的模型输出结果滤除掉，仅保留所选择的分支的结果。

S108：根据模型输出结果和目标标注信息计算得到第一损失函数，并基于第一损失函数反向传播以对多尺度识别网络和分支选择网络中的参数进行调整，直至第一损失函数满足预设值，得到多尺度目标检测模型。

具体地，终端将所得到的模型输出结果和目标标注信息计算得到第一损失函数，其中第一损失函数是包括了多尺度识别网络和分支选择网络的损失的，即第一损失函数可以看作多尺度识别网络的损失函数乘以分支选择网络的损失函数。这样在反向转播的时候，分别通过多尺度识别网络的损失函数对多尺度识别网络进行反向传播以修改对应分支的参数，通过分支选择网络的损失函数对分支选择网络进行反向传播以修改其的参数。其中对于多尺度识别网络中分支的参数的修改是指修改其各个位置的卷积的权重。

这样终端进行反向传播修改网络参数，直至第一损失函数满足预设值，得到多尺度目标检测模型，例如第一损失函数最小，或者是第一损失函数小于一定的值时，则得到多尺度目标检测模型。

上述多尺度目标检测模型的训练方法，在训练的时候，将多尺度识别网络和分支选择网络进行联合训练，即根据多尺度识别网络输出的每一分支的识别结果和分支选择网络输出的分支选择结果来进行损失函数的计算以及反向传播，从而得到多尺度目标检测模型，也即分支选择结果是根据模型来进行得到的，而无需人工进行设置，提高了准确性，此外也不需要计算目标大小，因此也不需要增加额外的计算量。

在其中一个实施例中，根据分支选择结果和每一分支的识别结果得到模型输出结果之前，还包括：根据分支选择结果确定目标分支，将目标分支的识别结果作为对应样本图片的伪标签；根据样本图片的伪标签和非目标分支的识别结果对非目标分支进行训练。

具体地，本实施例中为了提高样本量，以提高各个分支的鲁棒性，可以进行自训练，即在分支选择网络选择了分支之后，获取该分支的识别结果作为对应的样本的伪标签，例如可以对该分支的模型识别结果进行非极大值抑制操作得到唯一的一个结果作为伪标签，然后将该伪标签作为其他的分支的真值对其他的分支进行训练。

可选地，根据样本图片的伪标签和非目标分支的识别结果对非目标分支进行训练，包括：改变分支选择网络的分支选择结果为选择非目标分支；根据样本图片的伪标签和非目标分支的识别结果计算得到第二损失函数，并基于第二损失函数反向传播以对多尺度识别网络中的参数进行调整，直至第二损失函数满足预设值，得到多尺度目标检测模型。

以图2为例，其中假设分支选择网络的输出结果为选择第一分支，则先对其进行训练以得到损失函数。然后改变分支选择网络的分支选择结果为选择非目标分支，即选择第二分支和第三分支，这样根据样本图片的伪标签和非目标分支的识别结果计算得到第二损失函数，从而可以基于第二损失函数反向传播以对多尺度识别网络中的参数进行调整，直至第二损失函数满足预设值，得到多尺度目标检测模型，其中对于非目标分支的训练可以是分别进行的，例如并行进行，也可以是顺序进行。这样对每个分支进行单独的训练，可以增强每路分支的鲁棒性，且通过目标分支输出的伪标签来作为真值，提高了样本的数量。

在其中一个实施例中，获取第一样本数据之后，还包括：提取样本图片的图像特征，并基于图像特征生成候选区域。其中候选区域是指其中大概率存在目标的部分图片。

具体地，第一样本数据中可以是其中仅有一个目标的图片，或者是其中包括两个或两个以上目标的图片。若是仅有一个目标的图片，则终端可以直接提取前景以进行目标检测等。若是包括两个或两个以上目标的图片，则提取样本图片的图像特征，并基于图像特征生成候选区域。

其中对于候选区域的选取，则可以是先通过卷积网络提取图片的特征，然后提取候选区域，例如按照faster-rcnn的方法提取RPN。

继续参见图2所示，该多尺度目标检测模型还可以包括候选区域提取模块，该候选区域提取模块包括特征提取单元和候选区域提取单元，其中通过使用常见的卷积网络，对输入图像网络提取特征，例如利用卷积神经网络处理输入图像，生成深层的特征图，然后再利用各种算法完成区域生成与损失计算，这部分卷积神经网络是整个检测算法的“骨架”，也被称为Backbone。然后按照faster-rcnn的方法提取RPN。在其他的实施例中，该候选区域提取模块可以是在多尺度目标检测模型之前，即多尺度目标检测模型仅是对候选区域进行处理。这样第一样本数据中则可以是其中仅有一个目标的图片，也就是说第一样本数据是经过候选区域提取模块处理过后的图片。

上述实施例中，通过候选区域提取模块对图片进行特征提取和候选区域的提取，为后续多尺度目标检测模型的处理奠定基础。

在其中一个实施例中，多尺度目标检测模型的训练方还包括测试过程，该测试过程主要包括：获取测试数据，测试数据中的测试图片携带有测试标签；将测试图片输入至训练完成的多尺度目标检测模型中，以通过分支选择网络得到测试选择结果，通过多尺度识别网络得到每一分支的测试识别结果；根据测试选择结果和测试识别结果得到初始预测结果；对预测结果进行过滤得到目标预测结果；通过测试标签和目标预测结果进行比较以得到测试结果。

具体地，所谓测试阶段，也就是模型中的输入数据不具有标签信息，网络只负责对图片进行特征提取。

首先将测试图片输入至训练完成的多尺度目标检测模型中，以通过分支选择网络得到测试选择结果，通过多尺度识别网络得到每一分支的测试识别结果；根据测试选择结果和测试识别结果得到初始预测结果。

其中可选地，在将测试图片输入至训练完成的多尺度目标检测模型之前，先将测试图片输入至候选区域提取模块，以提取测试图片的特征以及候选区域，进而将候选区域输入至多尺度目标检测模型得到上述初始预测结果。

最后对预测结果进行过滤得到目标预测结果，例如通过非极大值抑制过滤得到最终的目标预测结果，然后将测试标签和目标预测结果进行比较以得到测试结果，即测试成功或测试失败。

在其中一个实施例中，还可以多测试数据进行测试，从而计算测试成功率，以判断模型是否符合要求。

上述实施例中，在模型测试阶段，输入时输入一张图片，然后使用gumbel softmax的结果对应的分支预测，最后使用非极大值抑制过滤得到最终的预测结果，进行测试。

在一个实施例中，如图4所示，提供了一种基于多尺度目标检测模型的目标检测方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

S402：获取待检测图片。

具体地，待检测图片可以是其他终端发送给终端的，或者是用户自行选择的，或者是从数据库中获取的，在此不做具体的限制。

S404：将待检测图片输入至上述任意一个实施例中的多尺度目标检测模型的训练方法训练得到的多尺度目标检测模型中得到目标检测结果。

具体地，多尺度目标检测模型的训练方法可以参见上文，在此不再赘述。

将待检测图片输入至多尺度目标检测模型中，可以通过多尺度目标检测模型提取待检测图片的特征，然后按照faster-rcnn的方法提取候选区域。在其他实施例中，多尺度目标检测模型不包括候选区域提取模块，则先将待检测图片输入至候选区域提取模块提取待检测图片的特征，然后按照faster-rcnn的方法提取候选区域。

然后多尺度检测模型对每一候选区域分别通过多尺度识别网络以及分支选择网络进行处理，从而根据多尺度识别网络的结果以及分支选择结果可以得到每个候选区域对应的检测结果，然后对检测结果进行过滤处理，例如非极大值抑制处理以得到目标检测结果。可选地，可以先根据分支选择网络处理得到分支选择结果，然后根据分支选择结果以及多尺度识别网络进行处理得到分支处理结果，这样在使用的时候仅使用多尺度目标检测模型中的多尺度识别网络的一个分支即可以实现目标检测。

上述基于多尺度目标检测模型的目标检测方法，在训练的时候，将多尺度识别网络和分支选择网络进行联合训练，即根据多尺度识别网络输出的每一分支的识别结果和分支选择网络输出的分支选择结果来进行损失函数的计算以及反向传播，从而得到多尺度目标检测模型，也即分支选择结果是根据模型来进行得到的，而无需人工进行设置，提高了准确性，此外也不需要计算目标大小，因此也不需要增加额外的计算量。这样在使用的时候，可以通过模型自行选择对应的分支，提高准确性。

应该理解的是，虽然图1和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1和图4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图5所示，提供了一种多尺度目标检测模型的训练装置，包括：样本获取模块502、数据处理模块504、模型输出结果获取模块506和训练模块508，其中：

样本获取模块502，用于获取第一样本数据，第一样本数据中每张样本图片携带有目标标注信息；

数据处理模块504，用于将样本图片分别输入至多尺度目标检测模型的多尺度识别网络和分支选择网络中，得到对应分支选择网络的分支选择结果和对应多尺度识别网络的每一分支的识别结果，多尺度识别网络的每一分支网络结构相同的并且参数共享，但膨胀卷积的系数不同；

模型输出结果获取模块506，用于根据分支选择结果和每一分支的识别结果得到模型输出结果；

训练模块508，用于根据模型输出结果和目标标注信息计算得到第一损失函数，并基于第一损失函数反向传播以对多尺度识别网络和分支选择网络中的参数进行调整，直至第一损失函数满足预设值，得到多尺度目标检测模型。

在其中一个实施例中，上述的多尺度目标检测模型的训练装置还可以包括：

伪标签生成模块，用于根据分支选择结果确定目标分支，将目标分支的识别结果作为对应样本图片的伪标签；

分支训练模块508，用于根据样本图片的伪标签和非目标分支的识别结果对非目标分支进行训练。

在其中一个实施例中，上述的分支训练模块508包括：

改变单元，用于改变分支选择网络的分支选择结果为选择非目标分支；

训练单元，用于根据样本图片的伪标签和非目标分支的识别结果计算得到第二损失函数，并基于第二损失函数反向传播以对多尺度识别网络中的参数进行调整，直至第二损失函数满足预设值，得到多尺度目标检测模型。

在其中一个实施例中，上述的多尺度目标检测模型的训练装置还可以包括：

提取模块，用于提取样本图片的图像特征，并基于图像特征生成候选区域。

在其中一个实施例中，上述的多尺度目标检测模型的训练装置还可以包括：

测试数据获取模块，用于获取测试数据，测试数据中的测试图片携带有测试标签；

测试模块，用于将测试图片输入至训练完成的多尺度目标检测模型中，以通过分支选择网络得到测试选择结果，通过多尺度识别网络得到每一分支的测试识别结果；

初始预测结果生成模块，用于根据测试选择结果和测试识别结果得到初始预测结果；

过滤模块，用于对预测结果进行过滤得到目标预测结果；

测试结果获取模块，用于通过测试标签和目标预测结果进行比较以得到测试结果。

在一个实施例中，如图6所示，提供了一种基于多尺度目标检测模型的目标检测装置，包括：待检测图片获取模块602和检测模块604，其中：

待检测图片获取模块602，用于获取待检测图片；

检测模块604，用于将待检测图片输入至上述任意一个实施例中的多尺度目标检测模型的训练装置训练得到的多尺度目标检测模型中得到目标检测结果。

关于多尺度目标检测模型的训练装置以及基于多尺度目标检测模型的目标检测装置的具体限定可以参见上文中对于多尺度目标检测模型的训练方法以及基于多尺度目标检测模型的目标检测方法的限定，在此不再赘述。上述多尺度目标检测模型的训练装置以及基于多尺度目标检测模型的目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种多尺度目标检测模型的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取第一样本数据，第一样本数据中每张样本图片携带有目标标注信息；将样本图片分别输入至多尺度目标检测模型的多尺度识别网络和分支选择网络中，得到对应分支选择网络的分支选择结果和对应多尺度识别网络的每一分支的识别结果，多尺度识别网络的每一分支网络结构相同的并且参数共享，但膨胀卷积的系数不同；根据分支选择结果和每一分支的识别结果得到模型输出结果；根据模型输出结果和目标标注信息计算得到第一损失函数，并基于第一损失函数反向传播以对多尺度识别网络和分支选择网络中的参数进行调整，直至第一损失函数满足预设值，得到多尺度目标检测模型。

在一个实施例中，处理器执行计算机程序时所实现的根据分支选择结果和每一分支的识别结果得到模型输出结果之前，还包括：根据分支选择结果确定目标分支，将目标分支的识别结果作为对应样本图片的伪标签；根据样本图片的伪标签和非目标分支的识别结果对非目标分支进行训练。

在一个实施例中，处理器执行计算机程序时所实现的根据样本图片的伪标签和非目标分支的识别结果对非目标分支进行训练，包括：改变分支选择网络的分支选择结果为选择非目标分支；根据样本图片的伪标签和非目标分支的识别结果计算得到第二损失函数，并基于第二损失函数反向传播以对多尺度识别网络中的参数进行调整，直至第二损失函数满足预设值，得到多尺度目标检测模型。

在一个实施例中，处理器执行计算机程序时所实现的获取第一样本数据，第一样本数据中每张样本图片携带有目标标注信息之后，还包括：提取样本图片的图像特征，并基于图像特征生成候选区域。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：获取测试数据，测试数据中的测试图片携带有测试标签；将测试图片输入至训练完成的多尺度目标检测模型中，以通过分支选择网络得到测试选择结果，通过多尺度识别网络得到每一分支的测试识别结果；根据测试选择结果和测试识别结果得到初始预测结果；对预测结果进行过滤得到目标预测结果；通过测试标签和目标预测结果进行比较以得到测试结果。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取待检测图片；将待检测图片输入至上述任意一个实施例中的多尺度目标检测模型的训练方法训练得到的多尺度目标检测模型中得到目标检测结果。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取第一样本数据，第一样本数据中每张样本图片携带有目标标注信息；将样本图片分别输入至多尺度目标检测模型的多尺度识别网络和分支选择网络中，得到对应分支选择网络的分支选择结果和对应多尺度识别网络的每一分支的识别结果，多尺度识别网络的每一分支网络结构相同的并且参数共享，但膨胀卷积的系数不同；根据分支选择结果和每一分支的识别结果得到模型输出结果；根据模型输出结果和目标标注信息计算得到第一损失函数，并基于第一损失函数反向传播以对多尺度识别网络和分支选择网络中的参数进行调整，直至第一损失函数满足预设值，得到多尺度目标检测模型。

在一个实施例中，计算机程序被处理器执行时所实现的根据分支选择结果和每一分支的识别结果得到模型输出结果之前，还包括：根据分支选择结果确定目标分支，将目标分支的识别结果作为对应样本图片的伪标签；根据样本图片的伪标签和非目标分支的识别结果对非目标分支进行训练。

在一个实施例中，计算机程序被处理器执行时所实现的根据样本图片的伪标签和非目标分支的识别结果对非目标分支进行训练，包括：改变分支选择网络的分支选择结果为选择非目标分支；根据样本图片的伪标签和非目标分支的识别结果计算得到第二损失函数，并基于第二损失函数反向传播以对多尺度识别网络中的参数进行调整，直至第二损失函数满足预设值，得到多尺度目标检测模型。

在一个实施例中，计算机程序被处理器执行时所实现的获取第一样本数据，第一样本数据中每张样本图片携带有目标标注信息之后，还包括：提取样本图片的图像特征，并基于图像特征生成候选区域。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：获取测试数据，测试数据中的测试图片携带有测试标签；将测试图片输入至训练完成的多尺度目标检测模型中，以通过分支选择网络得到测试选择结果，通过多尺度识别网络得到每一分支的测试识别结果；根据测试选择结果和测试识别结果得到初始预测结果；对预测结果进行过滤得到目标预测结果；通过测试标签和目标预测结果进行比较以得到测试结果。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取待检测图片；将待检测图片输入至上述任意一个实施例中的多尺度目标检测模型的训练方法训练得到的多尺度目标检测模型中得到目标检测结果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种多尺度目标检测模型的训练方法，其特征在于，所述多尺度目标检测模型的训练方法包括：

获取第一样本数据，所述第一样本数据中每张样本图片携带有目标标注信息；

将所述样本图片分别输入至多尺度目标检测模型的多尺度识别网络和分支选择网络中，得到对应所述分支选择网络的分支选择结果和对应所述多尺度识别网络的每一分支的识别结果，所述多尺度识别网络的每一分支网络结构相同的并且参数共享，但膨胀卷积的系数不同；

根据所述分支选择结果和所述每一分支的识别结果得到模型输出结果；

根据所述模型输出结果和所述目标标注信息计算得到第一损失函数，并基于所述第一损失函数反向传播以对所述多尺度识别网络和分支选择网络中的参数进行调整，直至所述第一损失函数满足预设值，得到多尺度目标检测模型。

2.根据权利要求1所述的多尺度目标检测模型的训练方法，其特征在于，所述根据所述分支选择结果和所述每一分支的识别结果得到模型输出结果之前，还包括：

根据所述分支选择结果确定目标分支，将所述目标分支的识别结果作为对应样本图片的伪标签；

根据所述样本图片的伪标签和非目标分支的识别结果对所述非目标分支进行训练。

3.根据权利要求2所述的多尺度目标检测模型的训练方法，其特征在于，所述根据所述样本图片的伪标签和非目标分支的识别结果对所述非目标分支进行训练，包括：

改变所述分支选择网络的分支选择结果为选择非目标分支；

根据所述样本图片的伪标签和非目标分支的识别结果计算得到第二损失函数，并基于所述第二损失函数反向传播以对所述多尺度识别网络中的参数进行调整，直至所述第二损失函数满足预设值，得到多尺度目标检测模型。

4.根据权利要求1至3任意一项所述的多尺度目标检测模型的训练方法，其特征在于，所述获取第一样本数据，所述第一样本数据中每张样本图片携带有目标标注信息之后，还包括：

提取所述样本图片的图像特征，并基于所述图像特征生成候选区域。

5.根据权利要求1至3任意一项所述的多尺度目标检测模型的训练方法，其特征在于，所述方法还包括：

获取测试数据，所述测试数据中的测试图片携带有测试标签；

将所述测试图片输入至训练完成的多尺度目标检测模型中，以通过所述分支选择网络得到测试选择结果，通过所述多尺度识别网络得到每一分支的测试识别结果；

根据所述测试选择结果和所述测试识别结果得到初始预测结果；

对所述预测结果进行过滤得到目标预测结果；

通过所述测试标签和所述目标预测结果进行比较以得到测试结果。

6.一种基于多尺度目标检测模型的目标检测方法，其特征在于，所述基于多尺度目标检测模型的目标检测方法包括：

获取待检测图片；

将所述待检测图片输入至权利要求1至5任意一项所述的多尺度目标检测模型的训练方法训练得到的多尺度目标检测模型中得到目标检测结果。

7.一种多尺度目标检测模型的训练装置，其特征在于，所述多尺度目标检测模型的训练装置包括：

样本获取模块，用于获取第一样本数据，所述第一样本数据中每张样本图片携带有目标标注信息；

数据处理模块，用于将所述样本图片分别输入至多尺度目标检测模型的多尺度识别网络和分支选择网络中，得到对应所述分支选择网络的分支选择结果和对应所述多尺度识别网络的每一分支的识别结果，所述多尺度识别网络的每一分支网络结构相同的并且参数共享，但膨胀卷积的系数不同；

模型输出结果获取模块，用于根据所述分支选择结果和所述每一分支的识别结果得到模型输出结果；

训练模块，用于根据所述模型输出结果和所述目标标注信息计算得到第一损失函数，并基于所述第一损失函数反向传播以对所述多尺度识别网络和分支选择网络中的参数进行调整，直至所述第一损失函数满足预设值，得到多尺度目标检测模型。

8.一种基于多尺度目标检测模型的目标检测装置，其特征在于，所述基于多尺度目标检测模型的目标检测装置包括：

待检测图片获取模块，用于获取待检测图片；

检测模块，用于将所述待检测图片输入至权利要求7所述的多尺度目标检测模型的训练装置训练得到的多尺度目标检测模型中得到目标检测结果。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5或6中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5或6中任一项所述的方法的步骤。

Images