CN112699776B - 训练样本优化方法、目标检测模型生成方法、设备及介质 - Google Patents

Abstract

本发明实施例公开了一种训练样本优化方法、目标检测模型生成方法、设备及介质。该方法包括：获取训练样本集，训练样本集中的每个训练样本中标注有前景目标物体和背景目标物体；根据目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束；在各训练样本中，获取满足语义规则约束的目标优化样本，并在各目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框。通过添加同时包括不同种类目标的标注框，在样本训练过程加入了前景目标物体的语义信息，便于在进行目标检测时，提取完整的前景目标物体特征，从而提高识别准确性，并且计算复杂度低。

Description

训练样本优化方法、目标检测模型生成方法、设备及介质

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种训练样本优化方法、目标检测模型生成方法、设备及介质。

背景技术

在人工智能领域中，对于目标物体的检测，通常采用两种形式的检测。第一种形式是在人工指定的检测区域内进行前景目标特征检测与识别；第二种形式是通过深度学习中的卷积神经网络实现目标检测。

但是，第一种形式需要通过人工操作，并且忽略了前景目标物体的语义信息，易造成前景目标物体特征提取不完整或者背景中混合干扰信息，从而使目标检测准确度低。第二种形式虽然提高了目标检测的精准度与鲁棒性，但目标检测与语义特征提取是分开的，需要在目标检测神经网络的基础上增加语义分割算法或者模型单独提取语义信息，再将目标检测与语义分割后的结果相结合，才能实现语义规则下的目标检测，计算复杂度高、性能受限。

发明内容

本发明实施例提供了一种训练样本优化方法、目标检测模型生成方法、设备及介质，可以在训练样本中添加包含不同种类目标的标注框，从而在进行目标检测时，便于提取完整的前景目标物体特征，从而提高识别准确性，并且计算复杂度低。

第一方面，本发明实施例提供了一种目标检测模型中的训练样本优化方法，该方法包括：

获取训练样本集，所述训练样本集中的每个训练样本中标注有前景目标物体和背景目标物体；

根据所述目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束；

在各所述训练样本中，获取满足所述语义规则约束的目标优化样本，并在各所述目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框。

第二方面，本发明实施例还提供了一种目标检测模型的生成方法，该方法包括：

获取通过如本发明任一实施例所提供的目标检测模型中的训练样本优化方法优化后得到的目标优化样本；

使用各所述目标优化样本，对预设的深度学习模型进行迭代训练，形成所述目标检测模型。

第三方面，本发明实施例还提供了一种计算机设备，包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：

获取训练样本集，所述训练样本集中的每个训练样本中标注有前景目标物体和背景目标物体；

根据目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束；

在各所述训练样本中，获取满足所述语义规则约束的目标优化样本，并在各所述目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框。

第四方面，本发明实施例还提供了一种计算机设备，包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：

获取通过如本发明任一实施例所提供的目标检测模型中的训练样本优化方法优化后得到的目标优化样本；

使用各所述目标优化样本，对预设的深度学习模型进行迭代训练，形成所述目标检测模型。

第五方面，本发明实施例还提供了一种存储介质，存储介质用于存储指令，所述指令用于执行：

获取训练样本集，所述训练样本集中的每个训练样本中标注有前景目标物体和背景目标物体；

根据目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束；

在各所述训练样本中，获取满足所述语义规则约束的目标优化样本，并在各所述目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框；

或者，

获取通过如本发明任一实施例所提供的目标检测模型中的训练样本优化方法优化后得到的目标优化样本；

使用各所述目标优化样本，对预设的深度学习模型进行迭代训练，形成所述目标检测模型。

本发明实施例的技术方案，通过获取训练样本集，训练样本集中的每个训练样本中标注有前景目标物体和背景目标物体；根据目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束；在各训练样本中，获取满足语义规则约束的目标优化样本，并在各目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框。解决了目标检测时基于语义信息对训练样本进行优化的问题，实现了让语义信息参与到学习中，便于在进行目标检测时，提高分类识别的精度；并且无需进行语义分割，可以降低计算复杂度的效果。

附图说明

图1a是本发明实施例一提供的一种目标检测模型中的训练样本优化方法的流程图；

图1b是本发明实施例一提供的一种训练样本的示意图；

图1c是本发明实施例一提供的一种目标优化样本中标注框的标注示意图；

图2a是本发明实施例二提供的一种目标检测模型的生成方法的流程图；

图2b是本发明实施例二提供的一种候选框生成过程示意图；

图2c是本发明实施例二提供的一种尺度变换的示意图；

图3是本发明实施例三提供的一种目标检测模型中的训练样本优化装置的结构示意图；

图4是本发明实施例四提供的一种目标检测模型的生成装置的结构示意图；

图5是本发明实施例五提供的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

本文使用的术语“目标检测模型”可以是对目标物体进行类型识别以及位置信息识别的深度学习模型，例如可以是利用一阶段深度学习网络或者二阶段深度学习网络所生成的目标检测模型。

本文使用的术语“训练样本”可以是针对待检测的目标检测数据集确定的样本，可以是已经标注好目标物体的位置信息和类别信息的图片。

本文使用的术语“检测任务”可以是对目标物体的类别识别以及位置识别。例如，识别踢足球时，检测任务可以是对物体进行人和足球的识别，以及人和足球位置信息的识别。

本文使用的术语“前景目标物体”可以是与“背景目标物体”相对的。前景目标物体与背景目标物体可以是不同类别的物体。背景目标物体可以理解为前景目标物体的语义信息。例如，在一张待识别占道经营的图片中，前景目标物体可以是摊位，背景目标物体可以是道路。又如，在一张待识别踢足球的图片中，前景目标物体可以是人，背景目标物体可以是足球；或者，前景目标物体可以是足球，背景目标物体可以是人。

本文使用的术语“位置约束关系”可以是根据检测任务确定的前景目标物体与背景目标物体的位置信息需要满足的条件。例如，对于踢足球的检测，位置约束关系可以是人与足球存在接触，或者人与足球的距离在一定范围内，该距离可以根据现实中人在踢球时的距离确定。又如，对于占道经营的检测中，位置约束关系可以是摊位与道路存在重叠。

本文使用的术语“目标优化样本”可以是对训练样本按照检测任务对应的位置约束关系进行筛选，确定的满足位置约束关系的训练样本。

本文使用的术语“标注框”可以是同时标注前景目标物体以及背景目标物体的框。例如，在占道经营的目标检测任务中，标注框可以是同时标注摊位和道路的类别以及对应的区域位置的框。

实施例一

图1a是本发明实施例一提供的一种目标检测模型中的训练样本优化方法的流程图，本实施例可适用于生成目标检测模型时对训练样本进行处理的情况，该方法可以由目标检测模型中的训练样本优化装置来执行，该装置可以通过软件，和/或硬件的方式实现，装置可以集成在计算机中，如图1a所示，该方法具体包括：

步骤110、获取训练样本集，训练样本集中的每个训练样本中标注有前景目标物体和背景目标物体。

其中，训练样本中包括大量训练样本。图1b是本发明实施例一提供的一种训练样本的示意图。如图1b所示，在训练样本中(第一训练样本或者第二训练样本)，可以对前景目标物体和背景目标物体进行分别标注。标注可以是通过矩形框或者非矩形框进行的。不同形状的框可以表示不同的目标物体。例如，前景目标物体和背景目标物体的标注可以采用不同形状的框。训练样本中目标物体的标注分为位置信息标注和类别标注。

位置信息标注可以表示目标物体在训练样本中的位置区域，例如可以是通过坐标系方式进行表示的。示例性的，可以是以图片的中心点或者某个端点作为原点，建立直角坐标系。根据目标物体在直角坐标系中与原点的相对位置确定目标物体在训练样本中的位置区域。具体的，位置区域可以是通过目标物体的端点以及中心点与原点的相对位置确定的。

类别标注可以是表示目标物体的所属类别。例如，本发明实施例中的前景目标物体和背景目标物体。进一步的，目标物体的所属类别可以是具体的检测任务中，前景目标物体和背景目标物体所表示的物体种类。例如，在占道经营检测中，前景目标物体的物体种类可以是摊位；背景目标物体的物体种类可以是道路。类别标注可以是对摊位以及道路进行标注。又如，在踢足球检测中，前景目标物体的物体种类可以是人；背景目标物体的物体种类可以是足球。类别标注可以是对人以及足球进行标注。

步骤120、根据目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束。

其中，检测任务不同时，前景目标物体与背景目标物体之间的语义规则约束可以是不同的。前景目标物体与背景目标物体之间的语义规则约束可以是表示检测任务中目标与其语义信息之间的先验知识的语义规则条件。

语义规则约束可以是由类别信息以及位置信息构成的。例如，占道经营检测中，摊位作为目标，其语义信息是道路。摊位与道路之间的先验知识可以是两者存在重叠，从而语义规则条件可以是摊位与道路的位置区域存在重叠。又如，踢足球检测中，人作为目标，其语义信息是足球。人与足球之间的先验知识可以是两者存在接触或者距离在一定范围内，从而语义规则条件可以是人与足球的位置区域存在重叠，或者人与足球的中心点之间距离小于等于预设距离。

在本发明实施例的一个可选实施方式中，根据目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束，包括：根据目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的位置约束关系；其中，位置约束关系包括：前景目标物体标识框的面积与背景目标物体标识框的面积交集大于或者等于设定的面积阈值。

其中，位置约束关系可以是前景目标物体标识框和背景目标物体标识框的位置在检测任务中需要满足的条件关系。例如，占道经营检测中，位置约束关系可以是摊位和道路的标识框存在重叠。

前景目标物体标识框和背景目标物体标识框可以是如图1b所示的分别标注前景目标物体和背景目标物体的框。面积交集可以是前景目标物体标识框和背景目标物体标识框形成的重叠区域所占的面积值。可以通过数学方法确定面积交集，确定其是否大于或等于设定的面积阈值。

示例性的，在占道经营检测中，摊位与道路的位置约束关系可以是摊位与道路的标识框面交集大于0。

步骤130、在各训练样本中，获取满足语义规则约束的目标优化样本，并在各目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框。

其中，由于语义规则约束是根据检测任务中前景目标物体与背景目标物体之间的先验知识确定的，因此，对于不满足语义规则约束的可以直接确认为不满足检测任务；对于满足语义规则约束的可以确定认为满足初步检测任务，需要对前景目标物体以及背景目标物体进行进一步的检测。

示例性的，在踢足球检测中，如果训练样本中人与足球的位置关系不满足语义规则约束，可以确定该训练样本不是踢足球；如果训练样本中人与足球的位置关系满足语义规则约束，可以初步确定训练样本是踢足球，需要对人以及足球进行进一步的检测与确定，例如需要进一步确定是否是真实的人与足球，以及人与足球的具体位置等。

又一示例性的，在占道经营检测中，如果训练样本中摊位与道路的位置关系不满足位置约束条件，可以确定该训练样本不是占道经营；如果训练样本中摊位与道路满足位置约束条件，可以初步确定训练样本是占道经营，需要对摊位以及道路进行进一步的检测与确定，例如需要进一步确定是否是真实的摊位与道路，以及摊位与道路的具体位置等。

在本发明实施例的一个可选实施方式中，在各训练样本中，获取满足语义规则约束的目标优化样本，包括：在各训练样本中，获取满足前景目标物体标识框的面积与背景目标物体识别框的面积交集大于或者等于设定的面积阈值的训练样本作为目标优化样本。

其中，在本发明实施例的一个具体实施方式中，可以对训练样本进行筛选，将满足语义规则约束，例如，前景目标物体标识框的面积与背景目标物体识别框的面积交集大于或者等于设定的面积阈值的训练样本作为目标优化样本。示例性的，图1b所示的训练样本中，第一训练样本不满足语义规则约束，第二训练样本满足语义规则约束。可以将满足语义规则约束的第二训练样本作为目标优化样本。

在本发明实施例中，可以在目标优化样本中，生成包括前景目标物体和背景目标物体的标注框，将生成标注框的目标优化样本作为最终优化后的目标优化样本。在后续针对目标优化样本进行目标检测时，由于在前景目标物体的检测中加入了作为语义信息的背景目标信息，可以达到提取特征更加准确的效果，从而可以提高目标检测的准确性。其中，标注框的添加可以是根据前景目标物体和背景目标物体的各端点确定的。具体的，标注框可以是矩形框。

在各目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框，包括：在各目标优化样本中，通过多目标极点锚框生成方法或者多目标中心点扩展锚框方法，根据前景目标物体标识框和背景目标物体识别框，确定同时包括前景目标物体和背景目标物体的标注框。

其中，图1c是本发明实施例一提供的一种目标优化样本中标注框的标注示意图。如图1c所示，为了使标注框精确的对前景目标物体和背景目标物体进行标注，可以采用多目标极点锚框生成方法或者多目标中心点扩展锚框方法，在前景目标物体标识框和背景目标物体识别框的基础上进行标注框的生成。

多目标极点锚框生成方法可以是分别获取前景目标物体标识框和背景目标物体识别框的极点，根据极点所在位置，确定标注框的上下左右界线，根据上下左右界线确定标注框。

多目标中心点扩展锚框方法可以是分别获取前景目标物体标识框和背景目标物体识别框的中心点，根据中心点所在位置，进行扩展触及标识框的边界，从而根据边界确定标注框的上下左右界线，根据上下左右界线确定标注框。

本发明实施例的技术方案，通过获取训练样本集，训练样本集中的每个训练样本中标注有前景目标物体和背景目标物体；根据目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束；在各训练样本中，获取满足语义规则约束的目标优化样本，并在各目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框，解决了目标检测时基于语义信息对训练样本进行优化的问题，实现了让语义信息参与到学习中，便于在进行目标检测时，提高分类识别的精度；并且无需进行语义分割，可以降低计算复杂度的效果。

实施例二

图2a是本发明实施例二提供的一种目标检测模型的生成方法的流程图，本实施例可适用于生成目标检测模型时对目标进行检测的情况，该方法可以由目标检测模型的生成装置来执行，该装置可以通过软件，和/或硬件的方式实现，装置可以集成在计算机中，如图2a所示，该方法具体包括：

步骤210、获取对训练样本优化后得到的目标优化样本。

其中，目标优化样本可以是通过本发明实施例一提供的目标检测模型中的训练样本优化方法生成的。目标优化样本中可以具有包括前景目标物体和背景目标物体的标注框。

步骤220、使用各目标优化样本，对预设的深度学习模型进行迭代训练，形成目标检测模型。

其中，预设的深度学习模型可以是目标检测时所使用的模型，具体的预设的深度学习模型可以是卷积神经网络模型。例如，预设的深度学习模型可以是一阶段检测方法形成的卷积神经网络模型；或者，预设的深度学习模型也可以是二阶段检测方法形成的卷积神经网络模型。本发明实施例提供的目标检测模型的生成方法可以在一阶段目标检测方法和二阶段目标检测方法中均适用。相较于目标检测和语义分割的结合方法，可以降低计算复杂度，并提高检测性能。

迭代训练可以是对大量目标优化样本进行基于预设的深度学习模型的训练，达到模型收敛，最终形成目标检测模型的过程。其中，在形成目标检测模型后，还可以通过验证样本对目标检测模型进行验证，根据验证结果对目标检测模型进行调整，以提高目标检测模型识别的准确度。

本发明实施例的技术方案，通过获取训练样本优化后得到的目标优化样本；使用各目标优化样本，对预设的深度学习模型进行迭代训练，形成目标检测模型，解决了目标检测模型的生成问题，实现了提高目标检测的精准度，并且降低计算复杂度的效果。

在本发明实施例的一个可选实施方式中，步骤220：使用各训练样本，对预设的深度学习模型进行迭代训练，形成目标检测模型，可以包括步骤221至步骤224。其中：

步骤221、在各目标优化样本中，依次获取当前处理样本输入至深度学习模型中。

其中，深度学习模型可以是二阶段检测方法形成的深度学习模型。当前处理样本可以是当前进行处理的任一目标优化样本。目标检测模型生成的过程，可以是依次对目标优化样本进行处理的过程。

步骤222、通过深度学习模型在当前处理样本中识别至少一个候选框，并在各候选框中，获取与当前处理样本中的标注框匹配的目标候选框。

其中，候选框可以是通过对当前处理样本进行不同尺寸的锚框确定的。图2b是本发明实施例二提供的一种候选框生成过程示意图。如图2b所示，在当前处理样本中可以存在多个候选框。候选框可以是矩形框。候选框的尺寸可以是相同的或者不同的。候选框所在的位置可以是不同的。

目标候选框可以是与标注框最为匹配的候选框。在当前处理样本中获取与标注框匹配的目标候选框，可以是通过确定候选框的位置以及大小与标注框的匹配度确定的。例如，可以将与标注框的位置最匹配(如中心点位置最接近)，并且与标注框的大小最相近的候选框作为目标候选框。

在本发明实施例的一个可选实施方式中，在各候选框中，获取与当前处理样本中的标注框匹配的目标候选框，包括：确定各候选框与标注框的IOU；将最大IOU值对应的候选框作为与当前处理样本中的标注框匹配的目标候选框。

目标候选框可以是通过计算各候选框与标注框的交并比(Intersection overUnion，IOU)确定的。IOU是指候选框与标注框的交集和并集的比值。如果IOU值越大，说明候选框与标注框越匹配。如图2b所示，在本发明中可以将IOU值最大的候选框作为目标候选框。目标候选框中包括前景目标物体和背景目标物体。

需要说明的是，在本发明实施例的一个具体实施方式中，为了简化IOU的计算，如图2b所示的标注框以及候选框可以均为矩形框。通过确定两个矩形框的交集以及并集的上下界点，简化IOU的计算。

步骤223、通过深度学习模型，在目标候选框中进行目标检测，并根据检测结果和当前处理样本中对前景目标物体和背景目标物体的标注结果，计算损失函数。

其中，对于在目标候选框中进行目标检测，可以是先确定标注框与目标候选框的尺度变换关系。图2c是本发明实施例二提供的一种尺度变换的示意图。如图2c所示，可以根据尺度变换关系将标注框映射为目标候选框；并根据尺度变换关系，将前景目标物体和背景目标物体的标识框分别映射至目标候选框中对应的目标区域。可以将目标区域作为前景目标物体和背景目标物体的位置信息。在目标候选框中进行目标检测可以是针对目标区域进行目标物体的分类识别，可以提高目标物体识别的精准度。

在本发明实施例中，损失函数可以分为IOU损失函数以及分类识别损失函数。具体的，本发明实施例中目标检测模型的损失函数可以是IOU损失函数以及分类识别损失函数之和。

其中，IOU损失函数可以表示当前处理样本中对前景目标物体和背景目标物体的标注结果产生的误差，即可以表示目标候选框确定时产生的误差。IOU损失函数可以通过非极大值抑制方法确定。

分类识别损失函数可以表示检测结果产生的误差，即可以表示在目标候选框中进行目标物体的分类识别产生的误差。在占道经营检测中，分类识别损失函数可以是检测摊位以及检测道路的分类损失函数值之和。具体的，分类识别损失函数可以通过交叉熵函数确定的。

步骤224、根据损失函数，对深度学习模型进行参数调整，并返回执行在各目标优化样本中，依次获取当前处理样本输入至深度学习模型中的操作，直至满足结束迭代条件，以得到目标检测模型。

其中，可以根据损失函数确定的损失函数值，对深度学习模型进行参数调整，提高深度学习模型的分类识别精准度。通过对大量目标优化样本的处理可以进一步提高确定的目标检测模型的检测精度。

本发明实施例中生成的目标检测模型可以是针对识别的目标物体的分类信息以及位置信息，确定是否属于检测任务。例如，在占道经营检测中，可以确定图片中包含的目标物体(摊位和道路)的位置信息。并且，可以对位置信息对应的区域进行摊位和道路的分类识别。从而可以确定图片中是否包含摊位和道路，以及包含摊位和道路的图片中摊位和道路是否存在重叠。由此可以确定图片中的摊位是否是占道经营。

在本发明实施例的另一个可选实施方式中，步骤220：使用各训练样本，对预设的深度学习模型进行迭代训练，形成目标检测模型，可以包括步骤2201至步骤2204。其中：

步骤2201、在各目标优化样本中，依次获取当前处理样本输入至深度学习模型中进行前景目标物体与背景目标物体的特征提取实现目标检测。

其中，深度学习模型可以是一阶段检测方法形成的深度学习模型。特征提取可以是在目标优化样本中，针对前景目标物体以及背景目标物体分别进行的。特征提取的目的可以是实现对前景目标物体以及背景目标物体的分类识别。例如，识别摊位和道路。

步骤2202、根据特征提取边界确定的至少一个候选框，并在各候选框中，获取与当前处理样本中的标注框匹配的目标候选框。

其中，特征提取边界可以是进行特征提取后，产生的多个锚框的边界确定的。为了便于特征提取边界的处理，可以在进行特征提取后，通过二值化处理，明确锚框的边界。候选框可以是包含各个锚框的框。目标候选框可以与标注框最匹配的候选框。

在本发明实施例的一个可选实施方式中，在各候选框中，获取与当前处理样本中的标注框匹配的目标候选框，包括：确定各候选框与标注框的IOU；将最大IOU值对应的候选框作为与当前处理样本中的标注框匹配的目标候选框。

其中，目标候选框确定的方法可以与前述方式相同(计算IOU)，此处不再赘述。

步骤2203、根据检测结果和当前处理样本中对前景目标物体和背景目标物体的标注结果，计算损失函数。

其中，损失函数的确定与前述内容相同(包括IOU损失函数和分类损失函数)，此处不再赘述。

步骤2204、根据损失函数，对深度学习模型进行参数调整，并返回执行在各目标优化样本中，依次获取当前处理样本输入至深度学习模型中进行前景目标物体与背景目标物体的特征提取实现目标检测的操作，直至满足结束迭代条件，以得到目标检测模型。

其中，对于深度学习模型的参数调整与前述内容相似，此处不再赘述。通过对大量目标优化样本的处理可以进一步提高确定的目标检测模型的检测精度。

实施例三

图3是本发明实施例三提供的一种目标检测模型中的训练样本优化装置的结构示意图。结合图3，该装置包括：训练样本获取模块310，位置约束关系确定模块320和标注框添加模块330。其中：

训练样本获取模块310，用于获取训练样本集，训练样本集中的每个训练样本中标注有前景目标物体和背景目标物体；

位置约束关系确定模块320，用于根据目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束；

标注框添加模块330，用于在各训练样本中，获取满足语义规则约束的目标优化样本，并在各目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框。

在上述各实施例的基础上，可选的，位置约束关系确定模块320，包括：

位置约束关系确定单元，用于根据目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的位置约束关系；

其中，位置约束关系包括：

前景目标物体标识框的面积与背景目标物体标识框的面积交集大于或者等于设定的面积阈值。

在上述各实施例的基础上，可选的，标注框添加模块330，包括：

目标优化样本确定单元，用于在各训练样本中，获取满足前景目标物体标识框的面积与背景目标物体识别框的面积交集大于或者等于设定的面积阈值的训练样本作为目标优化样本。

在上述各实施例的基础上，可选的，标注框添加模块330，包括：

标注框确定单元，用于在各目标优化样本中，通过多目标极点锚框生成方法或者多目标中心点扩展锚框方法，根据前景目标物体标识框和背景目标物体识别框，确定同时包括前景目标物体和背景目标物体的标注框。

本发明实施例所提供的目标检测模型中的训练样本优化装置可执行本发明任意实施例所提供的目标检测模型中的训练样本优化方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4是本发明实施例四提供的一种目标检测模型的生成装置的结构示意图。结合图4，该装置包括：目标优化样本获取模块410和目标检测模型形成模块420。其中：

目标优化样本获取模块410，用于获取通过如本发明任一实施例所提供的方法优化后得到的目标优化样本；

目标检测模型形成模块420，用于使用各目标优化样本，对预设的深度学习模型进行迭代训练，形成目标检测模型。

可选的，目标检测模型形成模块420，包括：

当前处理样本输入单元，用于在各目标优化样本中，依次获取当前处理样本输入至深度学习模型中；

目标候选框获取单元，用于通过深度学习模型在当前处理样本中识别至少一个候选框，并在各候选框中，获取与当前处理样本中的标注框匹配的目标候选框；

损失函数计算单元，用于通过深度学习模型，在目标候选框中进行目标检测，并根据检测结果和当前处理样本中对前景目标物体和背景目标物体的标注结果，计算损失函数；

参数调整单元，用于根据损失函数，对深度学习模型进行参数调整，并返回执行在各目标优化样本中，依次获取当前处理样本输入至深度学习模型中的操作，直至满足结束迭代条件，以得到目标检测模型。

可选的，目标检测模型形成模块420，包括：

当前处理样本输入单元，用于在各目标优化样本中，依次获取当前处理样本输入至深度学习模型中进行前景目标物体与背景目标物体的特征提取实现目标检测；

目标候选框获取单元，用于根据特征提取边界确定的至少一个候选框，并在各候选框中，获取与当前处理样本中的标注框匹配的目标候选框；

损失函数计算单元，用于根据检测结果和当前处理样本中对前景目标物体和背景目标物体的标注结果，计算损失函数；

参数调整单元，用于根据损失函数，对深度学习模型进行参数调整，并返回执行在各目标优化样本中，依次获取当前处理样本输入至深度学习模型中进行前景目标物体与背景目标物体的特征提取实现目标检测的操作，直至满足结束迭代条件，以得到目标检测模型。

可选的，目标候选框获取单元，包括：

IOU确定子单元，用于确定各所述候选框与所述标注框的IOU；

目标候选框确定子单元，用于将最大IOU值对应的候选框作为与所述当前处理样本中的标注框匹配的目标候选框。

本发明实施例所提供的目标检测模型中的训练样本优化装置可执行本发明任意实施例所提供的目标检测模型中的训练样本优化方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5是本发明实施例五提供的一种计算机设备的结构示意图，如图5所示，该设备包括：

一个或多个处理器510，图5中以一个处理器510为例；

存储器520；

设备还可以包括：输入装置530和输出装置540。

设备中的处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接，图5中以通过总线连接为例。

存储器520作为一种非暂态计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的一种目标检测模型中的训练样本优化方法，或者，一种目标检测模型的生成方法对应的程序指令/模块(例如，附图3所示的训练样本获取模块310，位置约束关系确定模块320和标注框添加模块330；或者，附图4所示的目标优化样本获取模块410和目标检测模型形成模块420)。处理器510通过运行存储在存储器520中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述方法实施例的一种目标检测模型中的训练样本优化方法，即：

获取训练样本集，训练样本集中的每个训练样本中标注有前景目标物体和背景目标物体；

根据所述目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束；

在各所述训练样本中，获取满足所述语义规则约束的目标优化样本，并在各所述目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框。

或者，一种目标检测模型的生成方法，即：

获取通过如本发明任一实施例所提供的训练样本优化方法优化后得到的目标优化样本；

使用各所述目标优化样本，对预设的深度学习模型进行迭代训练，形成所述目标检测模型。

存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非暂态性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态性固态存储器件。在一些实施例中，存储器520可选包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置530可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。

实施例六

本发明实施例六提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例提供的一种目标检测模型中的训练样本优化方法，即：

获取训练样本集，训练样本集中的每个训练样本中标注有前景目标物体和背景目标物体；

根据所述目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束；

在各所述训练样本中，获取满足所述语义规则约束的目标优化样本，并在各所述目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框。

或者，一种目标检测模型的生成方法，即：

获取通过如本发明任一实施例所提供的训练样本优化方法优化后得到的目标优化样本；

使用各所述目标优化样本，对预设的深度学习模型进行迭代训练，形成所述目标检测模型。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (17)

1.一种目标检测模型中的训练样本优化方法，其特征在于，包括：

获取训练样本集，所述训练样本集中的每个训练样本中标注有前景目标物体和背景目标物体；

根据所述目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束；

在各所述训练样本中，获取满足所述语义规则约束的目标优化样本，并在各所述目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框。

2.根据权利要求1所述的方法，根据所述目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束，包括：

根据所述目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的位置约束关系；

其中，所述位置约束关系包括：前景目标物体标识框的面积与背景目标物体标识框的面积交集大于或者等于设定的面积阈值。

3.根据权利要求2所述的方法，其特征在于，在各所述训练样本中，获取满足所述语义规则约束的目标优化样本，包括：

在各所述训练样本中，获取满足前景目标物体标识框的面积与背景目标物体识别框的面积交集大于或者等于设定的面积阈值的训练样本作为目标优化样本。

4.根据权利要求2所述的方法，其特征在于，在各所述目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框，包括：

在各所述目标优化样本中，通过多目标极点锚框生成方法或者多目标中心点扩展锚框方法，根据前景目标物体标识框和背景目标物体识别框，确定同时包括前景目标物体和背景目标物体的标注框。

5.一种目标检测模型的生成方法，其特征在于，包括：

获取通过如权利要求1-4任一项所述的方法优化后得到的目标优化样本；

使用各所述目标优化样本，对预设的深度学习模型进行迭代训练，形成所述目标检测模型。

6.根据权利要求5所述的方法，其特征在于，使用各所述训练样本，对预设的深度学习模型进行迭代训练，形成所述目标检测模型，包括：

在各目标优化样本中，依次获取当前处理样本输入至所述深度学习模型中；

通过所述深度学习模型在所述当前处理样本中识别至少一个候选框，并在各所述候选框中，获取与所述当前处理样本中的标注框匹配的目标候选框；

通过所述深度学习模型，在目标候选框中进行目标检测，并根据检测结果和当前处理样本中对前景目标物体和背景目标物体的标注结果，计算损失函数；

根据所述损失函数，对所述深度学习模型进行参数调整，并返回执行在各目标优化样本中，依次获取当前处理样本输入至所述深度学习模型中的操作，直至满足结束迭代条件，以得到所述目标检测模型。

7.根据权利要求5所述的方法，其特征在于，使用各所述训练样本，对预设的深度学习模型进行迭代训练，形成所述目标检测模型，包括：

在各目标优化样本中，依次获取当前处理样本输入至所述深度学习模型中进行前景目标物体与背景目标物体的特征提取实现目标检测；

根据特征提取边界确定的至少一个候选框，并在各所述候选框中，获取与所述当前处理样本中的标注框匹配的目标候选框；

根据检测结果和当前处理样本中对前景目标物体和背景目标物体的标注结果，计算损失函数；

根据所述损失函数，对所述深度学习模型进行参数调整，并返回执行在各目标优化样本中，依次获取当前处理样本输入至所述深度学习模型中进行前景目标物体与背景目标物体的特征提取实现目标检测的操作，直至满足结束迭代条件，以得到所述目标检测模型。

8.根据权利要求6或7所述的方法，其特征在于，在各所述候选框中，获取与所述当前处理样本中的标注框匹配的目标候选框，包括：

确定各所述候选框与所述标注框的交并比IOU；

将最大IOU值对应的候选框作为与所述当前处理样本中的标注框匹配的目标候选框。

9.一种计算机设备，包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：

获取训练样本集，所述训练样本集中的每个训练样本中标注有前景目标物体和背景目标物体；

根据目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的语义规则约束；

在各所述训练样本中，获取满足所述语义规则约束的目标优化样本，并在各所述目标优化样本中，生成同时包括前景目标物体和背景目标物体的标注框。

10.根据权利要求9所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式确定前景目标物体与背景目标物体之间的语义规则约束：

根据所述目标检测模型的检测任务，确定前景目标物体与背景目标物体之间的位置约束关系；

其中，所述位置约束关系包括：前景目标物体标识框的面积与背景目标物体识别框的面积交集大于或者等于设定的面积阈值。

11.根据权利要求10所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式获取目标优化样本：

在各所述训练样本中，获取满足前景目标物体标识框的面积与背景目标物体识别框的面积交集大于或者等于设定的面积阈值的训练样本作为目标优化样本。

12.根据权利要求10所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式添加标注框：

在各所述目标优化样本中，通过多目标极点锚框生成方法或者多目标中心点扩展锚框方法，根据前景目标物体标识框和背景目标物体识别框，确定同时包括前景目标物体和背景目标物体的标注框。

13.一种计算机设备，包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：

获取通过如权利要求1-4任一项所述的方法优化后得到的目标优化样本；

使用各所述目标优化样本，对预设的深度学习模型进行迭代训练，形成所述目标检测模型。

14.根据权利要求13所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式形成目标检测模型：

在各目标优化样本中，依次获取当前处理样本输入至所述深度学习模型中；

通过所述深度学习模型在所述当前处理样本中识别至少一个候选框，并在各所述候选框中，获取与所述当前处理样本中的标注框匹配的目标候选框；

通过所述深度学习模型，在目标候选框中进行目标检测，并根据检测结果和当前处理样本中对前景目标物体和背景目标物体的标注结果，计算损失函数；

根据所述损失函数，对所述深度学习模型进行参数调整，并返回执行在各目标优化样本中，依次获取当前处理样本输入至所述深度学习模型中的操作，直至满足结束迭代条件，以得到所述目标检测模型。

15.根据权利要求13所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式形成目标检测模型：

在各目标优化样本中，依次获取当前处理样本输入至所述深度学习模型中进行前景目标物体与背景目标物体的特征提取实现目标检测；

根据特征提取边界确定的至少一个候选框，并在各所述候选框中，获取与所述当前处理样本中的标注框匹配的目标候选框；

根据检测结果和当前处理样本中对前景目标物体和背景目标物体的标注结果，计算损失函数；

根据所述损失函数，对所述深度学习模型进行参数调整，并返回执行在各目标优化样本中，依次获取当前处理样本输入至所述深度学习模型中进行前景目标物体与背景目标物体的特征提取实现目标检测的操作，直至满足结束迭代条件，以得到所述目标检测模型。

16.根据权利要求14或15所述的计算机设备，其特征在于，所述处理器是设置为通过以下方式确定目标候选框：

确定各所述候选框与所述标注框的交并比IOU；

将最大IOU值对应的候选框作为与所述当前处理样本中的标注框匹配的目标候选框。

17.一种存储介质，所述存储介质用于存储指令，所述指令用于执行如权利要求1-4中任一所述的目标检测模型中的训练样本优化方法；或者，如权利要求5-8中任一项所述的目标检测模型的生成方法。

Images