CN113378635A - 目标检测模型的目标属性边界条件搜索方法及装置 - Google Patents

Abstract

本公开是关于一种目标检测模型的目标属性边界条件搜索方法及装置、电子设备和计算机可读存储介质。其中方法包括：获取数据集，其中，数据集包括多个包含有目标区域的图像；根据目标区域的属性，利用目标属性的多个属性阈值组合对数据集进行过滤，获得多个数据子集；通过目标检测模型对多个数据子集进行目标检测，得到目标检测模型在每个数据子集的召回率；基于数据子集的召回率，筛选数据子集对应的属性阈值组合，确定目标检测模型的目标属性边界条件。通过多维度阈值组合评判的形式，有助于获得目标检测模型在特定场景下的能力边界，进一步获得目标检测应用的行为确定性，为特殊场景下模型的比较和筛选提供了决策依据。

Description

目标检测模型的目标属性边界条件搜索方法及装置

技术领域

本公开涉及图像处理领域，尤其涉及目标检测模型的目标属性边界条件搜索方法、目标检测模型的目标属性边界条件搜索装置、电子设备和计算机可读存储介质。

背景技术

目标检测是图像处理中最基础的任务之一，广泛地应用于计算机视觉领域，目的是从图像或视频中定位出目标所在的位置，其中，目标主体可以是车辆、行人、手势、人脸等，在源图像或视频中检测到目标主体，是实现后续功能的重要环节。随着计算机视觉技术的发展，基于深度学习的方法已经成为了目标检测的主流方法。深度学习时代，目标检测算法的更新迭代较快，对于不同的目标检测算法，往往需要评估其相应的检测能力。

目前来说，传统的评测方法主要是通过在公开的学术数据集上或者用户业务数据集上的指标，例如召回率、准确率等，来衡量不同目标检测算法的检测能力，但是相同的目标检测模型针对不同的目标检测任务或者不同的目标检测数据集所表现出的检测能力也是不一样的。例如在夜视、雾霾天气检测车辆与在正常日光条件下，同一车辆检测模型的检测准确率不同，又如离定点摄像头远近不一的人脸图像会影响人脸检测模型准确率及召回率的评定。因此，传统的评测方法无法对目标检测模型进行边界能力及整体稳定性的评估。

并且，对某些有特殊要求的场景下的目标检测任务来说，单纯从召回率，准确率等结果指标上来定义一个目标检测模型的能力是不够充分的，例如，人脸检测属于对精度要求较高的目标检测任务，在对人脸检测模型进行评价时，需要对人脸检测模型的检测能力边界有一个较为明确的感知。例如在特定条件下(人脸大小，俯仰角度，左右偏航角度，光照条件，模糊程度，人脸重叠度等等)出现的人脸目标，同一人脸检测模型是否分别能做到：完全检出；基本检出。目前的评测方法无法判断目标检测模型在不同条件下的检测精度从而提供多维度的评价指标，难以数值化检测模型的能力边界，以辅助用户在一些检测及识别相关应用任务中进行决策。

发明内容

为克服相关技术中存在的问题，本公开提供一种目标检测模型的目标属性边界条件搜索方法、目标检测模型的目标属性边界条件搜索装置、电子设备和计算机可读存储介质。

根据本公开实施例的第一方面，提供一种目标检测模型的目标属性边界条件搜索方法，方法包括：

获取数据集，其中，数据集包括多个包含有目标区域的图像；根据目标区域的属性，利用目标属性的多个属性阈值组合对数据集进行过滤，获得多个数据子集；通过目标检测模型对多个数据子集进行目标检测，得到目标检测模型在每个数据子集的召回率；基于数据子集的召回率，筛选数据子集对应的属性阈值组合，确定目标检测模型的目标属性边界条件。

在一实施例中，获取数据集，包括：获取多个图像；基于图像，获取图像的目标区域；确定目标区域的属性，其中，属性包括以下一类或多类：左右偏航角、俯仰角、模糊程度信息、目标区域框尺寸、亮度信息、目标重叠程度信息。

在一实施例中，方法还包括：基于目标区域的阈值，确定每类阈值的多个属性阈值；选取不同类别的阈值的任一属性阈值进行组合，得到属性阈值组合。

在一实施例中，根据目标区域的属性，利用目标属性的多个属性阈值组合对数据集进行过滤，获得多个数据子集，包括：获取目标区域的属性值；利用属性阈值组合过滤数据集中的困难样本，得到属性阈值组合对应的数据子集，其中，困难样本为目标区域的任意一类属性值大于属性阈值组合中对应类别阈值的目标图像；遍历多个属性阈值组合，获得对应的多个数据子集。

在一实施例中，通过目标检测模型对多个数据子集进行目标检测，得到目标检测模型在每个数据子集的召回率，包括：获取目标检测模型在数据子集上的目标检测结果；根据目标检测结果计算目标检测模型对应于数据子集的召回率。

在一实施例中，基于数据子集的召回率，筛选数据子集的属性阈值组合，确定目标检测模型的目标属性边界条件，包括：设置召回率阈值；将召回率大于且最接近召回率阈值的数据子集对应的属性阈值组合作为目标检测模型的目标属性边界条件。

在一实施例中，基于数据子集的召回率，筛选数据子集的属性阈值组合，确定目标检测模型的目标属性边界条件，包括：设置召回率阈值；若存在多个大于召回率阈值的数据子集，则基于数据子集包含的目标区域数量确定目标检测模型的目标属性边界条件。

在一实施例中，基于数据子集包含的目标区域数量确定目标检测模型的目标属性边界条件，包括：将包含目标区域数量最多的数据子集对应的属性阈值组合作为目标检测模型的目标属性边界条件。

在一实施例中，基于数据子集的召回率，筛选数据子集的属性阈值组合，确定目标检测模型的目标属性边界条件，还包括：若存在多个包含目标区域数量最多的数据子集，则基于数据子集对应的属性阈值组合确定目标检测模型的目标属性边界条件。

在一实施例中，基于数据子集对应的属性阈值组合确定目标检测模型的目标属性边界条件，包括：若存在每类阈值均不大于其他属性阈值组合对应的每类阈值的属性阈值组合，则舍弃属性阈值组合，将剩余的属性阈值组合作为目标检测模型的目标属性边界条件。

根据本公开实施例的第二方面，提供一种目标检测模型的目标属性边界条件搜索装置，装置包括：数据获取单元，用于获取数据集，其中，数据集包括多个包含有目标区域的图像；过滤单元，用于根据目标区域的属性，利用目标属性的多个属性阈值组合对数据集进行过滤，获得多个数据子集；检测单元，用于通过目标检测模型对多个数据子集进行目标检测，得到目标检测模型在每个数据子集的召回率；评测单元，用于基于数据子集的召回率，筛选数据子集的属性阈值组合，确定目标检测模型的目标属性边界条件。

在一实施例中，数据获取单元包括：获取多个图像；基于图像，获取图像的目标区域；确定目标区域的属性，其中，属性包括以下一类或多类：左右偏航角、俯仰角、模糊程度信息、目标区域框尺寸、亮度信息、目标重叠程度信息。

在一实施例中，装置还包括：属性阈值组合单元，用于基于目标区域的阈值，确定每类阈值的多个属性阈值；选取不同类别的阈值的任一属性阈值进行组合，得到属性阈值组合。

在一实施例中，过滤单元包括：获取目标区域的属性值；利用属性阈值组合过滤数据集中的困难样本，得到属性阈值组合对应的数据子集，其中，困难样本为目标区域的任意一类属性值大于属性阈值组合中对应类别阈值的目标图像；遍历多个属性阈值组合，获得对应的多个数据子集。

在一实施例中，检测单元包括：获取目标检测模型在数据子集上的目标检测结果；根据目标检测结果计算目标检测模型对应于数据子集的召回率。

在一实施例中，评测单元包括：设置召回率阈值；将召回率大于且最接近召回率阈值的数据子集对应的属性阈值组合作为目标检测模型的目标属性边界条件。

在一实施例中，评测单元包括：设置召回率阈值；若存在多个大于召回率阈值的数据子集，则基于数据子集包含的目标区域数量确定目标检测模型的目标属性边界条件。

在一实施例中，基于数据子集包含的目标区域数量确定目标检测模型的目标属性边界条件，包括：将包含目标区域数量最多的数据子集对应的属性阈值组合作为目标检测模型的目标属性边界条件。

在一实施例中，评测单元还包括：若存在多个包含目标区域数量最多的数据子集，则基于数据子集对应的属性阈值组合确定目标检测模型的目标属性边界条件。

在一实施例中，基于数据子集对应的属性阈值组合确定目标检测模型的目标属性边界条件，包括：若存在每类阈值均不大于其他属性阈值组合对应的每类阈值的属性阈值组合，则舍弃属性阈值组合，将剩余的属性阈值组合作为目标检测模型的目标属性边界条件。

根据本公开实施例的第三方面，提供一种电子设备，包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的目标检测模型的目标属性边界条件搜索方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，存储有指令，指令被处理器执行时，执行第一方面的目标检测模型的目标属性边界条件搜索方法。

本公开的实施例提供的技术方案可以包括以下有益效果：本公开提出了一种目标检测模型的目标属性边界条件搜索方法，通过目标检测模型在不同数据集上的对应检测结果，得到目标检测模型在不同条件下的实际检测效果，在不改动目标检测模型的情况下，探索目标检测模型的检测能力边界；通过属性阈值组合的形式对目标检测模型的检测能力进行测试，可以实现在多维度条件下评价目标检测模型，模拟真实场景下的检测效果，评估模型对不同质量图像的检测能力；最后利用不同数据子集下的召回率作为衡量指标，计算简单便于操作，提升了算法的整体效率。通过多维度组合评判的形式，有助于获得目标检测模型在特定场景下的能力边界，进一步获得目标检测及识别相关应用产品的行为确定性，将目标检测模型的能力边界数值化的方式，也为特殊场景下模型的比较和筛选提供了决策依据。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种目标检测模型的目标属性边界条件搜索方法的流程示意图；

图2是根据一示例性实施例示出的目标重叠程度信息示意图；

图3是根据一示例性实施例示出的数据集过滤流程示意图；

图4是根据一示例性实施例示出的召回率检测流程示意图；

图5是根据一示例性实施例示出的属性阈值组合筛选流程示意图；

图6是根据一示例性实施例示出的另一种目标检测模型的目标属性边界条件搜索方法的流程示意图；

图7是根据一示例性实施例示出的另一种目标检测模型的目标属性边界条件搜索方法的流程示意图；

图8是根据一示例性实施例示出的另一种目标检测模型的目标属性边界条件搜索方法的流程示意图；

图9是根据一示例性实施例示出的一种目标检测模型的目标属性边界条件搜索装置的示意框图；

图10是根据一示例性实施例示出的另一种目标检测模型的目标属性边界条件搜索装置的示意框图；

图11是根据一示例性实施例示出的另一种目标检测模型的目标属性边界条件搜索装置的示意框图；

图12是根据一示例性实施例示出的一种电子设备的示意框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

目前的对目标识别模型的主流评测方法主要是通过在公开的学术数据集上或者用户业务数据集上的指标，例如召回率、准确率等，来衡量不同目标检测算法的检测能力，其中准确率(Accuracy)是检测时分对的样本数除以所有的样本数。准确率一般被用来评估检测模型的全局准确程度，包含的信息有限，不能完全评价一个模型性能。召回率(Recall)是测试集中所有正样本样例中，被正确识别为正样本的比例。对某些有特殊要求的场景下的目标检测任务来说，单纯从召回率，准确率等结果指标上来定义一个目标检测模型的能力是不够充分的，无法提供多维度的评价指标，给出目标检测模型的能力边界的具体情况。

而本公开为解决上述问题，提供一种目标检测模型的目标属性边界条件搜索方法10，参见图1，包括步骤S11-步骤S14，以下详细说明：

步骤S11，获取数据集，其中，数据集包括多个包含有目标区域的图像。

目标区域可以是车辆、行人、手势、人脸等需要识别的目标主体，可以根据任务需要确定。而在本公开中，数据集包含有目标区域的图像指代的是数据集中包含的准确的目标区域，即图像中的一个或多个目标及目标在图中的确切位置，目标区域的获得可以是通过人工标注或在自动检测后上进行人工修正过的区域。其中，数据集可以是在实际应用场景下采集的图像信息，或经过人工筛选的数据集。其中人工筛选出的图像质量可以存在差异，不同质量的图像所占全部数据集的比重相近，避免数据稀疏导致的评测结果失真。通过构建包含准确目标区域的数据集，可以模拟目标检测任务需要面对的不同场景，已检测在不同场景下目标检测任务的具体表现，提升边界条件搜索方法的全面性。

在本公开一些实施例中，获取数据集，包括：获取多个图像；基于图像，获取图像的目标区域；确定目标区域的属性，其中，属性包括以下一类或多类：左右偏航角、俯仰角、模糊程度信息、目标区域框尺寸、亮度信息、目标重叠程度信息。

具体地，在获取准确的目标区域后，对数据集中的目标区域进行框选标注，标注的属性有左右偏航角，俯仰角，模糊程度信息，目标区域框尺寸、亮度信息、目标重叠程度信息等，其具体含义及取值范围如下。

左右偏航角(yaw)：左右偏航角的取值范围为【-90,90】，实际使用时会取绝对值。左右偏航角及目标物体坐标系的x轴在水平面上投影与地面坐标系x轴之间的夹角，由地面坐标系x轴逆时针转至目标物体坐标系的x轴的投影线时，偏航角为正，即目标物体右偏航为正，反之为负。

俯仰角(pitch)：俯仰角的取值范围为【-90,90】，实际使用时会取绝对值。目标物体坐标系X轴与水平面的夹角。当X轴的正半轴位于过坐标原点的水平面之上(抬头)时，俯仰角为正，否则为负。

模糊程度信息(blur)：取值范围为【0,1】。blur值越大，表示图像越模糊。

目标区域框尺寸(min_length)：用目标框较短边的长度表示，设置为目标框宽高的较小值。例如人脸检测时，目标框为人脸区域，其长宽中选择更短的一边的长度作为目标区域框尺寸。

亮度信息(过暗/过亮)：首先将图像中目标区域部分的RGB图转为灰度图，灰度值小于50的像素占比代表过暗的像素分布，灰度值大于200的像素占比代表过亮的像素分布。过暗和过亮条件的取值范围分别为【0,1】。

目标重叠程度信息：定义为一个目标框与其他目标框IOU的最大值，取值范围为【0,1】，如图2所示，A、B分别为两个目标区域，IOU＝(A∩B)/(A∪B)。即IOU是两个区域重叠的部分除以两个区域的集合部分得出的结果。

需要说明的是，标注属性中的左右偏航角，俯仰角，模糊程度可以通过专门训练的图像质量模型进行伪标注。其他信息则可以直接通过检测图像获得。在实际评测过程中，可以选择一类或多类作为属性指标，例如在室内灯光固定的条件下检测人脸，其光照条件是稳定的，可以不选择亮度信息作为对应的属性指标，或识别闸机仅允许单人通过，则可以不考虑目标重叠程度信息，如何进行属性选择可根据实际需求进行组合筛选。通过对属性类别进行划分可以帮助用户筛选出更关注的类别，将场景任务数值化，便于后续使用阈值对数据集进行分类，模拟出真实的多种目标检测场景，提升边界条件搜索的准确率和实用性。

在一些实施例中，属性可以为单一类别，本公开的方法在检测出单一指标下的边界条件以后，还可以绘制属性值和检测结果的变化曲线，通过曲线斜率变化获得目标检测模型是否对该指标敏感的信息，通过多个不同的单一属性检测，可以获得该目标检测模型最易收到影响的指标，从而获得更全面的边界条件评测结果。

步骤S12，根据目标区域的属性，利用目标属性的多个属性阈值组合对数据集进行过滤，获得多个数据子集。

其中，属性阈值组合中的阈值及步长可以根据应用场景或数据集中目标区域的情况进行设定，过滤是指基于属性阈值，将当前属性不符合阈值的目标区域去除。按照得到的过滤阈值组合对目标区域进行过滤。对于属性阈值组合，若某一个目标区域框满足属性阈值组合里面的任意一维过滤条件即将其过滤掉，不计入后续目标区域的检测和计算。其中，过滤的是准确的目标区域，而非通过目标检测模型标注出的检测区域结果。利用多个属性阈值组合，可以实现在多维度组合的情况下评价目标检测模型，模拟真实场景下的检测效果。

在本公开一些实施例中，如图3所示，步骤S12根据目标区域的属性，利用目标属性的多个属性阈值组合对数据集进行过滤，获得多个数据子集，可以包括：步骤S121，获取目标区域的属性值；步骤S122，用属性阈值组合过滤数据集中的困难样本，得到属性阈值组合对应的数据子集，其中，困难样本为目标区域的任意一类属性值大于属性阈值组合中对应类别阈值的目标图像；步骤S123遍历多个属性阈值组合，获得对应的多个数据子集。

具体地，例如，当前需要评测的目标检测模型是一种人脸检测模型。对所有属性阈值组合进行遍历，根据过滤条件对人脸框进行过滤。以过滤阈值组合【左右偏航角：30，人脸框大小：35，模糊程度：0.5】为例，若一个人脸框属性满足左右偏航角大于30度/俯仰角大于35度/模糊程度大于0.5中的任意一个条件，就认为该人脸框属于在该过滤阈值组合条件下的困难样本。对于困难样本的定义，一般来说，人脸框角度越正，越清晰就越容易被检测模型检测到，越偏航则越困难，将大于阈值的设定为困难样本。然后对困难样本进行过滤，即该人脸框不计入后续检测指标准确率或召回率的计算。得到数据集经过过滤后的所有人脸框，即为一个数据子集。在检测目标检测模型的能力边界时，利用不同的样本对目标检测模型进行测试，将不符合当前条件的困难样本筛除出去，留下一个较为简单的检测集合，便于观察目标检测模型在当前条件下的表现情况，从而为整体边界能力评测结果提供依据，通过属性阈值组合模拟不同的检测场景，利用不同数据子集的尝试，为整体目标属性边界条件的搜索结果提供依据。

步骤S13，通过目标检测模型对多个数据子集进行目标检测，得到目标检测模型在每个数据子集的召回率。

在划分出数据子集后可以利用目标检测模型对每个数据子集的目标检测结果，得到对应的每个数据子集的召回率。通过不同数据子集的尝试，最终获得目标检测模型检测结果相对较好的前提下条件最严格的属性阈值组合。

召回率是针对原样本而言的，它的含义是在实际为正的样本中被预测为正样本的概率，其公式如下：召回率＝TP/(TP+FN)，其中，TP值为检测结果正确的样本数，FN为检测结果错误的样本数。召回率又称查全率，可以有效反映出目标检测模型在不同数据集上的检测效果，获知目标检测模型在当前场景中是否可以做到完全检出或基本检出，同时计算方式简单便于操作，同时提升了算法的整体效率。

在本公开一些实施例中，如图4所示，步骤S13，通过目标检测模型对多个数据子集进行目标检测，得到目标检测模型在每个数据子集的召回率，可以包括：步骤S131获取目标检测模型在数据子集上的目标检测结果；步骤S132，根据目标检测结果计算目标检测模型对应于数据子集的召回率。

具体地，其获取方式不局限于利用目标检测模型对不同的数据子集进行检测，还可以利用数据集进行划分，目标检测模型只需对所有数据集进行一次检测，在划分数据子集时也将对应于数据子集的检测结果进行划分，直接根据划分结果计算召回率即可。利用上述方法仅需进行一次目标检测，便于减少整体方法的检测次数，提高运算速度。

步骤S14，基于数据子集的召回率，筛选数据子集对应的属性阈值组合，确定目标检测模型的目标属性边界条件。

经过步骤S13的过滤，可以得到满足一定召回率条件下的一组或者多组过滤条件。如果存在多组满足召回率条件的过滤条件，则需要对得到的多组过滤条件进行去冗余操作，得到过滤条件最为宽松的一组过滤阈值组合，作为目标检测模型的边界条件，过滤条件最宽松的属性阈值组合表征了最严格的边界值，在该边界值内的图像均可以做到完全检出或基本检出。

在本公开一些实施例中，步骤S14，基于数据子集的召回率，筛选数据子集对应的属性阈值组合，确定目标检测模型的目标属性边界条件可以包括：设置召回率阈值；将召回率大于且最接近召回率阈值的数据子集对应的属性阈值组合作为目标检测模型的目标属性边界条件。

例如在人脸检测过程中，将人脸检测模型的在数据子集上的检测结果与数据子集中的全部人脸框进行召回率的计算，得到满足一定召回率要求的过滤阈值组合，召回率阈值可以设定为例如0.99，0.95，0.90，大于0.99则证明该模型在对应的场景内能够做到完全检出，大于90％则证明该模型可以在对应的场景内能够做到基本检出，评定标准可以根据实际需要来调整。而满足该召回率阈值的数据子集只有一个，那么该数据子集对应的属性阈值组合即为目标属性边界条件，而满足召回率阈值的数据子集有多个时，一般说来，召回率越高对应的条件越严格，因此最宽松的条件对应的召回率大于召回率阈值同时又低于其他召回率，选择该属性阈值组合作为目标检测模型的目标属性边界条件。上述实施例中，通过简单比较阈值确定目标属性边界条件的方法更加便捷，在实际应用过程中更容易实现，能够提升确定目标属性边界条件的效率。

在本公开一些实施例中，如图5所示，步骤S14，基于数据子集的召回率，筛选数据子集对应的属性阈值组合，确定目标检测模型的目标属性边界条件，还可以包括：步骤S141，设置召回率阈值；步骤S142，若存在多个大于召回率阈值的数据子集，则基于数据子集包含的目标区域数量确定目标检测模型的目标属性边界条件。例如，在人脸检测过程中，大于预设召回率阈值的数据子集有多个时，不同条件过滤掉的图像数量不同，根据图像数量确定过滤条件是否宽松是最直观的，能够更准确地表征出目标属性边界条件是否是最宽松的边界值集合。

在本公开一些实施例中，步骤S142中基于数据子集包含的目标区域数量确定目标检测模型的目标属性边界条件，可以包括：将包含目标区域数量最多的数据子集对应的属性阈值组合作为目标检测模型的目标属性边界条件。最宽松的条件过滤掉的图像数量最少，将数据子集留下图像最多的作为目标属性边界条件值可以直观反映出当前阈值组合即为目标检测模型的能力边界，超过该边界后模型无法达到标准的检出率。

在本公开一些实施例中，如图5所示，步骤S14，基于数据子集的召回率，筛选数据子集对应的属性阈值组合，确定目标检测模型的目标属性边界条件，还可以包括：步骤S143，若存在多个包含目标区域数量最多的数据子集，则基于数据子集对应的属性阈值组合确定目标检测模型的目标属性边界条件。在实施过程中，数据子集之间可能会相差较少，若两个过滤条件下对应的数据子集只差一张图像，仅仅通过数据子集的数量判定对应的阈值组合条件更加宽松是不合理的，因此若多个数据子集图像的数量相差在一定阈值内，例如总数据集的千分之一，则可以认定多个数据子集包含的目标区域数量是一致的，此时，则根据数据子集对应的属性阈值组合确定目标检测模型的目标属性边界条件，通过比较具体的属性阈值组合，可以使边界条件搜索方法更加科学，确定出更加准确的目标属性边界条件搜索结果。

在本公开一些实施例中，步骤S143中，基于数据子集对应的属性阈值组合确定目标检测模型的目标属性边界条件，包括：若存在每类阈值均不大于其他属性阈值组合对应的每类阈值的属性阈值组合，则舍弃属性阈值组合，将剩余的属性阈值组合作为目标检测模型的目标属性边界条件。在其包含的目标区域数量一致时，通过属性阈值组合的严格可比性来筛选出最宽松的条件值，该条件值可以是一个也可以是多个，搜索过程是为了找到目标检测模型的能力边界值，而能力边界也是相对于场景来定义的，即对应于特定场景下的目标数据分布，检测模型在该场景下的能力边界，而特定场景中可能存在多种复杂情况，无法定量分析，因此最宽松的条件值可以是多个。

在本公开另一些实施例中，可以根据用户设定的重要程度对属性进行排序，根据重要程度比较属性阈值组合，以最重要的属性的阈值来确定该属性对应的最宽松的条件值，例如用户需要筛选出受光照影响最小的目标检测模型，则设定该场景下光照信息最重要，存在多个数量一致的数据子集时，将光照信息最宽松的属性阈值组合作为目标检测的目标属性边界条件，从而筛选出对应的受光照影响最小的目标检测模型，同时兼顾其他属性值，通过对比辅助用户在多种检测模型中选择最合适、性能最佳的检测模型。同样的，若用户设定，在该场景下目标重合程度信息最不重要，则在对比属性阈值组合时可以次要考虑该属性的值，不作为筛选依据，仅列出作为参考。通过对属性进行重要程度排序，可以更快捷的计算出对应的边界条件搜索结果，从而快速确定出更符合用户个性化需求的模型。

具体地，通过属性阈值组合的严格可比性来筛选出最宽松的条件值的具体过程如下：，严格可比性指过滤条件A的每一维过滤属性值均严格或弱于条件B，如果经过多组过滤条件过滤之后的包含的目标区域数量一致且过滤条件之间具有严格可比性的话，则挑选最宽松的一组过滤条件，如果不具有严格可比性的话，则多组过滤条件均作为最终的边界条件搜索结果。

例如在人脸检测的过程中，以左右偏航角，人脸框大小，模糊程度三种人脸属性为例，假设经过条件A，B，C，D过滤后的人脸检测数据集的召回率均大于0.95，满足设定的召回率要求，具体如下：

条件A：【左右偏航角：30，人脸框大小：35，模糊程度：0.5】；经过过滤后剩下的人脸框数量：20000

条件B：【左右偏航角：30，人脸框大小：35，模糊程度：0.6】；经过过滤后剩下的人脸框数量：20000

条件C：【左右偏航角：30，人脸框大小：30，模糊程度：0.7】；经过过滤后剩下的人脸框数量：20000

条件D：【左右偏航角：30，人脸框大小：35，模糊程度：0.5】；经过过滤后剩下的人脸框数量：18000

在上述条件下，具体的去冗余步骤如下：因为过滤条件A，B，C，D均满足召回率要求，但是经过条件D过滤后的人脸框数量最少，所以先排除D，剩下A，B，C。

因为经过A，B过滤后的人脸框数量一样，但是A的条件比B更严格，即左右偏航角，人脸框大小阈值一样，但是A的模糊程度条件更加严格，即模糊程度大于0.5的人脸GT框就会被过滤掉，相比于条件B的0.6更加严格，排除A，剩下B，C。

条件B，C剩余的人脸框数一样，但是B的人脸框过滤条件比C宽松，但是模糊程度过滤条件比C严格，所以条件B，C不具有严格可比性。故B，C作为最终得到的能力边界阈值条件。通过比较属性阈值组合的严格可比性，加入人工评测辅助判断，使目标属性边界条件搜索方法更加科学，进一步确定出更加准确的边界条件搜索结果。

在本公开一些实施例中，如图6所示，目标检测模型的目标属性边界条件搜索方法10还可以包括：步骤S15，基于目标区域的阈值，确定每类阈值的多个属性阈值；选取不同类别的阈值的任一属性阈值进行组合，得到属性阈值组合。网格分析是一种简单而直接地解决问题的方法，利用网格分析可以列出所有可能的阈值组合，划分出对应的数据子集检测召回率，在全部可能的阈值组合出确定出准确的目标属性边界条件。

利用网格分析法的方式，对属性阈值进行标注，其中，属性阈值组合中的阈值及步长可以根据应用场景或数据集中目标区域的情况进行设定，例如在识别过程中，识别到的数据集左右偏航角的范围在【-30,30】之内，则设置30以上的阈值范围没有意义。左右偏航角的阈值步长可以设置为5度，【15,20,25,30】作为左右偏航角的阈值取值，将步长设置过小，例如1度等，会导致划分出的数据子集过多，影响整体的计算效率，并且对目标属性边界条件的搜索结果的意义不大。

具体地，面对人脸检测的目标检测任务，针对标注的每一个人脸属性字段设置可能的阈值取值。例如设置左右偏航角的过滤阈值为【30，35，40，45】，设置人脸框大小的过滤阈值为【35，40，45，50】，模糊程度的过滤阈值为【0.5，0.6，0.7，0.8，0.9】，其他人脸属性类似。通过网格搜索的方式得到所有人脸属性字段的所有过滤阈值组合。以上一步的左右偏航角【30，35，40，45】，人脸框大小【35，40，45，50】，模糊程度【0.5，0.6，0.7，0.8，0.9】三种属性为例，所有的过滤阈值组合一共有4*4*5＝80种。例如一组可能的过滤阈值组合为：【左右偏航角：30，人脸框大小：35，模糊程度：0.5】。其属性与目标区域的属性值是相对应的，便于快速过滤困难样本，确定当前场景下的数据子集。

在本公开一些实施例中，如图7所示，目标检测模型的目标属性边界条件搜索方法还可以包括：步骤S16，在确定目标检测模型的目标属性边界条件之后，验证目标属性边界条件的正确性。在得到目标属性边界条件后对上述边界条件进行验证，可以进一步验证搜索结果的准确性，也能检测出因为数据倾斜问题而导致的偏差，便于及时调整。

在本公开一些实施例中，验证搜索结果的正确性，可以包括：将数据集划分为搜索集与测试集；基于搜索集得到目标检测模型的目标属性边界条件；根据目标属性边界条件过滤测试集，若目标检测模型在测试集中召回率符合预设阈值，则目标检测模型的目标属性边界条件搜索结果是准确的。其中测试集与搜索集是随机划分的，不同条件的样本是均匀的例如，在人脸识别任务中，通过步骤S14得到了最为宽松的能力边界条件，则需要对边界条件的正确性进行验证。在测试集上设置过滤条件为得到的能力边界条件，观察人脸检测模型是否能够做到相应召回率下的检出。若通过测试集检测后，该模型能够做到相应召回率下的检出，则验证了搜索结果的准确性，若不能做到相应检出，存在多个属性阈值组合都是搜索结果时，对其他阈值组合进行验证，找到通过验证的属性阈值组合，若都不能做出相应检出，则重复目标检测模型的目标属性边界条件搜索算法，调整召回率阈值，确定问题所在，重新确定对应的属性阈值组合。

基于同一个发明构思，图8以人脸检测模型为例，示出了一种目标检测模型的目标属性边界条件搜索方法的总体实现模块，总共可分为五个步骤：人脸属性标注、设置人脸属性过滤值、过滤人脸框、边界条件去冗余、对抗测试。首先将人脸检测数据集进行人脸属性的标注，并分为搜索集和测试集，然后设置不同的人脸属性过滤条件，过滤条件的设置应用了基于网格搜索(Grid Search)的能力边界搜索算法。然后，得到搜索集经过过滤后的人脸框结果，再使用人脸检测模型对其进行检测并计算召回率，筛选出所有满足召回率要求的人脸属性过滤条件。针对所有的人脸属性过滤条件，从中选出过滤要求最为宽松的一组或几组过滤条件，作为人脸检测模型在该场景下的能力边界条件。最后在人脸检测验证集上进行正确性验证。

根据本公开实施例的第二方面，如图9所示，提供一种目标检测模型的目标属性边界条件搜索装置100，装置100包括：数据获取单元110，用于获取数据集，其中，数据集包括多个包含有目标区域的图像；过滤单元120，用于根据目标区域的属性，利用目标属性的多个属性阈值组合对数据集进行过滤，获得多个数据子集；检测单元130，用于通过目标检测模型对多个数据子集进行目标检测，得到目标检测模型在每个数据子集的召回率；评测单元140，用于基于数据子集的召回率，筛选数据子集的属性阈值组合，确定目标检测模型的目标属性边界条件。

在一实施例中，数据获取单元110还用于：获取多个图像；基于图像，获取图像的目标区域；确定目标区域的属性，其中，属性包括以下一类或多类：左右偏航角、俯仰角、模糊程度信息、目标区域框尺寸、亮度信息、目标重叠程度信息。

在一实施例中，如图10所示，目标检测模型的目标属性边界条件搜索装置100还包括属性阈值组合单元150，用于基于目标区域的阈值，确定每类阈值的多个属性阈值；选取不同类别的阈值的任一属性阈值进行组合，得到属性阈值组合。

在一实施例中，过滤单元120还用于：获取目标区域的属性值；利用属性阈值组合过滤数据集中的困难样本，得到属性阈值组合对应的数据子集，其中，困难样本为目标区域的任意一类属性值大于属性阈值组合中对应类别阈值的目标图像；遍历多个属性阈值组合，获得对应的多个数据子集。

在一实施例中，检测单元130还用于：获取目标检测模型在数据子集上的目标检测结果；根据目标检测结果计算目标检测模型对应于数据子集的召回率。

在一实施例中，评测单元140还用于：用于设置召回率阈值；将召回率大于且最接近召回率阈值的数据子集对应的属性阈值组合作为目标检测模型的目标属性边界条件。

在一实施例中，评测单元140还用于：设置召回率阈值；若存在多个大于召回率阈值的数据子集，则基于数据子集包含的目标区域数量确定目标检测模型的目标属性边界条件。

在一实施例中，基于数据子集包含的目标区域数量确定目标检测模型的目标属性边界条件，包括：将包含目标区域数量最多的数据子集对应的属性阈值组合作为目标检测模型的目标属性边界条件。

在一实施例中，评测单元140还还用于：若存在多个包含目标区域数量最多的数据子集，则基于数据子集对应的属性阈值组合确定目标检测模型的目标属性边界条件。

在一实施例中，基于数据子集对应的属性阈值组合确定目标检测模型的目标属性边界条件，包括：若存在每类阈值均不大于其他属性阈值组合对应的每类阈值的属性阈值组合，则舍弃属性阈值组合，将剩余的属性阈值组合作为目标检测模型的目标属性边界条件。

在一实施例中，如图11所示，目标检测模型的目标属性边界条件搜索装置100还包括，验证单元160，用于验证目标属性边界条件的正确性。

在一实施例中，验证单元160还用于：将数据集划分为搜索集与测试集；基于搜索集得到目标检测模型的目标属性边界条件；根据目标属性边界条件过滤测试集，若目标检测模型在测试集中召回率符合预设阈值，则目标检测模型的目标属性边界条件搜索结果是准确的。

如图12所示，本公开的一个实施方式提供了一种电子设备400。其中，该电子设备400包括存储器401、处理器402、输入/输出(Input/Output，I/O)接口403。其中，存储器401，用于存储指令。处理器402，用于调用存储器401存储的指令执行本公开实施例的目标检测模型的目标属性边界条件搜索方法。其中，处理器402分别与存储器401、I/O接口403连接，例如可通过总线系统和/或其他形式的连接机构(未示出)进行连接。存储器401可用于存储程序和数据，包括本公开实施例中涉及的目标检测模型的目标属性边界条件搜索方法的程序，处理器402通过运行存储在存储器401的程序从而执行电子设备400的各种功能应用以及数据处理。

本公开实施例中处理器402可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器402可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本公开实施例中的存储器401可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。

本公开实施例中，I/O接口403可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备400的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本公开实施例中I/O接口403可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本公开实施例涉及的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包含计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本公开实施的前述说明。前述说明并非是穷举性的也并非要将本公开限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本公开的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本公开的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本公开。

Claims (13)

1.一种目标检测模型的目标属性边界条件搜索方法，其特征在于，所述方法包括：

获取数据集，其中，所述数据集包括多个包含有目标区域的图像；

根据所述目标区域的属性，利用所述目标属性的多个属性阈值组合对所述数据集进行过滤，获得多个数据子集；

通过所述目标检测模型对所述多个数据子集进行目标检测，得到所述目标检测模型在每个数据子集的召回率；

基于所述数据子集的召回率，筛选所述数据子集对应的属性阈值组合，确定所述目标检测模型的目标属性边界条件。

2.根据权利要求1所述的目标检测模型的目标属性边界条件搜索方法，其特征在于，所述获取数据集，包括：

获取多个图像；

基于所述图像，获取所述图像的目标区域；

确定所述目标区域的属性，其中，所述属性包括以下一类或多类：左右偏航角、俯仰角、模糊程度信息、目标区域框尺寸、亮度信息、目标重叠程度信息。

3.根据权利要求1所述的目标检测模型的目标属性边界条件搜索方法，其特征在于，所述方法还包括：

基于所述目标区域的阈值，确定每类阈值的多个属性阈值；

选取不同类别的阈值的任一属性阈值进行组合，得到属性阈值组合。

4.根据权利要求1所述的目标检测模型的目标属性边界条件搜索方法，其特征在于，所述根据所述目标区域的属性，利用所述目标属性的多个属性阈值组合对所述数据集进行过滤，获得多个数据子集，包括：

获取所述目标区域的属性值；

利用所述属性阈值组合过滤所述数据集中的困难样本，得到所述属性阈值组合对应的数据子集，其中，所述困难样本为所述目标区域的任意一类属性值大于所述属性阈值组合中对应类别阈值的目标图像；

遍历所述多个属性阈值组合，获得对应的所述多个数据子集。

5.根据权利要求1所述的目标检测模型的目标属性边界条件搜索方法，其特征在于，所述通过所述目标检测模型对所述多个数据子集进行目标检测，得到所述目标检测模型在每个数据子集的召回率，包括：

获取目标检测模型在所述数据子集上的目标检测结果；

根据所述目标检测结果计算所述目标检测模型对应于所述数据子集的召回率。

6.根据权利要求1所述的目标检测模型的目标属性边界条件搜索方法，其特征在于，所述基于所述数据子集的召回率，筛选所述数据子集的属性阈值组合，确定所述目标检测模型的目标属性边界条件，包括：

设置召回率阈值；

将所述召回率大于且最接近所述召回率阈值的数据子集对应的属性阈值组合作为所述目标检测模型的目标属性边界条件。

7.根据权利要求1-6任一项所述的目标检测模型的目标属性边界条件搜索方法，其特征在于，所述基于所述数据子集的召回率，筛选所述数据子集的属性阈值组合，确定所述目标检测模型的目标属性边界条件，包括：

设置召回率阈值；

若存在多个大于所述召回率阈值的数据子集，则基于所述数据子集包含的目标区域数量确定所述目标检测模型的目标属性边界条件。

8.根据权利要求7所述的目标检测模型的目标属性边界条件搜索方法，其特征在于，所述基于所述数据子集包含的目标区域数量确定所述目标检测模型的目标属性边界条件，包括：

将包含目标区域数量最多的所述数据子集对应的属性阈值组合作为所述目标检测模型的目标属性边界条件。

9.根据权利要求8所述的目标检测模型的目标属性边界条件搜索方法，其特征在于，所述基于所述数据子集的召回率，筛选所述数据子集的属性阈值组合，确定所述目标检测模型的目标属性边界条件，还包括：

若存在多个包含目标区域数量最多的数据子集，则基于所述数据子集对应的属性阈值组合确定所述目标检测模型的目标属性边界条件。

10.根据权利要求9所述的目标检测模型的目标属性边界条件搜索方法，其特征在于，所述基于所述数据子集对应的属性阈值组合确定所述目标检测模型的目标属性边界条件，包括：

若存在每类阈值均不大于其他属性阈值组合对应的每类阈值的属性阈值组合，则舍弃所述属性阈值组合，将剩余的属性阈值组合作为所述目标检测模型的目标属性边界条件。

11.一种目标检测模型的目标属性边界条件搜索装置，其特征在于，所述装置包括：

数据获取单元，用于获取数据集，其中，所述数据集包括多个包含有目标区域的图像；

过滤单元，用于根据所述目标区域的属性，利用所述目标属性的多个属性阈值组合对所述数据集进行过滤，获得多个数据子集；

检测单元，用于通过所述目标检测模型对所述多个数据子集进行目标检测，得到所述目标检测模型在每个数据子集的召回率；

评测单元，用于基于所述数据子集的召回率，筛选所述数据子集的属性阈值组合，确定所述目标检测模型的目标属性边界条件。

12.一种电子设备，其特征在于，包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行如权利要求1至10中任一项所述的目标检测模型的目标属性边界条件搜索方法。

13.一种计算机可读存储介质，其特征在于，存储有指令，所述指令被处理器执行时，执行如权利要求1至10中任一项所述的目标检测模型的目标属性边界条件搜索方法。

Images