CN111967595A - 候选框标注方法及系统及模型训练方法及目标检测方法 - Google Patents

Abstract

本发明公开了一种候选框标注方法及系统及模型训练方法及目标检测方法，包括：检测目标得到目标对应的若干个候选框；计算每个候选框对应的置信度，按照置信度降序排列候选框，得到候选框列表；若候选框列表中有满足合并条件候选框则合并满足条件的候选框，合并后更新候选框列表，若更新后的候选框列表中仍有满足合并条件的候选框则重复执行前述合并和更新操作直至没有满足合并条件的候选框，得到最终的候选框结果；基于最终的候选框结果进行标注。本发明可以有效地抑制多余候选框，同时也能保障候选框能够覆盖检测目标整体，从而实现了大幅降低人工标注样本所需要的人力成本。

Description

候选框标注方法及系统及模型训练方法及目标检测方法

技术领域

本发明涉及智能制造与人工智能技术领域，具体地，涉及一种目标检测中候选框自动标注方法及系统及模型训练方法及目标检测方法。

背景技术

目前常用的深度学习目标检测框架常常需要使用大量的样本进行训练，大量样本的人工标注工作量巨大，如何降低人工标注成本成了当前需要迫切解决的问题之一。其中一个比较可行的办法是先标注小样本进行训练，然后利用小样本训练的模型自动标注大样本，在已有自动标注基础上进行人工修正，从而达到降低人力成本的目的。

然而小样本训练后的模型对于同一个检测目标，尤其是比较大的检测目标，往往会产生多个候选框，即便是采用了RCNN模型中常用的NMS算法进行非极大值抑制，也只能做到滤除部分低分数的候选框，出现针对同一目标的标注框大量残留和单个标注框无法覆盖整个检测目标的情况，与人工标注效果差距较大，人工修正时又需要消耗大量人力，没有达到降低人力成本的目的。

发明内容

本发明提供了一种目标检测中候选框自动标注方法及系统及模型训练方法及目标检测方法，本发明可以有效地抑制多余候选框，同时也能保障候选框能够覆盖检测目标整体，从而实现大幅降低样本标注的人力成本。

为实现上述目的，本发明提供了一种目标检测中候选框自动标注方法，所述方法包括：

检测目标得到目标对应的若干个候选框；

计算每个候选框对应的置信度，按照置信度降序排列候选框，得到候选框列表；

若候选框列表中有满足合并条件候选框则合并满足条件的候选框，合并后更新候选框列表，若更新后的候选框列表中仍有满足合并条件的候选框则重复执行前述合并和更新操作直至没有满足合并条件的候选框，得到最终的候选框结果；

基于最终的候选框结果进行标注。

其中，本发明根据数据标注的特点和要求，提出了一种适合于自动打标的新的NMS方法，可以有效地抑制多余候选框，同时也能保障候选框能够覆盖检测目标整体，从而实现大幅降低样本标注的人力成本。

其中，本方法中的主要逻辑包括：

逻辑1：相同分类的候选框才进行本发明中的nms方法流程(可选)；逻辑2：弱化置信度的参考价值(因为少样本训练，目标得分不一定准确)，优先考虑候选框的重叠面积；逻辑3：不能简单的去除低分候选框，合并满足条件的候选框，并反复迭代；逻辑4：合并逻辑：两个候选框面积重合度的比例超过预设阈值的，就合并两个候选框。

对于样本标注来说，除了定位目标位置，还需要保证同一个目标只用一个标注框并且标注框能够覆盖缺陷整体。进行了少样本学习的深度学习模型往往会给出大量的候选框并且单一候选框都无法框住缺陷整体。传统的NMS算法只能抑制置信度较低的候选框，通常无法满足样本标注需求，后续需要大量人工修正。本方法中的新的NMS算法，首先本方法计算两个候选框的重叠程度对于每个候选框的比例用于判断两个候选框是不是指向同一个目标，若两个候选框指向同一个目标则合并两个候选框为更大的候选框，而这个新的候选框，通常意义上都比原来的两个候选框更加符合对目标的标注标准。通过不断的迭代，最终本方法能够实现一个目标只留下一个候选框，并且该候选框能够最大程度的覆盖目标整体。

优选的，所述方法还包括：设定候选框合并阈值K；所述方法中合并候选框的方式为：

获得列表中置信度最高的候选框A，分别计算候选框A与列表中其他候选框的重叠面积；

针对任意一对具有重叠面积的候选框A与候选框B，计算该对候选框的重叠面积与候选框A的面积比例M，以及该对候选框的重叠面积与候选框B的面积比例N，选择面积比例M和N中较大的一个作为候选框A与候选框B的重叠面积比，若M、N相等则直接选择该值为重叠面积比；

若候选框A与候选框B的重叠面积比大于候选框合并阈值K，则合并候选框A与候选框B，得到候选框C。

优选的，候选框A与候选框B的重叠面积计算方式为：

候选框A与候选框B均为长方形边框，候选框A的其中一对对角坐标(这里对角指左上和右下，后同)为(x₁,y₁)和(x₂,y₂)，候选框B的其中一对对角坐标为(x₃,y₃)和(x₄,y₄)，重叠面积的对角坐标为(xx₁,yy₁)和(xx₂,yy₂)，xx₁＝max(x₁,x₃),yy₁＝max(y₁,y₃),xx₂＝min(x₂,x₄)，yy₂＝min(y₂,y₄)，候选框A与候选框B的重叠面积＝(xx₂-xx₁+1)*(yy₂-yy₁+1)。

优选的，候选框的面积计算方式为：候选框的其中一对对角坐标为(x₅,y₅)和(x₆,y₆)，候选框面积＝(x₆-x₅+1)*(y₆-y₅+1)。

优选的，合并候选框A与候选框B的方式为：

候选框A的其中一对对角坐标为(x₁,y₁)和(x₂,y₂)，候选框B的其中一对对角坐标为(x₃,y₃)和(x₄,y₄)，重叠面积的对角坐标为(xx₁,yy₁)和(xx₂,yy₂)，合并后候选框C的顶点坐标为(xx₁,yy₁)和(xx₂,yy₂)则xx₁＝max(x₁,x₃),yy₁＝max(y₁,y₃),xx₂＝min(x₂,x₄)，yy₂＝min(y₂,y₄)。

优选的，本方法中更新候选框列表的方式为：将候选框C加入候选框列表，并在候选框列表中去除候选框A与候选框B，完成候选框列表更新。

优选的，本方法中利用深度学习模型计算每个候选框对应的置信度。

本发明还提供了一种目标检测中候选框自动标注系统，所述系统包括：

候选框获得单元，用于检测目标得到目标对应的若干个候选框；

候选框列表获得单元，用于计算每个候选框对应的置信度，按照置信度降序排列候选框，得到候选框列表；

候选框合并单元，用于判断候选框列表中若有满足合并条件候选框则合并满足条件的候选框，合并后更新候选框列表，若更新后的候选框列表中仍有满足合并条件的候选框则继续执行前述合并和更新操作直至没有满足合并条件的候选框，得到最终的候选框结果；

标注单元，用于基于最终的候选框结果进行标注。

本发明还提供了一种目标检测模型训练方法，所述方法包括：

采用本发明中的目标检测中候选框自动标注方法自动进行标注，得到训练数据集；

利用训练数据集训练目标检测模型。

通过采用本发明中的目标检测中候选框自动标注方法进行自动标注，可以避免传统标注中的大量人工参与，节省人力成本，提高数据标注的效率，进而提高模型训练的效率。

本发明还一种目标检测方法，所述方法包括：

采用本发明中的目标检测中候选框自动标注方法进行自动标注，得到训练数据集；

利用训练数据集训练目标检测模型，得到训练后的目标检测模型；

利用训练后的模型检测目标，得到目标检测结果。

通过采用本发明中的目标检测中候选框自动标注方法进行自动标注，可以避免传统标注中的大量人工参与，节省人力成本，提高数据标注的效率，提高模型训练的效率，进而提高了目标检测的效率。

本发明提供的一个或多个技术方案，至少具有如下技术效果或优点：

本发明引入了新的NMS算法，能够有效地抑制多余候选框，同时也能尽量保障候选框能够覆盖检测目标整体，本发明用于小样本学习+自动标注的技术中，达到大幅度降低人工标注的人力成本的目的与效果。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；

图1是本发明中候选框A与候选框B的合并效果示意图；

图2是本发明中目标检测中候选框自动标注系统的组成示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

实施例一

本发明实施例一以某面板厂ADC缺陷检测工程中应用效果进行举例，其中在实际的应用过程中也可以有其他应用对象和应用领域，本发明不对具体的应用领域和对象进行限定，采用传统NMS算法时，对于大缺陷，最后仍然会残留多个候选框，并且单一候选框无法有效覆盖缺陷整体，人工修正成本高，通过采用本发明中的方法后能够进行自动标注，提高标注的效率节约人力成本。采用本发明中改进的NMS算法后，对于大缺陷，抑制合并为单一候选框，并且候选框有效覆盖了缺陷整体，绝大部分缺陷图都无需人工修正或只需要少数微调。

本发明实施例提供了一种目标检测中候选框自动标注方法，所述方法包括：

1.设定候选框合并阈值，两个候选框重合面积比例高于该阈值则进行合并，可由使用者根据自己的训练集和实际情况自行确认，在实施例中，是根据面板行业的业务人员的对缺陷的认定习惯，选择阈值为0.55，即超过55％的重合面积，则认为两个候选框表示的为同一缺陷类型，应该进行合并。

2.置信度降序排列候选框列表；

其中，降序排列参考传统NMS算法实现逻辑，置信度由深度学习模型给出，置信度越高代表模型认定候选框对指定分类的准确率越高，优先对置信度较高的候选框进行处理效率较高。

3.取出置信度最高的候选框，计算和其他候选框的重叠面积；

其中，两个候选框重叠面积计算方法：候选框A与候选框B均为长方形边框，候选框A的其中一对对角坐标为(x₁,y₁)和(x₂,y₂)，候选框B的其中一对对角坐标为(x₃,y₃)和(x₄,y₄)，重叠面积的对角坐标为(xx₁,yy₁)和(xx₂,yy₂)，xx₁＝max(x₁,x₃),yy₁＝max(y₁,y₃),xx₂＝min(x₂,x₄)，yy₂＝min(y₂,y₄)，候选框A与候选框B的重叠面积＝(xx₂-xx₁+1)*(yy₂-yy₁+1)。

4.计算重叠面积对于自身候选框的比例和对于其他候选框的比例，选择最大的一个比例作为两个候选框的重叠面积比；

候选框的面积计算方式为：候选框的其中一对对角坐标为(x₅,y₅)和(x₆,y₆)，候选框面积＝(x₆-x₅+1)*(y₆-y₅+1)。

5.重叠面积比大于预设门限值，则需要对两个候选框进行合并操作，这里采用了一种简单的合并策略：

候选框A的其中一对对角坐标为(x₁,y₁)和(x₂,y₂)，候选框B的其中一对对角坐标为(x₃,y₃)和(x₄,y₄)，重叠面积的对角坐标为(xx₁,yy₁)和(xx₂,yy₂)，合并后候选框C的顶点坐标为(xx₁,yy₁)和(xx₂,yy₂)则xx₁＝max(x₁,x₃),yy₁＝max(y₁,y₃),xx₂＝min(x₂,x₄)，yy₂＝min(y₂,y₄)。合并效果如图1所示。

合并操作的意义：如技术背景中描述，对于较大或者连片的面板缺陷，只进行了少样本学习的深度学习模型往往会给出大量的候选框并且单一候选框都无法框住缺陷整体，而采用传统的NMS算法，只能抑制置信度较低的候选框，而对于自动标注，希望能对同一个缺陷或者连片缺陷，只需要一个候选框，并且候选框需要能够覆盖缺陷整体，所以这个改进的NMS算法中，本发明需要对同一缺陷的诸多候选框进行合并操作，使得结果尽量向本发明期望的标注目标靠拢。

6.把新候选框加入候选框列表，并且去除合并之前的两个候选框

7.重复进行合并操作，即重复执行步骤3-6，直到候选框列表中已经没有可以合并的候选框。

实施例二

请参考图2，本发明实施例二提供了一种目标检测中候选框自动标注系统，所述系统包括：

候选框获得单元，用于检测目标得到目标对应的若干个候选框；

候选框列表获得单元，用于计算每个候选框对应的置信度，按照置信度降序排列候选框，得到候选框列表；

候选框合并单元，用于判断若候选框列表中有满足合并条件候选框则合并满足条件的候选框，合并后更新候选框列表，若更新后的候选框列表中仍有满足合并条件的候选框，则继续重复执行前述合并和更新操作直至没有满足合并条件的候选框，得到最终的候选框结果；

标注单元，用于基于最终的候选框结果进行标注。

实施例三

本发明实施例三提供了一种目标检测模型训练方法，所述方法包括：

采用本发明中的目标检测中候选框自动标注方法自动进行标注，得到训练数据集；

利用训练数据集训练目标检测模型。

通过采用本发明中的目标检测中候选框自动标注方法自动进行标注，可以避免传统标注中的大量人工参与，可以节省人力成本，提高数据标注的效率，进而提高模型训练的效率。

实施例四

本发明实施例四提供了一种目标检测方法，所述方法包括：

采用本发明中的目标检测中候选框自动标注方法自动进行标注，得到训练数据集；

利用训练数据集训练目标检测模型，得到训练后的目标检测模型；

利用训练后的模型检测目标，得到目标检测结果。

通过采用本发明中的目标检测中候选框自动标注方法自动进行标注，可以避免传统标注中的大量人工参与，可以节省人力成本，提高数据标注的效率，提高模型训练的效率，进而提高了目标检测的效率。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种目标检测中候选框自动标注方法，其特征在于，所述方法包括：

检测目标得到目标对应的若干个候选框；

计算每个候选框对应的置信度，按照置信度降序排列候选框，得到候选框列表；

若候选框列表中有满足合并条件候选框则合并满足条件的候选框，合并后更新候选框列表，若更新后的候选框列表中仍有满足合并条件的候选框则继续执行前述合并和更新操作直至没有满足合并条件的候选框，得到最终的候选框结果；

基于最终的候选框结果进行标注。

2.根据权利要求1所述的目标检测中候选框自动标注方法，其特征在于，所述方法还包括：设定候选框合并阈值K；所述方法中合并候选框的方式为：

获得列表中置信度最高的候选框A，分别计算候选框A与列表中其他候选框的重叠面积；

针对任意一对具有重叠面积的候选框A与候选框B，计算该对候选框的重叠面积与候选框A的面积比例M，以及该对候选框的重叠面积与候选框B的面积比例N，选择面积比例M和N中较大的一个作为候选框A与候选框B的重叠面积比，若M、N相等则直接选择该值为重叠面积比；

若候选框A与候选框B的重叠面积比大于候选框合并阈值K，则合并候选框A与候选框B，得到候选框C。

3.根据权利要求2所述的目标检测中候选框自动标注方法，其特征在于，候选框A与候选框B的重叠面积计算方式为：

候选框A与候选框B均为长方形边框，候选框A的其中一对对角坐标(这里对角指左上和右下，后同)为(x₁,y₁)和(x₂,y₂)，候选框B的其中一对对角坐标为(x₃,y₃)和(x₄,y₄)，重叠面积的对角坐标为(xx₁,yy₁)和(xx₂,yy₂)，xx₁＝max(x₁,x₃),yy₁＝max(y₁,y₃),xx₂＝min(x₂,x₄)，yy₂＝min(y₂,y₄)，候选框A与候选框B的重叠面积＝(xx₂-xx₁+1)*(yy₂-yy₁+1)。

4.根据权利要求2所述的目标检测中候选框自动标注方法，其特征在于，候选框的面积计算方式为：候选框的其中一对对角坐标为(x₅,y₅)和(x₆,y₆)，候选框面积＝(x₆-x₅+1)*(y₆-y₅+1)。

5.根据权利要求2所述的目标检测中候选框自动标注方法，其特征在于，合并候选框A与候选框B的方式为：

候选框A的其中一对对角坐标为(x₁,y₁)和(x₂,y₂)，候选框B的其中一对对角坐标为(x₃,y₃)和(x₄,y₄)，重叠面积的对角坐标为(xx₁,yy₁)和(xx₂,yy₂)，合并后候选框C的顶点坐标为(xx₁,yy₁)和(xx₂,yy₂)则xx₁＝max(x₁,x₃),yy₁＝max(y₁,y₃),xx₂＝min(x₂,x₄)，yy₂＝min(y₂,y₄)。

6.根据权利要求1所述的目标检测中候选框自动标注方法，其特征在于，本方法中更新候选框列表的方式为：将候选框C加入候选框列表，并在候选框列表中去除候选框A与候选框B，完成候选框列表更新。

7.根据权利要求1所述的目标检测中候选框自动标注方法，其特征在于，利用深度学习模型计算每个候选框对应的置信度。

8.一种目标检测中候选框自动标注系统，其特征在于，所述系统包括：

候选框获得单元，用于检测目标得到目标对应的若干个候选框；

候选框列表获得单元，用于计算每个候选框对应的置信度，按照置信度降序排列候选框，得到候选框列表；

候选框合并单元，用于判断若候选框列表中有满足合并条件候选框则合并满足条件的候选框，合并后更新候选框列表，若更新后的候选框列表中仍有满足合并条件的候选框，则继续重复执行前述合并和更新操作直至没有满足合并条件的候选框，得到最终的候选框结果；

标注单元，用于基于最终的候选框结果进行标注。

9.一种目标检测模型训练方法，其特征在于，所述方法包括：

采用权利要求1-7中任意一种目标检测中候选框自动标注方法进行自动标注，得到训练数据集；

利用训练数据集训练目标检测模型。

10.一种目标检测方法，其特征在于，所述方法包括：

采用权利要求1-7中任意一种目标检测中候选框自动标注方法进行自动标注，得到训练数据集；

利用训练数据集训练目标检测模型，得到训练后的目标检测模型；

基于训练后的模型检测目标得到目标检测结果。

Images