CN117994528A - 图像缺陷检测模型预测结果人工复审方法、装置及设备 - Google Patents

Abstract

本发明涉及缺陷复审技术领域，公开了一种图像缺陷检测模型预测结果人工复审方法、装置及设备，该方法包括：获取图像缺陷检测模型输出的缺陷框及缺陷框对应的特征向量和置信度，根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度，根据调整后的置信度确定未人工复审的缺陷框的复审顺序，通过计算缺陷框的特征向量的相似性，根据已完成的人工复审结果，实时调整未人工复审的缺陷框的置信度，从而动态调整复审顺序，在确保缺陷检出率的前提下降低了人工复审所需工作量。

Description

图像缺陷检测模型预测结果人工复审方法、装置及设备

技术领域

本发明涉及缺陷复审技术领域，具体涉及一种图像缺陷检测模型预测结果人工复审方法、装置及设备。

背景技术

目前，人工智能模型在工业巡检领域得到广泛应用，业界使用无人机、监拍装置或巡检车辆针对输电杆塔、铁路接触网、站房设备、通道环境等进行规范拍摄，并基于图像缺陷检测模型筛查拍摄照片中可能存在的问题(包括设备缺陷、场景隐患、人员违规行为等，下文均简称为缺陷)。然而，由于实际场景复杂、缺陷形态多变，图像缺陷检测模型并非完全准确，在应用图像缺陷检测模型找到潜在缺陷后，需要进行人工复审或人工复查。不同的复审策略达到的缺陷检出率和人工复审工作量存在较大差异。

在现有复审策略中，可通过对图像缺陷检测模型预测结果按置信度从高到低进行复审，并考虑不同缺陷类别在模型训练集和实际应用场景的差异，调整预测结果为真的不同类别的后验概率，从而在确保缺陷检出率的前提下，降低复审工作量。

但是在实际应用过程中，单次巡检获取的图片中，模型预测缺陷的误报和漏报形态具有相似性。现有的技术方案仅考虑到不同类别在实际应用场景中的置信度偏差，不能根据复审结果动态调整复审顺序，复审效果不佳。

发明内容

有鉴于此，本发明提供了一种图像缺陷检测模型预测结果人工复审方法、装置、设备及介质，以解决现有技术中不能动态调整复审顺序导致复审效果不佳的问题。

第一方面，本发明提供了一种图像缺陷检测模型预测结果人工复审方法，包括：获取图像缺陷检测模型输出的缺陷框及所述缺陷框对应的特征向量和置信度；根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度；根据调整后的置信度确定未人工复审的缺陷框的复审顺序。

可选地，获取图像缺陷检测模型输出的缺陷框及所述缺陷框对应的特征向量和置信度，包括：通过图像缺陷检测模型获取缺陷框以及所述缺陷框对应的缺陷类别、置信度和缺陷特征；将所述缺陷特征进行降维和校准得到预设维度的特征向量。

可选地，所述缺陷特征通过从所述图像缺陷检测模型的特征提取网络中提取所述缺陷框所在位置的特征得到。

可选地，根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度，包括：为每个缺陷类别的缺陷框分别构造置信度集合，所述置信度集合包括若干同一缺陷类别中置信度最高的缺陷框或同一缺陷类别中和已完成人工复审的缺陷框的特征向量距离最近的若干特征向量对应的缺陷框；根据已完成人工复审的缺陷框的复审结果确定置信度调整值；从已完成人工复审的缺陷框所属缺陷类别对应的所述置信度集合中查找未人工复审且与已完成人工复审的缺陷框位于不同场景的若干目标缺陷框；根据已完成人工复审的缺陷框的特征向量和所述目标缺陷框的特征向量的相似度以及所述置信度调整值调整所述目标缺陷框的置信度。

可选地，根据已完成人工复审的缺陷框的特征向量和所述目标缺陷框的特征向量的相似度以及所述置信度调整值调整所述目标缺陷框的置信度的调整方式为：

S_jh＝S_j+aA×exp(-w×D(vi，vj)²/2)

式中，S_jh为调整后的置信度，S_j为调整前的置信度，a和w为预设系数，D(v_i,v_j)为已完成人工复审的缺陷框的特征向量和所述目标缺陷框的特征向量的相似度，v_i为已完成人工复审的缺陷框的特征向量，v_j为所述目标缺陷框的特征向量，A为所述置信度调整值。

可选地，在为每个缺陷类别的缺陷框分别构造置信度集合之后，包括：在根据复审顺序选取缺陷框进行人工复审后，将选取的缺陷框从所述置信度集合中移除；当所述置信度集合中的缺陷框小于预设数量时重新构造所述置信度集合。

可选地，根据调整后的置信度确定未人工复审的缺陷框的复审顺序，包括：根据调整后的置信度计算未人工复审的缺陷框的复审优先度，计算公式为：

K＝S_jh-f(k1,k2)

其中，K为复审优先度，S_jh为调整后的置信度，f为k1和k2的非递减函数，k1和k2分别为同一场景人工确认和否认的已复审确认或否认的缺陷框数量；根据所述复审优先度确定复审顺序。

可选地，根据所述复审优先度确定复审顺序，包括：构造优先队列，所述优先队列的队列元素为未人工复审的缺陷框，所述队列元素的优先度为所述队列元素放入所述优先队列时的复审优先度；从所述优先队列中提取缺陷框及其优先度，并再次计算其复审优先度，若再次计算的复审优先度低于提取的优先度，则将缺陷框以再次计算的复审优先度放回所述优先队列，否则将其加入待展示队列。

可选地，根据所述复审优先度确定复审顺序，包括：根据复审优先度从优先队列中选取缺陷框进行人工复审；若选取的缺陷框的类别属于黑名单，则将选取的缺陷框丢弃，重新选取缺陷框；若和选取的缺陷框属于同一场景的其他缺陷框在待复审队列中，则将选取的缺陷框的复审优先度降低后放回优先队列；若选取的缺陷框的类别不属于黑名单且没有属于同一场景的其他缺陷框在待复审队列中，则将选取的缺陷框加入待展示队列。

第二方面，本发明提供了一种图像缺陷检测模型预测结果人工复审装置，包括：信息获取模块，用于获取图像缺陷检测模型输出的缺陷框及所述缺陷框对应的特征向量和置信度；置信度调整模块，用于根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度；顺序确定模块，用于根据调整后的置信度确定未人工复审的缺陷框的复审顺序。

第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的图像缺陷检测模型预测结果人工复审方法。

第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的图像缺陷检测模型预测结果人工复审方法。

从以上技术方案可以看出，本发明实施例具有以下优点：

本发明提供的一种图像缺陷检测模型预测结果人工复审方法、装置、设备及介质，通过获取图像缺陷检测模型输出的缺陷框及缺陷框对应的特征向量和置信度，根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度，根据调整后的置信度确定未人工复审的缺陷框的复审顺序，通过计算缺陷框的特征向量的相似性，根据已完成的人工复审结果，实时调整未人工复审的缺陷框的置信度，从而动态调整复审顺序，在确保缺陷检出率的前提下降低了人工复审所需工作量。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一图像缺陷检测模型预测结果人工复审方法的流程示意图；

图2是本发明实施例的另一图像缺陷检测模型预测结果人工复审方法的流程示意图；

图3是本发明实施例的图像缺陷检测模型的工作原理图；

图4是本发明实施例的图像缺陷检测模型预测结果人工复审装置的结构框图；

图5是本发明实施例的计算机设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种图像缺陷检测模型预测结果人工复审方法，应用于对巡视图片的图像缺陷检测模型的预测结果进行人工复审，如图1和图2所示，该方法包括：

步骤S101，获取图像缺陷检测模型输出的缺陷框及缺陷框对应的特征向量和置信度。

具体地，基于图像目标检测算法训练图像缺陷检测模型。通过收集巡检图片/监控图片，并从中挖掘缺陷图片，缺陷包括设备缺陷、场景隐患、人员违规行为等。对图片进行缺陷框标注，形成不同类别缺陷的标注数据集，以此训练图像缺陷检测模型。

图像缺陷检测模型包括特征提取(backbone)、特征融合(Neck)和目标检测头(Head)三部分。本实施例中，根据数据集的特点，目标检测的特征提取网络选用ViT、Swin或CSPDarkNet，特征融合分不分选用SimpleFPN，目标检测头选用Yolo v5。现有的图像缺陷检测模型能够检测到缺陷框并输出对应的置信度，本申请在此基础上，还从图像缺陷检测模型的特征提取网络中提取缺陷框所在位置的特征得到特征缺陷，并进一步对特征缺陷进行处理得到特征向量。

步骤S102，根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度。

具体地，通过计算已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度，若已完成人工复审的缺陷框的复审结果为确认为缺陷，则增加置信度，相似度越大置信度增加得越多，若确认为不是缺陷，则减小置信度，相似度越大置信度减小得越多。

步骤S103，根据调整后的置信度确定未人工复审的缺陷框的复审顺序。

具体地，调整后的置信度越大，复审顺序越靠前，当复审的缺陷框的置信度等于预设分数值，或复审数量到达预设数量值时停止复审。

本发明实施例的一种图像缺陷检测模型预测结果人工复审方法，通过获取图像缺陷检测模型输出的缺陷框及缺陷框对应的特征向量和置信度，根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度，根据调整后的置信度确定未人工复审的缺陷框的复审顺序，通过计算缺陷框的特征向量的相似性，根据已完成的人工复审结果，实时调整未人工复审的缺陷框的置信度，从而动态调整复审顺序，在确保缺陷检出率的前提下降低了人工复审所需工作量。

在一具体实施方式中，步骤S101，获取图像缺陷检测模型输出的缺陷框及缺陷框对应的特征向量和置信度，包括：

步骤S1011，通过图像缺陷检测模型获取缺陷框以及缺陷框对应的缺陷类别、置信度和缺陷特征。

具体地，如图3所示，图像缺陷检测模型的原理为：

对每张图片，缩放为多个分辨率并输入图像缺陷检测模型进行缺陷检测，图像缺陷检测模型通过特征提取网络提取不同分辨率的输入图片的特征图并识别出缺陷框，并得到对应的缺陷类别和置信度。选取图像缺陷检测模型预测出的所有缺陷框，按置信度进行排序，每张图片选取前8192个(为预先指定的数值，一般为最终输出框的N倍，1/N为预估的非极大值抑制方法保留的目标框比例的下限，本例中取1/N＝1/32)送入非极大值抑制算法，用于目标框去重。此处，同一位置不同类别的缺陷框统一进行去重。对每个缺陷框，将其映射至不同分辨率的输入图片上，并计算缺陷框映射后的对数尺寸(log(sqrt(宽×高)))，将结果最接近模型识别精度最高的缺陷尺寸的输入图片标记为该缺陷框对应的特征提取图片，示例性地，模型识别精度最高的缺陷尺寸为log(144)。对每个分辨率的输入图片，提取其特征提取网络的分辨率为16的输出层特征，并提取将该图片标记为特征提取图片的缺陷框，将输出层特征和缺陷框经由ROI-Align处理，得到这些缺陷框对应的D×M×M缺陷特征(M预先指定，取值为4-8之间，D为特征提取网络的维度)。将所有分辨率图片得到的缺陷特征重新排序，将缺陷框及其对应的缺陷类别、置信度和缺陷特征，作为模型输出。

步骤S1012，将缺陷特征进行降维和校准得到预设维度的特征向量。

具体地，对所有训练图像，通过图像缺陷检测模型提取缺陷框以及缺陷框对应的缺陷类别、置信度和缺陷特征。

构造特征分析模型。特征分析模型包括特征映射模块、特征处理模块和特征预测模块，特征映射模块，将D×M×M的缺陷特征映射为N×M×M的缺陷特征，其中，N为图像缺陷检测模型输出的特征维度，通常取64，128或256，本实施例选取128。特征处理模块，采用Transformer架构，本实施例选取维6层128维4头Transformer对降维后的缺陷特征进行处理。特征预测模块，采用CNN架构，本实施例选取4层128维3×3CNN，和1层128×256的线性层对缺陷特征进行预测，特征处理模块和特征预测模块的作用是对降维后的缺陷特征进行校准，使其更能表征对应的缺陷框。

对特征分析模型进行训练。首先，构造样本选择器，根据每个缺陷框的置信度决定其被选取的概率，并随机选取缺陷框及对应的缺陷特征。将每个样本的M×M个特征点随机分为X份，本实施例中X＝4，每份形成一个子样本，将所有子样本和原样本送入特征分析模型，并在特征处理模块和特征预测模块之间，将只有M×M/X个点的子样本(维度为N×(M×M/X))通过填充mask token的方式恢复为N×M×M。然后，构造损失函数，构造两个学习目标：一为原样本每层FFN输出特征标准化值的均值的标准化值，维度为N×M×M，二为原样本每层FFN输出特征在后两个维度上的均值的各层均值的标准化，维度为N。将各个子样本S423的输出在维度上平均分为两部分，第一部分用于预测学习目标一，第二部分在后两个维度上求均值后用于预测学习目标二。将目标一在子样本填充mask token位置上的平方损失的平均值与目标二的平方损失均值加权相加，得到最终的损失函数。最后，使用AdamW优化器对特征分析模型和样本进行训练。

将经过训练的图像缺陷检测模型和特征分析模型进行拼接，将图像缺陷检测模型输出的缺陷特征送入特征分析模型处理，并提取特征分析模型最后一层的第129-256特征，在后两个维度上求均值得到每个缺陷框的N维特征向量，最终输出缺陷框及其对应的缺陷类别、置信度和特征向量。

在一具体实施方式中，缺陷特征通过从图像缺陷检测模型的特征提取网络中提取缺陷框所在位置的特征得到。

具体地，从特征提取网络中提取缺陷框所在位置的特征得到缺陷框对应的缺陷特征，可以基于图像缺陷检测模型输出缺陷特征，简化特征提取的流程。

在一具体实施方式中，步骤S102，根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度，包括：

步骤S1021，为每个缺陷类别的缺陷框分别构造置信度集合，置信度集合包括若干同一缺陷类别中置信度最高的缺陷框或同一缺陷类别中和已完成人工复审的缺陷框的特征向量距离最近的若干特征向量对应的缺陷框。

具体地，在为每个缺陷类别的缺陷框分别构造置信度集合之后，包括：

在根据复审顺序选取缺陷框进行人工复审后，将选取的缺陷框从置信度集合中移除；当置信度集合中的缺陷框小于预设数量时重新构造置信度集合。

示例性地，在复审开始前，每个缺陷类别构造一个置信度集合，包含置信度最高或和已完成人工复审的缺陷框的特征向量距离最近的若干特征向量对应的k个缺陷框，具体地，K设置为100。在复审时，每选择一个缺陷框进行复审，就从该置信度集合中移除该缺陷框。当置信度集合中缺陷框数量小于k/2时，重新构造该置信度集合。此外，将所有缺陷框对应特征向量构造KNN tree索引，具体采用hsnwlib和余弦距离构造KNN tree索引，构造KNNtree索引的目的是为了方便查找缺陷框。

步骤S1022，根据已完成人工复审的缺陷框的复审结果确定置信度调整值。

具体地，若已完成人工复审的缺陷框的复审结果确认为是缺陷，则置信度调整值为A＝Max-Si，若复审结果确认为不是缺陷，则置信度调整值为A＝-Max-Si，其中，Max为置信度的最大值，Si为已完成人工复审的缺陷框的置信度。

步骤S1023，从已完成人工复审的缺陷框所属缺陷类别对应的置信度集合中查找未人工复审且与已完成人工复审的缺陷框位于不同场景的若干目标缺陷框。

具体地，人工复审的复审结果对同类别的缺陷框的置信度影响较大，因此本申请实施例中选取同一缺陷类别的缺陷框并调整其置信度，考虑了同一缺陷类别不同形态的置信度偏差，基于复审结果实时调节置信度，可以使置信度更加接近真实值。

对于相同场景的缺陷框，大概率是对同一缺陷多次拍照的重复图片，因此本发明实施例中为了避免同一场景图片大量同时出现，采用设置优先度惩罚项而不是基于复审结果调节，因此在此步骤需要将其剔除。

步骤S1024，根据已完成人工复审的缺陷框的特征向量和目标缺陷框的特征向量的相似度以及置信度调整值调整目标缺陷框的置信度。

在一具体实施方式中，置信度的调整公式为：

S_jh＝Sj+aA×exp(-w×D(vi，vj)²/2)

式中，S_jh为目标缺陷框调整后的置信度，S_j为目标缺陷框调整前的置信度，a和w为预设系数，D(v_i,v_j)为已完成人工复审的缺陷框的特征向量和目标缺陷框的特征向量的相似度，v_i为已完成人工复审的缺陷框的特征向量，v_j为目标缺陷框的特征向量，A为置信度调整值。

具体地，对每个人工确认或否认的缺陷框i，若已完成人工复审的缺陷框的复审结果确认为是缺陷，则置信度调整值为A＝Max-Si，若复审结果确认为不是缺陷，则置信度调整值为A＝-Max-Si，其中，Max为置信度的最大值，Si为已完成人工复审的缺陷框的置信度。其它情况下置信度调整值为0。Max为置信度的最大值，此实施例中取8。a和w为预设系数，可以自行设置，例如分别取0.3和50。相似度通过两个向量的余弦相似度距离计算，即：

其中，在调整目标缺陷框的置信度后，根据调整后的置信度调整目标缺陷框的复审顺序。

在一具体实施方式中，步骤S103，根据调整后的置信度确定未人工复审的缺陷框的复审顺序，包括：

步骤S1031，根据调整后的置信度计算未人工复审的缺陷框的复审优先度，计算公式为：

K＝S_jh-f(k1,k2)

其中，K为复审优先度，S_jh为调整后的置信度，f为k1和k2的非递减函数，k1和k2分别为同一场景人工确认和否认的已复审确认或否认的缺陷框数量。

具体地，f(k1,k2)为：

if k1+0.3k2<＝0:f＝0；elif k1+0.3k2<＝3:f＝2；elifk1+0.3k2<＝10:f＝4；else:f＝8。

在本发明实施例中，同一场景的定义为：输电线路巡视中，同一杆塔的照片属于同一场景；监拍图片中，同一摄像头的图片属于同一场景；铁路巡视中，每500米的照片可视为同一场景。

步骤S1032，根据复审优先度确定复审顺序。

具体地，根据复审优先度构造优先队列，将每个缺陷框的复审优先度和设定的缺陷框编号加入队列，并通过堆的方式构造优先队列。通过优先队列确定复审顺序，即为每个缺陷框设置复审优先度，复审优先度越高，复审顺序越靠前。

在一具体实施方式中，步骤S1032，根据复审优先度确定复审顺序，包括：

步骤b1，构造优先队列，所述优先队列的队列元素为未人工复审的缺陷框，所述队列元素的优先度为所述队列元素放入所述优先队列时的复审优先度；

步骤b2，从所述优先队列中提取缺陷框及其优先度，并再次计算其复审优先度，若再次计算的复审优先度低于提取的优先度，则将缺陷框以再次计算的复审优先度放回所述优先队列，否则将其加入待展示队列。

具体地，根据复审优先度构造优先队列，将每个缺陷框的复审优先度和设定的缺陷框编号加入队列，并通过堆的方式构造优先队列。通过优先队列确定复审顺序，即为每个缺陷框设置复审优先度，复审优先度越高，复审顺序越靠前。

从优先队列中提取缺陷框及其优先度，再次计算提取的缺陷框的实时复审优先度，若再次计算的复审优先度低于提取时的优先度，即未调整前的复审优先度，则将缺陷框以再次计算的复审优先度放回所述优先队列，否则将其加入待展示队列，通过待展示列队确定复审顺序。

进一步地，步骤S1032，根据复审优先度确定复审顺序，还包括：

步骤a1，根据复审优先度从优先队列中选取缺陷框进行人工复审。

具体地，通过将指定文件夹下的所有图片进行预测得到缺陷框以及缺陷框对应的缺陷类别、置信度和缺陷向量，通过置信度计算复审优先度并将每个缺陷框的复审优先度和设定的缺陷框编号加入队列，并通过堆的方式构造优先队列。从优先队列中选取复审优先度最高的缺陷框进行人工复审。

步骤a2，若选取的缺陷框的类别属于黑名单，则将选取的缺陷框丢弃，重新选取缺陷框。

具体地，复审人员在复审时可设置类别黑名单，屏蔽包含特定关键字的问题类别，当选取的缺陷框的类别属于黑名单，则将选取的缺陷框丢弃，以提高复审效率。

步骤a3，若和选取的缺陷框属于同一场景的其他缺陷框在待复审队列中，则将选取的缺陷框的复审优先度降低后放回优先队列。

具体地，如果选取的缺陷框属于同一场景的其他缺陷框在待复审队列中存在，则将其复审优先度降低T，本发明实施例中T为1，将其以降低后的复审优先度放回优先队列。

步骤a4，若选取的缺陷框的类别不属于黑名单且没有属于同一场景的其他缺陷框在待复审队列中，则将选取的缺陷框加入待展示队列。

通过设置黑名单及对属于同一场景的缺陷框设置优先度惩罚项的方式，避免黑名单中的图片出现，以及避免同一场景的图片频繁出现，提高复审效率。

在一实施例中，在缺陷复审界面，将待复审队列中的缺陷框、置信度、缺陷类别与缺陷图片展示给复审人员，等待其确认或否认其是否为缺陷。在此过程中，用户可通过点选图片的方式查看相邻图片或缺陷框，在编辑区填写缺陷的相关信息，通过菜单栏设置缺陷类别黑名单，或者保存缺陷单和缺陷复审进度等。

本发明实施例还提供了一种图像缺陷检测模型预测结果人工复审装置，如图4所示，包括：

信息获取模块401，用于获取图像缺陷检测模型输出的缺陷框及缺陷框对应的特征向量和置信度；

置信度调整模块402，用于根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度；

顺序确定模块403，用于根据调整后的置信度确定未人工复审的缺陷框的复审顺序。

在一实施例中，信息获取模块401包括：

第一获取模块，用于通过图像缺陷检测模型获取缺陷框以及缺陷框对应的缺陷类别、置信度和缺陷特征；

第二获取模块，用于将缺陷特征进行降维和校准得到预设维度的特征向量。

在一实施例中，缺陷特征通过从图像缺陷检测模型的特征提取网络中提取缺陷框所在位置的特征得到。

在一实施例中，置信度调整模块402包括：

集合构造模块，用于为每个缺陷类别的缺陷框分别构造置信度集合，置信度集合包括若干同一缺陷类别中置信度最高的缺陷框或同一缺陷类别中和已完成人工复审的缺陷框的特征向量距离最近的若干特征向量对应的缺陷框；

调整值确定模块，用于根据已完成人工复审的缺陷框的复审结果确定置信度调整值；

缺陷框查找模块，用于从已完成人工复审的缺陷框所属缺陷类别对应的置信度集合中查找未人工复审且与已完成人工复审的缺陷框位于不同场景的若干目标缺陷框；

置信度模块，用于根据已完成人工复审的缺陷框的特征向量和目标缺陷框的特征向量的相似度以及置信度调整值调整目标缺陷框的置信度。

在一实施例中，根据已完成人工复审的缺陷框的特征向量和目标缺陷框的特征向量的相似度以及置信度调整值调整目标缺陷框的置信度的调整方式为：

S_jh＝S_j+aA×exp(-w×D(vi，vj)²/2)式中，S_jh为调整后的置信度，S_j为调整前的置信度，a和w为预设系数，D(v_i,v_j)为已完成人工复审的缺陷框的特征向量和目标缺陷框的特征向量的相似度，v_i为已完成人工复审的缺陷框的特征向量，v_j为目标缺陷框的特征向量，A为置信度调整值。

在一实施例中，调整值确定模块包括：

第一调整模块，用于若已完成人工复审的缺陷框的复审结果确认为是缺陷，则置信度调整值为A＝Max-Si；

第二调整模块，用于若复审结果确认为不是缺陷，则置信度调整值为A＝-Max-Si，其中，Max为置信度的最大值，Si为已完成人工复审的缺陷框的置信度。

在一实施例中，置信度调整模块402还包括：

移除模块，用于在根据复审顺序选取缺陷框进行人工复审后，将选取的缺陷框从置信度集合中移除；

重构模块，用于当置信度集合中的缺陷框小于预设数量时重新构造置信度集合。

在一实施例中，顺序确定模块403包括：

复审优先度模块，用于根据调整后的置信度计算未人工复审的缺陷框的复审优先度，计算公式为：

K＝S_jh-f(k1,k2)

其中，K为复审优先度，S_jh为调整后的置信度，f为k1和k2的非递减函数，k1和k2分别为同一场景人工确认和否认的已复审确认或否认的缺陷框数量；

复审顺序模块，用于根据复审优先度确定复审顺序。

在一实施例中，复审顺序模块包括：

选取模块，用于根据复审优先度从优先队列中选取缺陷框进行人工复审；

丢器模块，用于若选取的缺陷框的类别属于黑名单，则将选取的缺陷框丢弃，重新选取缺陷框；

惩罚模块，用于若和选取的缺陷框属于同一场景的其他缺陷框在待复审队列中，则将选取的缺陷框的复审优先度降低后放回优先队列；

加入模块，用于若选取的缺陷框的类别不属于黑名单且没有属于同一场景的其他缺陷框在待复审队列中，则将选取的缺陷框加入待展示队列。

本发明实施例提供的一种图像缺陷检测模型预测结果人工复审装置，通过获取图像缺陷检测模型输出的缺陷框及所述缺陷框对应的特征向量和置信度，根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度，根据调整后的置信度确定未人工复审的缺陷框的复审顺序，通过计算缺陷框的特征向量的相似性，根据已完成的人工复审结果，实时调整未人工复审的缺陷框的置信度，从而动态调整复审顺序，在确保缺陷检出率的前提下降低了人工复审所需工作量。

本发明实施例还提供一种计算机设备的结构示意图，如图5所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图5中以一个处理器10为例。

处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。

其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。

存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。

该计算机设备还包括输入装置30和输出装置40。处理器10、存储器20、输入装置30和输出装置40可以通过总线或者其他方式连接，图5中以通过总线连接为例。

输入装置30可接收输入的数字或字符信息，以及产生与该计算机设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等。输出装置40可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。上述显示设备包括但不限于液晶显示器，发光二极管，显示器和等离子体显示器。在一些可选的实施方式中，显示设备可以是触摸屏。

本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (12)

1.一种图像缺陷检测模型预测结果人工复审方法，其特征在于，包括：

获取图像缺陷检测模型输出的缺陷框及所述缺陷框对应的特征向量和置信度；

根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度；

根据调整后的置信度确定未人工复审的缺陷框的复审顺序。

2.根据权利要求1所述的方法，其特征在于，获取图像缺陷检测模型输出的缺陷框及所述缺陷框对应的特征向量和置信度，包括：

通过图像缺陷检测模型获取缺陷框以及所述缺陷框对应的缺陷类别、置信度和缺陷特征；

将所述缺陷特征进行降维和校准得到预设维度的特征向量。

3.根据权利要求2所述的方法，其特征在于，所述缺陷特征通过从所述图像缺陷检测模型的特征提取网络中提取所述缺陷框所在位置的特征得到。

4.根据权利要求2所述的方法，其特征在于，根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度，包括：

为每个缺陷类别的缺陷框分别构造置信度集合，所述置信度集合包括若干同一缺陷类别中置信度最高的缺陷框或同一缺陷类别中和已完成人工复审的缺陷框的特征向量距离最近的若干特征向量对应的缺陷框；

根据已完成人工复审的缺陷框的复审结果确定置信度调整值；

从已完成人工复审的缺陷框所属缺陷类别对应的所述置信度集合中查找未人工复审且与已完成人工复审的缺陷框位于不同场景的若干目标缺陷框；

根据已完成人工复审的缺陷框的特征向量和所述目标缺陷框的特征向量的相似度以及所述置信度调整值调整所述目标缺陷框的置信度。

5.根据权利要求4所述的方法，其特征在于，根据已完成人工复审的缺陷框的特征向量和所述目标缺陷框的特征向量的相似度以及所述置信度调整值调整所述目标缺陷框的置信度的调整方式为：

S_jh＝S_j+aA×exp(-w×D(vi,vj)²/2)

式中，S_jh为调整后的置信度，S_j为调整前的置信度，a和w为预设系数，D(v_i,v_j)为已完成人工复审的缺陷框的特征向量和所述目标缺陷框的特征向量的相似度，v_i为已完成人工复审的缺陷框的特征向量，v_j为所述目标缺陷框的特征向量，A为所述置信度调整值。

6.根据权利要求4所述的方法，其特征在于，在为每个缺陷类别的缺陷框分别构造置信度集合之后，包括：

在根据复审顺序选取缺陷框进行人工复审后，将选取的缺陷框从所述置信度集合中移除；

当所述置信度集合中的缺陷框小于预设数量时重新构造所述置信度集合。

7.根据权利要求1所述的方法，其特征在于，根据调整后的置信度确定未人工复审的缺陷框的复审顺序，包括：

根据调整后的置信度计算未人工复审的缺陷框的复审优先度，计算公式为：

K＝S_jh-f(k1,k2)

其中，K为复审优先度，S_jh为调整后的置信度，f为k1和k2的非递减函数，k1和k2分别为同一场景人工确认和否认的已复审确认或否认的缺陷框数量；

根据所述复审优先度确定复审顺序。

8.根据权利要求7所述的方法，其特征在于，根据所述复审优先度确定复审顺序，包括：

构造优先队列，所述优先队列的队列元素为未人工复审的缺陷框，所述队列元素的优先度为所述队列元素放入所述优先队列时的复审优先度；

从所述优先队列中提取缺陷框及其优先度，并再次计算其复审优先度，若再次计算的复审优先度低于提取的优先度，则将缺陷框以再次计算的复审优先度放回所述优先队列，否则将其加入待展示队列。

9.根据权利要求8所述的方法，其特征在于，根据所述复审优先度确定复审顺序，包括：

根据复审优先度从优先队列中选取缺陷框进行人工复审；

若选取的缺陷框的类别属于黑名单，则将选取的缺陷框丢弃，重新选取缺陷框；

若和选取的缺陷框属于同一场景的其他缺陷框在待复审队列中，则将选取的缺陷框的复审优先度降低后放回优先队列；

若选取的缺陷框的类别不属于黑名单且没有属于同一场景的其他缺陷框在待复审队列中，则将选取的缺陷框加入待展示队列。

10.一种图像缺陷检测模型预测结果人工复审装置，其特征在于，包括：

信息获取模块，用于获取图像缺陷检测模型输出的缺陷框及所述缺陷框对应的特征向量和置信度；

置信度调整模块，用于根据已完成人工复审的缺陷框的特征向量和未人工复审的缺陷框的特征向量的相似度调整未人工复审的缺陷框的置信度；

顺序确定模块，用于根据调整后的置信度确定未人工复审的缺陷框的复审顺序。

11.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至9中任一项所述的图像缺陷检测模型预测结果人工复审方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至9中任一项所述的图像缺陷检测模型预测结果人工复审方法。