CN117392374A - 目标检测方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例提供了一种目标检测方法、装置、设备及存储介质，涉及计算机技术领域，该方法包括，将待检测数据集输入目标检测模型；针对任一待检测图像，基于目标检测模型中的特征提取网络，获取待检测图像对应的第一特征图；基于目标检测模型中的区域生成网络，获取第一特征图中的多个第一检测框信息；基于预先构建的知识图谱中的置信度信息，对第一特征图中的多个第一检测框进行筛选；获取目标检测模型输出的待检测图像对应的目标检测结果。这样，基于知识图谱提升目标检测模型的泛化性能，使其对不同的待检测图像均有很好的检测效果，能更加充分的利用待检测图像中待检测对象之间的关联信息，进一步提高目标检测模型的检测精度。

Description

目标检测方法、装置、设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种目标检测方法、装置、设备及存储介质。

背景技术

基于图像的目标检测是人工智能的一类极其重要的应用，目标检测的任务是找出图像中所有感兴趣的目标（物体），确定它们的类别和位置。目标检测应用场景广泛，具体有人脸检测、行人检测、车辆检测、遥感检测等。

相关技术中，传统目标检测模型是需要对大量的样本图像中的特征信息进行训练得到的，其检测能力具有一定的局限性，也即目标检测模型的检测精度不高。

发明内容

为克服相关技术中存在的问题，本发明提供了一种目标检测方法、装置、设备及存储介质。

第一方面，本发明提供了一种目标检测方法，所述方法包括：

将待检测数据集输入目标检测模型；所述待检测数据集中包括待检测图像；

针对任一所述待检测图像，基于所述目标检测模型中的特征提取网络，获取所述待检测图像对应的第一特征图；

基于所述目标检测模型中的区域生成网络，获取所述第一特征图中的多个第一检测框信息；所述第一检测框信息包括第一检测框以及所述第一检测框对应的类别信息以及检测框置信度；

基于预先构建的知识图谱中的置信度信息，对所述第一特征图中的多个第一检测框进行筛选；

获取所述目标检测模型输出的所述待检测图像对应的目标检测结果；所述目标检测结果包括目标分类结果、目标掩膜结果以及目标位置结果。

可选地，所述目标检测模型由下述步骤训练得到：

将样本图像集输入待训练检测模型；所述样本图像集中包括多个样本图像；

针对所述多个样本图像中的任一样本图像，基于所述知识图谱中的置信度信息以及所述样本图像对应的检测框信息，确定所述样本图像中各待检测对象对应的检测结果；

基于所述检测结果与所述样本图像中的标注标签，对所述待训练检测模型进行参数调整；所述标注标签用于表征所述样本图像的真实检测结果；

在达到停止条件的情况下，将所述待训练检测模型确定为目标检测模型。

可选地，所述基于所述知识图谱中的置信度信息以及所述样本图像对应的检测框信息，确定所述样本图像中各待检测对象对应的检测结果，包括：

基于所述待训练检测模型中的特征提取网络，获取所述样本图像对应的特征图；

基于所述待训练检测模型中的区域生成网络，获取所述特征图中的多个检测框信息；所述检测框信息包括检测框以及所述检测框对应的类别信息以及检测框置信度；

基于所述知识图谱中的置信度信息，对所述特征图中的多个检测框进行筛选，得到目标特征图；所述目标特征图中包括各所述待检测对象对应的目标类别以及各所述待检测对象对应的预测检测框；

将所述目标特征图作为所述待训练检测模型中的全连接层的输入，获取所述待训练检测模型输出的分类预测结果、掩膜预测结果以及位置预测结果，作为所述检测结果。

可选地，所述基于所述知识图谱中的置信度信息，对所述特征图中的多个检测框进行筛选，包括：

将检测框置信度最高的检测框所对应的类别信息确定为目标对象对应的目标类别；

针对所述样本图像中除所述目标对象的任一待检测对象，基于所述知识图谱中的置信度信息，确定所述待检测对象对应的目标类别；

从所述待检测对象对应的多个检测框中选择类别信息与所述待检测对象对应的目标类别相同的检测框作为目标检测框；

对所述目标检测框进行筛选，确定所述待检测对象对应的预测检测框。

可选地，所述基于所述知识图谱中的置信度信息，确定所述待检测对象对应的目标类别，包括：

获取所述待检测对象对应的候选类别；

基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度；

基于所述关联度，确定所述待检测对象对应的目标类别。

可选地，在所述候选类别包括第一类别以及第二类别的情况下，所述基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度，包括：

基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述第一类别的关联度，得到第一结果；

基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述第二类别的关联度，得到第二结果。

可选地，所述基于所述关联度，确定所述待检测对象对应的目标类别，包括：

在所述第一结果大于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第一类别；

在所述第一结果小于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第二类别；

在所述第一结果等于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第一类别以及所述第二类别。

可选地，所述对所述目标检测框进行筛选，确定所述待检测对象对应的预测检测框，包括：

获取检测框置信度最高的目标检测框对应的交并比；

基于所述检测框置信度最高的目标检测框对应的交并比以及预设阈值，对所述目标检测框进行筛选，确定所述待检测对象对应的预测检测框。

可选地，所述方法还包括：

获取样本图像集；

针对所述样本图像集中的任一样本图像，确定所述样本图像中各待检测对象对应的真实轮廓标签、真实位置标签以及真实类别标签，作为所述样本图像中的标注标签。

可选地，所述特征提取网络中包含多个卷积层，所述多个卷积层的扩张率互不相同。

可选地，所述多个卷积层包括标准卷积层、扩张率为1的第一卷积层、扩张率为2的第二卷积层以及扩张率为3的第三卷积层。

可选地，所述方法还包括：

获取目标领域内的多个图像数据以及多个文字数据；

基于所述多个图像数据以及所述多个文字数据进行知识抽取，并进行多模态融合，得到所述知识图谱。

可选地，所述方法还包括：

针对所述知识图谱中的任一第一实体节点，基于所述多个图像数据以及所述多个文字数据，确定所述第一实体节点的出现次数、与所述第一实体节点具有直接映射关系的第二实体节点的出现次数以及所述第一实体节点和第二实体节点共同出现的总次数，得到所述第一实体节点以及所述第二实体节点之间的置信度信息。

可选地，所述基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与以及所述待检测对象对应的候选类别的关联度，包括：

针对任一候选类别，基于所述目标对象对应的目标类别所对应的实体节点以及所述候选类别对应的实体节点在所述知识图谱中的关联关系，以及所述关联关系所涉及的各实体节点之间的置信度信息，确定所述目标对象对应的目标类别以及与所述候选类别的关联度。

可选地，所述基于所述目标对象对应的目标类别所对应的实体节点以及所述候选类别对应的实体节点在所述知识图谱中的关联关系，以及所述关联关系所涉及的各实体节点之间的置信度信息，确定所述目标对象对应的目标类别与所述候选类别的关联度，包括：

基于广度优先算法以及所述知识图谱，确定所述目标对象对应的目标类别所对应的实体节点与所述候选类别对应的实体节点之间的最短关联路径；

将所述最短关联路径上的各实体节点之间的置信度信息表征的置信度进行连续相乘，得到所述目标对象对应的目标类别以及所述候选类别的关联度。

可选地，所述基于所述检测结果与所述样本图像中的标注标签，对所述待训练检测模型进行参数调整，包括：

基于所述检测结果以及所述标注标签对应的分类损失、定位损失、分割损失以及目标损失，对所述待训练检测模型进行参数调整；所述目标损失是基于所述知识图谱表征的信息确定的。

可选地，所述方法还包括：

针对所述知识图谱中的任一实体节点，基于所述知识图谱中与所述实体节点存在关联的关联边的数量，确定所述实体节点对应的权重。

可选地，所述目标损失的计算公式包括：

=（1-ε）/>+ε/>

其中，用于表示所述目标损失，/>用于表示实体节点i以及实体节点j的关联度，I用于表示所述实体节点i所在的实体节点集合，J用于表示所述实体节点j所在的实体节点集合，用于表示所述实体节点i对应的权重，用于表示所述实体节点j对应的权重，r用于表示实体节点i对应的权重，p用于表示实体节点i对应的待检测对象的检测框置信度，ε为常数，取值范围为[0，1]。

第二方面，本发明提供了一种目标检测装置，所述装置包括：

第一输入模块，用于将待检测数据集输入目标检测模型；所述待检测数据集中包括待检测图像；

第一获取模块，用于针对任一所述待检测图像，基于所述目标检测模型中的特征提取网络，获取所述待检测图像对应的第一特征图；

第二获取模块，用于基于所述目标检测模型中的区域生成网络，获取所述第一特征图中的多个第一检测框信息；所述第一检测框信息包括第一检测框以及所述第一检测框对应的类别信息以及检测框置信度；

第一筛选模块，用于基于预先构建的知识图谱中的置信度信息，对所述第一特征图中的多个第一检测框进行筛选；

第三获取模块，用于获取所述目标检测模型输出的所述待检测图像对应的目标检测结果；所述目标检测结果包括目标分类结果、目标掩膜结果以及目标位置结果。

可选地，所述装置还包括：

第二输入模块，用于将样本图像集输入待训练检测模型；所述样本图像集中包括多个样本图像；

第一确定模块，用于针对所述多个样本图像中的任一样本图像，基于所述知识图谱中的置信度信息以及所述样本图像对应的检测框信息，确定所述样本图像中各待检测对象对应的检测结果；

第一调整模块，用于基于所述检测结果与所述样本图像中的标注标签，对所述待训练检测模型进行参数调整；所述标注标签用于表征所述样本图像的真实检测结果；

第二确定模块，用于在达到停止条件的情况下，将所述待训练检测模型确定为目标检测模型。

可选地，所述第一确定模块，包括：

第四获取模块，用于基于所述待训练检测模型中的特征提取网络，获取所述样本图像对应的特征图；

第五获取模块，用于基于所述待训练检测模型中的区域生成网络，获取所述特征图中的多个检测框信息；所述检测框信息包括检测框以及所述检测框对应的类别信息以及检测框置信度；

第二筛选模块，用于基于所述知识图谱中的置信度信息，对所述特征图中的多个检测框进行筛选，得到目标特征图；所述目标特征图中包括各所述待检测对象对应的目标类别以及各所述待检测对象对应的预测检测框；

第六获取模块，用于将所述目标特征图作为所述待训练检测模型中的全连接层的输入，获取所述待训练检测模型输出的分类预测结果、掩膜预测结果以及位置预测结果，作为所述检测结果。

可选地，所述第二筛选模块，包括：

第一确定子模块，用于将检测框置信度最高的检测框所对应的类别信息确定为目标对象对应的目标类别；

第二确定子模块，用于针对所述样本图像中除所述目标对象的任一待检测对象，基于所述知识图谱中的置信度信息，确定所述待检测对象对应的目标类别；

第一选择模块，用于从所述待检测对象对应的多个检测框中选择类别信息与所述待检测对象对应的目标类别相同的检测框作为目标检测框；

第一筛选子模块，用于对所述目标检测框进行筛选，确定所述待检测对象对应的预测检测框。

可选地，所述第二确定子模块，包括：

第一获取子模块，用于获取所述待检测对象对应的候选类别；

第三确定子模块，用于基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度；

第四确定子模块，用于基于所述关联度，确定所述待检测对象对应的目标类别。

可选地，所述候选类别包括第一类别以及第二类别的情况下，所述第三确定子模块包括：

第五确定子模块，用于基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述第一类别的关联度，得到第一结果；

第六确定子模块，用于基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述第二类别的关联度，得到第二结果。

可选地，所述第四确定子模块，包括：

第七确定子模块，用于在所述第一结果大于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第一类别；

第八确定子模块，用于在所述第一结果小于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第二类别；

第九确定子模块，用于在所述第一结果等于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第一类别以及所述第二类别。

可选地，所述第一筛选子模块，包括：

第二获取子模块，用于获取检测框置信度最高的目标检测框对应的交并比；

第二筛选子模块，用于基于所述检测框置信度最高的目标检测框对应的交并比以及预设阈值，对所述目标检测框进行筛选，确定所述待检测对象对应的预测检测框。

可选地，所述装置还包括：

第七获取模块，用于获取样本图像集；

第十确定子模块，用于针对所述样本图像集中的任一样本图像，确定所述样本图像中各待检测对象对应的真实轮廓标签、真实位置标签以及真实类别标签，作为所述样本图像中的标注标签。

可选地，所述装置还包括：

第八获取模块，用于获取目标领域内的多个图像数据以及多个文字数据；

第一融合模块，用于基于所述多个图像数据以及所述多个文字数据进行知识抽取，并进行多模态融合，得到所述知识图谱。

可选地，所述装置还包括：

第三确定模块，用于针对所述知识图谱中的任一第一实体节点，基于所述多个图像数据以及所述多个文字数据，确定所述第一实体节点的出现次数、与所述第一实体节点具有直接映射关系的第二实体节点的出现次数以及所述第一实体节点和第二实体节点共同出现的总次数，得到所述第一实体节点以及所述第二实体节点之间的置信度信息。

可选地，所述第三确定子模块，包括：

第十一确定子模块，用于针对任一候选类别，基于所述目标对象对应的目标类别所对应的实体节点以及所述候选类别对应的实体节点在所述知识图谱中的关联关系，以及所述关联关系所涉及的各实体节点之间的置信度信息，确定所述目标对象对应的目标类别与所述候选类别的关联度。

可选地，所述第十一确定子模块，包括：

第十二确定子模块，用于基于广度优先算法以及所述知识图谱，确定所述目标对象对应的目标类别所对应的实体节点与所述候选类别对应的实体节点之间的最短关联路径；

第一计算模块，用于将所述最短关联路径上的各实体节点之间的置信度信息表征的置信度进行连续相乘，得到所述目标对象对应的目标类别以及所述候选类别的关联度。

可选地，所述第一调整模块，包括：

第一调整子模块，用于基于所述检测结果以及所述标注标签对应的分类损失、定位损失、分割损失以及目标损失，对所述待训练检测模型进行参数调整；所述目标损失是基于所述知识图谱表征的信息确定的。

可选地，所述装置还包括：

第四确定模块，用于针对所述知识图谱中的任一实体节点，基于所述知识图谱中与所述实体节点存在关联的关联边的数量，确定所述实体节点对应的权重。

第三方面，本发明提供一种电子设备，包括：处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述第一方面中任一项所述的目标检测方法。

第四方面，本发明提供一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述第一方面中任一项实施例中的目标检测方法中的步骤。

本发明实施例中，本发明实施例中，在基于目标检测模型对待检测图像进行检测，获取目标检测结果的过程中，结合知识图谱中的置信度信息，对目标检测模型的检测过程进行指导，可以优化目标检测模型对图数据的识别和分析能力，在优化过程中，知识图谱能提升目标检测模型的泛化性能，使得其对不同的待检测图像均能有很好的检测效果，能更加充分的利用待检测图像中待检测对象之间的关联信息，进一步提高目标检测模型的检测精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种目标检测方法的步骤流程图；

图2是本发明实施例提供的一种目标检测模型的训练方法的步骤流程图；

图3是本发明实施例提供的一种特征提取网络中卷积层的示意图；

图4是本发明实施例提供的一种知识图谱以及置信度信息的示意图；

图5是本发明实施例提供的一种目标检测模型的训练方法的具体步骤流程图；

图6是本发明实施例提供的一种目标检测装置的结构图；

图7是本发明实施例提供的一种电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明实施例提供的一种目标检测方法的步骤流程图，如图1所示，该方法可以包括：

步骤101、将待检测数据集输入目标检测模型；所述待检测数据集中包括待检测图像。

本发明实施例中，获取待检测数据集，待检测数据集可以包括多个待检测图像，每个待检测图像中可以包括多个需要检测的待检测对象。待检测对象可以是目标领域内的知识本体，该知识本体可以是人、物或抽象的概念。样本图像中的待检测对象之间在目标领域内可能存在关联关系。将待检测数据集输入目标检测模型，目标检测模型用于检测待检测图像中包含的待检测对象对应的分类、掩膜以及位置。目标检测模型中可以包括特征提取网络、区域生成网络（Region Proposal Network，RPN）以及全连接层。其中，目标检测模型的训练方法可以参考后续步骤，在此不再赘述。

步骤102、针对任一所述待检测图像，基于所述目标检测模型中的特征提取网络，获取所述待检测图像对应的第一特征图。

本发明实施例中，针对任一待检测对象，基于目标检测模型中的特征提取网络，对待检测图像进行特征提取，以获取待检测图像对应的第一特征图。

步骤103、基于所述目标检测模型中的区域生成网络，获取所述第一特征图中的多个第一检测框信息；所述第一检测框信息包括第一检测框以及所述第一检测框对应的类别信息以及检测框置信度。

本发明实施例中，将第一特征图输入目标检测模型中的区域生成网络后，基于区域生成网络，会获取到一系列矩形候选区域，矩形候选区域用于表征第一特征图中可能会有目标的区域，将该矩形候选区域确定为第一检测框。每个第一检测框可以标注有类别信息以及该第一检测框对应的检测框置信度。其中，类别信息用于表征第一检测框所框选的目标的具体类别，检测框置信度用于表征该第一检测框所框选的目标的准确度概率。针对待检测图像中的任一待检测对象，待检测对象可以对应多个第一检测框，也即，多个第一检测框可以指向同一待检测对象，每个第一检测框所框选的区域可以包括全部或者部分待检测对象实际区域。

步骤104、基于预先构建的知识图谱中的置信度信息，对所述第一特征图中的多个第一检测框进行筛选。

本发明实施例中，针对目标领域，预先基于目标领域内的数据，构建目标领域对应的知识图谱。其中，知识图谱中可以包括实体节点，以及关联边，其中，实体节点代表物理世界中的概念，即上述知识本体，关联边用于指向两个实体节点，表征实体节点之间的关联关系。可以在知识图谱中，确定任一关联边指向的两个实体节点之间的置信度信息，并将置信度信息添加至知识图谱中。其中，置信度信息用于表征知识图谱中的两个实体节点之间相互联系的权重，置信度信息越高，表征两个实体节点之间的联系的权重越高，实体节点之间越相关。

由于第一特征图中每个待检测对象可以对应多个检测框，因此，为了排出冗余的检测框，确定待检测图像中的待检测对象对应的唯一的检测框检测结果（目标位置结果），结合知识图谱中的置信度信息，可以确定第一特征图中各待检测对象（待检测图像中的待检测对象）之间的置信度信息，即待检测对象同时在特征图中出现的置信度，以使用知识图谱对待检测对象的目标分类结果做出指导。基于置信度信息对第一特征图中的多个第一检测框进行筛选后，可以得到待检测图像中各待检测对象对应的目标位置结果（第一检测框）、目标类别结果（类别信息）以及对应的检测框置信度。

步骤105、获取所述目标检测模型输出的所述待检测图像对应的目标检测结果；所述目标检测结果包括目标分类结果、目标掩膜结果以及目标位置结果。

本发明实施例中，在对第一特征图中的多个第一检测框进行筛选后，可以再基于目标检测模型中的全连接层，获取目标检测模型输出的待检测图像对应的目标检测结果，其中，目标检测结果可以包括目标分类结果、目标掩膜结果以及目标位置结果。目标分类结果用于表征目标检测模型预测的待检测对象的类别，目标掩膜结果用于表征目标检测模型预测的待检测对象的轮廓以及待检测对象在待检测图像中的区域，目标位置结果用于表征目标检测模型预测的待检测对象在待检测图像中的位置，目标位置结果可以以检测框的形式在待检测图像中进行标注。

综上所述，本发明实施例中，在基于目标检测模型对待检测图像进行检测，获取目标检测结果的过程中，结合知识图谱中的置信度信息，对目标检测模型的检测过程进行指导，可以优化目标检测模型对图数据的识别和分析能力，在优化过程中，知识图谱能提升目标检测模型的泛化性能，使得其对不同的待检测图像均能有很好的检测效果，能更加充分的利用待检测图像中待检测对象之间的关联信息，进一步提高目标检测模型的检测精度。

图2是本发明实施例提供的一种目标检测模型的训练方法的步骤流程图，如图2所示，该方法可以包括：

步骤201、将样本图像集输入待训练检测模型；所述样本图像集中包括多个样本图像。

本发明实施例中，获取样本图像集，样本图像集中可以包括多个样本图像，每个样本图像中可以包括多个待检测对象。待检测对象可以是目标领域内的知识本体，该知识本体可以是人、物或抽象的概念。样本图像中的待检测对象之间在目标领域内可能存在关联关系。样本图像集所属的目标领域可以基于对生成的目标检测模型所期望应用的领域确定，例如：目标检测模型所期望应用的领域为道路场景识别，则可以获取道路交通领域的样本图像集，即样本图像集所属的目标领域为道路交通领域。

待训练检测模型可以是实例分割网络（Mask-RCNN），待训练检测模型可以包括特征提取网络、区域生成网络、以及全连接层。其中，特征提取网络可以包括卷积神经网络（ResNet-50网络或者 ResNet-101网络）、特征金字塔网络（FPN）。在特征提取网络中，可以包括多个卷积层，为了减少模型训练时的计算量，可以使用混合空洞卷积代替原始空洞卷积，即为卷积层设置扩张率（dilatuion rate）作为超参数，该超参数定义了卷积层中的卷积核处理数据时各值的间距，能够在增大感受野的同时不改变图像输出特征图的尺寸。示例性的，如图3所示，多个卷积层可以包括标准卷积层、扩张率为1的第一卷积层、扩张率为2的第二卷积层以及扩张率为3的第三卷积层，以构建高分辨率的特征提取网络。

步骤202、针对所述多个样本图像中的任一样本图像，基于所述知识图谱中的置信度信息以及所述样本图像对应的检测框信息，确定所述样本图像中各待检测对象对应的检测结果。

本发明实施例中，针对任一样本图像，通过待训练检测模型获取样本图像对应的检测框信息，并基于知识图谱中的置信度信息以及样本图像中的检测框信息，可以确定出样本图像中各待检测对象对应的检测结果。其中，待检测对象对应的检测结果可以包括：分类预测结果、掩膜预测结果以及位置预测结果。分类预测结果用于表征待训练检测模型预测的待检测对象的类别，掩膜预测结果用于表征待训练检测模型预测的待检测对象的轮廓以及待检测对象在样本图像中的区域，位置预测结果用于表征待训练检测模型预测的待检测对象在样本图像中的位置，位置预测结果可以以检测框的形式在样本图像中进行标注。

检测框信息包括检测框以及检测框对应的类别信息以及检测框置信度，针对样本图片中的每个待检测对象，均对应至少一个检测框信息。检测框对应的类别信息可以与知识图谱中的实体节点相对应，因此，可以基于知识图谱中实体节点之间的置信度信息，为样本图像中各待检测对象对应的检测结果进行指导，以追求更好的效果表达。

步骤203、基于所述检测结果与所述样本图像中的标注标签，对所述待训练检测模型进行参数调整；所述标注标签用于表征所述样本图像的真实检测结果。

本发明实施例中，为了使得待训练检测模型预测的检测结果与真实检测结果的相似度尽可能高，基于检测结果以及样本图像的真实检测结果，对待训练检测模型进行参数调整，通过不断调整待训练检测模型的参数，使得待训练检测模型输出的检测结果与样本图像中的标注标签的相似度大于第一相似度阈值。示例性的，可以使用随机梯度下降（SGD）、批量梯度下降（BGD）等优化算法来调整待训练分类网络的参数。样本图像中的标注标签可以是在模型训练之前，对样本图像中各待检测对象的真实轮廓、真实位置以及真实类别进行判断得到的。其中，样本图像中的标注标签可以包括各待检测对象对应的真实轮廓标签、真实位置标签以及真实类别标签。

步骤204、在达到停止条件的情况下，将所述待训练检测模型确定为目标检测模型。

本发明实施例中，停止条件可以包括待训练检测模型的损失值达到预设阈值、待训练检测模型的训练轮数达到预设轮数阈值等条件。

在一种可能的实施方式中，在训练得到目标检测模型后，可以基于验证样本集验证目标检测模型的模型精度以及进一步调整模型超参数，再基于测试样本集验证目标检测模型的泛化能力。可以理解的是，基于验证样本集以及测试样本集验证目标检测模型的方法可以参考现有技术，本发明实施例对此不做限制。

综上所述，本发明实施例中，基于样本图像集训练待训练检测模型，并且基于知识图谱中的置信度信息以及样本图像的检测框信息，确定样本图像中各待检测对象对应的检测结果，这样，通过知识图谱指导待训练模型的训练过程，在基于较少样本图像进行训练的情况下，仍可以保证训练得到的目标检测模型的检测准确度，并且提高了训练效率。同时，结合知识图谱中的先验认知信息优化待训练检测模型对图数据的识别和分析能力，在优化过程中，知识图谱能提升待训练检测模型的泛化性能，使得其对不同的样本图像均能有很好的检测效果，能更加充分的利用样本图像，进一步提高待训练检测模型的检测精度。

可选地，步骤202可以包括以下步骤：

步骤301、基于所述待训练检测模型中的特征提取网络，获取所述样本图像对应的特征图。

本发明实施例中，待训练检测模型中可以包括特征提取网络，特征提取网络中可以包括卷积神经网络以及特征金字塔网络。将样本图像输入待训练检测模型后，特征提取网络会对样本图像进行特征提取，得到样本图像对应的特征图。

步骤302、基于所述待训练检测模型中的区域生成网络，获取所述特征图中的多个检测框信息；所述检测框信息包括检测框以及所述检测框对应的类别信息以及检测框置信度。

本发明实施例中，待训练检测模型中可以包括区域生成网络，将特征图输入区域生成网络后，会获取到一系列矩形候选区域，矩形候选区域用于表征特征图中可能会有目标的区域，将该矩形候选区域确定为检测框。每个检测框可以标注有类别信息以及该检测框对应的检测框置信度。其中，类别信息用于表征检测框所框选的目标的具体类别，检测框置信度用于表征该检测框所框选的目标的准确度概率。针对样本图像中的任一待检测对象，待检测对象可以对应多个检测框，也即，多个检测框可以指向同一待检测对象，每个检测框所框选的区域可以包括全部或者部分待检测对象实际区域。

步骤303、基于所述知识图谱中的置信度信息，对所述特征图中的多个检测框进行筛选，得到目标特征图；所述目标特征图中包括各所述待检测对象对应的目标类别以及各所述待检测对象对应的预测检测框。

本发明实施例中，由于特征图中每个待检测对象对应多个检测框，因此，为了排出冗余的检测框，确定待检测对象对应的唯一的预测检测框（最佳检测框），结合知识图谱，可以确定特征图中各待检测对象之间的置信度信息，即待检测对象同时在特征图中出现的置信度，以使用知识图谱对待检测对象的分类预测结果做出指导。基于置信度信息对特征图中的多个检测框进行筛选后，可以得到各待检测对象对应的预测检测框、目标类别以及对应的检测框置信度。在对特征图中的多个检测框进行筛选后，为了对检测框的特征进行统一表示，可以基于双线性插值算法（ROI Align）进行处理，以从大小不等的检测框中提取特征使输出结果等长，得到目标特征图。

步骤304、将所述目标特征图作为所述待训练检测模型中的全连接层的输入，获取所述待训练检测模型输出的分类预测结果、掩膜预测结果以及位置预测结果，作为所述检测结果。

本发明实施例中，待训练检测模型中可以包括全连接层，在获取目标特征图后，将目标特征图作为全连接层的输入，获取待训练检测模型输出的分类预测结果、掩膜预测结果以及位置预测结果，即得到检测结果。其中，全连接层的数量可以为3个，3个全连接层用于分别得到分类预测结果、掩膜预测结果以及位置预测结果。

本发明实施例中，通过在对特征图中的多个检测框进行筛选时，结合知识图谱的置信度信息作为筛选检测框的指导信息，能够一定程度上提高检测框的筛选准确度，进而提高监测结果的准确度。

可选地，步骤303可以包括以下步骤：

步骤401、将检测框置信度最高的检测框所对应的类别信息确定为目标对象对应的目标类别。

本发明实施例中，由于检测框置信度用于表征检测框对应的置信度，因此特征图中检测框置信度最高的检测框对应的目标对象的类别信息一定程度上可以视为最准确的分类结果。因此，可以基于特征图中多个检测框对应的检测框置信度，确定检测框置信度最高的检测框对应的类别信息，该类别信息即检测框所指向的目标对象对应的目标类别。示例性的，假设特征图中包括4个待检测对象以及20个检测框，20个检测框中检测框置信度最高的检测框对应的检测框置信度为95%，类别为“线缆”，则将该检测框指向的目标对象的目标类别确定为“线缆”。

步骤402、针对所述样本图像中除所述目标对象的任一待检测对象，基于所述知识图谱中的置信度信息，确定所述待检测对象对应的目标类别。

本发明实施例中，由于在特征图中确定了一个目标对象对应的目标类别，因此，针对样本图像中除目标对象的任一待检测对象，可以结合目标对象对应的目标类别以及该目标类别在知识图谱中对应的实体节点与其他实体节点之间的置信度信息，确定该待检测对象对应的目标类别。示例性的，待检测对象对应的某候选类别与目标对象对应的目标类别之间的关联度越高，则一定程度上可以说明该待检测对象与目标对象出现在同一样本图像中的几率越高，则该候选类别的分类准确性越高，因此，可以是确定待检测对象对应的多个候选类别与目标对象对应的目标类别之间的关联度，并基于关联度确定待检测对象对应的目标类别。

步骤403、从所述待检测对象对应的多个检测框中选择类别信息与所述待检测对象对应的目标类别相同的检测框作为目标检测框。

本发明实施例中，在确定了待检测对象对应的目标类别之后，就可以将该待检测对象对应的多个检测框中类别信息与目标类别不同的检测框排除，仅保留类别信息为目标类别的检测框，作为目标检测框。

步骤404、对所述目标检测框进行筛选，确定所述待检测对象对应的预测检测框。

本发明实施例中，目标检测框的数量可以是一个或多个，可以理解的是，在目标检测框的数量为一个的情况下，无需再次对目标检测框进行筛选，直接将目标检测框确定为该待检测对象对应的预测检测框。在目标检测框的数量为多个的情况下，再次对目标检测框进行筛选，由于目标检测框用于表征特征图中该待检测对象的候选区域，因此，为了筛选出最接近待检测对象实际区域的目标检测框，可以基于非极大值抑制算法（NMS）对目标检测框进行筛选，选择最接近待检测对象实际区域的目标检测框作为待检测对象对应的预测检测框。该预测检测框用于表征待训练检测模型预测的待检测对象在样本图像中的区域范围。

本发明实施例中，通过确定待检测对象对应的目标类别，先基于待检测对象的目标类别筛选出目标检测框，再对目标检测框进一步筛选，确定待检测对象对应的预测检测框，通过两次筛选提高了筛选的精准度。并且，基于知识图谱中的置信度信息，使得确定出的待检测对象对应的目标类别的准确性更高，进而使得模型预测的分类结果更准确。

可选地，步骤402可以包括以下步骤：

步骤501、获取所述待检测对象对应的候选类别。

本发明实施例中，通过区域生成网络，可以获取待检测对象对应的多个检测框信息，其中，检测框信息可以包括检测框、检测框对应的类别信息以及检测框对应的检测框置信度。待检测对象可以对应多个检测框，相应的，待检测对象对应的多个检测框可以分别对应不同的类别信息，遍历待检测对象对应的检测框对应的类别信息，获取不同类型的类别信息，作为待检测对象对应的候选类别。示例性的，待检测对象对应10个检测框，其中4个检测框对应的类别信息为“线缆”，6个检测框对应的类别信息为“背板”，则待检测对象对应的候选类别为“线缆”以及“背板”。

步骤502、基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度。

本发明实施例中，基于知识图谱中的置信度信息，分别确定目标对象对应的目标类别与待检测对象对应的各候选类别的关联度。具体的，可以从基于知识图谱中的置信度信息预先确定的关联信息表中直接查找目标对象对应的目标类别与候选类别的关联度，也可以基于知识图谱中的置信度信息以及基于知识图谱确定的目标对象对应的目标类别对应的实体节点与候选类别对应的实体节点在知识图谱中的关联关系，确定目标对象对应的目标类别与候选类别的关联度。

步骤503、基于所述关联度，确定所述待检测对象对应的目标类别。

本发明实施例中，针对各候选类别，会确定各候选类别与目标对象对应的目标类别之间的关联度，相应的，关联度的数量与候选类别的数量可以是相同的。因此，关联度的大小可以表征候选类别与目标对象对应的目标类别之间的关联程度以及相互关系，关联度越大，则该候选类别的待检测对象与目标对象在同一样本图像中出现的可能性越高，候选类别越接近待检测对象的真实类别。因此，可以基于关联度，确定该待检测对象对应的目标类别。

本发明实施例中，基于目标对象对应的目标类别与候选类别之间的关联度，确定待检测对象的目标类别，将知识图谱中的实体节点之间的客观关联关系引入判断待检测对象对应的目标类别的过程，提高了目标类别的准确度。

可选地，在所述候选类别包括第一类别以及第二类别的情况下，步骤402可以包括以下步骤：

步骤5021、基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述第一类别的关联度，得到第一结果。

步骤5022、基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述第二类别的关联度，得到第二结果。

本发明实施例中，分别基于知识图谱中的置信度信息，确定目标类别与第一类别以及第二类别的关联度，得到第二结果。其中，确定关联度的方法与步骤502、步骤901或步骤9011-9012中所述的方式类似，在此不再赘述。

相应的，步骤503可以包括以下步骤：

步骤5031、在所述第一结果大于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第一类别。

步骤5032、在所述第一结果小于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第二类别。

步骤5033、在所述第一结果等于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第一类别以及所述第二类别。

本发明实施例中，在第一结果大于第二结果的情况下，表征第一类别与目标对象对应的目标类别的关联度相对于第二类别与目标对象对应的目标类别的关联度更高，因此，待检测对象的目标类别为第一类别的可能性较高，第一类别更接近待检测对象的真实类别。在第一结果小于第二结果的情况下，表征第二类别与目标对象对应的目标类别的关联度相对于第一类别与目标对象对应的目标类别的关联度更高，因此，待检测对象的目标类别为第二类别的可能性较高，第二类别更接近待检测对象的真实类别。

在第一结果等于第二结果的情况下，表征第二类别与目标对象对应的目标类别的关联度与第一类别与目标对象对应的目标类别的关联度相同，因此，待检测对象的目标类别为第二类别或第一类别的可能性相同，因此，无法在候选类别（第一类别以及第二类别）中排除关联度较小的类别，则可以将目标类别确定为第一类别以及第二类别。相应的，在待检测对象对应的目标类别包括第一类别以及第二类别的情况下，则从待检测对象对应的多个检测框中选择类别信息与待检测对象对应的目标类别相同的检测框作为目标检测框，目标检测框即为特征图中待检测对象对应的多个检测框，在该过程中并未对检测框进行筛选，后续可以进一步基于非极大值抑制算法（NMS）对目标检测框进行筛选，以确定待检测对象对应的预测检测框。

在一种可能的实施方式中，在确定了样本图像中目标对象对应的目标类别以及某一待检测对象对应的目标类别后，针对除目标对象以及确定了目标类别的待检测对象外的任一待检测对象，可以基于目标对象对应的目标类别、已确定的待检测对象对应的目标类别以及该待检测对象对应的候选类别，确定该待检测对象对应的目标类别。也就是说，可以基于样本图像中目标对象对应的目标类别、已经确定的待检测对象对应的目标类别以及未确定的待检测对象对应的候选类别，为未确定的待检测对象确定对应的目标类别。具体的，可以针对未确定的待检测对象对应的任一候选类别，分别确定候选类别与目标对象对应的目标类别、已经确定的各待检测对象对应的目标类别的关联度，并将关联度相加，得到该候选类别对应的关联度总和。针对各候选类别对应的关联度总和的数值，将数值最大的关联度总和对应的候选类别确定为该待检测对象对应的目标类别。这样，已确定目标类别的待检测对象的数量越多，未确定的待检测对象对应的候选类别对应的关联度总和的可信度越高，一定程度上提高了确定未确定的待检测对象对应的目标类别的过程更精细，使得确定出的待检测对象对应的目标类别与待检测对象的实际类别的契合度越高，预测待检测对象对应的目标类别越接近待检测对象的实际类别，进一步提高了待检测对象对应的目标类别的准确性。

示例性的，以图4中的知识图谱为例，在目标对象对应的目标类别为“线缆”，已经确定的待检测对象对应的目标类别分别为“风扇模组”以及“硬盘”，若某一待检测对象对应的候选类别分别为“图形处理器”（GPU）以及“背板”，则该待检测对象对应的目标类别可以通过下述方式确定：在“图形处理器”（GPU）为候选类别的情况下，与目标对象对应的目标类别“线缆”的关联度为0.3；与已经确定的待检测对象对应的目标类别“风扇模组”的关联度为0.06=0.2×0.3；与已经确定的待检测对象对应的目标类别“硬盘”的关联度为0.006=0.2×0.3×0.1。在“背板”为候选类别的情况下，与目标对象对应的目标类别“线缆”的关联度为0.2；与已经确定的待检测对象对应的目标类别“风扇模组”的关联度为0.1；与已经确定的待检测对象对应的目标类别“硬盘”的关联度为0.1。则候选类别“图形处理器”（GPU）对应的关联度总和为：0.3+0.06+0.006=0.366；候选类别“背板”对应的关联度总和为：0.2+0.1+0.1=0.4，则该待检测对象对应的目标类别为“背板”。

可选地，步骤404可以包括以下步骤：

步骤4041、获取检测框置信度最高的目标检测框对应的交并比。

本发明实施例中，依次获取检测框置信度最高的目标检测框对应的交并比，其中，检测框置信度最高的目标检测框对应的交并比（intersection-over-union，IoU）是指检测框置信度最高的目标检测框与其它各目标检测框之间的交并比。交并比是检测框置信度最高的目标检测框与其它目标检测框的交集和并集的比值。具体的，可以根据所有的目标检测框构建候选检测框集合，并构建有效检测框集合，其中，该有效检测框集合为空集。从候选检测框集合中获取置信度最高的目标检测框为锚点框，并将锚点框转移至有效检测框集合。获取锚点框与候选检测框集合中其余的目标检测框的交并比。

步骤4042、基于所述检测框置信度最高的目标检测框对应的交并比以及预设阈值，对所述目标检测框进行筛选，确定所述待检测对象对应的预测检测框。

本发明实施例中，基于获取到的检测框置信度最高的目标检测框与其它各目标检测框之间的交并比以及预先设定的预设阈值，可以进一步对目标检测框进行筛选，确定待检测对象对应的预测检测框。示例性的，可以检测交并比是否大于预设阈值，若是，则将交并比大于预设阈值的目标检测框剔除，在检测框置信度最高的目标检测框对应的交并比均大于预设阈值的情况下，将检测框置信度最高的目标检测框确定为待检测对象对应的预测检测框；若否，则将锚点框保留在有效检测框集合中，并在候选检测框集合为空集时，返回步骤执行从候选检测框集合中获取检测框置信度最高的目标检测框为锚点框，并将锚点框转移至有效检测框集合的步骤。直至检测到候选检测框集合为空集时，将最终的有效检测框集合中的目标检测框确定为待检测对象对应的预测检测框。在实际应用场景中，有效检测框集合中的目标检测框的数量通常为1个。

本发明实施例中，通过检测框置信度最高的目标检测框对应的交并比，可以确定待检测对象对应的预测检测框，使得预测检测框邻域内准确度较低的目标检测框被抑制，一定程度上提高了预测检测框筛选的准确性。

可选地，本发明实施例可以包括以下步骤：

步骤601、获取样本图像集。

步骤602、针对所述样本图像集中的任一样本图像，确定所述样本图像中各待检测对象对应的真实轮廓标签、真实位置标签以及真实类别标签，作为所述样本图像中的标注标签。

本发明实施例中，样本图像集可以基于目标领域内现有的数据库中获取得到，例如：可以从目标领域内已构建的信息化系统中获取。在获取到样本图像集后，针对样本图像集中的任一样本图像，基于对样本图像中各待检测对象对应的真实轮廓、真实位置以及真实类别的判断，在样本图像中标注各待检测对象对应的真实轮廓标签、真实位置标签以及真实类别标签，作为标注标签。

本发明实施例中，通过对样本图像集中的样本图像进行标注，可以在模型训练过程中，基于标注标签反向调整待训练检测模型的参数，以获取能力更优的目标检测模型。

可选地，本发明实施例还可以包括以下步骤：

步骤701、获取目标领域内的多个图像数据以及多个文字数据。

步骤702、基于所述多个图像数据以及所述多个文字数据进行知识抽取，并进行多模态融合，得到所述知识图谱。

本发明实施例中，可以从目标领域内已构建的信息化系统中获取多个图像数据以及多个文字数据，对多个图像数据以及多个文字数据进行知识融合，也就是把代表相同概念的实体合并，将多个来源的数据合并成一个数据集。通过对数据集进行知识抽取，包括实体识别、关系抽取、属性抽取，获取实体节点以及实体节点之间的关系，得到“实体-关系-实体”三元组。对三元组进行知识表示以及多模态知识融合，知识融合可以包括实体消歧和指代消解，进而构建得到知识图谱。

可选地，本发明实施例还可以包括以下步骤：

步骤801、针对所述知识图谱中的任一第一实体节点，基于所述多个图像数据以及所述多个文字数据，确定所述第一实体节点的出现次数、与所述第一实体节点具有直接映射关系的第二实体节点的出现次数以及所述第一实体节点和第二实体节点共同出现的总次数，得到所述第一实体节点以及所述第二实体节点之间的置信度信息。

本发明实施例中，在构建知识图谱后，针对知识图谱中的任一第一实体节点，确定与第一实体节点具有直接映射关系的第二实体节点，其中，与第一实体节点具有直接映射关系的第二实体节点可以是在知识图谱中与第一实体节点通过一条关联边相连接的实体节点。如图4所示，对于实体节点“图形处理器”（GPU）而言，第二实体节点可以是“线缆”。基于多个图像数据以及多个文字数据，确定第一实体节点出现的总次数、第二实体节点出现的总次数以及第一实体节点和第二实体节点共同出现的次数，以确定第一实体节点以及第二实体节点之间的置信度信息。其中，第一实体节点出现的次数可以是在多个图像数据以及多个文字数据中第一实体节点的数量，第二实体节点出现的次数可以是在多个图像数据以及多个文字数据中第二实体节点的数量，第一实体节点和第二实体节点共同出现的次数可以是在同一图像数据或文字数据中均包含第一实体节点和第二实体节点的次数。示例性的，第一实体节点以及第二实体节点之间的置信度信息的计算公式可以是：第一实体节点和第二实体节点共同出现的次数/（第一实体节点出现的次数+第二实体节点出现的次数）。示例性的，对知识图谱中的每个实体节点进行遍历后，可以得到如图4所示的包含置信度信息的知识图谱。

本发明实施例中，知识图谱中的任意两个实体节点同时在一个场景（图片数据或文字数据）中出现或者相互联系的概率是不一样的，因此，基于第一实体节点出现的总次数、第二实体节点出现的总次数以及第一实体节点和第二实体节点共同出现的次数，可以确定第一实体节点以及第二实体节点之间的置信度信息，以将第一实体节点以及第二实体节点之间的关联程度量化，得到置信度信息，便于后续基于知识图谱中的置信度信息指导模型训练。

可选地，步骤502可以包括以下步骤：

步骤901、针对任一候选类别，基于所述目标对象对应的目标类别所对应的实体节点以及所述候选类别对应的实体节点在所述知识图谱中的关联关系，以及所述关联关系所涉及的各实体节点之间的置信度信息，确定所述目标对象对应的目标类别与所述候选类别的关联度。

本发明实施例中，针对待检测对象对应的任一候选类别，在知识图谱中确定目标对象对应的目标类别对应的实体节点，以及候选类别对应的实体节点，并遍历知识图谱，在知识图谱中确定两个实体节点之间的关联关系。其中，两个实体节点之间的关联关系可以是基于知识图谱中的实体节点之间的关联边确定的，两个实体节点之间的关联关系可以涉及知识图谱中的多个实体节点，也就是说，两个实体节点可以通过知识图谱中一定数量的实体节点建立关联关系。则可以基于两个节点之间的关联关系以及该关联关系涉及的各实体节点之间的置信度信息，确定目标对象对应的目标类别与候选类别的关联度。

可选地，步骤901可以包括以下步骤：

步骤9011、基于广度优先算法以及所述知识图谱，确定所述目标对象对应的目标类别所对应的实体节点与所述候选类别对应的实体节点之间的最短关联路径。

本发明实施例中，基于广度优先算法（Breadth First Search，BFS）遍历知识图谱，确定目标类别对应的实体节点与候选类别对应的实体节点之间的最短关联路径。示例性的，可以从知识图谱中目标类别对应的实体节点开始，辐射状的优先遍历该实体节点至候选类别对应的实体节点的全部路径，在获取全部可能路径后，确定最短路径，作为目标类别对应的实体节点与候选类别对应的实体节点之间的最短关联路径。可以理解的是，基于广度优先算法确定最短关联路径的方式可以参考现有技术，本发明实施例对此不做限制。示例性的，如图4所示，假设目标类别对应的实体节点为“散热片”，候选类别对应的实体节点为内存，则最短关联路径为：散热片-线缆-风扇模组-导风罩-内存。

步骤9012、将所述最短关联路径上的各实体节点之间的置信度信息表征的置信度进行连续相乘，得到所述目标对象对应的目标类别以及所述候选类别的关联度。

本发明实施例中，获取最短关联路径上各实体节点之间的置信度信息，并将各实体节点之间的置信度信息表征的置信度进行连续相乘，得到目标对象对应的目标类别以及候选类别的关联度。示例性的，以图4为例，“散热片”与“内存”之间的关联度为：0.1×0.2×0.3×0.2=0.012。

本发明实施例中，通过确定目标对象对应的目标类别所对应的实体节点与候选类别对应的实体节点之间的最短关联路径以及知识图谱中的置信度信息，可以得到目标对象对应的目标类别以及候选类别的关联度，一定程度上简化了关联度的确定过程。

在一种可能的实施方式中，可以基于步骤9011-9022，确定知识图谱对应的关联度矩阵。具体的，可以针对知识图谱中任一实体节点，基于步骤9011-9022的方法，确定该实体节点与知识图谱中各实体节点之间的关联度，得到知识图谱对应的关联度矩阵。该关联度矩阵中包括知识图谱中任意两个实体节点之间的关联度。示例性的，以图4为例，图4中的知识图谱所对应的关联度矩阵可以如下：

可选地，步骤203可以包括以下步骤：

步骤1001、基于所述检测结果以及所述标注标签对应的分类损失、定位损失、分割损失以及目标损失，对所述待训练检测模型进行参数调整；所述目标损失是基于所述知识图谱表征的信息确定的。

本发明实施例中，基于待训练检测模型输出的检测结果中的分类预测结果以及样本图像的标注标签中的真实类别标签，使用第一损失函数获取分类损失，分类损失用于表征待训练检测模型预测出的待检测对象的分类预测结果与待检测对象的真实类别标签的差距。

基于待训练检测模型输出的检测结果中的掩膜预测结果以及样本图像的标注标签中的真实轮廓标签，使用第二损失函数获取分割损失，分割损失用于表征待训练检测模型预测出的待检测对象的掩膜预测结果与待检测对象的真实轮廓标签的差距。

基于待训练检测模型输出的检测结果中的位置预测结果以及样本图像的标注标签中的真实位置标签，使用第三损失函数获取分割损失，分割损失用于表征待训练检测模型预测出的待检测对象的位置预测结果与待检测对象的真实位置标签的差距。

基于知识图谱表征的信息，确定目标损失，目标损失用于表征基于知识图谱对待训练检测模型输出的检测结果进行指导所追加的损失。示例性的，目标损失的计算公式可以包括：

=（1-ε）/>+ε/>

其中，用于表示目标损失，/>用于表示实体节点i以及实体节点j的关联度，用于表示实体节点i对应的权重，I用于表示实体节点i所在的实体节点集合，J用于表示实体节点j所在的实体节点集合，用于表示实体节点j对应的权重，r用于表示实体节点i对应的权重，p用于表示实体节点i对应的待检测对象的检测框置信度，ε为常数，取值范围为[0，1]。

可选地，本发明实施例还可以包括以下步骤：

步骤1101、针对所述知识图谱中的任一实体节点，基于所述知识图谱中与所述实体节点存在关联的关联边的数量，确定所述实体节点对应的权重。

本发明实施例中，可以使用PageRank算法获取知识图谱中每个实体节点对应的权重，即每个实体节点的重要程度。示例性的，可以在知识图谱上定义一个随机游走模型，即一阶马尔可夫链，描述随机游走者沿着知识图谱随机访问各个实体节点的行为。在一定条件下，极限情况访问每个实体节点的概率收敛到平稳分布，这时各个实体节点的平稳概率值就是其PageRank值，表示该实体节点的重要度。在一种可能的实施方式中，实体节点对应的权重的数值可以与该实体节点的关联边数量相同。可以理解的是，基于PageRank算法确定知识图谱中实体节点的权重的方式可以参考现有技术，本发明实施例对此不做限制。

本发明实施例中，通过将知识图谱中实体节点的权重信息加入到待训练检测模型的损失中进行反向传播，一定程度上可以获取待训练检测模型预测出的检测结果与样本图像中的标注标签的差距，便于根据差距调整待训练检测模型的参数。同时，通过对待训练检测模型的性能进行参数调整以及再训练，使得待训练检测模型输出的检测结果更加真实可靠，进一步提高了待训练检测模型的识别检测性能。

可选地，目标检测模型具体可以用于执行以下步骤：

获取待检测数据集，该待检测数据集中包括待检测图像。基于目标检测模型以及待检测数据集，获取目标检测模型输出的各待检测图像对应的目标检测结果。其中，目标检测结果包括目标分类结果、目标掩膜结果以及目标位置结果。具体的，可以通过目标检测模型中的特征提取网络，获取待检测图像对应的特征图，将特征图作为待训练检测模型中的区域生成网络的输入，获取特征图中的多个检测框信息，其中，检测框信息包括检测框以及检测框对应的类别信息以及检测框置信度。基于知识图谱中的置信度信息，对特征图中的多个检测框进行筛选，得到目标特征图，其中，目标特征图中包括各待检测对象对应的目标类别以及各待检测对象对应的预测检测框；将目标特征图作为待训练检测模型中的全连接层的输入，获取待训练检测模型输出的分类预测结果、掩膜预测结果以及位置预测结果，作为目标检测结果。其中，“基于知识图谱中的置信度信息，对特征图中的多个检测框进行筛选，得到目标特征图”的实现过程与上述步骤303的实现过程类似，在此不再赘述。

示例性的，本发明实施例提供了一种目标检测模型的训练方法的具体步骤流程图，如图5所示，对于产品试产领域，可以从企业内部试产管理系统获取产品试产相关的图文历史数据，通过对图文历史数据进行知识提取，并基于多模态的方法构建知识图谱。构建得到的知识图谱可以如图4所示。其中，图4中的圆形对象表示实体节点，两个实体节点之间的连线表示关联边，关联边上的数字表征关联边两端的实体节点之间的置信度信息。示例性的，以线缆以及背板为例，在图文历史数据中，“线缆”出现的次数是20次，“背板”出现的次数为10次，且“线缆”与“背板”在一个图片数据或文字数据中同时出现的次数为6次，则“线缆”与“背板”之间的置信度信息为6/(20+10)=0.2。

将样本图像集输入待训练检测模型，针对任一样本对象，获取待训练检测模型中的区域生成网络，获取样本图像对应的特征图中的多个检测框信息，基于知识图谱中的置信度信息，对特征图中的多个检测框进行筛选，得到目标特征图，具体的，将多个检测框中检测框置信度最高的检测框对应的类别信息确定为目标对象对应的目标类别，例如目标对象对应的类别为线缆。针对任一待检测对象，获取该待检测对象对应的候选类别，如图形处理器（GPU）和背板，则基于知识图谱中的置信度信息，确定目标对象对应的目标类别以及各候选类别对应的关联度。根据知识图谱中的置信度信息，可以得到：将图形处理器（GPU）作为候选类别，与目标对象对应的目标类别“线缆”的关联度为0.1；将背板作为候选类别，与目标对象对应的目标类别“线缆”的关联度为0.2。由于0.2>0.1，则可以确定该待检测对象对应的目标类别信息为背板。将类别信息为背板的检测框作为目标检测框，并基于各目标检测框对应的交并比，确定该待检测对象对应的预测检测框，进而确定目标特征图。将目标特征图作为待训练检测模型中全连接层的输入，获取目标检测模型输出的检测结果。基于检测结果与样本图像中的标注标签，对待训练检测模型进行参数调整，在达到停止条件的情况下，将待训练检测模型确定为目标检测模型。

图6是本发明实施例提供的一种目标检测装置的结构示意图，如图6所示，该装置具体可以包括：

第一输入模块1201，用于将待检测数据集输入目标检测模型；所述待检测数据集中包括待检测图像；

第一获取模块1202，用于针对任一所述待检测图像，基于所述目标检测模型中的特征提取网络，获取所述待检测图像对应的第一特征图；

第二获取模块1203，用于基于所述目标检测模型中的区域生成网络，获取所述第一特征图中的多个第一检测框信息；所述第一检测框信息包括第一检测框以及所述第一检测框对应的类别信息以及检测框置信度；

第一筛选模块1204，用于基于预先构建的知识图谱中的置信度信息，对所述第一特征图中的多个第一检测框进行筛选；

第三获取模块1205，用于获取所述目标检测模型输出的所述待检测图像对应的目标检测结果；所述目标检测结果包括目标分类结果、目标掩膜结果以及目标位置结果。

可选地，该装置具体还可以包括：

第二输入模块，用于将样本图像集输入待训练检测模型；所述样本图像集中包括多个样本图像；

第一确定模块，用于针对所述多个样本图像中的任一样本图像，基于所述知识图谱中的置信度信息以及所述样本图像中的检测框信息，确定所述样本图像中各待检测对象对应的检测结果；

第一调整模块，用于基于所述检测结果与所述样本图像中的标注标签，对所述待训练检测模型进行参数调整；所述标注标签用于表征所述样本图像的真实检测结果；

第二确定模块，用于在达到停止条件的情况下，将所述待训练检测模型确定为目标检测模型。

可选地，所述第一确定模块，包括：

第四获取模块，用于基于所述待训练检测模型中的特征提取网络，获取所述样本图像对应的特征图；

第五获取模块，用于基于所述待训练检测模型中的区域生成网络，获取所述特征图中的多个检测框信息；所述检测框信息包括检测框以及所述检测框对应的类别信息以及检测框置信度；

第二筛选模块，用于基于所述知识图谱中的置信度信息，对所述特征图中的多个检测框进行筛选，得到目标特征图；所述目标特征图中包括各所述待检测对象对应的目标类别以及各所述待检测对象对应的预测检测框；

第六获取模块，用于将所述目标特征图作为所述待训练检测模型中的全连接层的输入，获取所述待训练检测模型输出的分类预测结果、掩膜预测结果以及位置预测结果，作为所述检测结果。

可选地，所述第二筛选模块，包括：

第一确定子模块，用于将检测框置信度最高的检测框所对应的类别信息确定为目标对象对应的目标类别；

第二确定子模块，用于针对所述样本图像中除所述目标对象的任一待检测对象，基于所述知识图谱中的置信度信息，确定所述待检测对象对应的目标类别；

第一选择模块，用于从所述待检测对象对应的多个检测框中选择类别信息与所述待检测对象对应的目标类别相同的检测框作为目标检测框；

第一筛选子模块，用于对所述目标检测框进行筛选，确定所述待检测对象对应的预测检测框。

可选地，所述第二确定子模块，包括：

第一获取子模块，用于获取所述待检测对象对应的候选类别；

第三确定子模块，用于基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度；

第四确定子模块，用于基于所述关联度，确定所述待检测对象对应的目标类别。

可选地，所述候选类别包括第一类别以及第二类别的情况下，所述第三确定子模块包括：

第五确定子模块，用于基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述第一类别的关联度，得到第一结果；

第六确定子模块，用于基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述第二类别的关联度，得到第二结果。

可选地，所述第四确定子模块，包括：

第七确定子模块，用于在所述第一结果大于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第一类别；

第八确定子模块，用于在所述第一结果小于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第二类别；

第九确定子模块，用于在所述第一结果等于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第一类别以及所述第二类别。

可选地，所述第一筛选子模块，包括：

第二获取子模块，用于获取检测框置信度最高的目标检测框对应的交并比；

第二筛选子模块，用于基于所述检测框置信度最高的目标检测框对应的交并比以及预设阈值，对所述目标检测框进行筛选，确定所述待检测对象对应的预测检测框。

可选地，所述装置还包括：

第七获取模块，用于获取样本图像集；

第十确定子模块，用于针对所述样本图像集中的任一样本图像，确定所述样本图像中各待检测对象对应的真实轮廓标签、真实位置标签以及真实类别标签，作为所述样本图像中的标注标签。

可选地，所述装置还包括：

第八获取模块，用于获取目标领域内的多个图像数据以及多个文字数据；

第一融合模块，用于基于所述多个图像数据以及所述多个文字数据进行知识抽取，并进行多模态融合，得到所述知识图谱。

可选地，所述装置还包括：

第三确定模块，用于针对所述知识图谱中的任一第一实体节点，基于所述多个图像数据以及所述多个文字数据，确定所述第一实体节点的出现次数、与所述第一实体节点具有直接映射关系的第二实体节点的出现次数以及所述第一实体节点和第二实体节点共同出现的总次数，得到所述第一实体节点以及所述第二实体节点之间的置信度信息。

可选地，所述第三确定子模块，包括：

第十一确定子模块，用于针对任一候选类别，基于所述目标对象对应的目标类别所对应的实体节点以及所述候选类别对应的实体节点在所述知识图谱中的关联关系，以及所述关联关系所涉及的各实体节点之间的置信度信息，确定所述目标对象对应的目标类别与所述候选类别的关联度。

可选地，所述第十一确定子模块，包括：

第十二确定子模块，用于基于广度优先算法以及所述知识图谱，确定所述目标对象对应的目标类别所对应的实体节点与所述候选类别对应的实体节点之间的最短关联路径；

第一计算模块，用于将所述最短关联路径上的各实体节点之间的置信度信息表征的置信度进行连续相乘，得到所述目标对象对应的目标类别以及所述候选类别的关联度。

可选地，所述第一调整模块，包括：

第一调整子模块，用于基于所述检测结果以及所述标注标签对应的分类损失、定位损失、分割损失以及目标损失，对所述待训练检测模型进行参数调整；所述目标损失是基于所述知识图谱表征的信息确定的。

可选地，所述装置还包括：

第四确定模块，用于针对所述知识图谱中的任一实体节点，基于所述知识图谱中与所述实体节点存在关联的关联边的数量，确定所述实体节点对应的权重。

本发明还提供了一种电子设备，参见图7，包括：处理器1301、存储器1302以及存储在所述存储器上并可在所述处理器上运行的计算机程序13021，所述处理器执行所述程序时实现前述实施例的目标检测方法。

本发明还提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行前述实施例的目标检测方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明的排序设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

需要指出的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (21)

1.一种目标检测方法，其特征在于，所述方法包括：

将待检测数据集输入目标检测模型；所述待检测数据集中包括待检测图像；

针对任一所述待检测图像，基于所述目标检测模型中的特征提取网络，获取所述待检测图像对应的第一特征图；

基于所述目标检测模型中的区域生成网络，获取所述第一特征图中的多个第一检测框信息；所述第一检测框信息包括第一检测框以及所述第一检测框对应的类别信息以及检测框置信度；

基于预先构建的知识图谱中的置信度信息，对所述第一特征图中的多个第一检测框进行筛选；

获取所述目标检测模型输出的所述待检测图像对应的目标检测结果；所述目标检测结果包括目标分类结果、目标掩膜结果以及目标位置结果。

2.根据权利要求1所述的方法，其特征在于，所述目标检测模型由下述步骤训练得到：

将样本图像集输入待训练检测模型；所述样本图像集中包括多个样本图像；

针对所述多个样本图像中的任一样本图像，基于所述知识图谱中的置信度信息以及所述样本图像对应的检测框信息，确定所述样本图像中各待检测对象对应的检测结果；

基于所述检测结果与所述样本图像中的标注标签，对所述待训练检测模型进行参数调整；所述标注标签用于表征所述样本图像的真实检测结果；

在达到停止条件的情况下，将所述待训练检测模型确定为目标检测模型。

3.根据权利要求2所述的方法，其特征在于，所述基于所述知识图谱中的置信度信息以及所述样本图像对应的检测框信息，确定所述样本图像中各待检测对象对应的检测结果，包括：

基于所述待训练检测模型中的特征提取网络，获取所述样本图像对应的特征图；

基于所述待训练检测模型中的区域生成网络，获取所述特征图中的多个检测框信息；所述检测框信息包括检测框以及所述检测框对应的类别信息以及检测框置信度；

基于所述知识图谱中的置信度信息，对所述特征图中的多个检测框进行筛选，得到目标特征图；所述目标特征图中包括各所述待检测对象对应的目标类别以及各所述待检测对象对应的预测检测框；

将所述目标特征图作为所述待训练检测模型中的全连接层的输入，获取所述待训练检测模型输出的分类预测结果、掩膜预测结果以及位置预测结果，作为所述检测结果。

4.根据权利要求3所述的方法，其特征在于，所述基于所述知识图谱中的置信度信息，对所述特征图中的多个检测框进行筛选，包括：

将检测框置信度最高的检测框所对应的类别信息确定为目标对象对应的目标类别；

针对所述样本图像中除所述目标对象的任一待检测对象，基于所述知识图谱中的置信度信息，确定所述待检测对象对应的目标类别；

从所述待检测对象对应的多个检测框中选择类别信息与所述待检测对象对应的目标类别相同的检测框作为目标检测框；

对所述目标检测框进行筛选，确定所述待检测对象对应的预测检测框。

5.根据权利要求4所述的方法，其特征在于，所述基于所述知识图谱中的置信度信息，确定所述待检测对象对应的目标类别，包括：

获取所述待检测对象对应的候选类别；

基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度；

基于所述关联度，确定所述待检测对象对应的目标类别。

6.根据权利要求5所述的方法，其特征在于，在所述候选类别包括第一类别以及第二类别的情况下，所述基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度，包括：

基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述第一类别的关联度，得到第一结果；

基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述第二类别的关联度，得到第二结果。

7.根据权利要求6所述的方法，其特征在于，所述基于所述关联度，确定所述待检测对象对应的目标类别，包括：

在所述第一结果大于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第一类别；

在所述第一结果小于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第二类别；

在所述第一结果等于所述第二结果的情况下，确定所述待检测对象对应的目标类别为所述第一类别以及所述第二类别。

8.根据权利要求4所述的方法，其特征在于，所述对所述目标检测框进行筛选，确定所述待检测对象对应的预测检测框，包括：

获取检测框置信度最高的目标检测框对应的交并比；

基于所述检测框置信度最高的目标检测框对应的交并比以及预设阈值，对所述目标检测框进行筛选，确定所述待检测对象对应的预测检测框。

9.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取样本图像集；

针对所述样本图像集中的任一样本图像，确定所述样本图像中各待检测对象对应的真实轮廓标签、真实位置标签以及真实类别标签，作为所述样本图像中的标注标签。

10.根据权利要求3所述的方法，其特征在于，所述特征提取网络中包含多个卷积层，所述多个卷积层的扩张率互不相同。

11.根据权利要求10所述的方法，其特征在于，所述多个卷积层包括标准卷积层、扩张率为1的第一卷积层、扩张率为2的第二卷积层以及扩张率为3的第三卷积层。

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取目标领域内的多个图像数据以及多个文字数据；

基于所述多个图像数据以及所述多个文字数据进行知识抽取，并进行多模态融合，得到所述知识图谱。

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

针对所述知识图谱中的任一第一实体节点，基于所述多个图像数据以及所述多个文字数据，确定所述第一实体节点的出现次数、与所述第一实体节点具有直接映射关系的第二实体节点的出现次数以及所述第一实体节点和第二实体节点共同出现的总次数，得到所述第一实体节点以及所述第二实体节点之间的置信度信息。

14.根据权利要求5所述的方法，其特征在于，所述基于所述知识图谱中的置信度信息，确定所述目标对象对应的目标类别与所述待检测对象对应的候选类别的关联度，包括：

针对任一候选类别，基于所述目标对象对应的目标类别所对应的实体节点以及所述候选类别对应的实体节点在所述知识图谱中的关联关系，以及所述关联关系所涉及的各实体节点之间的置信度信息，确定所述目标对象对应的目标类别与所述候选类别的关联度。

15.根据权利要求14所述的方法，其特征在于，所述基于所述目标对象对应的目标类别所对应的实体节点以及所述候选类别对应的实体节点在所述知识图谱中的关联关系，以及所述关联关系所涉及的各实体节点之间的置信度信息，确定所述目标对象对应的目标类别与所述候选类别的关联度，包括：

基于广度优先算法以及所述知识图谱，确定所述目标对象对应的目标类别所对应的实体节点与所述候选类别对应的实体节点之间的最短关联路径；

将所述最短关联路径上的各实体节点之间的置信度信息表征的置信度进行连续相乘，得到所述目标对象对应的目标类别以及所述候选类别的关联度。

16.根据权利要求2所述的方法，其特征在于，所述基于所述检测结果与所述样本图像中的标注标签，对所述待训练检测模型进行参数调整，包括：

基于所述检测结果以及所述标注标签对应的分类损失、定位损失、分割损失以及目标损失，对所述待训练检测模型进行参数调整；所述目标损失是基于所述知识图谱表征的信息确定的。

17.根据权利要求16所述的方法，其特征在于，所述方法还包括：

针对所述知识图谱中的任一实体节点，基于所述知识图谱中与所述实体节点存在关联的关联边的数量，确定所述实体节点对应的权重。

18.根据权利要求17所述的方法，其特征在于，所述目标损失的计算公式包括：

=（1-ε）/>+ε/>其中，/>用于表示所述目标损失，/>用于表示实体节点i以及实体节点j的关联度，I用于表示所述实体节点i所在的实体节点集合，J用于表示所述实体节点j所在的实体节点集合，用于表示所述实体节点i对应的权重，用于表示所述实体节点j对应的权重，r用于表示实体节点i对应的权重，p用于表示实体节点i对应的待检测对象的检测框置信度，ε为常数，取值范围为[0，1]。

19.一种目标检测装置，其特征在于，所述装置包括：

第一输入模块，用于将待检测数据集输入目标检测模型；所述待检测数据集中包括待检测图像；

第一获取模块，用于针对任一所述待检测图像，基于所述目标检测模型中的特征提取网络，获取所述待检测图像对应的第一特征图；

第二获取模块，用于基于所述目标检测模型中的区域生成网络，获取所述第一特征图中的多个第一检测框信息；所述第一检测框信息包括第一检测框以及所述第一检测框对应的类别信息以及检测框置信度；

第一筛选模块，用于基于预先构建的知识图谱中的置信度信息，对所述第一特征图中的多个第一检测框进行筛选；

第三获取模块，用于获取所述目标检测模型输出的所述待检测图像对应的目标检测结果；所述目标检测结果包括目标分类结果、目标掩膜结果以及目标位置结果。

20.一种电子设备，其特征在于，包括：

处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如权利要求1-18中任一所述的目标检测方法。

21.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1-18中任一所述的目标检测方法。