CN114155471A - 设计图纸与实物的核验方法、装置、计算机设备和系统 - Google Patents

Abstract

本申请涉及一种设计图纸与实物的核验方法、装置、计算机设备和系统。方法包括：获取视频图像序列，并对视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；视频图像序列为移动拍摄二次设备所得到的图像序列，初始识别结果包括识别置信度及初始识别文字；对于每一初始识别结果，根据初始识别结果的识别置信度判断初始识别结果是否为目标识别结果；根据同一实物的多个目标识别结果的初始识别文字，得到该实物的目标识别文字；根据每一实物的目标识别文字及每一实物的多个目标识别结果，生成现场接线结构化数据，并比对现场接线结构化数据与预设的图纸结构化数据，得到核验结果。采用本方法能够提高核验效率及核验的准确性。

Description

设计图纸与实物的核验方法、装置、计算机设备和系统

技术领域

本申请涉及人工智能技术领域，特别是涉及一种设计图纸与实物的核验方法、装置、计算机设备和系统。

背景技术

在换流站的设备改扩建、设备改造工程中，二次设备的设计图纸与实际接线的一致性核查往往是一个重要的环节。目前，多采用人工方式来核验二次设备的设计图纸与实物的一致性。然而，这种实现方式工作量巨大，不仅核验效率慢，而且也难以确保较高的准确性。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高核验效率及核验准确性的设计图纸与实物的核验方法、装置、计算机设备和系统。

第一方面，本申请提供了一种设计图纸与实物的核验方法。所述方法包括：

获取视频图像序列，并对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；所述视频图像序列为移动拍摄二次设备所得到的图像序列，所述初始识别结果包括识别置信度及初始识别文字；

对于每一所述初始识别结果，根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果；

根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字；

根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。

在其中一个实施例中，所述识别置信度包括实物类型置信度及文字区域置信度；

根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果的步骤，包括：

在所述实物类型置信度满足类型置信度要求，且所述文字区域置信度满足区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

在其中一个实施例中，所述初始识别结果还包括实物移动比率值及文字区域移动比率值。

在所述实物类型置信度满足类型置信度要求，且所述文字区域置信度满足区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果的步骤，包括：

在所述实物移动比率值满足第一比率值要求，所述文字区域移动比率值满足第二比率值要求，所述初始识别文字的文字长度满足文字长度要求，所述初始识别文字的预设位文字内容满足文字内容要求，所述实物类型置信度满足所述类型置信度要求，且所述文字区域置信度满足所述区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

在其中一个实施例中，根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字的步骤，包括：

对于同一所述实物，根据所述实物对应的各所述初始识别文字进行逐位投票，并基于投票结果确定所述目标识别文字。

在其中一个实施例中，所述初始识别结果包括实物类型、实物坐标及文字区域坐标；

根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据的步骤，包括：

根据每一所述实物对应的各实物坐标及各文字区域坐标，对各所述实物类型及各所述目标识别文字进行排序，以得到所述现场接线结构化数据。

在其中一个实施例中，对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果的步骤，包括：

将所述视频图像序列输入至预先训练的目标跟踪及类型检测模型中；

获取所述目标跟踪及类型检测模型输出的每一所述实物的多个所述初始识别结果。

第二方面，本申请还提供了一种设计图纸与实物的核验装置。所述装置包括：

初始识别结果获取模块，用于获取视频图像序列，并对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；所述视频图像序列为移动拍摄二次设备所得到的图像序列，所述初始识别结果包括识别置信度及初始识别文字；

目标识别结果判断模块，用于对于每一所述初始识别结果，根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果；

目标识别文字获取模块，用于根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字；

比对模块，用于根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取视频图像序列，并对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；所述视频图像序列为移动拍摄二次设备所得到的图像序列，所述初始识别结果包括识别置信度及初始识别文字；

对于每一所述初始识别结果，根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果；

根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字；

根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。

第四方面，本申请还提供了一种设计图纸与实物的核验系统，所述系统包括：

摄像设备，用于拍摄二次设备；

移动机构，机械连接所述摄像设备，用于多方向地移动所述摄像设备，以使所述摄像设备拍摄得到多个目标图像；

上述计算机设备，电连接或通信连接所述移动机构，且电连接所述摄像设备；所述计算机设备用于控制所述移动机构对所述摄像设备进行移动以及接收视频图像序列，并采用上述任一实施例的方法处理所述视频图像序列，以得到核验结果。

第五方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取视频图像序列，并对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；所述视频图像序列为移动拍摄二次设备所得到的图像序列，所述初始识别结果包括识别置信度及初始识别文字；

对于每一所述初始识别结果，根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果；

根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字；

根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。

第六方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取视频图像序列，并对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；所述视频图像序列为移动拍摄二次设备所得到的图像序列，所述初始识别结果包括识别置信度及初始识别文字；

对于每一所述初始识别结果，根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果；

根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字；

根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。

上述设计图纸与实物的方法、装置、计算机设备和系统，获取视频图像序列，并对视频图像序列中的每一实物进行识别，以得到每一个实物的多个初始识别结果。其中，视频图像序列为移动拍摄二次设备所得到的图像序列，初始识别结果包括识别置信度及初始识别文字。对于每一初始识别结果，根据该初始识别结果的识别置信度判断该初始识别结果是否为目标识别结果。根据同一实物的多个目标识别结果的初始识别文字，得到该实物的目标识别文字。根据每一实物的目标识别文字及每一实物的多个目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。如此，可通过计算机程序自动核对二次设备内部接线及施工设计图纸，无需人工核验，一方面能够大幅降低现场工作人员的工作量，进而提高核验效率。另一方面也可避免因人工检测失误而导致的各类问题，减少误检错漏的发生，进而可提高核验的准确性。

附图说明

图1为一个实施例中设计图纸与实物的核验方法的流程示意图之一；

图2为一个实施例中设计图纸与实物的核验方法的流程示意图之二；

图3为一个实施例中设计图纸与实物的核验方法的流程示意图之三；

图4为一个实施例中设计图纸与实物的核验方法装置的结构框图；

图5为一个实施例中计算机设备的内部结构图；

图6为一个实施例中设计图纸与实物的核验系统的结构示意图；

图7为一个实施例中设计图纸与实物的核验系统的核对流程示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

下述实施例中，在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。同时，在本说明书中使用的术语“和/或”包括相关所列项目的任何及所有组合。同时，“多个”为两个或以上的情况，例如2个、3个、5个、8个等。

正如背景技术所述，传统技术在进行图实核验(即核验二次设备的设计图纸与实物的一致性)时，存在效率低和准确性低的问题。近年来，随着站建工作标准化的不断深入，设计图纸与设备实物相符核对的数据基础条件已经逐步得到满足。同时，人工智能技术中的卷积神经网络作为目前最为成熟的图像特征提取技术，能够为图像自动分类、自动检测/跟踪等领域提供技术基础。而人工智能芯片(如GPU、NPU等)自动化能力的不断提升，也为通过人工智能来实现图实核验提供了成熟的技术条件。

在此基础上，本申请提供了一种设计图纸与实物的核验方法、装置、计算机设备和系统，通过智能化地自动核对二次设备内部接线及施工设计图纸，一方面能够大幅降低现场工作人员的工作量，另一方面也可避免因人工检测失误而导致的各类问题，减少误检错漏的发生，进而可提高核验的准确性。

在一个实施例中，如图1所示，提供了一种设计图纸与实物的核验方法，本实施例以该方法应用于计算机设备进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括计算机设备和服务器的系统，并通过计算机设备和服务器的交互实现。在其中一个实施例中，本申请的设计图纸与实物的核验方法可以应用于换流站二次设备检修及工程验收工作中。本实施例中，设计图纸与实物的核验方法包括以下步骤：

步骤202，获取视频图像序列，并对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；所述视频图像序列为移动拍摄二次设备所得到的图像序列，所述初始识别结果包括识别置信度及初始识别文字。

其中，视频图像序列为移动拍摄二次设备所得到的图像序列，其可包括多个图像，例如视频图像序列可以是视频，也可以是移动过程中连续拍摄得到的多个图像。在其中一个实施例中，视频图像序列中的各图像可按照拍摄次序排列。实物可以是指能够对接线物体进行区分的信息，包括但不限于是设备标牌、设备标号及接入管线编号等。

具体地，计算机设备可获取视频图像序列。由于视频图像序列是移动拍摄二次设备所得到的图像序列，因此，对于视频图像序列中的各图像，图像中可以包括各实物，并可展示二次设备的实际接线情况。同时，同一实物可包含于多张图像内。

计算机设备可对视频图像序列中的每一图像进行处理，以识别每一图像中的实物，并输出该图像中每一实物的初始识别结果。在处理了多张图像后，计算机设备可输出视频图像序列中，每一实物的多个初始识别结果。例如，视频图像序列包括图像A及图像B，图像A包括了实物A和实物B，图像B包括了实物B和实物C。计算机在处理该视频图像序列后，可得到实物A的一个初始识别结果(从图像A中得到)，实物B的两个初始识别结果(分别从图像A和图像B中得到)，以及图像C的一个初始识别结果(从图像C中得到)。

步骤204，对于每一所述初始识别结果，根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果。

其中，目标识别结果可以是准确性较高的初始识别结果。

具体地，由于一些初始识别结果的准确性较低，若采用该初始识别结果进行后续处理，则易降低核验的准确性，因此，为确保核验的准确性，对于每一初始识别结果，可按照该初始识别结果的识别置信度判断该初始识别结果的准确性。若该初始识别结果的识别置信度满足对应的置信度要求，则可确定该初始识别结果为目标识别结果，可基于该初始识别结果进行后续处理。若该初始识别结果的识别置信度不满足对应的置信度要求，则可认为该初始识别结果的准确性较大，初始识别结果与实际情况不符的概率较大，因此丢弃该初始识别结果，即在后续的处理过程中不使用该初始识别结果。

步骤206，根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字。

其中，目标识别文字可以为实物的最佳文字识别结果。

具体地，对于每一实物，在得到该实物的目标识别结果的情况下，计算机设备可根据该实物的各个目标识别结果来综合判断该实物的最佳识别结果。具体而言，各目标识别结果包括初始识别文字。对于每一实物，计算机设备可确定该实物对应的目标识别结果，并根据所确定的多个目标识别结果中的初始识别文字，得到该实物的最佳文字识别结果，即得到该实物的目标识别文字。

步骤208，根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。

其中，现场接线结构化数据可以是通过特定的数据形式反映现场接线情况的数据，以便于与设计图纸进行比对。可以理解，所使用的数据形式可以根据实际情况确定，本申请对此不作具体限制。例如，现场接线结构化数据可以是一反映实际接线情况的图纸，也可以是按照现场接线情况进行排列后得到的数据集合。图纸结构化数据可以是通过特定的数据形式反映设计图纸的数据，其数据形式与现场接线结构化数据的数据形式相匹配，以便于进行比对。

具体地，在得到每一实物的目标识别文字及确定每一实物的目标识别结果后，可据此生成现场接线结构化数据，以通过现场接线结构化数据反映二次设备的现场接线情况。计算机设备可将现场接线结构化数据与预设的图纸结构化数据进行比对，以将二次设备的现场接线情况与设计图纸进行核验，并根据比对结果得到核验结果。

上述设计图纸与实物的方法中，获取视频图像序列，并对视频图像序列中的每一实物进行识别，以得到每一个实物的多个初始识别结果。其中，视频图像序列为移动拍摄二次设备所得到的图像序列，初始识别结果包括识别置信度及初始识别文字。对于每一初始识别结果，根据该初始识别结果的识别置信度判断该初始识别结果是否为目标识别结果。根据同一实物的多个目标识别结果的初始识别文字，得到该实物的目标识别文字。根据每一实物的目标识别文字及每一实物的多个目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。如此，可通过计算机程序自动核对二次设备内部接线及施工设计图纸，无需人工核验，一方面能够大幅降低现场工作人员的工作量，进而提高核验效率。另一方面也可避免因人工检测失误而导致的各类问题，减少误检错漏的发生，进而可提高核验的准确性。

在一个实施例中，识别置信度包括实物类型置信度及文字区域置信度。

根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果的步骤，包括：在所述实物类型置信度满足类型置信度要求，且所述文字区域置信度满足区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

其中，计算机设备可对视频图像序列中的每一实物进行识别，以确定每一实物的实物类型。其中，实物类型置信度为识别得到的实物类型符合真实实物类型的置信度。在识别得到实物类型后，计算机设备可识别文字区域，即待识别文字所在的区域，以便于后续进行文字识别。其中，文字区域置信度为识别得到的文字区域为待识别文字所在区域的置信度。

具体地，计算机设备可依据每一初始识别结果的实物类型置信度及文字区域置信度，判断该初始识别结果是否为目标识别结果。对于某一初始识别结果，若该初始识别结果的实物类型置信度满足类型置信度要求，且该初始识别结果的文字区域置信度满足区域置信度要求的情况下，则确定该初始识别结果的准确性满足后续处理的要求，该初始识别结果为目标识别结果。

可以理解，“类型置信度要求”及“文字区域置信度要求”均可依据实际情况(如核验准确度要求、核验效率要求等)来确定，本申请对此不作具体限制。“满足”的具体判定条件也可以依据实际情况确定，例如可以为大于(或大于等于)阈值、落入预设取值范围等，本申请对此不作具体限制。在其中一个实施例中，“满足”的判定条件可以为大于，即当识别置信度大于对应置信度阈值时，确定识别置信度满足对应的置信度要求。

本实施例中，通过每一初始识别结果的实物类型置信度和文字区域置信度判断该初始识别结果是否为目标识别结果，从而可将准确性较高的初始识别结果确定为目标识别结果，并进行后续处理。如此，可进一步提高核验的准确性。

在一个实施例中，所述初始识别结果还包括实物移动比率值及文字区域移动比率值。

在所述实物类型置信度满足类型置信度要求，且所述文字区域置信度满足区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果的步骤，包括：

在所述实物移动比率值满足第一比率值要求，所述文字区域移动比率值满足第二比率值要求，所述初始识别文字的文字长度满足文字长度要求，所述初始识别文字的预设位文字内容满足文字内容要求，所述实物类型置信度满足所述类型置信度要求，且所述文字区域置信度满足所述区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

其中，实物移动比率值可以反映同一实物在前后两张紧邻的图像中的位置变化情况，进而可反映实物在视频图像序列中的空间变化情况。计算机设备可通过实物移动比率值进一步确定各初始识别结果所对应的实物。类似地，文字区域移动比率值可以反映同一文字区域在前后两张紧邻的图像中的位置变化情况，进而可反映文字区域在视频图像序列中的空间变化情况。初始识别文字的预设位可以是标志性文字所在位，在其中一个实施例中，预设位可以根据编号的前缀和/或后缀确定。

具体地，计算机设备还可结合实物移动比率值、文字区域移动比率值和初始识别文字来判断初始识别结果是否为目标识别结果，即结合实物移动比率值、文字区域移动比率值、实物类型置信度、文字区域置信度、初始识别文字的文字长度及文字内容、综合判断。对于每一初始识别结果，在该初始识别结果的实物移动比率值、文字区域移动比率值、初始识别文字的文字长度、初始识别文字的文字内容、实物类型置信度及文字区域置信度均满足对应要求的情况下，方将该初始识别结果确定为目标识别结果。

可以理解，“第一比率值要求”、“第二比率值要求”、“文字长度要求”及“预设位文字内容”均可依据实际情况(如核验准确度要求、核验效率要求等)来确定，本申请对此不作具体限制。在其中一个实施例中，文字长度要求可以为该类型实物的最小编号长度，判断预设位文字内容是否满足文字内容要求可以根据初始识别文字的前缀和/或后续是否满足编号规则来判断。

本实施例中，通过结合实物在视频图像序列中的空间变化情况以及初始识别文字来综合分析初始识别结构是否为目标识别结果，从而可进一步提高核验的准确性。

在一个实施例中，根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字的步骤，包括：对于同一所述实物，根据所述实物对应的各所述初始识别文字进行逐位投票，并基于投票结果确定所述目标识别文字。

具体地，对于某一实物，在确定该实物的目标识别结果后，可依据各目标识别结果的初始识别文字来综合判断该实物的最佳文字识别结果。对于同一实物所对应的各初始识别文字，可按照文字位置，逐位文字进行比对投票，迭代最优，并生成该实物的目标识别文字。对于各实物，均按照前述过程确定其对应的目标识别文字。在其中一个实施例中，在进行逐位投票时，可将票数最多的文字确认为该位的目标识别文字。

例如，某一实物包括3个目标识别结果，各目标识别结果的初始识别文字分别为ABCDE、ABZDE、XYCDE。则各初始识别文字的第一位文字分别为A、A、X，并据此进行投票，将票数最多的文字确认为第一位的目标识别文字，即目标识别文字的第一位文字为A。同理，各初始识别文字的第二位文字分别为B、B、Y，则目标是识别文字的第二位文字B。按此理解，分别确定目标识别文字的第三位文字、第四位文字和第五位文字，最终确定该实物的目标识别文字为ABCDE。

本实施例中，根据同一实物对应的各初始识别文字进行逐位投票，并基于投票结果确定所述目标识别文字，从而可提高目标识别文字的准确性，进一步提高核验准确性。

在一个实施例中，所述初始识别结果包括实物类型、实物坐标及文字区域坐标。

根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据的步骤，包括：

根据每一所述实物对应的各实物坐标及各文字区域坐标，对各所述实物类型及各所述目标识别文字进行排序，以得到所述现场接线结构化数据。

具体地，可根据每一实物在视频图像序列中的坐标关系(如上下左右关系)以及文字区域在视频图像序列中的坐标关系，排列所有实物的实物类型及实物上的文字编号(即实物的目标识别文字)，并据此生成现场接线结构化数据。在其中一个实施例中，在进行比对时，计算机设备可按照实物类型、位置关系和目标识别文字，逐一地核对实物与设计图纸是否相符，并据此得到核验结果。

本实施例中，根据各实物坐标及各文字区域坐标，对各个实物类型和各目标识别文字进行排序，以得到现场接线结构化数据。如此，可通过数据的排列反映现场接线情况，并方便后续比对的进行。

在一个实施例中，对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果的步骤，包括：

将所述视频图像序列输入至预先训练的目标跟踪及类型检测模型中；

获取所述目标跟踪及类型检测模型输出的每一所述实物的多个所述初始识别结果。

具体地，可通过样本自主训练得到预先训练的目标跟踪及类型检测模型，使得预先训练的目标跟踪及类型检测模型可以实现目标跟踪及实物识别。在将视频图像序列输入至该预先训练的目标跟踪及类型检测模型中，可以得到模型输出的识别结果，并按照上述实施例的方式进行后续处理。

本实施例中，通过采用预先训练的目标跟踪及类型检测模型来得到视频图像序列中每一实物的初始识别结果，从而可进一步提高核验效率和核验准确性。

为便于理解本申请的方案，下面通过一个具体的示例进行说明。如图2-3所示，本申请的设计图纸与实物的核验方法可按照图2示出的流程步骤来实现。在获取多视角拍摄得到的视频图像序列后，可将视频图像序列输入至预先训练的目标跟踪及类型检测模型中，该目标跟踪及类型检测模型为AI模型，可实现实物的跟踪及检测。目标跟踪及类型检测模型为AI模型可输出各实物的初始识别结果，每一初始识别结果包括该实物的实物类型、该实物于图像中的图像位置坐标(即实物坐标)、实物移动比率值、文字区域坐标、文字区域移动比率值及初始识别文字。

在得到每一实物的多个初始识别结果后，计算机设备可汇总并结构化某实物的多个初始识别结果，以综合判断各实物的最佳识别结果。具体而言，对于某一实物的每一初始识别结果，计算机设备可判断该初始识别结果的实物坐标、实物移动比率值、类型置信度、文字区域置信度及文字区域移动比率值是否满足对应的要求，判断初始识别文字的文字长度是否满足该类型实物的编号规则，以及判断初始识别文字的前缀/后缀是否满足编号规则，并根据各个判断结果确定该初始识别结果的准确性。在该初始识别结果的实物坐标、实物移动比率值、类型置信度、文字区域置信度、文字区域移动比率值、初始识别文字的文字长度以及初始识别文字的前缀/后缀均满足对应要求的情况下，确定该初始识别结果为目标识别结果。计算机设备可采用某一实物的各目标识别结果来确定该实物对应的最佳文字识别结果，即该实物的目标识别文字。

在确定某一实物的目标识别文字时，计算机设备可将各目标识别结果的初始识别文字，按照文字位置进行逐位比对投票，迭代最优，以得到最佳文字识别结果。计算机设备可根据视频图像序列中各实物的坐标上下左右关系，排列各实物的实物类型及实物对应的目标识别文字，并据此生成现场接线结构化数据。

计算机设备可获取图纸结构化数据，该图纸结构化数据包括设计图纸中各实物类型、相对位置关系及文字编号，并按照实物类型、位置关系及文字内容，将现场接线结构化数据与图纸结构化数据进行逐一比对，以核对实物与设计图纸是否相符，并据此得到核验结果。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的设计图纸与实物的核验方法的设计图纸与实物的核验装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个设计图纸与实物的核验装置实施例中的具体限定可以参见上文中对于设计图纸与实物的核验方法的限定，在此不再赘述。

在一个实施例中，如图4所示，提供了一种设计图纸与实物的核验装置，包括：初始识别结果获取模块、目标识别结果判断模块、目标识别文字获取模块和比对模块，其中：

初始识别结果获取模块，用于获取视频图像序列，并对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；所述视频图像序列为移动拍摄二次设备所得到的图像序列，所述初始识别结果包括识别置信度及初始识别文字；

目标识别结果判断模块，用于对于每一所述初始识别结果，根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果；

目标识别文字获取模块，用于根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字；

比对模块，用于根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。

在一个实施例中，所述识别置信度包括实物类型置信度及文字区域置信度。目标识别结果判断模块包括置信度判断单元，该置信度判断单元用于在所述实物类型置信度满足类型置信度要求，且所述文字区域置信度满足区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

在一个实施例中，所述初始识别结果还包括实物移动比率值及文字区域移动比率值。该置信度判断单元还用于在所述实物移动比率值满足第一比率值要求，所述文字区域移动比率值满足第二比率值要求，所述初始识别文字的文字长度满足文字长度要求，所述初始识别文字的预设位文字内容满足文字内容要求，所述实物类型置信度满足所述类型置信度要求，且所述文字区域置信度满足所述区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

在一个实施例中，目标识别文字获取模块包括投票单元，该投票单元用于对于同一所述实物，根据所述实物对应的各所述初始识别文字进行逐位投票，并基于投票结果确定所述目标识别文字。

在一个实施例中，所述初始识别结果包括实物类型、实物坐标及文字区域坐标。比对模块包括数据生成单元，该数据生成单元用于根据每一所述实物对应的各实物坐标及各文字区域坐标，对各所述实物类型及各所述目标识别文字进行排序，以得到所述现场接线结构化数据。

在一个实施例中，初始识别结果获取模块包括识别单元，该识别单元用于将所述视频图像序列输入至预先训练的目标跟踪及类型检测模型中，并获取所述目标跟踪及类型检测模型输出的每一所述实物的多个所述初始识别结果。

上述设计图纸与实物的核验装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种设计图纸与实物的核验方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：

获取视频图像序列，并对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；所述视频图像序列为移动拍摄二次设备所得到的图像序列，所述初始识别结果包括识别置信度及初始识别文字；

对于每一所述初始识别结果，根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果；

根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字；

根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。

在一个实施例中，所述识别置信度包括实物类型置信度及文字区域置信度。处理器执行计算机程序时还实现以下步骤：在所述实物类型置信度满足类型置信度要求，且所述文字区域置信度满足区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

在一个实施例中，所述初始识别结果还包括实物移动比率值及文字区域移动比率值。处理器执行计算机程序时还实现以下步骤：在所述实物移动比率值满足第一比率值要求，所述文字区域移动比率值满足第二比率值要求，所述初始识别文字的文字长度满足文字长度要求，所述初始识别文字的预设位文字内容满足文字内容要求，所述实物类型置信度满足所述类型置信度要求，且所述文字区域置信度满足所述区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：对于同一所述实物，根据所述实物对应的各所述初始识别文字进行逐位投票，并基于投票结果确定所述目标识别文字。

在一个实施例中，所述初始识别结果包括实物类型、实物坐标及文字区域坐标。处理器执行计算机程序时还实现以下步骤：根据每一所述实物对应的各实物坐标及各文字区域坐标，对各所述实物类型及各所述目标识别文字进行排序，以得到所述现场接线结构化数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：将所述视频图像序列输入至预先训练的目标跟踪及类型检测模型中；获取所述目标跟踪及类型检测模型输出的每一所述实物的多个所述初始识别结果。

在一个实施例中，如图6所示，提供了一种设计图纸与实物的核验系统。

该系统包括：

摄像设备，用于拍摄二次设备；

移动机构，机械连接所述摄像设备，用于多方向地移动所述摄像设备，以使所述摄像设备拍摄得到多个目标图像；

上述的计算机设备，电连接或通信连接所述移动机构，且电连接所述摄像设备；所述计算机设备用于控制所述移动机构对所述摄像设备进行移动以及接收视频图像序列，并采用上述任一实施例所述的方法处理所述视频图像序列，以得到核验结果。

在其中一个实施例中，计算机设备可以控制移动机构的开/关、上/下移动、左/右平移摄像设备，并实时接收摄像设备拍摄到的视频图像序列。在一个示例中，计算机设备可以为笔记本电脑或MCU控制装置。

在其中一个实施例中，若移动机构与计算机设备采用通信连接，则可使用WIFI连接方式进行连接。

本实施例中，通过人工智能技术与自动控制技术结合，利用摄像设备自动多角度拍摄设备内部接线情况，实时传输视频图像，并将图像实时传输至计算机设备交予其核对是否与图纸相符。如此，能够极大降低人力资源成本，避免人为失误，进而提高运维检修及工程验收等的正确性和工作效率。

在一个实施例中，移动机构可以为自动伸缩移动机构。在其中一个实施例中，移动机构可包括电机，该电机机械连接摄像设备，并与计算机设备电连接或通信连接。

在一个实施例中，移动机构可匀速移动摄像设备，以对二次设备内部装置接线情况进行匀速移动拍摄。在一个示例中，移动机构可驱动摄像设备延垂直方向上/下匀速移动，并控制开/关、左/右平移摄像装置，以获得最佳拍摄角度。

在一个示例中，采用设计图纸与实物的核验系统进行图实核验的过程可如图7所示。具体包括：

步骤702，将移动机构及摄像设备放置于二次设备前；

步骤704，计算机设备控制移动机构移动摄像设备，并控制摄像设备开始拍摄；

步骤706，计算机设备实时接收视频图像序列，跟踪并识别实物类型及其上的文字；

步骤708，计算机设备汇总实物类别及其上的初始识别文字，并根据上述方法进行判断。例如，可判断初始识别文字是否最佳符合图纸相应部件的编号规则。

步骤710，若不相符，计算机设备可控制移动机构多角度地移动摄像设备，以进行多角度的拍摄。

步骤712，计算机设备将得到的现场接线结构化数据与图纸结构化数据进行核对，并记录二者之间是否相符以及二者之间的差异。

步骤714，计算机设备逐一核对二次设备的接线情况，直至核对完毕。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：

获取视频图像序列，并对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；所述视频图像序列为移动拍摄二次设备所得到的图像序列，所述初始识别结果包括识别置信度及初始识别文字；

对于每一所述初始识别结果，根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果；

根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字；

根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。

在一个实施例中，所述识别置信度包括实物类型置信度及文字区域置信度。计算机程序被处理器执行时还实现以下步骤：在所述实物类型置信度满足类型置信度要求，且所述文字区域置信度满足区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

在一个实施例中，所述初始识别结果还包括实物移动比率值及文字区域移动比率值。计算机程序被处理器执行时还实现以下步骤：在所述实物移动比率值满足第一比率值要求，所述文字区域移动比率值满足第二比率值要求，所述初始识别文字的文字长度满足文字长度要求，所述初始识别文字的预设位文字内容满足文字内容要求，所述实物类型置信度满足所述类型置信度要求，且所述文字区域置信度满足所述区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对于同一所述实物，根据所述实物对应的各所述初始识别文字进行逐位投票，并基于投票结果确定所述目标识别文字。

在一个实施例中，所述初始识别结果包括实物类型、实物坐标及文字区域坐标。计算机程序被处理器执行时还实现以下步骤：根据每一所述实物对应的各实物坐标及各文字区域坐标，对各所述实物类型及各所述目标识别文字进行排序，以得到所述现场接线结构化数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将所述视频图像序列输入至预先训练的目标跟踪及类型检测模型中；获取所述目标跟踪及类型检测模型输出的每一所述实物的多个所述初始识别结果。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取视频图像序列，并对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；所述视频图像序列为移动拍摄二次设备所得到的图像序列，所述初始识别结果包括识别置信度及初始识别文字；

对于每一所述初始识别结果，根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果；

根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字；

根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。

在一个实施例中，所述识别置信度包括实物类型置信度及文字区域置信度。计算机程序被处理器执行时还实现以下步骤：在所述实物类型置信度满足类型置信度要求，且所述文字区域置信度满足区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

在一个实施例中，所述初始识别结果还包括实物移动比率值及文字区域移动比率值。计算机程序被处理器执行时还实现以下步骤：在所述实物移动比率值满足第一比率值要求，所述文字区域移动比率值满足第二比率值要求，所述初始识别文字的文字长度满足文字长度要求，所述初始识别文字的预设位文字内容满足文字内容要求，所述实物类型置信度满足所述类型置信度要求，且所述文字区域置信度满足所述区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：对于同一所述实物，根据所述实物对应的各所述初始识别文字进行逐位投票，并基于投票结果确定所述目标识别文字。

在一个实施例中，所述初始识别结果包括实物类型、实物坐标及文字区域坐标。计算机程序被处理器执行时还实现以下步骤：根据每一所述实物对应的各实物坐标及各文字区域坐标，对各所述实物类型及各所述目标识别文字进行排序，以得到所述现场接线结构化数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将所述视频图像序列输入至预先训练的目标跟踪及类型检测模型中；获取所述目标跟踪及类型检测模型输出的每一所述实物的多个所述初始识别结果。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种设计图纸与实物的核验方法，其特征在于，所述方法包括：

获取视频图像序列，并对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；所述视频图像序列为移动拍摄二次设备所得到的图像序列，所述初始识别结果包括识别置信度及初始识别文字；

对于每一所述初始识别结果，根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果；

根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字；

根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。

2.根据权利要求1所述的方法，其特征在于，所述识别置信度包括实物类型置信度及文字区域置信度；

根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果的步骤，包括：

在所述实物类型置信度满足类型置信度要求，且所述文字区域置信度满足区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

3.根据权利要求2所述的方法，其特征在于，所述初始识别结果还包括实物移动比率值及文字区域移动比率值；

在所述实物类型置信度满足类型置信度要求，且所述文字区域置信度满足区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果的步骤，包括：

在所述实物移动比率值满足第一比率值要求，所述文字区域移动比率值满足第二比率值要求，所述初始识别文字的文字长度满足文字长度要求，所述初始识别文字的预设位文字内容满足文字内容要求，所述实物类型置信度满足所述类型置信度要求，且所述文字区域置信度满足所述区域置信度要求的情况下，确定对应的初始识别结果为所述目标识别结果。

4.根据权利要求1所述的方法，其特征在于，根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字的步骤，包括：

对于同一所述实物，根据所述实物对应的各所述初始识别文字进行逐位投票，并基于投票结果确定所述目标识别文字。

5.根据权利要求1所述的方法，其特征在于，所述初始识别结果包括实物类型、实物坐标及文字区域坐标；

根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据的步骤，包括：

根据每一所述实物对应的各实物坐标及各文字区域坐标，对各所述实物类型及各所述目标识别文字进行排序，以得到所述现场接线结构化数据。

6.根据权利要求1至5任一项所述的方法，其特征在于，对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果的步骤，包括：

将所述视频图像序列输入至预先训练的目标跟踪及类型检测模型中；

获取所述目标跟踪及类型检测模型输出的每一所述实物的多个所述初始识别结果。

7.一种设计图纸与实物的核验装置，其特征在于，所述装置包括：

初始识别结果获取模块，用于获取视频图像序列，并对所述视频图像序列中的每一实物进行识别，以得到每一实物的多个初始识别结果；所述视频图像序列为移动拍摄二次设备所得到的图像序列，所述初始识别结果包括识别置信度及初始识别文字；

目标识别结果判断模块，用于对于每一所述初始识别结果，根据所述初始识别结果的识别置信度判断所述初始识别结果是否为目标识别结果；

目标识别文字获取模块，用于根据同一所述实物的多个所述目标识别结果的初始识别文字，得到该实物的目标识别文字；

比对模块，用于根据每一所述实物的所述目标识别文字及每一所述实物的多个所述目标识别结果，生成现场接线结构化数据，并比对所述现场接线结构化数据与预设的图纸结构化数据，得到核验结果。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

9.一种设计图纸与实物的核验系统，其特征在于，所述系统包括：

摄像设备，用于拍摄二次设备；

移动机构，机械连接所述摄像设备，用于多方向地移动所述摄像设备，以使所述摄像设备拍摄得到多个目标图像；

如权利要求8所述的计算机设备，电连接或通信连接所述移动机构，且电连接所述摄像设备；所述计算机设备用于控制所述移动机构对所述摄像设备进行移动以及接收视频图像序列，并采用如权利要求1至6任一项所述的方法处理所述视频图像序列，以得到核验结果。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。

Images