CN114283442A - 一种二次接线图智能识别方法、装置及存储介质 - Google Patents

Abstract

本发明公开了一种二次接线图智能识别方法、装置及存储介质，所述方法包括以下步骤：对待识别图纸进行预处理，获得处理后的图纸；将处理后的图纸分别输入预先训练好的接线框检测模型和字符识别模型，输出接线框检测结果和字符识别结果；将所述接线框检测结果和字符识别结果进行匹配，输出最终识别结果。本发明通过接线框检测模型和字符识别模型对图纸进行联合识别，直接获取需质检排查内容，提高了质检排查的效率。

Description

一种二次接线图智能识别方法、装置及存储介质

技术领域

本发明涉及一种二次接线图智能识别方法、装置及存储介质，属于图像处理技术领域。

背景技术

随着深度学习技术在计算机视觉领域的发展，越来越多的经典任务由神经网络完成，并能够取得与人类工作者相媲美的精度和显著优于人类的速度。

作为保障企业和居民用电电力供应的重要环节，电网公司需要经常性地对电力线缆的接线正确性进行大规模排查，传统的做法是委派工人对照图纸进行人工质检，这种方法的缺点是费时费力，并且排查质量严重依赖于工人的工作兴趣与精神状态。

发明内容

本发明的目的在于克服现有技术中的不足，提供了一种二次接线图智能识别方法、装置及存储介质。

第一方面，本发明提供了一种二次接线图智能识别方法，包括：

对待识别图纸进行预处理，获得处理后的图纸；

将处理后的图纸分别输入预先训练好的接线框检测模型和字符识别模型，输出接线框检测结果和字符识别结果；

将所述接线框检测结果和字符识别结果进行匹配，输出最终识别结果。

进一步的，所述待识别图纸的预处理包括：依次对待识别图纸进行图片格式转换、图纸方向调整和图纸大小调整。

进一步的，所述图纸大小调整包括：根据预先设定的规则，对待识别图纸进行图纸放大或图纸安全冗余分割。

进一步的，所述接线框检测模型的训练包括：

获取历史二次接线图，构建接线图集；

对所述接线图集进行预处理，构建接线图训练集；

对所述接线图训练集进行接线框标注，获得接线框训练集；

将接线框训练集通过神经网络训练，得到接线框检测模型。

进一步的，所述接线框检测模型通过YOLO神经网络训练得到。

进一步的，所述字符识别模型的训练包括：

获取历史二次接线图，构建接线图集；

对所述接线图集进行预处理，构建接线图训练集；

对所述接线图训练集进行字符标注，获得字符训练集；

将字符训练集通过神经网络训练，得到字符识别模型。

进一步的，所述字符识别模型通过OCR神经网络训练得到。

进一步的，所述接线图训练集的字符标注包括：使用半自动化标注技术对所述接线图集进行处理，获得图纸数据集，再对所述图纸数据集进行二次字符标注，获得字符训练集。

第二方面，本发明提供了一种装置，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行第一方面所述方法的步骤。

第三方面，本发明提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述方法的步骤。

与现有技术相比，本发明的有益效果为：本发明通过接线框检测模型和字符识别模型对图纸进行联合识别，直接获取需质检排查内容，提高了质检排查的效率；同时，接线框检测模型通过YOLO神经网络实现，提高了识别效率，降低了识别错误率；同时，字符识别模型通过OCR神经网络实现，可以处理任意长度的文本，提高了识别的适用性。

附图说明

图1是本发明实施例二次接线图智能识别方法工作流程图；

图2是本发明实施例接线框检测模型和字符识别模型训练示意图；

图3是本发明实施例小尺寸图纸制定的等比例放大与黑边填充策略示意图；

图4是本发明实施例大尺寸图纸制定的安全冗余分割算法示意图；

图5是本发明实施例感兴趣结果组配准方法示意图；

图6是本发明实施例输出的最终识别结果。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

本发明提供了一种二次接线图智能识别方法、装置及存储介质，下面结合附图和实施例对本发明做进一步的说明，其中：

实施例1：

如图1所示，本发明实施例提供了一种二次接线图智能识别方法，具体包括将待识别图纸进行预处理，再将处理后的文本分别输入接线框检测模型和字符识别模型，输出最终识别结果。

如图2所示，接线框检测模型和字符识别模型的训练包括：

采集图纸文件，构建接线图集，再对接线图集进行预处理，获得接线图训练集，预处理包括：

将接线图集中采集的PDF图纸文件转换为jpg格式的图片，并设置适当的dpi,使得在图像清晰度有保证的前提下计算不会占用过高的内存；使用Paddle-OCR的文字检测和文字角度预测套件来计算图纸的方向，针对横向图纸进行旋转。

根据实际需求，为统一图像输入尺寸，并解决超大图纸引起的内容爆炸问题，对小图纸放大、大图纸分割，使得图像的输入尺寸在3488*2560。

如图3所示，对小尺寸图纸进行等比例放大和黑边填充，对于大图纸则不能直接缩小，因为模型对小尺寸目标进行识别会出现精度下降的问题，本发明通过将大图纸进行分割，然后对每一张小图纸切片进行识别，为了避免在大图分割的过程中分割到接线框，从而影响切片图中的接线框识别效果，本发明采用一种针对大图纸的安全冗余分割策略，具体而言，相邻的切片之间包含一个尺寸为m*n的公共区域作为冗余块，使得即使前一块切片将待识别目标一分为二，后一块切片也能包含完整的目标。

安全冗余分割策略的具体实施方法如下：首先对所有目标的anchor大小进行聚类，得到结果[[72,25],[133,25],[144,23],[135,26],[135,28],[151,27],[187,23],[190,27],[247,28]]。对聚类结果分析，可知取300*300的冗余时能绝对覆盖任何待识别目标；所以横向分割图纸时，要求m＝3488且n≥300；纵向分割图纸时，要求n＝2560且m≥300。

举例如下：如图4所示，区域A为相邻两个切片的公共冗余区域，且尺寸为3488*1811；因为1811>300，所以认为区域A一定能够覆盖到待检测的接线框目标，即使某个切片(区域A左边或右边的切片)将接线框目标一分为二，另一个切片也一定能包含完整的接线框目标，这样就不会在分割大图纸的过程中造成目标漏检问题；识别完成后，对识别结果进行位置映射，所有在切片图纸中的检测框坐标信息可以统一映射到原图的坐标系下，这样就得到了与直接识别大图纸完全相同的识别效果，且统一了YOLO模型的输入尺寸，也避免了直接识别大图纸可能耗尽内存从而引起系统崩溃的问题。

接线图集预处理后，对获得的接线图训练集分别进行接线框标注和字符标注，获得接线框训练集和字符训练集，字符标注通过半自动化标注技术对所述接线图集进行处理，获得图纸数据集，再对获得的图纸数据集进行二次字符标注，从而获得字符训练集。

接线框训练集通过YOLO神经网络训练，得到接线框检测模型；字符训练集通过OCR神经网络训练，得到字符识别模型。

获得识别模型后，具体操作如下：首先，对待识别图纸进行处理，依次进行图片格式转换、图纸方向调整和图纸大小调整，图纸大小调整包括图纸放大和图纸安全冗余分割，调整后的图纸尺寸为3488*2560；然后，将处理后的待识别图纸输入接线框检测模型和字符识别模型，输出接线框检测结果和字符识别结果，接线框检测结果包括每个接线框的坐标，字符识别结果包括每块文字的坐标和识别结果，对于大尺寸图纸的每一个切片，运行坐标转换程序，将小切片的识别坐标结果映射回原图的坐标系下；最后，通过感兴趣结果组配准方法以接线框的坐标为基准，横向匹配接线标牌与接线线缆内容，如图5所示，标牌1和7右边检测到了接线框，说明需要返回标牌1和7的接线线缆信息，由于图中两个标牌右边都没有接线，所以对应的线缆信息是None，如图6所示，返回识别到的有接线框的每一对标牌和线缆的信息，即为输出的最终识别结果。

实施例2：

本实施例提供了一种装置，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行实施例1所述方法的步骤。

实施例3：

本实施例提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种二次接线图智能识别方法，其特征在于，包括以下步骤：

对待识别图纸进行预处理，获得处理后的图纸；

将处理后的图纸分别输入预先训练好的接线框检测模型和字符识别模型，输出接线框检测结果和字符识别结果；

将所述接线框检测结果和字符识别结果进行匹配，输出最终识别结果。

2.根据权利要求1所述的二次接线图智能识别方法，其特征在于，所述待识别图纸的预处理包括：依次对待识别图纸进行图片格式转换、图纸方向调整和图纸大小调整。

3.根据权利要求2所述的二次接线图智能识别方法，其特征在于，所述图纸大小调整包括：根据预先设定的规则，对待识别图纸进行图纸放大或图纸安全冗余分割。

4.根据权利要求1所述的二次接线图纸智能识别方法，其特征在于，所述接线框检测模型的训练包括：

获取历史二次接线图，构建接线图集；

对所述接线图集进行预处理，构建接线图训练集；

对所述接线图训练集进行接线框标注，获得接线框训练集；

将接线框训练集通过神经网络训练，得到接线框检测模型。

5.根据权利要求4所述的二次接线图纸智能识别方法，其特征在于，所述接线框检测模型通过YOLO神经网络训练得到。

6.根据权利要求1所述的二次接线图纸智能识别方法，其特征在于，所述字符识别模型的训练包括：

获取历史二次接线图，构建接线图集；

对所述接线图集进行预处理，构建接线图训练集；

对所述接线图训练集进行字符标注，获得字符训练集；

将字符训练集通过神经网络训练，得到字符识别模型。

7.根据权利要求6所述的二次接线图纸智能识别方法，其特征在于，所述字符识别模型通过OCR神经网络训练得到。

8.根据权利要求6所述的二次接线图纸智能识别方法，其特征在于，所述接线图训练集的字符标注包括：使用半自动化标注技术对所述接线图集进行处理，获得图纸数据集，再对所述图纸数据集进行二次字符标注，获得字符训练集。

9.一种装置，其特征在于，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据权利要求1至8任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。

Images