CN114299533A - 基于人工智能的电网接线图元件和线路识别系统及方法 - Google Patents

Abstract

本发明提供了一种基于人工智能的电网接线图元件和线路识别系统及方法，包括：步骤1，将原电网厂接线图输入综合检测子系统，对图像内的元件和文字进行初步的位置确认，得到第一电网厂接线图，基于第一电网厂接线图通过检测子系统获取仅包含文字信息的第二电网厂接线图和仅包含元件信息的第三电网厂接线图，综合检测子系统将第一电网厂接线图输入元件类别识别系统，将第二电网厂接线图输入文字识别与位置矫正子系统，将第三电网厂接线图输入线的拓扑关系模型子系统。本发明针对小物体进行有效的识别和判断，提高了在不同比例尺下的小物体的检测，针对图片大小进行裁剪，使每个子图中的小目标占比大致一致，从而解决不同大小的小目标的检测。

Description

基于人工智能的电网接线图元件和线路识别系统及方法

技术领域

本发明涉及接线图识别技术领域，特别涉及一种基于人工智能的电网接线图元件和线路识别系统及方法。

背景技术

目前在目标识别领域，主要运用yolo检测模型进行目标检测，且关于电网厂接线图并没有较多的运用，由于电网厂接线图较为复杂，较为细小，更需要yolo针对小目标进行处理，且针对电网厂接线图的元件连线关系的判定，目前更多的运用拓扑关系直接进行相应的线与线连接关系的判定，暂无根据图像的分析结果再进行判定的模型。电网厂接线图是由不同的电厂绘制而成，且描述的电厂的复杂程度不同，导致整张接线图的大小和分辨率是不同的，对于普通yolo模型，需要识别的框的大小很难拟合一致，最终导致精度下降。

发明内容

本发明提供了一种基于人工智能的电网接线图元件和线路识别系统及方法，其目的是为了解决由于电网厂接线图的大小和分辨率不同，对于普通yolo模型，需要识别的框的大小很难拟合一致，最终导致精度下降的问题。

为了达到上述目的，本发明的实施例提供了一种基于人工智能的电网接线图元件和线路识别系统，包括：

综合检测子系统，所述综合检测子系统用于对电网厂接线图内的元件和文字进行初步的位置确认；

元件类别识别系统，所述元件类别识别系统用于检测文字的位置、元件的位置、元件的类别和元件的角度，所述元件类别识别系统的第一端与所述综合检测子系统的第一端电连接；

文字识别与位置矫正子系统，所述文字识别与位置矫正子系统的第一端与所述综合检测子系统的第二端电连接，所述文字识别与位置矫正子系统用于对文字进行检测和识别；

线的拓扑关系模型子系统，所述线的拓扑关系模型子系统的第一端与所述元件类别识别子系统的第二端电连接，所述线的拓扑关系模型子系统的第二端与所述文字识别与位置矫正子系统的第二端电连接，所述线的拓扑关系模型子系统用于识别电路图中所有线的连接关系；

元件拓扑关系判别子系统，所述元件拓扑关系判别子系统的第一端与所述综合检测子系统的第三端电连接，所述元件拓扑关系判别子系统的第二端与所述文字识别与位置矫正子系统的第三端电连接，所述元件拓扑关系判别子系统的第三端与所述线的拓扑关系模型子系统的第三端电连接，所述元件拓扑关系判别子系统用于元件拓扑关系的判别。

本发明的实施例还提供了一种基于人工智能的电网接线图元件和线路识别方法，包括：

步骤1，将原电网厂接线图输入综合检测子系统，对图像内的元件和文字进行初步的位置确认，得到第一电网厂接线图，基于第一电网厂接线图通过检测子系统获取仅包含文字信息的第二电网厂接线图和仅包含元件信息的第三电网厂接线图，综合检测子系统将第一电网厂接线图输入元件类别识别系统，将第二电网厂接线图输入文字识别与位置矫正子系统，将第三电网厂接线图输入线的拓扑关系模型子系统；

步骤2，文字识别与位置矫正子系统对输入的第二电网厂接线图进行文字识别和位置修正，得到文字的基本信息，文字的基本信息为文字在电网接线图中位置和文字内容信息，文字识别与位置矫正子系统将文字的基本信息分别输入线的拓扑关系模型子系统对线的名称进行命名和元件拓扑关系判别子系统对元件的类别进行修正；

步骤3，线的拓扑关系模型子系统根据第三电网厂接线图和文字的基本信息进行所有线的连接关系和线的编号名称的获取，并根据线的连接关系对元件位置进行修正，对文字的基本信息进行调整，得到线连接关系图，线的拓扑关系模型子系统将线连接关系图输入元件拓扑关系判别子系统；

步骤4，元件拓扑关系判别子系统根据元件的类别和位置结果、文字的类别和位置结果和线连接关系图进行元件拓扑关系判别，得到图片描述结果。

其中，所述步骤1具体包括：

步骤11，将原电网厂接线图输入元件检测分类系统中的初步元件检测模型，初步元件检测模型输出原电网厂接线图中最小元件的尺寸：

步骤111，初步元件检测模型对原电网厂接线图进行检测，判断原电网厂接线图中是否能检测出元件；

步骤112，当原电网厂接线图中未出现元件时，对初步元件检测模型进行修正迭代；

步骤113，当原电网厂接线图中出现元件时，初步元件检测模型寻找出原电网厂接线图的最小元件并输出最小元件的尺寸。

其中，所述步骤1还包括：

步骤12，根据最小元件的尺寸占原电网厂接线图的比例对原电网厂接线图进行剪裁，裁剪后的子图比例一致，将原电网厂接线图剪裁为多张子图；

裁剪的过程中计算裁剪框的大小，如下所示：

其中，minimum_element表示图片中最小元件的面积，ratio表示比例系数，整数6位检测模型中，在一张图片中检测到的最小像素之和为6，在此基础上加入系数，input_size表示元件子图模型输入的图片大小，crop_window_size表示裁剪框的边长大小。

其中，所述步骤1还包括：

步骤13，将多张子图分别进行去噪点、灰度图和HOG变换的预处理，得到处理后的多张子图；

步骤14，对元件检测分类系统中的子图检测模型进行初始值设定，根据电网厂接线图中的框的长宽比例和电网厂接线图中的黑白特性对子图检测模型的损失函数进行修正，将直线拐角判定加入损失函数的判定中，得到修正后的子图检测模型；

步骤15，将处理后的多张子图输入修正后的子图检测模型进行每张子图的元件位置和文字位置检测并标注出预测框，其中，预测框包括元件框和文字框，得到标注后的多张子图。

其中，所述步骤1还包括：

步骤16，对标注后的多张子图进行子图拼接，得到最终元件检测图片：

步骤161，将标注后的多张子图按子图位置进行拼图，将每张标注后的子图中的元件和文字框进行融合拼接；

步骤162，将每张标注后的子图中的元件框分别与邻近的标注后的子图中的其他的元件框进行iou匹配，iou匹配计算公式，如下所示：

其中，iou_small表示两个元件框的重叠系数，即判断重叠程度，0表示两个元件框不重叠相互分离，1表示两个元件框完全重叠，Sinner表示两个元件框的重叠面积，S1表示第一个元件框的面积，S2表示第二个元件框的面积；

步骤163，当两个元件框的iou匹配值大于设定的iou匹配阈值时，计算两个元件框的置信度之差和两个元件框的面积之差，判断两个元件框的置信度之差是否大于设定的置信度差阈值和两个元件框的面积之差是否大于设定的面积差阈值；

步骤164，当两个元件框的置信度之差小于设定的置信度差阈值且两个元件框的面积之差小于设定的面积差阈值时，判定当前两个元件框为同一物体，将两个元件框进行相应组合；

步骤165，当两个元件框的置信度之差大于设定的置信度差阈值且两个元件框的面积之差大于设定的面积差阈值时，舍弃小面积的预测框，选择大面积的元件框；

步骤166，当两个元件框的置信度之差小于设定的置信度差阈值且两个元件框的面积之差大于设定的面积差阈值时，判定小面积的元件框为补充项，将小面积的元件框与大面积的元件框进行融合；

步骤167，当两个元件框的置信度之差大于设定的置信度差阈值且两个元件框的面积之差小于设定的面积差阈值时，判定两个元件框出现重叠错误元件，根据其他子图寻找出相似出现次数，进行错误重叠剔除；

步骤168，直到完成所有标注后的子图与邻近的标注后的子图之间的元件框的iou匹配，得到最终的元件检测图片。

其中，所述步骤1还包括：

步骤17，修改后的子图检测模型输出最终的元件检测图片；

步骤18，根据最终的元件检测图片中各元件的坐标从最终的元件检测图片中取出元件，形成仅含元件的数据集，将仅含元件的数据集输入第一残差网络进行元件分类，得到各元件类别并将各元件类别标注到最终的元件检测图片上；

步骤19，将仅含元件的数据集输入第二残差网络进行元件角度区分，得到各元件的角度并将各元件的角度标注到最终的元件检测图片上，得到第一电网厂接线图。

其中，所述步骤2具体包括：

对第二电网厂接线图中的所有的文字框执行以下步骤：

步骤21，将输入的第二电网厂接线图转为灰度图，通过自适应阈值对灰度图进行处理并采用开运算去除灰度图中的噪声；

步骤22，对去除噪声后的灰度图中的字符进行按行求像素值的和，判断一行像素值的和是否为零；

步骤23，当一行像素值的和为零时，表示当前行不含有字符为空白区域；

步骤24，当一行像素值的和不为零时，表示当前行属于字符中的一行，跳转到步骤22，直到再次得到一行像素值的和不为零，则两行中间的行构成一个字符，将字符保存到字典character_dict中。

其中，所述步骤2还包括：

步骤25，字典的key值表示第几个字符，字典的value值表示起始行的下标和终止行的下标，每一个元素中的value值为一个列表记录了一个字符的起始列下标和终止列下标，得到字符行数；

步骤26，根据字符行数判断，当文字行数大于1时，将文字加白边变成原图长边的三倍长的正方形，使用光学字符识别中的文字检测与文字识别网络进行识别，得到文字的基本信息；

步骤27，当字符行数小于1时，使用光学字符识别中的文字识别网络进行识别，得到文字的基本信息。

其中，所述步骤3具体包括：

步骤31，根据元件类别和元件位置选取待检测元件和非标准文件，将选取出的非标准文件进行剔除；

步骤32，根据文字位置和识别选取待检测元件，将所有选取出的待检测元件进行剔除，得到只有线的图片；

步骤33，对只有线的图片进行像素点运算、二值化和去噪点的预处理，获得横线和竖线的位置，得到线连接关系图。

本发明的上述方案有如下的有益效果：

本发明的上述实施例所述的基于人工智能的电网接线图元件和线路识别系统及方法，主要针对小物体进行有效的识别和判断，从而提高在不同比例尺下的小物体的检测，即有部分图的本身尺寸较大，而物体占比较小，针对图片大小进行裁剪，使每个子图中的小目标占比大致一致，从而解决不同大小的小目标的检测；通过二次检测和裁剪融合的方法，将不同的电厂接线图换算成相同比例尺，即是每个子图中得小目标占比保持一致，从而能够有效的提高元件检测的准确率，将图片信息最终转换为文字信息，包括元件、元件名称、以及线路接线情况，能够将纸质信息转换为电子信息进行储存，对于线路识别，能够达到较高精准度，能够将线路的节点以及线路的名称等信息进行补充和完善，且能够将元件与元件的关系，通过拓扑运算进行连接，将元件与线能够有效地加入到最终的信息文件中。

附图说明

图1为本发明的总体流程图；

图2为本发明的结构框图；

图3为本发明的元件类别识别系统的具体流程图；

图4为本发明的文字识别与位置矫正子系统的具体流程图；

图5为本发明的线的拓扑关系模型子系统的的具体流程图；

图6为本发明的最终的元件检测图；

图7为本发明的第一次线检测结果示意图；

图8为本发明的第二次线检测结果示意图；

图9为本发明的未裁剪的yolo检测模型训练结果示意图；

图10为本发明的裁剪的yolo检测模型训练结果示意图；

图11为本发明的第一残差网络的结果示意图。

【附图标记说明】

1-综合检测子系统；2-文字识别与位置矫正子系统；3-元件类别识别系统；4-线的拓扑关系模型子系统；5-元件拓扑关系判别子系统。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的由于电网厂接线图的大小和分辨率不同，对于普通yolo模型，需要识别的框的大小很难拟合一致，最终导致精度下降的问题，提供了一种基于人工智能的电网接线图元件和线路识别系统及方法。

如图1至图11所示，本发明的实施例提供了一种基于人工智能的电网接线图元件和线路识别系统，包括：综合检测子系统1，所述综合检测子系统1用于对电网厂接线图内的元件和文字进行初步的位置确认；元件类别识别系统3，所述元件类别识别系统3用于检测文字的位置、元件的位置、元件的类别和元件的角度，所述元件类别识别系统3的第一端与所述综合检测子系统1的第一端电连接；文字识别与位置矫正子系统2，所述文字识别与位置矫正子系统2的第一端与所述综合检测子系统1的第二端电连接，所述文字识别与位置矫正子系统2用于对文字进行检测和识别；线的拓扑关系模型子系统4，所述线的拓扑关系模型子系统4的第一端与所述元件类别识别子系统的第二端电连接，所述线的拓扑关系模型子系统4的第二端与所述文字识别与位置矫正子系统2的第二端电连接，所述线的拓扑关系模型子系统4用于识别电路图中所有线的连接关系；元件拓扑关系判别子系统5，所述元件拓扑关系判别子系统5的第一端与所述综合检测子系统1的第三端电连接，所述元件拓扑关系判别子系统5的第二端与所述文字识别与位置矫正子系统2的第三端电连接，所述元件拓扑关系判别子系统5的第三端与所述线的拓扑关系模型子系统4的第三端电连接，所述元件拓扑关系判别子系统5用于元件拓扑关系的判别。

本发明的上述实施例所述的基于人工智能的电网接线图元件和线路识别系统及方法，元件检测系统，针对所给的电网厂接线图，该系统的输入为电网场接线图，通过目标检测模型，最终得到两个分支的输出，分别文字和元件的相关信息。文字信息包括文字所处位置，元件信息包括元件位置、元件类别以及元件角度。文字识别系统，实现在元件检测系统中得到的文字位置范围内，进行文字识别，并根据电网厂接线图的相关文字特性，对文字进行在此修正，由于接线图中的文字与元件是一一对应的，针对元件种类和元件的文字提点对文字识别进行再次修正；线的拓扑关系模型，运用图像处理手段，通过对像素点的腐蚀膨胀，从而能够分析出各条线的具体位置，再根据元件的种类和文字的信息，得到每条线的相关连接信息，从而最终得到所有电路图的线的连接关系，并且根据连线拓扑关系，能够修正元件的位置调整以及文字的结果。

本发明的实施例还提供了一种基于人工智能的电网接线图元件和线路识别方法，包括：步骤1，将原电网厂接线图输入综合检测子系统1，对图像内的元件和文字进行初步的位置确认，得到第一电网厂接线图，基于第一电网厂接线图通过检测子系统获取仅包含文字信息的第二电网厂接线图和仅包含元件信息的第三电网厂接线图，综合检测子系统1将第一电网厂接线图输入元件类别识别系统3，将第二电网厂接线图输入文字识别与位置矫正子系统2，将第三电网厂接线图输入线的拓扑关系模型子系统4；步骤2，文字识别与位置矫正子系统2对输入的第二电网厂接线图进行文字识别和位置修正，得到文字的基本信息，文字的基本信息为文字在电网接线图中位置和文字内容信息，文字识别与位置矫正子系统2将文字的基本信息分别输入线的拓扑关系模型子系统4对线的名称进行命名和元件拓扑关系判别子系统5对元件的类别进行修正；步骤3，线的拓扑关系模型子系统4根据第三电网厂接线图和文字的基本信息进行所有线的连接关系和线的编号名称的获取，并根据线的连接关系对元件位置进行修正，对文字的基本信息进行调整，得到线连接关系图，线的拓扑关系模型子系统4将线连接关系图输入元件拓扑关系判别子系统5；步骤4，元件拓扑关系判别子系统5根据元件的类别和位置结果、文字的类别和位置结果和线连接关系图进行元件拓扑关系判别，得到图片描述结果。

本发明的上述实施例所述的基于人工智能的电网接线图元件和线路识别系统及方法，元件到变压器的电压改变情况，从母线出发，根据拓扑树的原则，判定是否遍历到变压器，若没有遍历到变压器，该条线路上路过的每个原件均为该电压；线段交点的判断，交点分为电线与电线，以及母线与电线，其中电线与电线从连接点出发，分别将其分为两个小线段；母线与电线主要判别是否有圆圈出现，圆圈出现或者该线路中出现元件，则判定该条线与母线向量，否则是跨越情况、附近文本相关联，在线的拓扑关系中，不仅仅只需要判断线的位置和连接情况，根据连接情况，需要对整个图片中的元件进行命名，命名方式根据线的连接关系，从而得到图片中所有线段和元件的名字命名。

其中，所述步骤1具体包括：步骤11，将原电网厂接线图输入元件检测分类系统中的初步元件检测模型，初步元件检测模型输出原电网厂接线图中最小元件的尺寸：步骤111，初步元件检测模型对原电网厂接线图进行检测，判断原电网厂接线图中是否能检测出元件；步骤112，当原电网厂接线图中未出现元件时，对初步元件检测模型进行修正迭代；步骤113，当原电网厂接线图中出现元件时，初步元件检测模型寻找出原电网厂接线图的最小元件并输出最小元件的尺寸。

本发明的上述实施例所述的基于人工智能的电网接线图元件和线路识别系统及方法，初步元件检测模型和子图检测模型均为yolo检测模型。

其中，所述步骤1还包括：步骤12，根据最小元件的尺寸占原电网厂接线图的比例对原电网厂接线图进行剪裁，裁剪后的子图比例一致，将原电网厂接线图剪裁为多张子图；

裁剪的过程中计算裁剪框的大小，如下所示：

其中，minimum_element表示图片中最小元件的面积，ratio表示比例系数，整数6位检测模型中，在一张图片中检测到的最小像素之和为6，在此基础上加入系数，input_size表示元件子图模型输入的图片大小，crop_window_size表示裁剪框的边长大小。

其中，所述步骤1还包括：步骤13，将多张子图分别进行去噪点、灰度图和HOG变换的预处理，得到处理后的多张子图；步骤14，对元件检测分类系统中的子图检测模型进行初始值设定，根据电网厂接线图中的框的长宽比例和电网厂接线图中的黑白特性对子图检测模型的损失函数进行修正，将直线拐角判定加入损失函数的判定中，得到修正后的子图检测模型；步骤15，将处理后的多张子图输入修正后的子图检测模型进行每张子图的元件位置和文字位置检测并标注出预测框，其中，预测框包括元件框和文字框，得到标注后的多张子图。

其中，所述步骤1还包括：步骤16，对标注后的多张子图进行子图拼接，得到最终元件检测图片：步骤161，将标注后的多张子图按子图位置进行拼图，将每张标注后的子图中的元件和文字框进行融合拼接；步骤162，将每张标注后的子图中的元件框分别与邻近的标注后的子图中的其他的元件框进行iou匹配，iou匹配计算公式，如下所示：

其中，iou_small表示两个元件框的重叠系数，即判断重叠程度，0表示两个元件框不重叠相互分离，1表示两个元件框完全重叠，Sinner表示两个元件框的重叠面积，S1表示第一个元件框的面积，S2表示第二个元件框的面积；

步骤163，当两个元件框的iou匹配值大于设定的iou匹配阈值时，计算两个元件框的置信度之差和两个元件框的面积之差，判断两个元件框的置信度之差是否大于设定的置信度差阈值和两个元件框的面积之差是否大于设定的面积差阈值；步骤164，当两个元件框的置信度之差小于设定的置信度差阈值且两个元件框的面积之差小于设定的面积差阈值时，判定当前两个元件框为同一物体，将两个元件框进行相应组合；步骤165，当两个元件框的置信度之差大于设定的置信度差阈值且两个元件框的面积之差大于设定的面积差阈值时，舍弃小面积的预测框，选择大面积的元件框；步骤166，当两个元件框的置信度之差小于设定的置信度差阈值且两个元件框的面积之差大于设定的面积差阈值时，判定小面积的元件框为补充项，将小面积的元件框与大面积的元件框进行融合；步骤167，当两个元件框的置信度之差大于设定的置信度差阈值且两个元件框的面积之差小于设定的面积差阈值时，判定两个元件框出现重叠错误元件，根据其他子图寻找出相似出现次数，进行错误重叠剔除；步骤168，直到完成所有标注后的子图与邻近的标注后的子图之间的元件框的iou匹配，得到最终的元件检测图片。

本发明的上述实施例所述的基于人工智能的电网接线图元件和线路识别系统及方法，在拼接子图的过程中，主要运用了非极大值抑制的思维，首先确定不同类别，在每个框属于的类别中，将每张子图中的yolo输出中的元件和文字框进行融合拼接，将每个子图中的元件框与其他的元件框进行iou匹配，对于iou较大的两个框，针对每个框的confidence即置信度进行融合，若两者的框的confidence小于某个阈值，则判定两个框为代表同一个位置，判定为框的位置出现了微小的偏差，将两个框进行融合；而对于confidence大于某个阈值，则判定两个框中有一个框是对的，而另一个框偏差较大，只选取较大的置信度的框作为融合后的框。

其中，所述步骤1还包括：步骤17，修改后的子图检测模型输出最终的元件检测图片；步骤18，根据最终的元件检测图片中各元件的坐标从最终的元件检测图片中取出元件，形成仅含元件的数据集，将仅含元件的数据集输入第一残差网络进行元件分类，得到各元件类别并将各元件类别标注到最终的元件检测图片上；步骤19，将仅含元件的数据集输入第二残差网络进行元件角度区分，得到各元件的角度并将各元件的角度标注到最终的元件检测图片上，得到第一电网厂接线图。

本发明的上述实施例所述的基于人工智能的电网接线图元件和线路识别系统及方法，对于元件分类，首先，根据目标检测得到的各元件坐标从原图中取出元件，形成仅含元件的数据集，使用第一残差网络进行分类，确定各元件类别；其次，由于相同类型元件需要区分角度，在元件类别确定的基础上进一步扩充数据集，增加相同类别不同角度的图像，再次使用第二残差网络对四个角度进行分类。

其中，所述步骤2具体包括：对第二电网厂接线图中的所有的文字框执行以下步骤：步骤21，将输入的第二电网厂接线图转为灰度图，通过自适应阈值对灰度图进行处理并采用开运算去除灰度图中的噪声；步骤22，对去除噪声后的灰度图中的字符进行按行求像素值的和，判断一行像素值的和是否为零；步骤23，当一行像素值的和为零时，表示当前行不含有字符为空白区域；步骤24，当一行像素值的和不为零时，表示当前行属于字符中的一行，跳转到步骤22，直到再次得到一行像素值的和不为零，则两行中间的行构成一个字符，将字符保存到字典character_dict中。

其中，所述步骤2还包括：步骤25，字典的key值表示第几个字符，字典的value值表示起始行的下标和终止行的下标，每一个元素中的value值为一个列表记录了一个字符的起始列下标和终止列下标，得到字符行数；步骤26，根据字符行数判断，当文字行数大于1时，将文字加白边变成原图长边的三倍长的正方形，使用光学字符识别中的文字检测与文字识别网络进行识别，得到文字的基本信息；步骤27，当字符行数小于1时，使用光学字符识别中的文字识别网络进行识别，得到文字的基本信息。

其中，所述步骤3具体包括：步骤31，根据元件类别和元件位置选取待检测元件和非标准文件，将选取出的非标准文件进行剔除；步骤32，根据文字位置和识别选取待检测元件，将所有选取出的待检测元件进行剔除，得到只有线的图片；步骤33，对只有线的图片进行像素点运算、二值化和去噪点的预处理，获得横线和竖线的位置，得到线连接关系图。

本发明的上述实施例所述的基于人工智能的电网接线图元件和线路识别系统及方法，首先针对裁剪前后的准确率的进行对比，图9为未裁剪的yolo检测模型训练结果，图10为裁剪后的yolo检测模型训练结果；通过训练结果对比图，可以发现map有一定的提升，验证集中的各项损失函数均有一定的降低。在目标检测之后，训练了两个残差网络分别进行类别和角度的训练，第一残差网络的结果如图11，通过类别检测的结果可以发现，附加的resnet的结果最终的准确度能达到0.99，从而有效地提升了检测后端的分类的准确率。

本发明的上述实施例所述的基于人工智能的电网接线图元件和线路识别系统及方法，主要运用于电厂网接线的无纸化服务，且由于主要探讨小物体元件的识别，可以主要针对小物体进行有效的识别和判断，从而提高在不同比例尺下的小物体的检测，即有部分图的本身尺寸较大，而物体占比较小，针对图片大小进行裁剪，使每个子图中的小目标占比大致一致，从而解决不同大小的小目标的检测。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于人工智能的电网接线图元件和线路识别系统，其特征在于，包括：

综合检测子系统，所述综合检测子系统用于对电网厂接线图内的元件和文字进行初步的位置确认；

元件类别识别系统，所述元件类别识别系统用于检测文字的位置、元件的位置、元件的类别和元件的角度，所述元件类别识别系统的第一端与所述综合检测子系统的第一端电连接；

文字识别与位置矫正子系统，所述文字识别与位置矫正子系统的第一端与所述综合检测子系统的第二端电连接，所述文字识别与位置矫正子系统用于对文字进行检测和识别；

线的拓扑关系模型子系统，所述线的拓扑关系模型子系统的第一端与所述元件类别识别子系统的第二端电连接，所述线的拓扑关系模型子系统的第二端与所述文字识别与位置矫正子系统的第二端电连接，所述线的拓扑关系模型子系统用于识别电路图中所有线的连接关系；

元件拓扑关系判别子系统，所述元件拓扑关系判别子系统的第一端与所述综合检测子系统的第三端电连接，所述元件拓扑关系判别子系统的第二端与所述文字识别与位置矫正子系统的第三端电连接，所述元件拓扑关系判别子系统的第三端与所述线的拓扑关系模型子系统的第三端电连接，所述元件拓扑关系判别子系统用于元件拓扑关系的判别。

2.一种基于人工智能的电网接线图元件和线路识别方法，应用于如权利要求1所述的基于人工智能的电网接线图元件和线路识别系统，其特征在于，包括：

步骤1，将原电网厂接线图输入综合检测子系统，对图像内的元件和文字进行初步的位置确认，得到第一电网厂接线图，基于第一电网厂接线图通过检测子系统获取仅包含文字信息的第二电网厂接线图和仅包含元件信息的第三电网厂接线图，综合检测子系统将第一电网厂接线图输入元件类别识别系统，将第二电网厂接线图输入文字识别与位置矫正子系统，将第三电网厂接线图输入线的拓扑关系模型子系统；

步骤2，文字识别与位置矫正子系统对输入的第二电网厂接线图进行文字识别和位置修正，得到文字的基本信息，文字的基本信息为文字在电网接线图中位置和文字内容信息，文字识别与位置矫正子系统将文字的基本信息分别输入线的拓扑关系模型子系统对线的名称进行命名和元件拓扑关系判别子系统对元件的类别进行修正；

步骤3，线的拓扑关系模型子系统根据第三电网厂接线图和文字的基本信息进行所有线的连接关系和线的编号名称的获取，并根据线的连接关系对元件位置进行修正，对文字的基本信息进行调整，得到线连接关系图，线的拓扑关系模型子系统将线连接关系图输入元件拓扑关系判别子系统；

步骤4，元件拓扑关系判别子系统根据元件的类别和位置结果、文字的类别和位置结果和线连接关系图进行元件拓扑关系判别，得到图片描述结果。

3.根据权利要求2所述的基于人工智能的电网接线图元件和线路识别方法，其特征在于，所述步骤1具体包括：

步骤11，将原电网厂接线图输入元件检测分类系统中的初步元件检测模型，初步元件检测模型输出原电网厂接线图中最小元件的尺寸：

步骤111，初步元件检测模型对原电网厂接线图进行检测，判断原电网厂接线图中是否能检测出元件；

步骤112，当原电网厂接线图中未出现元件时，对初步元件检测模型进行修正迭代；

步骤113，当原电网厂接线图中出现元件时，初步元件检测模型寻找出原电网厂接线图的最小元件并输出最小元件的尺寸。

4.根据权利要求3所述的基于人工智能的电网接线图元件和线路识别方法，其特征在于，所述步骤1还包括：

步骤12，根据最小元件的尺寸占原电网厂接线图的比例对原电网厂接线图进行剪裁，裁剪后的子图比例一致，将原电网厂接线图剪裁为多张子图；

裁剪的过程中计算裁剪框的大小，如下所示：

其中，minimum_element表示图片中最小元件的面积，ratio表示比例系数，整数6位检测模型中，在一张图片中检测到的最小像素之和为6，在此基础上加入系数，input_size表示元件子图模型输入的图片大小，crop_window_size表示裁剪框的边长大小。

5.根据权利要求4所述的基于人工智能的电网接线图元件和线路识别方法，其特征在于，所述步骤1还包括：

步骤13，将多张子图分别进行去噪点、灰度图和HOG变换的预处理，得到处理后的多张子图；

步骤14，对元件检测分类系统中的子图检测模型进行初始值设定，根据电网厂接线图中的框的长宽比例和电网厂接线图中的黑白特性对子图检测模型的损失函数进行修正，将直线拐角判定加入损失函数的判定中，得到修正后的子图检测模型；

步骤15，将处理后的多张子图输入修正后的子图检测模型进行每张子图的元件位置和文字位置检测并标注出预测框，其中，预测框包括元件框和文字框，得到标注后的多张子图。

6.根据权利要求5所述的基于人工智能的电网接线图元件和线路识别方法，其特征在于，所述步骤1还包括：

步骤16，对标注后的多张子图进行子图拼接，得到最终元件检测图片：

步骤161，将标注后的多张子图按子图位置进行拼图，将每张标注后的子图中的元件和文字框进行融合拼接；

步骤162，将每张标注后的子图中的元件框分别与邻近的标注后的子图中的其他的元件框进行iou匹配，iou匹配计算公式，如下所示：

其中，iou_small表示两个元件框的重叠系数，即判断重叠程度，0表示两个元件框不重叠相互分离，1表示两个元件框完全重叠，Sinner表示两个元件框的重叠面积，S1表示第一个元件框的面积，S2表示第二个元件框的面积；

步骤163，当两个元件框的iou匹配值大于设定的iou匹配阈值时，计算两个元件框的置信度之差和两个元件框的面积之差，判断两个元件框的置信度之差是否大于设定的置信度差阈值和两个元件框的面积之差是否大于设定的面积差阈值；

步骤164，当两个元件框的置信度之差小于设定的置信度差阈值且两个元件框的面积之差小于设定的面积差阈值时，判定当前两个元件框为同一物体，将两个元件框进行相应组合；

步骤165，当两个元件框的置信度之差大于设定的置信度差阈值且两个元件框的面积之差大于设定的面积差阈值时，舍弃小面积的预测框，选择大面积的元件框；

步骤166，当两个元件框的置信度之差小于设定的置信度差阈值且两个元件框的面积之差大于设定的面积差阈值时，判定小面积的元件框为补充项，将小面积的元件框与大面积的元件框进行融合；

步骤167，当两个元件框的置信度之差大于设定的置信度差阈值且两个元件框的面积之差小于设定的面积差阈值时，判定两个元件框出现重叠错误元件，根据其他子图寻找出相似出现次数，进行错误重叠剔除；

步骤168，直到完成所有标注后的子图与邻近的标注后的子图之间的元件框的iou匹配，得到最终的元件检测图片。

7.根据权利要求6所述的基于人工智能的电网接线图元件和线路识别方法，其特征在于，所述步骤1还包括：

步骤17，修改后的子图检测模型输出最终的元件检测图片；

步骤18，根据最终的元件检测图片中各元件的坐标从最终的元件检测图片中取出元件，形成仅含元件的数据集，将仅含元件的数据集输入第一残差网络进行元件分类，得到各元件类别并将各元件类别标注到最终的元件检测图片上；

步骤19，将仅含元件的数据集输入第二残差网络进行元件角度区分，得到各元件的角度并将各元件的角度标注到最终的元件检测图片上，得到第一电网厂接线图。

8.根据权利要求7所述的基于人工智能的电网接线图元件和线路识别方法，其特征在于，所述步骤2具体包括：

对第二电网厂接线图中的所有的文字框执行以下步骤：

步骤21，将输入的第二电网厂接线图转为灰度图，通过自适应阈值对灰度图进行处理并采用开运算去除灰度图中的噪声；

步骤22，对去除噪声后的灰度图中的字符进行按行求像素值的和，判断一行像素值的和是否为零；

步骤23，当一行像素值的和为零时，表示当前行不含有字符为空白区域；

步骤24，当一行像素值的和不为零时，表示当前行属于字符中的一行，跳转到步骤22，直到再次得到一行像素值的和不为零，则两行中间的行构成一个字符，将字符保存到字典character_dict中。

9.根据权利要求8所述的基于人工智能的电网接线图元件和线路识别方法，其特征在于，所述步骤2还包括：

步骤25，字典的key值表示第几个字符，字典的value值表示起始行的下标和终止行的下标，每一个元素中的value值为一个列表记录了一个字符的起始列下标和终止列下标，得到字符行数；

步骤26，根据字符行数判断，当文字行数大于1时，将文字加白边变成原图长边的三倍长的正方形，使用光学字符识别中的文字检测与文字识别网络进行识别，得到文字的基本信息；

步骤27，当字符行数小于1时，使用光学字符识别中的文字识别网络进行识别，得到文字的基本信息。

10.根据权利要求9所述的基于人工智能的电网接线图元件和线路识别方法，其特征在于，所述步骤3具体包括：

步骤31，根据元件类别和元件位置选取待检测元件和非标准文件，将选取出的非标准文件进行剔除；

步骤32，根据文字位置和识别选取待检测元件，将所有选取出的待检测元件进行剔除，得到只有线的图片；

步骤33，对只有线的图片进行像素点运算、二值化和去噪点的预处理，获得横线和竖线的位置，得到线连接关系图。

Images