CN116403235A - 一种基于计算机视觉的电气接线图识别系统和方法 - Google Patents
一种基于计算机视觉的电气接线图识别系统和方法 Download PDFInfo
- Publication number
- CN116403235A CN116403235A CN202310234582.9A CN202310234582A CN116403235A CN 116403235 A CN116403235 A CN 116403235A CN 202310234582 A CN202310234582 A CN 202310234582A CN 116403235 A CN116403235 A CN 116403235A
- Authority
- CN
- China
- Prior art keywords
- wiring diagram
- electrical wiring
- text
- module
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010586 diagram Methods 0.000 title claims abstract description 136
- 238000009429 electrical wiring Methods 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000001514 detection method Methods 0.000 claims abstract description 104
- 238000000605 extraction Methods 0.000 claims abstract description 46
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000012549 training Methods 0.000 claims description 15
- 240000004282 Grewia occidentalis Species 0.000 claims description 12
- 230000004927 fusion Effects 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000004590 computer program Methods 0.000 description 11
- 238000009826 distribution Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000011161 development Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/42—Document-oriented image-based pattern recognition based on the type of document
- G06V30/422—Technical drawings; Geographical maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/146—Aligning or centring of the image pick-up or image-field
- G06V30/1465—Aligning or centring of the image pick-up or image-field by locating a pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
- G06V30/19013—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1918—Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种基于计算机视觉的电气接线图识别系统和方法,其中,该系统包括图元检测模块、文本提取模块、文本关联模块和信息匹配模块,具体地,图元检测模块对电气接线图进行目标检测,得到电气接线图中的图元;文本提取模块对电气接线图进行文字提取,得到电气接线图中的文字;文本关联模块将图元检测模块检测到的图元的检测框,与文本提取模块提取到的文字的文本框进行中心点匹配;信息匹配模块对电气接线图中的母线进行模板匹配。通过本申请,解决了如何对电气接线图进行自动化识别的问题,实现了电气接线图识别的自动化,级联嵌套了多个不同任务的系统模块,提高了识别的速度和准确度。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种基于计算机视觉的电气接线图识别系统和方法。
背景技术
近年来随着经济社会的发展,配电网发展速度与电力用户供电需求、配网精益管理需要的矛盾越发突出。如何保障配网安全运行和用户可靠供电为核心,开展配网数据源端治理、末端融合,打通配网信息“断头路”,通过对数据的深度挖掘分析,实现配网工作的可观、可判、可控,是今后配网管理模式新的发展方向。
传统的接线图图纸绘制和管理工作对电网工作人员有很高的要求,如:调度运维人员需要采用人工绘制、录入的方式,参考厂站接线图设计原图绘制画面并开展电气设备建模工作,但由于图形样式复杂,设备类型众多,导致维护工作繁琐,极易出现属性缺失、关联错误、连接线虚接等情况。因此,传统配网接线图纸绘制的方式,很有可能导致厂站接线图缺乏规范,进而产生潜在风险;同时由于网络新建、旧线改造、方式变更、检修等原因导致主接线的元件组成、连接方式经常发生变化,要做到厂站接线图的实时更新需要付出高昂的人工成本和管理成本。
目前针对相关技术中如何对电气接线图进行自动化识别的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于计算机视觉的电气接线图识别系统和方法,以至少解决相关技术中如何对电气接线图进行自动化识别的问题。
第一方面,本申请实施例提供了一种基于计算机视觉的电气接线图识别系统,所述系统包括图元检测模块、文本提取模块、文本关联模块和信息匹配模块;
所述图元检测模块,用于对电气接线图进行目标检测,得到所述电气接线图中的图元;
所述文本提取模块,用于对所述电气接线图进行文字提取,得到所述电气接线图中的文字;
所述文本关联模块,用于将所述图元检测模块检测到的图元的检测框,与所述文本提取模块提取到的文字的文本框进行中心点匹配;
所述信息匹配模块,用于对所述电气接线图中的母线进行模板匹配。
在其中一些实施例中,对电气接线图进行目标检测包括:
通过基于RPN区域候选网络算法的模型,对电气接线图进行目标检测;或者,通过基于yolov5目标检测网络算法的模型,对电气接线图进行目标检测。
在其中一些实施例中,对所述电气接线图进行文字提取,得到所述电气接线图中的文字包括:
通过基于DBNet文本检测算法的模型,对所述电气接线图进行文字提取,得到所述电气接线图中的文字。
在其中一些实施例中,通过基于DBNet文本检测算法的模型,对所述电气接线图进行文字提取,得到所述电气接线图中的文字包括:
使用CNN网络提取层提取所述电气接线图的图像特征,通过特征金字塔将所述图像特征进行特征融合;
基于所述特征融合后的特征图,通过可微分的二值化算法计算得到二值特征图,在所述二值特征图上生成所述电气接线图中文字的文本框。
在其中一些实施例中,将所述图元检测模块检测到的图元的检测框,与所述文本提取模块提取到的文字的文本框进行中心点匹配包括:
获取所述图元检测模块检测到的图元检测框的四角点坐标,根据所述四角点坐标计算出所述图元检测框的中心点坐标;
获取所述文本提取模块提取到的文字文本框的四角点坐标,根据所述四角点坐标计算出所述文字文本框的中心点坐标;
根据所述图元检测框的中心点坐标和文字文本框的中心点坐标,完成所述电气接线图中图元和文字的一一关联。
在其中一些实施例中,对所述电气接线图中的母线进行模板匹配包括:
通过白色像素对所述电气接线图中的预设位置进行覆盖,其中,所述预设位置为所述图元检测模块得到的图元检测框的位置,以及所述文本提取模块得到的文字文本框的位置;
采用预设模板在所述覆盖后的电气接线图上进行母线匹配,得到所述电气接线图的母线。
在其中一些实施例中,在采用预设模板在所述覆盖后的电气接线图上进行母线匹配之前,还包括:
使用Canny算子对模板图像经边缘检测和提取,得到预设模板的边缘信息,以及水平方向和垂直方向的梯度;
根据所述边缘信息和两个方向的梯度,计算出所述预设模板中每个边界点的梯度值和方向。
在其中一些实施例中,所述信息匹配模块,基于进行模板匹配后的母线,通过邻近匹配的方式遍历所述电气接线图中的图元,得到所述电气接线图中图元间的拓扑信息。
在其中一些实施例中,在通过基于yolov5目标检测网络算法的模型,对电气接线图进行目标检测之前,还包括:
对训练数据中的图元进行人工标注;
通过所述人工标注后的训练数据,对基于yolov5目标检测网络算法的模型进行训练。
第二方面,本申请实施例提供了一种基于计算机视觉的电气接线图识别方法,所述方法包括:
对电气接线图进行目标检测,得到所述电气接线图中的图元;
对所述电气接线图进行文字提取,得到所述电气接线图中的文字;
将图元检测模块检测到的图元的检测框,与文本提取模块提取到的文字的文本框进行中心点匹配;
对所述电气接线图中的母线进行模板匹配。
相比于相关技术,本申请实施例提供的一种基于计算机视觉的电气接线图识别系统和方法,其中,图元检测模块对电气接线图进行目标检测,得到电气接线图中的图元;文本提取模块对电气接线图进行文字提取,得到电气接线图中的文字;文本关联模块将图元检测模块检测到的图元的检测框,与文本提取模块提取到的文字的文本框进行中心点匹配;信息匹配模块对电气接线图中的母线进行模板匹配。通过图元检测模块、文本提取模块、文本关联模块和信息匹配模块,解决了如何对电气接线图进行自动化识别的问题,实现了电气接线图识别的自动化,级联嵌套了多个不同任务的系统模块,提高了识别的速度和准确度。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的基于计算机视觉的电气接线图识别系统的结构框图;
图2是根据本申请实施例的yolov5目标检测模型的训练流程示意图;
图3是根据本申请实施例的提取电气接线图中图元拓扑信息的流程示意图;
图4是根据本申请实施例的电子设备的内部结构示意图。
附图标识:11、图元检测模块;12、文本提取模块;13、文本关联模块;14、信息匹配模块。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其他类似情景。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含;例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可以还包括没有列出的步骤或单元,或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
本申请实施例提供了一种基于计算机视觉的电气接线图识别系统,图1是根据本申请实施例的基于计算机视觉的电气接线图识别系统的结构框图,如图1所示,该系统包括图元检测模块11、文本提取模块12、文本关联模块13和信息匹配模块14;
图元检测模块11,用于对电气接线图进行目标检测,得到电气接线图中的图元(如断路器、负荷开关、隔离开关、熔断器、分布式光伏、低压分布式光伏等多种配电设备的图元);
具体地,图元检测模块11通过基于RPN区域候选网络算法的模型,对电气接线图进行目标检测;或者,通过基于yolov5目标检测网络算法的模型,对电气接线图进行目标检测。
需要说明的是,基于深度学习的目标检测算法目前主要分为两类:一阶段检测算法(one-shot)、二阶段检测算法(two-shot)。其中,二阶段检测算法会先生成待检测框(RPN算法、Region Proposal Networks)在将生成的检测框中的内容送入检测器进行检测,这种算法的准确度高,但检测速度较慢;一阶段检测算法中将分格生成和检测同步进行,不需要等待先生成检测框,速度更快,但准确度略低。
由于目标检测作为图元识别任务的一部分,对速度和精度要求都比较高。基于该情况,本发明优选能够平衡速度和精确度的yolov5目标检测网络对图片进行检测。进一步地,yolov5使用Pytorch框架,与tensorflow的静态计算图不同,pytorch的计算图是动态的,可以根据计算需要实时改变计算图。并且yolov5还可以通过改变网络深度参数,控制网络大小。
在图元检测模块11通过yolov5目标检测模型执行图元识别任务之前,还需要对yolov5目标检测模型进行训练,训练过程具体如下:
对训练数据中的图元进行人工标注。优选地,标注内容包括厂站电压等级、厂站名、厂站类型、图元类型及坐标、文本内容及坐标、图元间连线、图元与文本连接关系,其中图元间连接关系要标明图元的端子号,如0端、1端等,若图元识别类型为变压器还应将变压器的各绕组信息标注清楚。
图2是根据本申请实施例的yolov5目标检测模型的训练流程示意图,如图2所示,人工标注后的训练数据会先经过骨干网提取特征,随后将提取出的特征图送到neck层进行特征融合,其目的是让网络可以学习到更多的有效特征,在多尺度的特征图进行融合之后,将其传入检测器中进行分格检测,判断损失函数是否收敛,如果损失函数梯度已经收敛,说明网络已经学习到了一套比较合理的参数,能够正确的检测出图中目标。如果没有收敛,则需要继续进行迭代训练,更新参数。完成训练后,使用该模型即可完成对接线图的图元推理,输出结果为一副接线图中的所有存在的已知图元。
文本提取模块12,用于对电气接线图进行文字提取,得到电气接线图中的文字;
具体地,文本提取模块12通过基于DBNet文本检测算法的模型,对电气接线图进行文字提取,得到电气接线图中的文字。
需要说明的是,DBNet网络使用可微分的二值化算法改善训练过程,使用变分逼近的方式近似不可微的二值化函数,使得在训练时加快推理速度而不会过多损失精度。使用CNN网络提取层提取输入骨干网的图像特征,再通过特征金字塔进行特征融合,使用融合后的特征图进行概率图预测和阈值图预测,再使用可微分的二值化算法计算近似的二值特征图,最后在二值特征图的对应位置生成检测框,即可输出对应的文字位置(文本框)和概率。
文本关联模块13,用于将图元检测模块11检测到的图元的检测框,与文本提取模块12提取到的文字的文本框进行中心点匹配;
具体地,文本关联模块13获取图元检测模块11检测到的图元检测框的四角点坐标,根据四角点坐标计算出图元检测框的中心点坐标;获取文本提取模块12提取到的文字文本框的四角点坐标,根据四角点坐标计算出文字文本框的中心点坐标;
根据图元检测框的中心点坐标和文字文本框的中心点坐标,完成电气接线图中图元和文字的一一关联。优选地,使用欧式距离遍历计算文字文本框与图元检测框的中心点两两距离,将欧式距离最近的两个中心点对应的文字文本框和图元检测框对应起来形成对应检测对。
此外,还可以将图元和文本的关联信息,包括图元类别信息、文字信息、旋转角度信息和链接信息,最后将这些信息输出保存于指定格式文件方便调用。
信息匹配模块14,用于对电气接线图中的母线进行模板匹配。
具体地,信息匹配模块14通过白色像素对电气接线图中的预设位置进行覆盖,其中,预设位置为图元检测模块得到的图元检测框的位置,以及文本提取模块得到的文字文本框的位置;采用预设模板在覆盖后的电气接线图上进行母线匹配,得到电气接线图的母线。
在信息匹配模块14对电气接线图中的母线进行模板匹配之前,还包括:使用Canny算子对模板图像经边缘检测和提取,得到预设模板的边缘信息,以及水平方向和垂直方向的梯度;根据边缘信息和两个方向的梯度,计算出预设模板中每个边界点的梯度值和方向。
需要说明的是,信息匹配模块14需要对电气接线图中的连接线和母线进行检测。由于母线是形状固定的线段,使用模式识别技术时易受其他部分干扰,因此本文先间获取后的图元和文本信息删除,减少在母线识别中的干扰因素。使用白色像素覆盖文本内容和图元内容,随后使用模板匹配的方式提取图片中的母线。模板匹配是在整个图像上移动模板并计算模板与图像上被覆盖窗口之间的相似度的过程(模板匹配是基于二维卷积实现)。模板匹配主要分为两个部分:制作模板和寻找匹配目标。
在制作母线检测模板时,首先对模板图像进行边缘提取,寻找模板图像边缘点,本实施例使用的是Canny算子进行边缘检测和提取。再使用基于梯度的边缘提取计算出模板中水平方向和垂直方向的梯度,再根据两方向的梯度以及提取出的边缘信息求出每个边界点梯度值和方向,可以将母线分为横向走线和纵向走线。
在进行模板匹配时,首先对剔除图元和文本的电气接线图进行边缘提取,以及计算水平方向梯度与垂直方向梯度。再使用滑窗搜索将制作好的模板进行自上而下,从左向右的固定滑窗计算匹配值,此处匹配值计算的是边缘点的梯度距离,如果距离小于设定阈值则可以将该线于模板中的母线匹配。
信息匹配模块14还对模板匹配好后的母线,通过邻近匹配的方式遍历电气接线图中的图元,得到电气接线图中图元间的拓扑信息。
图3是根据本申请实施例的提取电气接线图中图元拓扑信息的流程示意图,如图3所示,使用基于位置的匹配算法,首先获取待匹配的图片中的母线点位置,确定母线方向,在使用基于梯度的边缘提取算法得到其余线段的边缘与端点信息。得到对应的边缘和端点信息后,使用临近匹配的方式,将图元的拓扑特征信息进行提取。
通过本申请实施例中的图元检测模块11、文本提取模块12、文本关联模块13和信息匹配模块14,解决了如何对电气接线图进行自动化识别的问题,使用yolov5目标检测算法快速高效的提取接线图中对应的图元目标进行提取,再使用DBNet提取文本并进行识别,最终结合图像处理等技术对文字和图元进行匹配,得到并输出对应的链接关系并保存成为指定格式,在这个过程中,级联嵌套了多个不同任务的深度神经网络,形成一套全新的自动化流水线,提高了电气接线图识别的速度和准确度。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本申请实施例提供了一种基于计算机视觉的电气接线图识别方法,该方法包括以下步骤:
步骤1,对电气接线图进行目标检测,得到电气接线图中的图元;
步骤2对电气接线图进行文字提取,得到电气接线图中的文字;
步骤3,将图元检测模块检测到的图元的检测框,与文本提取模块提取到的文字的文本框进行中心点匹配;
步骤4,对电气接线图中的母线进行模板匹配。
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本实施例还提供了一种电子装置,包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地,上述电子装置还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
需要说明的是,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
另外,结合上述实施例中的基于计算机视觉的电气接线图识别方法,本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种基于计算机视觉的电气接线图识别方法。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于计算机视觉的电气接线图识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
在一个实施例中,图4是根据本申请实施例的电子设备的内部结构示意图,如图4所示,提供了一种电子设备,该电子设备可以是服务器,其内部结构图可以如图4所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器,其中,该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力,网络接口用于与外部的终端通过网络连接通信,内存储器用于为操作系统和计算机程序的运行提供环境,计算机程序被处理器执行时以实现一种基于计算机视觉的电气接线图识别方法,数据库用于存储数据。
本领域技术人员可以理解,图4中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域的技术人员应该明白,以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于计算机视觉的电气接线图识别系统,其特征在于,所述系统包括图元检测模块、文本提取模块、文本关联模块和信息匹配模块;
所述图元检测模块,用于对电气接线图进行目标检测,得到所述电气接线图中的图元;
所述文本提取模块,用于对所述电气接线图进行文字提取,得到所述电气接线图中的文字;
所述文本关联模块,用于将所述图元检测模块检测到的图元的检测框,与所述文本提取模块提取到的文字的文本框进行中心点匹配;
所述信息匹配模块,用于对所述电气接线图中的母线进行模板匹配。
2.根据权利要求1所述的系统,其特征在于,对电气接线图进行目标检测包括:
通过基于RPN区域候选网络算法的模型,对电气接线图进行目标检测;或者,通过基于yolov5目标检测网络算法的模型,对电气接线图进行目标检测。
3.根据权利要求1所述的系统,其特征在于,对所述电气接线图进行文字提取,得到所述电气接线图中的文字包括:
通过基于DBNet文本检测算法的模型,对所述电气接线图进行文字提取,得到所述电气接线图中的文字。
4.根据权利要求3所述的系统,其特征在于,通过基于DBNet文本检测算法的模型,对所述电气接线图进行文字提取,得到所述电气接线图中的文字包括:
使用CNN网络提取层提取所述电气接线图的图像特征,通过特征金字塔将所述图像特征进行特征融合;
基于所述特征融合后的特征图,通过可微分的二值化算法计算得到二值特征图,在所述二值特征图上生成所述电气接线图中文字的文本框。
5.根据权利要求1所述的系统,其特征在于,将所述图元检测模块检测到的图元的检测框,与所述文本提取模块提取到的文字的文本框进行中心点匹配包括:
获取所述图元检测模块检测到的图元检测框的四角点坐标,根据所述四角点坐标计算出所述图元检测框的中心点坐标;
获取所述文本提取模块提取到的文字文本框的四角点坐标,根据所述四角点坐标计算出所述文字文本框的中心点坐标;
根据所述图元检测框的中心点坐标和文字文本框的中心点坐标,完成所述电气接线图中图元和文字的一一关联。
6.根据权利要求1所述的系统,其特征在于,对所述电气接线图中的母线进行模板匹配包括:
通过白色像素对所述电气接线图中的预设位置进行覆盖,其中,所述预设位置为所述图元检测模块得到的图元检测框的位置,以及所述文本提取模块得到的文字文本框的位置;
采用预设模板在所述覆盖后的电气接线图上进行母线匹配,得到所述电气接线图的母线。
7.根据权利要求6所述的系统,其特征在于,在采用预设模板在所述覆盖后的电气接线图上进行母线匹配之前,还包括:
使用Canny算子对模板图像经边缘检测和提取,得到预设模板的边缘信息,以及水平方向和垂直方向的梯度;
根据所述边缘信息和两个方向的梯度,计算出所述预设模板中每个边界点的梯度值和方向。
8.根据权利要求1所述的系统,其特征在于,所述信息匹配模块,基于进行模板匹配后的母线,通过邻近匹配的方式遍历所述电气接线图中的图元,得到所述电气接线图中图元间的拓扑信息。
9.根据权利要求1所述的系统,其特征在于,在通过基于yolov5目标检测网络算法的模型,对电气接线图进行目标检测之前,还包括:
对训练数据中的图元进行人工标注;
通过所述人工标注后的训练数据,对基于yolov5目标检测网络算法的模型进行训练。
10.一种基于计算机视觉的电气接线图识别方法,其特征在于,所述方法包括:
对电气接线图进行目标检测,得到所述电气接线图中的图元;
对所述电气接线图进行文字提取,得到所述电气接线图中的文字;
将图元检测模块检测到的图元的检测框,与文本提取模块提取到的文字的文本框进行中心点匹配;
对所述电气接线图中的母线进行模板匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310234582.9A CN116403235A (zh) | 2023-03-07 | 2023-03-07 | 一种基于计算机视觉的电气接线图识别系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310234582.9A CN116403235A (zh) | 2023-03-07 | 2023-03-07 | 一种基于计算机视觉的电气接线图识别系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116403235A true CN116403235A (zh) | 2023-07-07 |
Family
ID=87013336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310234582.9A Pending CN116403235A (zh) | 2023-03-07 | 2023-03-07 | 一种基于计算机视觉的电气接线图识别系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116403235A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117526332A (zh) * | 2024-01-08 | 2024-02-06 | 华雁智能科技(集团)股份有限公司 | 电网潮流图生成方法、装置、电子设备以及存储介质 |
-
2023
- 2023-03-07 CN CN202310234582.9A patent/CN116403235A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117526332A (zh) * | 2024-01-08 | 2024-02-06 | 华雁智能科技(集团)股份有限公司 | 电网潮流图生成方法、装置、电子设备以及存储介质 |
CN117526332B (zh) * | 2024-01-08 | 2024-04-05 | 华雁智能科技(集团)股份有限公司 | 电网潮流图生成方法、装置、电子设备以及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110796031B (zh) | 基于人工智能的表格识别方法、装置及电子设备 | |
CN108304835B (zh) | 文字检测方法和装置 | |
CN111027563A (zh) | 一种文本检测方法、装置及识别系统 | |
US11861919B2 (en) | Text recognition method and device, and electronic device | |
US11721088B2 (en) | Image translation for image recognition to compensate for source image regional differences | |
CN111859805B (zh) | 基于人工智能的电力图纸拓扑关系的检测方法 | |
CN110598698B (zh) | 基于自适应区域建议网络的自然场景文本检测方法和系统 | |
CN113343740B (zh) | 表格检测方法、装置、设备和存储介质 | |
CN113657274B (zh) | 表格生成方法、装置、电子设备及存储介质 | |
CN110889437A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
CN116403235A (zh) | 一种基于计算机视觉的电气接线图识别系统和方法 | |
CN116168351A (zh) | 电力设备巡检方法及装置 | |
CN113505789A (zh) | 一种基于crnn的电气设备铭牌文本识别方法 | |
CN115546809A (zh) | 基于单元格约束的表格结构识别方法及其应用 | |
CN113869371A (zh) | 模型训练方法、服装细粒度分割方法及相关装置 | |
CN114926849A (zh) | 一种文本检测方法、装置、设备及存储介质 | |
CN115131803A (zh) | 文档字号的识别方法、装置、计算机设备和存储介质 | |
Yang et al. | Intelligent digitization of substation one-line diagrams based on computer vision | |
CN114283343A (zh) | 基于遥感卫星图像的地图更新方法、训练方法和设备 | |
Zhong et al. | Least-squares method and deep learning in the identification and analysis of name-plates of power equipment | |
CN117437647A (zh) | 基于深度学习和计算机视觉的甲骨文字检测方法 | |
CN117612195A (zh) | 一种基于主接线图识别技术的图模生成方法和装置 | |
CN111160144B (zh) | 电气图纸图文结合的元器件识别方法、系统及存储介质 | |
US12079950B2 (en) | Image processing method and apparatus, smart microscope, readable storage medium and device | |
CN116541912A (zh) | 一种基于cad图像识别生成接线图的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |