CN117611710B - 基于深度学习和图像处理的端子排图纸矢量化方法及系统 - Google Patents

基于深度学习和图像处理的端子排图纸矢量化方法及系统 Download PDF

Info

Publication number
CN117611710B
CN117611710B CN202311666417.7A CN202311666417A CN117611710B CN 117611710 B CN117611710 B CN 117611710B CN 202311666417 A CN202311666417 A CN 202311666417A CN 117611710 B CN117611710 B CN 117611710B
Authority
CN
China
Prior art keywords
terminal strip
coordinates
region
area
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311666417.7A
Other languages
English (en)
Other versions
CN117611710A (zh
Inventor
曹卫国
陈中
钱晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Yunjie Power Technology Co ltd
Original Assignee
Nanjing Yunjie Power Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Yunjie Power Technology Co ltd filed Critical Nanjing Yunjie Power Technology Co ltd
Priority to CN202311666417.7A priority Critical patent/CN117611710B/zh
Publication of CN117611710A publication Critical patent/CN117611710A/zh
Application granted granted Critical
Publication of CN117611710B publication Critical patent/CN117611710B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • G06V30/18038—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters
    • G06V30/18048—Biologically-inspired filters, e.g. difference of Gaussians [DoG], Gabor filters with interaction between the responses of different filters, e.g. cortical complex cells
    • G06V30/18057—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504—Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习和图像处理的端子排图纸矢量化方法及系统，涉及图像处理方法技术领域。所述方法首先检测端子排图纸中各个端子排区域，即由表格和横竖线等组成的区域，再对端子排区域中的表格区域进行检测，并提取表格坐标，用空白填充，进而对端子排区域中的横竖线区域进行检测，再分别对表格坐标和横竖线坐标进行坐标还原，通过获取旋转变换矩阵，最终可以得到完整的端子排矢量化表示，提高了端子排图纸矢量化的准确性。

Description

基于深度学习和图像处理的端子排图纸矢量化方法及系统
技术领域
本发明涉及图像处理方法技术领域，尤其涉及一种基于深度学习和图像处理的端子排图纸矢量化方法及系统。
背景技术
电气图纸是电力行业用于表达和交流技术思想的重要媒体，是电力工程技术部门的重要技术资料。随着计算机技术的发展，需要把这些手工图纸输入到计算机，转换成一些低级的矢量化格式，图纸矢量化技术最初是为了易于编辑工程图纸和节省存储空间。然而，针对目前复杂的端子排图纸，其布局紧密，元素众多，现有的深度学习方法往往无法直接完成图元识别，例如目标检测方法无法处理不规则区域；实例切割虽然可以处理不规则区域，但是在检测的时候会出现两个目标粘连的情况，导致切割的时候容易造成目标的损坏或丢失。因此开发出一种新方法处理复杂端子排图纸是迫切的需要。
发明内容
本发明所要解决的技术问题是如何提供一种能够有效的提高端子排图纸矢量化准确性的方法及系统。
为解决上述技术问题，本发明所采取的技术方案是：一种基于深度学习和图像处理的端子排图纸矢量化方法，所述方法包括如下步骤：
端子排检测：利用改进的YOLOv5目标检测模型，结合多尺度检测方法，对电气图纸中的端子排所在区域进行检测；
识别不全扩展后处理：采用图像处理方法对识别不全的端子排区域进行扩展补全处理；
区域坐标确定与剪裁：确定各端子排所在区域的区域坐标，并根据这些坐标对电气图纸进行精确剪裁，得到精确剪裁后的端子排区域图片；
表格区域检测与覆盖：使用YOLOv5模型对所有剪裁后的端子排区域图片中的表格区域进行检测，并通过坐标对其进行空白覆盖，以便于后续处理；
横竖线区域检测：对所有覆盖表格后的端子排区域图片中的横竖线区域进行检测，并返回其坐标，用于精确端子排的位置和结构；
坐标合并与端子排定位：将检测到的表格坐标和横竖线坐标进行合并，确定端子排的坐标；
旋转处理：对端子排区域进行旋转处理，并输出旋转矩阵，
坐标还原：用于将旋转矩阵加入坐标还原，矢量化成原图的效果图，确保端子排的位置和方向与原图纸一致；
相应的，本发明实施例还公开了一种基于深度学习和图像处理的端子排图纸矢量化系统，所述系统包括：
端子排区域检测模块，用于利用YOLOv5目标检测模型检测电气图纸中端子排所在区域；
识别补全模块，用于采用图像处理方法对识别不全的端子排区域进行扩展补全处理；
剪裁模块，用于确定各所述端子排所在区域的区域坐标，并根据所述区域坐标对所述电气图纸进行剪裁，得到剪裁端子排区域图片；
表格区域检测模块，用于检测端子排区域图片中表格所在区域，并对其进行空白覆盖，以便于后续的横竖线检测；
空白覆盖模块，根据检测到的表格坐标，对相应位置进行空白填充，以消除表格对后续处理的干扰；
横竖线区域检测模块，用于检测覆盖表格后的端子排区域图片中横竖线所在区域，并保存检测结果的坐标；
坐标合并模块，用于将上诉表格坐标和横竖线坐标合并成端子排坐标；
矩阵旋转模块，用于对端子排坐标进行旋转并传出旋转矩阵；
坐标还原模块，用于将旋转矩阵加入坐标还原，矢量化成原图的效果图。
采用上述技术方案所产生的有益效果在于：所述方法使用经过训练的YOLOv5目标检测模型，对电气图纸中的端子排所在区域进行检测，该模型经过多尺度训练，能够适应不同大小和形状的端子排；在检测过程中，设置模型以保存检测到的端子排区域的坐标信息；根据检测到的端子排区域坐标，对电气图纸进行精确剪裁，以获取端子排区域的图片；在剪裁过程中，应用图像处理技术，如边缘平滑和形态学操作，以提高剪裁图像的质量；利用另一组经过训练的YOLOv5模型，对剪裁后的端子排区域图片中的表格区域进行检测；检测到的表格区域坐标用于在图片中进行空白覆盖，以消除表格对后续横竖线检测的干扰；对覆盖表格后的端子排区域图片中的横竖线区域进行检测，使用专门训练的YOLOv5模型；保存检测到的横竖线区域坐标；将表格坐标和横竖线坐标进行合并，以获得端子排的完整坐标；应用图像处理和矢量化技术，将合并后的坐标转换为端子排的矢量化表示；使用图像处理技术，如cv2.getRotationMatrix2D，获取旋转变换矩阵，并对端子排区域坐标进行旋转处理；应用旋转矩阵于坐标还原过程，确保旋转后端子排的坐标准确还原。通过多尺度检测和精确的图像处理，提高了端子排图纸矢量化的准确性；多尺度训练使得模型能够适应不同大小和形状的端子排；结合深度学习和图像处理技术，实现了端子排图纸的高效矢量化。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1是本发明实施例一所述方法流程图；
图2是本发明实施例一所述方法技术原理图；
图3是本发明实施例一中提供的端子排所在区域识别图；
图4是本发明实施例一种提供的补全效果图；
图5是本发明实施例一中提供的坐标合并效果图；
图6是本发明实施例一中提供的坐标还原效果图；
图7是本发明实施例二所述系统的原理框图；
图8是本发明实施例二所述系统中端子排区域检测模块的原理框图；
图9是本发明实施例二所述系统中识别补全模块的原理框图；
图10是本发明实施例二所述系统中剪裁模块的原理框图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
实施例一
如图1和2所示，本实施例公开了一种基于深度学习和图像处理的端子排图纸矢量化方法，所述方法包括：
S1：利用改进的YOLOv5目标检测模型，结合多尺度检测方法，对电气图纸中的端子排所在区域进行检测。
通过对电气图纸进行图片转换，将PDF文件转换为图像格式；之后对图像中的端子排所在区域进行标注并训练出模型权重，将此权重用于检测电气图片中的端子排区域。具体为，步骤S1包括：
S11：考虑到电气图纸属于较高分辨率图片，且端子排检测层中需要检测的目标属于大目标，因此采用改进的YOLOv5网络，相比于普通YOLOv5网络增加P6/64输出层。对电气图纸中的端子排区域进行规则矩形标注，同时考虑不同尺度的端子排以适应多尺度检测。设定尺度集合S＝{s1,s2,…,si,...,sn}，进行多尺度训练。其中si表示图像的尺度因子。对于每个尺度si图像的尺寸调整为和/>其中W和H是原始图像的宽度和高度。
S12：利用标注后的目标图片训练YOLOv5目标检测模型，其中模型训练过程包括多尺度输入处理以提高检测的准确性和适应性。
S13：使用训练好的YOLOv5模型检测电气图纸中的端子排所在区域，并在模型中设置save-txt参数，将检测出的区域坐标保留在TXT文档中。
S2：采用图像处理方法对识别不全的端子排区域进行扩展补全处理，具体包括：
S21：获取检测到的矩形框和检测到的角度方向；
S22：如果角度是90度，则获取该矩形框的x的值，x是指矩形框左上角的横坐标，并在水平方向寻找像素点；
S23：对获取到的像素点，向表头垂直方向寻找，直到像素点结束则停止；
S24：获取停止前的像素点，对其进行排序，获取最小x值更新矩形框的坐标。
针对大型端子排区域无法识别全的问题，可进行补全后处理，确保端子排区域的完整性。
S3：确定各端子排所在区域的区域坐标，并根据这些坐标对电气图纸进行精确剪裁，得到剪裁后的端子排区域图片。
通过改进的YOLOv5模型中设置save-txt参数，将检测出的端子排区域坐标保留在TXT文档中；将YOLO格式TXT标注文件转换为VOC格式XML标注文件；通过OpenCV读取XML中的信息，在原图中进行裁剪，提取并保存端子排区域所在图片。具体为，步骤S3包括：
S31：在所述端子排区域检测时，在所述YOLOv5-P6目标检测模型中设置save-txt参数，将检测出的所述端子排所在区域的坐标保留在TXT文档中；
S32：根据所述TXT文档中保留的所述区域坐标对所述电气图片进行剪裁，得到剪裁端子排区域图片。具体为，
将YOLO格式的TXT文档文件转换为VOC格式的XML标注文件，以便更精确地处理坐标信息。坐标转换公式为和/> 其中原始图像坐标为(x,y)，转换后的坐标为(x',y')，Wnew和Hnew是剪裁后图像的宽度和高度。
读取所述XML标注文件中保留的所述区域坐标，并对所述目标电气图片进行剪裁，得到所述剪裁端子排区域图片。
将图片中检测出的端子排区域坐标保留，并转化为XML格式，通过OpenCV根据XML中的坐标信息，对原图进行裁剪，裁剪后的图片如图3所示。
S4：使用YOLOv5模型对所有剪裁后的端子排区域图片中的表格区域进行检测，并通过检测得到的坐标对其进行空白覆盖，以便于后续处理。
步骤S4具体包括：
S41：对端子排图片中的表格区域进行矩形框标注；
S42：利用标注后的目标图片训练YOLOv5目标检测模型,用于表格区域的检测；
S43：利用训练好的YOLOv5目标检测模型检测所述目标图片中的所述表格所在区域；
S44：保留检测到表格的坐标，并用空白对其填充,以便于后续的横竖线检测。
在端子排图像上进行表格区域标注，并将其作为训练样本传入YOLOv5算法，检测出所有图像中的表格区域，并用空白覆盖表格区域，补全效果图如图4所示。
空白覆盖公式为I(x,y)＝255对于所有x1≤x≤x2和y1≤y≤y2，其中I(x,y)表示图像在(x,y)位置的像素值，表格区域坐标为(x1,y1,x2,y2)。
S5：对所有覆盖表格后的端子排区域图片中的横竖线区域进行检测，并返回其坐标。
步骤S5具体包括：
S51：对表格被空白覆盖后的端子排图片进行横竖线区域标注；
S52：利用标注后的目标图片训练YOLOv5目标检测模型；
S53：利用训练好的YOLOv5目标检测模型检测所述目标图片中的所述横竖线所在区域,并在模型中设置save-txt参数；
S54：将检测出的横竖线区域坐标保留在TXT文档中。
S6：将检测到的表格坐标和横竖线坐标进行合并，从而准确地确定端子排的坐标。
坐标合并公式为L＝Lh∪Lv，其中横坐标为Lh＝{(xh1,yh1,xh2,yh2)}和竖线坐标为Lv＝{(xv1,yv1,xv2,yv2)}。
在YOLOv5中添加了分割，然后对检测到的表格、横竖线目标进行分割，先检测表格，在对原图中的表格覆盖后的图片进行横竖线检测，来替换实例分割部分，经过两步目标检测后的效果如图5所示。
S7：对端子排区域进行旋转处理，并传出旋转矩阵。在此过程中，优化旋转矩阵的计算方法，并对旋转后的坐标进行精确还原，确保端子排的位置和方向与原图纸一致。
使用cv2.getRotationMatrix2D获取旋转变换矩阵M，对端子排区域进行旋转并传出旋转矩阵，在坐标还原的递归中添加旋转矩阵，来进行旋转后part的坐标还原，坐标还原后的效果如图6所示。
旋转矩阵公式为其中旋转角度为θ，原始坐标为(x,y)，旋转后的坐标(x',y')计算为/>
本实施例中，能够解决复杂电气图纸中图元紧凑而导致检测效果粘连的问题，相比于直接进行实例切割方法，有很强的实用性，可靠性较高，能够改善结构复杂图元的检测结果，提高检测算法的准确性。
实施例二
如图7所示，本实施例公开了一种基于深度学习和图像处理的端子排图纸矢量化系统，包括：
端子排区域检测模块101，用于利用改进的YOLOv5目标检测模型检测电气图纸中端子排所在区域。
如图8所示，所述端子排区域检测模块101具体包括：
标注单元1011，用于对电气图纸中的端子排所在区域进行多尺度标注，以适应不同大小和形状的端子排；
训练单元1012，利用标注后的样本图片训练YOLOv5-P6目标检测模型，包括多尺度输入处理以提高模型的准确性和适应性；
检测单元1013，使用训练好的YOLOv5-P6模型检测电气图纸中的端子排所在区域，并保存检测结果的区域坐标。
识别补全模块102，采用图像处理方法对识别不全的端子排区域进行扩展补全处理。
如图9所示，所述识别补全模块102具体包括：
识别单元1021，获取检测到的矩形框，和检测到的角度方向；
角度单元1022，如果角度是90度，则获取该矩形框的x的值，并在水平方向寻找像素点；
像素单元1023，对获取到的像素点，向表头垂直方向寻找，直到像素点结束则停止；
排序单元1024，获取停止前的像素点，对其进行排序，获取最小x值更新矩形框的坐标。
剪裁模块103，用于确定各所述端子排所在区域的区域坐标，并根据所述区域坐标对所述电气图纸进行剪裁，得到剪裁端子排区域图片。
如图10所示，所述剪裁模块103具体包括：
坐标保存单元1031，用于在所述端子排区域检测时，在所述YOLOv5目标检测模型中设置save-txt参数，将检测出的所述端子排所在区域的坐标保留在TXT文档中。
剪裁单元1032，用于根据所述TXT文档中保留的所述区域坐标对所述电气图纸进行剪裁，得到剪裁端子排区域图片。
具体的，所述剪裁单元1032包括：
文件格式转换子单元10321，用于将YOLO格式的TXT文档文件转换为VOC格式的XML标注文件。
剪裁子单元10322，用于读取所述XML标注文件中保留的所述区域坐标，并对所述电气图纸进行剪裁，得到所述剪裁端子排区域图片。
表格区域检测模块104，用于检测端子排区域图片中表格所在区域，并对其进行空白覆盖，以便于后续的横竖线检测。
空白覆盖模块105，根据检测到的表格坐标，对相应位置进行空白填充，以消除表格对后续处理的干扰。
横竖线区域检测模块106，用于检测覆盖表格后的端子排区域图片中横竖线所在区域，并保存检测结果的坐标。
坐标合并模块107，用于将上诉表格坐标和横竖线坐标合并成端子排坐标。
矩阵旋转模块108，用于对端子排坐标进行旋转并传出旋转矩阵。
后处理优化模块109，用于在剪裁和旋转处理后，对端子排区域图片进行边缘平滑和形态学操作，以提高图像质量和处理精度。
坐标还原模块1010，用于将旋转矩阵加入坐标还原，矢量化成原图的效果图。
所述方法首先检测端子排图纸中各个端子排区域，即由表格和横竖线等组成的区域，再对端子排区域中的表格区域进行检测，并提取表格坐标，用空白填充，进而对端子排区域中的横竖线区域进行检测，再分别对表格坐标和横竖线坐标进行坐标还原，通过获取旋转变换矩阵，最终可以得到完整的端子排矢量化表示，提高了端子排图纸矢量化的准确性。

Claims (7)

1.一种基于深度学习和图像处理的端子排图纸矢量化方法，其特征在于所述方法包括如下步骤：
端子排检测：利用改进的YOLOv5目标检测模型，结合多尺度检测方法，对电气图纸中的端子排所在区域进行检测；
识别不全扩展后处理：采用图像处理方法对识别不全的端子排区域进行扩展补全处理；
区域坐标确定与剪裁：确定各端子排所在区域的区域坐标，并根据这些坐标对电气图纸进行精确剪裁，得到精确剪裁后的端子排区域图片；
表格区域检测与覆盖：使用YOLOv5模型对所有剪裁后的端子排区域图片中的表格区域进行检测，并通过坐标对其进行空白覆盖，以便于后续处理；
横竖线区域检测：对所有覆盖表格后的端子排区域图片中的横竖线区域进行检测，并返回其坐标，用于精确端子排的位置和结构；
坐标合并与端子排定位：将检测到的表格坐标和横竖线坐标进行合并，确定端子排的坐标；
旋转处理：对端子排区域进行旋转处理，并输出旋转矩阵，
坐标还原：用于将旋转矩阵加入坐标还原，矢量化成原图的效果图，确保端子排的位置和方向与原图纸一致；
利用YOLOv5-P6目标检测模型检测电气图纸中端子排所在区域，具体包括如下步骤：
对电气图纸中的端子排区域进行规则矩形标注，同时考虑不同尺度的端子排以适应多尺度检测；设定尺度集合S＝{s1，s2，...，si，...，sn}，进行多尺度训练，其中si表示图像的尺度因子，对于每个尺度si图像的尺寸调整为和/>其中W和H是原始图像的宽度和高度；
利用标注后的目标图片训练YOLOv5目标检测模型，其中模型训练过程包括多尺度输入处理以提高检测的准确性和适应性；
使用训练好的YOLOv5目标检测模型检测电气图纸中的端子排所在区域，并在模型中设置save-txt参数，将检测出的区域坐标保留在TXT文档中。
2.如权利要求1所述的基于深度学习和图像处理的端子排图纸矢量化方法，其特征在于所述方法还包括：
后处理优化：在剪裁和旋转处理后，对端子排区域图片进行边缘平滑和形态学操作，以提高图像质量和处理精度。
3.如权利要求1所述的基于深度学习和图像处理的端子排图纸矢量化方法，其特征在于，采用图像处理方法对识别不全的端子排区域进行扩展补全处理，具体包括如下步骤：
获取检测到的矩形框和检测到的角度方向；
如果角度是90度，则获取该矩形框的x的值，x是指矩形框左上角的横坐标，并在水平方向寻找像素点；
对获取到的像素点，向表头垂直方向寻找，直到像素点结束则停止；
获取停止前的像素点，对其进行排序，获取最小x值更新矩形框的坐标。
4.如权利要求1所述的基于深度学习和图像处理的端子排图纸矢量化方法，其特征在于，确定各所述端子排所在区域的区域坐标，并根据所述区域坐标对所述电气图纸进行剪裁，得到剪裁端子排区域图片，具体包括如下步骤：
将YOLO格式的TXT文档文件转换为VOC格式的XML标注文件，以便更精确地处理坐标信息；坐标转换公式为和/>其中原始图像坐标为(x，y)，转换后的坐标为(x′，y′)，Wnew和Hnew是剪裁后图像的宽度和高度；
读取XML标注文件中的区域坐标，并根据这些坐标对电气图纸进行剪裁，得到剪裁后的端子排区域图片；在剪裁过程中，使用边缘平滑和形态学操作以提高图像质量。
5.如权利要求1所述的基于深度学习和图像处理的端子排图纸矢量化方法，其特征在于，利用YOLOv5目标检测模型对所有所述剪裁端子排区域图片中表格区域进行检测并通过坐标对其进行空白覆盖，具体包括如下步骤：
对端子排图片中的表格区域进行矩形框标注，并利用标注后的图片训练YOLOv5目标检测模型，用于表格区域的检测；
使用训练好的YOLOv5目标检测模型检测目标图片中的表格区域，并通过坐标对其进行空白覆盖，以便于后续的横竖线检测；
空白覆盖公式为I(x，y)＝255对于所有x1≤x≤x2和y1≤y≤y2，其中I(x，y)表示图像在(x，y)位置的像素值，表格区域坐标为(x1，y1，x2，y2)。
6.如权利要求1所述的基于深度学习和图像处理的端子排图纸矢量化方法，其特征在于，所述横竖线区域检测的方法具体包括如下步骤：
对覆盖表格后的端子排区域图片中的横竖线区域进行矩形框标注，并利用标注后的图片训练YOLOv5目标检测模型；
使用训练好的YOLOv5目标检测模型检测横竖线区域，并在模型中设置save-txt参数，将检测出的横竖线区域坐标保留在TXT文档中；
将表格坐标和横竖线区域坐标进行合并，以获得更准确的端子排区域坐标；坐标合并公式为L＝Lh∪Lv，其中横坐标为Lh＝{(xh1，yh1，xh2，yh2)}和竖线坐标为Lv＝{(xv1，yv1，xv2，yv2)}。
7.如权利要求1所述的基于深度学习和图像处理的端子排图纸矢量化方法，其特征在于，对端子排区域进行旋转并输出旋转矩阵，对旋转后的坐标进行还原，具体包括如下步骤：
使用cv2.getRotationMatrix2D获取旋转变换矩阵M，并对端子排区域坐标进行旋转处理，旋转矩阵公式为其中旋转角度为θ，原始坐标为(x，y)，旋转后的坐标(x′，y′)计算为/>
传出旋转矩阵，并在坐标还原的过程中应用该矩阵，以确保旋转后端子排的坐标准确还原。
CN202311666417.7A 2023-12-07 2023-12-07 基于深度学习和图像处理的端子排图纸矢量化方法及系统 Active CN117611710B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311666417.7A CN117611710B (zh) 2023-12-07 2023-12-07 基于深度学习和图像处理的端子排图纸矢量化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311666417.7A CN117611710B (zh) 2023-12-07 2023-12-07 基于深度学习和图像处理的端子排图纸矢量化方法及系统

Publications (2)

Publication Number Publication Date
CN117611710A CN117611710A (zh) 2024-02-27
CN117611710B true CN117611710B (zh) 2024-06-21

Family

ID=89959624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311666417.7A Active CN117611710B (zh) 2023-12-07 2023-12-07 基于深度学习和图像处理的端子排图纸矢量化方法及系统

Country Status (1)

Country Link
CN (1) CN117611710B (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115034200A (zh) * 2021-03-04 2022-09-09 广东博智林机器人有限公司 图纸信息提取方法、装置、电子设备及存储介质
CN113610043A (zh) * 2021-08-19 2021-11-05 海默潘多拉数据科技(深圳)有限公司 一种工业图纸表格结构化识别方法及系统
CN114529936A (zh) * 2022-02-22 2022-05-24 云南电网有限责任公司保山供电局 纸质电力工程图纸扫描转化电子版cad图纸的方法
CN115661848A (zh) * 2022-07-11 2023-01-31 上海通办信息服务有限公司 一种基于深度学习的表格提取和识别方法及系统
CN115995086A (zh) * 2022-09-27 2023-04-21 东南大学 端子排图纸短连片图元的识别方法、设备及存储介质
CN115588202B (zh) * 2022-10-28 2023-08-15 南京云阶电力科技有限公司 一种基于轮廓检测的电气设计图纸中文字提取方法及系统
CN115690823B (zh) * 2022-11-01 2023-11-10 南京云阶电力科技有限公司 电气图纸中带有毛刺特征的表格信息提取方法及装置
CN115830584B (zh) * 2022-11-29 2024-05-24 南京云阶电力科技有限公司 基于深度学习的端子排文本检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《基于深度学习的电气二次图纸语义识别方法》;褚雪汝等;《浙江电力》;20230825;第42卷(第8期);第1-11页 *

Also Published As

Publication number Publication date
CN117611710A (zh) 2024-02-27

Similar Documents

Publication Publication Date Title
CN108388641B (zh) 一种基于深度学习的交通设施地图生成方法与系统
CN112633277A (zh) 基于深度学习的航道船牌检测、定位及识别方法
CN111461133B (zh) 快递面单品名识别方法、装置、设备及存储介质
CN115690823B (zh) 电气图纸中带有毛刺特征的表格信息提取方法及装置
CN115588202B (zh) 一种基于轮廓检测的电气设计图纸中文字提取方法及系统
CN112883795B (zh) 一种基于深度神经网络的表格快速自动提取方法
CN112364834A (zh) 一种基于深度学习和图像处理的表格识别的还原方法
CN110837839A (zh) 一种高精度无人机正射影像制作及数据采集方法
CN114663897A (zh) 表格提取方法与表格提取系统
CN111626145A (zh) 一种简捷有效的残缺表格识别及跨页拼接方法
CN113657377B (zh) 一种机打票据图像结构化识别方法
CN114386504A (zh) 一种工程图纸文字识别方法
CN117611710B (zh) 基于深度学习和图像处理的端子排图纸矢量化方法及系统
CN117611642A (zh) 一种地图图像配准方法、设备和介质
CN111046770B (zh) 一种照片档案人物自动标注方法
CN113743159A (zh) 一种应用于电力企业的ocr方法
CN116994269A (zh) 一种图像文档中印章相似度比对方法及对比系统
CN110956174A (zh) 一种器件编号的识别方法
CN116935421A (zh) 图片表格识别方法及图片表格识别装置
CN114494799A (zh) 一种目标元素的数据标注方法、装置、终端设备及计算机可读存储介质
CN112565549A (zh) 一种书册图像扫描方法
CN116311333B (zh) 针对电气图纸中边缘细小文字识别的预处理方法及系统
CN117690141A (zh) 一种配电柜的表计状态识别方法
CN112825141B (zh) 识别文本的方法、装置、识别设备和存储介质
CN113971745B (zh) 一种基于深度神经网络的出入境验讫章识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant