CN114694165B - 一种pid图纸智能识别与重绘方法 - Google Patents

一种pid图纸智能识别与重绘方法 Download PDF

Info

Publication number
CN114694165B
CN114694165B CN202210610807.1A CN202210610807A CN114694165B CN 114694165 B CN114694165 B CN 114694165B CN 202210610807 A CN202210610807 A CN 202210610807A CN 114694165 B CN114694165 B CN 114694165B
Authority
CN
China
Prior art keywords
pipeline
image
pid
coordinates
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210610807.1A
Other languages
English (en)
Other versions
CN114694165A (zh
Inventor
李忠涛
肖鑫
玄文凯
赵帅
袁朕鑫
杨磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN202210610807.1A priority Critical patent/CN114694165B/zh
Publication of CN114694165A publication Critical patent/CN114694165A/zh
Application granted granted Critical
Publication of CN114694165B publication Critical patent/CN114694165B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/18—Network design, e.g. design based on topological or interconnect aspects of utility systems, piping, heating ventilation air conditioning [HVAC] or cabling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2113/00—Details relating to the application field
    • G06F2113/14—Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/32—Image data format
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computational Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种PID图纸智能识别与重绘方法，涉及PID图纸识别、图像处理和计算机辅助设计领域。本发明通过采用模板匹配、深度学习、基于像素点的管线识别算法与合并规则的方法实现PID图纸图像中图件的定位、分类、文字检测与识别，并利用正则表达式将图件与文字进行关联以及通过PID绘制软件完成PID图纸的重绘，能够大幅度降低专业工程师手工绘制PID的时间，提高绘图效率和质量。

Description

一种PID图纸智能识别与重绘方法
技术领域
本发明涉及PID图纸识别、图像处理和计算机辅助设计领域，具体为一种PID图纸智能识别与重绘方法。
背景技术
PID是Piping and Instrument Diagram的缩写，即管道及仪表流程图，是工厂进行详细工程设计的依据。在国内石油化工行业，石化工程公司面对业主方提出的数字化移交的要求，需要将PID图纸文件（CAD版、PDF版）转换成智能PID（SPPID）。设备、管线（包括主要和次要管线）、仪表、阀门等图件及其标注，都要使用统一规定的图件符号和文字格式在SPPID中表示清楚。目前，石化工程公司主要依靠专业工程师手工绘制PID，但存在绘制进度慢和效率低的问题，大大影响设计质量和项目工期。
发明内容
本发明的目的在于提供一种PID图纸智能识别与重绘方法，为实现上述目的，本发明提供如下技术方案：一种PID图纸智能识别与重绘方法，包括以下步骤：
S1、将PID图纸文件转换成PID图纸图像同时对图像进行预处理，并在图像上建立二维坐标系；
S2、准备图纸识别数据集和模板库并建立对图件和文字的识别模型；
S3、应用模板库中的模板图像在PID图纸图像上进行模板匹配，根据匹配条件，得到匹配结果并在PID图纸图像中抠图得到图像A；
S4、应用识别模型中的基于残差网络的图件分类模型，将图像A分类并得到分类结果；
S5、应用基于全卷积网络的文本检测网络检测图像A中的文字信息，并应用识别模型中的基于神经网络分类器的文字识别模型识别图像A中检测到的文字信息，利用正则表达式将识别出的文字与对应图件进行关联，并建立图件的标注信息；
S6、应用基于像素点的管线识别算法遍历PID图纸图像，并根据管线宽度判断管线的类型（主要和次要管线），应用管线合并规则将识别到的PID图纸图像中的管线进行合并，得到管线的起止点坐标；
S7、根据预设宽高，结合管线起止点坐标对PID图纸图像进行抠图得到图像B，应用基于全卷积网络的文本检测网络检测图像B中的文字信息，并应用识别模型中的基于神经网络分类器的文字识别模型识别图像B中检测到的文字信息，利用正则表达式将识别出的文字与对应管线进行关联，并建立管线的标注信息；
S8、保存模板匹配结果中图件的中心点坐标、旋转角度，图件类别和属性，管线起止点坐标、管线类型和管线属性，标注信息，根据PID图纸图像的尺寸、图框尺寸，结合PID绘制软件的绘制格式，将保存结果中的坐标信息按照转换公式进行转换，并通过PID绘制软件提供的软件接口，利用保存的结果进行PID图纸的重绘。
优选的，步骤S1中将PID图纸文件转换成PID图纸图像同时对图像进行预处理，并在图像上建立二维坐标系，其特征在于，包括：
S11、所述将PID图纸文件转换成PID图纸图像是将PID图纸文件转换成png格式的PID图纸图像；
S12、所述预处理是将图像转换成灰度图像，同时增强图像的对比度，使图像更清晰；
S13、所述二维坐标系是以图像左上角为原点，竖直向下方向为X轴正方向，水平向右方向为Y轴正方向。
优选的，步骤S2中准备图纸识别数据集和模板库并建立对图件和文字的识别模型，其特征在于，包括：
S21、所述图纸识别数据集是通过在PID图纸文件上手工抠图建立的，包括图件分类数据集和文字识别数据集；
S22、所述模板库包含多个模板图像，模板图像是由图件的轮廓形状构成，一个模板图像对应一个或多个类别的图件；
S23、所述识别模型是应用图件分类数据集及文字识别数据集对预设类型的神经网络分别进行模型训练建立相应的图件分类模型、文字识别模型。
优选的，步骤S3中应用模板库中的模板图像在PID图纸图像上进行模板匹配，根据匹配条件，得到匹配结果并在PID图纸图像中抠图得到图像A，其特征在于，包括：
S31、所述模板匹配采用的是基于轮廓形状的模板匹配，涉及模板的平移、旋转以及缩放。假设PID图纸图像是一幅M行N列的图像，模板是一幅m行n列的图像，从PID图纸图像（0，0）点开始，以滑动窗口的方式计算大小的子图作为匹配图片与模板根据匹配条件比较；
S32、所述匹配条件采用的是基于图像边缘方向梯度的相关性，计算公式为：
其中，
和：分别表示模板图像在坐标点的 x方向梯度和 y方向梯度；
和：分别表示匹配图片在坐标点的 x方向梯度和 y方向梯度；
其中，
u和 v：分别表示匹配图片的行列数；
S u,v ：表示模板与匹配图片的相似度得分，介于0-1之间，值越大，相似程度越高；
S33、所述匹配结果包括PID图纸图像中匹配图件的中心点坐标、旋转角度、缩放比例、相似度得分，并根据相似度得分与预设阈值进行比较，保留大于阈值的匹配结果；
S34、所述图像A是根据匹配结果及匹配图件的轮廓形状，得到匹配图件的最小外接矩形，将最小外接矩形的宽高增加预设像素值，进而进行抠图。
优选的，步骤S4中应用识别模型中的基于残差网络的图件分类模型，将图像A分类并得到分类结果，其特征在于：应用图纸识别数据集中的图件分类数据集训练ResNet50残差网络，得到图件分类模型。
优选的，步骤S5中应用基于全卷积网络的文本检测网络检测图像A中的文字信息，并应用识别模型中的基于神经网络分类器的文字识别模型识别图像A中检测到的文字信息，利用正则表达式将识别出的文字与对应图件进行关联，并建立图件的标注信息，其特征在于，包括：
S51、所述基于全卷积网络的文本检测网络是EAST网络，将文字信息用旋转矩形框（矩形框长度大的边与Y轴正方向的夹角）框出；
S52、所述基于神经网络分类器的文字识别模型是应用图纸识别数据集中的文字识别数据集训练MLP分类器，得到文字识别模型；
S53、所述正则表达式是结合图件类别信息查找文字识别结果中符合图件属性命名规则的文字；
S54、所述图件的标注信息是结合图件类别信息，记录符合图件属性命名规则文字的矩形框中心点坐标、矩形框的旋转角度和图件标注的名称。
优选的，步骤S6中应用基于像素点的管线识别算法遍历PID图纸图像，并根据管线宽度判断管线的类型（主要和次要管线），应用管线合并规则将识别到的PID图纸图像中的管线进行合并，得到管线的起止点坐标，其特征在于，包括：
S61、所述基于像素点的管线识别算法是根据S3中匹配结果中的中心点坐标并结合匹配图件最小外接矩形的宽高，得到PID图纸图像中匹配图件最小外接矩形的水平方向两条边和竖直方向两条边的中心点坐标；
判断该点像素值是否小于255，若小于，则继续按照预设方向遍历并更新相关点的坐标；
判断水平方向两个点的坐标和竖直方向两个点的坐标差值是否大于匹配图件最小外接矩形的宽高，若大于，则记录水平和竖直管线起止点坐标；
S62、所述管线合并规则是寻找同一水平线和同一竖直线的管线，按照每段管线的起点坐标由小到大排序，判断同一水平线和同一竖直线中管线数量是否大于1，若大于1，则遍历同一水平线和同一竖直线中所有管线，判断当前管线的终止坐标是否大于下一段管线的起点坐标，若大于，则更新当前管线的终止坐标为下一段管线的终止坐标；
S63、当合并管线结束后，针对水平管线，以管线的起止点为初始点，分别向竖直方向延伸，直至某点的像素值等于255；
寻找同一竖直线的管线，判断该竖直管线是否是同一竖直线中管线的子管线，若不是，则记录该竖直管线的起止点坐标；
针对竖直管线，以管线的起止点为初始点，分别向水平方向延伸，直至某点的像素值等于255；
寻找同一水平线的管线，判断该水平管线是否是同一水平线中管线的子管线，若不是，则记录该水平管线的起止点坐标。
优选的，步骤S7中根据预设宽高，结合管线起止点坐标对PID图纸图像进行抠图得到图像B，应用基于全卷积网络的文本检测网络检测图像B中的文字信息，并应用识别模型中的基于神经网络分类器的文字识别模型识别图像B中检测到的文字信息，利用正则表达式将识别出的文字与对应管线进行关联，并建立管线的标注信息，其特征在于，包括：
S71、所述基于全卷积网络的文本检测网络是EAST网络，将文字信息用旋转矩形框（矩形框长度大的边与Y轴正方向的夹角）框出；
S72、所述基于神经网络分类器的文字识别模型是应用图纸识别数据集中的文字识别数据集训练MLP分类器，得到文字识别模型；
S73、所述正则表达式是查找文字识别结果中符合管线属性命名规则的文字；
S74、所述管线的标注信息是记录符合管线属性命名规则文字的矩形框中心点坐标、矩形框的旋转角度和管线标注的名称。
优选的，步骤S8中保存模板匹配结果中图件的中心点坐标、旋转角度，图件类别和属性，管线起止点坐标、管线类型和管线属性，标注信息，根据PID图纸图像的尺寸、图框尺寸，结合PID绘制软件的绘制格式，将保存结果中的坐标信息按照转换公式进行转换，并通过PID绘制软件提供的软件接口，利用保存的结果进行PID图纸的重绘，其特征在于，包括：
S81、所述PID图纸图像的尺寸是图像的宽高，单位是像素；
S82、所述图框尺寸是，单位是毫米；
S83、所述PID绘制软件的绘制格式是以左下角为坐标原点，水平向右方向为X轴正方向，竖直向上方向为Y轴正方向；
S84、所述转换公式为：
其中，
和：分别以英寸为单位表示图框的宽和高；
和：分别表示图件及其标注在PID图纸图像中的中心点坐标；
和：分别表示PID图纸图像的宽和高；
和：分别表示PID图纸图像中宽和高与图框宽和高的对应关系；
和：分别表示图件及其标注在PID绘制软件中的中心点坐标。
与现有技术相比，本发明的有益效果如下：通过采用模板匹配、深度学习、基于像素点的管线识别算法与合并规则的方法实现PID图纸图像中图件的定位、分类、文字检测与识别，并利用正则表达式将图件与文字进行关联以及通过PID绘制软件完成PID图纸的重绘，能够大幅度降低专业工程师手工绘制PID的时间，提高绘图效率和质量。
附图说明
图1为本发明实施例提供的一种PID图纸智能识别与重绘方法的流程图。
图2为本发明实施例提供的管线识别与合并及文本检测示意图。
图3为本发明实施例提供的一部分PID图纸图像。
图4为本发明实施例提供的重绘结果。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1至图4，本发明提供一种PID图纸智能识别与重绘方法技术方案：一种PID图纸智能识别与重绘方法，包括以下步骤：
S1、将PID图纸文件转换成PID图纸图像同时对图像进行预处理，并在图像上建立二维坐标系；
S2、准备图纸识别数据集和模板库并建立对图件和文字的识别模型；
S3、应用模板库中的模板图像在PID图纸图像上进行模板匹配，根据匹配条件，得到匹配结果并在PID图纸图像中抠图得到图像A；
S4、应用识别模型中的基于残差网络的图件分类模型，将图像A分类并得到分类结果；
S5、应用基于全卷积网络的文本检测网络检测图像A中的文字信息，并应用识别模型中的基于神经网络分类器的文字识别模型识别图像A中检测到的文字信息，利用正则表达式将识别出的文字与对应图件进行关联，并建立图件的标注信息；
S6、应用基于像素点的管线识别算法遍历PID图纸图像，并根据管线宽度判断管线的类型（主要和次要管线），应用管线合并规则将识别到的PID图纸图像中的管线进行合并，得到管线的起止点坐标；
S7、根据预设宽高，结合管线起止点坐标对PID图纸图像进行抠图得到图像B，应用基于全卷积网络的文本检测网络检测图像B中的文字信息，并应用识别模型中的基于神经网络分类器的文字识别模型识别图像B中检测到的文字信息，利用正则表达式将识别出的文字与对应管线进行关联，并建立管线的标注信息；
S8、保存模板匹配结果中图件的中心点坐标、旋转角度，图件类别和属性，管线起止点坐标、管线类型和管线属性，标注信息，根据PID图纸图像的尺寸、图框尺寸，结合PID绘制软件的绘制格式，将保存结果中的坐标信息按照转换公式进行转换，并通过PID绘制软件提供的软件接口，利用保存的结果进行PID图纸的重绘。
本实施例，进一步的，步骤S1中将PID图纸文件转换成PID图纸图像同时对图像进行预处理，并在图像上建立二维坐标系，其特征在于，包括：
S11、所述将PID图纸文件转换成PID图纸图像是将PID图纸文件转换成png格式的PID图纸图像；
S12、所述预处理是将图像转换成灰度图像，同时增强图像的对比度，使图像更清晰；
S13、所述二维坐标系是以图像左上角为原点，竖直向下方向为X轴正方向，水平向右方向为Y轴正方向。
本实施例，进一步的，步骤S2中准备图纸识别数据集和模板库并建立对图件和文字的识别模型，其特征在于，包括：
S21、所述图纸识别数据集是通过在PID图纸文件上手工抠图建立的，包括图件分类数据集和文字识别数据集；
S22、所述模板库包含多个模板图像，模板图像是由图件的轮廓形状构成，一个模板图像对应一个或多个类别的图件。如图3所示，图3中间包含圆的图件是不同类别的仪表，但在创建模板图像时，都以圆形作为模板图像；
S23、所述识别模型是应用图件分类数据集及文字识别数据集对预设类型的神经网络分别进行模型训练建立相应的图件分类模型、文字识别模型。
本实施例，进一步的，步骤S3中应用模板库中的模板图像在PID图纸图像上进行模板匹配，根据匹配条件，得到匹配结果并在PID图纸图像中抠图得到图像A，其特征在于，包括：
S31、所述模板匹配采用的是基于轮廓形状的模板匹配，涉及模板的平移、旋转以及缩放。假设PID图纸图像是一幅M行N列的图像，模板是一幅m行n列的图像，从PID图纸图像（0，0）点开始，以滑动窗口的方式计算大小的子图作为匹配图片与模板根据匹配条件比较；
S32、所述匹配条件采用的是基于图像边缘方向梯度的相关性，计算公式为：
其中，
和：分别表示模板图像在坐标点的 x方向梯度和 y方向梯度；
和：分别表示匹配图片在坐标点的 x方向梯度和 y方向梯度；
其中，
u和 v：分别表示匹配图片的行列数；
S u,v ：表示模板与匹配图片的相似度得分，介于0-1之间，值越大，相似程度越高；
S33、所述匹配结果包括PID图纸图像中匹配图件的中心点坐标、旋转角度、缩放比例、相似度得分，并根据相似度得分与预设阈值进行比较，保留大于阈值的匹配结果；
S34、所述图像A是根据匹配结果及匹配图件的轮廓形状，得到匹配图件的最小外接矩形，将最小外接矩形的宽高增加预设像素值，进而进行抠图。
本实施例，进一步的，步骤S4中应用识别模型中的基于残差网络的图件分类模型，将图像A分类并得到分类结果，其特征在于：应用图纸识别数据集中的图件分类数据集训练ResNet50残差网络，得到图件分类模型。
本实施例中，图件是指PID图纸图像中的仪表、阀门及管线。
本实施例，进一步的，步骤S5中应用基于全卷积网络的文本检测网络检测图像A中的文字信息，并应用识别模型中的基于神经网络分类器的文字识别模型识别图像A中检测到的文字信息，利用正则表达式将识别出的文字与对应图件进行关联，并建立图件的标注信息，其特征在于，包括：
S51、所述基于全卷积网络的文本检测网络是EAST网络，将文字信息用旋转矩形框（矩形框长度大的边与Y轴正方向的夹角）框出；
S52、所述基于神经网络分类器的文字识别模型是应用图纸识别数据集中的文字识别数据集训练MLP分类器，得到文字识别模型；
S53、所述正则表达式是结合图件类别信息查找文字识别结果中符合图件属性命名规则的文字。如图2所示，图2中左下方的图件是阀门（V-02405B和CSP分别是阀门的编号和操作方式），利用正则表达式判断图像A中识别的文字是否包含一个“-”，若包含，则记录“-”前面的一个文字和“-”后面的6个文字；若不包含，判断识别文字的数量是否小于等于3，若小于等于3，则记录相应文字；
S54、所述图件的标注信息是结合图件类别信息，记录符合图件属性命名规则文字的矩形框中心点坐标、矩形框的旋转角度和图件标注的名称。若图件类别属于离线仪表，则无需记录图件的标注信息。如图2所示，图2中左下方阀门的标注信息是阀门上方矩形框的中心点坐标、矩形框的旋转角度0度、阀门的编号（Item Tag）和阀门下方矩形框的中心点坐标、矩形框的旋转角度0度、阀门的操作方式（Operation Action）。其中， x、 y、 w、 h分别是阀门编号矩形框的左上角坐标、高和宽， x 2 、 y 2 、 w 2 、 h 2 分别是阀门操作方式矩形框的左上角坐标、高和宽。
本实施例，进一步的，步骤S6中应用基于像素点的管线识别算法遍历PID图纸图像，并根据管线宽度判断管线的类型（主要和次要管线），应用管线合并规则将识别到的PID图纸图像中的管线进行合并，得到管线的起止点坐标，其特征在于，包括：
S61、所述基于像素点的管线识别算法是根据S3中匹配结果中的中心点坐标并结合匹配图件最小外接矩形的宽高，得到PID图纸图像中匹配图件最小外接矩形的水平方向两条边和竖直方向两条边的中心点坐标。如图2所示，图2左上方图件的两个水平坐标分别为A和B，竖直坐标分别为C和D。以水平坐标A和B为例，A和B的像素值小于255，A点水平向左移动一个像素，B点水平向右移动一个像素，当A点和B点的像素值等于255时，即A移动到S，B移动到E，停止移动。此时，A点和B点的坐标差值大于该图件最小外接矩形的宽，记录该水平管线的起止点坐标为S和E；
S62、所述管线合并规则是寻找同一水平线和同一竖直线的管线，按照每段管线的起点坐标由小到大排序，判断同一水平线和同一竖直线中管线数量是否大于1，若大于1，则遍历同一水平线和同一竖直线中所有管线，判断当前管线的终止坐标是否大于下一段管线的起点坐标，若大于，则更新当前管线的终止坐标为下一段管线的终止坐标。如图2所示，图2第一段管线的起止点为S和E，第二段管线的起止点为B和G，第一段管线终止点E点的坐标值大于第二段管线起始点B点的坐标值，因此，将第一段管线与第二段管线合并。最终，得到管线的起止点坐标为S和T；
S63、当合并管线结束后，针对水平管线，以管线的起止点为初始点，分别向竖直方向延伸，直至某点的像素值等于255；
寻找同一竖直线的管线，判断该竖直管线是否是同一竖直线中管线的子管线，若不是，则记录该竖直管线的起止点坐标；
针对竖直管线，以管线的起止点为初始点，分别向水平方向延伸，直至某点的像素值等于255；
寻找同一水平线的管线，判断该水平管线是否是同一水平线中管线的子管线，若不是，则记录该水平管线的起止点坐标。
本实施例中，管线属性是指管线号。
本实施例，进一步的，步骤S7中根据预设宽高，结合管线起止点坐标对PID图纸图像进行抠图得到图像B，应用基于全卷积网络的文本检测网络检测图像B中的文字信息，并应用识别模型中的基于神经网络分类器的文字识别模型识别图像B中检测到的文字信息，利用正则表达式将识别出的文字与对应管线进行关联，并建立管线的标注信息，其特征在于，包括：
S71、所述基于全卷积网络的文本检测网络是EAST网络，将文字信息用旋转矩形框（矩形框长度大的边与Y轴正方向的夹角）框出；
S72、所述基于神经网络分类器的文字识别模型是应用图纸识别数据集中的文字识别数据集训练MLP分类器，得到文字识别模型；
S73、所述正则表达式是查找文字识别结果中符合管线属性命名规则的文字，并记录相应矩形框的中心点坐标。如图2所示，图2最上方的图件是管线（6”-LM-0241B-S1A-CC是管线号），利用正则表达式判断图像B中识别的文字是否包含四个“-”，若正确，则记录相应文字；
S74、所述管线的标注信息是记录符合管线属性命名规则文字的矩形框中心点坐标、矩形框的旋转角度和管线标注的名称。如图2所示，图2中最上方管线（管线起止点分别为S和T）的标注信息是图2右下方矩形框的中心点坐标、矩形框的旋转角度0度、管线的管线号（Line Number）。其中， x 1 、 y 1 、 w 1 、 h 1 分别是矩形框的左上角坐标、高和宽。
本实施例，进一步的，步骤S8中保存模板匹配结果中图件的中心点坐标、旋转角度，图件类别和属性，管线起止点坐标、管线类型和管线属性，标注信息，根据PID图纸图像的尺寸、图框尺寸，结合PID绘制软件的绘制格式，将保存结果中的坐标信息按照转换公式进行转换，并通过PID绘制软件提供的软件接口，利用保存的结果进行PID图纸的重绘，其特征在于，包括：
S81、所述PID图纸图像的尺寸是图像的宽高，单位是像素；
S82、所述图框尺寸是，图框类型是A1；
S83、所述PID绘制软件的绘制格式是以左下角为坐标原点，水平向右方向为X轴正方向，竖直向上方向为Y轴正方向；
S84、所述转换公式为：
其中，
和：分别以英寸为单位表示图框的宽和高；
和：分别表示图件及其标注在PID图纸图像中的中心点坐标；
和：分别表示PID图纸图像的宽和高；
和：分别表示PID图纸图像中宽和高与图框宽和高的对应关系；
和：分别表示图件及其标注在PID绘制软件中的中心点坐标。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (3)

1.一种PID图纸智能识别与重绘方法，应用于PID图纸识别领域，其特征在于，包括以下步骤：
S1、将PID图纸文件转换成灰度PID图纸图像同时对图像进行预处理，并在图像上建立二维坐标系；
S2、准备图纸识别数据集和模板库并建立对图件和文字的识别模型；
S21、图纸识别数据集是通过在PID图纸文件上手工抠图建立的，包括图件分类数据集和文字识别数据集；
S22、模板库包含多个模板图像，模板图像是由图件的轮廓形状构成，一个模板图像对应一个或多个类别的图件；
S3、应用模板库中的模板图像在PID图纸图像上进行模板匹配，根据匹配条件，得到匹配结果并在PID图纸图像中抠图得到图像A；
S4、应用识别模型中的基于残差网络的图件分类模型，将图像A分类并得到分类结果；
S5、应用基于全卷积网络的文本检测网络检测图像A中的文字信息，并应用识别模型中的基于神经网络分类器的文字识别模型识别图像A中检测到的文字信息，利用正则表达式将识别出的文字与对应图件进行关联，并建立图件的标注信息；
S51、基于全卷积网络的文本检测网络将图像A中的文字信息用旋转矩形框框出；
S52、正则表达式是结合图件类别信息查找文字识别结果中符合图件属性命名规则的文字；
S53、图件的标注信息是结合图件类别信息，记录符合图件属性命名规则文字的矩形框中心点坐标、矩形框的旋转角度和图件标注的名称；
S6、应用基于像素点的管线识别算法遍历PID图纸图像，并根据管线宽度判断管线的类型，应用管线合并规则将识别到的PID图纸图像中的管线进行合并，得到管线的起止点坐标；
S61、PID图纸图像是灰度图像，图件指仪表或者阀门且图件之间采用管线进行连接，并且PID图纸图像中的背景像素值等于255，图件像素值小于255，管线像素值小于255；基于像素点的管线识别算法是根据模板匹配结果中的中心点坐标并结合匹配图件最小外接矩形的宽高，得到PID图纸图像中匹配图件最小外接矩形的水平方向两条边和竖直方向两条边的中心点坐标，并将水平方向两条边和竖直方向两条边的中心点坐标分别作为水平管线和竖直管线的起止点；判断管线起止点像素值是否小于255，若小于，则继续按照预设方向遍历并更新起止点的坐标；判断水平管线和竖直管线的起止点坐标差值是否大于匹配图件最小外接矩形的宽高，若大于，则记录水平和竖直管线起止点坐标；
S62、管线合并规则是寻找同一水平线和同一竖直线的管线，按照每段管线的起点坐标由小到大排序，判断同一水平线和同一竖直线中管线数量是否大于1，若大于1，则遍历同一水平线和同一竖直线中所有管线，判断当前管线的终止坐标是否大于下一段管线的起点坐标，若大于，则更新当前管线的终止坐标为下一段管线的终止坐标；
S63、当合并管线结束后，针对水平管线，以管线的起止点为初始点，分别向竖直方向延伸，直至某点的像素值等于255；寻找同一竖直线的管线，判断该竖直管线是否是同一竖直线中管线的子管线，若不是，则记录该竖直管线的起止点坐标；针对竖直管线，以管线的起止点为初始点，分别向水平方向延伸，直至某点的像素值等于255；寻找同一水平线的管线，判断该水平管线是否是同一水平线中管线的子管线，若不是，则记录该水平管线的起止点坐标；
S7、根据预设宽高，结合管线起止点坐标对PID图纸图像进行抠图得到图像B，应用基于全卷积网络的文本检测网络检测图像B中的文字信息，并应用识别模型中的基于神经网络分类器的文字识别模型识别图像B中检测到的文字信息，利用正则表达式将识别出的文字与对应管线进行关联，并建立管线的标注信息；
S8、保存模板匹配结果中图件的中心点坐标、旋转角度，图件类别和属性，管线起止点坐标、管线类型和管线属性，标注信息，根据PID图纸图像的尺寸、图框尺寸，结合PID绘制软件的绘制格式，将保存结果中的坐标信息按照转换公式进行转换，并通过PID绘制软件提供的软件接口，利用保存的结果进行PID图纸的重绘；
S81、PID图纸图像的尺寸是图像的宽高，单位是像素；图框尺寸是W×H，单位是毫米；PID绘制软件的绘制格式是以左下角为坐标原点，水平向右方向为X轴正方向，竖直向上方向为Y轴正方向；
S82、转换公式为：
Scale_x＝W/25.4
Scale_y＝H/25.4
Original_x＝25.4/Image_width
Original_y＝25.4/Image_height
PID_x＝((Symbol_y×Orighinal_x×Scale_x)/1000
PID_y＝((Image_height-Symbol_x)×Original_y×Scale_y)/1000
其中，
Scale_x和Scale_y：分别以英寸为单位表示图框的宽和高；
Symbol_x和Symbol_y：分别表示图件及其标注在PID图纸图像中的中心点坐标；
Image_width和Image_height：分别表示PID图纸图像的宽和高；
Original_x和Original_y：分别表示PID图纸图像中宽和高与图框宽和高的对应关系；
PID_x和PID_y：分别表示图件及其标注在PID绘制软件中的中心点坐标。
2.根据权利要求1所述的PID图纸智能识别与重绘方法，步骤S3中应用模板库中的模板图像在PID图纸图像上进行模板匹配，根据匹配条件，得到匹配结果并在PID图纸图像中抠图得到图像A，其特征在于，包括：
S31、模板匹配采用的是基于轮廓形状的模板匹配，涉及模板的平移、旋转以及缩放，匹配条件采用的是模板与匹配图片的相似度得分，计算公式为：
Figure FDA0004152372940000031
其中，
Figure FDA0004152372940000032
和
Figure FDA0004152372940000033
分别表示模板图像在(x，y)坐标点的x方向梯度和y方向梯度；
Figure FDA0004152372940000034
和
Figure FDA0004152372940000035
分别表示匹配图片在(x，y)坐标点的x方向梯度和y方向梯度；
其中，
u和v：分别表示匹配图片的行列数；
Su，v：表示模板与匹配图片的相似度得分，介于0-1之间，值越大，相似程度越高；
S32、匹配结果包括PID图纸图像中匹配图件的中心点坐标、旋转角度、缩放比例、相似度得分，并根据相似度得分与预设阈值进行比较，保留大于阈值的匹配结果；
S33、图像A是根据匹配结果及匹配图件的轮廓形状，得到匹配图件的最小外接矩形，将最小外接矩形的宽高增加预设像素值，进而进行抠图。
3.根据权利要求1所述的PID图纸智能识别与重绘方法，步骤S7中根据预设宽高，结合管线起止点坐标对PID图纸图像进行抠图得到图像B，应用基于全卷积网络的文本检测网络检测图像B中的文字信息，并应用识别模型中的基于神经网络分类器的文字识别模型识别图像B中检测到的文字信息，利用正则表达式将识别出的文字与对应管线进行关联，并建立管线的标注信息，其特征在于，包括：
S71、基于全卷积网络的文本检测网络将图像B中的文字信息用旋转矩形框框出；
S72、正则表达式是查找文字识别结果中符合管线属性命名规则的文字；
S73、管线的标注信息是记录符合管线属性命名规则文字的矩形框中心点坐标、矩形框的旋转角度和管线标注的名称。
CN202210610807.1A 2022-06-01 2022-06-01 一种pid图纸智能识别与重绘方法 Active CN114694165B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210610807.1A CN114694165B (zh) 2022-06-01 2022-06-01 一种pid图纸智能识别与重绘方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210610807.1A CN114694165B (zh) 2022-06-01 2022-06-01 一种pid图纸智能识别与重绘方法

Publications (2)

Publication Number Publication Date
CN114694165A CN114694165A (zh) 2022-07-01
CN114694165B true CN114694165B (zh) 2023-05-09

Family

ID=82131319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210610807.1A Active CN114694165B (zh) 2022-06-01 2022-06-01 一种pid图纸智能识别与重绘方法

Country Status (1)

Country Link
CN (1) CN114694165B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115116045B (zh) * 2022-07-07 2023-04-28 中国建筑西南设计研究院有限公司 基于位置识别的板配筋计算结果dwg文件识别方法
CN114863464B (zh) * 2022-07-08 2023-04-14 山东兆恩信息科技有限公司 一种pid图纸图件信息的二阶识别方法
CN115620014B (zh) * 2022-12-06 2023-04-07 中国石油大学(华东) 一种基于深度学习的管道仪表流程图信息抽取方法及设备
CN116110071B (zh) * 2023-04-07 2023-09-12 济南大学 一种基于深度学习的图像格式管道和仪表图管线识别方法
CN116259067B (zh) * 2023-05-15 2023-09-12 济南大学 一种高精度识别pid图纸符号的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461066A (zh) * 2020-04-24 2020-07-28 北京联合普肯工程技术股份有限公司 过程工业流程图的识别方法及装置、电子设备
CN114255300A (zh) * 2021-12-20 2022-03-29 浙江中控技术股份有限公司 流程图的提取模型训练方法、获取方法、设备及介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3909697B2 (ja) * 2003-01-31 2007-04-25 株式会社日立製作所 図面認識方法及びその装置
CN101882225B (zh) * 2009-12-29 2013-09-18 北京中科辅龙计算机技术股份有限公司 基于模板的工程图纸材料信息提取方法及系统
EP3029535A3 (en) * 2014-12-03 2016-07-13 Rockwell Automation Technologies, Inc. P&ID and control system synchronization
CN106599375B (zh) * 2016-11-21 2020-02-21 北京中科辅龙科技股份有限公司 一种基于p&id的密封点自动识别系统及方法
US10755002B2 (en) * 2017-05-12 2020-08-25 Ge-Hitachi Nuclear Energy Americas Llc Method and apparatus for facilitating creation of simulation model
CN108355981B (zh) * 2018-01-08 2020-03-17 西安交通大学 一种基于机器视觉的电池连接器质量检测方法
KR102177550B1 (ko) * 2018-11-30 2020-11-11 도프텍(주) 이미지화된 pid 도면에서 설계 정보를 자동으로 인식하여 분류하는 방법
EP3660743B1 (en) * 2018-11-30 2024-03-20 Tata Consultancy Services Limited Systems and methods for automating information extraction from piping and instrumentation diagrams
CN109816772B (zh) * 2018-12-28 2023-03-10 南京维伍网络科技有限公司 一种由cad户型文件快速生成虚拟现实场景的处理方法
CN111862067B (zh) * 2020-07-28 2021-10-26 中山佳维电子有限公司 一种焊接缺陷检测方法、装置、电子设备以及存储介质
CN112288871A (zh) * 2020-10-27 2021-01-29 上海市政工程设计研究总院（集团）有限公司 基于PipingLeader平台的综合管线平面图转三维管线模型的建模方法
CN114529773A (zh) * 2020-10-30 2022-05-24 上海交通大学 基于结构单元的表格识别方法、系统、终端及介质
CN113378671A (zh) * 2021-05-31 2021-09-10 邵艳杰 基于深度学习的pid图纸解析方法、计算机系统及介质
CN113485160A (zh) * 2021-07-26 2021-10-08 中国核电工程有限公司 一种基于图形匹配识别的仿真建模方法及装置
CN113743057B (zh) * 2021-09-16 2024-04-09 南京津码智能科技有限公司 一种基于对象识别重绘的电网ocs图纸转换方法
CN114004984A (zh) * 2021-10-15 2022-02-01 国网上海市电力公司 一种高压电缆附件工艺库图纸比对方法和系统
CN114120349B (zh) * 2022-01-10 2022-05-03 深圳市菁优智慧教育股份有限公司 基于深度学习的试卷识别方法及系统
CN114429649B (zh) * 2022-04-07 2022-06-24 青岛美迪康数字工程有限公司 目标图像识别方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461066A (zh) * 2020-04-24 2020-07-28 北京联合普肯工程技术股份有限公司 过程工业流程图的识别方法及装置、电子设备
CN114255300A (zh) * 2021-12-20 2022-03-29 浙江中控技术股份有限公司 流程图的提取模型训练方法、获取方法、设备及介质

Also Published As

Publication number Publication date
CN114694165A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN114694165B (zh) 一种pid图纸智能识别与重绘方法
AU2020103716A4 (en) Training method and device of automatic identification device of pointer instrument with numbers in natural scene
CN110598698B (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN110796143A (zh) 一种基于人机协同的场景文本识别方法
CN110717492B (zh) 基于联合特征的图纸中字符串方向校正方法
CN113762269A (zh) 基于神经网络的中文字符ocr识别方法、系统、介质及应用
CN114332007A (zh) 一种基于Transformer的工业缺陷检测和识别方法
CN113505789A (zh) 一种基于crnn的电气设备铭牌文本识别方法
CN111368703A (zh) 一种基于fpn的台标检测与识别的方法
CN114241469A (zh) 一种面向电表轮换过程的信息识别方法和装置
CN114743201A (zh) 一种基于旋转目标检测的万用表读数识别方法及系统
CN115830359A (zh) 复杂场景下基于目标检测和模板匹配的工件识别计数方法
CN111754502A (zh) 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法
CN113947714B (zh) 一种视频监控和遥感的多模态协同优化方法及系统
CN114219753A (zh) 一种基于深度学习的电力设备表面缺陷检测方法及终端
CN111832497B (zh) 一种基于几何特征的文本检测后处理方法
CN111144469B (zh) 基于多维关联时序分类神经网络的端到端多序列文本识别方法
CN111950556A (zh) 一种基于深度学习的号牌印刷质量检测方法
CN107358244A (zh) 一种快速局部不变特征提取与描述方法
CN109325487B (zh) 一种基于目标检测的全种类车牌识别方法
CN106056575A (zh) 一种基于似物性推荐算法的图像匹配方法
CN109636838A (zh) 一种基于遥感影像变化检测的燃气隐患分析方法及装置
CN113128608B (zh) 一种基于5g和图嵌入优化的tsvm模型自优化与预测方法、设备及存储介质
CN111898402A (zh) 一种智能排版系统
CN111784634A (zh) 一种基于Harris-CPDA的角点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant