CN116740750A - 一种基于工程图纸的尺寸信息识别的重构方法及装置 - Google Patents

一种基于工程图纸的尺寸信息识别的重构方法及装置 Download PDF

Info

Publication number
CN116740750A
CN116740750A CN202310791979.8A CN202310791979A CN116740750A CN 116740750 A CN116740750 A CN 116740750A CN 202310791979 A CN202310791979 A CN 202310791979A CN 116740750 A CN116740750 A CN 116740750A
Authority
CN
China
Prior art keywords
engineering drawing
size
straight line
information
engineering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310791979.8A
Other languages
English (en)
Inventor
王海楠
唐一铭
黄祥
汤文娟
顾徐
杜彪
王浩羽
霍丹江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Fangtian Power Technology Co Ltd
Original Assignee
Jiangsu Fangtian Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Fangtian Power Technology Co Ltd filed Critical Jiangsu Fangtian Power Technology Co Ltd
Priority to CN202310791979.8A priority Critical patent/CN116740750A/zh
Publication of CN116740750A publication Critical patent/CN116740750A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1452—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on positionally close symbols, e.g. amount sign or URL-specific characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于工程图纸的尺寸信息识别的重构方法及装置，对矢量化后的的扫描工程图纸作字符分离，再组合成完整的标注字符串，合并为标注文本区域；对标注文本区域作字符识别，对字符识别后的得到的结果进行清洗预处理，得到清洗后的候选尺寸数字集；进行解析、定位、提取，并去除杂质线段，分析和处理不同类型直线及其组合，输出起始与终点坐标信息；确定工程图纸中尺寸结构的尺寸信息；利用所述工程图纸中尺寸结构的尺寸信息进行矢量化图纸到二维翻模图纸的转化的坐标重建，得到真实坐标系统下完整的二维工程图。优点：不仅提高了尺寸结构信息提取的准确率，还给出一种基于整体的尺寸重建方法，使尺寸标注与图形保持严格一致。

Description

一种基于工程图纸的尺寸信息识别的重构方法及装置
技术领域
本发明涉及一种基于工程图纸的尺寸信息识别的重构方法及装置，属于工程图矢量化技术领域。
背景技术
工程图矢量化是将工程图的扫描位图表达转化为可供CAD系统使用的包括线条、字符串的几何表示及编码表示的图形描述的过程。工程图的几何信息表达产品的结构形状，而各部分的大小和相对位置则通过尺寸标注来确定。尺寸标注系统无论是在传统的手绘图纸还是在现今已经普遍使用的CAD系统中都是最重要的组成元素之一。它正确反映了形体的几何性质和逻辑关系，包括位置、大小以及形体之间的约束等信息，是目前参数化设计领域研究的热点。因此，如何以尺寸信息为研究对象进行修改、重用便成为了一个重要的问题。
尺寸结构提取是从位图中在直线识别和字符串识别的基础上，找出属于同一尺寸结构的部分，并对其坐标转化，以方便后续工程图三维提取的工作。它是正确理解工程图的基础。尺寸结构提取是工程图矢量化过程中一个重要的也是比较难处理的一个环节。导致尺寸结构难以准确提取的原因主要是直线和字符串的方向复杂性和扫描工程图的位图内容的复杂性。工程图纸的扫描位图中会含有很多噪音及退化现象，从而影响箭头的识别；另外，字线粘连、字字粘连等现象严重影响尺寸数字的识别。与此同时，尺寸重建是指在识别尺寸之后，调整尺寸标注与被标识图形对象的关系使之保持一致的工作，即：如将矢量化结果输入CAD系统中重新对尺寸标识对象进行自动标注尺寸，会得到同样的尺寸数字。矢量化处理后的图纸在引入CAD系统进一步使用前，必须经过尺寸重建才能保证与CAD系统所用的尺寸标注系统相一致。因此，尺寸重建对工程图的复用具有重要意义。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷，提供一种基于工程图纸的尺寸信息识别的重构方法及装置。
为解决上述技术问题，本发明提供一种基于工程图纸的尺寸信息识别的重构方法，包括：
步骤1，获取矢量化后的扫描工程图纸，对矢量化后的的扫描工程图纸，作字符分离，将分离出来的字符组合成完整的标注字符串，并合并为标注文本区域；
步骤2，对所述标注文本区域作字符识别，对字符识别后的得到的结果进行清洗预处理，得到清洗后的候选尺寸数字集；
步骤3，基于矢量化后的扫描工程图纸对直线以及相关联的图元信息进行解析、定位、提取，并去除杂质线段，分析和处理不同类型直线及其组合，输出起始与终点坐标信息；
步骤4，以步骤2中得到的候选尺寸数字集中的候选尺寸数字出发，结合所述不同类型直线的起始与终点坐标信息，利用图元与标注信息之间的逻辑联系，确定工程图纸中尺寸结构的尺寸信息；
步骤5，利用所述工程图纸中尺寸结构的尺寸信息进行矢量化图纸到二维翻模图纸的转化的坐标重建，得到真实坐标系统下完整的二维工程图。
进一步的，所述获取矢量化后的扫描工程图纸，对矢量化后的的扫描工程图纸，作字符分离，包括：
读取原始扫描工程图，并对原始扫描工程图矢量化处理，得到矢量化后的扫描图纸；
对矢量化后的扫描图纸中每个像素P遍历其八邻域像素，通过预先设定的图像邻域值判断像素的轮廓线；
根据所述判断的结果，对矢量化后的扫描图纸自上而下、自左向右进行轮廓线跟踪，获得每个连通体的轮廓，建立字符区域候选；
建立字符区域候选的上下限阈值将字符区域分离出来。
进一步的，所述获取矢量化后的扫描工程图纸，所述图像邻域值为：
其中，NC表示图像邻域值，i表示方向，ni表示黑白像素，ni＝1或0，若第i个方向对应的像素为黑像素，则ni=1；若第i个方向对应的像素为白像素，则ni＝0。
进一步的，所述获取矢量化后的扫描工程图纸，所述步骤2，包括：
步骤2-1，搭建改进的卷积神经网络Lenet-5，利用所述改进的卷积神经网络Lenet-5参照BP算法对预先获取的历史工程图纸数据集中的训练图片进行预训练，得到预训练好的卷积神经网络Lenet-5模型；
步骤2-2，使用预训练好的改进的卷积神经网络Lenet-5模型，输入所述标注文本区域，输出识别出的工图光学字符识别结果O；
步骤2-3，对结果O进行数据清洗，去除其中的文字类字符串，文字数字夹杂字符串，带标点符号字符串吗，只保留大于阈值δ的正整数字符串，输出清洗后的候选尺寸数字集S。
进一步的，所述获取矢量化后的扫描工程图纸，所述搭建改进的卷积神经网络Lenet-5的激活函数，包括：
获取原始卷积神经网络Lenet-5；
对所述原始卷积神经网络Lenet-5进行如下改动，包括：
将所述原始卷积神经网络Lenet-5的Sigmoid激活函数替换为Leaky-ReLU-Tanh激活函数；将所述原始卷积神经网络Lenet-5的特征下采样池化改为随机子抽样池化；
在卷积层连接方式上进行如下优化；学习阶段引入改进的Dropout算法，对于每个训练批次，随机生成一个与网络中每个神经元相对应的二进制向量，其中每个元素都有p的概率设置为1，(1-p)的概率设置为0，p是一个超参数；将随机生成的二进制向量与每个神经元的输出相乘，将使一些神经元的输出为零，并且其余神经元的输出将按比例缩小；进行反向传播时，只更新未被失活的神经元的权重。
进一步的，所述步骤3，包括：
步骤3-1，读取图元矢量化之后所有图元的坐标，取由直线组构成的图元，所述直线组构成的图元分为：带有箭头的直线组和没有箭头的直线组，所述带有箭头的直线组分为水平方向直线、垂直方向直线、倾斜直线和带有水平线的折现；
步骤3-2，读取带有箭头的直线组的起始坐标、终点坐标和一个直线组上任意点坐标，组成三点坐标，交换三点坐标的顺序，使得直线组坐标满足直观上从左至右读入顺序，规定旋转方向为顺时针方向；
步骤3-3，根据三点坐标判断直线组是否为带有水平线的折线，若为折线，则找出其中水平方向的线段l1，记为类型T1；若为直线，则记为线段l2，计算线段l2的倾角θ，记为类型T2；
重复步骤3-3直至遍历所有带有箭头的直线组，输出起始坐标、终点坐标及类型标记。
进一步的，所述步骤3-3中，
处理类型T1时，按照水平方向的线段l1的长度、为高度h，自水平方向向上截取子图，同时去除线段l1，以免对字符串识别造成影响。；
处理类型T2时，以线段l2上方为正方向，取线段l2中垂线的正方向延伸h后得到坐标点(C1,C2)，截取通过线段l2起点、终点和(C1,C2)的矩形子图，将矩形子图顺时针旋转θ度，到水平方向。
进一步的，所述步骤4，包括：
步骤4-1，从候选尺寸数字集S中选一个未匹配的尺寸数字s的字符图像区域r，进入步骤4-2；
步骤4-2，通过所述字符图像区域r的边框坐标(x1,y1)与(x2,y2)确定字符方向，若x1＜x2且y1＜y2，则标记方向d为0，表示工程图纸底部尺寸数字；若x1＜x2且y1＞y2，则标记方向d为1，表示工程图纸右部尺寸数字；若x1＞x2且y1＞y2，则标记方向d为2，表示工程图纸上部尺寸数字；若x1＞x2且y1＜y2，则标记方向d为3，表示工程图纸左部尺寸数字；进入步骤4-3；
步骤4-3，若d＝0，向下查找最近直线；若d＝1，向右查找最近直线；若d＝2，向上查找最近直线；若d＝3，向上查找最近直线；记录直线矢量P＝(x1,y1,x2,y1)，表示直线P的起点与终点坐标；进入步骤4-4；
步骤4-4，沿尺寸数字s方向d同侧查找相邻尺寸数字，得到相邻尺寸数字集S′，S′＝{s1,s2,…,sn}；若沿方向d顺时针旋转90°和逆时针旋转90°方向分别查找与直线P相交且距离s最近的直线，标记为尺寸界线Q1、Q2；若/>沿方向d顺时针旋转90°和逆时针旋转90°方向分别查找与直线P相交且距离s最远的直线，标记为尺寸界线Q1、Q2，记录直线Q1，Q2的起点与终点坐标；转入步骤4-5；
步骤4-5，重复步骤4-1至4-5，直到候选尺寸数字集S中的所有尺寸数字s均查找到了对应的尺寸线H以及尺寸界线Q1,Q2，输出完整的尺寸结构信息A，A＝[s,H,Q1,Q2]。
进一步的，所述步骤4-4中，
工程图纸中的尺寸线和尺寸界线基本垂直，因此需要判断两条垂直线段是否相交，具体包括：
若P1P2跨立Q1Q2，则矢量(P1-Q1)和(P2-Q1)位于矢量(Q2-Q1)的两侧，即(P1-Q1)×(Q2-Q1)*P2-Q1)×(Q2-Q1)＜0上式可改写成(P1-Q1)×(Q2-Q1)*Q2-Q1)×(P2-Q1)＞0当(P1-Q1)×(Q2-Q1)＝0时，说明(P1-Q1)和(Q2-Q1)共线；同理，(Q2-Q1)×(P2-Q1)＝0说明P2一定在线段Q1Q2上；所以判断P1P2跨立Q1Q2的依据是：(P1-Q1)×(Q2-Q1)*Q2-Q1)×(P2-Q1)≥0；其中*表示数量乘法，×表示矢量乘法。
进一步的，所述步骤5，包括：
步骤5-1，在矢量化后的扫描工程图纸中建立坐标网格，具体包括：建立一系列与坐标轴平行的直线，这些直线穿过工程图中存在尺寸标识的几何对象的顶点，并与相应的尺寸标识界线重合；将几何对象用一组坐标点表示，每个坐标点包含X和Y两个坐标变量，得到一个坐标图谱；转入步骤5-2；
步骤5-2，在坐标图谱的基础上建立网格关联图，并把所有通过尺寸标识直接或间接关联在一起的几何单元，网格关联图上的网格线所组成的集合称为关联网格线集，其中，所述关联图是一个无向图，关联图的每个顶点对应于一条网格线，关联图的每条边对应于一个尺寸标识，该尺寸标识同时关联于该边两端点所对应的网格线；对网格关联图中的所有边进行深度优先遍历，从而对关联网格线集递归地调整坐标网格位置，使其满足尺寸约束；转入步骤5-3；
步骤5-3，对每一个几何对象，从其关联的网格线上取得定义点的坐标，再由这些定义点重建对象的几何表示，最终输出真实坐标系统下完整的二维工程图。
进一步的，所述工程图纸为CAD工程图纸。
一种基于工程图纸的尺寸信息识别的重构装置，包括：
获取模块，用于获取矢量化后的扫描工程图纸，对矢量化后的的扫描工程图纸，作字符分离，将分离出来的字符组合成完整的标注字符串，并合并为标注文本区域；
预处理模块，用于对所述标注文本区域作字符识别，对字符识别后的得到的结果进行清洗预处理，得到清洗后的候选尺寸数字集；
处理模块，用于基于矢量化后的扫描工程图纸对直线以及相关联的图元信息进行解析、定位、提取，并去除杂质线段，分析和处理不同类型直线及其组合，输出起始与终点坐标信息；
确定模块，用于以所述候选尺寸数字集中的候选尺寸数字出发，结合所述不同类型直线的起始与终点坐标信息，利用图元与标注信息之间的逻辑联系，确定工程图纸中尺寸结构的尺寸信息；
重构模块，用于利用所述工程图纸中尺寸结构的尺寸信息进行矢量化图纸到二维翻模图纸的转化的坐标重建，得到真实坐标系统下完整的二维工程图。
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。
一种计算机设备，包括，
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
本发明所达到的有益效果：
本发明通过对工程图纸进行一体式的字符分离与识别，直线提取，在不增大计算资源成本的情况下，不仅提高了尺寸结构信息提取的准确率，还给出一种基于整体的尺寸重建方法，使尺寸标注与图形保持严格一致。
附图说明
图1是本发明的流程示意图；
图2是图纸中不同直线组合是否通过跨立实验的示意图；
图3(a)是扫描原图，图3(b)是由标注文本区域出发搜索得到尺寸线示意图，图3(c)是尺寸界线示意图，图3(d)是(b)和(c)组合后的尺寸结构示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
如图1所示，本发明公开了一种基于工程图纸的尺寸信息识别方法，具体方法包括如下步骤：
步骤1，针对矢量化后的扫描图纸，作字符分离，将分离出来的字符组合成完整的标注字符串，进一步合并为标注文本区域，作为后续文本区域出发的尺寸标注几何重建的出发点，并转入步骤2；
步骤2，在步骤1对分离出的文本区域作字符识别，并去除干扰因素的文本数据进行清洗预处理，并将预处理的结果作为待选的尺寸数字输出保存；
步骤3，基于工程图纸信息对直线以及相关联的图元信息进行解析、定位、提取，并去除杂质线段，输出直线的起始与终点坐标作为结果保存；
步骤4，以步骤2中得到的结果出发，结合步骤3得到的直线信息，利用图元与标注信息之间的逻辑联系，实现工程图纸中尺寸结构的定位与提取；
步骤5，利用步骤4中输出的尺寸信息重建坐标，实现矢量化图纸到二维翻模图纸的转化，将得到的可实际利用工程图纸图元与坐标信息作为结果保存输出。
优选的，步骤1包括：
步骤1-1，读取原始CAD扫描工程图，并对数据矢量化；
步骤1-2，对每个像素P遍历其八邻域像素，通过定义邻域值判断像素的轮廓线；
设定的图像邻域值为：
其中，若第i个方向对应的像素为黑像素(前景像素)，则ni＝1；为白像素(背景像素)则ni=0.可以看出，若NC=255，则像素P为内点；若NC＝0，则P为噪音点，删除；轮廓线上的点NC值则介于二者之间；
步骤1-3，对扫描图自上而下、自左向右进行轮廓线跟踪，获得每个连通体的轮廓，建立字符区域候选；
步骤1-4，利用小尺寸的特征(尺寸数字一般像素值较固定的特征)建立字符区域的上下限阈值将字符区域分离出来。
步骤2包括：
步骤2-1，搭建Lenet-5网络，首层为卷积层；第二层为下采样层，包括池化层和激活函数算法。池化层采用随即子抽样池化，激活函数采用Leaky-ReLU-Tanh算法；第三层为卷积层；第四层为下采样层；第五层为卷积层；第六层为全连接层；将所述原始卷积神经网络Lenet-5的特征下采样池化改为随机子抽样池化；在卷积层连接方式上进行了优化：学习阶段引入了改进的Dropout算法，对于每个训练批次，随机生成一个与网络中每个神经元相对应的二进制向量，其中每个元素都有p的概率设置为1，(1-p)的概率设置为0。p是一个超参数，通常设置为0.5。将随机生成的二进制向量与每个神经元的输出相乘。这将使一些神经元的输出为零，并且其余神经元的输出将按比例缩小。进行反向传播时，只更新未被失活的神经元的权重。从而减少过拟合，增强训练网络的鲁棒性，也提高了运算效率。
步骤2-2，对工程图纸光学字符数据集做预训练来优化步骤2-1搭建的神经网络参数，参照BP算法，第一个阶段为正向传播。从先前的样本集中获得一个类字符(X,YP)，其中X为样本的输入，YP为样本的目标理想输出，将样本X输入到正向网络中。计算样本X的实际输出。输入样本X传入到网络中经过逐层的转换最终将参数传到输出层，网络完成每层的权值矩阵相乘，最后得到实际的输出OP。第二阶段为反向传播阶段。计算训练后的值OP与相对样本预期值YP的偏差。遵照极小误差法对参数矩阵进行反向调节，训练最终参数，将网络训练到相对稳定为止；
步骤2-3，使用预训练好的模型M，输入步骤1的结果，输出识别出的工图光学字符识别结果O＝[[xi1,yi1,xi2,yi2,xi3,yi3,xi4,yi4,′stri′,pri]]；
步骤2-4，对结果O进行数据清洗，去除其中的文字类字符串，文字数字夹杂字符串，带标点符号字符串；只保留大于阈值δ的正整数字符串。输出清洗后的候选尺寸数字集S。
步骤3包括：
步骤3-1，读取图元矢量化之后所有图元的坐标。矢量化之后的图元由各种几何体组成。仅取其中由直线组构成的图元，直线组构成的图元分为：有箭头的直线组和没有箭头的直线组。带有箭头的直线组又可以细分为水平方向直线，垂直方向直线，倾斜直线和带有水平线的折现，输出图元坐标；
步骤3-2，读取带有箭头的直线组的起始坐标，终点坐标和一个直线组上任意点坐标。交换三个坐标的顺序，使得直线组坐标满足直观上从左至右读入顺序，规定旋转方向为顺时针方向；
步骤3-3，根据3点坐标判断直线组是否为带有水平线的折线。若为折线，则找出其中水平方向的线段l1，记为类型T1；若为直线组(即为直线)，则记为线段l2，计算线段l2的倾角θ，记为类型T2；
处理类型T1时，按照水平方向的线段l1的长度、高度h，自水平方向向上截取子图，同时去除线段l1，以免对字符串识别造成影响；
处理类型T2时，以线段l2上方为正方向，取线段l2中垂线的正方向延伸h后得到坐标点(C1,C2)，截取通过线段l2起点、终点和(C1,C2)的矩形子图，将矩形子图顺时针旋转θ度，到水平方向；
步骤3-4，重复步骤3-3直至遍历所有带有箭头的直线组。
步骤4包括：
步骤4-1，从候选尺寸数字集S中选一个未匹配的尺寸数字s的字符图像区域r，
步骤4-2，通过字符图像区域边框坐标(x1,y1)与(x2,y2)确定字符方向，若x1＜x2且y1＜y2，则标记方向d为0，表示工程图纸底部尺寸数字；若x1<x2且y1>y2，则标记方向d为1，表示工程图纸右部尺寸数字；若x1＞x2且y1＞y2，则标记方向d为2，表示工程图纸上部尺寸数字；若x1＞x2且y1＜y2，则标记方向d为3，表示工程图纸左部尺寸数字；
步骤4-3，若d＝0，向下查找最近直线；若d＝1，向右查找最近直线；若d＝2，向上查找最近直线；若d＝3，向上查找最近直线；记录直线矢量P＝(x1,y1,x2,y1)，表示直线P的起点与终点坐标；
步骤4-4，沿尺寸数字s方向d同侧查找相邻尺寸数字S′＝{s1,s2,…,sn}。若S′≠,沿方向d顺时针旋转90°和逆时针旋转90°方向分别查找与P相交且距离s最近的直线，标记为尺寸界线Q1，Q2。若S′＝,沿方向d顺时针旋转90°和逆时针旋转90°方向分别查找与P相交且距离s最远的直线，标记为尺寸界线Q1，Q2。记录直线Q1，Q2的起点与终点坐标；
步骤4-5，重复步骤4-1至4-5，直到候选尺寸数字集S中的所有尺寸数字s均查找到了对应的尺寸线H，以及尺寸界线Q1,Q2。如图3(a)、图3(b)、图3(c)和图3(d)所示，将以上信息拼接在一起，输出完整的尺寸结构信息A＝[s,H,Q1,Q2]。
所述步骤4-4中，
如图2所示，工程图纸中的尺寸线和尺寸界线基本垂直，因此需要判断两条垂直线段是否相交，具体包括：
若P1P2跨立Q1Q2，则矢量(P1-Q1)和(P2-Q1)位于矢量(Q2-Q1)的两侧，即(P1-Q1)×(Q2-Q1)*P2-Q1)×(Q2-Q1)＜0上式可改写成(P1-Q1)×
(Q2-Q1)*Q2-Q1)×(P2-Q1)＞0当(P1-Q1)×(Q2-Q1)＝0时，说明(P1-Q1)和(Q2-Q1)共线；同理，(Q2-Q1)×(P2-Q1)＝0说明P2一定在线段Q1Q2上；所以判断P1P2跨立Q1Q2的依据是：(P1-Q1)×(Q2-Q1)*Q2-Q1)×(P2-Q1)≥0；其中*表示数量乘法，×表示矢量乘法。
步骤5包括：
步骤5-1，在工程图纸中建立坐标网格，即一系列与坐标轴平行的直线，这些直线穿过工程图中存在尺寸标识的几何对象的顶点，并与相应的尺寸标识界线重合。网格线逻辑上代表了实际几何对象的坐标位置，将几何对象用一组坐标点表示，每个坐标点包含X和Y两个坐标变量；
步骤5-2，根据尺寸线的方向将长度型尺寸标识分为水平DH,垂直DV和倾斜DO三个集合；
步骤5-3，对DH中的每一尺寸标识d的每一条尺寸界线w，在GV中寻找与w间距小于阈值ε的网格线g。如果找不到g，则在w位置创建一条新的网格线g，并将其加入到GV中；
步骤5-4，将d加入网格线g的尺寸标识集合中；
步骤5-5，建立网格关联图，并把所有通过尺寸标识直接或间接关联在一起的网格线所组成的集合称为关联网格线集BGS(bound grid set)。对网格关联图中的所有边进行深度优先遍历，从而对关联网格线集递归地调整坐标网格位置，使其满足尺寸约束；
步骤5-6，对每一个几何对象，从其关联的网格线上取得定义点的坐标，再由这些定义点重建对象的几何表示，最终输出真实坐标系统下完整的二维工程图。
相应的本发明还提供一种基于工程图纸的尺寸信息识别的重构装置，包括：
获取模块，用于获取矢量化后的扫描工程图纸，对矢量化后的的扫描工程图纸，作字符分离，将分离出来的字符组合成完整的标注字符串，并合并为标注文本区域；
预处理模块，用于对所述标注文本区域作字符识别，对字符识别后的得到的结果进行清洗预处理，得到清洗后的候选尺寸数字集；
处理模块，用于基于矢量化后的扫描工程图纸对直线以及相关联的图元信息进行解析、定位、提取，并去除杂质线段，分析和处理不同类型直线及其组合，输出起始与终点坐标信息；
确定模块，用于以所述候选尺寸数字集中的候选尺寸数字出发，结合所述不同类型直线的起始与终点坐标信息，利用图元与标注信息之间的逻辑联系，确定工程图纸中尺寸结构的尺寸信息；
重构模块，用于利用所述工程图纸中尺寸结构的尺寸信息进行矢量化图纸到二维翻模图纸的转化的坐标重建，得到真实坐标系统下完整的二维工程图。
相应的本发明还提供一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。
相应的本发明还提供一种计算机设备，包括，
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (14)

1.一种基于工程图纸的尺寸信息识别的重构方法，其特征在于，包括：
步骤1，获取矢量化后的扫描工程图纸，对矢量化后的的扫描工程图纸，作字符分离，将分离出来的字符组合成完整的标注字符串，并合并为标注文本区域；
步骤2，对所述标注文本区域作字符识别，对字符识别后的得到的结果进行清洗预处理，得到清洗后的候选尺寸数字集；
步骤3，基于矢量化后的扫描工程图纸对直线以及相关联的图元信息进行解析、定位、提取，并去除杂质线段，分析和处理不同类型直线及其组合，输出起始与终点坐标信息；
步骤4，以步骤2中得到的候选尺寸数字集中的候选尺寸数字出发，结合所述不同类型直线的起始与终点坐标信息，利用图元与标注信息之间的逻辑联系，确定工程图纸中尺寸结构的尺寸信息；
步骤5，利用所述工程图纸中尺寸结构的尺寸信息进行矢量化图纸到二维翻模图纸的转化的坐标重建，得到真实坐标系统下完整的二维工程图。
2.根据权利要求1所述的基于工程图纸的尺寸信息识别的重构方法，其特征在于，所述获取矢量化后的扫描工程图纸，对矢量化后的的扫描工程图纸，作字符分离，包括：
读取原始扫描工程图，并对原始扫描工程图矢量化处理，得到矢量化后的扫描图纸；
对矢量化后的扫描图纸中每个像素P遍历其八邻域像素，通过预先设定的图像邻域值判断像素的轮廓线；
根据所述判断的结果，对矢量化后的扫描图纸自上而下、自左向右进行轮廓线跟踪，获得每个连通体的轮廓，建立字符区域候选；
建立字符区域候选的上下限阈值将字符区域分离出来。
3.根据权利要求2所述的基于工程图纸的尺寸信息识别的重构方法，其特征在于，所述获取矢量化后的扫描工程图纸，所述图像邻域值为：
其中，NC表示图像邻域值，i表示方向，ni表示黑白像素，ni＝1或0，若第i个方向对应的像素为黑像素，则ni＝1；若第i个方向对应的像素为白像素，则ni＝0。
4.根据权利要求1所述的基于工程图纸的尺寸信息识别的重构方法，其特征在于，所述获取矢量化后的扫描工程图纸，所述步骤2，包括：
步骤2-1，搭建改进的卷积神经网络Lenet-5，利用所述改进的卷积神经网络Lenet-5参照BP算法对预先获取的历史工程图纸数据集中的训练图片进行预训练，得到预训练好的卷积神经网络Lenet-5模型；
步骤2-2，使用预训练好的改进的卷积神经网络Lenet-5模型，输入所述标注文本区域，输出识别出的工图光学字符识别结果O；
步骤2-3，对结果O进行数据清洗，去除其中的文字类字符串，文字数字夹杂字符串，带标点符号字符串吗，只保留大于阈值δ的正整数字符串，输出清洗后的候选尺寸数字集S。
5.根据权利要求4所述的基于工程图纸的尺寸信息识别的重构方法，其特征在于，所述获取矢量化后的扫描工程图纸，所述搭建改进的卷积神经网络Lenet-5的激活函数，包括：
获取原始卷积神经网络Lenet-5；
对所述原始卷积神经网络Lenet-5进行如下改动，包括：
将所述原始卷积神经网络Lenet-5的Sigmoid激活函数替换为Leaky-ReLU-Tanh激活函数；将所述原始卷积神经网络Lenet-5的特征下采样池化改为随机子抽样池化；
在卷积层连接方式上进行如下优化；学习阶段引入改进的Dropout算法，对于每个训练批次，随机生成一个与网络中每个神经元相对应的二进制向量，其中每个元素都有p的概率设置为1，(1-p)的概率设置为0，p是一个超参数；将随机生成的二进制向量与每个神经元的输出相乘，将使一些神经元的输出为零，并且其余神经元的输出将按比例缩小；进行反向传播时，只更新未被失活的神经元的权重。
6.根据权利要求1所述的基于工程图纸的尺寸信息识别的重构方法，其特征在于，所述步骤3，包括：
步骤3-1，读取图元矢量化之后所有图元的坐标，取由直线组构成的图元，所述直线组构成的图元分为：带有箭头的直线组和没有箭头的直线组，所述带有箭头的直线组分为水平方向直线、垂直方向直线、倾斜直线和带有水平线的折现；
步骤3-2，读取带有箭头的直线组的起始坐标、终点坐标和一个直线组上任意点坐标，组成三点坐标，交换三点坐标的顺序，使得直线组坐标满足直观上从左至右读入顺序，规定旋转方向为顺时针方向；
步骤3-3，根据三点坐标判断直线组是否为带有水平线的折线，若为折线，则找出其中水平方向的线段l1，记为类型T1；若为直线，则记为线段l2，计算线段l2的倾角θ，记为类型T2；
重复步骤3-3直至遍历所有带有箭头的直线组，输出起始坐标、终点坐标及类型标记。
7.根据权利要求7所述的基于工程图纸的尺寸信息识别的重构方法，其特征在于，所述步骤3-3中，
处理类型T1时，按照水平方向的线段l1的长度、高度h，自水平方向向上截取子图，同时去除线段l1，以免对字符串识别造成影响；
处理类型T2时，以线段l2上方为正方向，取线段l2中垂线的正方向延伸h后得到坐标点(C1,C2)，截取通过线段l2起点、终点和(C1,C2)的矩形子图，将矩形子图顺时针旋转θ度，到水平方向。
8.根据权利要求1所述的基于工程图纸的尺寸信息识别的重构方法，其特征在于，所述步骤4，包括：
步骤4-1，从候选尺寸数字集S中选一个未匹配的尺寸数字s的字符图像区域r，进入步骤4-2；
步骤4-2，通过所述字符图像区域r的边框坐标(x1,y1)与(x2,y2)确定字符方向，若x1＜x2且y1＜y2，则标记方向d为0，表示工程图纸底部尺寸数字；若x1＜x2且y1＞y2，则标记方向d为1，表示工程图纸右部尺寸数字；若x1＞x2且y1＞y2，则标记方向d为2，表示工程图纸上部尺寸数字；若x1＞x2且y1＜y2，则标记方向d为3，表示工程图纸左部尺寸数字；进入步骤4-3；
步骤4-3，若d＝0，向下查找最近直线；若d＝1，向右查找最近直线；若d＝2，向上查找最近直线；若d＝3，向上查找最近直线；记录直线矢量P(x1,y1,x2,y1，表示直线P的起点与终点坐标；进入步骤4-4；
步骤4-4，沿尺寸数字s方向d同侧查找相邻尺寸数字，得到相邻尺寸数字集S′，S′＝{s1,s2,…,sn}；若沿方向d顺时针旋转90°和逆时针旋转90°方向分别查找与直线P相交且距离s最近的直线，标记为尺寸界线Q1、Q2；若/>沿方向d顺时针旋转90°和逆时针旋转90°方向分别查找与直线P相交且距离s最远的直线，标记为尺寸界线Q1、Q2，记录直线Q1，Q2的起点与终点坐标；转入步骤4-5；
步骤4-5，重复步骤4-1至4-5，直到候选尺寸数字集S中的所有尺寸数字s均查找到了对应的尺寸线H以及尺寸界线Q1,Q2，输出完整的尺寸结构信息A，A＝[s,H,Q1,Q2]。
9.根据权利要求8所述的基于工程图纸的尺寸信息识别的重构方法，其特征在于，所述步骤4-4中，
工程图纸中的尺寸线和尺寸界线基本垂直，因此需要判断两条垂直线段是否相交。如图2所示，对线段进行跨立实验，具体包括：
若P1P2跨立Q1Q2，则矢量(P1-Q1)和(P2-Q1)位于矢量(Q2-Q1)的两侧，即(P1-Q1)×(Q2-Q1)*P2-Q1)×(Q2-Q1)＜0上式可改写成(P1-Q1)×
(Q2-Q1)*Q2-Q1)×(P2-Q1)＞0当(P1-Q1)×(Q2-Q1)＝0时，说明(P1-Q1)和(Q2-Q1)共线；同理，(Q2-Q1)×(P2-Q1)＝0说明P2一定在线段Q1Q2上；所以判断P1P2跨立Q1Q2的依据是：(P1-Q1)×(Q2-Q1)*Q2-Q1)×(P2-Q1)≥0；其中*表示数量乘法，×表示矢量乘法。
10.根据权利要求1所述的基于工程图纸的尺寸信息识别的重构方法，其特征在于，所述步骤5，包括：
步骤5-1，在矢量化后的扫描工程图纸中建立坐标网格，具体包括：建立一系列与坐标轴平行的直线，这些直线穿过工程图中存在尺寸标识的几何对象的顶点，并与相应的尺寸标识界线重合；将几何对象用一组坐标点表示，每个坐标点包含X和Y两个坐标变量，得到一个坐标图谱；转入步骤5-2；
步骤5-2，在坐标图谱的基础上建立网格关联图，并把所有通过尺寸标识直接或间接关联在一起的几何单元，网格关联图上的网格线所组成的集合称为关联网格线集，其中，所述关联图是一个无向图，关联图的每个顶点对应于一条网格线，关联图的每条边对应于一个尺寸标识，该尺寸标识同时关联于该边两端点所对应的网格线；对网格关联图中的所有边进行深度优先遍历，从而对关联网格线集递归地调整坐标网格位置，使其满足尺寸约束；转入步骤5-3；
步骤5-3，对每一个几何对象，从其关联的网格线上取得定义点的坐标，再由这些定义点重建对象的几何表示，最终输出真实坐标系统下完整的二维工程图。
11.根据权利要求1所述的基于工程图纸的尺寸信息识别的重构方法，其特征在于，所述工程图纸为CAD工程图纸。
12.一种基于工程图纸的尺寸信息识别的重构装置，其特征在于，包括：
获取模块，用于获取矢量化后的扫描工程图纸，对矢量化后的的扫描工程图纸，作字符分离，将分离出来的字符组合成完整的标注字符串，并合并为标注文本区域；
预处理模块，用于对所述标注文本区域作字符识别，对字符识别后的得到的结果进行清洗预处理，得到清洗后的候选尺寸数字集；
处理模块，用于基于矢量化后的扫描工程图纸对直线以及相关联的图元信息进行解析、定位、提取，并去除杂质线段，分析和处理不同类型直线及其组合，输出起始与终点坐标信息；
确定模块，用于以所述候选尺寸数字集中的候选尺寸数字出发，结合所述不同类型直线的起始与终点坐标信息，利用图元与标注信息之间的逻辑联系，确定工程图纸中尺寸结构的尺寸信息；
重构模块，用于利用所述工程图纸中尺寸结构的尺寸信息进行矢量化图纸到二维翻模图纸的转化的坐标重建，得到真实坐标系统下完整的二维工程图。
13.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至11所述的方法中的任一方法。
14.一种计算机设备，其特征在于，包括，
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至11所述的方法中的任一方法的指令。
CN202310791979.8A 2023-06-30 2023-06-30 一种基于工程图纸的尺寸信息识别的重构方法及装置 Pending CN116740750A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310791979.8A CN116740750A (zh) 2023-06-30 2023-06-30 一种基于工程图纸的尺寸信息识别的重构方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310791979.8A CN116740750A (zh) 2023-06-30 2023-06-30 一种基于工程图纸的尺寸信息识别的重构方法及装置

Publications (1)

Publication Number Publication Date
CN116740750A true CN116740750A (zh) 2023-09-12

Family

ID=87916795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310791979.8A Pending CN116740750A (zh) 2023-06-30 2023-06-30 一种基于工程图纸的尺寸信息识别的重构方法及装置

Country Status (1)

Country Link
CN (1) CN116740750A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117251921A (zh) * 2023-10-26 2023-12-19 重庆中环建设有限公司 一种用于智能孔位设计系统生成图形文件的尺寸标记方法
CN117953164A (zh) * 2024-03-26 2024-04-30 北京鸿鹄云图科技股份有限公司 一种提高图纸测量质量的方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880868A (zh) * 2012-08-06 2013-01-16 上海中和软件有限公司 工程图纸矢量化和图元语义提取方法
CN110428479A (zh) * 2019-07-26 2019-11-08 桂林电子科技大学 一种Solid works二维工程图尺寸标注纠错自适应调整方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102880868A (zh) * 2012-08-06 2013-01-16 上海中和软件有限公司 工程图纸矢量化和图元语义提取方法
CN110428479A (zh) * 2019-07-26 2019-11-08 桂林电子科技大学 一种Solid works二维工程图尺寸标注纠错自适应调整方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
熊沈蜀, 周兆英, 金龙, 陈耘: "工程图矢量化处理系统", 清华大学学报(自然科学版), no. 04, 30 April 2000 (2000-04-30), pages 35 - 38 *
范帆，关佶红: "工程图纸字符串及标注信息提取", 《计算机工程与应用》, vol. 48, no. 7, 31 July 2012 (2012-07-31), pages 3 *
董玉德;王平;董兰芳;: "面向扫描图纸的尺寸框架重建方法研究", 工程图学学报, no. 03, 28 June 2006 (2006-06-28), pages 1 - 2 *
齐嘉锐: "基于高阶卷积神经网络的工图零件字符识别与检测", 《中国优秀硕士学位论文全文数据库》, 15 September 2017 (2017-09-15), pages 4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117251921A (zh) * 2023-10-26 2023-12-19 重庆中环建设有限公司 一种用于智能孔位设计系统生成图形文件的尺寸标记方法
CN117251921B (zh) * 2023-10-26 2024-04-30 重庆中环建设有限公司 一种用于智能孔位设计系统生成图形文件的尺寸标记方法
CN117953164A (zh) * 2024-03-26 2024-04-30 北京鸿鹄云图科技股份有限公司 一种提高图纸测量质量的方法及系统
CN117953164B (zh) * 2024-03-26 2024-05-24 北京鸿鹄云图科技股份有限公司 一种提高图纸测量质量的方法及系统

Similar Documents

Publication Publication Date Title
CN116740750A (zh) 一种基于工程图纸的尺寸信息识别的重构方法及装置
CN110084817B (zh) 基于深度学习的数字高程模型生产方法
CN112651289B (zh) 一种增值税普通发票智能识别与校验系统及其方法
Xie et al. Graph neural network-enabled manufacturing method classification from engineering drawings
CN111860027B (zh) 二维码的识别方法及装置
CN112712273B (zh) 一种基于骨架相似度的手写体汉字美观度评判方法
CN112949455B (zh) 一种增值税发票识别系统及方法
CN113223068A (zh) 一种基于深度全局特征的多模态图像配准方法及系统
CN113723330B (zh) 一种图表文档信息理解的方法及系统
CN112069900A (zh) 基于卷积神经网络的票据文字识别方法及系统
CN116311310A (zh) 一种结合语义分割和序列预测的通用表格识别方法和装置
CN107680154A (zh) 基于视图的体素几何参数提取方法
CN115410189B (zh) 一种复杂场景车牌检测方法
CN112200789B (zh) 一种图像识别的方法及装置、电子设备和存储介质
CN115984875A (zh) 一种硬笔楷书临摹作品的笔画相似性评价方法及系统
CN112837420B (zh) 基于多尺度和折叠结构的兵马俑点云的形状补全方法及系统
Zhang Data-driven Analysis of Engineering Drawings Using Component-based Graphs
Eken et al. Vectorization and spatial query architecture on island satellite images
Riegelnegg Automated Extraction of Complexity Measures from Engineering Drawings
CN116631634B (zh) 一种基于点云深度学习的可摘全口义齿的智能设计方法
CN118334094B (zh) 一种基于三维点云的模型配准方法
CN114820596B (zh) 基于联合模型的弯曲染色体图像拉直方法
CN117315708A (zh) 一种基于图像检测的工程图纸属性参数匹配方法
Hannula Segmentation of freehand line drawings with neural networks
Riegelnegg Automatisierte Extraktion von Komplexitätsmaßen aus Technischen Zeichnungen

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination