CN111242024A - 基于机器学习识别图纸内图例及文字的方法及系统 - Google Patents
基于机器学习识别图纸内图例及文字的方法及系统 Download PDFInfo
- Publication number
- CN111242024A CN111242024A CN202010028706.4A CN202010028706A CN111242024A CN 111242024 A CN111242024 A CN 111242024A CN 202010028706 A CN202010028706 A CN 202010028706A CN 111242024 A CN111242024 A CN 111242024A
- Authority
- CN
- China
- Prior art keywords
- legend
- neural network
- character
- training set
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 187
- 238000003062 neural network model Methods 0.000 claims abstract description 46
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims description 45
- 238000010276 construction Methods 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 4
- 239000013589 supplement Substances 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Character Discrimination (AREA)
Abstract
本发明公开了一种基于机器学习识别图纸内图例及文字的方法及系统，该方法包括以下步骤：S1 运用数据集构建包含图例特征的图例训练集与包含文字特征的文字训练集；S2 运用数据集和卷积神经网络获取识别图例及识别文字的神经网络模型；S3 采用S2中建立的神经网络模型获取图纸中的图例及文字。本发明的有益效果：通过已有图纸生成图例训练集及文字训练集，运用图例训练集与文字训练集对待识别图例与待识别文字进型预训练，获得识别文字区域与识别图例区域的神经网络模型，同时运用规则分类文字及建立文字与图例之间的关系，基于深度学习技术完成图例与文字的训练数据以及自动生成学习特征和模型参数，以满足不同场景的文本及图例的识别与提取。
Description
技术领域
本发明涉及计算机视觉识别技术领域，具体来说，涉及一种基于机器学习识别图纸内图例及文字的方法及系统。
背景技术
传统方式是人工看P&ID(管线及仪表设计)图纸，人工从图纸中提取图例及文字，随着网络信息化的普及与应用，智能化办公已经成了企业提升工作效率和行业竞争力的重要手段，文字识别技术的发展为提高工作效率、无纸化/智能化办公提供了技术支持，深度学习技术在现实场景识别及通用文字识别上取得了不少研究成果，但是在图纸识别这种特定领域研究甚少。
发明内容
针对相关技术中的上述技术问题，本发明提出一种基于机器学习识别图纸内图例及文字的方法及系统，采用深度学习技术进行识别图例与识别文字的预训练和识别，以满足不同场景的文本及图例的识别与提取。
为实现上述技术目的，本发明的技术方案是这样实现的：一种基于机器学习识别图纸内图例及文字的方法，该方法包括以下步骤：
S1运用数据集构建包含图例特征的图例训练集与包含文字特征的文字训练集；
S2运用数据集和卷积神经网络获取识别图例及识别文字的神经网络模型；
S3采用S2中建立的神经网络模型获取图纸中的图例及文字。
进一步地，S1数据集构建包含以下步骤：S1.1首先扫描纸质图纸，手动标记图纸上的图例区域及图例类型生成图例训练集，手动标记图纸上的文字区域及文字内容生成文字训练集；S1.2运用图例模板生成的新图例替换掉已有图纸上的图例，同时将图纸上的文本字体进行随机替换，系统自动标记图纸上的图例区域及图例类型生成图例训练集，系统自动标记图纸上的文字区域及文字内容生成文字训练集，构成新的图纸；S1.3凭空自动生成训练集：S1.3.1纸质图纸与CAD格式的P&ID(管线及仪表设计)图纸数量不足时，可以凭空生成训练集来补充，增加样本多样性，提升准确率；S1.3.2运用图例模板生成新图例并在空白图纸上随机摆放，同时在图纸上随机生成文字，构成新的图纸；S1.3.3根据自动标记出的图例区域、图例类型，生成图例训练集；S1.3.4根据自动标记出的文字区域、文字内容，生成文字训练集。
进一步地，S2训练神经网络模型包含以下步骤：S2.1运用图例训练集对识别图例区域的卷积神经网络进行训练，训练出可以识别图例的神经网络模型；S2.2运用文字训练集对识别文字区域的卷积神经网络进行训练，训练出可以识别文字区域的神经网络模型；S2.3运用文字训练集对识别文字内容的卷积神经网络进行训练，训练出可以识别文字内容的神经网络模型。
进一步地，S3图纸识别包含以下步骤：S3.1将待识别图纸扫描成图像，DPI 200或以上；S3.2将图像调整成灰度图，图像高度设置为6736像素，宽度按比例设置；S3.3获取待识别图纸的参数信息传递给识别图例的模型，识别出图纸内所有仪表图例所在区域和类型；S3.4获取待识别图纸的参数信息传递给识别文字的模型，识别出图纸内所有文字所在区域及内容；S3.5将不同类型文字的规则翻译成正则表达式，然后文字与不同规则的正则表达式进行匹配，获得匹配成功后的文字分类属性，例如管线号规则的正则表达式可以是“^\d{1，3}-[A-Z0-9]{1，3}-\d{5}-[A-Z0-9]{4}(-\w{1，2})？$”；S3.6各图例与各文字之间相互进行重叠测试，并计算重叠区域占文字区域的百分比，当超过一定阈值，则认为该文字是该图例的属性，例如仪表内的仪表编号，连接符内的去向描述。
进一步地，S1.1手动标记训练集包含以下具体步骤：S1.1.1收集一定数量纸质的P&ID(管线及仪表设计)图纸；S1.1.2扫描图纸并生成图像，DPI 200或以上；S1.1.3将图像调整成灰度图，图像高度设置为6736像素，宽度按比例设置；S1.1.4根据图纸图像标记出图例区域、图例类型，生成图例训练集；S1.1.5根据图纸图像标记出文字区域、文字内容，生成文字训练集；S1.2自动标记训练集包含以下具体步骤：S1.2.1收集一定数量CAD格式的P&ID(管线及仪表设计)图纸；S1.2.2根据CAD格式的P&ID(管线及仪表设计)图纸进行图例区域、图例类型、文字区域、文字内容的手动标记；S1.2.3将标准图例作为模板随机生成图例，同时随机替换掉CAD图纸中的图例；S1.2.4随机生成中英文文字，随机选择一种字体替换掉CAD图纸中的文字；S1.2.5根据自动标记出的图例区域、图例类型，生成图例训练集；S1.2.6根据自动标记出的文字区域、文字内容，生成文字训练集。
进一步地，S2.1识别图例包含以下步骤：S2.1.1根据随机打乱的图例训练集；S2.1.2构建识别图例用的Faster R-CNN神经网络；S2.1.3运用Faster R-CNN神经网络通过图例训练集对识别图例进行训练，训练出可以识别图例区域的神经网络模型；S2.2识别文字区域包含以下步骤：S2.2.1根据随机打乱的文字训练集；S2.2.2构建识别文字区域用的Pixel Link神经网络；S2.2.3运用Pixel Link神经网络通过文字训练集对识别文字区域进行训练，训练出可以识别文字区域的神经网络模型；S2.3识别文字内容包含以下步骤：S2.3.1构建识别文字内容用的Attention OCR神经网络；S2.3.2运用Attention OCR神经网络通过文字训练集对识别文字内容进行训练，训练出可以识别文字内容的神经网络模型。
一种基于机器学习识别图纸内图例及文字系统，其特征在于，包含训练集构建模块、神经网络训练模块及图纸识别模块；其中，所述训练集构建模块：用于构建包含图例特征的图例训练集与包含文字特征的文字训练集；所述神经网络训练模块：通过训练集和卷积神经网络获取用于识别图例及识别文字的识别模型；所述图纸识别模块：通过识别模型获取图纸中的图例及文字。
进一步地，所述训练集构建模块包含手动标记模块及自动生成模块，其中，所述手动标记模块：首先扫描纸质图纸，手动标记图纸上的图例区域及图例类型生成图例训练集，手动标记图纸上的文字区域及文字内容生成文字训练集；所述自动生成模块：通过图例模板生成的新图例替换掉已有图纸上的图例，同时将图纸上的文本字体进行随机替换，系统自动标记图纸上的图例区域及图例类型生成图例训练集，系统自动标记图纸上的文字区域及文字内容生成文字训练集，构成新的图纸。
进一步地，所述神经网络训练模块包含识别图例的神经网络训练模块、识别文字区域的神经网络训练模块及识别文字内容的神经网络训练模块，其中，所述识别图例的神经网络训练模块：通过图例训练集对识别图例的卷积神经网络进行训练，训练出可以识别图例的神经网络模型；所述识别文字区域的神经网络训练模块：通过文字训练集对识别文字区域的卷积神经网络进行训练，训练出可以识别文字区域的神经网络模型；所述识别文字内容的神经网络训练模块：通过文字训练集对识别文字内容的卷积神经网络进行训练，训练出可以识别文字内容的神经网络模型。
进一步地，所述图纸识别模块包含图例识别模块、文字识别模块、文字分类模块及图例文字关联模块，其中，所述图例识别模块：通过识别图例的神经网络模型从待识别图纸中识别出图例；所述文字识别模块：通过识别文字的神经网络模型从待识别图纸中识别出文字；所述文字分类模块：运用不同类型文字的规则对文字进行分类；所述图例文字关联模块：运用规则将文字与图例建立关系。
本发明的有益效果：本申请通过已有图纸自动生成图例训练集及文字训练集，运用图例训练集与文字训练集对待识别图例与待识别文字进型预训练，获得识别文字区域与识别图例区域的神经网络模型，同时运用规则分类文字及建立文字与图例之间的关系，基于深度学习技术完成图例与文字的训练数据以及大规模集群的计算训练让机器自动生成学习特征和模型参数，以满足不同场景的文本及图例的识别与提取。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例所述的一种基于机器学习识别图纸内图例及文字的方法及系统的流程框图。
图2是根据本发明实施例所述的一种基于机器学习识别图纸内图例及文字的方法及系统S1与S2流程框图。
图3是根据本发明实施例所述的一种基于机器学习识别图纸内图例及文字的方法及系统S3的流程框图。
图4是根据本发明实施例所述的一种基于机器学习识别图纸内图例及文字的方法及系统文字识别流程框图。
图5是根据本发明实施例所述的一种基于机器学习识别图纸内图例及文字的方法及系统文字分类的流程框。
图6是根据本发明实施例所述的一种基于机器学习识别图纸内图例及文字的方法及系统的管线号规则示意图。
图7是根据本发明实施例所述的一种基于机器学习识别图纸内图例及文字的方法及系统的仪表编号规则示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
如图1-7所示，根据本发明实施例所述的一种基于机器学习识别图纸内图例及文字的方法，该方法包括以下步骤：
S1运用数据集构建包含图例特征的图例训练集与包含文字特征的文字训练集；
S2运用数据集和卷积神经网络获取识别图例及识别文字的神经网络模型；
S3采用S2中建立的神经网络模型获取图纸中的图例及文字。
在本发明的一个具体实施例中，S1.1手动标记训练集包含以下具体步骤：S1.1.1收集一定数量纸质的P&ID(管线及仪表设计)图纸；S1.1.2扫描图纸并生成图像，DPI 200或以上；S1.1.3将图像调整成灰度图，图像高度设置为6736像素，宽度按比例设置；S1.1.4根据图纸图像标记出图例区域、图例类型，生成图例训练集；S1.1.5根据图纸图像标记出文字区域、文字内容，生成文字训练集。
在本发明的一个具体实施例中，S1.2根据已有图纸自动生成训练集的具体步骤：S1.2.1收集一定数量CAD格式的P&ID(管线及仪表设计)图纸；S1.2.2根据CAD格式的P&ID(管线及仪表设计)图纸进行图例区域、图例类型、文字区域、文字内容的手动标记；S1.2.3将标准图例作为模板随机生成图例，同时随机替换掉CAD图纸中的图例；S1.2.4随机生成中英文文字，随机选择一种字体替换掉CAD图纸中的文字；S1.2.5根据自动标记出的图例区域、图例类型，生成图例训练集；S1.2.6根据自动标记出的文字区域、文字内容，生成文字训练集。
在本发明的一个具体实施例中，S1.3凭空自动生成训练集：S1.3.1纸质图纸与CAD格式的P&ID(管线及仪表设计)图纸数量不足时，可以凭空生成训练集来补充，增加样本多样性，提升准确率；S1.3.2运用图例模板生成新图例并在空白图纸上随机摆放，同时在图纸上随机生成文字，构成新的图纸；S1.3.3根据自动标记出的图例区域、图例类型，生成图例训练集；S1.3.4根据自动标记出的文字区域、文字内容，生成文字训练集。
在本发明的一个具体实施例中，训练识别神经网络模型包含以下步骤：S2.1.1将图例训练集随机打乱；S2.1.2构建识别图例用的Faster R-CNN神经网络；S2.1.3运用Faster R-CNN神经网络通过图例训练集对识别图例进行训练，训练出可以识别图例区域的神经网络模型；S2.2.1根据随机打乱的文字训练集；S2.2.2构建识别文字区域用的PixelLink神经网络；S2.2.3运用Pixel Link神经网络通过文字训练集对识别文字区域进行训练，训练出可以识别文字区域的神经网络模型；S2.3.1构建识别文字内容用的AttentionOCR神经网络；S2.3.2运用Attention OCR神经网络通过文字训练集对识别文字内容进行训练，训练出可以识别文字内容的神经网络模型。
在本发明的一个具体实施例中，图纸识别包含以下步骤：S3.1将待识别图纸扫描成图像，DPI 200或以上；S3.2将图像调整成灰度图，图像高度设置为6736像素，宽度按比例设置；S3.3获取待识别图纸的参数信息传递给识别图例的模型，识别出图纸内所有仪表图例所在区域和类型；S3.4获取待识别图纸的参数信息传递给识别文字的模型，识别出图纸内所有文字所在区域及内容；S3.5将不同类型文字的规则翻译成正则表达式，然后文字与不同规则的正则表达式进行匹配，获得匹配成功后的文字分类属性，例如管线号规则的正则表达式可以是“^\d{1，3}-[A-Z0-9]{1，3}-\d{5}-[A-Z0-9]{4}(-\w{1，2})？$”；S3.6各图例与各文字之间相互进行重叠测试，并计算重叠区域占文字区域的百分比，当超过一定阈值，则认为该文字是该图例的属性，例如仪表内的仪表编号，连接符内的去向描述。
一种基于机器学习识别图纸内图例及文字系统，其特征在于，包含训练集构建模块、神经网络训练模块及图纸识别模块；其中，
所述训练集构建模块：用于构建包含图例特征的图例训练集与包含文字特征的文字训练集，所述训练集构建模块的特征包含手动标记模块和自动生成模块；
所述神经网络训练模块：通过训练集和卷积神经网络获取用于识别图例及识别文字的识别模型，所述神经网络训练模块的特征包含识别图例的神经网络训练模块、识别文字区域的神经网络训练模块及识别文字内容的神经网络训练模块；
所述图纸识别模块：通过识别模型获取图纸中的图例及文字，所述图纸识别模块包含图例识别模块、文字识别模块、文字分类模块及图例文字关联模块；
在本发明的一个具体实施例中，所述手动标记模块：首先扫描纸质图纸，手动标记图纸上的图例区域及图例类型生成图例训练集，手动标记图纸上的文字区域及文字内容生成文字训练集；所述自动生成模块：通过图例模板生成的新图例替换掉已有图纸上的图例，同时将图纸上的文本字体进行随机替换，系统自动标记图纸上的图例区域及图例类型生成图例训练集，系统自动标记图纸上的文字区域及文字内容生成文字训练集，构成新的图纸。
在本发明的一个具体实施例中，所述识别图例的神经网络训练模块：通过图例训练集对识别图例的卷积神经网络进行训练，训练出可以识别图例的神经网络模型；所述识别文字区域的神经网络训练模块：通过文字训练集对识别文字区域的卷积神经网络进行训练，训练出可以识别文字区域的神经网络模型；所述识别文字内容的神经网络训练模块：通过文字训练集对识别文字内容的卷积神经网络进行训练，训练出可以识别文字内容的神经网络模型。
在本发明的一个具体实施例中，所述图例识别模块：通过识别图例的神经网络模型从待识别图纸中识别出图例；所述文字识别模块：通过识别文字的神经网络模型从待识别图纸中识别出文字；所述文字分类模块：运用不同类型文字的规则对文字进行分类；所述图例文字关联模块：运用规则将文字与图例建立关系。
为了方便理解本发明的上述技术方案，以下通过具体使用方式上对本发明的上述技术方案进行详细说明。
在具体使用时，根据本发明所述的基于机器学习识别图纸内图例及文字的方法，本申请的方法包含以下步骤：S1运用数据集构建包含图例特征的图例训练集与包含文字特征的文字训练集；S2运用数据集和卷积神经网络获取识别图例及识别文字的神经网络模型；S3采用S2中建立的神经网络模型获取图纸中的图例及文字；具体运用深度学习技术完成图例与文字的训练数据以及大规模集群的计算训练让机器自动生成学习特征和模型参数，以满足不同场景的文本及图例的识别与提取。
综上所述，借助于本发明的上述技术方案，通过已有图纸自动生成图例训练集及文字训练集，运用图例训练集与文字训练集对待识别图例与待识别文字进型预训练，获得识别文字区域与识别图例区域的神经网络模型，同时运用规则分类文字及建立文字与图例之间的关系，基于深度学习技术完成图例与文字的训练数据以及大规模集群的计算训练让机器自动生成学习特征和模型参数，以满足不同场景的文本及图例的识别与提取。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于机器学习识别图纸内图例及文字的方法，其特征在于，该方法包括以下步骤：
S1 运用数据集构建包含图例特征的图例训练集与包含文字特征的文字训练集；
S2 运用数据集和卷积神经网络获取识别图例及识别文字的神经网络模型；
S3 采用S2中建立的神经网络模型获取图纸中的图例及文字。
2.根据权利要求1所述的基于机器学习识别图纸内图例及文字的方法，其特征在于，S1数据集构建包含以下步骤：
S1.1 首先扫描纸质图纸，手动标记图纸上的图例区域及图例类型生成图例训练集,手动标记图纸上的文字区域及文字内容生成文字训练集；
S1.2 运用图例模板生成的新图例替换掉已有图纸上的图例，同时将图纸上的文本字体进行随机替换，系统自动标记图纸上的图例区域及图例类型生成图例训练集，系统自动标记图纸上的文字区域及文字内容生成文字训练集，构成新的图纸；
S1.3凭空自动生成训练集：
S1.3.1 纸质图纸与CAD格式的P&ID图纸数量不足时，可以凭空生成训练集来补充，增加样本多样性，提升准确率；
S1.3.2 运用图例模板生成新图例并在空白图纸上随机摆放，同时在图纸上随机生成文字，构成新的图纸；
S1.3.3 根据自动标记出的图例区域、图例类型，生成图例训练集；
S1.3.4 根据自动标记出的文字区域、文字内容，生成文字训练集。
3.根据权利要求1所述的基于机器学习识别图纸内图例及文字的方法，其特征在于，S2训练神经网络模型包含以下步骤：
S2.1运用图例训练集对识别图例区域的卷积神经网络进行训练，训练出可以识别图例的神经网络模型；
S2.2运用文字训练集对识别文字区域的卷积神经网络进行训练，训练出可以识别文字区域的神经网络模型；
S2.3运用文字训练集对识别文字内容的卷积神经网络进行训练，训练出可以识别文字内容的神经网络模型。
4.根据权利要求1所述的基于机器学习识别图纸内图例及文字的方法，其特征在于，S3图纸识别包含以下步骤：
S3.1 将待识别图纸扫描成图像，DPI 200 或以上；
S3.2 将图像调整成灰度图，图像高度设置为6736像素，宽度按比例设置；
S3.3 获取待识别图纸的参数信息传递给识别图例的模型，识别出图纸内所有仪表图例所在区域和类型；
S3.4 获取待识别图纸的参数信息传递给识别文字的模型，识别出图纸内所有文字所在区域及内容；
S3.5 将不同类型文字的规则翻译成正则表达式，然后文字与不同规则的正则表达式进行匹配，获得匹配成功后的文字分类属性；
S3.6 各图例与各文字之间相互进行重叠测试，并计算重叠区域占文字区域的百分比，当超过一定阈值，则认为该文字是该图例的属性。
5.根据权利要求2所述的基于机器学习识别图纸内图例及文字的方法，其特征在于，
S1.1手动标记训练集包含以下具体步骤：
S1.1.1 收集一定数量纸质的P&ID图纸；
S1.1.2 扫描图纸并生成图像，DPI 200 或以上；
S1.1.3 将图像调整成灰度图，图像高度设置为6736像素，宽度按比例设置；
S1.1.4 根据图纸图像标记出图例区域、图例类型，生成图例训练集；
S1.1.5 根据图纸图像标记出文字区域、文字内容，生成文字训练集；
S1.2自动标记训练集包含以下具体步骤：
S1.2.1 收集一定数量CAD格式的P&ID图纸；
S1.2.2 根据CAD格式的P&ID图纸进行图例区域、图例类型、文字区域、文字内容的手动标记；
S1.2.3 将标准图例作为模板随机生成图例，同时随机替换掉CAD图纸中的图例；
S1.2.4 随机生成中英文文字，随机选择一种字体替换掉CAD图纸中的文字；
S1.2.5 根据自动标记出的图例区域、图例类型，生成图例训练集；
S1.2.6 根据自动标记出的文字区域、文字内容，生成文字训练集。
6.根据权利要求3所述的基于机器学习识别图纸内图例及文字的方法，其特征在于，
S2.1识别图例包含以下步骤：
S2.1.1 根据随机打乱的图例训练集；
S2.1.2 构建识别图例用的Faster R-CNN 神经网络；
S2.1.3 运用Faster R-CNN神经网络通过图例训练集对识别图例进行训练，训练出可以识别图例区域的神经网络模型；
S2.2识别文字区域包含以下步骤：
S2.2.1 根据随机打乱的文字训练集；
S2.2.2 构建识别文字区域用的Pixel Link 神经网络；
S2.2.3 运用Pixel Link神经网络通过文字训练集对识别文字区域进行训练，训练出可以识别文字区域的神经网络模型；
S2.3识别文字内容包含以下步骤：
S2.3.1 构建识别文字内容用的Attention OCR神经网络；
S2.3.2 运用Attention OCR神经网络通过文字训练集对识别文字内容进行训练，训练出可以识别文字内容的神经网络模型。
7.一种基于机器学习识别图纸内图例及文字系统，其特征在于，包含训练集构建模块、神经网络训练模块及图纸识别模块；其中，
所述训练集构建模块：用于构建包含图例特征的图例训练集与包含文字特征的文字训练集；
所述神经网络训练模块：通过训练集和卷积神经网络获取用于识别图例及识别文字的识别模型；
所述图纸识别模块：通过识别模型获取图纸中的图例及文字。
8.根据权利要求7所述的基于机器学习识别图纸内图例及文字系统，其特征在于，
所述训练集构建模块包含手动标记模块及自动生成模块，其中，
所述手动标记模块：首先扫描纸质图纸，手动标记图纸上的图例区域及图例类型生成图例训练集,手动标记图纸上的文字区域及文字内容生成文字训练集；
所述自动生成模块：通过图例模板生成的新图例替换掉已有图纸上的图例，同时将图纸上的文本字体进行随机替换，系统自动标记图纸上的图例区域及图例类型生成图例训练集，系统自动标记图纸上的文字区域及文字内容生成文字训练集，构成新的图纸。
9.根据权利要求7所述的基于机器学习识别图纸内图例及文字系统，其特征在于，
所述神经网络训练模块包含识别图例的神经网络训练模块、识别文字区域的神经网络训练模块及识别文字内容的神经网络训练模块，其中，
所述识别图例的神经网络训练模块：通过图例训练集对识别图例的卷积神经网络进行训练，训练出可以识别图例的神经网络模型；
所述识别文字区域的神经网络训练模块：通过文字训练集对识别文字区域的卷积神经网络进行训练，训练出可以识别文字区域的神经网络模型；
所述识别文字内容的神经网络训练模块：通过文字训练集对识别文字内容的卷积神经网络进行训练，训练出可以识别文字内容的神经网络模型。
10.根据权利要求7所述的基于机器学习识别图纸内图例及文字系统，其特征在于，
所述图纸识别模块包含图例识别模块、文字识别模块、文字分类模块及图例文字关联模块，其中，
所述图例识别模块：通过识别图例的神经网络模型从待识别图纸中识别出图例；
所述文字识别模块：通过识别文字的神经网络模型从待识别图纸中识别出文字；
所述文字分类模块：运用不同类型文字的规则对文字进行分类；
所述图例文字关联模块：运用规则将文字与图例建立关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010028706.4A CN111242024A (zh) | 2020-01-11 | 2020-01-11 | 基于机器学习识别图纸内图例及文字的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010028706.4A CN111242024A (zh) | 2020-01-11 | 2020-01-11 | 基于机器学习识别图纸内图例及文字的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111242024A true CN111242024A (zh) | 2020-06-05 |
Family
ID=70866889
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010028706.4A Pending CN111242024A (zh) | 2020-01-11 | 2020-01-11 | 基于机器学习识别图纸内图例及文字的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111242024A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215943A (zh) * | 2020-09-21 | 2021-01-12 | 北京中科辅龙科技股份有限公司 | 一种基于轴侧图的三维模型自动重建方法 |
| CN112733735A (zh) * | 2021-01-13 | 2021-04-30 | 国网上海市电力公司 | 一种采用机器学习进行图纸布局分类识别的方法 |
| CN112927194A (zh) * | 2021-02-02 | 2021-06-08 | 武汉光谷信息技术股份有限公司 | 设计图纸与实物的自动核对方法及系统 |
| CN113298697A (zh) * | 2021-03-19 | 2021-08-24 | 广州天越电子科技有限公司 | 一种基于人工神经网络二维图形元素转矢量图形元素的方法 |
| CN113792614A (zh) * | 2021-08-24 | 2021-12-14 | 四川渔光物联技术有限公司 | 一种光伏阵列组串组件位置匹配和编号识别方法 |
| CN113850249A (zh) * | 2021-12-01 | 2021-12-28 | 深圳市迪博企业风险管理技术有限公司 | 一种图表信息格式化提取方法 |
| CN114494114A (zh) * | 2021-12-20 | 2022-05-13 | 上海品览数据科技有限公司 | 一种基于深度学习的结构专业墙柱施工图中暗柱及其属性识别的方法 |
| CN114820870A (zh) * | 2022-05-12 | 2022-07-29 | 岭澳核电有限公司 | 核电流程图辅助绘制方法、装置、计算机设备和存储介质 |
| CN115830431A (zh) * | 2023-02-08 | 2023-03-21 | 湖北工业大学 | 一种基于光强分析的神经网络图像预处理方法 |
| CN116110071A (zh) * | 2023-04-07 | 2023-05-12 | 济南大学 | 一种基于深度学习的图像格式管道和仪表图管线识别方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832765A (zh) * | 2017-09-13 | 2018-03-23 | 百度在线网络技术（北京）有限公司 | 对包括文字内容和图像内容的图片识别 |
| CN108764226A (zh) * | 2018-04-13 | 2018-11-06 | 顺丰科技有限公司 | 图像文本识别方法、装置、设备及其存储介质 |
| CN109214386A (zh) * | 2018-09-14 | 2019-01-15 | 北京京东金融科技控股有限公司 | 用于生成图像识别模型的方法和装置 |
| CN109241974A (zh) * | 2018-08-23 | 2019-01-18 | 苏州研途教育科技有限公司 | 一种文本图像的识别方法及系统 |
| CN109241904A (zh) * | 2018-08-31 | 2019-01-18 | 平安科技（深圳）有限公司 | 文字识别模型训练、文字识别方法、装置、设备及介质 |
| CN109492143A (zh) * | 2018-09-21 | 2019-03-19 | 平安科技（深圳）有限公司 | 图像数据处理方法、装置、计算机设备及存储介质 |
| CN109522892A (zh) * | 2018-09-29 | 2019-03-26 | 北明智通（北京）科技有限公司 | 神经网络辅助的文字图像信息标注方法 |
| CN110188750A (zh) * | 2019-05-16 | 2019-08-30 | 杭州电子科技大学 | 一种基于深度学习的自然场景图片文字识别方法 |
| CN110210581A (zh) * | 2019-04-28 | 2019-09-06 | 平安科技（深圳）有限公司 | 一种手写文本识别方法及装置、电子设备 |
| CN110309807A (zh) * | 2019-07-08 | 2019-10-08 | 西北工业大学 | Cad图纸智能识别方法 |
-
2020
- 2020-01-11 CN CN202010028706.4A patent/CN111242024A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107832765A (zh) * | 2017-09-13 | 2018-03-23 | 百度在线网络技术（北京）有限公司 | 对包括文字内容和图像内容的图片识别 |
| CN108764226A (zh) * | 2018-04-13 | 2018-11-06 | 顺丰科技有限公司 | 图像文本识别方法、装置、设备及其存储介质 |
| CN109241974A (zh) * | 2018-08-23 | 2019-01-18 | 苏州研途教育科技有限公司 | 一种文本图像的识别方法及系统 |
| CN109241904A (zh) * | 2018-08-31 | 2019-01-18 | 平安科技（深圳）有限公司 | 文字识别模型训练、文字识别方法、装置、设备及介质 |
| CN109214386A (zh) * | 2018-09-14 | 2019-01-15 | 北京京东金融科技控股有限公司 | 用于生成图像识别模型的方法和装置 |
| CN109492143A (zh) * | 2018-09-21 | 2019-03-19 | 平安科技（深圳）有限公司 | 图像数据处理方法、装置、计算机设备及存储介质 |
| CN109522892A (zh) * | 2018-09-29 | 2019-03-26 | 北明智通（北京）科技有限公司 | 神经网络辅助的文字图像信息标注方法 |
| CN110210581A (zh) * | 2019-04-28 | 2019-09-06 | 平安科技（深圳）有限公司 | 一种手写文本识别方法及装置、电子设备 |
| CN110188750A (zh) * | 2019-05-16 | 2019-08-30 | 杭州电子科技大学 | 一种基于深度学习的自然场景图片文字识别方法 |
| CN110309807A (zh) * | 2019-07-08 | 2019-10-08 | 西北工业大学 | Cad图纸智能识别方法 |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112215943A (zh) * | 2020-09-21 | 2021-01-12 | 北京中科辅龙科技股份有限公司 | 一种基于轴侧图的三维模型自动重建方法 |
| CN112733735B (zh) * | 2021-01-13 | 2024-04-09 | 国网上海市电力公司 | 一种采用机器学习进行图纸布局分类识别的方法 |
| CN112733735A (zh) * | 2021-01-13 | 2021-04-30 | 国网上海市电力公司 | 一种采用机器学习进行图纸布局分类识别的方法 |
| CN112927194A (zh) * | 2021-02-02 | 2021-06-08 | 武汉光谷信息技术股份有限公司 | 设计图纸与实物的自动核对方法及系统 |
| CN113298697A (zh) * | 2021-03-19 | 2021-08-24 | 广州天越电子科技有限公司 | 一种基于人工神经网络二维图形元素转矢量图形元素的方法 |
| CN113298697B (zh) * | 2021-03-19 | 2024-04-26 | 广州天越电子科技有限公司 | 一种基于人工神经网络二维图形元素转矢量图形元素的方法 |
| CN113792614A (zh) * | 2021-08-24 | 2021-12-14 | 四川渔光物联技术有限公司 | 一种光伏阵列组串组件位置匹配和编号识别方法 |
| CN113850249A (zh) * | 2021-12-01 | 2021-12-28 | 深圳市迪博企业风险管理技术有限公司 | 一种图表信息格式化提取方法 |
| CN114494114A (zh) * | 2021-12-20 | 2022-05-13 | 上海品览数据科技有限公司 | 一种基于深度学习的结构专业墙柱施工图中暗柱及其属性识别的方法 |
| CN114820870A (zh) * | 2022-05-12 | 2022-07-29 | 岭澳核电有限公司 | 核电流程图辅助绘制方法、装置、计算机设备和存储介质 |
| CN115830431A (zh) * | 2023-02-08 | 2023-03-21 | 湖北工业大学 | 一种基于光强分析的神经网络图像预处理方法 |
| CN116110071A (zh) * | 2023-04-07 | 2023-05-12 | 济南大学 | 一种基于深度学习的图像格式管道和仪表图管线识别方法 |
| CN116110071B (zh) * | 2023-04-07 | 2023-09-12 | 济南大学 | 一种基于深度学习的图像格式管道和仪表图管线识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111242024A (zh) | 基于机器学习识别图纸内图例及文字的方法及系统 | |
| CN109308476B (zh) | 票据信息处理方法、系统及计算机可读存储介质 | |
| CN109948510B (zh) | 一种文档图像实例分割方法及装置 | |
| CN111160352B (zh) | 一种基于图像分割的工件金属表面文字识别方法及系统 | |
| CN113537227B (zh) | 一种结构化文本识别方法及系统 | |
| CN110503054B (zh) | 文本图像的处理方法及装置 | |
| CN110210413A (zh) | 一种基于深度学习的多学科试卷内容检测与识别系统及方法 | |
| CN110619326B (zh) | 一种基于扫描的英语试卷作文检测识别系统及方法 | |
| CN104123550A (zh) | 基于云计算的文本扫描识别方法 | |
| CN112446259A (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
| CN111523622B (zh) | 基于特征图像自学习的机械臂模拟手写笔迹方法 | |
| CN112069900A (zh) | 基于卷积神经网络的票据文字识别方法及系统 | |
| CN110796131A (zh) | 一种汉字书写评价系统 | |
| CN113762269A (zh) | 基于神经网络的中文字符ocr识别方法、系统、介质及应用 | |
| CN112749606A (zh) | 一种文本定位方法和装置 | |
| CN112529989A (zh) | 一种基于票据模板的图片重构方法 | |
| CN112307919A (zh) | 一种基于改进YOLOv3的单证图像中数字信息区域识别方法 | |
| CN111626292A (zh) | 一种基于深度学习技术的楼宇指示标识的文字识别方法 | |
| CN116597466A (zh) | 一种基于改进YOLOv5s的工程图纸文字检测识别方法及系统 | |
| CN115311666A (zh) | 图文识别方法、装置、计算机设备及存储介质 | |
| CN111274863A (zh) | 一种基于文本山峰概率密度的文本预测方法 | |
| CN114581932A (zh) | 一种图片表格线提取模型构建方法及图片表格提取方法 | |
| CN111199240A (zh) | 银行卡识别模型的训练方法、银行卡识别方法以及装置 | |
| CN113673528A (zh) | 文本处理方法、装置、电子设备和可读存储介质 | |
| CN116912857A (zh) | 手写体和印刷体文本分离方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200605 |
|
| RJ01 | Rejection of invention patent application after publication |