CN116758578A - 机械制图信息提取方法、装置、系统及存储介质 - Google Patents
机械制图信息提取方法、装置、系统及存储介质 Download PDFInfo
- Publication number
- CN116758578A CN116758578A CN202311041931.1A CN202311041931A CN116758578A CN 116758578 A CN116758578 A CN 116758578A CN 202311041931 A CN202311041931 A CN 202311041931A CN 116758578 A CN116758578 A CN 116758578A
- Authority
- CN
- China
- Prior art keywords
- pattern
- processed
- identification
- deep learning
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 34
- 238000003860 storage Methods 0.000 title claims abstract description 17
- 238000013136 deep learning model Methods 0.000 claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract 1
- 238000013461 design Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006698 induction Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 125000000174 L-prolyl group Chemical group [H]N1C([H])([H])C([H])([H])C([H])([H])[C@@]1([H])C(*)=O 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/42—Document-oriented image-based pattern recognition based on the type of document
- G06V30/422—Technical drawings; Geographical maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/413—Classification of content, e.g. text, photographs or tables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Character Discrimination (AREA)
Abstract
本申请提供一种机械制图信息提取方法、装置、系统及存储介质,其中机械制图信息提取方法包括将待处理图样输入目标深度学习模型;其中待处理图样包括线条、字符及尺寸构成的制图内容;通过目标深度学习模型对待处理图样进行处理,输出待处理图样的识别结果;目标深度学习模型通过将待处理图样进行分割获得识别区域,并对识别区域的尺寸参数和字符内容进行提取。将识别结果进行显示输出。本说明书实施例通过深度学习对机械绘图中的尺寸参数和字符内容含义进行自动提取识别,从而获得机械绘图中尺寸代表的实际物理意义,进而自动提取绘图尺寸的参数数据,提升了机械制图识图、读图的准确性和高效性。
Description
技术领域
本申请涉及机器学习技术领域,具体涉及一种机械制图信息提取方法、装置、系统及存储介质。
背景技术
器件设计、制造等虽有设计规范,然而在其制图过程中存在设计技术及规则等变化,导致同一器件在设计图案中会有差异,如采用不同的字符标识。尤其不同领域对同一表达采用有不同的字符标识。
然而现有技术机械制图的读取通常采用人工识别的方式,这样对专业要求高,人工读取还容易出现纰漏、读错等情形,准确性不高,人工读取花费时间长,甚至还需要大量重复读取,导致机械制图读取效率不高。
因此,需要一种机械制图信息提取的新方案。
发明内容
有鉴于此,本说明书实施例提供一种机械制图信息提取方法、装置、系统及存储介质,适用于不同行业或者不同绘图工具对应的机械制图读图过程。
本说明书实施例提供以下技术方案:
本说明书实施例提供一种机械制图信息提取方法,所述机械制图信息提取方法包括:
将待处理图样输入目标深度学习模型;其中待处理图样包括线条、字符及尺寸构成的制图内容;
通过所述目标深度学习模型对所述待处理图样进行处理,所述目标深度学习模型通过待处理图样中线条、字符及尺寸构成的内容信息,将待处理图样进行分割获得识别区域,并对识别区域的尺寸参数和字符内容进行提取;
输出待处理图样的识别结果;识别结果包括待处理图样中识别区域对应的尺寸参数和字符内容;
将识别结果进行显示输出。
本说明书实施例还提供一种机械制图信息提取装置,所述机械制图信息提取装置包括:
输入模块,用于将待处理图样输入目标深度学习模型;其中待处理图样包括线条、字符及尺寸构成的制图内容;
获取模块,用于通过所述目标深度学习模型对待处理图样进行处理,所述目标深度学习模型通过待处理图样中线条、字符及尺寸构成的内容信息,将待处理图样进行分割获得识别区域,并对识别区域的尺寸参数和字符内容进行提取;
输出模块,用于输出所述待处理图样的识别结果;识别结果包括待处理图样中识别区域对应的尺寸参数和字符内容;
显示模块,用于将所述识别结果进行显示输出。
与现有技术相比,本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括:
通过深度学习对机械绘图中的尺寸参数和字符内容含义进行自动提取识别,从而获得机械绘图中尺寸代表的实际物理意义,进而自动提取绘图尺寸的参数数据,提升了机械绘图识图、读图的准确性和高效性。尤其可准确识别和映射三视图所示尺寸的物理含义和值之间的对应关系。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本申请中的机械制图信息提取典型场景图;
图2是本申请中的机械制图信息提取方法的流程图;
图3是本申请中视图特征关系的示意图一;
图4是本申请中视图特征关系的示意图二;
图5是本申请中三视图的示意图;
图6是本申请中针对图5三视图的识别结果示意图;
图7是采用现有技术OCR获取识别结果发生错误示意图;
图8是本申请中采用改进OCR读取尺寸数值的示意图一;
图9是本申请中采用改进OCR读取尺寸数值的示意图二;
图10是本申请中采用改进OCR读取尺寸数值的示意图三;
图11是本申请中采用改进OCR读取尺寸数值的示意图四;
图12是本申请中采用改进OCR读取尺寸数值的示意图五;
图13是本申请中识别区域及尺寸数值读取的示意图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本申请,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本申请的基本构想,图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践。
机械制图表达器件或者工程的设计思想,然而现有技术需采用人工读取机械制图中的内容,不仅对专业要求高,人工读取还容易出现纰漏、读错等情形,造成准确性不高,人工读取花费时间长,甚至还需要大量重复读取,导致机械制图读取效率不高等问题。
机械制图通过线条、字符的组合来直观表达设计零件以及设计工程的重要信息,一些实施例中机械制图信息中还包含了设计的基础加工方式。现有技术中机械制图的人员需不断锻炼空间思维能力,把握零件结构以及工程系统各部分结构来体现设计中的重要信息。因此针对不同机械制图中表达的设计内容需专业人员采用专业的知识来识别。机械制图通过线条、字符的变化组合来表达不同设计零件或者设计工程思路,即每个机械制图中表达的内容不同,或者每个机械制图中的布局等不同,这样增加了机械制图读图的难度,造成人工读图的效率低,容易出现纰漏、读错等情形,且随着机械制图中包含信息的变多使得人工读取耗时长,还需大量重复读取,导致机械制图读取效率不高。
机械制图广泛应用于不同的行业领域。各行业虽然存在设计规范,但随着制图能力、技术及规则变化,导致同一器件在设计图案中存在差异,如采用不同的字符标识,或者采用简化线条的形式表达等,这样增加机械制图读取的难度。
基于此,本说明书实施例提出了一种机械制图信息提取方案:如图1所示,本申请将待处理图样输入至目标深度学习模型(即机器目标检测) ,最终输出并显示识别结果,如准确识别和映射出三视图所示尺寸的物理含义和值之间的对应关系,如A代表长度,具体尺寸为x;B代表宽度,具体尺寸为y,C代表高度,具体尺寸为z。从而准确获得该机械制图中实际表达物理意义的字符如A、B、C,以及这个实际物理意义对应的尺寸数值分别为x、y、z。
其中待处理图样中包括线条、字符及尺寸构成的制图内容,这样通过改变线条、字符及尺寸构成的多样组合形式来表达不同的制图内容,增加机械制图读取的难度。本申请的目标深度学习模型可在不同布局的机械制图中根据待处理图样的线条、字符构成的内容信息,对待处理图样进行有效分割得到识别区域,不仅能识别制图内容中表达单一结构的识别,即使单一结构采用不同标识仍能进行识别,还可以对复杂结构的制图内容进行识别,通过将线条、字符等构成内容的关联关系进行识别从而对待处理图样的识别区域进行有效分割,进而对识别区域中表达制图内容的尺寸参数和字符进行提取。
本申请采用目标检测算法对图纸中信息代表的实际物理意义进行分类和归纳,从而实现图纸中特征如尺寸参数和字符的提取,最终输出尺寸打标的实际物理意义和具体尺寸参数的值,从而节省人工读取图纸的成本,打破领域以及对制图专业知识的高要求,实现准确、高效地图纸读取过程。
以下结合附图,说明本申请各实施例提供的技术方案。
如图2所示,本说明书提供的一种机械制图信息提取方法的流程图。如图2所示,该机械制图信息提取方法包括步骤S210-步骤S240。其中,步骤S210、将待处理图样输入目标深度学习模型。其中待处理图样包括线条、字符及尺寸构成的制图内容。步骤S220、通过将所述目标深度学习模型对所述待处理图样进行处理,目标深度学习模型通过待处理图样中线条、字符及尺寸构成的内容信息,将待处理图样进行分割获得识别区域,并对识别区域的尺寸参数和字符内容进行提取。步骤S230、输出待处理图样的识别结果,识别结果包括待处理图样中识别区域对应的尺寸参数和字符内容。步骤S240、将所述识别结果进行显示输出。
步骤S210、将待处理图样输入目标深度学习模型。待处理图样包括机械制图软件绘制的电子图或者纸质图纸经过扫描获得的电子图,不限其具体的表达格式。本申请采用目标检测算法来对电子图样进行信息提取,从而提高图样读取的准确性和高效性。
其中待处理图样包括线条、字符及尺寸构成的制图内容。机械制图对应特点为采用线条、字符构成代表物理意义的内容信息。机械制图使用的灵活性和广泛性,制图过程不拘泥于固定布局进行绘图,以及由于设计规则等微小变化导致同一表达采用不同的字符标识,导致机械制图中信息提取的难度增大。
因此倘若没有专业知识在整体的制图上只能获得不同线条及字符,以及不同线条对应各自的尺寸大小,无法识别整体制图内容中每个部分对应的实际物理意义,从而无法将各线条及字符表达的实际物理意义进行识别,更无法获得实际物理意义对应的尺寸大小等。
而机械制图中具有实际物理意义的部分组成的整体才能表达设计构思,如机械零件或机器的工作原理、操作方式以及使用用途等内容,类似地又如对工程系统构思内容的表达。如果仅通过机械制图布局不同、线条不同等来对待处理图样进行识别区域的划分,根本无法获得有效的识别区域,这也是现有技术中机械制图均需专业知识人员读取的原因。因此只有读取不同部分代表的实际物理意义才能完整读取制图表达的设计思路。
本说明书实施例以如图5所示的封装芯片结构为例进行说明。因此待处理图样如图5所示,将待处理图样输入目标深度学习模型以便对其中的内容进行读取。
步骤S220、通过目标深度学习模型对待处理图样进行处理,目标深度学习模型通过待处理图样中线条、字符及尺寸构成的内容信息,将待处理图样进行分割获得识别区域,并对识别区域的尺寸参数和字符内容进行提取。
结合上述实施例,采用目标深度学习的目标检测算法对待处理图样中示例物理含义对应的尺寸参数和字符内容进行特征提取。本说明书实施例中通过梳理线条、字符等不同组合构成实际物理意义对应内容的关联关系来对待处理图样的识别区域进行有效分割,如根据线条对应尺寸的相同等关系来获得整体制图中视图特征关系,如通过上下方向的高度尺寸和左右方向的长度尺寸,左右方向的长度尺寸和前后方向的宽度尺寸,以及上下方向的高度尺寸和前后方向的宽度尺寸等来实现主视图、俯视图和左视图的关联关系。又如由线条、字符固定组合物理意义分类块的关联关系,实现根据待处理图样中的图块信息来对识别区域进行有效分割。
因此,通过线条、字符等内容表达实际物理意义对应的关联关系来对待处理图样的识别区域进行有效分割,实现机械制图整体无论表达的信息多么复杂,同一物理意义结构或部分即使采用不同字符标识表示,依然可以对待处理图样中的识别区域进行有效分割。
本说明书实施例通过研究线条、字符以及尺寸等不同组合构成实际物理意义将图像特征划分为图形区域和包含箭头的尺寸区域。如图3和图4中示例的黑色方块中表示图像特征划分出的图形区域,椭圆形表示图像特征划分出包含箭头的尺寸区域。采用本说明书实施例将待处理图样进行分割获得识别区域的准确率高达99%。又如图13中“0”区域表示图像特征划分出的图形区域。一些实施例中,根据不同的图像特征可划分出不同的图形区域,如“1”区域(未示出)……“n”区域(未示出)(类似可参考将图3和图4中黑色方块中的图形区域叠加至一张图中),这些图形区域准确划分出不同线条、字符以及尺寸构成实际物理意义的区域。
本说明书实施例中通过目标深度学习模型对待处理图样进行处理包括通过卷积层和池化层等操作,提取待处理图样的特征。采用全卷积神经网络,将特征图分成多个网络,每个网络预测出一个目标框,然后通过非极大值抑制算法来去除重叠的目标框,最终得到每个目标的位置和类别。参考下文封装芯片结构实施例获得视图特征关系,如图5所示QFP(Quad Flat Package,扁平封装)。进而分割获得识别区域,并对识别区域的尺寸参数和字符内容进行提取,如L、E、E1、b、e读取各个字符代表实际物理意义对应的尺寸参数。
步骤S230、输出所述待处理图样的识别结果,识别结果包括待处理图样中识别区域对应的尺寸参数和字符内容。
结合上述实施例,实现识别结果的输出。识别结果包括图样中识别区域对应的尺寸参数和字符内容,如包括准确识别和映射出三视图所示尺寸的物理含义和值之间的对应关系。
在一些实施例中,对识别区域的尺寸参数和字符内容进行提取包括:对识别区域的字符及尺寸进行定位,得到定位区域;读取定位区域的字符及尺寸数值。
结合上述实施例,对待处理图样进行分割获得所有识别区域,对每个识别区域中的数据和字符所在范围进行检测,采用OCR将图像中的数据、字符以及线型等信息进一步转换为字符信息并输出。从而准确输出代表三视图的尺寸信息,包括尺寸代表的实际物理意义和具体尺寸参数的值(参见下表1的示例)。
然而研究发现直接采用现有技术的OCR对识别区域,如包含箭头的尺寸区域进行读取,字符或者数值读取错误率较高,采用现有的OCR识别的准确率低于50%。如图7所示尺寸数值读取均错误。
如图8-图12中尺寸区域和图13方框中尺寸区域的示意,如果直接采用现有技术的OCR技术进行识别对于稍复杂表示的尺寸数值就会读取错误。如图10所示的竖直箭头对应的尺寸数值现有技术无法读取,而本申请可以准确读取为8.8~9.2。类似地其余图例的复杂尺寸数值均可以正确读出。
因此,本说明书实施例通过使用场景文字检测算法(包括现有技术算法)检测出数值和字符所在的位置,即获得定位区域。如使用文字检测模型基于PyTorch实现,使用DBNet,相较于现有技术中使用的PSENet模型,DBNet的检测耗时几乎下降了一个量级,同时检测精度也得到了极大的提升。进而使用文字识别算法,如基于MXNet的中文/英文 OCRPython包实现,进行文字检测和文字识别,最终读取定位区域的字符及尺寸数值获得识别结果。
一些实施例中,即使定位区域的数值如10,00(同一表达采用不同的表示),本说明书实施例的识别结果仍能准确进行读取如10.00。
例如获得符号“∠1:10”表示斜度1:10等。
其中线型包括如粗实线、细实线、细点画线、粗点画线、细虚线、粗虚线、波浪线、双折线、双点划线等。其中尤其通过分别获取实线与虚线可立体构建待处理图样的空间概念。
一些实施例中,识别结果还包括对应零部件的基本工艺内容等。
步骤S240、将所述识别结果进行显示输出。
结合上述实施例,本申请机械制图信息提取方法通过对待处理图样中实际物理意义的尺寸参数和字符进行识别提取,并将最后的识别结果进行显示输出。一些实施例中,将待处理图样中包含尺寸参数代表的实际物理含义以及尺寸参数对应的数值进行统计,得到识别结果输出。一些实施例中识别结果采用如表1所示BOM(Bill ofMaterial,物料清单)表进行输出。一些实施例中识别结果的输出显示如图6所示。
表1
在一些实施例中,通过目标深度学习模型对待处理图样进行处理,包括:获取待处理图样中视图特征关系;其中视图特征关系通过提取图像特征进行分类归纳获得。根据视图特征关系对待处理图样进行区域分割得到识别区域;识别区域包括线条、字符构成的图形区域和包含箭头的尺寸区域;对识别区域中图形尺寸和字符进行提取得到识别结果。
结合上述实施例,将待处理图样输入目标深度学习模型进行处理包括获取待处理图样中视图特征关系,其中视图特征关系包括但不限于局部图、剖切图、装配图、断面图,第一视觉图以及第三视觉图(其中第一视觉图为投影图,第三视觉图为镜面图)等。视图特征关系通过提取图像特征并进行分类归纳获得。结合上述实施例,以封装芯片结构为例,具体地在目标深度学习模型训练过程中通过对各类封装芯片结构进行分割、归类等识别,从而实现如CONNECTOR(Connect with other components,与其他组件连接)、QFN(Quad FlatNo-lead,四平面无引线)、QFP(Quad Flat Package,扁平封装)、 BGA/LGA(Ball GridArray/Land Grid Array,球栅阵列/地栅阵列)、SON(Small Outline NO lead,小轮廓无引线)、SOT(Small Outline Transistor,小型晶体管)、SOIC(Small Outline IntegratedCircuit,小型集成电路)、SOD(Small Outline Diode,小型二极管)、DFN(Dual Flat No-lead,双平面无引线)等的分类识别,并进行归纳以便测试过程的读取。本说明书实施例的目标深度学习模型可针对各种相似视图特征关系进行准确识别,如针对不同引脚宽度,不同引脚数量图形化相似的封装芯片结构进行准确的视图特征关系的获取。
进而根据视图特征关系对待处理图样进行区域分割得到识别区域,识别区域包括线条、字符构成的图形区域和包含箭头的尺寸区域。识别区域例如包括剖切图对应的装配识别区域或者各个零部件识别区域,还包含箭头对应的尺寸区域。如图3所示A字符对应图形区域和包含箭头对应的椭圆形尺寸区域。又如图4所示B字符对应图形区域和包含箭头对应的椭圆形尺寸区域。进而,根据图形区域对应的箭头尺寸区域,采用改进OCR技术先定位尺寸区域获得数值区域(即定位区域),进而对定位区域内的数值、文字进行读取。最终分别对识别区域中图形尺寸和字符进行提取得到待处理图样中实际物理意义尺寸参数以及尺寸参数对应的具体数值。
本说明书实施例对识别区域进行有效分割,如图形区域对应图样中的横向箭头区域(如图8示例)、纵向箭头区域(如图10示例)以及弧形箭头区域(如图13示例)等均跟随图形区域进行有效识别。
在一些实施例中,通过目标深度学习模型对待处理图样进行处理包括:解析待处理图样的图层信息或者图块信息。根据图层信息或者图块信息进行区域分割得到识别区域。
其中,图层信息或者图块信息反映待处理图样中各个识别区域被绘制过程的不同。因此通过图层信息和图块信息同样可以很好的进行识别区域的划分。图层信息是指按功能在图形中组织信息以及执行线型、颜色及其他标准。通过创建图层,可以将类型的对象指定给同一个图层使其相关联。例如,可以将构造线、文字、标注和标题栏置于不同的图层上。每个图层都具有该图层上的所有对象都采用的关联特性(例如颜色和线型)。图块信息是一组图形实体的总称,在整体待处理图样的图形单元中,各实体可以具有各自的图层、线型、颜色等特征,如嵌套块,嵌套块就是一个图形单元中包含其他图块,例如将一个机械部件的装配图作为块插入,该部件包括机架、支架和紧固件,而紧固件又是由螺钉、垫片和螺母组成的图块。又例如属性块,属性块是将数据附着到图块上的标签或标记。属性块中可以包含的数据包括零件编号、价格、注释和物主的名称等等。属性块的属性信息存储在图形文件中,并且可以写入提取文件供数据库程序使用等。
具体地,目标深度学习模型根据待处理图样被绘制过程采用的图层信息或者图块信息同样实现识别区域的准确获得与划分,以便对识别区域中实际物理意义尺寸参数以及尺寸具体数值进行提取。将待处理图样的图层信息或者图块信息进行解析后,根据图层信息或者图块信息进行区域分割得到各个识别区域。
在一些实施例中,通过目标深度学习模型对待处理图样进行处理还包括:获取待处理图样的图纸标题;根据图纸标题获得机械制图中关键图形区域;根据关键图形区域,对所有图形区域进行分割得到识别区域。
具体地,图纸标题包括机械制图文件名称或者图纸本身标题栏中对象名称。进而根据图纸标题获取机械制图中关键图形区域,如根据图纸标题栏获得零件名称,从而根据该零件名称在机械制图待处理图样中获得该零件的正视图或者体现特征较多的视图,或者获取该零件的局部放大图等。进而根据获得的关键图形区域,对所有图形区域进行分割得到识别区域。其中关键图形区域表示表达图形内容特征最多的图,以此为依据来对其他图形部分进行划分。关键图形区域包括对应图形六视图中的任一视图,如正视图等。一些实施例中通过关键图形区域还可以获得视图特征关系。关键图形区域对应的视图可以通过文件名称解析或者标题栏解析等方式获得其他视图。进而根据关键图形区域获得所有图形区域并分割得到识别区域。例如根据关键图形区域如正视图,获得其他视图(如左视图,俯视图等)。
在一些实施例中,待处理图样信息提取方法还包括对初始深度学习模型进行训练获得最终的目标深度学习模型。具体地,将待训练图样输入初始深度学习模型,通过初始深度学习模型将待训练图样中线条、字符及尺寸构成的内容信息将图纸分割、特征提取后获得识别分类;将识别分类与标准分类进行相似度比对,若相似度符合预设阈值,则确定识别分类为标准分类,以及获得目标深度学习模型。
具体地,通过对初始深度学习模型进行训练,对三视图图纸中尺寸参数代表的实际物理含义所示的区域进行标注和特征提取,对各种封装规格的三视图进行分类和归纳,抽象提取特征、并进行标注,使用目标检测算法对标注数据集进行学习。如对半导体封装芯片对应的视图特征关系学习,通过提取图像特征并进行标注分类和归纳,从而不断学习实现对多种不同相近类型的视图特征关系进行学习,最终获得各种视图特征关系,如前文所述封装芯片结构的示例。
进而输入训练的图样后通过深度学习模型中的卷积层和池化层操作提取图像特征,获得训练的视图特征关系,即准确得到图形区域并获得其对应的类型,还获得包含箭头的尺寸区域。然后将识别的分类与标准分类进行相似度比对,若相似度符合预设阈值,则确定识别分类为标准分类,从而达到精准预测三视图绘图中的各个标注类别所在的区域。最终获得目标深度学习模型。
本说明书实施例的深度学习模型中第一层卷积采用3×3 卷积,参考ELAN设计思想使用C2f模块,并配合调整了模块的深度。使用解耦头结构,使用Anchor-Free,以及使用BCE Loss 作为分类损失。采用了 Task-Aligned Assigner 样本分配策略。通过新增加了最后 10 轮关闭 Mosaic 数据增强操作,从而有效提升精度。
其中,标准分类可以通过机械制图各种数据库进行获得,也可以通过初始深度学习模型不断优化迭代来获得标准分类。
本说明书实施例通过对初始深度学习模型进行训练,不断学习通过待处理图样线条、字符构成内容代表实际物理意义,并进行分类和归纳,从而实现对待处理图样的有效识别,摆脱只能根据线条的不同、布局的不同或者只能对单一内容的识别,提升待处理图样分割识别的准确性。
在一些实施例中标准分类对应有不同行业分类或者不同绘图软件分类。
具体地,行业分类包括但不限于机械、材料、电气、液压、机电。机械制图绘图软件包括但不限于SolidWorks、CATIA、proe、Pro/Engineer、AutoCAD 、Adams以及UG各版本。本说明书实施例仅为举例不作限定,本说明书实施例的机械制图信息提取方法突破行业领域的限制,以及专业知识的要求,还打破各不同机械绘图软件之间的隔离实现对任一机械制图图纸的读取等。
本说明书实施例提供的机械制图信息提取系统,该系统包括:处理器、存储器和计算机程序;其中
存储器,用于存储所述计算机程序,该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。
处理器,用于执行所述存储器存储的计算机程序,以实现上述方法中设备执行的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地,存储器既可以是独立的,也可以跟处理器集成在一起。
当所述存储器是独立于处理器之外的器件时,所述设备还可以包括:
总线,用于连接所述存储器和处理器。
本发明还提供一种可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
其中,可读存储介质可以是计算机存储介质,也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如,可读存储介质耦合至处理器,从而使处理器能够从该可读存储介质读取信息,且可向该可读存储介质写入信息。当然,可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits,简称:ASIC)中。另外,该ASIC可以位于用户设备中。当然,处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本说明书中的各个实施例之间相同相似的部分互相参见即可,每个实施例侧重说明的都是与其他实施例的不同之处。尤其,对于后面说明的产品实施例而言,由于其与方法是对应的,描述比较简单,相关之处参见系统实施例的部分说明即可。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种机械制图信息提取方法,其特征在于,所述机械制图信息提取方法包括:
将待处理图样输入目标深度学习模型;其中待处理图样包括线条、字符及尺寸构成的制图内容;
通过所述目标深度学习模型对所述待处理图样进行处理,所述目标深度学习模型通过待处理图样中线条、字符及尺寸构成的内容信息,将待处理图样进行分割获得识别区域,并对识别区域的尺寸参数和字符内容进行提取;
输出所述待处理图样的识别结果;识别结果包括待处理图样中识别区域对应的尺寸参数和字符内容;
将所述识别结果进行显示输出。
2.根据权利要求1所述的机械制图信息提取方法,其特征在于,通过所述目标深度学习模型对所述待处理图样进行处理,包括:
获取待处理图样中视图特征关系;其中视图特征关系通过提取图像特征并进行分类归纳获得;
根据视图特征关系对待处理图样进行区域分割得到识别区域;识别区域包括线条、字符构成的图形区域和包含箭头的尺寸区域;
对识别区域中图形尺寸和字符进行提取得到识别结果。
3.根据权利要求1所述的机械制图信息提取方法,其特征在于,通过所述目标深度学习模型对所述待处理图样进行处理,还包括:
解析所述待处理图样的图层信息或者图块信息;
根据图层信息或者图块信息进行区域分割得到识别区域。
4.根据权利要求1所述的机械制图信息提取方法,其特征在于,通过所述目标深度学习模型对所述待处理图样进行处理,还包括:
获取所述待处理图样的图纸标题,
根据图纸标题获取待处理图样中关键图形区域;
根据所述关键图形区域,对所有图形区域进行分割得到识别区域。
5.根据权利要求1所述的机械制图信息提取方法,其特征在于,所述机械制图信息提取方法,还包括:
将待训练图样输入初始深度学习模型,初始深度学习模型通过待训练图样中线条、字符及尺寸构成的内容信息将图纸分割、特征提取后获得识别分类;
将识别分类与标准分类进行相似度比对,若相似度符合预设阈值,则确定识别分类为标准分类,以及获得目标深度学习模型。
6.根据权利要求5所述的机械制图信息提取方法,其特征在于,标准分类对应有不同行业分类或者不同绘图软件分类。
7.根据权利要求1所述的机械制图信息提取方法,其特征在于,对识别区域的尺寸参数和字符内容进行提取,包括:
对识别区域的字符及尺寸进行定位,得到定位区域;
读取定位区域中的字符及尺寸数值。
8.一种机械制图信息提取装置,其特征在于,所述机械制图信息提取装置,包括:
输入模块,用于将待处理图样输入目标深度学习模型;其中待处理图样包括线条、字符及尺寸构成的制图内容;
获取模块,用于通过所述目标深度学习模型对所述待处理图样进行处理,所述目标深度学习模型通过待处理图样中线条、字符及尺寸构成的内容信息,将待处理图样进行分割获得识别区域,并对识别区域的尺寸参数和字符内容进行提取;
输出模块,用于输出所述待处理图样的识别结果;识别结果包括待处理图样中识别区域对应的尺寸参数和字符内容;
显示模块,用于将所述识别结果进行显示输出。
9.一种机械制图信息提取系统,其特征在于,包括存储器、处理器以及计算机程序,所述计算机程序存储在所述存储器中,所述处理器运行所述计算机程序执行权利要求1-7中任一项所述机械制图信息提取方法。
10.一种可读存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时用于实现权利要求1-7中任一项所述机械制图信息提取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311041931.1A CN116758578B (zh) | 2023-08-18 | 2023-08-18 | 机械制图信息提取方法、装置、系统及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311041931.1A CN116758578B (zh) | 2023-08-18 | 2023-08-18 | 机械制图信息提取方法、装置、系统及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116758578A true CN116758578A (zh) | 2023-09-15 |
CN116758578B CN116758578B (zh) | 2023-11-07 |
Family
ID=87955539
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311041931.1A Active CN116758578B (zh) | 2023-08-18 | 2023-08-18 | 机械制图信息提取方法、装置、系统及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116758578B (zh) |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030130992A1 (en) * | 2002-01-10 | 2003-07-10 | Jenn-Kwei Tyan | Automatic document reading system for technical drawings |
JP2008275687A (ja) * | 2007-04-25 | 2008-11-13 | Canon Inc | 表示制御装置および表示制御方法 |
JP2010157118A (ja) * | 2008-12-26 | 2010-07-15 | Denso It Laboratory Inc | パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム |
US20120011429A1 (en) * | 2010-07-08 | 2012-01-12 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
WO2019000653A1 (zh) * | 2017-06-30 | 2019-01-03 | 清华大学深圳研究生院 | 一种图像目标识别方法及装置 |
US20190050639A1 (en) * | 2017-08-09 | 2019-02-14 | Open Text Sa Ulc | Systems and methods for generating and using semantic images in deep learning for classification and data extraction |
KR20200063342A (ko) * | 2018-11-22 | 2020-06-05 | 삼성생명보험주식회사 | 글자 인식 모델의 업데이트 방법 |
WO2020199775A1 (zh) * | 2019-03-29 | 2020-10-08 | 京东方科技集团股份有限公司 | 货架状态确定方法及装置、存储介质 |
CN111753727A (zh) * | 2020-06-24 | 2020-10-09 | 北京百度网讯科技有限公司 | 用于提取结构化信息的方法、装置、设备及可读存储介质 |
WO2020259060A1 (zh) * | 2019-06-26 | 2020-12-30 | 深圳中兴网信科技有限公司 | 试卷信息提取方法、系统及计算机可读存储介质 |
JP2021056796A (ja) * | 2019-09-30 | 2021-04-08 | トッパン・フォームズ株式会社 | 構造認識システム、構造認識装置、構造認識方法、及びプログラム |
KR20210105764A (ko) * | 2020-02-19 | 2021-08-27 | 한국전자통신연구원 | 전자문서 내의 텍스트 추출 방법 및 관련 장치 |
CN113658095A (zh) * | 2021-07-09 | 2021-11-16 | 浙江大学 | 用于手工仪器绘图的工程图样评阅识别处理方法及装置 |
US20210406576A1 (en) * | 2020-06-29 | 2021-12-30 | Capital One Services, Llc | Enhanced optical character recognition (ocr) image segmentation system and method |
WO2022082431A1 (en) * | 2020-10-20 | 2022-04-28 | Beijing Tripmonkey Technology Limited | Systems and methods for extracting information from paper media based on depth information |
CN114820870A (zh) * | 2022-05-12 | 2022-07-29 | 岭澳核电有限公司 | 核电流程图辅助绘制方法、装置、计算机设备和存储介质 |
CN115034200A (zh) * | 2021-03-04 | 2022-09-09 | 广东博智林机器人有限公司 | 图纸信息提取方法、装置、电子设备及存储介质 |
-
2023
- 2023-08-18 CN CN202311041931.1A patent/CN116758578B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030130992A1 (en) * | 2002-01-10 | 2003-07-10 | Jenn-Kwei Tyan | Automatic document reading system for technical drawings |
JP2008275687A (ja) * | 2007-04-25 | 2008-11-13 | Canon Inc | 表示制御装置および表示制御方法 |
JP2010157118A (ja) * | 2008-12-26 | 2010-07-15 | Denso It Laboratory Inc | パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム |
US20120011429A1 (en) * | 2010-07-08 | 2012-01-12 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
WO2019000653A1 (zh) * | 2017-06-30 | 2019-01-03 | 清华大学深圳研究生院 | 一种图像目标识别方法及装置 |
US20190050639A1 (en) * | 2017-08-09 | 2019-02-14 | Open Text Sa Ulc | Systems and methods for generating and using semantic images in deep learning for classification and data extraction |
KR20200063342A (ko) * | 2018-11-22 | 2020-06-05 | 삼성생명보험주식회사 | 글자 인식 모델의 업데이트 방법 |
WO2020199775A1 (zh) * | 2019-03-29 | 2020-10-08 | 京东方科技集团股份有限公司 | 货架状态确定方法及装置、存储介质 |
WO2020259060A1 (zh) * | 2019-06-26 | 2020-12-30 | 深圳中兴网信科技有限公司 | 试卷信息提取方法、系统及计算机可读存储介质 |
JP2021056796A (ja) * | 2019-09-30 | 2021-04-08 | トッパン・フォームズ株式会社 | 構造認識システム、構造認識装置、構造認識方法、及びプログラム |
KR20210105764A (ko) * | 2020-02-19 | 2021-08-27 | 한국전자통신연구원 | 전자문서 내의 텍스트 추출 방법 및 관련 장치 |
CN111753727A (zh) * | 2020-06-24 | 2020-10-09 | 北京百度网讯科技有限公司 | 用于提取结构化信息的方法、装置、设备及可读存储介质 |
US20210406576A1 (en) * | 2020-06-29 | 2021-12-30 | Capital One Services, Llc | Enhanced optical character recognition (ocr) image segmentation system and method |
WO2022082431A1 (en) * | 2020-10-20 | 2022-04-28 | Beijing Tripmonkey Technology Limited | Systems and methods for extracting information from paper media based on depth information |
CN115034200A (zh) * | 2021-03-04 | 2022-09-09 | 广东博智林机器人有限公司 | 图纸信息提取方法、装置、电子设备及存储介质 |
CN113658095A (zh) * | 2021-07-09 | 2021-11-16 | 浙江大学 | 用于手工仪器绘图的工程图样评阅识别处理方法及装置 |
CN114820870A (zh) * | 2022-05-12 | 2022-07-29 | 岭澳核电有限公司 | 核电流程图辅助绘制方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
高一聪等: "基于迁移学习的机械制图智能评阅方法", 《浙江大学学报(工学版)》, vol. 56, no. 05 * |
Also Published As
Publication number | Publication date |
---|---|
CN116758578B (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021115490A1 (zh) | 面向复杂环境的印章文字检测识别方法、装置及介质 | |
AU2020103716A4 (en) | Training method and device of automatic identification device of pointer instrument with numbers in natural scene | |
JP5098504B2 (ja) | 文字認識プログラム、文字認識装置および文字認識方法 | |
CN106709032A (zh) | 抽取电子表格文档中结构化信息的方法及装置 | |
CN113936195B (zh) | 敏感图像识别模型的训练方法、训练装置和电子设备 | |
CN113239818B (zh) | 基于分割和图卷积神经网络的表格跨模态信息提取方法 | |
CN109213886B (zh) | 基于图像分割和模糊模式识别的图像检索方法及系统 | |
US9129156B2 (en) | Method for detecting and recognizing an object in an image, and an apparatus and a computer program therefor | |
CN110246567B (zh) | 一种医学图像预处理方法 | |
CN113095267B (zh) | 统计图的数据提取方法、电子设备和存储介质 | |
CN115424282A (zh) | 一种非结构化文本表格识别方法和系统 | |
CN112883926A (zh) | 表格类医疗影像的识别方法及装置 | |
CN112132131A (zh) | 量筒液位识别方法和装置 | |
CN111553345A (zh) | 基于Mask RCNN与正交线性回归实现仪表指针读数识别处理的方法 | |
CN114581654A (zh) | 一种基于互感器状态监测方法及装置 | |
CN116758578B (zh) | 机械制图信息提取方法、装置、系统及存储介质 | |
CN117593420A (zh) | 基于图像处理的平面图纸标注方法、装置、介质及设备 | |
CN117746455A (zh) | 一种工程图纸构成解析方法 | |
CN101118544A (zh) | 一种图像形状轮廓描述符的构造方法 | |
Xu et al. | Tolerance Information Extraction for Mechanical Engineering Drawings–A Digital Image Processing and Deep Learning-based Model | |
CN111950469A (zh) | 一种道路标识检测方法、系统、设备和介质 | |
CN115019310B (zh) | 图文识别方法及设备 | |
CN111652200A (zh) | 车险案件中从图片区分多车的处理方法、装置及设备 | |
Kumar et al. | An efficient algorithm for text localization and extraction in complex video text images | |
Mishchenko et al. | Model-Based Recognition and Extraction of Information from Chart Images. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |