CN115984894A - 2d图纸特征识别方法、系统、设备及介质 - Google Patents

Abstract

本发明提供一种2D图纸特征识别方法、系统、设备及介质，包括：输入二维图纸和对应的三维模型；从三维模型自动提取出所有相关的特征信息；通过构建深度学习智能算法模型和图像算法从二维图纸自动提取所有标注信息；通过投影和数学计算，获取二维图纸和三维模型的映射关系；整合特征信息、标注信息、二维图纸和三维模型映射关系，由系统自动确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表；展示三维图纸对应特征的标注信息；用户审核二维图纸标注信息是否正确；输出带标注的三维模型和特征标注数据详情。本发明能够实现从二维图纸中自动提取识别标注特征信息生成结构化的表格信息。

Description

2D图纸特征识别方法、系统、设备及介质

技术领域

本发明涉及制造业汽车生产加工技术领域，具体涉及一种2D图纸特征识别方法、系统、设备及介质。

背景技术

随着随着制造业能力的提升，产品复杂度和精度也在不断提高，信息技术对制造业发展的促进作用也日益明显，国内数量众多的中小制造企业还是基于二维工程图的二维工艺设计阶段，二维工图(.pdf、.jpg、.png文件)中包含大量制造所需工艺特征信息，例如尺寸、文字注释、公差等，是零件生产加工中重要的依据。而二维工图识别主要依靠经验丰富的工艺工程师识别，无法有效信息化，应用人工智能技术，实现二维工图的智能识别，将二维工图的标注信息自动提取、转化、分析应用到自动化柔性生产线，不仅解决工艺师人力稀缺问题，同时扫除国内中小制造企业数字化进程的障碍。

目前行业内3D图纸特征识别比较成熟，可以通过NX加自定义开发组件实现特定场景下孔、面、槽三个类型图纸特征识别，正常的AutoCAD、NX里面不包含一些特定的几个形状的特征组合需要进行二次开发，整个过程中二次开发的能力对效果和效率影响比较大。目前市场也有出现二维图纸的自动识别案例，但识别方法主要依靠逻辑规则方式实现，导致仅能识别固定的图纸模板，对于新增加的模板类型或者标注符号未定义的图纸无法有效识别，二维图纸对应零件空间信息和有阴影遮挡和特殊背景时也难以有效区分，大部分识别系统未人为交互的功能，识别模型本身没有根据人工的交互进行智能反馈自学习功能，导致二维图纸识别稳定性低，鲁棒性差。

公开号为CN210598815U的实用新型专利，公开了一种基于图纸识别和智能定位的自动钻孔机，该机包括支撑在两侧履带式纵向同步行进机构上的矩形平台，平台的另外两侧分别安装具有升起位置和降下位置的履带式横向同步行进机构，升起位置的横向同步行进机构高于纵向同步行进机构，降下位置的横向同步行进机构低于纵向同步行进机构；平台安装具有升收和下撑位置的支腿,升收位置的支腿底部高于纵向同步行进机构底部，下撑位置的支腿底部低于下降位置的横向同步行进机构底部；平台的中部安置可升降的钻孔机。该实用新型通过二维图纸和三维模型结合定位来辅助识别二维图纸，仅限于图纸标注信息是数字情况，不能保证在标注信息是特殊符号和未设过的标注类型时的识别率，模型没有自学习能力，稳定性差，适应范围有限。

发明内容

针对现有技术中的缺陷，本发明提供一种2D图纸特征识别方法、系统、设备及介质。

根据本发明提供的一种2D图纸特征识别方法、系统、设备及介质，所述方案如下：

第一方面，提供了一种2D图纸特征识别方法，所述方法包括：

步骤S1：输入二维图纸和对应的三维模型；

步骤S2：从三维模型自动提取出所有标注的特征信息；

步骤S3：通过构建自有AI深度学习算法模型和图像算法从二维图纸自动提取所有标注信息，标注信息包括标注数据，标注箭头和标注线在内的相关信息；

步骤S4：通过投影和数学计算，获取二维图纸和三维模型的映射关系；

步骤S5：整合特征信息、标注信息、二维图纸和三维模型映射关系，由系统自动确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表；

步骤S6：展示三维图纸对应特征的标注信息；

步骤S7：用户审核二维图纸标注信息是否正确；

步骤S8：输出带标注的三维模型和特征标注数据详情；

所述步骤S3具体包括：

步骤S3.1：收集多张汽车加工工艺图纸，将图纸按照8：2分为训练集和测试集；

步骤S3.2：基于paddle框架，构建基于二维图纸标注信息识别的深度学习算法，所述深度学习算法提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度及其位置；

步骤S3.3：基于步骤S3.1中收集到的二维图片信息和标注符号信息，训练神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标；

步骤S3.4：基于图像算法，基于标准的二维图纸箭头形状和标注线形状匹配识别二维图纸图片中所有的箭头和标注线及其位置；

所述步骤S4具体包括：

步骤S4.1：对于二维图纸的每一个面，提取出二维图纸中的外接矩形，裁剪得到只有图纸信息的面用于匹配；

步骤S4.2：通过图像算法，识别二维图纸上的标注箭头和标注线，并与标注箭头进行匹配；

步骤S4.3：对于三维图纸，通过特征提取从.STEP文件读取出一系列特征，通过对所述特征的位置做聚类，预测潜在的二维截面的位置，通过投影和哈希算法将潜在的二维截面与图纸进行匹配，依次检测识别的所述标注线的末端是否临近所述特征，做出相应的匹配。

优选地，所述步骤S7包括：

步骤S7.1：如果用户核验二维图纸信息对应到三维特征映射准确，二维图纸标注信息无误，则进入下一步；

步骤S7.2：如果用户核验二维图纸提取标注信息不准确，或者对应到三维特征映射错误，则通过交互界面，引导用户手工修正错误的标注或匹配信息；此时用户的操作信息将保存，作为正向案例的数据源增加到已构建强化学习的深度学习模型。

优选地，所述步骤S7.2中修正错误的标注或匹配信息具体包括：二维图纸自有图像识别算法模型识别和图像算法识别标注信息结果、添加漏识别的特征、删除误匹配的特征联系。

优选地，所述步骤S7.2中还包括：通过对已匹配上的特征进行推理，程序能够在交互界面智能提醒用户当前仍有哪些特征未匹配；同时手工修正的标记信息将传到二维到三维信息对应的算法模型，作为自学习算法模型的学习数据。

第二方面，提供了一种2D图纸特征识别系统，所述系统包括：

模块M1：输入二维图纸和对应的三维模型；

模块M2：从三维模型自动提取出所有相关的特征信息；

模块M3：通过构建自有AI深度学习算法模型和图像算法从二维图纸自动提取所有标注信息，标注信息包括标注数据，标注箭头和标注线在内的相关信息；

模块M4：通过投影和数学计算，获取二维图纸和三维模型的映射关系；

模块M5：整合特征信息、标注信息、二维图纸和三维模型映射关系，由系统自动确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表；

模块M6：展示三维图纸对应特征的标注信息；

模块M7：用户审核二维图纸标注信息是否正确；

模块M8：输出带标注的三维模型和特征标注数据详情；

所述模块M3具体包括：

模块M3.1：收集多张汽车加工工艺图纸，将图纸按照8：2分为训练集和测试集；

模块M3.2：基于paddle框架，构建基于二维图纸标注信息识别的深度学习算法，所述深度学习算法提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度及其位置；

模块M3.3：基于模块M3.1中收集到的二维图片信息和标注符号信息，训练神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标；

模块M3.4：基于图像算法，基于标准的二维图纸箭头形状和标注线形状匹配识别二维图纸图片中所有的箭头和标注线及其位置；

所述模块M4具体包括：

模块M4.1：对于二维图纸的每一个面，提取出二维图纸中的外接矩形，裁剪得到只有图纸信息的面用于匹配；

模块M4.2：通过图像算法，识别二维图纸上的标注箭头和标注线，并与标注箭头进行匹配；

模块M4.3：对于三维图纸，通过特征提取从.STEP文件读取出一系列特征，通过对所述特征的位置做聚类，预测潜在的二维截面的位置，通过投影和哈希算法将潜在的二维截面与图纸进行匹配，依次检测识别的所述标注线的末端是否临近所述特征，做出相应的匹配。

优选地，所述模块M7包括：

模块M7.1：如果用户核验二维图纸信息对应到三维特征映射准确，二维图纸标注信息无误，则进入下一步；

模块M7.2：如果用户核验二维图纸提取标注信息不准确，或者对应到三维特征映射错误，则通过交互界面，引导用户手工修正错误的标注或匹配信息，此时用户的操作信息将保存，作为正向案例的数据源增加到已构建强化学习的深度学习模型。

优选地，所述模块M7.2中修正错误的标注或匹配信息具体包括：二维图纸自有图像识别算法模型识别和图像算法识别标注信息结果、添加漏识别的特征、删除误匹配的特征联系。

优选地，所述模块M7.2中还包括：通过对已匹配上的特征进行推理，程序能够在交互界面智能提醒用户当前仍有哪些特征未匹配；同时手工修正的标记信息将传到二维到三维信息对应的算法模型，作为自学习算法模型的学习数据。

第三方面，提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现所述方法中的步骤。

第四方面，提供了一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现所述方法中的步骤。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过计算机视觉技术和图形处理算法，采用二维图纸和三维模型结合方式实现二维零件图纸精准识别，解决了现实场景中图纸信息识别人力资源的限制和繁琐操作，同时解决了单纯二维图纸因确实空间信息导致的识别偏差问题，达到了减少人力限制；

2、同时本发明构建了一套拥有自学习能力的模型，可随使用中人工调整信息不断提升算法的提升特征识别稳定性和准确度，达到了降本增效的效果。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为识别流程图；

图2为不同角度二维图纸；

图3为不同角度三维模型；

图4为标注信息识别样例二维图纸；

图5为AI算法模型识别的二维图纸标注数据结果；

图6为二维图纸的标注线提取结果；

图7为二维图纸的标注箭头提取结果；

图8为二维图纸标注信息提取结果；

图9为二维图纸和提取标注信息结果对应列表。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

本发明实施例提供了一种2D图纸特征识别方法，通过二维零件和三维模型结合，实现从二维图纸中自动提取识别标注特征信息(包括尺寸、文字注释、型位公差、表面粗糙度、符号、箭头、等)生成结构化的表格信息。参照图1所示，该方法具体包括：

步骤1：输入二维图纸和对应的三维模型，参照图2和图3所示，三维模型展示所有模型相关的特征信息(孔、槽、面等)，包括其具体位置、加工信息(例如孔的阶数、每一阶的特征等)，二维图纸展示标注信息，主要标注包含信息包括尺寸、文字注释、型位公差、表面粗糙度及符号等。

步骤2：系统从三维模型自动提取出所有相关的特征信息(孔、槽、面等)，包括其具体位置、加工信息(例如孔的阶数、每一阶的特征等)。

三维模型提取特征识别的基本原理是由零件实体抽取几何和制造信息，然后根据制造特征类组合比较，根据提取和识别的信息将特征类实例化。本实例中提取技术涉及的特征识别的方式主要基于边界的特征识别方法，可分为以下三种，目前根据不同特征类型匹配使用不同的方法：

(一)规则特征识别，定义规则通过规则确定特征的边界，然后基于这些规则进行特征识别。例如定义孔的特征规则：开口面开始，确定孔轴共面，孔的所有面顺序相连，最后判断是否终止于有效孔地面。此种方法是通过比较模型边界事实和特征规则的关系，对零件特征进行识别。

(二)图的特征识别，该类方法采用以面为结点，以面面之间的连接关系为弧线，来表示零件的边界的图模型，这种面邻接图与一般面边图的区别在于用弧线的属性来表示面的凸凹性，从而使边界模式的图信息更为完整，基于图的特征识别方法的特征搜索策略是子图匹配，即通过将零件边界图库里面的图例与实际模型中的的图的特征进行比较匹配，因此如何提高图的搜索算法效率，分类匹配取代对所有子图进行匹配是基于图的特征识别方法的关键问题之一。

(三)痕迹的特征识别，任何一个特征实例在零件CAD模型中都必然留下了特征痕迹。在特征发生相交后，原有的特征边界消失，取而代之的是新的特征约束，因此基于这些改变痕迹可以逐步识别出零件特征。在当前实体边界表示技术是成熟的条件下，具体的特征痕迹可以是几何拓扑信息，也可以是设计特征其它CAD信息，目前特征痕迹主要是依据拓扑信息和设计特征来确定的。

步骤3：通过自训练神经网络算法和图像算法从二维图纸自动提取所有标注信息，标注信息包括标注数据，标注箭头和标注线及其位置信息。

步骤S3.1：收集600张汽车加工工艺图纸，样例见图4，将图纸按照8：2分为训练集和测试集，根据《机械制图国家标准》汇总128种常见机械制图中常见的符号及意义，此符号覆盖了大部分二维图纸的标注符号。

步骤S3.2：基于paddle框架，构建基于二维图纸标注信息识别的深度学习算法，识别算法能够提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度及其在图纸的位置信息，见图5。

具体技术实现如下：

二维图纸检测任务本质是找出标注的数字、文本、符号和对应位置。在技术实现中也面临一些难点，比如：自然场景中的文本具有多样性，文字大小、方向、长度、形状、语言都会有不同。同时、文字重叠或者密度较高，这些都会影响最终文本检测的效果。目前常用的文本检测方法有基于回归以及基于分割的方法。在项目深度学习Paddle框架中，目前选取的技术方案是基于分割的DBNet3方法。

DBNet的工作原理如下图所示。针对基于分割的方法需要使用阈值进行二值化处理而导致后处理耗时的问题，DBNet提出了一种可学习阈值的方法，并巧妙地设计了一个近似于阶跃函数的二值化函数，使得分割网络在训练的时候能端对端的学习文本分割的阈值。自动调节阈值不仅带来精度的提升，同时简化了后处理，提高了文本检测的性能。图4是构建DBNet网络模型。

通过构建以上DBNet模型可以实现二维图纸的标注信息边界框位置信息识别，下一步将标注信息识别得到边界框的中的具体的标注文字和符号内容识别出来，我们采用的是基于CTC的方法。由于文本识别任务的特殊性，输入数据中存在大量的上下文信息，卷积神经网络的卷积核特性使其更关注于局部信息，缺乏长依赖的建模能力，因此仅使用CNN很难挖掘到文本之间的上下文联系。

为了解决这一问题，首先通过使用CRNN(Convolutional Recurrent NeuralNetwork)4，利用卷积网络提取图像特征，并同时引入了双向LSTM(Long Short-TermMemory)用来增强上下文建模。最终将输出的特征序列输入到CTC模块，通过CTC归纳字符间的连接特性，直接解码序列结果,该结构被验证有效，并在本次文本识别任务中表现良好效果。

CTC(Connectionist Temporal Classification)是一种让网络自动学会对齐的好方法，十分适合语音识别和书写识别。对于输入序列X＝[x1,x2,…,xT]，我们想要得到对应的输出序列Y＝[y1,y2,…,yU]，我们需要CTC有效完成两个任务，一个事loss函数的计算，一个事前向的推理：LossFunction：对于一个给定的输入，会训练一个模型，让它最大化正确输出序列的概率；也就是说，我们要计算条件概率p(Y∣X)，因为要做反向传播，函数p(Y∣X)是可微的。Inference：现在已经训练好了模型，对于给定的X，要用它推理出Y，这意味要求出：Y*＝argmaxY(Y|X)这样CTC可以不花费太多精力求到一个近似的解。

步骤S3.3：基于S3.1步骤中收集到的二维图片信息和标注符号信息，训练以上神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标，目前此算法模型准确率已经达到90％以上。

步骤S3.4：基于图像算法，基于标准的二维图纸箭头形状和标注线形状匹配识别二维图纸图片中所有的箭头和标注线及其位置，见图6、图7。

步骤4：通过投影和数学计算，获取二维图纸和三维模型的映射关系。

该步骤具体如下：

4.1：对于二维图纸的每一个面，我们用算法提取出图纸中的外接矩形，裁剪得到只有图纸信息的面用于匹配。

4.2：另外通过图像算法，识别二维图纸上的箭头和标注线，并与箭头进行匹配。箭头识别主要采用归一化相关性(归一化相关性，normalization cross-correlation，因此简称NCC)和归一化平方差匹配的算法，将模板区域进行旋转并在输入图像上进行区域滑动，通过互相关匹配算法计算其与输入图像的相似度，获取箭头在图中所在位置，通过箭头距离与自有图像识别算法模型标注信息的位置和内容对应，确定标注自有图像识别算法模型与标注箭头的信息对应，提取箭头尖端指向垂直位置信息，采用图像学方法进行迭代，查找标注线在图纸中的延展范围，进行位置框选。以下是归一化相关性的算法解释如下。

归一化平方差匹配计算公式如下所示，这种方法是将平方差方法进行归一化，使得输入结果缩放到了0到1之间，当模板与滑动窗口完全匹配时计算数值为0，两者匹配度越低计算数值越大，其中T(x′，y′)表示模板图像，I(x，y)表示原图像，切模板图像的宽为w高为h，用R表示匹配结果。

具体的箭头图像匹配流程如下：

1、在待匹配图像中选取与模板尺寸大小相同的滑动窗口。

2、比较滑动窗口中每个像素与模板中对应像素灰度值的关系，，计算模板与滑动窗口的相似性。

3、将滑动窗口从左上角开始先向右滑动，滑动到最右边后向下滑动一行，从最左侧重新开始滑动，记录每一次移动后计算的模板与滑动窗口的相似性。

4、比较所有位置的相似性，选择相似性最大的滑动窗口作为备选匹配结果。

NCC，顾名思义，就是用于归一化待匹配目标之间的相关程度，，比较的是原始像素通过在待匹配像素位置p(px，py)构建3*3邻域匹配窗口，与目标像素。

p'(px+d,py)同样构建邻域匹配窗口的方式建立目标函数来对匹配窗口进行度量相关性，通过构建相关窗口的前提是两帧图像之间已经校正到水平位置，即光心处于同一水平线上，此时极线是水平的，否则匹配过程只能在倾斜的极线方向上完成，这将消耗更多的计算资源。相关程度的度量方式由如下式定义：

其中，NCC(p,d)得到的值得范围将在[-1,1]之间，Wp为上面提到的匹配窗口，I1(x,y)为原始图像的像素值，I1(px,py)为原始窗口内像素的均值。(x+d,y)为原始图像在目标图像上对应点位置在x xx方向上偏移d dd后的像素值。I2(px+d,py)为目标图像匹配窗口像素均值，若N C C＝-1NCC＝-1NCC＝-1，则表示两个匹配窗口完全不相关，相反，若N CC＝1NCC＝1NCC＝1时，表示两个匹配窗口相关程度非常高。

具体的箭头图像匹配流程如下：

1、采集图像：通过标定好的双目相机采集图像，当然也可以用两个单目相机来组合成双目相机。

2、极线校正：校正的目的是使两帧图像极线处于水平方向，或使两帧图像的光心处于同一水平线上。通过校正极线可以方便后续的NCC操作。

3、由标定得到的内参中畸变信息中可以对图像去除畸变。

4、通过校正函数校正以后得到相机的矫正变换R和新的投影矩阵P，接下来是要对左右视图进行去畸变，并得到重映射矩阵。

5、特征匹配：这里便是我们利用NCC做匹配的步骤啦，匹配方法如上所述，右视图中与左视图待测像素同一水平线上相关性最高的即为最优匹配。完成匹配后，我们需要记录其视差d，即待测像素水平方向xl与匹配像素水平方向xr之间的差值d＝x_r-x_l，最终我们可以得到一个与原始图像尺寸相同的视差图D DD。

6、深度恢复：通过上述匹配结果得到的视差图D DD，我们可以很简单的利用相似三角形反推出以左视图为参考系的深度图。

4.3：对于三维图纸，以孔特征为例，使用我们的孔提取程序进行提取。通过特征提取从.STEP文件读取出一系列孔特征，包括它们的外形、具体位置等。通过对这些特征的位置做聚类，可以预测出潜在的二维截面的位置：通过投影和哈希算法即可将潜在的二维截面与图纸进行匹配。在这一步匹配完成后，我们就能将需要匹配的孔的范围缩小为和这个截面相关的那些孔。接下来只需依次检测步骤4.2中提取的标注线的末端是否临近这个孔，就能做出相应的匹配。

步骤5：整合特征信息、标注信息、二维图纸和三维模型映射关系，系统自动确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表。

步骤6：展示三维图纸对应特征的标注信息。

步骤7：用户审核二维图纸标注信息是否正确。

具体地，步骤S7包括：

步骤S7.1：如果用户核验二维图纸信息对应到三维特征映射准确，二维图纸标注信息无误，则进入下一步；

步骤S7.2：如果用户核验二维图纸提取标注信息不准确，或者对应到三维特征映射错误，则通过交互界面，引导用户手工修正错误的标注或匹配信息，具体可以纠正二维图纸自有图像识别算法模型识别标注信息结果、添加漏识别的特征、删除误匹配的特征联系。此时用户的操作信息会被保存，作为正向案例的数据源增加到已构建强化学习的深度学习模型，深度学习模型不会根据用户的纠正信息不断优化提升模型的鲁棒性，使整个二维图纸提取标注信息的结果更加精准，实现智能的自学习能力。

通过对已匹配上的特征进行推理，程序也可以在这个界面智能提醒用户当前仍有哪些特征未匹配。一个最简单的情况：某孔有三阶，其中只有前两阶的标注信息匹配上了，此时就可以提示第三阶信息缺失。同时手工修正的标记信息会传到二维到三维信息对应的算法模型，作为自学习算法模型的学习数据。

步骤8：输出带标注的三维模型和特征标注数据详情。

本发明还提供了一种2D图纸特征识别系统，该系统具体包括：

模块M1：输入二维图纸和对应的三维模型。

模块M2：系统从三维模型自动提取出所有相关的特征信息(孔、槽、面等)，包括其具体位置、加工信息(例如孔的阶数、每一阶的特征等)。

模块M3：系统通过自有图像识别算法模型技术从二维图纸自动提取所有标注信息，主要包含信息包括尺寸、文字注释、型位公差、表面粗糙度及符号等，通过图像算法，识别二维图纸上的箭头和标注线。

模块M4：通过投影和数学计算，获取二维图纸和三维模型的映射关系。

模块M5：整合特征信息、标注信息、二维图纸和三维模型映射关系，由系统自动确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表。

模块M6：展示三维图纸对应特征的标注信息。

模块M7：用户审核二维图纸标注信息是否正确。

具体地，模块M7包括：

模块M7.1：如果用户核验二维图纸信息对应到三维特征映射准确，二维图纸标注信息无误，则进入下一步；

模块M7.2：如果用户核验二维图纸提取标注信息不准确，或者对应到三维特征映射错误，则通过交互界面，引导用户手工修正错误的标注或匹配信息，具体可以纠正二维图纸自有图像识别算法模型识别标注信息结果、添加漏识别的特征、删除误匹配的特征联系。

通过对已匹配上的特征进行推理，程序也可以在这个界面智能提醒用户当前仍有哪些特征未匹配。一个最简单的情况：某孔有三阶，其中只有前两阶的标注信息匹配上了，此时就可以提示第三阶信息缺失。同时手工修正的标记信息会传到二维到三维信息对应的算法模型，作为自学习算法模型的学习数据。

模块M8：输出带标注的三维模型和特征标注数据详情。

本发明实施例提供的一种2D图纸特征识别方法、系统、设备及介质，通过计算机视觉技术和图形处理算法，采用二维图纸和三维模型结合方式实现二维零件图纸精准识别，解决了现实场景中图纸信息识别人力资源的限制和繁琐操作，同时解决了单纯二维图纸因确实空间信息导致的识别偏差问题，达到了减少人力限制，同时构建一套拥有自学习能力的模型，可随使用中人工调整信息不断提升算法的提升特征识别稳定性和准确度，达到了降本增效的效果。

在整个流程中，用户都不需要关注具体的孔、特征是怎么处理的，主要的人力花费在对的识别结果进行修正，以下是修正时间和标注时间的占比。

原先的流程复杂度：O(N×M)→假如有N个特征，每个特征需要耗费M时间去标记、处理。

现在的流程复杂度：O(N₀×m₀)，N₀＜N，m₀＜＜M→在检查流程中，仅有一部分特征需要花费人力去修正，工作量相较原先减少很多；并且需要修正的也仅仅是一些快速的中间结果，不用从头标注，耗时也大大减少。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种2D图纸特征识别方法，其特征在于，包括：

步骤S1：输入二维图纸和对应的三维模型；

步骤S2：从三维模型自动提取出所有标注的特征信息；

步骤S3：通过构建自有AI深度学习算法模型和图像算法从二维图纸自动提取所有标注信息，标注信息包括标注数据，标注箭头和标注线在内的相关信息；

步骤S4：通过投影和数学计算，获取二维图纸和三维模型的映射关系；

步骤S5：整合特征信息、标注信息、二维图纸和三维模型映射关系，由系统自动确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表；

步骤S6：展示三维图纸对应特征的标注信息；

步骤S7：用户审核二维图纸标注信息是否正确；

步骤S8：输出带标注的三维模型和特征标注数据详情；

所述步骤S3具体包括：

步骤S3.1：收集多张汽车加工工艺图纸，将图纸按照8：2分为训练集和测试集；

步骤S3.2：基于paddle框架，构建基于二维图纸标注信息识别的深度学习算法，所述深度学习算法提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度及其位置；

步骤S3.3：基于步骤S3.1中收集到的二维图片信息和标注符号信息，训练神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标；

步骤S3.4：基于图像算法，基于标准的二维图纸箭头形状和标注线形状匹配识别二维图纸图片中所有的箭头和标注线及其位置；

所述步骤S4具体包括：

步骤S4.1：对于二维图纸的每一个面，提取出二维图纸中的外接矩形，裁剪得到只有图纸信息的面用于匹配；

步骤S4.2：通过图像算法，识别二维图纸上的标注箭头和标注线，并与标注箭头进行匹配；

步骤S4.3：对于三维图纸，通过特征提取从.STEP文件读取出一系列特征，通过对所述特征的位置做聚类，预测潜在的二维截面的位置，通过投影和哈希算法将潜在的二维截面与图纸进行匹配，依次检测识别的所述标注线的末端是否临近所述特征，做出相应的匹配，能够根绝标注线和箭头的指定方向来判断标注信息对应的标注特征。

2.根据权利要求1所述的2D图纸特征识别方法，其特征在于，所述步骤S7包括：

步骤S7.1：如果用户核验二维图纸信息对应到三维特征映射准确，二维图纸标注信息无误，则进入下一步；

步骤S7.2：如果用户核验二维图纸提取标注信息不准确，或者对应到三维特征映射错误，则通过交互界面，引导用户手工修正错误的标注或匹配信息；此时用户的操作信息将保存，作为正向案例的数据源增加到已构建强化学习的深度学习模型。

3.根据权利要求2所述的2D图纸特征识别方法，其特征在于，所述步骤S7.2中修正错误的标注或匹配信息具体包括：二维图纸自有图像识别算法模型和图像算法识别标注信息结果、添加漏识别的特征、删除误匹配的特征联系。

4.根据权利要求2所述的2D图纸特征识别方法，其特征在于，所述步骤S7.2中还包括：通过对已匹配上的特征进行推理，程序能够在交互界面智能提醒用户当前仍有哪些特征未匹配；同时手工修正的标记信息将传到二维到三维信息对应的算法模型，作为自学习算法模型的学习数据。

5.一种2D图纸特征识别系统，其特征在于，包括：

模块M1：输入二维图纸和对应的三维模型；

模块M2：从三维模型自动提取出所有相关的特征信息；

模块M3：通过构建自有AI深度学习算法模型和图像算法从二维图纸自动提取所有标注信息，标注信息包括标注数据，标注箭头和标注线在内的相关信息；

模块M4：通过投影和数学计算，获取二维图纸和三维模型的映射关系；

模块M5：整合特征信息、标注信息、二维图纸和三维模型映射关系，由系统自动确定提取的标注信息对应三维图纸的哪一部分特征，将二维图纸识别的标注信息对应到三维特征列表；

模块M6：展示三维图纸对应特征的标注信息；

模块M7：用户审核二维图纸标注信息是否正确；

模块M8：输出带标注的三维模型和特征标注数据详情；

所述模块M3具体包括：

模块M3.1：收集多张汽车加工工艺图纸，将图纸按照8：2分为训练集和测试集；

模块M3.2：基于paddle框架，构建基于二维图纸标注信息识别的深度学习算法，所述深度学习算法提取二维图纸图片中的尺寸、文字注释、型位公差、表面粗糙度及其位置；

模块M3.3：基于模块M3.1中收集到的二维图片信息和标注符号信息，训练神经网络模型，以准确率作为主要评价指标，召回率作为辅助调优指标；

模块M3.4：基于图像算法，基于标准的二维图纸箭头形状和标注线形状匹配识别二维图纸图片中所有的箭头和标注线及其位置；

所述模块M4具体包括：

模块M4.1：对于二维图纸的每一个面，提取出二维图纸中的外接矩形，裁剪得到只有图纸信息的面用于匹配；

模块M4.2：通过图像算法，识别二维图纸上的标注箭头和标注线，并与标注箭头进行匹配；

模块M4.3：对于三维图纸，通过特征提取从.STEP文件读取出一系列特征，通过对所述特征的位置做聚类，预测潜在的二维截面的位置，通过投影和哈希算法将潜在的二维截面与图纸进行匹配，依次检测识别的所述标注线的末端是否临近所述特征，做出相应的匹配。

6.根据权利要求5所述的2D图纸特征识别系统，其特征在于，所述模块M7包括：

模块M7.1：如果用户核验二维图纸信息对应到三维特征映射准确，二维图纸标注信息无误，则进入下一步；

模块M7.2：如果用户核验二维图纸提取标注信息不准确，或者对应到三维特征映射错误，则通过交互界面，引导用户手工修正错误的标注或匹配信息，此时用户的操作信息将保存，作为正向案例的数据源增加到已构建强化学习的深度学习模型。

7.根据权利要求6所述的2D图纸特征识别系统，其特征在于，所述模块M7.2中修正错误的标注或匹配信息具体包括：二维图纸自有图像识别算法模型识别和图像算法识别标注信息结果、添加漏识别的特征、删除误匹配的特征联系。

8.根据权利要求6所述的2D图纸特征识别系统，其特征在于，所述模块M7.2中还包括：通过对已匹配上的特征进行推理，程序能够在交互界面智能提醒用户当前仍有哪些特征未匹配；同时手工修正的标记信息将传到二维到三维信息对应的算法模型，作为自学习算法模型的学习数据。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至4中任一项所述的方法的步骤。

10.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。

Images