CN115269633A - 一种基于cad图纸智能查询商品的方法 - Google Patents

Abstract

本发明公开了一种基于CAD图纸智能查询商品的方法，通过对导入的图纸进行分类,利用基于卷积神经网络自动分辨出图纸中的各类元件，按照分类颗粒度分级匹配商品库;对商品的元件和文字信息分别进行识别;根据每个元件的特征及其对应的明细栏、标注信息去和商品库中的商品进行匹配,生成搜索列表；通过智能识别和匹配的方法对CAD图纸进行处理和分析，可在不知道设备确切型号和标准的时候进行搜索,通过自定义标注查询相似元件，扩大搜素范围获得较准确的搜索结果,增强了适用性。

Description

一种基于CAD图纸智能查询商品的方法

技术领域

本发明涉及CAD技术领域，具体涉及一种基于CAD图纸智能查询商品的方法。

背景技术

CAD技术就是一种非常杰出的计算机技术，21世纪以来,装备制造行业已经普遍使用CAD软件进行工程实践,这使传统的产品设计方法与生产模式发生了深刻的变化,为社会的经济发展带来了巨大的经济效益。然而，随着CAD图纸文件的越积越多,工程设计领域需要一种能够准确提取CAD图纸内容的方法,以便于企业快速完成查询、报价、设计、以及生产过程的材料统计,进而提升企业的生产效率。提取CAD图纸的内容通常包括标题、明细、图纸图像、元件标注、BOM等等。

BOM（Bill of Material）物料清单，也就是以数据格式来描述产品结构的文件，是计算机可以识别的产品结构数据文件。BOM使系统识别产品结构，也是联系与沟通企业各项业务的纽带。BOM是详细记录一个项目所用到的所有下阶材料及相关属性，即母件与所有子件的从属关系、单位用量及其他属性.在有些系统称为材料表或配方料表。BOM是接收客户订单、选择装配、计算累计提前期，编制生产和采购计划、配套领料、跟踪物流，追溯任务、计算成本、改变成本设计不可缺少的重要文件，上述工作涉及到企业的销售、计划、生产、供应、成本、设计、工艺等部门。因此，也有这种说法，BOM不仅是一种技术文件，还是一种管理文件，是联系与沟通各部门的纽带，企业各个部门都要用到BOM表。工程图纸的BOM表主要包括一些基本资料比如工程项目、图号、设备（物料）名称、型号规格、材质、数量、重量、备注等。

现目前提取CAD图纸主要是用在电气设备领域，对于电子、机械、土木、船舶和汽车领域，对CAD图纸的识别还有较大的发展空间。目前提取CAD图纸内容的技术还处在简单识别的阶段，仅能针对部分特定种类的物品进行识别，能够实现元件和图纸本身BOM列表的匹配，但是无法提取其具体特征和其他元件进行对照。目前识别图纸的方法基于机器学习，不能区分用于标注图纸上各类元件型号或者尺寸的文字信息，比如不能区分出文本的作用是说明元件的规格型号还是标注主尺寸，也不能区分出某个位置的文本信息是为了标注或说明哪个元件的信息，不能根据识别出的特征信息去库中查找相似的元件，也不能在BOM信息缺失时完成识别。这就存在图纸的分类与查询困难，效率低下的问题。

发明内容

为了解决上述技术问题，本发明提供一种基于CAD图纸智能查询商品的方法。通过对导入的图纸进行分类,利用基于区域的卷积神经网络自动分辨出图纸中的各类设备电气设备、焊装设备、紧固件等，识别的分类颗粒度根据商品数据库中的商品分类分级确定;对于含有上述类别设备的图纸,同样利用卷积神经网络方法对其中的元件和文字信息分别进行识别;根据每个元件的特征及其对应的明细栏、标注信息去和商品库中的商品进行匹配,生成搜索列表。

本发明提供了一种基于CAD图纸智能查询商品的方法，步骤包括：

将图纸自动分类颗粒度，生成分割结果，按类型区分类图纸以便后续操作；

CAD图纸语义分割与元件及文字信息智能识别，分别提取出图像与文字信息方便搜索；

CAD图纸元件与文本信息和商品库进行匹配生成查询列表；

元件与文本信息匹配，生成元件特征清单，形成规范便于查询；

根据特征清单在数据库中查询商品。

进一步，CAD图纸自动分类颗粒度生成分割结果，包括以下步骤：

输入图像；

提取图像特征；

按照颗粒度分类，生成粗糙分割图；

粗糙分割图后期处理；

生成分割结果。

进一步，CAD图纸按照颗粒度分类包括以区域为单位分类和以像素为单位分类。

进一步，以区域为单位分类的图像，CAD图纸语义分割与元件及文字信息智能识别，包括以下步骤：

将原始图像划分为不同目标候选区域；

利用深度神经网络对图像块或图像块中的像素进行标注；

生成分割结果。

进一步，以像素为单位分类的图像，CAD图纸语义分割与元件及文字信息智能识别，包括以下步骤：

利用深度神经网络从图像中提取出图像特征和语义信息；

根据提取出的信息来学习和推理原始图像中像素的类别；

通过端到端训练的方式对每个像素进行分类；

生成分割结果。

进一步，CAD图纸分割出的信息包括标题栏、明细栏、图纸图像、元件标注，作为后续文本识别、元件分类、明细栏与元件匹配等操作的输入。

进一步，CAD图纸元件与商品库进行匹配生成查询列表，按照系统中商品库的商品分类进行分级识别图像内容。

进一步，CAD图纸元件与商品库进行匹配生成查询列表，包括以下步骤：

CAD图纸含有明细表，CAD图纸根据明细表与标注中相同序号的内容与图像匹配；

CAD图纸含有明细表但序号缺失，分别提取图像和文本的全局特征表示，将特征投影到共同空间来完成匹配；

CAD图纸中不含有明细表，直接将元件的识别结果和标注内容填入特征清单。

进一步，在数据库中查询商品时，除了按照特征清单常用项进行查询，还可以忽略设备型号和标准，根据自定义标注进行查询。

本发明的有益效果是：

1.对图纸的内容进行语义分割，可细分出更细节的元件部分方便查询；

2.将元件图像、明细表信息、标注信息进行匹配，得到最完整的元件信息；

3.特征清单表头不限于固定的几项，而是根据训练集、验证集中识别到的信息确定，可随着训练逐步完善，满足了不同场景下的需求；

4.可在不知道设备确切型号和标准的时候进行搜索,通过自定义标注查询相似元件，扩大搜素范围获得较准确的搜索结果,增强了适用性。

上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

图1为智能查询CAD图纸里商品的流程图；

图2为CAD图像颗粒度分割流程图；

图3为CAD图纸语义分割流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的技术方案主要是通过对导入的图纸进行分类,利用基于区域的卷积神经网络自动分辨出图纸中的各类设备电气设备、焊装设备、紧固件等，识别的分类颗粒度根据商品数据库中的商品分类分级确定;对于含有上述类别设备的图纸,同样利用卷积神经网络方法对其中的元件和文字信息分别进行识别;根据每个元件的特征及其对应的明细栏、标注信息去和商品库中的商品进行匹配,生成搜索列表。

如图1所示，将CAD图纸导入系统，通过分类识别分成元件图与装配图，然后进行图纸语义分割，元件类型分级识别、文本信息识别与匹配、关键词检测，最后生成bom清单提供商品库搜索。具体步骤如下：

第一步，利用卷积神经网络对图纸内容进行识别,从候选CAD图纸中找出含有元件的图纸。利用已有带标签的CAD图纸对神经网络模型进行训练,使模型能充分学习每种元件的图像特征;利用训练好的神经网络模型对待分类的CAD图纸进行检测,将含有指定元件的图纸进行归类,对CAD图纸进行自动分类和管理，比如图纸的一些特征信息如是否含有明细栏，是否含有多个元件等，识别出上传的图纸是元件图还是装配图。

如图2所示，输入图像以后，系统会提取出图纸的特征，然后按颗粒度进行分类识别，分类颗粒度根据商品数据库中的商品分类分级确定。按照颗粒度分类有两种方式，分别是以区域为单位和以像素为单位进行分类。

以区域为单位的分类的方式，直接生成候选区域，然后通过分类器进行区域分类，生成粗糙分割图，然后进行后期处理得到分割结果；

以像素为单位的分类方式，通过深度神经网络对图像像素进行检测与分析，生成粗糙分割的结果，再进行后期处理得到最终的分割结果。

第二步，基于深度学习的CAD图纸语义分割与元件及文字信息智能识别。CAD图纸中包含很多元件及其对应的型号文字信息，系统构建两个基于区域的卷积神经网络模型提取出元件及文字信息,利用基于区域的卷积神经网络模型，通过监督学习的方法学习每个CAD图像中的像素信息,对于新的CAD图像,做到准确高效的识别元件与文字信息。

如图3所示，利用基于深度学习的图像语义分割方法处理图纸，可以分为两种类型：

（1）基于区域分类的图像语义分割方法。可使用基于区域分类的图像语义分割方法把传统图像处理算法与深度神经网络（deep neural network，简称DNN）相结合，先将原始图像划分成不同的目标候选区域，得到一系列图像块，再利用DNN对图像块或图像块中的像素进行标注，得到最终分割结果。根据区域生成算法和图像块划分标准的不同，主要分为基于候选区域的方法和基于分割掩膜的方法。

（2）基于像素分类的图像语义分割方法。利用DNN从带有大量标注的图像数据中提取出图像特征和语义信息 ,再根据这些信息来学习、推理原始图像中像素的类别,通过端到端训练的方式对每个像素进行分类,以像素分类的方式达到语义分割的目标。

使用上述方法分割出标题栏、明细栏、图纸图像、元件标注等，作为后续的文本识别、元件分类、明细栏与元件匹配等操作的输入。

第三步，CAD图纸元件与文本信息和商品库进行匹配生成查询列表。

对于元件图，通过语义分割，识别标题栏与元件尺寸等文本信息，然后对识别的信息进行关键词检测，方便后期用关键词在库中进行商品搜索；

对于装配图，将元件及其对应的文字信息与库中的商品进行匹配,将结果以查询列表的形式展示。构建一个卷积神经网络模型,将之前识别出来的元件特征与文字信息和商品库中的商品进行关联,将其对应起来。将匹配的结果转换为查询列表的形式。对元件图象的内容进行目标识别，分级多次进行，如：轴承-带座轴承-轴台型/方法兰型/圆法兰型，分类分级按系统中的商品分类进行，主要使用R-CNN系列模型和YOLO系列模型进行目标识别。使用文本识别算法识别明细栏和文本标注的内容主要使用端到端的OCR(Detection+Recognition)算法模型实现。

第四步，将元件和明细项和标注等文本信息进行匹配，生成元件特征清单。如图1所示，装配图的各类元件分级识别分为包含或者不包含明细表两种情况，其匹配过程如下：

CAD图纸中含有明细表时，以明细栏的序号和标注的序号作为匹配的主要的依据，将具有相同序号的文本行内容和标注所指的图像匹配。如果序号缺失，此处的匹配方法通常是分别提取图像和文本的全局特征表示，然后利用结构化或者典型相关分析的目标函数将它们的特征投影到一个共同空间，使得相似的成对图像文本在空间中的距离接近，即相似性高，来完成匹配。此处实际上是在执行一个图像文本跨膜态检索任务，依据图像文本的相似性去检索与明细栏内容相近的图像，匹配完成的结果填入BOM清单。如存在无法完成匹配的项，则单列一行填入BOM清单。

CAD图纸中不含有明细表时，直接将元件的识别结果和标注内容填入BOM清单。

第五步，根据识别出的BOM清单在数据库中查询商品，生成搜索结果。BOM清单中的表头内容包括很多字段内容，可根据这些特征去查询商品库中的商品。表头内容囊括现有各类图纸中的常用标注项，如材料表序号、材料表名称、设备名称、型号规格、单位、数量、备注、bom明细项等，表头的内容不限于上述说明的常用项，还可以根据训练集、验证集中识别到的信息确定，可随着训练逐步完善，以适应不同工程的需要。

根据元件的特征标注进行搜索，也可在不知道设备确切型号和标准的时候进行搜索，例如识别出图纸中有某个轴台型的带座轴承，材质为不锈钢，轴孔径为30等等，可以忽略轴承的型号和标准，直接通过轴承的特征参数，比如不锈钢，轴孔径30，作为搜索条件直接在数据库搜索相似元件，扩大搜索不同工程中各种相似元件的范围，增强搜索适用性。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种基于CAD图纸智能查询商品的方法，其特征在于，包括以下步骤：

将图纸自动分类颗粒度，生成分割结果，按类型区分类图纸以便后续操作；

CAD图纸语义分割与元件及文字信息智能识别，分别提取出图像与文字信息方便搜索；

CAD图纸元件与文本信息和商品库进行匹配生成查询列表；

元件与文本信息匹配，生成元件特征清单，形成规范便于查询；

根据特征清单在数据库中查询商品。

2.根据权利要求1所述的一种基于CAD图纸智能查询商品的方法，其特征在于，CAD图纸自动分类颗粒度生成分割结果，包括以下步骤：

提取图像特征；

按照颗粒度分类，生成粗糙分割图；

粗糙分割图后期处理；

生成分割结果。

3.根据权利要求2所述的一种基于CAD图纸智能查询商品的方法，其特征在于，按照颗粒度分类包括以区域为单位分类和以像素为单位分类。

4.根据权利要求3所述的一种基于CAD图纸智能查询商品的方法，其特征在于，以区域为单位分类的图像，CAD图纸语义分割与元件及文字信息智能识别，包括以下步骤：

将原始图像划分为不同目标候选区域；

利用深度神经网络对图像块或图像块中的像素进行标注；

生成分割结果。

5.根据权利要求3所述的一种基于CAD图纸智能查询商品的方法，其特征在于，以像素为单位分类的图像，CAD图纸语义分割与元件及文字信息智能识别，包括以下步骤：

利用深度神经网络从图像中提取出图像特征和语义信息；

根据提取出的信息来学习和推理原始图像中像素的类别；

通过端到端训练的方式对每个像素进行分类；

生成分割结果。

6.根据权利要求1所述的一种基于CAD图纸智能查询商品的方法，其特征在于，CAD图纸分割出的信息包括标题栏、明细栏、图纸图像、元件标注。

7.根据权利要求1所述的一种基于CAD图纸智能查询商品的方法，其特征在于，CAD图纸元件与商品库进行匹配生成查询列表，按照系统中商品库的商品分类进行分级识别图像内容。

8.根据权利要求1所述的一种基于CAD图纸智能查询商品的方法，其特征在于，CAD图纸元件与商品库进行匹配生成查询列表，包括以下步骤：

CAD图纸含有明细表，CAD图纸根据明细表与标注中相同序号的内容与图像匹配；

CAD图纸含有明细表但序号缺失，分别提取图像和文本的全局特征表示，将特征投影到共同空间来完成匹配；

CAD图纸中不含有明细表，直接将元件的识别结果和标注内容填入特征清单。

9.根据权利要求1所述的一种基于CAD图纸智能查询商品的方法，其特征在于，在数据库中查询商品，除了按照特征清单常用项进行查询，还可以根据自定义标注查询。

Images