CN117974961A

CN117974961A - 图纸处理装置和方法

Info

Publication number: CN117974961A
Application number: CN202211310437.6A
Authority: CN
Inventors: 丁万凯; 赵威驰; 杨勇
Original assignee: Aptiv Electric System Co ltd
Current assignee: Aptiv Electric System Co ltd
Priority date: 2022-10-25
Filing date: 2022-10-25
Publication date: 2024-05-03

Abstract

提供了一种图纸处理装置和方法。该装置可以包括布局结构化模块，文本识别模块和汇总信息生成模块，布局结构化模块可以被配置成从标准化图纸图像中提取结构化信息，结构化信息指示图纸中多个组件的位置和连接关系。文本识别模块可以被配置成从标准化图纸图像中提取带位置信息的文本。汇总信息生成模块可以被配置成：基于各个组件的位置和文本的位置将文本的至少一部分分别与各个组件中的至少一部分进行匹配；并且基于匹配的文本和组件生成汇总信息。

Description

图纸处理装置和方法

技术领域

本公开涉及图像处理领域，尤其涉及一种对工程图纸的信息进行自动汇总的图纸处理装置和方法。

背景技术

在工业设计与生产制造过程中，常常以无参数图纸作为上下游沟通的主要方式。此类图纸中包含大量文本信息，诸如零部件参数信息和表格信息。以往，技术人员需要通过人工抄录和比对来汇总这些文本信息。对于大型设计图纸，这项作业及其耗费精力，极易造成图纸版本与汇总信息的管理成本上升。而且，由于零件众多，布局紧密，容易造成文本信息的匹配错误，造成汇总信息出错。此外，有些图纸中含有大量表格信息，也需要投入大量的精力进行比对和信息录入工作。

发明内容

本公开的一个方面提供了一种图纸处理装置，包括：布局结构化模块，被配置成从标准化图纸图像中提取结构化信息，所述结构化信息指示图纸中多个组件的位置和连接关系；文本识别模块，被配置成从所述标准化图纸图像中提取带位置信息的文本；以及汇总信息生成模块，被配置成：基于各个组件的位置和文本的位置将文本的至少一部分分别与各个组件中的至少一部分进行匹配；并且基于匹配的文本和组件生成汇总信息。

本公开的另一方面提供了一种图纸处理方法，包括：S1，从标准化图纸图像中提取结构化信息，结构化信息指示图纸中多个组件的位置和连接关系；S2，从标准化图纸图像中提取带位置信息的文本；S3，基于各个组件的位置和文本的位置将文本的至少一部分分别与各个组件中的至少一部分进行匹配；以及S4，基于匹配的文本和组件生成汇总信息。

附图说明

图1示出了无参数图纸1的一个示例；

图2示出图1中由虚线框13所围部分的局部放大图；

图3示出包含各零件的零件信息的示例汇总信息3；

图4示出根据本公开的技术的示例图纸处理装置4的框图；

图5示出根据本公开的技术的示例标准化图纸图像生成模块41的框图；

图6示出根据本公开的技术的示例布局结构化模块42的框图；

图7示出根据本公开的技术的示例布局图像；

图8示出根据本公开的技术的经节点检测后的布局图像；

图9是示出根据本公开的技术的示例零件的形状特征的示意图；

图10是示出由零件检测模块423检测到的零件的示意图；

图11示出根据本公开的技术的卡钉CL131与其零件信息的匹配状态的示意图；

图12图示出根据本公开的技术的另一示例布局结构化模块42’的框图；

图13图示出根据本公开的技术的示例零件表；

图14图示出根据本公开的技术的示例配置表；

图15图示出根据本公开的技术的示例回路表；

图16图示出根据本公开的技术的示例融合的示意图；并且

图17图示出根据本公开的技术的示例图纸处理方法100的流程图。

具体实施方式

在以下描述中，陈述了众多特定细节。然而，应当理解，可在没有这些特定细节的情况下实践本发明的实施例。在其他实例中，未详细示出公知的电路、结构和技术，以免使对本描述的理解。

说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用表明所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例不一定都包括该特定的特征、结构或特性。此外，此类短语不一定是指同一个实施例。此外，当结合实施例描述特定的特征、结构或特性时，认为结合无论是否被明确描述的其他实施例而影响此类特征、结构或特性是在本领域技术人员的知识范围之内的。

出于本公开的目的，短语“A和/或B”意指(A)、(B)或(A和B)。出于本公开的目的，短语“A、B、和/或C”意指(A)、(B)、(C)、(A和B)、(A和C)、(B和C)或(A、B和C)。

本文描述的“无参数图纸”是指仅以图像方式呈现而不带有参数汇总信息的图纸。此类无参数图纸需要通过人工或者本公开描述的机制从图像中提取各类信息来生成满足工程要求的各类汇总信息。

本文描述的“汇总信息”是对原始无参数图纸的文本化描述，可以包括但不限于：各个零件的信息，诸如型号、供应商、编号、各类参数等；反映各零件连接关系的回路表信息，诸如回路的起点、终点、连接方式、连接类型等；反映零件与特定功能的对应关系的配置信息等。

本文描述的“组件”是指原始无参数图纸中的各种图形要素，可以包括：各类零件，诸如连接器、卡钉、焊接点、橡胶件、覆盖物等；表格元素，诸如描述各零件连接关系的回路表、描述特定零件与特定功能的对应关系的配置表。

本文描述的“结构化信息”是通过本公开描述的机制从原始无参数图纸中提取的、指示图纸中各个组件的位置和连接关系的信息。结构化信息包括布局图像和表格信息。布局图像能够用于确定各个零件的位置和连接关系。表格信息能够用于确定各个表格的外框位置和内部网格线的位置。

图1示出了无参数图纸1的一个示例。图2是图1所示的无参数图纸1的局部放大图。图中，为便于说明，用黑色虚线框进行了标注。如图1所示，示例无参数图纸1可以包括布局区域11。可选地，无参数图纸1可以进一步包括表格12a、12b。布局区域11包括各类零件以及描述零件之间连接关系的连线。

图2示出图1中由虚线框13所围部分的局部放大图。图2所示的局部布局区域13包括作为零件的卡钉CL14～CL18、焊接点PSS07以及连接器PS001、PS016。各零件通过由波纹状线段表示的线缆连接。各零件各自具有特定的形状特征。例如，卡钉CL14～CL18具有树形形状特征，焊接点PSS07具有圆形叠加矩形的形状特征。形状特征可以是图形特征，也可以是特定位置的字符或文字，例如线段中心的文字。图中，线缆之间的交点以及线缆的末端(端点)由黑色实心点标识。

除了零件和零件间的线缆以外，布局区域11还可以包括描述各零件的零件信息。这些信息通常位于相应的零件附近。例如，在卡钉CL16附近设置有该卡钉CL16的零件信息“Bundling Clip：EE003768(151-00830)”。在焊接点PSS07附近设置有该焊接点PSS07的零件信息“Splice Tape：EE006666(Certoplast：51703850)”以及表格形式的参数信息。

为了将图纸应用于调试、生产，技术人员需要对无参数图纸1中的信息进行汇总，例如提取其中的零件信息。图3示出包含各零件的零件信息的示例汇总信息3。在图3所示的示例中，每个零件占据一行，每一列示出该零件的不同参数。这些参数与无参数图纸1中对应零件附近的零件信息相对应。

以往，为了获得汇总信息3，技术人员需要以人工抄录的方式汇总数据，因此需要逐块阅读图纸，逐零件地抄录信息。这种方式不仅费时费力，也容易产生遗漏。

文本识别工具能够将提取图像中的文本，但提取出的文本与零件之间不具有对应关系，因此无法对这些文本进行进一步的编排和汇总。

有鉴于此，本公开提供一种图纸处理装置和方法，利用深度学习技术识别图纸中的图形特征，结合计算机视觉处理与文本识别，对图纸中的结构信息和文本信息进行融合，自动生成所需的汇总信息。

图4示出根据本公开的技术的示例图纸处理装置4的框图。图纸处理装置400包括标准化图纸图像生成模块41、布局结构化模块42、文本识别模块43和汇总信息生成模块44。

标准化图纸图像生成模块41对原始输入的无参数图纸的图像进行转换，得到标准化图纸图像。无参数图纸1具有原始尺寸。原始尺寸可能不利于后续的图像处理。例如，无参数图纸1的原始尺寸可能过小，导致其中的零件、例如卡钉CL14～CL18难以被下文描述的布局结构化模块42识别。为此，需要将无参数图纸1缩放到合适大小，以便于后续处理。在一些实施例中，标准化图纸图像生成模块41还可以对无参数图纸1的格式进行转换，例如将PDF、TIF格式转换PNG格式。将经标准化图纸图像生成模块41处理后的图像成为标准化图纸图像。

为了将无参数图纸1的输入图像缩放到合适大小，本实施例以无参数图纸1中已知尺寸的组件(例如零件)作为参考。图5示出根据本公开的技术的示例标准化图纸图像生成模块41的框图。标准化图纸图像生成模块41包括零件检测模块411(本文也称为第一零件检测模块)和图像缩放模块412。

零件检测模块411识别并检测输入图像中的至少一个零件。如上所述，各零件各自具有特定的形状特征。例如，卡钉CL14～CL18具有树形形状特征，焊接点PSS07具有圆形叠加矩形的形状特征。零件检测模块411可以利用经训练的机器学习算法来识别输入图像中的一个或多个零件。

本公开的每一种零件具有相应的最佳识别尺寸。最佳识别尺寸可以是事先确定的。例如，同一型号的卡钉可以具有最佳识别尺寸A₁。类似地，焊接点可以具有最佳识别尺寸A₂。零件检测模块411可以从输入图像中检测到零件的初始检测尺寸A_org。零件的初始检测尺寸A_org可能与最佳识别尺寸不同。例如，零件检测模块411可以检测卡钉CL14～CL18中的一个卡钉CL14，其检测到的初始检测尺寸A_org可能与该类型的卡钉所对应的最佳识别尺寸A₁不同。如果A_org过小，则其他尺寸更小的零件(例如焊接点)可能无法在后续的处理中被检测到。为此，图像缩放模块412可以根据针对该卡钉CL14检测到的初始检测尺寸A_org以及该卡钉CL14所对应的预先确定的最佳识别尺寸A₁来确定针对输入图像的缩放系数。例如可以根据初始检测尺寸A_org与最佳识别尺寸A₁的比率A_org/A₁来确定缩放系数。零件检测模块411可以检测一个具有最佳识别度的零件来计算缩放系数。在一些实施例中，零件检测模块411也可以检测多个零件并由图像缩放模块412基于多个零件各自的初始检测尺寸和最佳识别尺寸来计算缩放系数，提高准确度。

需要注意的是，某一类零件的最佳识别尺寸并非仅考虑该零件的识别度而确定，还需要考虑其他零件与该零件的相对尺寸，使得基于该零件的最佳识别尺寸进行缩放后的图纸图像中的所有零件都具有合适的尺寸以被准确识别。

回到图4，经缩放的图纸图像作为标准化图纸图像被提供给布局结构化模块42，以进行结构化信息提取，从而获得无参数图纸1中多个组件的位置和连接关系。这里的组件可以不限于零件，也可以包括下文阐述的表格元素。

图6示出根据本公开的技术的示例布局结构化模块42的框图。布局结构化模块42可以包括布局分割模块421、节点检测模块422和零件检测模块423(本文也称为第二零件检测模块)。

布局分割模块421用于从标准化图纸图像提取布局图像。图7示出根据本公开的技术的示例布局图像。布局图像指示各个线缆的连接(相交)关系和位置关系。对于图1所示的无参数图纸1，布局图像为波纹状线段所表示的线缆的集合，且具有对应的位置关系。结合下文描述的节点检测模块422和零件检测模块423，布局图像能用于指示各个零件的连接关系和位置关系。

布局图像的提取可以利用卷积神经网络(CNN)模型、深度神经网络(DNN)模型等。通常，适用于本文所公开的示例的机器学习模型/架构将是监督式的。然而，其他示例可以包括利用无监督学习的机器学习模型/架构。在一些示例中，可以使用梯度下降来训练本文公开的ML/AI模型。在一些示例中，用于训练本文公开的ML/AI模型的超参数控制梯度下降的移动平均值的指数衰减率。这样的超参数例如通过以下方式来选择：迭代通过超参数的网格，直到超参数满足和/或以其他方式满足可接受的或预定义的性能值。附加地或替代地，可以使用任何其他ML/AI训练算法。

在图1和图7所示的示例中，布局图像仅包括线段的集合，但应理解，线缆也可以呈曲线状。此外，单个线缆并非必定与其他线段相交，可以存在不与任何其他线缆相交的线缆。

在提取布局图像后，节点检测模块422进一步对布局图像进行节点检测。图8示出根据本公开的技术的经节点检测后的布局图像。待检测的节点可以包括线缆的端点以及线缆之间的交点，如图8中的实心点所示。节点和端点可以具有不同的意义。例如，节点代表两条线缆的相交部分，端点可以代表线缆与另一组件的连接位置，例如图2所示连接器PS001、PS016。节点检测可以利用机器学习模型(例如，CNN、DNN等)。

零件检测模块423检测标准化图纸图像中的一个或多个零件的位置。如上文所述，每一种零件具有预先确定的形状特征。零件检测模块423可以利用机器学习模型检测这些零件。

图9是示出根据本公开的技术的示例零件的形状特征的示意图。图10是示出由零件检测模块423检测到的零件的示意图，对应于图2所示的局部布局区域13。如图9所示，示出了三种类型的零件，包括焊接点、卡钉和橡胶件。三种零件可以位于无参数图纸1中的波纹状线缆上(如图所示)或附近。焊接点可以具有圆形中叠加矩形的形状特征，卡钉可以具有树状形状特征，橡胶件可以具有U形缺口的形状特征。依据这些特定形状特征，可以利用机器学习模型从图像中识别出这些零件，如图10中的矩形框所示。应理解，每种零件的形状特征不限于本实施例所示，可以根据实际情况任意变更。并且，一种零件不限于仅具有一种形状特征，也可以是多个形状特征的结合。此外，除了图9所示的三种零件，零件检测模块423还可以以同样的方式检测到图2所示的连接器PS001、PS016。

在识别出标准化图纸图像中的各个零件后，即可确定这些零件的位置。

回到图6，节点检测模块422将带节点的布局图像提供给汇总信息生成模块44，并且零件检测模块423将检测到的标准化图纸图像中各个零件的位置提供给汇总信息生成模块44。

另一方面，文本识别模块43对标准化图纸图像中的文本信息进行提取。文本的识别例如可以利用OCR(文字识别)技术。在图2所示的示例中，所识别的文本包括零件信息131内的文本以及表格132内的文本。所识别的文本包含位置信息。文本识别模块43将包含位置信息的文本提供给汇总信息生成模块44。

通常，某一零件的零件信息在图纸上位于该零件附近。例如在图2中，卡钉CL16的零件信息131在该卡钉CL16的图像下方。焊接点PSS07的零件信息133在该焊接点PSS07的右上方。由于布局结构化模块42提供的结构化信息包含图纸中多个组件(例如零件)的位置和连接关系，因此汇总信息生成模块44可以通过位置信息将各个组件与其对应的文本相匹配。例如，如图2所示，汇总信息生成模块44可以基于来自文本识别模块43的零件信息131内的文本的位置以及来自布局结构化模块42的卡钉CL16的位置将该卡钉CL16与其对应的文本“CL16”以及“Bundling Clip：EE003768(151-00830)”相匹配。

图11示出根据本公开的技术的卡钉CL131与其零件信息的匹配状态的示意图。如图11所示，针对所图示的图纸区域，布局结构化模块42的零件检测模块423可以检测到具有树形特征的图案的卡钉CL131。针对同一区域，文本识别模块43可以识别出其中的文本，如图11中细实线框所示。然而，所识别出的文本并非都与卡钉CL131相关联。布局结构化模块42需要确定用来与卡钉CL131相匹配的文本。在示例实施例中，布局结构化模块42可以先确定卡钉CL131的位置(坐标)并将距离卡钉CL131一定范围内的文本1310与卡钉CL131相匹配，如图中粗实线框所示。由此，可以得到与卡钉CL131对应的文本信息“Tree Clip：EE002366”、“(157-00128)”、“CL131”。然后，汇总信息生成模块44可以利用已知的文本处理技术(诸如语义识别、文本提取等)从匹配的文本中提取出所需的零件信息，如图11中右侧所示。

位置匹配规则可以根据需要调整。针对不同类型的零件，可以采用不同的位置匹配规则。在一些实施例中，还可以根据图纸绘制规则优化位置匹配规则。例如，一些图纸绘制规则要求将文本标注在对应零件的图案的重心一侧。例如图11中的卡钉CL131，其树状图案的重心在线缆上方。此时，可以将匹配区域上移，以使卡钉CL131上方的区域具有更大的匹配范围。

在一些实施例中，可以将已经匹配的文本从带匹配的文本中去除，防止同一文本匹配到多个零件。

汇总信息生成模块44对文本的匹配可以按照一定的顺序执行。例如，可以按照从左至右、从上至下的顺序，对零件逐个进行文本匹配。

作为匹配的结果，汇总信息生成模块44可以生成汇总信息。例如，对于卡钉CL16，汇总信息生成模块44可以将对应的文本信息作为一条记录添加到图3所示的汇总信息3中，如第5行所示。汇总信息3可以不止一个，可以是多个信息集合，其各自具有不同的信息布置，包括内容和形式。汇总信息3的布置不限于图3所示的表格形式，可以根据需要采用其他布置。

在一些实施例中，汇总信息3可以进一步反应零件之间的连接关系，即，可以将两个或更多个零件所对应的文本关联起来作为一条记录。汇总信息3可以基于参考图6-图8描述的布局图像所指示的连接关系来将两个或更多个零件关联起来。例如，可以根据连接关系将图2所示的焊接点PSS07与连接器PS016关联起来，将其视为一个回路。可以针对该回路生成一条汇总信息记录，以包含焊接点PSS07和连接器PS016各自对应的文本信息。还可以利用这种对应关系对文本信息进行进一步融合，以生成新的融合信息，这将在下文阐述。

通过对各个零件和文本信息进行匹配，汇总信息生成模块44可以生成汇总信息3。以往，该过程需要手动完成。通过采用本公开的技术，能够自动生成无参数图纸的汇总信息。

如上文所述，无参数图纸1中可以包含表格元素，例如图1中所示的表格12a、12b、图2所示的表格132等。文本识别模块43识别出的文本可以包括表格外的文本，诸如零件的零件信息，还可以包括表格内的文本。表格内的文本信息可以具有特定含义。该情况下，在汇总信息时，需要对表格内的文本进行单独处理。

图12图示出根据本公开的技术的另一示例布局结构化模块42’的框图。本实施例的布局结构化模块42’与图6所示的布局结构化模块42相比还包括表格检测模块424。表格检测模块424包括外框检测模块424a和网格线检测模块424b。表格检测模块424用于确定无参数图纸1中表格元素的位置。表格元素的位置包括表格整体的位置以及表格内单元格的位置。

外框检测模块424a用于通过确定外框位置来确定对应表格整体的位置。在示例实施例中，外框检测模块424a可以确定对应表格的左上端和右下端的位置坐标。基于矩形表格的假设，可以据此确定该表格四个端点的坐标，从而确定表格的位置。

网格线检测模块424b可以利用机器学习模型(例如，CNN、DNN等)对表格进行分割，得到该表格中每一个网格的网格线的位置。在示例实施例中，网格线检测模块424b可以输出表格内的横线和竖线坐标列表。

本实施例中，无参数图纸1可以包括多种表格元素。表格的一个示例可以是描述对应零件参数的零件表。表格的另一示例可以是描述一个或多个零件与特定功能的对应关系的配置表。表格的又一示例可以是描述零件间连接关系的回路表。图13图示出根据本公开的技术的示例零件表。该零件表可以描述对应零件、即连接器PS016的详细参数，诸如各个端口的信息。图14图示出根据本公开的技术的示例配置表，对应于图1中的表格12a。该配置表可以描述特定零件与特定功能的对应关系。图15图示出根据本公开的技术的示例回路表，对应于图1中的表格12b的一部分。该回路表可以描述由两个零件组成的回路的信息。

表格内的文本可以各自分开汇总。在一些实施例中，汇总信息生成模块44可以将不同表格的信息进行融合来生成汇总信息3。例如，可以将不同表格内的一部分或全部信息进行融合来生成汇总信息3。

在一些实施例中，可以将表格信息与其他文本(诸如零件信息)进行融合来生成汇总信息3。图16图示出根据本公开的技术的示例融合的示意图。

图16中，左上方示出如图13所示的零件表，右上方示出如图14所示的配置表。图16的下方示出的汇总信息3’是将图3所示的汇总信息3与图14所示的配置表进行融合后的结果。具体而言，在图3所示的汇总信息3(第1至第5列)的基础上，增加了第6列和第7列所示的配置信息160。

在本实施例中，配置表定义了5种功能，每种功能具有各自的P/N编号。例如，功能“前排座椅按摩”的P/N字段值为“N65M”。P/N字段值对应于零件的启用/禁用状态。例如，“N65M”对应于连接器PS016，表示其启用/禁用状态，如图13所示。这可以利用上文描述的结构化信息和零件信息来确定。由此可以理解，配置表中的配置信息将特定零件与特定功能相关联。

配置表中的字段“11053472”和“11053473”代表线束。线束是若干零件和线缆的集合。“11053472”和“11053473”字段的值“x”表示该线束的启用/禁用状态。由此，在汇总信息3’中，对于连接器PS016，其所在行中“11053472”的字段值“0”表示该连接器PS016在线束“11053472”中不被启用，以作为功能“前排座椅按摩”的配置信息的一部分。由此，实现了配置信息与零件信息的融合。

在图16的示例中，图14所示的配置信息无法直接与图3所示的汇总信息3进行融合，尤其是图3中“Ckt Flag”字段为“N”的非电器类零件，其不会出现在回路信息中。此时，需要利用布局结构化模块42提供的结构化信息来确定相应配置信息与零件的对应关系，例如通过P/N字段，从而实现配置信息与已匹配的文本和组件(零件和/或表格)之间的融合。由此，本质上，汇总信息生成模块44可以利用结构化信息进行零件信息、表格信息之间的深度融合，能大幅节省人工查询和汇总信息的时间和精力。

图17图示出根据本公开的技术的示例图纸处理方法100的流程图。方法100始于步骤102。在步骤102中，从标准化图纸图像中提取结构化信息。标准化图纸图像可以由上文描述的标准化图纸图像生成模块41对输入图纸图像进行转换得到。但是，在一些实施例中，可以直接使用输入图纸图像作为标准化图纸图像，只要其具有合适的原始缩放比例即可。

结构化信息指示图纸中多个组件的位置和连接关系，例如多个零件(诸如卡钉、焊接点、橡胶件、连接器等)的位置和连接关系、表格的位置等。零件的连接关系可以利用图7所示的布局图像来确定。零件的位置如图10所示，可以由布局结构化模块42的零件检测模块423确定。表格的位置可以由布局结构化模块42的表格检测模块424确定，如图12所示。

在步骤104中，从标准化图纸图像中提取带位置信息的文本。文本可以包括描述零件的零件信息和表格内的表格信息。零件信息在标准化图纸图像中可以位于对应零件的图像附近。表格信息可以包含本文描述的配置信息、回路表信息等。配置信息可以指示一个或多个零件与特定功能的对应关系。回路表信息可以指示零件之间的连接关系，例如可以将两个零件相连构成的回路作为一条回路信息。步骤102和步骤104的执行顺序不做限制，可以同时执行也可以顺序执行。

在步骤106中，基于各个组件的位置和文本的位置将文本的至少一部分分别与各个组件中的至少一部分进行匹配。组件的位置如上所述，可以从步骤102中提取的结构化信息中获得。此外，由于步骤104中提取的是带位置信息的文本，因此文本的位置也可以确定。由此，可以基于例如位置匹配原则，将组件与对应的文本进行匹配。

在步骤108中，基于经匹配的文本和组件生成汇总信息。汇总信息例如可以是零件信息的汇总。在一些实施例中，汇总信息可以是表格信息与零件信息的融合。该情况下，表格信息内条目可以通过结构化信息对应到特定零件，从而与该零件所对应的零件信息进行融合。

本文中所公开的机制的实施例可被实现在硬件、软件、固件或此类实现方式的组合中。本发明的实施例可实现为在可编程系统上执行的计算机程序或程序代码，该可编程系统包括至少一个处理器、存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备以及至少一个输出设备。

可将程序代码应用于输入指令，以执行本文中所描述的功能并生成输出信息。可以按已知方式将输出信息应用于一个或多个输出设备。为了本申请的目的，处理系统包括具有处理器的任何系统，该处理器诸如例如，数字信号处理器(DSP)、微控制器、专用集成电路(ASIC)或微处理器。

至少一个实施例的一个或多个方面可由存储在计算机可读介质上的表示处理器中的各种逻辑的表示性指令来实现，该表示性指令在由处理器执行时使得该处理器执行本文中所描述的技术的逻辑。

此类计算机可读存储介质可以包括但不限于通过机器或设备制造或形成的物品的非暂态的有形安排，其包括存储介质，诸如：硬盘；任何其他类型的盘，包括软盘、光盘、只读光盘存储器(CD-ROM)、可读写光盘存储器(CD-RW)以及磁光盘；半导体器件，诸如只读存储器(ROM)、诸如动态随机存取存储器(DRAM)和静态随机存取存储器(SRAM)之类的随机存取存储器(RAM)、可擦除可编程只读存储器(EPROM)、闪存、电可擦除可编程只读存储器(EEPROM)；相变存储器(PCM)；磁卡或光卡；或适于存储电子指令的任何其他类型的介质。

进一步地，本公开的实现方式的全部或部分可以采取可从例如计算机可使用或计算机可读介质访问的计算机程序产品的形式。

以上详细描述了本发明的优选实施方式。但应当理解为本发明在不脱离其广义精神和范围的情况下可以采用各种实施方式及变形。本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本领域技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应属于由本发明的权利要求书所确定的保护范围内。

Claims

1.一种图纸处理装置，包括：

布局结构化模块，被配置成从标准化图纸图像中提取结构化信息，所述结构化信息指示图纸中多个组件的位置和连接关系；

文本识别模块，被配置成从所述标准化图纸图像中提取带位置信息的文本；以及

汇总信息生成模块，被配置成：

基于所述各个组件的位置和所述文本的位置将所述文本的至少一部分分别与所述各个组件中的至少一部分进行匹配；并且

基于匹配的文本和组件生成汇总信息。

2.如权利要求1所述的图纸处理装置，其中所述多个组件包括零件和表格元素。

3.如权利要求2所述的图纸处理装置，其中还包括标准化图纸图像生成模块，被配置成将输入图纸图像转换为标准化图纸图像，所述标准化图纸图像生成部包括：

第一零件检测模块，被配置成检测所述输入图像中的至少一个零件的尺寸，所述零件具有预先确定的形状特征；以及

图像缩放模块，被配置成：

基于所述至少一个零件的尺寸以及所述至少一个零件的类型确定图纸缩放系数；并且

基于所述图纸缩放系数将所述输入图纸图像转换为所述标准化图纸图像。

4.如权利要求2所述的图纸处理装置，其中所述布局结构化模块包括：

布局分割模块，被配置成从标准化图纸图像中提取布局图像，所述布局图像指示所述至少一个零件之间的所述连接关系和位置关系；

节点检测模块，被配置成检测所述布局图像中的节点；

第二零件检测模块，被配置成从所述标准化图纸图像中检测至少一个零件的零件位置，所述零件具有预先确定的形状特征。

5.如权利要求4所述的图纸处理装置，其中所述布局结构化模块还包括表格检测模块，被配置成确定所述组件中的表格元素的位置，所述表格检测模块包括：

外框检测模块，被配置成检测所述表格元素的外框位置；以及

网格线检测模块，被配置成检测所述表格元素中的网格线的位置。

6.如权利要求4所述的图纸处理装置，其中所述汇总信息生成模块进一步被配置成：

针对所述至少一个零件中的每一个零件，至少基于所述每一个零件的位置将所述每一个零件与所述零件信息的至少一部分匹配。

7.如权利要求2至6中任一项所述的图纸处理装置，其中所述文本包括描述所述零件的零件信息和所述表格元素内的表格信息，

所述表格信息包括配置信息，所述配置信息指示所述至少一个零件中的零件子集与特定功能的对应关系。

8.如权利要求7所述的图纸处理装置，其中所述汇总信息生成模块进一步被配置成：

基于所述结构化信息将所述配置信息与所述匹配的文本和组件融合，以生成所述汇总信息。

9.一种图纸处理方法，包括如下步骤：

S1，从标准化图纸图像中提取结构化信息，所述结构化信息指示图纸中多个组件的位置和连接关系；

S2，从所述标准化图纸图像中提取带位置信息的文本；

S3，基于所述各个组件的位置和所述文本的位置将所述文本的至少一部分分别与所述各个组件中的至少一部分进行匹配；以及

S4，基于匹配的文本和组件生成汇总信息。

10.如权利要求9所述的图纸处理方法，其中所述多个组件包括零件和表格元素，

所述图纸处理方法还包括：

S5，将输入图纸图像转换为所述标准化图纸图像，包括：

S5a，检测所述输入图像中的至少一个零件的尺寸，所述零件具有预先确定的形状特征；

S5b，基于所述至少一个零件的尺寸以及所述至少一个零件的类型确定图纸缩放系数；以及

S5c，基于所述图纸缩放系数将所述输入图纸图像转换为所述标准化图纸图像。

11.如权利要求10所述的图纸处理方法，其中从标准化图纸图像中提取结构化信息S1包括：

S1a，从所述标准化图纸图像中提取布局图像，所述布局图像指示所述至少一个零件之间的所述连接关系和位置关系；

S1b，检测所述布局图像中的节点；以及

S1c，从所述标准化图纸图像中检测至少一个零件的零件位置，所述零件具有预先确定的形状特征。

12.如权利要求11所述的图纸处理方法，其中从标准化图纸图像中提取结构化信息S1还包括：S1d，确定所述组件中的表格元素的位置，

其中，确定所述组件中的表格元素的位置包括：

检测所述表格元素的外框位置；以及

检测所述表格元素中的网格线的位置。

13.如权利要求11所述的图纸处理方法，其中生成所述汇总信息S4包括：

S4a，针对所述至少一个零件中的每一个零件，至少基于所述每一个零件的位置将所述每一个零件与所述零件信息的至少一部分匹配。

14.如权利要求10至13中任一项所述的图纸处理方法，其中所述文本包括描述所述零件的零件信息和所述表格元素内的表格信息，

所述表格信息包括配置信息，所述配置信息指示所述至少一个零件中的零件子集与特定功能的对应关系，

生成所述汇总信息S4还包括：

S4b，基于所述结构化信息将所述配置信息与所述匹配的文本和组件融合，以生成所述汇总信息。

15.一种图纸处理系统，包括：

处理器；以及

与所述处理器耦合的存储器，所述存储器具有存储于其中的指令，所述指令在由所述处理器执行时使所述处理器执行动作，所述动作包括：

S2，从所述标准化图纸图像中提取带位置信息的文本；

S4，基于匹配的文本和组件生成汇总信息。

16.一种非瞬态计算机可读介质，其上存储有计算机可执行指令，所述计算机可执行指令在由至少一个处理器执行时，使得所述至少一个处理器执行如权利要求9至14中任一项所述的方法。

17.一种计算机程序产品，所述计算机程序产品被有形地存储在计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行如权利要求9至14中任一项所述的方法。