CN114514523A

CN114514523A - 生成工厂布局的3d模型

Info

Publication number: CN114514523A
Application number: CN201980101285.9A
Authority: CN
Inventors: 扎基·曼; 奥马里·沙伊; 沙哈尔·楚勒
Original assignee: SIEMENS INDUSTRY SOFTWARE Ltd
Current assignee: SIEMENS INDUSTRY SOFTWARE Ltd
Priority date: 2019-10-14
Filing date: 2019-10-14
Publication date: 2022-05-17
Also published as: US20230142309A1; EP4046004A1; EP4046004A4; WO2021074665A1

Abstract

一种用于从工厂布局的2D模式出发生成工厂布局的3D模型的系统和方法。提供对3D工厂对象的标识符的工厂目录的访问，其中，3D工厂对象标识符中的至少一个3D工厂对象标识符与相对应的2D工厂对象的标识符相关联。接收关于工厂布局的给定2D模式的数据作为输入数据。将由机器学习算法训练的函数应用于输入数据，以检测一组2D工厂对象，其中，提供关于所检测到的2D工厂对象组的一组标识符和位置数据作为输出数据。从工厂目录中选择一组3D工厂对象，所述一组3D工厂对象的标识符与输出数据中的一组2D工厂对象标识符相关联。通过根据输出数据的相对应的位置数据布置所选择的一组3D工厂对象来生成工厂布局的3D模型。

Description

生成工厂布局的3D模型

技术领域

本公开内容总体上涉及计算机辅助设计、可视化和制造(“CAD”)系统、产品生命周期管理(“PLM”)系统、产品数据管理(“PDM”)系统以及管理关于产品和其他项目的数据的类似系统(统称为“产品数据管理”系统或PDM系统)。

背景技术

在工厂设计中，制造工厂和设施的三维(“3D”)数字模型用于各种制造规划目的。这种用途的示例包括但不限于制造过程分析、制造过程模拟、装备碰撞检查和虚拟调试。

如本文中所使用的，术语“工厂布局”表示多个工厂对象的布置，所述工厂对象例如机械、装备、家具、壁和其他工厂资产。

如本文中所使用的，术语“工厂布局”可以表示工厂的布局或者工厂的任何部分的布局。

对于生产线建设者和系统集成商，工厂布局的3D数字建模阶段是繁琐且耗时的。

布局规划者通常接收二维(“2D”)工厂布局模式作为输入。2D工厂布局模式可以是以数字格式例如作为绘图图像或作为来自诸如Autocad和MicroStation的2D计算机辅助设计(“CAD”)软件应用的文件，或者有时甚至是以硬拷贝格式例如普通纸打印输出。

通常，基于所接收到的2D工厂布局绘图或模式，然后，布局规划者必须浏览工厂部件库、找到针对每个模式的合适的3D工厂对象、以及基于所接收到的2D工厂布局模式来定位3D工厂对象。在一些现有技术中，布局规划者通过能够重新利用特定的2D子绘图并获得相对应的连接的3D子模型来辅助他们的3D建模任务。

辅助布局规划者进行他们的3D建模任务的现有技术现状通常要求使用相同的CAD工具完成2D CAD对象和3D CAD对象以及它们的库的所有数据准备。

遗憾的是，这并非布局规划者通常面临的常见场景。事实上，如以上所提及的，布局规划者经常接收到根据各种各样的不同标准和从非标准CAD工具生成的作为文件或绘图的2D工厂布局模式，以及有时甚至是以硬拷贝绘图格式的2D工厂布局模式。

因此，期望用于生成对2D工厂布局模式的格式不可知的3D工厂布局模型的技术。

发明内容

各种公开的实施方式包括用于从工厂布局的2D模式出发生成工厂布局的3D模型的方法、系统和计算机可读介质。工厂布局模型包括多个工厂对象的布置并且可以由2D模式和由3D模型表示。工厂布局2D模式包括多个2D工厂对象的2D布置以及工厂布局3D模型包括多个3D工厂对象的3D布置。

所述方法包括提供对多个3D工厂对象的多个标识符的工厂目录的访问，其中，所述3D工厂对象标识符中的至少一个3D工厂对象标识符与相对应的2D工厂对象的标识符相关联。所述方法包括接收关于工厂布局的给定2D模式的数据作为输入数据。所述方法包括将由机器学习算法训练的函数应用于输入数据，以检测一组2D工厂对象，其中，提供关于所检测到的2D工厂对象组的一组标识符和位置数据作为输出数据。所述方法包括从工厂目录中选择一组3D工厂对象，所述一组3D工厂对象的标识符与输出数据中的一组2D工厂对象标识符相关联。所述方法包括通过根据输出数据的相对应的位置数据布置所选择的一组3D工厂对象来生成工厂布局的3D模型。

各种公开的实施方式包括用于提供由机器学习算法训练的函数以生成工厂布局的3D模型的方法、系统和计算机可读介质。所述方法包括接收多个2D工厂布局模式作为输入训练数据，每个2D工厂布局模式包括多个2D工厂对象的2D布置。所述方法包括对于每个2D工厂布局模式，接收与多个2D工厂对象中的一个或更多个2D工厂对象相关联的标识符和位置数据作为输出训练数据。所述方法包括基于输入训练数据且基于输出训练数据通过机器学习算法训练函数。所述方法包括提供经训练的函数用于生成工厂布局的3D模型。

各种公开的实施方式包括用于从工厂布局的2D模式出发生成工厂布局的3D模型的方法、系统和计算机可读介质。工厂布局模型包括多个工厂对象的布置并且可以由2D模式和由3D模型表示。工厂布局2D模式包括多个2D工厂对象的2D布置以及工厂布局3D模型包括多个3D工厂对象的3D布置。所述方法包括提供对多个3D工厂对象的多个标识符的工厂目录的访问，其中，所述3D工厂对象标识符中的至少一个3D工厂对象标识符与相对应的2D工厂对象的标识符相关联。所述方法包括接收多个2D工厂布局模式作为输入训练数据，每个2D工厂布局模式包括多个2D工厂对象的2D布置。所述方法包括对于每个2D工厂布局模式，接收与多个2D工厂对象中的一个或更多个2D工厂对象相关联的标识符和位置数据作为输出训练数据。所述方法包括基于输入训练数据且基于输出训练数据通过机器学习算法训练函数。所述方法包括提供经训练的函数用于生成工厂布局的3D模型。所述方法包括通过将经训练的函数应用于作为输入数据的工厂布局的给定2D模式来生成工厂布局的3D模型。

前面已经相当广泛地概述了本公开内容的特征和技术优点，以便本领域技术人员可以更好地理解随后的详细描述。将在下文中描述形成权利要求的主题的本公开内容的附加特征和优点。本领域的技术人员将认识到，他们可以容易地使用所公开的构思和具体实施方式作为用于修改或设计实现本公开内容的相同目的的其他结构的基础。本领域的技术人员还将认识到，这样的等同构造不会偏离最广泛形式下的本公开内容的精神和范围。

在进行下面的具体实施方式之前，阐述贯穿本专利文件所使用的某些词或短语的定义可能是有利的：术语“包括”和“包含”及其派生词意指包含但不限于此；术语“或”是包容性的，意指和/或；短语“与......相关联”和“与此相关联”及其派生词可以意指包括、被包括在内、与......互连、包含、被包含在内、连接至或与......连接、耦接至或与......耦接、可与......通信、与......合作、交错、并置、接近、被束缚至或被束缚有、具有、具有......的性质等；以及术语“控制器”意指控制至少一个操作的任何装置、系统或其部分，无论这样的装置是以硬件、固件、软件还是其中至少两个的某种组合实现的。应该注意，与任何特定控制器相关联的功能可以是集中式的或分布式的，本地的或远程的。贯穿本专利文件提供了对某些词语和短语的定义，并且本领域普通技术人员将理解，这样的定义适用于许多——如果不是大多数——以前以及将来使用这样定义的词语和短语的实例。尽管一些术语可以包括各种各样的实施方式，但是所附权利要求可以明确地将这些术语限制于特定实施方式。

附图说明

为了更完整地理解本公开内容及其优点，现在参考以下结合附图的描述，在附图中相似的附图标记表示相似的对象，并且在附图中：

图1示出了在其中可以实现实施方式的数据处理系统的框图；

图2是示意性地示出根据示例实施方式的2D工厂布局的2D模式图像的示例的绘图。

图3是示意性示出根据示例实施方式的图1中的2D模式中的标记对象的示例的绘图。

图4是示意性地示出根据示例实施方式的所生成的工厂布局的3D模型的屏幕截图的绘图。

图5示出了根据所公开的实施方式的用于生成工厂布局的3D模型的流程图。

具体实施方式

以下讨论的图1至图5以及在本专利文件中用于描述本公开内容的原理的各种实施方式仅作为说明，而不应当以任何方式解释为限制本公开内容的范围。本领域技术人员将理解，可以在任何适当设置的装置中实现本公开内容的原理。将参照示例性非限制实施方式来描述本申请的许多创新教导。

用于从工厂布局的2D模式出发生成工厂布局的3D模型的先前技术具有一些缺点。本文中公开的实施方式提供许多技术益处，包括但不限于以下示例。

实施方式使得能够从工厂布局的2D模式出发自动生成工厂布局的3D CAD模型，而无需由工厂布局工程师进行人工干预。

实施方式使得生成工厂布局的3D模型的过程更有效。

实施方式使得能够使若干个现有制造规划软件应用的能力升级。

实施方式使得能够节省时间。

实施方式允许向布局规划者提供软件即服务(“SaaS”)模块，由此他们可以上传2D布局模式并且因此得到其中工厂装备对象被自动定位的经填充的3D数字场景。

图1示出了数据处理系统100的框图，其中实施方式可以被实现为例如通过软件或以其他方式特别配置以执行如本文所述的过程的PDM系统，并且特别被实现为如本文所述的多个互连且通信系统中的每一个。示出的数据处理系统100可以包括处理器102，处理器102连接至二级缓存/桥接器104，二级缓存/桥接器104又连接至本地系统总线106。本地系统总线106可以是例如外围部件互连(PCI)架构总线。在所示出的示例中主存储器108和图形适配器110也连接至本地系统总线。图形适配器110可以连接至显示器111。

诸如局域网(LAN)/广域网/无线(例如WiFi)适配器112的其他外围装置也可以连接至本地系统总线106。扩展总线接口114将本地系统总线106连接至输入/输出(I/O)总线116。I/O总线116连接至键盘/鼠标适配器118、盘控制器120和I/O适配器122。盘控制器120可以连接至存储装置126，存储装置126可以是任何合适的机器可用存储介质或者机器可读存储介质，包括但不限于非易失性硬编码类型介质例如只读存储器(ROM)或电可擦除可编程只读存储器(EEPROM)、磁带存储装置和用户可记录类型介质例如软盘、硬盘驱动器和致密盘只读存储器(CD-ROM)或数字通用盘(DVD)，以及其他已知的光存储装置、电存储装置或磁存储装置。

在示出的示例中音频适配器124也连接至I/O总线116，扬声器(未示出)可以连接至音频适配器124以播放声音。键盘/鼠标适配器118提供用于诸如鼠标、跟踪球、跟踪指示器、触摸屏等的指示装置(未示出)的连接。

本领域普通技术人员将理解，图1中示出的硬件可以针对特定实现方式而变化。例如，另外或者代替所示出的硬件，也可以使用其他外围装置例如光盘驱动器等。仅出于解释的目的提供所示出的示例，并不意味着暗示关于本公开内容的架构限制。

根据本公开内容的实施方式的数据处理系统可以包括采用图形用户界面的操作系统。该操作系统允许在图形用户界面中同时呈现多个显示窗口，每个显示窗口提供到不同应用或者同一应用的不同实例的界面。用户可以通过指向装置操纵图形用户界面中的光标。可以改变光标的位置以及/或者生成诸如点击鼠标按钮的事件以启动期望的响应。

可以在适当地修改的情况下采用各种商用操作系统其中之一例如位于华盛顿的雷德蒙的微软公司的产品Microsoft Windows^TM版本。如所述，根据本公开内容修改或创建操作系统。

LAN/WAN/无线适配器112可以连接至网络130(不是数据处理系统100的一部分)，网络130可以是任何公共的或私人的数据处理系统网络或者如本领域技术人员所知的包括互联网的网络的组合。数据处理系统100可以通过网络130与服务器系统140通信，服务器系统140也不是数据处理系统100的一部分，但是可以实现为例如分开的数据处理系统100。

实施方式包括以下步骤中的一个或更多个步骤：

-准备输入训练数据和输出训练数据；

-训练机器学习(“ML”)函数；

-应用由ML算法训练的函数；

-生成工厂布局的3D模型；

-通过应用所接收到的附加布局数据调整3D模型，所述附加布局数据包括制造过程语义(“MPS”)信息。

准备输入训练数据和输出训练数据的示例实施方式

在实施方式中，准备输入训练数据和输出训练数据，以用于通过ML算法训练函数。

在输入训练数据的时候，使用标准CAD软件工具生成多个工厂布局的多个2D模式。所生成的工厂布局模式绘图包括以文本和形状形式的一组标准化工厂对象图标和模式注释。在实施方式中，优选地以数字图像格式提供2D模式的数据。在其他实施方式中，当以其他非图像格式(例如DXF或其他CAD文件格式)提供2D模式的数据时，这样的数据被转换成数字图像格式。

在输出训练数据的时候，对于每个所生成的2D模式，使用CAD软件工具自动或手动地生成每个工厂对象图标周围的一组边界框。边界框优选地是围绕工厂对象的带有标识工厂对象类型的标签的矩形。矩形位置标识对象位置。

图2是示意性地示出根据示例实施方式的2D工厂布局的2D模式图像的示例的绘图。图2的工厂布局的2D模式200可以用于说明用于对象检测的ML算法的准备好的输入训练数据的所生成的2D模式的示例实施方式。

图2中的使用CAD软件工具生成的2D模式绘图示出了具有机器人、密封器、工具更换器和壁的工厂布局的简化布置。代表工厂布局的2D模式200包括以下2D工厂对象图标的相对应的布置：机器人图标201、密封器图标202、工具更换器图标203和壁图标204。工厂对象图标201、202、203、204包括具有关于机器人RB3A的模型的模式信息、关于密封器SL5B的模型的模式信息和关于工具更换器TC9C的模型的模式信息的相对应的模式注释211、212、213。在其他实施方式中，可以经由模式注释来传达其他模式信息。模式信息的示例包括但不限于产品制造信息(“PMI”)、关于装备供应商和模型的信息、关于单位的信息、关于测量例如与壁的距离的信息、关于刻度的信息和其他相关模式信息。

图3是示意性地示出根据示例实施方式的图2中的2D模式中的标记对象的示例的绘图。图3中的标记对象可以用于说明准备好的输出训练数据的示例实施方式。

在图3中，围绕图2中的每个CAD对象图标201、202、203、204生成边界框301、302、3033、304。每个边界框221、222、223、224具有标识对象类型的标签231、232、233、234，所述对象类型分别为“机器人”、“密封器”、“工具更换器”和“壁”。边界框301、302、303、3044及它们的标签231、232、233、234是用于对象检测的ML算法的准备好的输出训练数据的示例。

优选地，自动地生成大量的输入训练数据和输出训练数据，以用于训练ML函数。

机器学习训练的示例实施方式

在实施方式中，如果输入训练数据的格式不同于数字图像格式，则可以合宜地地对输入训练数据进行预处理以将输入训练数据格式转换成数字图像格式。在实施方式中，预处理的示例包括扫描具有工厂布局2D模式的纸质打印输出或将具有工厂布局2D模式的CAD文件转换成数字图像。

在实施方式中，对输出训练数据进行预处理来生成以数字格式的输出训练数据，其中输出训练数据包括数字对象标识符和限定边界框位置的一组坐标。

下面的表1示出了以数字格式的输出训练数据的示例实施方式

表1中的第一列包括由相对应的边界框分隔的工厂对象图标的标识符。表1中的其余列包括用于根据YOLO要求确定边界框的大小和位置的四个坐标(x_中心、y_中心、宽度、高度)。表2提供了对象标识符的值与工厂对象的相对应的标签之间的关联的示例。

表1：以数字数据格式的边界框的示例

对象标识符	对象标签
		0	围栏
1	工具_更换器
		2	架空式_输送器
3	机器人
		4	旋转_台
5	组装_轨道
		6	机器人_控制器
7	电气_箱
		8	固定装置
9	密封器
		10	头_修整器

表2：工厂对象的标识符与工具对象的标签之间的关联的示例

注意，在表1的实施方式示例中，仅由四个坐标限定边界框的坐标。事实上，在该示例实施方式中，假设框为具有平行于工厂布局单元的边且不考虑取向的矩形。在其他实施方式中，对象坐标可以多于四个并且还可以考虑边界框的取向。

详细地说明了带有所生成的具有工厂布局的2D模式的图像的输入训练数据和带有关于相对应的标记工厂对象的边界框的数据例如位置参数和标识符，以训练ML函数。

标记的工厂对象被用于对用于对象检测的ML算法进行训练。如本文中所使用的，术语“对象检测”表示确定图像上的存在特定对象的位置以及对这些对象进行分类。

在实施方式中，通过对数据应用一个或更多个预处理步骤以便将原始数据格式转换成期望数据格式来获得输入训练数据和输出训练数据的期望数据格式。

在实施方式中，ML算法是深度学习算法，优选地是卷积神经网络算法。对象检测系统的示例包括但不限于你只看一次(You Only Look Once(“YOLO”))算法。

在实施方式中，使用自动生成和标记的图像以便训练诸如YOLO神经网络的专用神经网络。在实施方式中，可以使用其他类型的ML对象检测算法。

在实施方式中，ML训练函数的所得数据被用于生成用于根据工厂布局的给定2D模式的输入数据检测2D工厂对象的模块。

在实施方式中，训练数据可以存储在本地机器/服务器处或存储在远程位置中例如在云中。在实施方式中，可以由专用数据源或公共数据源或它们的组合提供训练数据。在实施方式中，可以在本地机器/服务器处或在远程处例如在云中完成对ML函数的训练。

在实施方式中，可以作为软件即服务(“SaaS”)在本地机器/服务器上或在远程机器/服务器上例如在云中完成训练步骤。

应用由ML算法训练的函数的示例实施方式

在实施方式中，检测模块可以作为SaaS云服务使用。在实施方式中，检测模块可以作为本地站点或远程位置中的独立模块使用。

在实施方式中，检测模块可以作为独立模块由制造规划系统使用。在其他实施方式中，检测模块可以嵌入在制造规划系统中。

接收关于工厂布局的给定2D模式的数据作为输入数据。在实施方式中，以2D工厂布局绘图的数字图像的形式提供2D模式数据。在其他实施方式中，可以以其他格式例如作为CAD文件或作为硬拷贝打印输出提供工厂布局的2D模式，并且对数据进行预处理，以便获得期望数字图像格式。

2D模式包括代表多个工厂对象的优选地以图标的形式的多个2D工厂对象。在实施方式中，2D工厂对象中的至少一个2D工厂对象伴随有以包括模式信息的文本和/或符号形式的模式注释。模式信息的示例包括但不限于：产品制造信息(“PMI”)、关于装备供应商和模型的信息、关于单位的信息、关于测量例如与壁的距离的信息、关于刻度的信息和其他相关模式信息。

图2是示出根据示例实施方式的2D工厂布局的2D模式图像的示例的绘图。图2中的工厂布局的2D模式也可以说明输入数据例如给定的2D布局模式的示例实施方式。

提供工厂目录或对工厂目录的访问。工厂对象的工厂目录包括3D工厂对象的标识符，其中所述标识符中的至少一个标识符与相对应的2D工厂对象的标识符相关联。在实施方式中，实现2D标识符与3D标识符之间的关联的方式的示例包括但不限于具有标识符索引和到3D CAD模型的路径对的表/关键字值对、json、xml、txt文件。

在实施方式中，工厂目录可以是带有工厂对象的相关联2D标识符索引的工厂对象的3D CAD模型的库。工厂目录可以是具有广泛用于工业的工厂对象的标准工厂目录，并且工厂目录可以是具有特定于供应商和/或项目的工厂对象的专属工厂目录。

通过应用使用ML算法训练的函数来分析工厂布局的2D模式的2D数字图像。借助于神经网络推断在2D布局模式内部识别工厂对象类型、边界矩形、位置。

图3是示意性地示出根据示例实施方式的图1中的2D模式中的标记对象的示例的绘图。图3中的标记对象还可以说明输出数据的示例实施方式，其中例如边界框301、302、303、304以及他们的标签321、322、323、324示出了所应用的ML函数的实施方式输出数据。

生成工厂布局的3D模型的示例实施方式

在实施方式中，自动地从相关联的工厂目录例如现成的3D CAD库和/或由用户提供的特定3D CAD库中选择识别出的工厂对象的3D模型。基于在输入2D绘图内检测到的2D工厂对象类型选择识别出的工厂对象的3D模型。

在3D场景中填充所选择的工厂对象的3D模型，其中所选择的工厂对象的3D模型的位置基于所检测到的边界框的位置。如果可以根据边界框坐标获得关于3D模型的取向的信息，则也可以使用关于3D模型的取向的信息。在实施方式中，可以通过裁剪边界框内部的图标图像并且通过对边界框内部的图标图像进行分析以提取所识别出的工厂对象的取向来获得取向信息。

在实施方式中，从2D模式绘图中例如从数字图像的模式注释中经由OCR提取模式信息，或者在CAD文件仍然可用时从CAD文件中提取模式信息。在实施方式中，所提取的模式信息可以用于选择工厂对象的适当3D模型例如机器或机器人的特定模型/类型以及/或者所提取的模式信息可以用于附接有效载荷和/或重新定位或定向3D模型。

在其他实施方式中，可以对边界框内部的图标图像进行裁剪和分析，以确定工厂对象的取向。

图4是示意性地示出根据示例实施方式的所生成的工厂布局的3D模型的屏幕截图的绘图，该示例实施方式假设输入数据是图2中的2D模式绘图。3D场景中的工厂布局的3D模型包括机器人、密封器、工具更换器和壁的3D工厂对象模型401、402、403、404的布置。

通过应用MPS信息调整3D模型的示例实施方式

在实施方式中，可以提供附加的布局数据，例如具有关于绘图的比例的信息的数据和/或具有“MPS”信息的数据。MPS信息包括可以用于提高工厂对象的位置精度和取向精度以及/或者向工厂布局的3D模型添加更多细节的制造过程信息。MPS信息的示例包括但不限于焊接点参数信息、装备有效载荷信息、电气约束信息。在实施方式中，附加的布局数据可以提供有对诸如数据库的存储库的访问，该存储库具有诸如例如JSON、csv、excel、xml、txt文件的数据文件或者经由路径列表形式的外部输入的数据文件。在实施方式中，可以从PLM系统例如TeamCenter的数据中心自动地提取MPS信息。

在实施方式中，基于作为附加的布局数据提供的MPS信息，可以例如通过将附加的3D对象插入至3D场景和/或通过调整已经布置的3D工厂对象的定位和取向来合宜地调整工厂布局的3D模型。

例如，如果MPS信息包括关于机器人的焊接点、有效载荷和/或电力需求参数的信息，则可以自动地选择正确的机器人工具类型，例如焊接工具枪而不是诸如油漆枪或激光焊接的另一工具枪。另外，基于包括在MPS信息中的焊接点电压参数信息，可以选择正确的焊接枪。机器人3D模型可以被重新取向成指向机器人需要执行其任务的位置，该任务例如对由根据车身的CAD模型导出的焊接点特征识别出的车身进行焊接的任务。

在实施方式中，可以借助于编码规则模块合宜地解释MPS信息，由此编码规则被限定用于在工厂布局中布置工厂对象，其中规则模块输出是对工厂布局的3D模型的建议调整步骤的选择。编码规则模块可以提供有标准工业规则和约束或者特定工业规则和约束。

在实施方式中，编码规则模块可以是不同工厂对象部件间的关系的知识图。可以手动或自动地生成该知识图，以便限定不同部件间的关系。图中的限定关系的示例包括但不限于：

-与输送器有交叠坐标的机器人应当以可行的方式放置在输送器上方；

-位于靠近壁的电气箱应当使其背侧放置在壁上；

-靠近焊接点放置的机器人要配备有焊接枪；

-焊接枪的类型取决于电压信息。

在实施方式中，可以通过使用空间信息(例如将壁橱的背侧朝向壁取向)和/或通过使用MPS信息(例如将机器人转向焊接点的方向)来调整工厂对象的3D模型的取向。

有利地，编码规则模块使得能够组合来自PLM软件主干的信息和来自2D工厂布局模式的信息，以便调整工厂布局的3D模型。

图5示出了根据所公开的实施方式的用于生成工厂布局的3D模型的方法的流程图500。这样的方法可以例如通过上述图1的系统100来执行，但是下面的过程中的“系统”可以是被配置成执行所描述的过程的任何设备。

在动作505下，提供对多个3D工厂对象的多个标识符的工厂目录的访问，其中3D工厂对象标识符中的至少一个3D工厂对象标识符与相对应的2D工厂对象的标识符相关联。在实施方式中，工厂目录是标准目录、特定目录或两者的组合。在实施方式中，数字工厂对象是CAD对象。

在动作510下，接收关于工厂布局的给定2D模式的数据作为输入数据。在实施方式中，工厂布局2D模式包括提供模式信息的一组模式注释。在实施方式中，提供了附加的布局数据。附加的布局数据的示例包括但不限于制造过程语义信息。

在动作515下，将由机器学习算法训练的函数应用于输入数据，以检测一组2D工厂对象，其中提供关于所检测到的2D工厂对象组的一组标识符和位置数据作为输出数据。

在动作520下，从工厂目录中选择一组3D工厂对象，所述一组3D工厂对象的标识符与输出数据中的一组2D工厂对象标识符相关联。

在动作525下，通过根据输出数据的相对应的位置数据布置所选择的一组3D工厂对象来生成工厂布局的3D模型。

在实施方式中，由编码规则模块解释附加的布局数据和/或模式注释信息，以便向工厂布局3D模型提供调整步骤的选择。在实施方式中，编码规则模块是知识图。

当然，本领域技术人员将认识到，除非由操作的序列明确地指示或要求，否则上述过程中的某些步骤可以省略，同时或顺序执行，或者以不同的顺序执行。

本领域技术人员将认识到，为了简单和清楚起见，本文中未示出或描述适用于本公开内容的所有数据处理系统的完整结构和操作。相反，仅示出和描述了对于本公开内容而言是唯一的或者理解本公开内容所必需的数据处理系统。数据处理系统100的剩余构造和操作可以符合本领域已知的各种当前实现方式和实践中的任何一种。

重要的是注意到，尽管本公开内容包括在全功能系统的上下文中的描述，但是本领域技术人员将理解，本公开内容的至少部分能够以包含在各种形式中的任何形式的机器可用、计算机可用或计算机可读介质内的指令的形式来分发，并且本公开内容同等地适用，而不管用于实际执行分发的指令或信号承载介质或存储介质的特定类型如何。机器可用/可读介质或计算机可用/可读介质的示例包括：非易失性硬编码类型介质例如只读存储器(ROM)或电可擦除可编程只读存储器(EEPROM)、以及用户可记录类型介质，例如软盘、硬盘驱动器和致密盘只读存储器(CD-ROM)或数字通用盘(DVD)。

尽管已经详细描述了本公开内容的示例实施方式，但是本领域技术人员将理解，可以在不偏离本公开内容的最广泛形式下的精神和范围的情况下进行本文中公开的各种改变、替换、变型和改进。

本申请中的描述不应被理解为暗示任何特定的元素、步骤或功能是必须包括在权利要求范围中的必要元素：专利主题的范围仅由允许的权利要求限定。

Claims

1.一种用于通过数据处理系统从工厂布局的2D模式出发生成所述工厂布局的3D模型的方法，其中，所述工厂布局包括多个工厂对象的布置，所述工厂布局能够由2D模式以及由3D模型表示，其中，所述工厂布局2D模式包括多个2D工厂对象的2D布置，以及所述工厂布局3D模型包括多个3D工厂对象的3D布置；所述方法包括以下步骤：

a)提供对多个3D工厂对象的多个标识符的工厂目录的访问，其中，所述3D工厂对象标识符中的至少一个3D工厂对象标识符与相对应的2D工厂对象的标识符相关联；

b)接收关于工厂布局的给定2D模式的数据作为输入数据；

c)将由机器学习算法训练的函数应用于所述输入数据，以检测一组2D工厂对象，其中，提供关于所检测到的2D工厂对象组的一组标识符和位置数据作为输出数据；

d)从所述工厂目录中选择一组3D工厂对象，所述一组3D工厂对象的标识符与所述输出数据中的所述一组2D工厂对象标识符相关联；

e)通过根据所述输出数据的相对应的位置数据布置所选择的一组3D工厂对象来生成所述工厂布局的3D模型。

2.根据权利要求1所述的方法，其中，所述工厂布局2D模式包括提供模式信息的一组模式注释。

3.根据权利要求1所述的方法，其中，提供了附加的布局数据。

4.根据权利要求1所述的方法，其中，由编码规则模块解释所述附加的布局数据和/或所述模式注释信息，以便向所述工厂布局3D模型提供调整步骤的选择。

5.根据权利要求3所述的方法，其中，所述编码规则模块是知识图和/或所述附加的布局数据包括制造过程语义信息。

6.根据权利要求1所述的方法，其中，所述工厂目录为标准目录、特定目录或所述标准目录和所述特定目录两者的组合。

7.根据权利要求1所述的方法，其中，数字工厂对象是CAD对象。

8.根据权利要求1所述的方法，其中，已经使用YOLO算法对ML函数进行了训练。

9.一种数据处理系统，包括：

处理器；以及

能够访问的存储器，所述数据处理系统具体被配置成：

b)接收关于工厂布局的给定2D模式的数据作为输入数据；

10.根据权利要求9所述的数据处理系统，其中，所述工厂布局2D模式包括提供模式信息的一组模式注释。

11.根据权利要求9所述的数据处理系统，其中，提供了附加的布局数据。

12.根据权利要求9所述的数据处理系统，其中，由编码规则模块解释所述附加的布局数据和/或所述模式注释信息，以便向所述工厂布局3D模型提供调整步骤的选择。

13.根据权利要求12所述的数据处理系统，其中，所述编码规则模块是知识图和/或所述附加的布局数据包括制造过程语义信息。

14.根据权利要求9所述的数据处理系统，其中，所述工厂目录为标准目录、特定目录或所述标准目录和所述特定目录两者的组合。

15.根据权利要求9所述的数据处理系统，其中，数字工厂对象是CAD对象。

16.一种使用可执行指令编码的非暂态计算机可读介质，当所述指令被执行时使一个或更多个数据处理系统：

b)接收关于工厂布局的给定2D模式的数据作为输入数据；

17.根据权利要求16所述的数据处理系统，其中，所述工厂布局2D模式包括提供模式信息的一组模式注释。

18.根据权利要求16所述的数据处理系统，其中，提供了附加的布局数据。

19.一种用于提供由机器学习算法训练的函数以生成工厂布局的3D模型的方法，所述方法包括以下步骤：

a)接收多个2D工厂布局模式作为输入训练数据，每个2D工厂布局模式包括多个2D工厂对象的2D布置；

b)对于每个2D工厂布局模式，接收与所述多个2D工厂对象中的一个或更多个2D工厂对象相关联的标识符和位置数据作为输出训练数据；

c)基于所述输入训练数据且基于所述输出训练数据通过机器学习算法训练函数；

d)提供经训练的函数用于生成工厂布局的3D模型。

20.一种用于通过数据处理系统从工厂布局的2D模式出发生成所述工厂布局的3D模型的方法，其中，所述工厂布局包括多个工厂对象的布置，所述工厂布局能够由2D模式以及由3D模型表示，其中，所述工厂布局2D模式包括多个2D工厂对象的2D布置，以及所述工厂布局3D模型包括多个3D工厂对象的3D布置；所述方法包括以下步骤：

b)接收多个2D工厂布局模式作为输入训练数据，每个2D工厂布局模式包括多个2D工厂对象的2D布置；

c)对于每个2D工厂布局模式，接收与所述多个2D工厂对象中的一个或更多个2D工厂对象相关联的标识符和位置数据作为输出训练数据；

d)基于所述输入训练数据且基于所述输出训练数据通过机器学习算法训练函数；

e)提供经训练的函数用于生成工厂布局的3D模型；

f)通过将经训练的函数应用于作为输入数据的工厂布局的给定2D模式来生成工厂布局的3D模型。