CN116324783A - 用于在cad环境中提供三维计算机辅助设计（cad）模型的方法和系统 - Google Patents

Abstract

公开了一种用于在CAD环境中提供对象的三维计算机辅助设计(CAD)模型的方法和系统。一种方法包括接收针对物理对象的三维CAD模型的请求。所述请求包括所述对象的二维图像。使用第一经训练的机器学习算法从所述二维图像生成图像向量。所述方法包括使用第二经训练的机器学习算法基于所生成的图像向量来生成所述对象的三维点云模型，以及使用所述对象的三维点云模型来生成所述对象的三维CAD模型。所述方法还包括在图形用户接口上输出所述对象的三维CAD模型。

Description

用于在CAD环境中提供三维计算机辅助设计(CAD)模型的方法 和系统

技术领域

本公开涉及计算机辅助设计(CAD)的领域，并且更特别地涉及用于在CAD环境中提供三维计算机辅助设计模型的方法和系统。

背景技术

计算机辅助设计应用使得用户能够经由图形用户接口创建“真实世界”对象的三维CAD模型。用户可以通过与图形用户接口的交互来手动地执行操作以生成对象的三维CAD模型。例如，为了在矩形块中创建孔，用户可能必须经由图形用户接口指定孔的直径、位置和长度。如果用户想要在矩形块中的若干位置处具有孔，则用户要选择要在其中创建孔的位置。如果相同的操作要在相似的实体上被执行多次，则用户要再三地重复相同的活动(例如，平移、缩放、旋转、选择等)。多次重复相同的操作可能会变成耗时且单调的活动。

此外，这些操作中的一些基于用户的经验和专业知识来进行。因此，初学者或经验较少的用户可能会发现：在没有显著暴露到工作角色、领域和行业的情况下执行操作是困难的。因此，初学者或经验较少的用户在对几何组件执行操作时可能出错。通常，这些错误是在设计验证过程期间在几何组件的设计后被标识的。然而，这些错误的校正可能是麻烦且耗时的活动，并且还可能增加对象的上市时间。

此外，可以可能的是，这样的三维CAD模型由相同用户或另一用户预先创建，并且被存储在几何模型数据库中。当前已知的CAD应用可能不能够有效地在几何模型数据库中搜索相似的三维CAD模型，从而导致三维CAD模型的重新设计。这可能会导致增加对象的上市时间。

发明内容

本公开的范围仅由所附权利要求限定，并且不在任何程度上受本描述内的陈述影响。本实施例可以消除相关技术中的一个或多个缺点或限制。公开了一种用于在CAD环境中提供三维计算机辅助设计(CAD)模型的方法和系统。

在一个方面中，一种在CAD环境中提供对象的三维计算机辅助设计(CAD)模型的方法包括：接收针对对象的三维CAD模型的请求。所述请求包括所述对象的二维图像。所述方法包括使用第一经训练的机器学习算法从所述二维图像生成图像向量。所述方法还包括使用第二经训练的机器学习算法基于所生成的图像向量来生成所述对象的三维点云模型，以及使用所述对象的三维点云模型来生成所述对象的三维CAD模型。所述方法包括在图形用户接口上输出所述对象的三维CAD模型。所述方法可以包括将所述对象的所述三维点云模型和所述二维图像的所生成的图像向量存储在几何模型数据库中。

所述方法可以包括接收针对所述对象的三维CAD模型的请求。所述请求包括所述对象的二维图像。所述方法可以包括使用第一经训练的机器学习算法从所述二维图像生成图像向量，以及基于所生成的图像向量在包括多个三维CAD模型的几何模型数据库中执行针对所述对象的三维CAD模型的搜索。所述方法可以包括确定所述对象的三维CAD模型是否在几何模型数据库中被成功找到，以及在图形用户接口上输出所述对象的三维CAD模型。

在使用第三经训练的机器学习算法在几何模型数据库中执行针对所述对象的三维CAD模型的搜索的动作中，所述方法可以包括使用第三机器学习算法将所述二维图像的所生成的图像向量与跟几何模型数据库中的相应三维CAD模型相关联的每个图像向量进行比较，以及基于所生成的图像向量与三维CAD模型的图像向量之间的最佳匹配，从几何模型数据库中标识所述三维CAD模型。

在另一方面中，一种在CAD环境中提供对象的三维计算机辅助设计(CAD)模型的方法包括：接收针对对象的三维CAD模型的请求。所述请求包括所述对象的二维图像。所述方法包括使用第一经训练的机器学习算法从所述二维图像生成图像向量，以及基于所生成的图像向量在包括多个三维CAD模型的几何模型数据库中执行针对所述对象的三维CAD模型的搜索。所述方法包括确定所述对象的所请求的三维CAD模型是否在几何模型数据库中被成功找到，以及如果所述对象的所请求的三维CAD模型在几何模型数据库中被成功找到，则在图形用户接口上输出所述对象的所请求的三维CAD模型。

所述方法可以包括：如果所述对象的所请求的三维CAD模型在几何模型数据库中没有被找到，则使用第二经训练的机器学习算法基于所生成的图像向量来生成所述对象的三维CAD模型，以及在图形用户接口上输出所述对象的所生成的三维CAD模型。

在使用第二经训练的机器学习模型基于所生成的图像向量来生成所述对象的三维CAD模型的动作中，所述方法可以包括使用第二经训练的机器学习算法基于所生成的图像向量来生成所述对象的三维点云模型，以及使用所述对象的三维点云模型来生成所述对象的三维CAD模型。所述方法可以包括将所述对象的所生成的三维CAD模型和所述对象的对应二维图像的所生成的图像向量存储在几何模型数据库中。

在几何模型数据库中执行针对所述对象的三维CAD模型的搜索的动作中，所述方法可以包括使用第三经训练的机器学习算法在几何数据库中执行针对所述对象的三维CAD模型的搜索。

在使用第三经训练的机器学习算法在几何模型数据库中执行针对所述对象的三维CAD模型的搜索的动作中，所述方法可以包括使用第三机器学习算法将所述二维图像的所生成的图像向量与跟几何模型数据库中的相应几何模型相关联的每个图像向量进行比较，以及基于所生成的图像向量与一个或多个三维CAD模型的图像向量之间的匹配，从几何模型数据库中标识所述一个或多个三维CAD模型。

所述方法可以包括基于与所述对象的所请求的三维CAD模型的匹配，对所述一个或多个三维CAD模型进行排序，以及基于所述一个或多个三维CAD模型的排序来确定具有与所述二维图像的所生成的图像向量最佳匹配的图像向量的至少一个三维CAD模型。所述方法可以包括基于所述二维模型的所生成的图像向量来修改所确定的三维CAD模型。

在又一方面中，一种数据处理系统包括处理单元以及耦合到所述处理单元的存储器单元。所述存储器单元包括CAD模型，所述CAD模型被配置成接收针对对象的三维计算机辅助设计(CAD)模型的请求。所述请求包括所述对象的二维图像。所述CAD模型被配置成使用第一经训练的机器学习算法从所述二维图像生成图像向量，以及被配置成基于所生成的图像向量在包括多个三维CAD模型的几何数据库中执行针对所述对象的三维CAD模型的搜索。CAD模块被配置成确定所述对象的所请求的三维CAD模型是否在几何模型数据库中被成功找到，以及被配置成如果所述对象的所请求的三维CAD模型在几何模型数据库中被成功找到，则在图形用户接口上输出所述对象的所请求的三维CAD模型。

所述CAD模块可以被配置成：如果所述对象的所请求的三维CAD模型在几何模型数据库中没有被找到，则使用第二经训练的机器学习算法基于所生成的图像向量来生成所述对象的三维CAD模型，以及被配置成在图形用户接口上输出所述对象的所生成的三维CAD模型。

在使用第二经训练的机器学习模型基于所生成的图像向量来生成所述对象的三维CAD模型的动作中，所述CAD模块可以被配置成使用第二经训练的机器学习算法基于所生成的图像向量来生成所述对象的三维点云模型，以及被配置成使用所述对象的三维点云模型来生成所述对象的三维CAD模型。所述CAD模块可以被配置成将所述对象的所生成的三维CAD模型和所述对象的对应二维图像的所生成的图像向量存储在几何模型数据库中。

在几何模型数据库中执行针对所述对象的三维CAD模型的搜索的动作中，所述CAD模块可以被配置成使用第三经训练的机器学习算法在几何数据库中执行针对所述对象的三维CAD模型的搜索。

在使用第三经训练的机器学习算法在几何模型数据库中执行针对所述对象的三维CAD模型的搜索的动作中，所述CAD模块可以被配置成使用第三机器学习算法将所述二维图像的所生成的图像向量与跟几何模型数据库中的相应几何模型相关联的每个图像向量进行比较，以及被配置成基于所生成的图像向量与一个或多个三维CAD模型的图像向量之间的匹配，从几何模型数据库中标识所述一个或多个三维CAD模型。

所述CAD模块可以被配置成基于与所述对象的所请求的三维CAD模型的匹配，对所标识的三维CAD模型进行排序，以及基于所述一个或多个三维CAD模型的排序来确定具有与所述二维图像的所生成的图像向量最佳匹配的图像向量的至少一个三维CAD模型。所述CAD模块可以被配置成基于所述二维模型的所生成的图像向量来修改所确定的三维CAD模型。

在又一方面中，提供了一种非暂时性计算机可读介质，其中存储有机器可读指令，所述指令在由数据处理系统执行时使得所述数据处理系统执行上述方法。

提供本发明内容是为了以简化形式介绍下面在以下描述中进一步描述的概念的选择。发明内容不意图标识所要求保护的主题的特征或必要特征。所要求保护的主题不限于解决本公开的任何部分中指出的任何或所有缺点的实现方式。

附图说明

图1是根据一个实施例的用于使用一个或多个经训练的机器学习算法来提供对象的三维计算机辅助设计(CAD)模型的示例性数据处理系统的框图。

图2是根据一个实施例的用于基于对象的二维图像来提供对象的三维CAD模型的CAD模块的框图。

图3是描绘了根据一个实施例的在CAD环境中生成对象的三维CAD模型的示例性方法的过程流程图。

图4是描绘了根据另一实施例的在CAD环境中生成对象的三维CAD模型的示例性方法的过程流程图。

图5是描绘了根据又一实施例的在CAD环境中提供对象的三维CAD模型的方法的过程流程图。

图6是描绘了根据又一实施例的在CAD环境中提供对象的三维CAD模型的方法的过程流程图。

图7是根据另一实施例的用于提供对象的三维CAD模型的数据处理系统的示意性表示。

图8图示了根据又一实施例的用于使用经训练的机器学习算法来提供对象的三维CAD模型的数据处理系统的框图。

图9图示了根据一个实施例的诸如图2中所示的图像向量生成模块的示意性表示。

图10图示了根据一个实施例的诸如图2中所示的模型搜索模块的示意性表示。

图11图示了根据一个实施例的诸如图2中所示的模型生成模块的示意性表示。

具体实施方式

公开了一种用于在CAD环境中提供三维计算机辅助设计(CAD)模型的方法和系统。参考附图描述了各种实施例，其中参考附图使用了相似的参考数字。相似的参考数字始终用于指代相似的元件。在以下描述中，阐述了许多具体细节，以便提供对实施例的透彻理解。这些具体细节不需要被采用以实践实施例。在其他实例中，为了避免不必要地使实施例含糊难懂，尚未详细描述公知的材料或方法。虽然本公开容许有各种修改和替代形式，但是其具体实施例在附图中以示例的方式示出，并且将在本文中详细描述。不存在将本公开限制到所公开的特定形式的意图。取而代之，本公开将覆盖落入本公开的精神和范围内的所有修改、等同物和替代物。

图1是根据一个实施例的用于使用一个或多个经训练的机器学习算法来提供对象的三维CAD模型的示例性数据处理系统100的框图。数据处理系统100可以是个人计算机、工作站、膝上型计算机、平板计算机等。在图1中，数据处理系统100包括处理单元102、存储器单元104、存储单元106、总线108、输入单元110和显示单元112。数据处理系统100是被配置成使用一个或多个经训练的机器学习算法来提供三维CAD模型的专用计算机。

本文中使用的处理单元102可以是任何类型的计算电路，诸如但不限于微处理器、微控制器、复杂指令集计算微处理器、精简指令集计算微处理器、超长指令字微处理器、显式并行指令计算微处理器、图形处理器、数字信号处理器或任何其他类型的处理电路。处理单元102还可以包括嵌入式控制器，诸如通用或可编程逻辑器件或阵列、专用集成电路、单芯片计算机等。

存储器单元104可以是非暂时性易失性存储器和非易失性存储器。存储器单元104可以被耦合用于与处理单元102通信，诸如是计算机可读存储介质。处理单元102可以执行存储在存储器单元104中的指令和/或代码。多种计算机可读指令可以被存储在存储器单元104中，并且从存储器单元104访问。存储器单元104可以包括用于存储数据和机器可读指令的任何合适的元件，诸如只读存储器、随机存取存储器、可擦除可编程只读存储器、电可擦除可编程只读存储器、硬盘驱动器、用于处理压缩盘、数字视频盘、磁盘、磁带盒、存储卡等的可移除介质驱动器。

在本实施例中，存储器单元104包括以机器可读指令形式存储在上述存储介质中的任一个上的CAD模块114，并且可以与处理单元102通信并由其执行。当机器可读指令被处理单元102执行时，CAD模块114使得处理单元102使用第一经训练的机器学习算法从对象的二维图像生成图像向量。二维(2-D)图像可以是物理对象的照片、手绘草图、三维CAD模型的单视图预览等。当机器可读指令被处理单元102执行时，CAD模块114使得处理单元102基于所生成的图像向量在包括多个三维CAD模型的几何数据库116中执行针对所述对象的三维CAD模型的搜索，确定所述对象的所请求的三维CAD模型是否在几何模型数据库116中被成功找到，以及如果所述对象的所请求的三维CAD模型在几何模型数据库116中被成功找到，则在显示单元112上输出所述对象的所请求的三维CAD模型。此外，当机器可读指令被处理单元102执行时，如果所述对象的所请求的三维CAD模型在几何模型数据库116中没有被找到，则CAD模块114使得处理单元102使用第二经训练的机器学习算法基于所生成的图像向量来生成所述对象的三维CAD模型，并且在显示单元112上输出所述对象的所生成的三维CAD模型。在图3至图6中更详细地描述了由处理单元102执行以实现上述功能的方法步骤。

存储单元106可以是存储几何模型数据库116的非暂时性存储介质。几何模型数据库116存储三维CAD模型连同由所述三维CAD模型表示的对象的二维图像的图像向量。输入单元110可以包括能够接收输入信号(例如针对对象的三维CAD模型的请求)的输入设备，诸如键区、触敏显示器、相机(例如，接收基于手势的输入的相机)等。显示单元112可以是具有显示对象的三维CAD模型的图形用户接口的设备。图形用户接口还可以使得用户能够选择用于提供三维CAD模型的CAD命令。总线108充当处理单元102、存储器单元104、存储单元106、输入单元110和显示单元112之间的互连。

本领域普通技术人员将领会到，图1中描绘的硬件组件可以针对特定实现方式而变化。例如，除了所描绘的硬件之外或代替所描绘的硬件，也可以使用其他外围设备，诸如光盘驱动器等、局域网(LAN)/广域网(WAN)/无线(例如，Wi-Fi)适配器、图形适配器、盘控制器、输入/输出(I/O)适配器。所描绘的示例仅出于解释的目的而提供，并且不意味着暗示关于本公开的架构限制。

根据本公开的实施例的数据处理系统100包括采用图形用户接口的操作系统。操作系统允许在图形用户接口中同时呈现多个显示窗口，其中每个显示窗口提供去往不同应用或同一应用的不同实例的接口。用户可以通过定点设备来操纵图形用户接口中的光标。可以改变光标的位置，和/或可以生成诸如点击鼠标按钮之类的事件来促动期望的响应。

如果被适当地修改，可以采用各种商业操作系统中的一个，诸如MicrosoftWindows^TM的版本，这是位于华盛顿雷德蒙中的微软公司的产品。如所描述的那样，根据本公开来修改或创建操作系统。

图2是根据一个实施例的用于基于对象的二维图像来提供对象的三维CAD模型的CAD模块114的框图。CAD模块114包括向量生成模块202、模型搜索模块204、模型排序模块206、模型修改模块208、模型生成模块210和模型输出模块212。

向量生成模块202被配置成生成对象的二维图像的图像向量。二维图像由数据处理系统100的用户来输入，使得数据处理系统100可以提供所述对象的三维CAD模型。在一个实施例中，向量生成模块202使用经训练的卷积神经网络从二维图像生成大小为4096的高维图像向量。例如，向量生成模块202预处理所述二维图像以生成三维图像矩阵，并且使用经训练的VGG卷积神经网络将所述三维矩阵变换成高维图像向量。在预处理所述图像的动作中，向量生成模块202将所述二维图像调整大小至[224，224，3]，并且对经调整大小的图像进行归一化以生成大小为[224，224，3]的三维图像矩阵。在一些实施例中，经训练的VGG卷积神经网络具有卷积层的堆叠，接着是两个全连接(FC)层。第一FC层接受大小为[224，224，3]的三维图像矩阵。所述三维图像矩阵通过每一层被处理，并以期望的形状被传递到第二FC层。第二FC层具有4096个通道。第二FC层将经预处理的三维图像矩阵变换成大小为4096的一维图像向量。

模型搜索模块204被配置成使用经训练的机器学习算法(例如，图10的K-最近邻算法1002)基于所生成的图像向量在几何模型数据库116中执行针对所述对象的所请求的三维CAD模型的搜索。几何模型数据库116包括对象的多个三维CAD模型和对象的二维图像的对应图像向量。在一个实施例中，模型搜索模块204被配置成使用K-最近邻算法将所述二维图像的图像向量与对应于存储在几何模型数据库116中的多个三维CAD模型的图像向量进行比较。在示例性实现方式中，K-最近邻算法指示几何模型数据库116中的每个图像向量与对应于所请求的三维CAD模型的所生成的图像向量相匹配的概率。例如，K-最近邻算法使用诸如欧几里德距离之类的距离度量来计算所生成的图像向量与几何模型数据库116中的每个图像向量的距离。模型搜索模块204输出与所生成的图像向量具有最小距离的图像向量。具有最小距离的图像向量被视为与所生成的图像向量最佳匹配的图像向量。替代地，模型搜索模块204输出相对于所生成的图像向量具有落入预定义范围中的距离的一个或多个图像向量。

模型搜索模块204被配置成从多个三维CAD模型中标识具有与对应于所述对象的所请求的三维CAD模型的图像向量最佳匹配的图像向量的一个或多个三维CAD模型。在示例性实现方式中，模型搜索模块204基于与对应于一个或多个三维CAD模型的图像向量相关联的概率值，从多个三维CAD模型中标识一个或多个三维CAD模型。例如，如果具有概率值的对应于三维CAD模型的图像向量落在预定义范围(例如，0.7至1.0)之内，则模型搜索模块204可以选择三维CAD模型

模型排序模块206被配置成基于与所请求的三维CAD模型的匹配，对所标识的三维CAD模型中的每一个进行排序。在一个实施例中，模型排序模块206基于对应的图像向量的概率值对所标识的三维CAD模型进行排序。例如，如果对应的图像向量与所述二维图像的图像向量相匹配的概率最高的话，模型排序模块206将最高排序指派给所标识的三维CAD模型。这是由于如下事实：最高概率指示所标识的三维CAD模型与所请求的三维CAD模型之间的最佳匹配。因此，模型排序模块206可以选择具有最高排序的所标识的三维CAD模型之一，作为在几何模型数据库116中执行的搜索的结果。

模型修改模块208被配置成：如果所选三维CAD模型与所请求的三维CAD模型之间不存在确切匹配，则修改所选三维CAD模型。在一个实施例中，如果对应于所选三维CAD模型的图像向量的概率值小于1.0，则模型修改模块208确定在所选三维CAD模型与所请求的三维CAD模型之间不存在确切匹配。模型修改模块208将对应于所选三维CAD模型的图像向量与对应于所请求的三维CAD模型的图像向量进行比较。模型修改模块208确定彼此不匹配的图像向量之间的二维点。模型修改模块208使用又一个经训练的机器学习算法(例如，图11的多层感知网络1102A-N)基于所请求的三维CAD模型的图像向量来生成对应于所述二维点的三维点。模型修改模块208使用所述三维点来修改所选三维CAD模型的三维点云模型。例如，模型修改模块208通过用所生成的三维点代替三维点来修改三维点云模型。因此，模型修改模块208基于所选三维CAD模型的经修改的三维点云模型来生成经修改的三维CAD模型。

模型生成模块210被配置成使用又一个经训练的机器学习算法(例如，图11的多层感知网络1102A-N)从所述二维图像的图像向量来生成所述对象的三维CAD模型。在一个实施例中，模型生成模块210被配置成：如果在几何模型数据库116中针对所请求的三维CAD模型的搜索是不成功的，则生成三维CAD模型。如果模型搜索模块204在几何模型数据库116中没有找到任何最佳匹配的(多个)三维CAD模型，则针对所请求的三维CAD模型的搜索是不成功的。在替代实施例中，模型生成模块210被配置成：不在几何模型数据库116中执行针对相似三维CAD模型的搜索的情况下从图像向量生成三维CAD模型。

根据前述实施例，模型生成模块210使用又一个经训练的机器学习算法针对所述二维图像的图像向量中的每个二维点来生成三维点。模型生成模块210基于所述三维点来生成三维点云模型。因此，模型生成模块210基于三维点云模型来生成所请求的三维CAD模型。

模型输出模块212配置成在数据处理系统100的显示单元112上输出所请求的三维CAD模型。替代地，模型输出模块212被配置成生成包括所请求的三维CAD模型的CAD文件，用于使用增材制造过程来制造所述对象。此外，模型输出模块212被配置成将所请求的三维CAD模型连同所述二维图像的图像向量一起存储在CAD文件中。替代地，模型输出模块212被配置成以标准模板库(STL)格式来存储三维点云模型，使得数据处理系统100可以基于以STL格式的三维点云模型来再现三维CAD模型。

图3是描绘了根据一个实施例的在CAD环境中生成对象的三维CAD模型的示例性方法的过程流程图300。在动作302处，从数据处理系统100的用户接收针对物理对象的三维CAD模型的请求。所述请求包括所述对象的二维图像。在动作304处，使用VGG网络从所述二维图像生成图像向量。

在动作306处，使用多层感知网络基于所生成的图像向量来生成所述对象的三维点云模型。在动作308处，使用所述对象的三维点云模型来生成所述对象的三维CAD模型。在动作310处，在数据处理系统100的图形用户接口上输出所述对象的三维CAD模型。在动作312处，将所述对象的三维点云模型和所述二维图像的所生成的图像向量以标准模板库格式存储在几何模型数据库116中。

图4是描绘了根据另一实施例的在CAD环境中生成对象的三维CAD模型的示例性方法的过程流程图400。在动作402处，从数据处理系统100的用户接收针对对象的三维CAD模型的请求。所述请求包括所述对象的二维图像。在动作404处，使用VGG网络从所述二维图像生成图像向量。

在动作406处，基于所生成的图像向量在包括多个三维CAD模型的几何模型数据库116中执行针对所述对象的所请求的三维CAD模型的搜索。在一些实施例中，使用K-最近邻算法，将所述二维图像的所生成的图像向量与跟几何模型数据库116中的相应三维CAD模型相关联的每个图像向量进行比较。在这些实施例中，基于所生成的图像向量与三维CAD模型的图像向量之间的最佳匹配，从几何模型数据库中标识所述三维CAD模型。在动作408处，确定所述对象的三维CAD模型是否在几何模型数据库116中被成功找到。如果所述三维CAD模型在几何模型数据库116中被成功找到，则在动作410处，在图形用户接口上输出所述对象的三维CAD模型。否则，过程400在步骤412处结束。

图5是描绘了根据又一实施例的在CAD环境中提供对象的三维CAD模型的方法的过程流程图500。在动作502处，从数据处理系统100的用户接收针对对象的三维CAD模型的请求。所述请求包括所述对象的二维图像。在动作504处，使用VGG网络从所述二维图像生成图像向量。在动作506处，基于所生成的图像向量在包括多个三维CAD模型的几何模型数据库116中执行针对所述对象的所请求的三维CAD模型的搜索。在一些实施例中，使用K-最近邻算法，将所述二维图像的所生成的图像向量与跟几何模型数据库116中的相应几何模型相关联的每个图像向量进行比较。在这些实施例中，基于所生成的图像向量与一个或多个三维CAD模型的图像向量之间的匹配，从几何模型数据库中标识所述一个或多个三维CAD模型。

在动作508处，确定所述对象的所请求的三维CAD模型是否在几何模型数据库116中被成功找到。如果所述对象的所请求的三维CAD模型在几何模型数据库116中被成功找到，则执行动作18。在动作514处，在数据处理系统100的图形用户接口上输出所述对象的所请求的三维CAD模型。在一个或多个三维CAD模型被找到的情况下，基于与所述对象的所请求的三维CAD模型的匹配，对所述一个或多个三维CAD模型进行排序。因此，基于所述一个或多个三维CAD模型的排序，确定并输出具有与所述二维图像的所生成的图像向量最佳匹配的图像向量的至少一个三维CAD模型。在替代实施例中，所述一个或多个三维CAD模型连同所述一个或多个三维CAD模型的排序被输出。

如果所述对象的所请求的三维CAD模型在几何模型数据库116中没有被找到，则在动作510处，使用多层感知网络基于所生成的图像向量来生成所述对象的三维点云模型。在动作512处，使用所述对象的三维点云模型来生成所述对象的三维CAD模型。在动作514处，在数据处理系统100的图形用户接口上输出所述对象的三维CAD模型。附加地，将所述对象的所生成的三维CAD模型和所述对象的对应二维图像的所生成的图像向量以标准模板库格式存储在几何模型数据库116中。

图6是描绘了根据另一实施例的在CAD环境中提供对象的三维CAD模型的方法的过程流程图600。在动作602处，从数据处理系统100的用户接收针对对象的三维CAD模型的请求。所述请求包括所述对象的二维图像。在动作604处，使用VGG网络从所述二维图像生成图像向量。在动作606处，基于所生成的图像向量在包括多个三维CAD模型的几何模型数据库116中执行针对所述对象的三维CAD模型的搜索。在一些实施例中，使用K-最近邻算法，将所述二维图像的所生成的图像向量与跟几何模型数据库116中的相应几何模型相关联的每个图像向量进行比较。在这些实施例中，基于所生成的图像向量与一个或多个三维CAD模型的图像向量之间的匹配，从几何模型数据库中标识所述一个或多个三维CAD模型。

在动作608处，确定所述对象的所请求的三维CAD模型是否在几何模型数据库116中被成功找到。如果所述对象的所请求的三维CAD模型在几何模型数据库中被成功找到，则在动作610处，基于所述对象的二维图像的所生成的图像向量来修改所标识的三维CAD模型以匹配所述对象的所请求的三维CAD模型。在一个或多个三维CAD模型被找到的情况下，基于与所述对象的所请求的三维CAD模型的匹配，对所述一个或多个三维CAD模型进行排序。因此，基于所述一个或多个三维CAD模型的排序来确定具有与所述二维图像的所生成的图像向量最佳匹配的图像向量的至少一个三维CAD模型。因此，基于所述对象的二维图像的图像向量来修改所确定的三维CAD模型以匹配所请求的三维CAD模型。在步骤616处，在数据处理系统100的图形用户接口上输出所述对象的所请求的三维CAD模型。

如果所述对象的所请求的三维CAD模型在几何模型数据库116中没有被找到，则在动作612处，使用多层感知网络基于所生成的图像向量来生成所述对象的三维点云模型。在动作614处，使用所述对象的三维点云模型来生成所述对象的所请求的三维CAD模型。在动作616处，在数据处理系统100的图形用户接口上输出所述对象的所请求的三维CAD模型。此外，将所述对象的所生成的三维CAD模型和所述对象的对应二维图像的所生成的图像向量存储在几何模型数据库116中。

图7是根据另一实施例的用于提供对象的三维CAD模型的数据处理系统700的示意性表示。具体地，数据处理系统700包括云计算系统702，所述云计算系统702被配置用于提供用于设计对象的三维CAD模型的云服务。

云计算系统702包括云通信接口706、云计算硬件和OS 708、云计算平台710、CAD模块114和几何模型数据库116。云通信接口706使得云计算平台710和用户设备712A-N之间能够经由网络304进行通信，所述用户设备712A-N诸如智能电话、平板电脑、计算机等。

云计算硬件和OS 708可以包括一个或多个其上安装了操作系统(OS)的服务器，并且包括一个或多个处理单元、一个或多个用于存储数据的存储设备、以及对于提供云计算功能所要求的其他外围设备。云计算平台710是如下平台：所述平台经由API和算法在云硬件和OS 708上实现诸如数据存储、数据分析、数据可视化、数据通信之类的功能，并且使用基于云的应用(例如，计算机辅助设计应用)来递送前述云服务。云计算平台710采用CAD模块114以用于基于所述对象的二维图像来提供所述对象的三维CAD模型，如图3至图6中所描述。云计算平台710还包括几何模型数据库116，用于存储对象的三维CAD模型连同对象的二维图像的图像向量。

根据前述实施例，云计算系统702可以使得用户能够使用经训练的机器学习算法来设计对象。特别地，CAD模块114可以基于对象的二维图像的图像向量使用经训练的机器学习算法在几何模型数据库116中针对所述对象的三维CAD模型进行搜索。CAD模块114可以在图形用户接口上输出所述对象的最佳匹配的三维CAD模型。如果几何模型数据库116不具有所请求的三维CAD模型，则CAD模块114基于所述对象的二维图像的图像向量使用另一经训练的机器算法来生成所述对象的所请求的三维CAD模型。云计算系统702可以使得用户能够使用对象的二维图像来远程访问对象的三维CAD模型。

用户设备712A-N包括图形用户接口714A-N，用于接收针对三维CAD模型的请求，并且显示对象的三维CAD模型。用户设备712A-N中的每一个可以被提供有用于与云计算系统702对接的通信接口。用户设备712A-N的用户可以经由图形用户接口714A-N访问云计算系统702。例如，用户可以向云计算系统702发送请求，以使用机器学习模型对几何组件执行几何操作。图形用户接口714A-N可以被专门设计用于访问云计算系统702中的组件生成模块114。

图8图示了根据又一实施例的用于使用机器学习算法来提供对象的三维CAD模型的数据处理系统800的框图。特别地，数据处理系统800包括服务器802和多个用户设备806A-N。用户设备806A-N中的每一个经由网络804(例如，局域网(LAN)、广域网(WAN)、Wi-Fi等)连接到服务器802。数据处理系统800是图1的数据处理系统100的另一实现方式，其中组件生成模块114驻留在服务器802中，并且由用户设备806A-N经由网络804来访问。

服务器802包括组件生成模块114和几何组件数据库116。服务器802还可以包括处理器、存储器和存储单元。CAD模块114可以以机器可读指令的形式被存储在存储器上，并且是由处理器可执行的。几何组件数据库116可以被存储在存储单元中。服务器802还可以包括通信接口，用于实现经由网络804与客户端设备806A-N的通信。

当机器可读指令被执行时，组件生成模块114使得服务器802使用经训练的机器学习算法基于对象的二维图像从几何模型数据库116中搜索并输出对象的三维CAD模型，并且如果所请求的三维CAD模型在几何模型数据库116中没有被找到，则使用另一经训练的机器学习算法来生成对象的三维CAD模型。在图3至图6中更详细地描述由服务器402执行以实现上述功能的方法步骤。

客户端设备812A-N包括图形用户接口814A-N，用于接收针对三维CAD模型的请求，并且显示对象的三维CAD模型。客户端设备812A-N中的每一个可以被提供有用于与云计算系统802对接的通信接口。客户端设备812A-N的用户可以经由图形用户接口814A-N访问云计算系统802。例如，用户可以向云计算系统802发送请求，以使用机器学习模型对几何组件执行几何操作。图形用户接口814A-N可以被专门设计用于访问云计算系统802中的组件生成模块114。

图9图示了根据一个实施例的诸如图2中所示的图像向量生成模块202的示意性表示。如图9中所示，向量生成模块202包括预处理模块902和VGG网络902。预处理模块902被配置成通过对2-D图像906进行调整大小和归一化来预处理对象的2-D图像906。例如，预处理模块902将2-D图像906调整大小至具有3个通道的大小224×224像素，并且利用VGG网络904的均值和标准差(例如，均值＝[0.485，0.456，0.406]，标准差＝[0.229，0.224，0.225])对经调整大小的2-D图像进行归一化。VGG网络904被配置成将经预处理的2-D图像变换成高维隐图像向量908。VGG网络904是卷积神经网络，其被训练成用于将具有3个通道的大小224×224像素的经归一化2-D图像变换成大小为4096的高维隐图像向量908。高维隐图像向量908表示来自2-D图像的相关特征，诸如边缘、拐角、颜色、纹理等。

图10图示了根据一个实施例的诸如图2中所示的模型搜索模块204的模型搜索模块204的示意性表示。如图10中所示，模型搜索模块204采用K-最近邻算法以用于在几何模型数据库116中执行针对由数据处理系统100的用户请求的对象的三维CAD模型的搜索。K-最近邻算法1002可以是无监督机器学习算法，诸如具有欧几里德距离度量的最近邻算法。K-最近邻算法1002基于由图9的VGG网络904生成的高维图像向量908在几何模型数据库116中执行针对所请求的三维CAD模型的搜索。几何模型数据库116存储多种三维CAD模型连同对应的高维图像向量908。在示例性实现方式中，K-最近邻算法1002将高维图像向量908与几何模型数据库116中的高维图像向量进行比较。K-最近邻算法1002从几何模型数据库116中标识(多个)最佳匹配的高维图像向量。模型搜索模块204从几何模型数据库116中检索并输出对应于(多个)最佳匹配的高维图像向量的(多个)三维CAD模型1004。

图11图示了根据一个实施例的诸如图2中所示的模型生成模块210的示意性表示。如图11中所示，模型生成模块210采用多层感知网络1102A-N以基于对象的二维图像的高维图像向量908来生成所述对象的新三维CAD模型。在一些实施例中，当模型搜索模块204不能够在几何模型数据库116中找到任何最佳匹配的三维CAD模型时，模型生成模块210生成所述对象的新三维CAD模型。

在示例性实现方式中，多层感知网络1102A-N生成对应于高维图像向量908中的二维点1104A-N的三维点1106A-N。表示所述对象的二维点在单位正方形空间中被均匀地采样。高维图像向量908与所采样的二维点级联以形成二维点1104A-N

模型生成模块210通过将高维图像向量908中的二维点1104A-N转换成三维点1106A-N来生成三维点云模型。模型生成模块210基于三维点云模型来生成所述对象的新三维CAD模型。

多层感知网络1102A-N包括大小为4096、1024、516、256和128的五个全连接层，其中在前四层上而不是在最后第五层(例如，输出层)上具有校正线性单元(ReLU)。多层感知网络1102A-N被训练，并且从输入数据(例如，与所采样的二维点级联的图像向量)生成数目为N的三维表面片块点。通过测量所生成的三维表面片块点与最接近的地面真值三维表面片块点之间的差，利用倒角距离损失(Chamfer distance loss)来评估经训练的多层感知网络1102A-N。当所生成的三维表面片块点与最接近的地面真值三维表面片块点之间的差在可接受的限度之内或者可忽略时，多层感知网络1102A-N是经训练的。经训练的多层感知网络1102A-N可以准确地生成与对象的二维图像的图像向量中的二维点相对应的三维表面片块点。

要理解的是，本文中描述的系统和方法可以在各种形式的硬件、软件、固件、专用处理单元或其组合中实现。本实施例中的一个或多个可以采取计算机程序产品的形式，包括从存储程序代码的计算机可用或计算机可读介质来可访问的程序模块，该程序代码用于由一个或多个计算机、处理单元或指令执行系统使用或与其结合地使用。出于本描述的目的，计算机可用或计算机可读介质可以是可包含、存储、传送、传播或传输用于由指令执行系统、装置或设备使用或与其结合地使用的程序的任何装置。该介质可以是电子的、磁的、光学的、电磁的、红外的或半导体系统(或装置或设备)、或者它们中的传播介质以及其本身的传播介质，因为信号载体不被包括在物理计算机可读介质的定义中，该物理计算机可读介质包括半导体或固态存储器、磁带、可移除计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、刚性磁盘、光盘，诸如压缩盘只读存储器(CD-ROM)、压缩盘读/写、数字多功能盘(DVD)或其任何组合。如本领域技术人员所已知，用于实现该技术的每个方面的处理单元和程序代码两者可以是集中式的或分布式的(或其组合)。

虽然已经参考某些实施例详细地描述了本公开，但是本公开不限于那些实施例。鉴于本公开，对于本领域的技术人员来说，在不脱离如本文中描述的本公开的各种实施例的范围的情况下，许多修改和变型本身将会存在。因此，本公开的范围由以下权利要求而不是由前述描述来指示。在权利要求的等同的意义和范围内的所有改变、修改和变型要被视为在该范围内。

要理解的是，所附权利要求中记载的元素和特征可以以不同的方式被组合，以产生同样落在本公开范围内的新权利要求。因此，尽管下面所附的从属权利要求仅从属于单个独立或从属权利要求，但是要理解的是，这些从属权利要求可以替代地被使得作为替代从属于任何前面或后面的权利要求，无论是独立的还是从属的，并且这样的新的组合要被理解为形成本说明书的一部分。

Claims (20)

1.一种在CAD环境中提供对象的三维计算机辅助设计(CAD)模型的方法，所述方法包括：

由数据处理系统接收针对物理对象的三维CAD模型的请求，其中所述请求包括所述对象的二维图像；

使用第一经训练的机器学习算法从所述二维图像来生成图像向量；

使用第二经训练的机器学习算法基于所生成的图像向量来生成所述对象的三维点云模型；

使用所述对象的三维点云模型来生成所述对象的三维CAD模型；以及

在图形用户接口上输出所述对象的三维CAD模型。

2.根据权利要求1所述的方法，进一步包括将所述对象的所述三维点云模型和所述二维图像的所生成的图像向量存储在几何模型数据库中。

3.根据权利要求2所述的方法，进一步包括：

接收针对所述对象的三维CAD模型的请求，其中所述请求包括所述对象的二维图像；

使用第一经训练的机器学习算法从所述二维图像生成图像向量；

基于所生成的图像向量，在包括多个三维CAD模型的几何模型数据库中执行针对所述对象的三维CAD模型的搜索；

确定所述对象的三维CAD模型是否在几何模型数据库中被成功找到；以及

在图形用户接口上输出所述对象的三维CAD模型。

4.根据权利要求3所述的方法，其中使用第三经训练的机器学习算法在几何模型数据库中执行针对所述对象的三维CAD模型的搜索包括：

使用第三机器学习算法将所述二维图像的所生成的图像向量与跟几何模型数据库中的相应三维CAD模型相关联的每个图像向量进行比较；以及

基于所生成的图像向量与三维CAD模型的图像向量之间的最佳匹配，从几何模型数据库中标识所述三维CAD模型。

5.一种在CAD环境中提供对象的三维计算机辅助设计(CAD)模型的方法，所述方法包括：

由数据处理系统接收针对对象的三维CAD模型的请求，其中所述请求包括所述对象的二维图像；

使用第一经训练的机器学习算法从所述二维图像生成图像向量；

基于所生成的图像向量，在包括多个三维CAD模型的几何模型数据库中执行针对所述对象的三维CAD模型的搜索；

确定所述对象的所请求的三维CAD模型是否在几何模型数据库中被成功找到；以及

当所述对象的所请求的三维CAD模型在几何模型数据库中被成功找到时，在图形用户接口上输出所述对象的所请求的三维CAD模型。

6.根据权利要求5所述的方法，进一步包括：

当所述对象的所请求的三维CAD模型在几何模型数据库中没有被找到时，使用第二经训练的机器学习算法基于所生成的图像向量来生成所述对象的三维CAD模型；以及

在图形用户接口上输出所述对象的所生成的三维CAD模型。

7.根据权利要求6所述的方法，其中使用第二经训练的机器学习模型基于所生成的图像向量来生成所述对象的三维CAD模型包括：

使用第二经训练的机器学习算法基于所生成的图像向量来生成所述对象的三维点云模型；以及

使用所述对象的三维点云模型来生成所述对象的三维CAD模型。

8.根据权利要求7所述的方法，进一步包括将所述对象的所生成的三维CAD模型和所述对象的对应二维图像的所生成的图像向量存储在几何模型数据库中。

9.根据权利要求5所述的方法，其中在几何模型数据库中执行针对所述对象的三维CAD模型的搜索包括使用第三经训练的机器学习算法在几何数据库中执行针对所述对象的三维CAD模型的搜索。

10.根据权利要求9所述的方法，其中使用第三经训练的机器学习算法在几何模型数据库中执行针对所述对象的三维CAD模型的搜索包括：

使用第三机器学习算法将所述二维图像的所生成的图像向量与跟几何模型数据库中的相应几何模型相关联的每个图像向量进行比较；以及

基于所生成的图像向量与一个或多个三维CAD模型的图像向量之间的匹配，从几何模型数据库中标识所述一个或多个三维CAD模型。

11.根据权利要求10所述的方法，进一步包括：

基于与所述对象的所请求的三维CAD模型的匹配，对所述一个或多个三维CAD模型进行排序；以及

基于所述一个或多个三维CAD模型的排序来确定具有与所述二维图像的所生成的图像向量最佳匹配的图像向量的至少一个三维CAD模型。

12.根据权利要求11所述的方法，进一步包括基于所述二维模型的所生成的图像向量来修改所确定的三维CAD模型。

13.一种数据处理系统，包括：

处理单元；以及

耦合到所述处理单元的存储器单元，其中所述存储器单元包括CAD模型，所述CAD模型被配置成：

接收针对对象的三维计算机辅助设计(CAD)模型的请求，其中所述请求包括所述对象的二维图像；

使用第一经训练的机器学习算法从所述二维图像生成图像向量；

基于所生成的图像向量，在包括多个三维CAD模型的几何数据库中执行针对所述对象的三维CAD模型的搜索；

确定所述对象的所请求的三维CAD模型是否在几何模型数据库中被成功找到；以及

当所述对象的所请求的三维CAD模型在几何模型数据库中被成功找到时，在图形用户接口上输出所述对象的所请求的三维CAD模型。

14.根据权利要求13所述的数据处理系统，其中所述CAD模块被配置成：

当所述对象的所请求的三维CAD模型在几何模型数据库中没有被找到时，使用第二经训练的机器学习算法基于所生成的图像向量来生成所述对象的三维CAD模型；以及

在图形用户接口上输出所述对象的所生成的三维CAD模型。

15.根据权利要求14所述的数据处理系统，其中在使用第二经训练的机器学习模型基于所生成的图像向量来生成所述对象的三维CAD模型中，所述CAD模块被配置成：

使用第二经训练的机器学习算法基于所生成的图像向量来生成所述对象的三维点云模型；以及

使用所述对象的三维点云模型来生成所述对象的三维CAD模型。

16.根据权利要求15所述的数据处理系统，其中所述CAD模块被配置成将所述对象的所生成的三维CAD模型和所述对象的对应二维图像的所生成的图像向量存储在几何模型数据库中。

17.根据权利要求13所述的数据处理系统，其中在几何模型数据库中执行针对所述对象的三维CAD模型的搜索中，所述CAD模块被配置成使用第三经训练的机器学习算法在几何数据库中执行针对所述对象的三维CAD模型的搜索。

18.根据权利要求17所述的数据处理系统，其中在使用第三经训练的机器学习算法在几何模型数据库中执行针对所述对象的三维CAD模型的搜索中，所述CAD模块被配置成：

使用第三机器学习算法将所述二维图像的所生成的图像向量与跟几何模型数据库中的相应几何模型相关联的每个图像向量进行比较；以及

基于所生成的图像向量与一个或多个三维CAD模型的图像向量之间的匹配，从几何模型数据库中标识所述一个或多个三维CAD模型。

19.根据权利要求18所述的数据处理系统，其中所述CAD模块被配置成：

基于与所述对象的所请求的三维CAD模型的匹配，对所标识的一个或多个三维CAD模型进行排序；以及

基于所述一个或多个三维CAD模型的排序来确定具有与所述二维图像的所生成的图像向量最佳匹配的图像向量的至少一个三维CAD模型。

20.根据权利要求19所述的数据处理系统，其中所述CAD模块被配置成基于所述二维模型的所生成的图像向量来修改所确定的三维CAD模型。

Images