CN118235165A - 用于从点云创建用于数字孪生的3d模型的方法和系统 - Google Patents

Abstract

本发明提出了用于从点云创建CAD模型的系统和方法，该方法包括：使用分割算法(在下文中为“SA”)，该SA被配置用于：在所述点云中检测所述一个或几个对象中的至少一个对象，并且针对在点云中检测到的每个对象输出，针对每个检测到的对象，确定其对象类型所属于的族，并且然后通过对分配给或关联至所述bbox列表中的bbox的点集运行点云网格划分算法来自动创建CAD模型；经由接口自动提供(206)所创建的CAD模型。

Description

用于从点云创建用于数字孪生的3D模型的方法和系统

本申请要求于2021年11月11日提交的国际专利申请PCT/IB2021/060439的优先权，该国际专利申请的公开内容通过引用整体并入本文。

技术领域

本公开内容总体上涉及计算机辅助设计、可视化和制造(“CAD”)系统、产品生命周期管理(“PLM”)系统、产品数据管理(“PDM”)系统、生产环境模拟、以及管理产品和其他项的数据的相似系统(统称为“产品数据管理”系统或PDM系统)。更具体地，本公开内容涉及生产环境模拟。

背景技术

在制造工厂设计中，制造资产的三维(“3D”)数字模型用于各种制造规划目的。这样的用途的示例包括但不限于制造过程分析、制造过程模拟、设备碰撞检查和虚拟调试。

如本文中使用的，术语制造资产和装置表示制造线(manufacturing lines)中存在的任何资源、机器、零件和/或任何其他对象如机器。

制造过程规划人员在建造或修改生产线之前使用数字解决方案来规划、验证和优化生产线(production lines)，以使误差最小化并且缩短调试时间。

在工厂线的资产的3D数字建模阶段期间，通常需要过程规划人员。

在对制造线的生产过程进行数字规划时，制造模拟规划人员需要将作为生产线的一部分的多种装置插入到虚拟场景中。工厂装置的示例包括但不限于：工业机器人及其工具；运输资产像例如输送机、转台；安全资产像例如栅栏、大门；自动化资产像例如夹具、抓器、抓取零件的固定装置等。

在这样的上下文中，点云，即由空间中的数据点集对物理对象或环境进行的数字表示，对于工业世界中的应用变得越来越重要。事实上，用3D扫描仪获取点云使得例如能够快速获得场景的3D图像例如车间的生产线的3D图像，与使用3D工具设计相同场景相比，所述3D图像更正确(就内容而言)并且是最新的。点云技术快速提供感兴趣的对象的当前且正确的表示的这种能力对于决策采取和任务规划来说有非常大的意义，因为其示出了车间的最新和准确的状态。

根据所述点云，然后可以使用网格划分技术来重建所述环境或对象的图像例如2D或3D图像。网格划分技术被配置用于从云的点创建3D网格，将点云转换成3D表面。如今，能够使用网格划分工具自动创建这样的网格，或者甚至从整个点云场景直接创建CAD模型。不幸地，得到的CAD模型不准确且质量低。其他技术基于点云的手动选择并且基于现有CAD场景对其进行标记以手动创建相对应的CAD模型，或者基于将现有CAD模型库的CAD模型映射回点云上，因此尝试将点云的点与不完全匹配场景的环境或对象的现有CAD模型对准。上述技术中的每一种不提供令人满意的结果，特别是因为所考虑的要网格化的场景是复杂的并且包括不同类型的各种对象。然后所得到的网格划分在全局上不准确到足以供进一步使用，并且需要来自用户的重新设计，这是耗时且耗能的。

因此，期望从点云创建用于3D模型的改进技术。

发明内容

各种公开的实施方式包括用于处理表示包括一个或几个对象的场景的点云并且从所述点云自动创建所述对象中的至少一个对象的准确的CAD模型的方法、系统和计算机可读介质。方法包括：例如经由第一接口获取或接收表示场景的点云，其中，所述场景包括所述一个或几个对象；使用分割算法(在下文中为“SA”)来在所述点云中检测所述一个或几个对象中的至少一个对象(即，所述一个或几个对象中的至少一个对象的“点”表示)，SA被配置用于针对在所述点云中检测到的每个对象输出对象类型和边界框(在下文中为“bbox”)列表，其中，对象类型属于SA已经被训练成识别的一个或几个预定义对象类型的集合，并且其中，bbox列表中的每个bbox定义点云内的空间定位，该点云内的空间定位包括所述点云的表示所述对象或所述对象的一部分(即，其属于所述对象或所述部分)的点集；接收或获取一个或几个对象族，其中，每个对象族包括针对点云网格划分算法定义的轮廓，其中，所述轮廓被配置用于指定在将表示属于所述对象族的对象的点云转换成3D表面时要由所述点云网格划分算法使用的网格划分技术，例如网格划分参数，其中，每个族包括所述预定义对象类型中的一个或几个对象类型，使得每个预定义对象类型被分配给单个族，并且其中，每个族被分配给不同的轮廓；针对检测到的每个对象，确定其对象类型所属于的族，并且然后通过对分配给或关联至所述bbox列表中的bbox的点集运行点云网格划分算法来自动创建CAD模型，其中，所述运行包括：使用针对分配给所检测到的对象的对象类型所属于的族的轮廓而定义的网格划分技术来将所述点集转换成CAD模型的3D表面；经由可以与第一接口相同的第二接口自动提供(206)所创建的CAD模型。所创建的CAD模型可以被自动存储在数据库中。优选地，该方法包括由所创建的CAD模型自动替换分配给或关联至所述列表的bbox的点集。优选地，该方法还包括显示所创建的CAD模型。

因此，SA被配置用于：接收所述点云作为输入，在所述点云内识别所述点集(或点群)中的一个或几个点集(或点群)，其中，每个点集定义体积(即，点的特定空间分布和/或配置)，所述体积由SA识别为表示属于预定义对象类型之一的对象或对象的一部分，即，SA已经被训练成辨别或识别的对象或对象部分。根据已知的点云技术，每个点集定义体积的表示所述对象的形状或所述对象的所述部分的形状的外表面或边界。因此，SA被配置用于从云的点的空间分布和/或配置检测点云中的所述一个或几个对象，因此识别其点空间配置和/或分布(例如，相对于一个或几个其他点集的取向、位置和大小)与已经被训练成识别的所述预定义类型的对象之一的空间配置和/或分布匹配的点集，其中，然后，将所述识别的点集中的每一个关联至描述点云内的有关点集的空间定位的bbox。最后，SA被配置用于针对每个检测到的对象输出对象类型和包括所有bbox的bbox列表，所有bbox各自关联至被识别为属于所检测到的对象(即，是所检测到的对象的一部分)的点集。特别地，SA可以被配置用于：组合几个点集(因此产生相对应的bbox的组合)以检测所述对象之一，并且将所述对象类型分配给所述对象之一。bbox通常被配置用于围绕所识别的点集中的点，当考虑由相对于坐标系给出的位置表征的点云的每个点时，bbox通常是矩形的，其中，bbox的位置由其角的位置定义。优选地，针对检测到的每个对象和/或检测到的对象的每个部分，SA还被配置用于执行所述检测到的对象和/或所检测到的对象的一部分所属于的对象族的所述确定。出于此目的，SA可以被配置用于将每种对象类型自动分类至对象族中，因此将所检测到的每个对象/所检测到的对象的一部分分类至已经针对其定义了特定网格划分轮廓的对象族中。与现有技术相比，这提供了提高属于已经针对其定义了轮廓的不同对象族的场景的对象的CAD模型的准确性的技术优点，因为根据本发明的系统将根据已经针对有关对象确定的对象族和相关联的轮廓自动适配将由用于将有关对象转换成CAD模型的点云网格划分算法使用的最适当的网格划分技术。

还公开了包括处理器和可访问存储器或数据库的数据处理系统，其中，数据处理系统被配置成执行先前描述的方法。

本发明还提出了编码有可执行指令的非暂态计算机可读介质，可执行指令在被执行时，使一个或更多个数据处理系统执行先前描述的方法。

本发明还提出了用于由数据处理系统提供经训练的算法的计算机实现的方法的示例，该经训练的算法用于检测表示场景的点云中的至少一个对象，并且将从一个或几个预定义类型的集合中选择的对象类型和一个或几个点集的列表和/或bbox列表分配给每个检测到的对象。该计算机实现的方法包括：

-接收输入训练数据，其中，输入训练数据包括多个点云，每个点云表示场景，优选地表示不同的场景，每个场景包括一个或几个对象；

-接收输出训练数据，其中，对于作为输入接收到的每个点云，输出训练数据针对从所述一个或几个预定义类型的集合中选择的对象类型、bbox列表包括场景的至少一个对象、优选地每个对象，并且将场景的至少一个对象、优选地每个对象关联至从所述一个或几个预定义类型的集合中选择的对象类型、bbox列表，并且可选地关联至从一个或几个预定义对象族的集合中选择的对象族，其中，bbox列表中的每个bbox定义所述点云内的空间定位，所述空间定位包括表示(即，属于)所述对象或所述对象的一部分的点集。换句话说，所述bbox列表将表示所述场景的点云的一个或几个点集的列表映射至所述对象或所述对象的一部分，其中，每个点集定义表示所述对象或所述对象的所述部分(例如，机器人的手臂)的点群，因此将至少一种对象类型(例如，表示机器人的手臂的群可能属于类型“手臂”并且属于类型“机器人”)分配给所述群中的每一个。因此，输出训练数据被配置用于针对所述点集中的每一个定义bbox或者用于将bbox分配给所述点集的每一个，bbox被配置用于描述有关点集相对于点云(即，相对于点云坐标系)的空间定位，因此将对象类型和与所述一个或几个点集的列表相对应的bbox列表分配给场景的每个对象。可选地，输出训练数据将每个对象类型关联至对象族，因此使得能够训练将所检测到的对象分类至对象类型和族中的算法；

-基于输入训练数据和输出训练数据来训练算法；

-提供所得的经训练的算法。

前面已经相当广泛地概述了本公开内容的特征和技术优点，以便本领域技术人员可以更好地理解下面的详细描述。在下文中，将描述本公开内容的形成权利要求的主题的另外的特征和优点。本领域技术人员将理解的是，他们可以容易地使用所公开的构思和具体实施方式作为修改或设计用于实现本公开内容的相同目的的其他结构的基础。本领域技术人员还将认识到，这样的等同构造不会脱离本公开内容在其最广泛的形式上的精神和范围。

在进行下面的详细描述之前，阐述贯穿本专利文件使用的某些词或短语的定义可能是有利的：术语“包括”和“包含”以及其派生词意味着包括但不限于；术语“或”是包含性的，意味着和/或；短语“与……相关联”和“与之相关联”及其派生词可以意味着包括、包括在……内、与……互连、包含、包含在……内、连接至或与……连接、耦合至或与……耦合、与……可通信、与……合作、交错、并置、靠近、绑定至或与……绑定、具有、具有……的特性等；以及术语“控制器”意味着控制至少一个操作的任何装置、系统或其一部分，无论这样的装置是以硬件、固件、软件或是其中至少两种的一些组合来实现的。应当注意，无论是本地的或是远程的，与任何特定控制器相关联的功能可以是集中的或分布的。本专利文件通篇提供了某些词和短语的定义，并且本领域普通技术人员将理解，这样的定义在许多(如果不是大多数)情况下适用于这样定义的词和短语的先前和将来的使用。虽然一些术语可以包括各种各样的实施方式，但是所附权利要求可以明确地将这些术语限制到具体实施方式。

附图说明

为了更全面地理解本公开内容及其优点，现在参考结合附图进行的以下描述，其中，相同的附图标记表示相同的对象，并且在附图中：

图1示出了可以实现实施方式的数据处理系统的框图。

图2示出了描述根据本发明的用于从点云自动创建CAD模型的方法的优选实施方式的流程图。

图3示意性地示出了根据本发明的点云。

具体实施方式

下面讨论的图1至图3以及在本专利文件中用于描述本公开内容的原理的各种实施方式仅是说明的方式，并且不应以任何方式而被解释成限制本公开内容的范围。本领域技术人员将理解的是，本公开内容的原理可以在任何适当布置的装置中实现。将参照示例性非限制性实施方式来描述本申请的众多创新性教导。

尤其是当从包括属于不同对象族例如机器人、围栏、电子电路等的对象的场景的点云生成CAD模型时，用于从点云创建CAD模型的当前技术不是足够准确的以及/或者需要用户输入以及/或者需要CAD模型库。本发明事实上提出了用于克服这些缺点的有效方法和系统，例如数据处理系统。事实上，由本发明提出的解决方案能够通过使得能够将专门适用于相关对象的网格划分技术和/或网格划分参数集应用于有关对象以将表示有关对象的点转换成CAD模型的3D表面从表示包括几个对象(其中，至少两个对象各自属于不同的对象族)的这样的场景的点云自动生成针对所述两个对象中的任一个的非常精确的CAD模型，例如针对这两个对象的非常精确CAD模型。本发明通过使针对所述场景的多个对象中的任一个创建有关对象的非常精确的CAD模型成为可能来实现自动创建包括属于不同对象族的多个对象的复杂场景的精确CAD模型。如下面更详细地说明的，这通过将对象类型关联至场景中检测到的每个对象，然后通过将所述对象类型分类至已经预定义了网格划分轮廓的对象族中，并且使用所述网格划分轮廓将对象点转换成CAD模型成为可能。

图1示出了数据处理系统100的框图，在数据处理系统100中，实施方式可以被实现为例如具体地由软件或者其他方式配置以执行本文描述的过程的PDM系统，并且特别是被实现为本文描述的多个互连和通信系统中的每一个。所示的数据处理系统100可以包括连接至二级高速缓冲存储器/桥接器104的处理器102，二级高速缓冲存储器/桥接器104又连接至本地系统总线106。本地系统总线106可以是例如外围部件互连(PCI)架构总线。主存储器108和图形适配器110也连接至所示示例中的本地系统总线。图形适配器110可以连接至显示器111。

诸如局域网(LAN)/广域网/无线(例如WiFi)适配器112的其他外围装置也可以连接至本地系统总线106。扩展总线接口114将本地系统总线106连接至输入/输出(I/O)总线116。I/O总线116连接至键盘/鼠标适配器118、盘控制器120和I/O适配器122。盘控制器120可以连接至存储装置126，该存储装置126可以是任何可用的合适机器或机器可读存储介质，包括但不限于非易失性硬编码类型的介质，诸如只读存储器(ROM)或电可擦可编程只读存储器(EEPROM)、磁带存储装置和诸如软盘、硬盘驱动器和致密盘只读存储器(CD-ROM)或数字多功能盘(DVD)的用户可记录类型的介质、以及其他已知的光、电或磁存储装置。

音频适配器124也连接至所示示例中的I/O总线116，扬声器(未示出)可以连接至音频适配器124以用于播放声音。键盘/鼠标适配器118提供用于诸如鼠标、轨迹球、轨迹指针、触摸屏等的定点装置(未示出)的连接。

本领域普通技术人员将理解的是，图1中所示的硬件可以针对特定的实现方式而变化。例如，除了所示的硬件之外或代替所示的硬件，也可以使用诸如光盘驱动器等的其他外围装置。仅出于说明的目的来提供所示的示例，并且所示的示例并不意味着暗含针对本公开内容的架构限制。

根据本公开内容的实施方式的数据处理系统可以包括采用图形用户界面的操作系统。操作系统允许在图形用户界面中同时呈现多个显示窗口，其中，每个显示窗口向不同的应用提供界面或者向同一应用的不同实例提供界面。可以由用户通过定点装置来操纵图形用户界面中的光标。可以改变光标的位置和/或产生诸如点击鼠标按钮的事件来驱动期望的响应。

如果被适当地修改，则可以使用各种商业操作系统中的一种，诸如位于华盛顿州雷蒙德市的微软公司的产品微软视窗(Microsoft Windows^TM)的版本。根据如所描述的本公开内容修改或创建操作系统。

LAN/WAN/无线适配器112可以连接至网络130(不是数据处理系统100的一部分)，该网络130可以是任何公共或私人数据处理系统网络或如本领域技术人员已知的包括因特网的网络的组合。数据处理系统100可以通过网络130与服务器系统140进行通信，该服务器系统140也不是数据处理系统100的一部分，但是该服务器系统140可以被实现为例如单独的数据处理系统100。

图2示出了根据本发明的用于从点云创建CAD模型的方法的流程图。将在下文中结合图3详细说明该方法，图3提出了例如通过点云扫描仪、尤其是3D扫描仪从包括几个对象的场景中获取的点云300的示意性和非限制性图示。如本领域中已知的，点云扫描仪被配置用于扫描作为真实场景的场景例如制造厂的生产线，并且从所述扫描中收集点云数据，即空间中的一个或几个数据点集，其中，每个点位置由一组位置坐标表征，并且每个点还可以由颜色表征。所述点表示场景的对象的外表面，并且因此扫描仪在所述点云数据内记录关于属于扫描仪周围的对象的外表面的多个点在所述空间内的位置的信息，并且因此可以从所述点云数据重建其周围环境的2D或3D图像，即已经收集了点的所述场景的2D或3D图像。当然，本发明不限于这种特定类型的扫描仪，并且可以从被配置用于输出这样的点云数据的任何其他类型的扫描仪接收或获取点云数据。

本发明对于创建场景的CAD模型或所述场景的一个或几个对象的CAD模型是特别有利的，其中，所述场景包括各自属于不同对象族的至少两个对象。根据本发明，每个对象族包括共享相似或相同的外部形状和/或特征和/或配置的一种或几种类型的对象，使得相同的网格划分轮廓可以用于借助于点云网格划分算法将表示属于相同族的对象类型的对象的点云转换成CAD模型。例如，图3中所示的点云包括桌子301、第一机器人302和第二机器人303。桌子301可以是被称为例如“家具”族的第一族的一部分，该第一族包括可以针对其通过网格划分算法使用相同的网格划分轮廓的不同类型的桌子(例如，圆桌子、方桌子)、不同类型的椅子等。机器人302和303可以属于被称为例如“机器人”族的相同族，“机器人”族包括不同类型的机器人，针对不同类型的机器人定义了另一网格划分轮廓，并且将根据本发明自动应用另一网格划分轮廓。当然，可以具有针对3D运动机器人的族，以及针对2D运动或平面运动机器人等的另一族，然后每个族关联至定义了要应用于属于所述族的对象类型的网格划分技术的轮廓。特别地，网格划分轮廓被配置用于针对检测到的对象定义的bbox的列表中的每个bbox定义一个或几个网格划分参数，所述一个或几个网格划分参数必须由点云网格划分算法使用以对关联至有关的bbox的点集进行网格划分。这使得能够针对所检测到的对象的每个部分具有用于将表示所述部分的点转换成所述部分的CAD模型的最适用的网格划分技术。通常，如果机器人包括从第一圆柱形手臂段延伸至第二圆柱形手臂段的连线，则本发明提出使用定义用于将表示所述连线的点转换成所述连线的3D CAD模型的网格参数的轮廓，所述网格参数与将用于将表示第一圆柱形手臂段和第二圆柱形手臂段的点转换成其3D CAD表示的网格参数不同。

在步骤201处，根据本发明的系统例如经由第一接口获取或接收表示包括一个或几个对象例如桌子301、第一机器人302和第二机器人303的场景的点云300，其中，优选地，至少两个对象各自属于不同的对象族。如本领域中已知的，点云的所述点定义了所述场景的对象的外表面，并且因此定义了对象的(外部)形状。通过获取或接收点云，必须理解的是系统获取到或接收到点云数据。所述点云数据可以从点云扫描仪和/或从数据库接收，以及/或者由操作者提供等。点云数据包括空间中的数据点集，如本领域中在参考点云技术时已知的。根据所述点云数据，尤其是使用能够从点云的点创建对象外表面的网格划分技术可以重建场景的图像例如2D或3D图像。图3简单地示出了点云300在笛卡尔空间中的点。换句话说，可以在笛卡尔坐标系或任何其他适当的坐标系中表示点云数据的点。可选地和附加地，根据本发明的系统可以获取或接收所述场景的一个或几个图像(例如，共面像素集合)，其中，优选地，从所述点云或点云数据例如从已经用于通过扫描所述场景来收集点的云的所述扫描仪创建每个图像。所述图像可以是场景的2D或3D表示。

在步骤202处，系统使用SA在所述点云中检测场景的所述一个或几个对象中的至少一个对象。SA被配置用于针对每个检测到的对象输出对象类型和包括一个或几个bbox的bbox列表，每个bbox尤其地描述表示所述检测到的对象或所述检测到的对象的一部分(即，属于所述检测到的对象或所述检测到的对象的一部分的表示)的点集在所述点云内的空间定位。为了使得SA能够检测场景的对象，发生训练过程。事实上，根据本发明的SA是经训练的算法，即机器学习(ML)算法，其被配置用于：接收所述点云和可选地场景的所述一个或几个图像作为输入，并且然后可选地使用所述图像(尤其是所述图像中包括的信息，如RGB信息)作为输入来自动检测所接收到的点云中的一个或几个对象，改进所述对象的检测，以及针对每个检测到的对象输出所述对象类型和bbox的列表。有利地，由于与点云噪声相比所述图像的噪声降低，将所述图像与点云一起用作到SA的输入改进了由SA进行的对象检测。特别地，SA可以被配置用于将接收到的场景的2D或3D图像与所述场景的点云进行匹配，以获取关于所述场景的对象的附加或更精确的信息：通常，可以在所述场景中的与点云的点的位置相对应的位置处发现的图像信息(例如，颜色、表面信息等)可以被SA使用以确定特定点是否属于检测到的对象或对象部分。

根据本发明，SA已经被训练用于在点云内识别点集，所述点集的空间分布和/或配置(尤其是相对于所述点云的另一点集)与表示已经用于SA的训练的场景的对象的点集的空间分布和/或配置匹配。通过“匹配”，其必须被理解成例如“相同或相似的比例”、“相同或相似的几何配置”(例如，点集相对于各自表示相同对象的一部分的另一点集的几何取向)、“相同或相似的形状”等。因此，由SA识别的每个点集表示由于SA的训练SA已经能够在点云内识别出或辨别出的对象或对象的一部分。点集中的点通常在空间上连续。因此，SA被训练成在所述点云中识别或检测定义体积(在“形状”的意义上)的不同点集，该体积对应(即相似)于已经被训练成检测的对象类型的体积，以及/或者该体积示出彼此(即当将一个体积与一个或几个其他体积组合时)相似或相同的空间“分布和/或配置和/或比例”相对于与已经被训练成检测/识别的对象的不同部分相对应的体积的空间“分布和/或配置和/或比例”。例如，SA可能已经被训练成在点云数据中识别不同类型的机器人，并且能够识别机器人身体的不同部位。因此，SA的训练使得SA能够有效地识别点云内的点的一些“预定义”空间分布和/或配置，并且将至少一种类型的对象分配给由所述“预定义”空间分布和/或配置之一表征的每个点集。所获得的不同点集(或体积)，并且尤其是其如何组合在一起，使得SA能够检测由所述不同体积(即，不同的点集)的组合产生的更复杂的对象如机器人。换句话说，使得SA能够区分对应于点集的第一组合(即，空间分布和/或配置)的第一对象类型例如“机器人”与对应于点集的第二组合的第二对象类型例如“桌子”，其中，每个组合优选地是点集的空间分布/配置的函数。因此，SA可以组合所述识别到的点集中的几个以确定对象类型，然后bbox列表被配置用于列出其相关联的点集是所述组合的一部分的bbox。事实上，并且优选地，SA被配置用于根据相交或交叠(当考虑由每个集合表示的体积时)的点集的空间配置和相互关系来确定所述对象类型。例如，第一体积或点集可能与杆(杆可能属于类型“桌腿”、“机器人手臂”等)相对应，与第一体积相交/交叠的第二体积可能与夹具(夹具可能属于类型“机器人”、“工具”等)相对应，以及与第一体积相交/交叠的第三体积可能与被配置用于移动杆的致动器(致动器可能属于类型“机器人”等)相对应，并且由于3个体积的相互关系(相应取向，大小等)和/或空间配置和/或空间分布，SA能够确定3个体积(即，点集)属于类型“机器人”的对象。此外，SA优选地被配置用于针对已经识别的每个点集定义所述bbox或者用于将所述bbox分配给已经识别到的每个点集。bbox定义了点云内的包含其被分配到的点集的区域或体积。优选地，其是分段体积，即对象或其部分之一的3D体积表示，包括关于所述对象或部分的空间定位、取向和大小的信息。例如，机器人的手臂可以由相对于彼此具有特定取向、定位和大小的3个圆柱形形状表示，所述圆柱形形状中的每一个是根据本发明的bbox。因此，关联至对象的bbox或关联至对象的部分的相应bbox由与场景的所述(真实)对象或场景的所述(真实)对象的相应部分的地理特性直接相关的地理特性表征。不存在关于bbox的形状的限制，但简单的3D体积或形状如圆柱形、球形、棱镜是优选的。因此，SA被配置用于将每个识别到的点集映射至bbox。bbox的示例在图3中由具有附图标记321、331、343、333、353、323的矩形示出，但其可能具有便于在显示器上突出显示特定对象或对象的一部分的任何其他形状。特别地，本领域已知的机器学习算法可以用于检测所述图像中的所述对象，以帮助SA确定与对象或对象部分相对应的点集。最后，如先前所说明的，SA被配置用于针对每个检测到的对象输出对象的类型和bbox列表。

根据本发明，对象的类型属于SA已经被训练成检测或识别的一个或几个预定义对象类型的集合。例如，返回参照图3，一种对象类型或类别可以是“机器人”，其中，第一机器人302和第二机器人303属于相同的对象类型。SA也可以被配置成识别不同类型的机器人。根据图3，另一种对象类型或种类可以是“桌子”。基于图3，仅对象301被检测为属于类型“桌子”。SA可以检测或识别整个对象和/或对象部分。例如，SA优选地被配置用于检测对象部分或元件如与每个桌腿321相对应的点集、桌面331的另一点集、机器人手臂323、333的其他点集以及机器人夹具343的其他点集等。因此，SA被配置用于即被训练用于在作为输入接收的点云中识别与SA已经被训练成识别或辨别出的整个对象或对象部分相对应的一个或几个点集。SA通常被配置用于将每个检测到的对象(或对象部分)，即识别到的点集，分类在所述预定义类型之一中。特别地，由不同的形状、边缘、大小、取向等表征的多个对象或对象部分可能属于相同的对象类型。例如，圆桌、咖啡桌、矩形桌等都将被分类在相同的对象类别或类型“桌子”中。然后，由于对象例如机器人，可能包括不同的部分例如夹具、手臂等，则对象类型例如类型“机器人”可能被定义为已经被训练成由SA检测或识别的几个对象(子)类型的组合。例如，“桌腿”和“桌面”可能是两种对象(子)类型，所述两种对象(子)类型当被组合在一起时，产生对象类型“桌子”。这同样适用于作为对象类型“机器人”的“子类型”的“机器人手臂”。SA可以被配置用于使用每个对象的分层表示，其中“主要”(即整个)对象属于对象的“主要”类型，并且所述主要对象的部分属于对象的子类型。所述层次结构可以包括几个级别。通过这种方式，SA可以在点云中识别或检测表示可易于识别的简单形状或体积的多个对象类型，并且根据多个对象类型的组合(即，根据其空间关系、配置、分布)，SA可以确定更复杂对象的类型，即，所述主对象的类型。

根据本发明的bbox优选地是3D体积，该3D体积被配置用于包围所述点云的所有点，所述点云的所有点是所识别的点集的一部分。图3示出了例如已经通过根据本发明的SA确定的bbox 312、322、313、323、333、343、353。虽然被示出为2D矩形，但所述bbox优选地具有与其包围的对象相同的尺寸，即，如果检测到的对象是3D对象，则所述bbox将是3Dbbox。对于图3的示例，SA能够区分两种不同的对象类型，即类型“桌子”和类型“机器人”。例如，SA被配置用于识别bbox 353、323、333和343内包括的点集，将bbox分配给每个识别到的点集，并且根据所述点集的空间分布和/或配置和/或相互关系(尤其是其是否定义了交叉/交叠体积以及/或者根据所述体积的相对大小)来确定其组合表示类型“机器人”的对象。这同样适用于bbox 321(即，桌腿)和bbox 301(即，桌面)内包括的点集，根据其空间分布和/或配置和/或相互关系，SA能够确定其表示类型“桌子”的对象。对于每个检测到的对象，即桌子、机器人、手臂，SA输出对象类型和包括与检测到的对象相关的所有bbox的bbox列表，因为与检测到的对象相关的所有bbox各自映射了表示检测到的对象或检测到的对象的一部分的点集。因此，对象301关联至类型“桌子”，并且被bbox 311包围。对象301的不同部分如桌腿，也可以被bbox 321包围。第一机器人302和第二机器人303各自关联至类型“机器人”，并且分别被bbox 312和313包围。第一机器人302的手臂关联至类型“手臂”，并且被bbox 322包围。第二机器人303的手臂关联至类型“手臂”，并且被bbox 323包围。如果另一机器人手臂将被放置在桌子301上，则SA将其关联至类型“手臂”，并且用另一bbox包围其。每个bbox提供关于对象相对于用于表示点云的坐标系的定位的信息。最后，因此，SA针对每个检测到的对象输出数据集，该数据集包括对象类型和bbox列表，即关于对象类型的信息以及关于每个检测到的对象的大小和其在点云内的位置的信息，如由bbox的列表所提供的。

在步骤203处，这可以同时发生，在步骤201和/或202之后或之前，系统被配置用于定义或创建或接收或获取一个或几个对象族。例如，对象族可以例如由用户定义或存储在数据库中，并且根据本发明的系统被配置用于自动获取或接收所述对象族。根据本发明，每个对象族被配置用于定义或创建或存储或包括针对一个或几个点云网格划分算法定义的轮廓。根据本发明的点云网格划分算法通常是本领域中已知的网格划分算法。根据本发明的轮廓被配置用于指定在将表示其类型属于已经针对其定义了所述轮廓的对象族的对象的点云转换成3D表面时必须由点云网格划分算法使用的网格划分技术，例如网格划分参数。特别地，所述轮廓针对每个bbox定义必须用于将关联至所述bbox的点集转换成3D表面的网格划分技术，例如网格划分参数和/或网格划分算法。换句话说，网格划分轮廓例如，针对关联至检测到的对象的bbox列表中的每个bbox定义网格划分算法和必须由所述网格划分算法使用的网格划分参数。所述网格划分参数尤其是被配置用于控制有关点集中的点如何彼此连接以创建构成CAD模型的所述3D表面的分立几何单元。特别地，针对每个对象族定义单个轮廓。这意味着将根据所检测到的对象所属于的对象族使用不同的网格划分技术例如，不同的网格划分参数和/或网格划分算法。根据本发明，每个族还可以包括所述预定义对象类型中的一个或几个对象类型或者被关联至所述预定义对象类型中的一个或几个对象类型，使得将每个预定义对象类型被分配给单个族，并且每个族被分配给不同的轮廓。基本上，每个族被配置用于将需要相同的网格划分轮廓(例如，相同的网格划分参数)的对象或更精确的对象类型分组在一起，以用于将点转换成CAD模型的3D表面。例如，第一族可以包括针对铰接式机器人定义的轮廓，第二族可以包括针对笛卡尔机器人定义的另一轮廓，另一族可以包括针对电子卡定义的又一轮廓等。优选地，根据本发明的系统包括存储一个或几个对象族例如，“机器人”族、和/或“家具”族、和/或“输送机”族、和/或“围栏”族、和/或“地板、天花板和墙壁”族、和/或“PLC箱”族、和/或“楼梯”族和/或“支柱”族等的数据库。每个族包括轮廓，其中，所述轮廓针对其类型属于所述族的对象的每个bbox定义一个或几个网格划分参数和/或一个或几个网格划分算法，其中，优选地，针对每个网格划分算法，定义必须使用的所述网格划分参数中的一个或几个网格划分参数的集合，以将关联至所述bbox的点集转换成3D表面，即，以从所述点创建几何拓扑单元集，所述几何拓扑单元集一起形成对关联至所述bbox的对象或对象部分建模的所述3D表面。

每个轮廓是不同的，根据本发明的系统将能够根据所检测到的对象与由系统定义的族或在系统中(例如，在所述数据库中)定义的族的成员关系在相同的场景内，即在表示所述场景的点云内应用不同的网格划分技术(例如，网格划分参数和/或网格划分算法)。由于该特征，用于将对象的点转换成CAD模型的3D表面的最适用的网格划分技术将由系统应用于在场景中检测到的并且已经由所述系统针对其分配了对象类型和对象族的每个对象或对象的选择。

事实上，在步骤204处，系统被配置用于针对每个检测到的对象自动确定所检测到的对象的对象类型所属于的族。优选地，SA被额外训练成用于将每个对象类型自动分类在对象族中，例如考虑到属于所述对象类型的对象的典型外部形状：例如，如果两个对象类型由共享其外表面的共同或相似的几何形状的典型外部形状表征，则这两个对象类型将被分类至相同族中。可替选地，数据库可以将所述预定义对象类型中的每一个关联至单个族，例如针对每个对象族列出属于其的预定义对象类型。特别地，根据本发明，每个对象类型属于单个族，并且每个族定义了唯一的网格划分轮廓，以用于将其类型属于所述族的对象的不同部分转换成3D网格表面，并且因此将对象转换成3D CAD模型，针对每个族定义的网格划分轮廓不同。

在步骤205处，系统通过对分配给或关联至针对所检测到的对象输出的bbox列表中的bbox的点集运行点云网格划分算法来自动创建CAD模型，其中，所述运行包括：使用由分配给所检测到的对象的对象类型所属于的族的轮廓而定义的网格划分技术来将所述点集转换成CAD模型的3D表面。换句话说，如果场景包括几个对象，其中，由SA针对所述对象输出的相关联的对象类型被分类在不同的对象族中，则根据本发明的系统将根据所述对象所属于的族自动改变用于将表示所述对象的点转换成CAD模型的3D表面的网格划分技术。用于不同对象的网格划分技术适用于不同对象，每个对象的所得到的CAD模型，以及例如并且因此场景的每个对象的所得到的CAD模型被改进并且更准确。

在步骤206处，系统经由接口自动提供CAD模型。特别地，系统可以被配置用于自动存储所创建的CAD模型，例如，针对一个或每个检测到的对象输出的CAD模型。优选地，系统被配置用于由所创建的CAD模型自动替换分配给或关联至针对所检测到的对象输出的bbox列表中的bbox的点集。最后，系统可以自动显示所创建的CAD模型或每个所创建的CAD模型，例如所述场景，其中，一个或几个或所有所检测到的对象已经由其相应CAD模型替换。

有利地，对于作为输入接收的并且包括至少两个点集的相同点云，每个点集表示场景的对象，其中，所述对象中的至少一个对象与其他对象相比需要不同的网格划分技术，本发明使得能够针对所述对象中的至少一个对象，优选地，所述对象中的每一个对象，自动选择和应用网格划分技术，该网格划分技术特别地适用于通过确定有关对象属于哪种对象类型、所述对象类型属于哪个族，因此从针对所述族存储的轮廓推导出要应用的网格划分技术，来将有关点转换成所得到的CAD模型的3D表面。这使得能够产生包括多种对象类型的场景的CAD模型，该CAD模型与现有技术相比非常准确，因为将使用的网格划分参数和/或网格划分算法针对每个对象不同。

有利地，所生成的CAD模型可以用于填充CAD库。然后，所生成的CAD模型可以用于规划和/或验证和/或生成3D CAD场景，该3D CAD场景稍后可以用各种信息来增强。所获得的3D CAD模型也可以用于模拟和/或验证，例如生产线的模拟，并且然后例如其基于所述模拟的构造。事实上并且例如，输出的CAD模型可以用作负责优化和/或构建和/或修改所述场景的对象中的一个或几个对象的装置的输入，由于本发明，所述装置接收关于每个对象及其周围环境的非常准确且正确的信息。与现有技术相比，接收到的信息的这种准确性和正确性可以使得所述装置能够改进所述对象之一的运动的计算和/或确定，以及/或者使得能够确定优化的设计，以及/或者使得能够特别是根据有关对象的周围环境确定所述对象的运动控制命令。这可以降低例如对象部分(例如，机器人手臂)与其周围环境(例如，另一对象手臂)碰撞的风险。因此，本发明是用于帮助构建和/或修改生产线，或更一般地，场景的对象的重要的工具。

在实施方式中，如本文中使用的术语“接收”可以包括从存储装置取得、从另一装置或过程接收、通过与用户的交互或以其他方式接收。

本领域技术人员将认识到，为了简单和清楚起见，本文中并未示出或描述适于与本公开内容一起使用的所有数据处理系统的全部结构和操作。替代地，仅示出和描述了如本公开内容独有或为了理解本公开内容所需要的如此多的数据处理系统。数据处理系统100的构造和操作的其余部分可以符合本领域已知的各种当前实现方式和实践中的任何一种。

重要的是要注意，虽然本公开内容包括在全功能系统的背景下的描述，但是本领域技术人员将理解，本公开内容的至少部分能够以包含在各种形式中的任何形式的机器可用、计算机可用或计算机可读介质中的指令的形式来分发，并且不管用于实际执行分发的指令或信号承载介质或存储介质的特定类型如何，本公开内容同样适用。机器可用/可读或计算机可用/可读介质的示例包括：非易失性硬编码类型的介质例如只读存储器(ROM)或电可擦可编程只读存储器(EEPROM)，以及用户可记录型介质例如软盘、硬盘驱动器和致密盘只读存储器(CD-ROM)或数字多功能盘(DVD)。

尽管已经详细描述了本公开内容的示例性实施方式，但是本领域技术人员将理解，在不脱离本公开内容在其最广泛的形式上的精神和范围的情况下，可以进行本文所公开的各种改变、替换、变化和改进。

本申请中的任何描述都不应被理解为暗示任何特定的元件、步骤或功能是必须包括在权利要求范围内的基本元件：专利主题的范围仅由允许的权利要求来限定。

Claims (15)

1.一种用于从表示包括一个或几个对象(301，302，303)的场景的点云(300)创建CAD模型的方法，所述方法包括：

-获取或接收(201)表示包括一个或几个对象的所述场景的所述点云(300)；

-使用(202)分割算法(在下文中为“SA”)，所述SA被配置用于：接收所述点云作为输入，在所述点云(300)中检测所述一个或几个对象(301，302，303)中的至少一个对象，并且针对在所述点云中检测到的每个对象，输出对象类型和边界框(在下文中为“bbox”)(312，322，343)列表，其中，所述对象类型是从所述SA已经被训练成识别的一个或几个预定义对象类型的集合中选择的，其中，所述bbox列表中的每个bbox(312，322，343)定义所述点云内的空间定位，所述空间定位包括表示所检测到的对象或所检测到的对象的一部分的点集；

-接收或获取(203)一个或几个对象族，其中，每个对象族包括针对点云网格划分算法定义的轮廓，其中，所述轮廓被配置用于指定在将表示属于所述对象族的对象的点云转换成3D表面时要由所述点云网格划分算法使用的网格划分技术，其中，每个族包括所述预定义对象类型中的一个或几个预定义对象类型，使得每个预定义对象类型被分配给单个族，并且其中，每个族被分配给不同的轮廓；

-针对每个检测到的对象，确定(204)其对象类型所属于的族，并且然后通过对分配给或关联至所述bbox列表中的bbox的点集运行所述点云网格划分算法来自动创建(205)CAD模型，其中，所述运行包括：使用针对分配给所检测到的对象的对象类型所属于的族的轮廓而定义的网格划分技术将所述点集转换成所述CAD模型的3D表面；

-经由接口自动提供(206)所创建的CAD模型。

2.根据权利要求1所述的方法，还包括自动存储所创建的CAD模型以及/或者使用所述CAD模型来模拟和/或优化和/或构建由所述CAD模型表示的对象。

3.根据权利要求1或2所述的方法，包括由所创建的CAD模型替换分配给或关联至所述bbox列表中的bbox的所述点集。

4.根据权利要求1至3中的一项所述的方法，其中，所接收到或所获取的对象族和相关联的轮廓被存储在数据库中，并且至少包括“机器人”族、和/或“家具”族、和/或“输送机”族、和/或“围栏”族、和/或“地板、天花板和墙壁”族、和/或“PLC箱”族、和/或“楼梯”族、和/或“支柱”族，其中，每个族包括网格划分轮廓，其中，所述网格划分轮廓被配置用于：针对所述bbox列表中的关联至其类型属于所述族的对象的每个bbox定义一个或几个网格划分算法，并且针对每个网格划分算法定义必须用于将关联至所述bbox的点集转换成3D表面的一个或几个网格划分参数。

5.根据权利要求1至4中的一项所述的方法，其中，所述SA是经训练的算法，所述经训练的算法被配置用于：接收点云(300)作为输入，并且自动检测或识别所接收到的点云内的与所述经训练的算法已经被训练成检测的对象或对象的部分的空间配置和/或分布相匹配的一个或几个点集，其中，所述经训练的算法已经被训练成检测的所述对象或对象的部分中的每一个属于所述预定义对象类型之一并且被分配给所述预定义对象类型之一，用于将所述点集中的每一个点集映射至bbox(312，322，343)，并且用于针对每个检测到的对象，即点集，输出所述点集表示的对象的所述类型和所述bbox列表。

6.根据权利要求5所述的方法，其中，所述SA被配置或训练用于组合所识别的点集中的几个点集以确定所述对象类型，所述bbox列表被配置用于列出其相关联的点集是所述组合的一部分的bbox(312，322，343)。

7.根据权利要求1至6中的一项所述的方法，除了获取或接收所述点云(300)之外，还包括：获取或接收所述场景的一个或几个图像，并且将所述一个或几个图像与所述点云一起用作所述SA的输入来检测所述一个或几个对象。

8.一种用于由数据处理系统提供经训练的算法的方法，所述经训练的算法用于检测表示场景的点云(300)中的至少一个对象(301，302，303)，并且向每个检测到的对象(301，302，303)分配bbox列表和从一个或几个预定义类型的集合中选择的对象类型，所述方法包括：

-接收输入训练数据，其中，所述输入训练数据包括多个点云(300)，每个点云表示场景，每个场景包括一个或几个对象(301，302，303)；

-接收输出训练数据，其中，所述输出训练数据针对所述输入训练数据的所述点云(300)中的每一个点云识别所述场景的至少一个对象，并且针对每个所识别的对象将bbox(312，322，343)列表和从所述一个或几个预定义类型的集合中选择的对象类型关联至所述对象，其中，所述bbox列表中的每个bbox(312，322，343)定义所述点云内的空间定位，所述空间定位包括表示所述对象或所述对象的一部分的点集；

-基于所述输入训练数据和所述输出训练数据来训练算法；

-提供所得到的经训练的算法。

9.根据权利要求8所述的方法，其中，所述经训练的算法还被配置用于将每个检测到的对象根据关联至所检测到的对象的对象类型而分类至对象族中。

10.一种数据处理系统，包括：

处理器；以及

可访问存储器，所述数据处理系统被配置用于进行以下操作：

-获取或接收(201)表示包括一个或几个对象的场景的点云(300)；

-使用(202)分割算法(在下文中为“SA”)，所述SA被配置用于：接收所述点云作为输入，在所述点云(300)中检测所述一个或几个对象(301，302，303)中的至少一个对象，并且针对在所述点云中检测到的每个对象，输出bbox(312，322，343)列表和从一个或几个预定义对象类型的集合中选择的对象类型，其中，所述列表中的每个bbox(312，322，343)被配置用于定义所述点云内的空间定位，所述空间定位包括表示所检测到的对象或所检测到的对象的一部分的点集；

-定义(203)一个或几个对象族，并且针对每个对象族，定义或创建或存储针对点云网格划分算法定义的轮廓，其中，所述轮廓被配置用于指定在将表示属于所述对象族的对象的点云转换成3D表面时要由所述点云网格划分算法使用的网格划分技术，例如网格划分参数，其中，每个族包括所述预定义对象类型中的一个或几个预定义对象类型，使得每个预定义对象类型被分配给单个族，并且其中，每个族被分配给不同的轮廓；

-针对每个检测到的对象，确定(204)其对象类型所属于的族，

并且然后通过对分配给或关联至所述bbox列表中的bbox的点集运行所述点云网格划分算法来自动创建(205)CAD模型，其中，所述运行包括：使用针对分配给所检测到的对象的对象类型所属于的族的轮廓而定义的网格划分技术将所述点集转换成所述CAD模型的3D表面；

-经由接口自动提供(206)所创建的CAD模型。

11.根据权利要求10所述的数据处理系统，被配置成由所创建的CAD模型替换分配给或关联至所述bbox列表中的bbox的所述点集。

12.根据权利要求10或11所述的数据处理系统，其中，所接收到或所获取的对象族和相关联的轮廓被存储在数据库中，并且至少包括“机器人”族、和/或“家具”族、和/或“输送机”族、和/或“围栏”族、和/或“地板、天花板和墙壁”族、和/或“PLC箱”族、和/或“楼梯”族、和/或“支柱”族，其中，每个族包括网格划分轮廓，其中，所述网格划分轮廓被配置用于：针对所述bbox列表中的关联至其类型属于所述族的对象的每个bbox，定义必须用于将关联至所述bbox的点集转换成3D表面的一个或几个网格划分参数和/或一个或几个网格划分算法。

13.一种编码有可执行指令的非暂态计算机可读介质，所述可执行指令在被执行时使一个或更多个数据处理系统进行以下操作：

-获取或接收(201)表示包括一个或几个对象(301，302，303)的场景的点云(300)；

-使用(202)分割算法(在下文中为“SA”)，所述SA被配置用于：接收所述点云作为输入，在所述点云(300)中检测所述一个或几个对象(301，302，303)中的至少一个对象，并且针对在所述点云中检测到的每个对象，输出bbox(312，322，343)列表和从一个或几个预定义对象类型的集合中选择的对象类型，其中，所述列表中的每个bbox(312，322，343)被配置用于定义所述点云内的空间定位，所述空间定位包括表示所检测到的对象或所检测到的对象的一部分的点集；

-定义(203)一个或几个对象族，并且针对每个对象族，定义或创建或存储针对点云网格划分算法定义的轮廓，其中，所述轮廓被配置用于指定在将表示属于所述对象族的对象的点云转换成3D表面时要由所述点云网格划分算法使用的网格划分技术，例如网格划分参数，其中，每个族包括所述预定义对象类型中的一个或几个预定义对象类型，使得每个预定义对象类型被分配给单个族，并且其中，每个族被分配给不同的轮廓；

-针对每个检测到的对象，确定(204)其对象类型所属于的族，并且然后通过对分配给或关联至所述bbox列表中的bbox的点集运行所述点云网格划分算法来自动创建(205)CAD模型，其中，所述运行包括：使用针对分配给所检测到的对象的对象类型所属于的族的所述轮廓而定义的网格划分技术将所述点集转换成所述CAD模型的3D表面；

-经由接口自动提供(206)所创建的CAD模型。

14.根据权利要求13所述的非暂态计算机可读介质，被配置成由所创建的CAD模型自动替换分配给或关联至所述bbox列表中的bbox的所述点集。

15.根据权利要求13或14所述的非暂态计算机可读介质，其中，所定义的对象族和相关联的轮廓至少包括“机器人”族、和/或“家具”族、和/或“输送机”族、和/或“围栏”族、和/或“地板、天花板和墙壁”族、和/或“PLC箱”族、和/或“楼梯”族、和/或“支柱”族，其中，每个族包括网格划分轮廓，其中，所述网格划分轮廓被配置用于：针对所述bbox列表中的关联至其类型属于所述族的对象的每个bbox，定义必须用于将关联至所述bbox的点集转换成3D表面的一个或几个网格划分参数和/或一个或几个网格划分算法。