CN117795557A - 用于识别虚拟运动学装置中的运动学能力的方法和系统 - Google Patents

Abstract

用于识别虚拟运动学装置中的运动学能力的系统和方法。接收输入数据，其中，输入数据包括关于给定虚拟运动学装置的点云表示的数据。将运动学分析器应用于输入数据，其中，利用通过ML算法训练的函数对运动学分析器进行建模，并且运动学分析器生成输出数据。提供输出数据，其中，输出数据包括用于将点云表示的点的子集与在给定虚拟运动学装置的点云表示上识别的至少一个连杆的一组运动学描述符相关联的数据。根据输出数据来确定给定虚拟运动学装置中的所识别的至少一种运动学能力。

Description

用于识别虚拟运动学装置中的运动学能力的方法和系统

技术领域

本公开内容总体上涉及计算机辅助设计、可视化和制造(“CAD”)系统、产品生命周期管理(“PLM”)系统、产品数据管理(“PDM”)系统、生产环境模拟以及管理用于产品和其他项的数据的类似系统(统称为“产品数据管理”系统或PDM系统)。更具体地，本公开内容涉及生产环境模拟。

背景技术

在制造工厂设计中，制造资产的三维(“3D”)数字模型用于各种制造规划目的。这种用法的示例包括但不限于制造过程分析、制造过程模拟、装备碰撞检查和虚拟调试。

如本文中使用的，术语制造资产和装置表示制造线(manufacturing lines)中存在的任何资源、机器、零件和/或任何其他对象。

制造过程规划人员在建造生产线之前使用数字解决方案来规划、验证和优化生产线(production lines)，以使误差最小化并缩短调试时间。

在工厂线(plant lines)的资产的3D数字建模阶段期间，通常需要过程规划人员。

在对制造线的生产过程进行数字规划时，制造模拟规划人员需要将作为生产线的一部分的多种装置插入到虚拟场景中。工厂装置的示例包括但不限于：工业机器人及其工具；运输资产如例如输送机、转台；安全资产如例如栅栏、大门；自动化资产如例如夹具、抓器、抓取零件的固定装置等。

在模拟过程时，这些元件中的许多元件具有控制这些元件的运动的运动学定义。

这些装置中的一些是具有一种或更多种运动学能力的运动学装置，运动学装置需要通过运动学链的运动学描述符的运动学定义。运动学装置定义使得能够在虚拟环境中模拟运动学装置链的运动学运动。运动学装置的示例是夹具，该夹具在抓取零件之前打开其指状物并闭合这种指状物以实现零件的稳定抓取。对于具有两个刚性指状物的简单夹具，运动学定义通常在于：为两个指状物分配两个油墨描述符，并为通过其连杆节点定位的相互旋转轴分配关节描述符。如运动学链定义领域中已知的，关节被定义为两个或更多个连杆在其节点处的连接，这允许连接的连杆之间的一些运动或潜在运动。以下呈现了术语的简化定义，以便提供对本文中描述的一些方面的基本理解。如本文中使用的，运动学装置可以表示具有由链定义的多种运动学能力的装置，由此每个运动学能力由描述链的一组连杆和一组关节的描述符定义。换言之，运动学描述符可以提供运动学装置的运动学能力的完整或部分运动学定义。如本文所使用的，运动学描述符可以表示连杆标识符、连杆类型、关节标识符、关节类型等。连杆标识符标识连杆。连杆类型表示装置内的连杆的类型或类别。给定运动学装置中的连杆类型的数目是几何上不同的连杆的数目。例如，在图2的抓器202中，存在三个连杆lnk1、lnk2、lnk3和两种类型的连杆，假定两个较小的连杆lnk2和lnk3是相同类型。

尽管存在许多可以被规划人员使用的现成的3D装置库，但是这些3D模型中的大多数缺乏运动学定义并且其虚拟表示此处用术语“虚拟伪装置”或“伪装置”表示。因此，通常需要模拟规划人员尤其针对具有大量运动学装置的制造工厂(如例如，针对汽车工厂)来手动定义这些3D伪装置模型的运动学，这是耗时的任务。

通常，制造过程规划人员通过分配模拟工程师维护资源库来解决这个问题，因此他们为这些资源中的每一个手动建模所需的运动学。模拟工程师的经验有助于他们了解应当如何创建运动学并且将运动学添加至装置。要求模拟工程师识别装置的连杆和关节并且定义装置的连杆和关节。这种手动过程消耗了经验丰富的用户的宝贵时间。

图2示意性地示出了虚拟抓器模型的运动学能力的典型手动分析的框图(现有技术)。

模拟工程师203分析伪抓器的CAD模型201的运动学能力，由此伪虚拟装置缺乏运动学定义。她将抓器伪模型301加载到虚拟环境中，并且利用她的分析，她识别抓器的链的三个连杆lnk1、lnk2、lnk3和关节jntl、jnt2(两个平移关节，未示出)，以便经由运动学编辑器304建立运动学抓器模型203，其包括连杆lnk1、lnk2、link3和作为连杆lnk1与其他两个连杆lnk2、link3之间的两个连接器的两个关节j1、j2的运动学描述符。在该示例中，示出了运动学链的具体示例，本领域技术人员知道存在具有不同链、具有不同数目的连杆以及不同数目和类型的关节的运动学装置。运动学关节类型的示例包括但不限于棱柱关节、转动或旋转关节、螺旋关节、球形关节和平面关节。伪抓器模型301——即没有运动学的模型——可以以CAD或网格文件格式定义。具有运动学描述符的抓器模型303可以优选地以以下文件格式来定义：允许CAD几何形状连同运动学定义的文件格式，如例如用于ProcessSimulate平台的具有几何形状和运动学二者的jt格式文件(其通常被存储在cojt文件夹中)；或者例如用于NX平台的.prt格式文件；或者可以由工业运动模拟软件(例如，计算机辅助机器人(“CAR”)工具，如例如西门子数字工业软件组的Process Simulate)使用的任何其他运动学对象文件格式。

如上面所说明的，针对多种运动学装置创建和维护运动学能力和链描述符的定义是手动、乏味、重复且耗时的任务，并且需要有经验的用户的技能。

专利申请PCT/IB2021/055391教导了用于自动识别虚拟装置中的运动学能力的创造性技术。

期望用于识别虚拟运动学装置中的运动学能力的另外的自动技术。

发明内容

各种公开的实施方式包括用于识别虚拟运动学装置中的运动学能力的方法、系统和计算机可读介质，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由虚拟装置的至少两个连杆定义。该方法包括：接收输入数据，其中，输入数据包括关于给定虚拟运动学装置的点云表示的数据。该方法还包括：将运动学分析器应用于输入数据，其中，利用通过机器学习(“ML”)算法训练的函数对运动学分析器进行建模，并且运动学分析器生成输出数据。该方法还包括：提供输出数据，其中，输出数据包括用于将点云表示的点的子集与在给定虚拟运动学装置的点云表示上识别的至少一个连杆的一组运动学描述符相关联的数据。该方法还包括：根据输出数据来确定给定虚拟运动学装置中的所识别的至少一种运动学能力。

各种公开的实施方式包括用于提供用于识别虚拟运动学装置中的运动学能力的经训练的函数的方法、系统和计算机可读介质，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由虚拟装置的至少两个连杆定义。该方法包括：接收输入训练数据，其中，输入训练数据包括关于在下文中被称为点云装置的多个虚拟运动学装置的多个点云表示的数据。该方法还包括：接收输出训练数据，其中，对于多个点云装置中的每一个，输出训练数据包括用于将云点的子集与至少一个连杆的一组运动学描述符相关联的数据，其中，输出训练数据与输入训练数据有关。该方法还包括：通过ML算法，基于输入训练数据和输出训练数据来训练函数。该方法还包括：提供经训练的函数，以对运动学分析器进行建模。

各种公开的实施方式包括由数据处理系统识别虚拟运动学装置中的运动学能力的方法、系统和计算机可读介质。其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由虚拟装置的至少两个连杆定义。该方法包括：接收输入训练数据，其中，输入训练数据包括关于在下文中被称为点云装置的多个虚拟运动学装置的多个点云表示的数据。该方法还包括：接收输出训练数据，其中，对于多个点云装置中的每一个，输出训练数据包括用于将云点的子集与至少一个连杆的一组运动学描述符相关联的数据，其中，输出训练数据与输入训练数据有关。该方法还包括：通过ML算法，基于输入训练数据和输出训练数据来训练函数。该方法还包括提供经训练的函数，以对运动学分析器进行建模。该方法还包括接收输入数据，其中，输入数据包括关于给定虚拟运动学装置的点云表示的数据。该方法还包括将运动学分析器应用于输入数据，其中，利用通过ML算法训练的函数对运动学分析器进行建模，并且运动学分析器生成输出数据。该方法还包括提供输出数据，其中，输出数据包括用于将点云表示的点的子集与在给定虚拟运动学装置的点云表示上识别的至少一个连杆的一组运动学描述符相关联的数据。该方法还包括根据输出数据来确定给定虚拟运动学装置中的所识别的至少一种运动学能力。

前面已经相当广泛地概述了本公开内容的特征和技术优点，使得本领域技术人员可以更好地理解下面的详细描述。在下文中，将描述本公开内容的形成权利要求的主题的另外的特征和优点。本领域技术人员将理解的是，出于执行本公开内容的相同目的，他们可以容易地使用所公开的构思和具体实施方式作为用于修改或设计其他结构的基础。本领域技术人员还将认识到，这样的等同构造不会脱离本公开内容在其最广泛的形式上的精神和范围。

在进行下面的具体实施方式之前，阐述贯穿本专利文献使用的某些词或短语的定义可能是有利的：术语“包括”和“包含”及其派生词意味着包括但不限于；术语“或”是包含性的，意味着和/或；短语“与……相关联”和“与其相关联”及其派生词可以意味着包括、被包括在……内、与……互连、包含、被包含在……内、连接至或与……连接、耦接至或与……耦接、与……可通信、与……合作、交错、并置、接近、绑定至或与……绑定、具有、具有……的特性等；并且术语“控制器”意味着控制至少一个操作的任何装置、系统或其部分，无论这种装置是以硬件、固件、软件还是硬件、固件、软件中的至少两种的一些组合实现的。应当注意，与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。贯穿本专利文献提供了某些词语和短语的定义，并且本领域普通技术人员将理解的是，这样的定义在许多(如果不是大多数)情况下适用于这样定义的词语和短语的先前以及将来的使用。虽然一些术语可以包括各种实施方式，但是所附权利要求可以明确地将这些术语限制于具体实施方式。

附图说明

为了更完整地理解本公开内容及其优点，现在参照结合附图进行的以下描述，其中，相同的附图标记表示相同的对象，并且在附图中：

图1示出了其中可以实现实施方式的数据处理系统的框图。

图2示意性地示出了虚拟抓器的运动学能力的典型手动分析的框图(现有技术)。

图3A示意性地示出了根据所公开的实施方式的用于利用“ML”算法训练函数以识别虚拟运动学装置中的运动学能力的框图。

图3B示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输入训练数据。

图3C示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输出训练数据。

图3D示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输出训练数据。

图4示意性地示出了根据所公开的实施方式的用于识别虚拟运动学装置中的运动学能力的框图。

图5示意性地示出了根据其他所公开的实施方式的用于识别虚拟运动学装置中的运动学能力的框图。

图6示出了根据所公开的实施方式的用于识别虚拟运动学装置中的运动学能力的流程图。

具体实施方式

下面讨论的图1至图6以及本专利文献中用于描述本公开内容的原理的各种实施方式仅作为说明，并且不应当以任何方式被解释为限制本公开内容的范围。本领域技术人员将理解，本公开内容的原理可以在任何适当布置的装置中来实现。将参照示例性非限制性实施方式来描述本申请的许多创新性教导。

此外，在下文中，关于用于识别虚拟运动学装置中的运动学能力的方法和系统以及关于用于提供用于识别虚拟运动学装置中的运动学能力的经训练的函数的方法和系统来描述根据实施方式的解决方案。

本文中的特征、优点或替选实施方式可以被分配给其他要求保护的对象，并且其他要求保护的对象可以被分配给本文中的特征、优点或替选实施方式。

换言之，可以利用在用于识别虚拟运动学装置中的运动学能力的方法和系统的上下文中描述或要求保护的特征来改进用于提供用于识别虚拟运动学装置中的运动学能力的经训练的函数的方法和系统的权利要求，并且可以利用用于提供用于识别虚拟运动学装置中的运动学能力的经训练的函数的方法和系统的权利要求来改进在用于识别虚拟运动学装置中的运动学能力的方法和系统的上下文中描述或要求保护的特征。特别地，用于识别虚拟运动学装置中的运动学能力的方法和系统的训练功能可以通过用于识别虚拟运动学装置中的运动学能力的方法和系统进行调整。此外，输入数据可以包括训练输入数据的有利特征和实施方式，并且训练输入数据的有利特征和实施方式可以包括输入数据。此外，输出数据可以包括输出训练数据的有利特征和实施方式，并且输出训练数据的有利特征和实施方式可以包括输出数据。

先前的技术不能在虚拟运动学装置中实现有效的运动学能力识别。本文中公开的实施方式提供了许多技术益处，包括但不限于以下示例。

实施方式使得能够自动地识别和定义虚拟运动学装置的运动学能力。

实施方式使得能够以快速且有效的方式识别和定义虚拟运动学装置的运动学能力。

实施方式使对用于识别运动学装置的运动学能力的经训练的用户的需要最小化，并且减少了工程时间。实施方式使在定义虚拟运动学装置的运动学能力时的“人为错误”的数量最小化。

实施方式可以有利地用于多种不同类型的运动学装置。

实施方式基于虚拟装置的3D维度分析。

实施方式使得能够经由使得能够覆盖所有装置实体，甚至覆盖隐藏的装置实体的点云变换对虚拟装置进行深入分析。

图1示出了数据处理系统100的框图，在该数据处理系统100中，实施方式可以被实现为例如通过软件或以其他方式被特别配置成执行如本文中描述的过程的PDM系统，并且实施方式可以特别地被实现为如本文中描述的多个互连和通信系统中的每一个。示出的数据处理系统100可以包括连接至二级高速缓冲存储器/桥接器104的处理器102，该二级高速缓冲存储器/桥接器104又连接至本地系统总线106。本地系统总线106可以是例如外围部件互连(PCI)架构总线。在所示示例中，主存储器108和图形适配器110也连接至本地系统总线。图形适配器110可以连接至显示器111。

其他外围装置例如局域网(LAN)/广域网/无线(例如WiFi)适配器112也可以连接至本地系统总线106。扩展总线接口114将本地系统总线106连接至输入/输出(I/O)总线116。I/O总线116连接至键盘/鼠标适配器118、盘控制器120和I/O适配器122。盘控制器120可以连接至存储装置126，存储装置126可以是任何合适的机器可用或机器可读存储介质，包括但不限于：非易失性硬编码类型介质，例如只读存储器(ROM)或电可擦除可编程只读存储器(EEPROM)、磁带存储装置；以及用户可记录类型介质，例如软盘、硬盘驱动器和致密盘只读存储器(CD-ROM)或数字多功能盘(DVD)；以及其他已知的光、电或磁存储装置。

在所示示例中，音频适配器124也连接至I/O总线116，扬声器(未示出)可以连接至音频适配器124以用于播放声音。键盘/鼠标适配器118为指针装置(未示出)例如鼠标、轨迹球、轨迹指针、触摸屏等提供连接。

本领域普通技术人员将理解，图1中示出的硬件可以针对特定的实现方式而变化。例如，除了示出的硬件之外或代替示出的硬件，也可以使用诸如光盘驱动器等的其他外围装置。仅出于说明的目的提供所示出的示例，并且所示出的示例不意味着暗含对本公开内容的架构限制。

根据本公开内容的实施方式的数据处理系统可以包括采用图形用户界面的操作系统。操作系统允许在图形用户界面中同时呈现多个显示窗口，其中每个显示窗口向不同的应用提供界面或者向同一应用的不同实例提供界面。图形用户界面中的光标可以由用户通过指针装置来操纵。可以改变光标的位置和/或生成诸如点击鼠标按钮的事件以启动期望的响应。

如果适当地修改，则可以采用各种商业操作系统中的一种，例如位于华盛顿州雷蒙德市的微软公司的产品Microsoft Windows^TM的版本。根据所描述的本公开内容修改或创建操作系统。

LAN/WAN/无线适配器112可以连接至网络130(不是数据处理系统100的一部分)，网络130可以是任何公共或私有数据处理系统网络或者如本领域技术人员所知的包括因特网的网络的组合。数据处理系统100可以通过网络130与服务器系统140进行通信，该服务器系统140也不是数据处理系统100的一部分，但可以被实现为例如单独的数据处理系统100。图3示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数以对假错误检测器进行建模的框图。

图3A示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数以识别虚拟运动学装置中的运动学能力的框图。

在实施方式中，输入训练数据301是一组虚拟装置的一组点云表示311。如本文所使用的，术语“装置点云”或“点云装置”表示虚拟装置的点云表示，以及术语装置3D模型表示其他3D模型表示，如例如CAD模型、网格模型、3D扫描等。在实施方式中，直接接收点云装置，在其他实施方式中，从接收的3D装置模型中提取点云装置。

在ML训练阶段期间，输入训练数据301可以通过从运动学装置的3D模型中提取点云表示来生成，本文以抓器例示。因此，可以通过根据对应的装置CAD或网格模型进行的转换来获得装置点云311。

图3B示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输入训练数据。在图3B中，示出了装置点云的两个版本，具有较高采样的点云321和具有较低采样的点云311。在实施方式中，使用具有较低采样的点云装置312。

通常用点的列表定义装置云点311，点的列表包括每个3D坐标和诸如颜色、表面法线、实体标识符和其他特征的其他信息。例如，点云由点的列表——列表＜点＞——定义，其中，每个点包含X、Y、Z以及可选的其他信息诸如颜色、表面法线、实体标识符和其他特征。应当注意的是，在图311的点云抓器311中，云点的颜色是均匀的(即使针对每个点存储了RGB颜色信息)，以在图示中例示，这样的云点还没有被标记，并且没有与对应的连杆描述符(例如，连杆标识符或连杆类型)相关联。

图3C示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输出训练数据。

输出训练数据302通过针对每个点云装置获得运动学描述符lnk1、lnk2、lnk3来获得，所述运动学描述符lnk1、lnk2、lnk3定义了装置的一种或更多种运动学能力的链元素(例如，连杆和可选的关节)。例如，提供了将每个装置云点与其对应的描述符、连杆标识符或连杆类型相关联的列表。例如，列表<连杆的索引>，点1：连杆1，点10：连杆1，点250：连杆2，点2000：连杆3等。

在实施方式中，运动学描述符描述点云装置的一组连杆，并且可选地，其可以描述一个或更多个关节的位置(未示出)。在实施方式中，连杆描述符和关节描述符可以包括标记、标识符和/或类型。

在实施方式中，输出训练数据可以被自动生成为标记的训练数据集，该训练数据集偏离装置模型的运动学文件或偏离与伪装置相关联的元数据文件。在其他实施方式中，可以通过利用描述符定义和标记每个连杆和关节来手动生成输出训练数据。在其他实施方式中，可以有利地使用自动和手动标记的数据集的混合。

在图3C中，示出了点云抓器312，由此云点与三个连杆标识符lnk1、lnk2、lnk3之一相关联。出于图示目的，通过用不同颜色标记云点(例如，连杆lnk1为浅灰色，连杆lnk2为深灰色以及连杆lnk3为黑色)来示出标记的输出训练数据。这样的连杆标识符是用于定义装置的一组运动学能力的运动学描述符的示例。

例如，可以通过从装置运动学文件的元数据中提取数据或者通过分析具有伪装置文件的名称和标签的元数据来提供这样的连杆描述符用于训练目的。

用于生成输出训练数据302的实施方式可以包括例如从已经存在的经建模的运动学装置加载具有已经标记的连杆的一组虚拟装置和/或将一组虚拟伪装置加载至虚拟工具中并且标记每个伪装置中的连杆。

标记源的示例包括但不限于关于装置实体的语言拓扑、关于装置的元数据(例如，来自手册、工作说明书、机械制图、现有运动学数据和/或手动标记等)。在实施方式中，由装置供应商提供的命名约定可以有利地用于定义哪个实体与每个连杆lnk1、lnk2、，lnk3相关，并且这种命名约定可以用于缺少其自己的库的库。

从标记的装置中提取具有标记的连杆数据的点云装置。为了提高性能，可以优选地对点云装置321进行下采样——例如，在图3B中，示出了输入(训练)数据的下采样示例311。

在ML训练阶段的实施方式中，用于训练神经网络的输入训练数据301是点云装置311，以及输出训练数据302是标记的点云装置312的对应的标记数据/元数据，例如云点的子集与对应的连杆标识符(例如，lnk1、lnk2、lnk3)之间的关联。

在实施方式中，训练过程303的结果是能够从给定的一组伪点云装置自动检测运动学连杆的描述符的经训练的神经网络304。

在实施方式中，本文中称为“运动学分析器”的经训练的神经网络能够将云点的一个或更多个子集与其有关的对应连杆相关联。

在实施方式中，ML算法的训练需要标记的训练数据集，该数据集用于训练ML模型以便能够识别新的伪装置中的连杆，该新的伪装置还具有不同数目的连杆。

ML训练算法的实施方式包括以下步骤：

1)通过以下方式提供具有标记的连杆的虚拟装置；

1a)将伪装置加载至CAR工具中并且标记每个装置。标记源可以包括：关于装置实体的语言拓扑、关于装置的来自手册、工作说明书、机械制图、现有运动学数据、手动标记等的装置元数据；或者，可替选地，

1b)加载已经建模的运动学装置；

2)通过用于输入/输出训练数据的转换技术生成对应的点云运动学装置。可以可选地对点云进行下采样；

3)训练ML算法。例如，假设输入训练数据是关于装置云点的列表的数据，并且输出是点连杆关联的列表。

在实施方式中，为了性能优化可以可选地对点云装置进行下采样。例如，假设单个点云装置中存在大约50k个点，尽管可以直接使用整个60k个点云，但整个60k个点云中的大部分可能不向ML模型添加更多信息，因此，一个人可以利用下采样技术和/或其他增强技术将点云下采样至大约5k个点。有利地，可以更快地完成大数据集训练。

输入训练数据示例：

列表〈点〉每个点包含X、Y、Z，也可选地包含RGB

点1：10，20，30，56，67，233

点200：132，241，320，0，200，200

等。

对应的输出训练数据示例：

列表<连杆的索引>

点1：连杆1

点200：连杆2

等。

在其他示例实施方式中，可以使用除RGB之外的其他类型的附加信息，诸如例如表面法线、实体标识符等。

附加信息的示例包括但不限于实体标识符、表面法线、装置结构信息、其他元数据信息。在实施方式中，这样的附加信息可以例如从装置CAD模型中被自动提取，该装置CAD模型提供关于装置的结构信息，例如实体分离、命名、分配等。

在实施方式中，连杆可以是连杆的子部或连杆的超部。

在输入(训练)数据准备的实施方式中，实体可以获得针对给定装置唯一的随机整数，并且将该数字添加至每个云点，由此最高随机数是给定装置的实体的数目。相同装置的几何相似实体可以可选地获得相同的随机数。分配的实体数可以优选地在不同的运动学装置之中不相关，例如运动学装置A中的特定实体可以获得数字N，并且运动学装置B的具有相同名称和相同几何形状的实体可以优选地获得不同的数字M。在训练之前，在预处理阶段期间，数字可以优选地被归一化，例如，归一化至0至1范围，以缩短训练时间并且以改善结果。在实施方式中，归一化步骤(例如，在0至1范围内)可以应用于所有输入(训练)信息数据，例如应用于(X，Y，Z)坐标以及应用于RGB/灰度颜色。

在实施方式中，在执行阶段期间，在将输入数据应用于运动学装置之前，通过向输入数据添加随机整数来预处理输入数据，该随机整数被分配至相同装置的装置实体，可选地被归一化。

在实施方式中，ML模块可以被预先进行训练，并且作为经训练的模块提供给最终用户。在其他实施方式中，用户可以进行其ML训练。可以使用CAR工具进行训练，并且还可以在云中进行训练。

在实施方式中，标记的观察数据集被划分成训练集、验证集和测试集；ML算法被馈送有训练集，并且预测模型接收来自机器学习器和来自验证集的输入以输出统计数据，从而有助于随着输出统计数据调整训练过程，并且决定何时停止训练过程。

在实施方式中，数据集中的大约70％可以被用作用于校准神经网络的权重的训练数据集，数据集中的大约20％可以被用作用于控制和监测当前训练过程的验证数据集，并且如果需要则修改训练过程，以及数据集中的大约10％可以在训练和验证完成之后随后被用作测试集，以用于评估ML算法的准确性。

在实施方式中，ML训练过程的整个数据准备可以由软件应用自动完成。

在实施方式中，从运动学对象文件或从手动运动学标记或其任意组合自动生成输出训练数据。在实施方式中，输出训练数据被提供为元数据、文本数据、图像数据和/或其任意组合。

在实施方式中，输入/输出训练数据包括数字格式、文本格式、图像格式、其他格式和/或其任意组合的数据。

在实施方式中，在训练阶段期间，ML算法通过“看”点云装置学习检测装置的运动学连杆。

在实施方式中，可以从类似或不同的虚拟运动学装置的多个模型生成输入训练数据和输出训练数据。

实施方式包括用于提供用于识别虚拟运动学装置中的运动学能力的训练函数的方法和系统，其中，运动学装置是具有至少一种运动学能力的装置。

实施方式还包括：

-接收输入数据；其中，输入数据包括关于给定虚拟运动学装置的点云表示的数据；

-将运动学分析器应用于输入数据；其中，利用通过ML算法训练的函数对运动学分析器进行建模，并且运动学分析器生成输出数据；

-提供输出数据；其中，输出数据包括用于将点云表示的点的子集与在给定虚拟运动学装置的点云表示上识别的至少一个连杆的一组运动学描述符相关联的数据；

-根据输出数据来确定给定虚拟运动学装置中的所识别的至少一种运动学能力。

在实施方式中，通过从伪装置3D模型中提取点云表示311来生成输入训练数据。在实施方式中，通过从标记的点云装置312中提取连杆标记来生成输出训练数据。

在实施方式中，虚拟运动学装置属于相同的类别或属于类别族。

在实施方式中，在利用训练数据的训练阶段期间，经训练的函数可以适用于新的环境并且适用于检测和推断模式。在实施方式中，ML模型可以优选地是分类模型和/或逐点分割。

通常，可以借助于训练来调整经训练的函数的参数。特别地，可以使用有监督训练、半监督训练、无监督训练、强化学习和/或主动学习。此外，可以使用表示学习(替选术语是“特征学习”)。特别地，可以通过几个训练步骤迭代地调整经训练的函数的参数。

特别地，经训练的函数可以包括神经网络、支持向量机、决策树和/或贝叶斯网络，以及/或者经训练的函数可以基于k均值聚类、Q学习、遗传算法和/或关联规则。

特别地，神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。此外，神经网络可以是对抗网络、深度对抗网络和/或生成式对抗网络。

在实施方式中，ML算法是有监督模型，例如在真错误与伪错误之间进行分类的二值分类器。在实施方式中，可以使用其他分类器，例如逻辑回归器、随机森林分类器、xgboost分类器等。在实施方式，可以使用经由TensorFlow框架的前馈神经网络。

图4示意性地示出了根据所公开的实施方式的用于识别虚拟运动学装置中的运动学能力的框图。图4示意性地示出了神经网络执行的示例实施方式。

在实施方式中，提供了关于虚拟抓器401的3D模型的数据。可以以CAD文件或网格文件(例如，stl文件格式)的形式提供这样的3D模型数据。

在实施方式中，对所提供的3D模型数据401进行预处理403，以提取抓器的点云表示411。在实施方式中，除点坐标之外，云点还可以包含每个点的颜色或灰度数据、表面法线、实体信息和其他信息。

将包括装置点云列表的输入数据404应用于提供输出数据406的运动学分析器405。输出数据包括与输入数据相对应的连杆lkn1、lnk2、lkn3的描述符512关联的装置点云。对输出数据406进行后处理407，以便确定抓器的3D模型中的连杆lnk1、lnk2、lnk3，并且可选地，以定义其关节。关于所确定的连杆和关节的信息可以被添加为运动学定义，以根据脱离(departing)伪CAD文件(例如，.jt文件)生成运动学文件(例如，在cojt文件夹中)。

在实施方式中，将新的“未知”伪装置的点云应用于先前利用ML算法训练的运动学分析器。运动学分析器的输出是运动学描述符，例如相关的装置云点的连杆标识符或连杆类型。

在实施方式中，每个识别的连杆实体被标记有其连杆标识符，诸如lnk1、lnk2、lnk3等。

借助于运动学分析器，实施方式使得能够确定连杆和关节在哪里，以便将连杆和关节定义为分析装置的运动学链的一部分。

实施方式使得能够生成分析装置的运动学能力的定义。

在实施方式中，在算法的执行阶段期间，可以提供装置的CAD文件作为预处理403的输入。

在实施方式中，可以以jt.格式文件例如Process Simulate的本地格式来提供CAD模型的文件。在其他实施方式中，描述装置模型的文件可以被提供成描述3D模型或其子元素的任何其他合适的文件格式。在实施方式中，以这种后者格式的该文件可以优选地通过文件转换器(例如，现有转换器或特别创建的转换器)被转换成JT。

在实施方式中，对运动学分析器405算法的输出406进行处理407，以确定关节(和可选的连杆)的一组描述符，从而用于确定装置3D模型402中的运动学链。

在实施方式中，具有关节的描述符412的运动学分析器的输出由后处理模块407处理。在实施方式中，后处理模块407中包括确定伪装置的运动学能力。在实施方式中，后处理模块407包括例如经由聚类来识别具有与相同的描述符连杆类型相关联的两个不同的标识符的至少两个装置的连杆。在实施方式中，后处理模块407另外包括识别连接至少两个连杆的关节。

用于检测伪装置中的运动学能力的算法的实施方式包括以下步骤中的一个或更多个：

-将新的伪装置加载在Process Simulate中

-创建该运动学装置的点云，对该运动学装置的点云进行可选的下采样

-将运动学分析器应用于装置实体(例如，实体A、实体B)的点的列表。

-后处理可以包括将点分配给其公共连杆标识符，细化没有正确分配的点，用分类器划分连杆类型，找到一个或更多个对应的关节。

例如，对于实体A和B，输入数据为列表＜点＞：

实体A：点：1，2，50，70，456，8888，10000…

实体B：点：13，22，70，71，73，73，78…

等。

在将列表＜点＞已经应用于分析器405之后，输出数据406包括＜连杆索引＞

实体A：点：1(连杆1)，2(连杆1)，50(连杆1)，70(连杆1)，456(连杆1)，8888(连杆 2)，10000(连杆1)…。因此，即使在点8888被错误地分配给连杆连杆1，实体A的所有点也被分配给属于连杆1。

在实施方式中，输入(训练)数据被划分成与一组装置实体相对应的一组点云子部分。

实施方式使得能够脱离包括点位置的点云装置并且检索点连杆关联。

实施方式包括以下中的一个或更多个：

-从CAD模型中提取点云

-用于逐点分割的深度神经网络分析

-用于详细点云分割的可选聚类ML模型

-分析的：用于连杆分离的后处理匹配

-生成运动学链描述符数据

-能够在运动学编辑器内分析的结果数据

在实施方式中，可以编译和创建整个运动学链，以生成具有运动学定义的输出.JT文件。

已经针对如具有三个连杆和两个关节的抓器的装置描述了实施方式。在实施方式中，运动学装置可以具有任意数目的连杆和关节。在实施方式中，装置可以是具有至少一种运动学能力和链的任何装置。

在实施方式中，运动学分析器是特定装置分析器，并且专门针对给定类型的运动学装置，例如，专门针对特定类型的夹具、抓器或固定装置对运动学分析器进行训练和使用。

在其他实施方式中，运动学分析器是通用装置分析器，并且被训练和被用于适应庞大的不同类型的运动学装置族。

在实施方式中，为了为给定的特定装置类型选择合适的运动学检测器，可以执行预处理阶段以例如通过如下面图5中所说明的接收到的路由数据分析接收到的运动学装置的类型。

在实施方式中，通用分类器检测哪个是需要被使用的特定运动学分析器，然后相应地激活特定分析器。

在实施方式中，对于复杂的复合运动学装置——如例如包含数十个夹具的固定装置——可以通过以下方式来执行运动学分析：自动提取每个较简单的运动学装置(例如，每个夹具)，然后将每个较简单的装置自动馈送至运动学分析器中。

在其他实施方式中，运动学分析器能够自动分析复合运动学装置。

图5示意性地示出了根据其他所公开的实施方式的用于识别虚拟运动学装置中的运动学能力的框图。在实施方式中，运动学分析器505可以被实现为根据路由数据510路由的一组特定分析器的组合。

路由数据可以是由用户手动提供的信息(装置的类型、连杆的数目和连杆类型)，或者路由数据可以是通过分析伪CAD文件和其对应的元数据而自动检测到的数据。

例如，用户输入路由数据510包括某个抓器的连杆的数目，使得点云抓器511被路由以用于对对应的运动学分析器的连杆识别。例如，在抓器具有两个连杆的情况下，存在用于两个连杆的经训练的分析器KA2，具有三个连杆的情况下，存在三个连杆的运动学分析器KA3，以及四个连杆的情况下，存在四个连杆的运动学分析器KA4。

在实施方式中，当装置具有属于相同连杆类别的至少两个连杆时，可以通过训练ML分析器模块来增强分析器的识别能力以将相同的连杆类型标识符分配给具有相似形状的连杆。在图5中，存在使用这样的经训练的增强运动学分析器KA3e的示例。在实施方式中，用户输入510是存在具有三个连杆和两个连杆类型的抓器511。然后，增强运动学分析器KA3e识别两种连杆类型lnk1、lnkt，其中，用连杆lnkt标识的云点属于图3C的两个连杆lnk2、lnk3，所述两个连杆lnk2、lnk3是图3D中用相同黑色标记的云点。图3D示意性地示出了根据所公开的实施方式的用于针对具有三个连杆和两个连杆类型的抓器的具体情况利用ML算法训练函数的示例性输出训练数据。然后，增强分析器521的输出313被输入至分类器模块CL522，该分类器模块CL522将识别的连杆lknt自动划分成如图3C的抓器312中的不同连杆lnk2、lnk3。用于划分连杆的分类算法的示例包括无监督算法，如聚类、k-均值聚类。

在实施方式中，当连杆的数目和连杆类型不同时，可以优选地利用增强分析器。在实施方式中，当连杆的数目和连杆类型的数目不同时，聚类后处理模块522可以自动地能够决定存在多少不同的聚类。

根据从路由数据510接收到的信息，将装置点云511作为输入数据504应用于其对应的合适的运动学分析器，例如KA2、KA3、KA3e、KA4。输出数据包含连杆。

下面提供了路由数据和增强运动学分析器的使用的示例，其中，NL是连杆的数目，其中，NT是连杆类型的数目。接收连杆的数目NL，并且如果＜NT与NL不同>，则接收连杆类型的数目NT。在其他实施方式中，接收连杆的数目NL，并且如果＜NT与NL不同＞，则可以接收类型中的哪些包括多于一个连杆，并且分类器自动确定有多少连杆在该特定连杆类型下。

图6示出了根据所公开的实施方式的用于识别虚拟运动学装置中的运动学能力的方法的流程图。这样的方法可以例如通过上面描述的图1的系统100来执行，但下面过程中的“系统”可以是被配置成执行如描述的过程的任何设备。虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由具有连接虚拟装置的至少两个连杆的关节的运动学链或者由优选地能够经由关节互连接的至少两个连杆定义。

在实施方式中，用于数据训练ML算法和/或用于执行算法的点云可以包含灰度或RGB颜色信息或其他信息，诸如实体数据、表面法线和其他相关元数据。

在动作605处，接收输入数据。输入数据包括关于给定虚拟运动学装置的点云表示的数据。在实施方式中，从装置的CAD文件中提取输入数据。在实施方式中，关于点云表示的数据可以包括坐标数据、颜色数据、实体标识符数据和/或表面法线数据。

在动作610处，将运动学分析器应用于输入数据。利用通过ML算法训练的函数对运动学分析器进行建模，并且运动学分析器生成输出数据。

在动作615处，提供输出数据。输出数据包括用于将点云表示的点的子集与在给定虚拟运动学装置的点云表示上识别的至少一个连杆的一组运动学描述符相关联的数据。在实施方式中，运动学描述符可以是连杆标识符或连杆类型。

在动作620处，根据输出数据来确定给定虚拟运动学装置中的所识别的至少一种运动学能力。在实施方式中，通过识别具有与相同的描述符连杆类型相关联的两个不同标识符的至少两个装置连杆来确定运动学能力。在实施方式中，通过另外地识别连接至少两个连杆的关节来确定运动学能力。

在实施方式中，接收路由数据，路由数据包括用于选择特定的合适的已经训练的运动学分析器的装置类型、连杆的数目、连杆类型和/或连杆类型的数目。

实施方式还包括根据对应虚拟运动学装置的对应的一组虚拟制造操作的计算机实现模拟的结果控制由运动学装置执行的至少一种制造操作的步骤。

在实施方式中，根据由虚拟运动学装置在计算机模拟平台的虚拟环境中执行的一组制造操作的模拟的结果来控制由运动学装置执行的至少一种制造操作。

在实施方式中，如本文中使用的术语“接收”可以包括从存储装置取得、从另一装置或过程接收、通过与用户的交互或以其他方式接收。

本领域技术人员将认识到，为了简单和清楚起见，本文中不示出或描述适合与本公开内容一起使用的所有数据处理系统的完整结构和操作。替代地，仅如此多地示出和描述了对于本公开内容而言是唯一的或者用于理解本公开内容所必需的数据处理系统。数据处理系统100的其余构造和操作可以符合本领域已知的各种当前实现方式和实践中的任何一种。

重要的是要注意，虽然本公开内容包括在全功能系统的背景下的描述，但是本领域技术人员将理解，本公开内容的至少若干部分能够以包含在各种形式中的任何形式的机器可用、计算机可用或计算机可读介质中的指令的形式来分布，并且不管用于实际执行分布的指令或信号承载介质或存储介质的特定类型如何，本公开内容同样适用。机器可用/可读或计算机可用/可读介质的示例包括：诸如只读存储器(ROM)或电可擦除可编程只读存储器(EEPROM)的非易失性硬编码类型介质；以及诸如软盘、硬盘驱动器和致密盘只读存储器(CD-ROM)或数字多功能盘(DVD)的用户可记录类型介质。

尽管已经详细描述了本公开内容的示例性实施方式，但是本领域技术人员将理解的是，在不脱离本公开内容的最广泛形式的精神和范围的情况下，可以做出本文中所公开的各种改变、替换、变化和改进。

本申请中的任何描述都不应被解读为暗示任何特定元件、步骤或功能是必须包括在权利要求范围中的基本要素：专利的主题的范围仅由允许的权利要求限定。

Claims (15)

1.一种由数据处理系统识别虚拟运动学装置中的运动学能力的方法，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由所述虚拟装置的至少两个连杆定义；所述方法包括：

-接收输入数据；其中，所述输入数据包括关于给定虚拟运动学装置的点云表示的数据；

-将运动学分析器应用于所述输入数据；其中，利用通过ML算法训练的函数对所述运动学分析器进行建模，并且所述运动学分析器生成输出数据；

-提供输出数据；其中，所述输出数据包括用于将所述点云表示的点的子集与在所述给定虚拟运动学装置的所述点云表示上识别的至少一个连杆的一组运动学描述符相关联的数据；

-根据所述输出数据来确定所述给定虚拟运动学装置中的所识别的至少一种运动学能力。

2.根据权利要求1所述的方法，其中，运动学描述符是连杆标识符或连杆类型。

3.根据权利要求1所述的方法，其中，关于所述点云表示的数据包括从由以下数据组成的组中选择的数据：

-坐标数据；

-颜色数据；

-实体标识符数据；

-表面法线数据。

4.根据权利要求1所述的方法，其中，从所述虚拟运动学装置的3D模型中提取所述输入数据。

5.根据权利要求1所述的方法，其中，通过识别具有与相同描述符连杆类型相关联的两个不同标识符的至少两个装置的连杆来确定所述运动学能力。

6.根据权利要求1所述的方法，其中，通过另外识别连接所述至少两个连杆的关节来确定所述运动学能力。

7.根据权利要求1所述的方法，其中，接收路由数据，以用于选择特定合适的已经训练的运动学分析器；所述路由数据包括装置类型、连杆的数目、连杆类型、所述连杆类型的数目。

8.根据权利要求1至7中任一项所述的方法，还包括根据对应的虚拟运动学装置的对应一组虚拟制造操作的计算机实现的模拟的结果来控制由运动学装置执行的至少一种制造操作的步骤。

9.一种提供用于识别虚拟运动学装置中的运动学能力的经训练的函数的方法，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由所述虚拟装置的至少两个连杆定义；所述方法包括：

-接收输入训练数据；其中，所述输入训练数据包括关于在下文中被称为点云装置的多个虚拟运动学装置的多个点云表示的数据；

-接收输出训练数据；其中，对于多个点云装置中的每一个，所述输出训练数据包括用于将云点的子集与至少一个连杆的一组运动学描述符相关联的数据；其中，所述输出训练数据与所述输入训练数据有关；

-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；

-提供经训练的函数，以对运动学分析器进行建模。

10.根据权利要求9所述的方法，其中，关于所述点云表示的数据包括从以下数据组成的组中选择的数据：

-坐标数据；

-颜色数据；

-实体标识符数据；

-表面法线数据。

11.一种数据处理系统，包括：

处理器；以及

可访问的存储器，所述数据处理系统特别地被配置成：

-接收输入数据；其中，所述输入数据包括关于给定虚拟运动学装置的点云表示的数据；

-将运动学分析器应用于所述输入数据；其中，利用通过ML算法训练的函数对所述运动学分析器进行建模，并且所述运动学分析器生成输出数据；

-提供输出数据；其中，所述输出数据包括用于将所述点云表示的点的子集与在所述给定虚拟运动学装置的所述点云表示上识别的至少一个连杆的一组运动学描述符相关联的数据；

-根据所述输出数据来确定所述给定虚拟运动学装置中的所识别的至少一种运动学能力。

12.一种利用可执行指令编码的非暂态计算机可读介质，所述可执行指令在被执行时使一个或更多个数据处理系统进行以下操作：

-接收输入数据；其中，所述输入数据包括关于给定虚拟运动学装置的点云表示的数据；

-将运动学分析器应用于所述输入数据；其中，利用通过ML算法训练的函数对所述运动学分析器进行建模，并且所述运动学分析器生成输出数据；

-提供输出数据；其中，所述输出数据包括用于将所述点云表示的点的子集与在所述给定虚拟运动学装置的所述点云表示上识别的至少一个连杆的一组运动学描述符相关联的数据；

-根据所述输出数据来确定所述给定虚拟运动学装置中的所识别的至少一种运动学能力。

13.一种数据处理系统，包括：

处理器；以及

可访问存储器，所述数据处理系统特别地被配置成：13.一种利用可执行指令编码的非暂态计算机可读介质，所述可执行指令在被执行时使一个或更多个数据处理系统进行以下操作：

-接收输入训练数据；其中，所述输入训练数据包括关于在下文中被称为点云装置的多个虚拟运动学装置的多个点云表示的数据；

-接收输出训练数据；其中，对于多个点云装置中的每一个，所述输出训练数据包括用于将云点的子集与至少一个连杆的一组运动学描述符相关联的数据；其中，所述输出训练数据与所述输入训练数据有关；

-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；

-提供经训练的函数，以对运动学分析器进行建模。

14.一种利用可执行指令编码的非暂态计算机可读介质，所述可执行指令在被执行时使一个或更多个数据处理系统进行以下操作：

-接收输入训练数据；其中，所述输入训练数据包括关于在下文中被称为点云装置的多个虚拟运动学装置的多个点云表示的数据；

-接收输出训练数据；其中，对于多个点云装置中的每一个，所述输出训练数据包括用于将云点的子集与至少一个连杆的一组运动学描述符相关联的数据；其中，所述输出训练数据与所述输入训练数据有关；

-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；

-提供经训练的函数，以对运动学分析器进行建模。

15.一种由数据处理系统识别虚拟运动学装置中的运动学能力的方法，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由所述虚拟装置的至少两个连杆定义；所述方法包括：

-接收输入训练数据；其中，所述输入训练数据包括关于在下文中被称为点云装置的多个虚拟运动学装置的多个点云表示的数据；

-接收输出训练数据；其中，对于多个点云装置中的每一个，所述输出训练数据包括用于将云点的子集与至少一个连杆的一组运动学描述符相关联的数据；其中，所述输出训练数据与所述输入训练数据有关；

-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；

-提供经训练的函数，以对运动学分析器进行建模；

-接收输入数据；其中，所述输入数据包括关于给定虚拟运动学装置的点云表示的数据；

-将所述运动学分析器应用于所述输入数据；其中，利用通过ML算法训练的函数对所述运动学分析器进行建模，并且所述运动学分析器生成输出数据；

-提供输出数据；其中，所述输出数据包括用于将所述点云表示的点的子集与在所述给定虚拟运动学装置的所述点云表示上识别的至少一个连杆的一组运动学描述符相关联的数据；

-根据所述输出数据来确定所述给定虚拟运动学装置中的所识别的至少一种运动学能力。