CN117501299A - 用于识别虚拟运动学装置中的运动学能力的方法和系统 - Google Patents

Abstract

用于识别虚拟运动学装置中的运动学能力的系统和方法。接收输入数据，其中，输入数据包括关于给定虚拟运动学装置的至少两种2D虚拟表示的数据。将运动学分析器应用于输入数据，其中，用通过ML算法训练的函数对分析器进行建模，并且运动学分析器生成输出数据。提供输出数据，其中，输出数据包括关于在给定虚拟运动学装置的至少两种2D虚拟表示上识别的至少一种运动学能力的一组运动学描述符的数据。根据输出数据，确定给定的虚拟运动学装置中的所识别的至少一种运动学能力。

Description

用于识别虚拟运动学装置中的运动学能力的方法和系统

技术领域

本公开内容总体上涉及计算机辅助设计、可视化和制造(“CAD”)系统、产品生命周期管理(“PLM”)系统、产品数据管理(“PDM”)系统、生产环境模拟以及管理用于产品和其他项目的数据的类似系统(统称为“产品数据管理”系统或PDM系统)。更具体地，本公开内容涉及生产环境模拟。

背景技术

在制造工厂设计中，制造资产的三维(“3D”)数字模型用于各种制造规划目的。这种用法的示例包括但不限于制造过程分析、制造过程模拟、装备碰撞检查和虚拟调试。

如本文中使用的，术语制造资产和装置表示制造线(manufacturing lines)中存在的任何资源、机器、零件和/或任何其他对象。

在工厂线(plant lines)的资产的3D数字建模阶段期间，通常需要过程规划人员。

在对制造线的生产过程进行数字规划时，制造模拟规划人员需要将作为生产线(production lines)的一部分的多种装置插入到虚拟场景中。工厂装置的示例包括但不限于：工业机器人及其工具；运输资产如输送机、转台；安全资产如栅栏、大门；自动化资产如夹具、抓器、抓取零件的固定装置等。

这些装置中的一些是具有一个或更多个运动学能力的运动学装置，运动学装置需要通过运动学链的运动学描述符的运动学定义。运动学装置定义使得能够在虚拟环境中模拟运动学装置链的运动学运动。运动学装置的示例是夹具，该夹具在抓取零件之前打开其指状物并闭合这种指状物以实现零件的稳定抓取。对于具有两个刚性指状物的简单夹具，运动学定义通常在于：为两个指状物分配两个油墨描述符，并为通过其连杆节点定位的相互旋转轴分配关节描述符。如运动学链定义领域中已知的，关节被定义为两个或更多个连杆在其节点处的连接，这允许连接的连杆之间的一些运动或潜在运动。以下呈现了术语的简化定义，以便提供对本文中描述的一些方面的基本理解。如本文中使用的，运动学装置可以表示具有由链定义的多个运动学能力的装置，由此每个运动学能力由描述链的一组连杆和一组关节的描述符定义。换言之，运动学描述符可以提供运动学装置的运动学能力的完整或部分运动学定义。

尽管存在许多可以被规划人员使用的现成的3D CAD装置库，但是这些3D CAD模型中的大多数都缺乏运动学定义。因此，通常需要模拟规划人员尤其针对具有大量运动学装置的制造工厂(例如针对汽车工厂)来手动定义这些3D装置模型的运动学，这是耗时的任务。

事实上，在汽车领域，OEM经常需要制造新的汽车模型和具有频繁修改的变型，并且在汽车工厂中，为了制造单个汽车模型的各种零件，需要数百个运动学装置。运动学装置的示例包括但不限于机器人、固定装置、抓器、夹具、转台等。

图2示意性地示出了在制造工厂中被用作工件夹持装置的固定装置的3D模型。在固定装置201中，示出了数十个夹具202，由此每个夹具是具有一个或更多个具有运动学能力的运动学链的运动学装置。

运动学装置的几何形状通常在CAD软件工具中建模，并且当每个CAD模型被加载到模拟环境中时，需要添加其运动学定义。一旦添加了运动学定义，数字运动学装置就被存储在资源库中，这通常允许运动学模型的再利用。

然而，在汽车行业中，由于汽车零件中的一些会由于不同的汽车变型和/或不同的汽车型号而不同，因此需要为每个新汽车变型或新汽车型号的不同零件的制造线中涉及的运动学装置添加资源运动学。

模拟工程师被分配以下任务：维护具有数千个运动学装置的资源库；以及通过添加对应的运动学描述符，在虚拟装置表示中对所需的缺失运动学进行建模。

通常，模拟工程师使用他们的专业经验来理解每个运动学装置的运动学功能，并且因此能够通过识别具有连杆和关节的链以及通过提供它们的描述符来创建其对应的运动学定义并将其对应的运动学定义添加到装置模型中的每一个中。

图3示意性地示出了虚拟夹具模型的运动学能力的典型手动分析的框图(现有技术)。

模拟工程师303分析简单夹具的CAD模型301的运动学能力，由此CAD模型缺少运动学定义。她将夹具模型301加载到虚拟环境中，并且利用她的分析，她识别夹具的链的两个连杆lnk1、lnk2和关节j1，以便经由运动学编辑器304构建运动学夹具模型303，该运动学编辑器304包括连杆lnk1、lnk2和关节j1的运动学描述符。注意，举例说明的运动学夹具模型302是仅具有两个连杆lnkl、lnk2和单个旋转关节j1的简单夹具。本领域技术人员已经知道，存在具有多于一个链和关节的夹具，并且存在几种其他类型的关节。运动学关节类型的示例包括但不限于：棱柱关节、转动或旋转关节、螺旋形关节、球形关节和平面关节。

没有运动学的夹具模型301可以以CAD文件格式来定义。具有运动学描述符的夹具模型303可以优选地以以下文件格式来定义：允许CAD几何形状连同运动学定义的文件格式，如例如用于Process Simulate平台的具有几何形状和运动学二者的jt格式文件(其通常被存储在cojt文件夹中)；或者例如用于NX平台的.prt格式文件；或者可以由工业运动模拟软件(例如计算机辅助机器人(“CAR”)工具，像例如西门子数字工业软件组的ProcessSimulate)使用的任何其他运动学对象文件格式。

如上所述，针对多种运动学装置创建和维护运动学能力和链描述符的定义是乏味、重复且耗时的任务，并且需要有经验的用户的技能。

因此，期望用于识别虚拟运动学装置中的运动学能力的改进的技术。

发明内容

各种公开的实施方式包括用于识别虚拟运动学装置中的运动学能力的方法、系统和计算机可读介质，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由具有连接虚拟装置的至少两个连杆的关节的链来定义。该方法包括：接收输入数据，其中，输入数据包括关于给定虚拟运动学装置的至少两种2D虚拟表示的数据。该方法还包括：将运动学分析器应用于输入数据，其中，用通过ML算法训练的函数对运动学分析器进行建模，并且运动学分析器生成输出数据。该方法还包括：提供输出数据，其中，输出数据包括关于在给定虚拟运动学装置的至少两种2D虚拟表示上识别的至少一种运动学能力的一组运动学描述符的数据。该方法还包括：根据输出数据，确定给定虚拟运动学装置中的所识别的至少一种运动学能力。

各种公开的实施方式包括用于提供用于识别虚拟运动学装置中的运动学能力的经训练的函数的方法、系统和计算机可读介质，其中，运动学装置是具有至少一种运动学能力的装置，并且其中，运动学能力由连接运动学装置的至少两个连杆的关节来定义。该方法包括：接收输入训练数据，其中，输入训练数据包括关于多个虚拟运动学装置的多个至少两种2D虚拟表示的数据。该方法还包括：接收输出训练数据，其中，对于多个虚拟运动学装置中的每一个，输出训练数据包括关于一组运动学描述符的数据，所述一组运动学描述符关于多个运动学装置中的每一个的至少两种2D虚拟表示的一组运动学能力，其中，输出训练数据与输入训练数据有关。该方法还包括：通过ML算法，基于输入训练数据和输出训练数据来训练函数。该方法还包括：提供经训练的函数，以对运动学分析器进行建模。

各种公开的实施方式包括用于检测虚拟运动学装置中的运动学能力的方法、系统和计算机可读介质，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由具有连接虚拟装置的至少两个连杆的关节的链来定义。该方法包括：接收输入训练数据，其中，输入训练数据包括关于多个虚拟运动学装置的多个至少两种2D虚拟表示的数据。该方法还包括：接收输出训练数据，其中，对于多个虚拟运动学装置中的每一个，输出训练数据包括关于一组运动学描述符的数据，所述一组运动学描述符关于多个运动学装置中的每一个的至少两种2D虚拟表示的一组运动学能力，其中，输出训练数据与输入训练数据有关。该方法还包括：通过ML算法，基于输入训练数据和输出训练数据来训练函数。该方法还包括：提供经训练的函数，以对运动学分析器进行建模。该方法还包括：接收输入数据，其中，输入数据包括关于给定虚拟运动学装置的至少两种2D虚拟表示的数据。该方法还包括：将运动学分析器应用于输入数据，其中，用通过ML算法训练的函数对运动学分析器进行建模，并且运动学分析器生成输出数据。该方法还包括：提供输出数据，其中，输出数据包括关于在给定虚拟运动学装置的至少两种2D虚拟表示上识别的至少一种运动学能力的一组运动学描述符的数据。该方法还包括：根据输出数据，确定给定虚拟运动学装置中的所识别的至少一种运动学能力。

前面已经相当广泛地概述了本公开内容的特征和技术优点，使得本领域技术人员可以更好地理解下面的详细描述。在下文中，将描述本公开内容的形成权利要求的主题的另外的特征和优点。本领域技术人员将理解的是，出于执行本公开内容的相同目的，他们可以容易地使用所公开的构思和具体实施方式作为用于修改或设计其他结构的基础。本领域技术人员还将认识到，这样的等同构造不会脱离本公开内容在其最广泛的形式上的精神和范围。

在进行下面的具体实施方式之前，阐述贯穿本专利文献使用的某些词或短语的定义可能是有利的：术语“包括”和“包含”及其派生词意味着包括但不限于；术语“或”是包含性的，意味着和/或；短语“与......相关联”和“与其相关联”及其派生词可以意味着包括、被包括在......内、与......互连、包含、被包含在......内、连接至或与......连接、耦接至或与......耦接、与......可通信、与......合作、交错、并置、接近、绑定至或与......绑定、具有、具有......的特性等；并且术语“控制器”意味着控制至少一个操作的任何装置、系统或其部分，无论这种装置是以硬件、固件、软件还是硬件、固件、软件中的至少两种的一些组合实现的。应当注意，与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。贯穿本专利文献提供了某些词语和短语的定义，并且本领域普通技术人员将理解的是，这样的定义在许多(如果不是大多数)情况下适用于这样定义的词语和短语的先前以及将来的使用。虽然一些术语可以包括各种实施方式，但是所附权利要求可以明确地将这些术语限制于具体实施方式。

附图说明

为了更完整地理解本公开内容及其优点，现在参照结合附图进行的以下描述，其中，相同的附图标记表示相同的对象，并且在附图中：

图1示出了其中可以实现实施方式的数据处理系统的框图。

图2示意性地示出了固定装置的3D模型。

图3示意性地示出了虚拟夹具模型的运动学能力的典型手动分析的框图(现有技术)。

图4A示意性地示出了根据所公开的实施方式的用于利用机器学习(“ML”)算法训练函数以识别虚拟运动学装置中的运动学能力的框图。

图4B示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输入训练数据。

图4C示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输出训练数据。

图4D示意性地示出了图4B的夹具与来自图4C的边界框的正交视图。

图5示意性地示出了根据所公开的实施方式的用于识别虚拟运动学装置中的运动学能力的框图。

图6示出了根据所公开的实施方式的用于识别虚拟运动学装置中的运动学能力的流程图。

具体实施方式

下面讨论的图1至图6以及本专利文献中用于描述本公开内容的原理的各种实施方式仅作为说明，并且不应当以任何方式被解释为限制本公开内容的范围。本领域技术人员将理解，本公开内容的原理可以在任何适当布置的装置中来实现。将参照示例性非限制性实施方式来描述本申请的许多创新性教导。

此外，在下文中，关于用于识别虚拟运动学装置中的运动学能力的方法和系统以及关于用于提供用于识别虚拟运动学装置中的运动学能力的经训练的函数的方法和系统来描述根据实施方式的解决方案。

本文中的特征、优点或替选实施方式可以被分配给其他要求保护的对象，并且其他要求保护的对象可以被分配给本文中的特征、优点或替选实施方式。

换言之，可以利用在用于识别虚拟运动学装置中的运动学能力的方法和系统的上下文中描述或要求保护的特征来改进用于提供用于识别虚拟运动学装置中的运动学能力的经训练的函数的方法和系统的权利要求，并且可以利用用于提供用于识别虚拟运动学装置中的运动学能力的经训练的函数的方法和系统的权利要求来改进在用于识别虚拟运动学装置中的运动学能力的方法和系统的上下文中描述或要求保护的特征。特别地，用于检测在由AOI机器检查的板的部件上检测到的一组错误中的假错误的方法和系统的经训练的函数可以通过用于识别虚拟运动学装置中的运动学能力的方法和系统进行调整。此外，输入数据可以包括训练输入数据的有利特征和实施方式，并且训练输入数据的有利特征和实施方式可以包括输入数据。此外，输出数据可以包括输出训练数据的有利特征和实施方式，并且输出训练数据的有利特征和实施方式可以包括输出数据。

先前的技术不能在虚拟运动学装置中实现有效的运动学能力识别。本文中公开的实施方式提供了许多技术益处，包括但不限于以下示例。

实施方式使得能够自动地识别和自动地定义虚拟运动学装置的运动学能力。

实施方式使得能够以快速且有效的方式识别和定义虚拟运动学装置的运动学能力。

实施方式使对用于识别运动学装置的运动学能力的经训练的用户的需要最小化，并减少了工程时间。实施方式使在定义虚拟运动学装置的运动学能力时的“人为错误”的数量最小化。

实施方式可以有利地用于多种不同类型的运动学装置。

实施方式使得能够在运动学装置中自动检测关节的存在，并且在装置的二维(“2D”)虚拟表示上生成它们的描述符，例如它们的轴或其他相关图形对象。

图1示出了数据处理系统100的框图，在该数据处理系统100中，实施方式可以被实现为例如通过软件或以其他方式被特别配置成执行如本文中描述的过程的PDM系统，并且实施方式可以特别地被实现为如本文中描述的多个互连和通信系统中的每一个。示出的数据处理系统100可以包括连接至二级高速缓冲存储器/桥接器104的处理器102，该二级高速缓冲存储器/桥接器104又连接至本地系统总线106。本地系统总线106可以是例如外围部件互连(PCI)架构总线。在所示示例中，主存储器108和图形适配器110也连接至本地系统总线。图形适配器110可以连接至显示器111。

其他外围装置例如局域网(LAN)/广域网/无线(例如WiFi)适配器112也可以连接至本地系统总线106。扩展总线接口114将本地系统总线106连接至输入/输出(I/O)总线116。I/O总线116连接至键盘/鼠标适配器118、盘控制器120和I/O适配器122。盘控制器120可以连接至存储装置126，存储装置126可以是任何合适的机器可用或机器可读存储介质，包括但不限于：非易失性硬编码类型介质，例如只读存储器(ROM)或电可擦除可编程只读存储器(EEPROM)、磁带存储装置；以及用户可记录类型介质，例如软盘、硬盘驱动器和致密盘只读存储器(CD-ROM)或数字多功能盘(DVD)；以及其他已知的光、电或磁存储装置。

在所示示例中，音频适配器124也连接至I/O总线116，扬声器(未示出)可以连接至音频适配器124以用于播放声音。键盘/鼠标适配器118为指针装置(未示出)例如鼠标、轨迹球、轨迹指针、触摸屏等提供连接。

本领域普通技术人员将理解，图1中示出的硬件可以针对特定的实现方式而变化。例如，除了示出的硬件之外或代替示出的硬件，也可以使用诸如光盘驱动器等的其他外围装置。仅出于说明的目的提供所示出的示例，并且所示出的示例不意味着暗含对本公开内容的架构限制。

根据本公开内容的实施方式的数据处理系统可以包括采用图形用户界面的操作系统。操作系统允许在图形用户界面中同时呈现多个显示窗口，其中每个显示窗口向不同的应用提供界面或者向同一应用的不同实例提供界面。图形用户界面中的光标可以由用户通过指针装置来操纵。可以改变光标的位置和/或生成诸如点击鼠标按钮的事件以启动期望的响应。

如果适当地修改，则可以采用各种商业操作系统中的一种，例如位于华盛顿州雷蒙德市的微软公司的产品Microsoft Windows^TM的版本。根据所描述的本公开内容修改或创建操作系统。

LAN/WAN/无线适配器112可以连接至网络130(不是数据处理系统100的一部分)，网络130可以是任何公共或私有数据处理系统网络或者如本领域技术人员所知的包括因特网的网络的组合。数据处理系统100可以通过网络130与服务器系统140进行通信，该服务器系统140也不是数据处理系统100的一部分，但可以被实现为例如单独的数据处理系统100。图3示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数以对假错误检测器进行建模的框图。

图4A示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数以识别虚拟运动学装置中的运动学能力的框图。

在ML训练阶段期间，可以通过从运动学装置的3D模型中获得至少两种2D虚拟表示(例如，以图像或图画的形式)来生成输入训练数据401，在此用简单的夹具来举例说明。2D图像优选地是虚拟装置的3D模型的两个或更多个正交投影。

图4B示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输入训练数据。在图4B中，示出了夹具的六个2D正投影视图411，例如顶视图、底视图、前视图、后视图、右视图、左视图。

如图4C中举例说明的，通过针对每个2D图像获取定义装置的一个或更多个运动学能力的链元素——例如，连杆、关节——的运动学描述符来获得输出训练数据。

在实施方式中，运动学描述符例如通过定义附加图形对象——像一些图像中的轴(参见图4D中的顶视图、底视图、前视图、后视图中的点虚线)或像其他正交图像中的点或十字或非常小的正方形(未示出)(参见图4D中的右视图和左视图中的十字)——正在描述一个或更多个关节的定位并且正在描述2D图像的一组连杆。

在实施方式中，连杆描述符和轴描述符可以包括具有或不具有边界框的标签，或者可以包括具有或不具有标签的边界框。

在实施方式中，输出训练数据可以自动地被生成为偏离装置模型的运动学文件的标记的训练数据集。在其他实施方式中，通过用描述符定义和标记每个连杆和关节来手动生成输出训练数据。在其他实施方式中，可以有利地使用自动标记的数据集和手动标记的数据集的混合。

在实施方式中，用于对ML算法进行数据训练和/或用于算法的执行的2D图像包含灰度或RGB颜色信息。

图4C示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输出训练数据。在图4C中，针对所有六个投影412示出了装置的运动学能力的描述符的示例。

这样的描述符可以例如以在边界框的角上具有坐标数据的元数据的形式被提供，或者以图像的形式例如像边界框或其他图形对象被提供。

图4C示出了两个连杆的边界框，特别是用于第一连杆lnk1的较大的虚线边界框、用于第二连杆lnk2的较小的虚线边界框以及用于旋转关节j1的点虚线或十字。

图4D示意性地示出了根据实施方式的图4B的夹具与来自图4C的边界框的正交视图。图4D的六个图像能够作为图4B的六个图像和图4B的六个图像的并置而获得。图4D阐明了图4C中使用的边界框和描述符的含义。在其他实施方式中，图4D的图像可以用作输出训练数据。

在实施方式中，输入训练数据——例如具有每个装置的2D表示的数据——能够通过装置的3D模型的数据像例如CAD文件、.jt格式文件、.prt格式文件、.asm格式文件、.par格式文件、.sldprt格式文件、.sldasm格式文件等而获得。

在实施方式中，输出训练数据例如具有每个装置的2D表示的运动学描述符的数据能够从像jt.文件的运动学文件例如从形成cojt.文件夹的其运动学元数据或其他运动学格式数据文件获得。

在实施方式中，预训练的神经网络可以被使用并且其能力被改进，例如像上下文中的公共对象(Common Objects in Context，“COCO”)数据集。

可以自动地生成用于训练神经网络的数据集。例如，在实施方式中，具有运动学能力定义的大量运动学装置模型文件可以用于ML训练目的。

在示例性实施方式中，假设数百个具有运动学信息的jt.文件用于训练目的。例如，cojt.文件夹可以例如在xml文件中包含jt.格式的几何形状和运动学描述信息作为元数据。

在该示例性实施方式中，每个cojt.文件夹文件被单独加载至过程模拟CAR工具。从CAR工具，从六个主要方向，例如从例如分别±z、±y、±x方向的顶、底、前、后、右、左拍摄的六个图像提取2D图像，如在图4B中举例说明的。这样提取的2D图像然后被用作输入训练数据。作为输出训练数据，可以从包括在cojt.文件夹中的运动学信息有利地生成标签和/或边界框上的元数据。如图4C和图4D中举例说明的，通过指定连杆和关节的边界框，运动学信息可以例如用于给连杆和关节加标签。

在实施方式中，装置图像的连杆和关节优选地以自动方式被加标签。

在实施方式中，关节被引入作为图形对象，并且被定义为轴、点、十字、折叠的正方形、小正方形和小圆圈或适于表示关节的其他图形对象。

在ML训练阶段的实施方式中，用于训练神经网络的输入训练数据401是从3D模型文件生成的运动学装置411的2D虚拟表示，并且输出训练数据402是例如能够从运动学对象文件获得的运动学链元素(例如，连杆和关节)的标记的数据412。

在实施方式中，训练过程403的结果是经训练的神经网络404，所述经训练的神经网络404能够从给定的一组2D图像中自动检测运动学连杆和关节的描述符。

在实施方式中，本文中被称为“运动学分析器”的经训练的神经网络能够检测连杆和关节的边界框和/或描述运动学链的其他相关图形对象。

在实施方式中，标记的观察数据集被分成训练集和测试集；ML算法被馈送有训练集，并且预测模型接收来自机器学习器和测试集的输入，以输出统计数据。

在实施方式中，数据集中的大约70％可以被用作用于校准神经网络的权重的训练数据集，数据集中的大约20％可以被用作用于控制和监测当前训练过程的验证数据集，并且如果需要则修改训练过程，以及数据集中的大约10％可以在训练和验证完成之后随后被用作测试集，以用于评估ML算法的准确性。

在实施方式中，ML训练过程的整个数据准备可以由软件应用自动完成。

在实施方式中，从运动学对象文件或从手动运动学标记或其任意组合自动生成输出训练数据。在实施方式中，输出训练数据被提供为元数据、文本数据、图像数据和/或其任意组合。

在实施方式中，输入/输出训练数据包括数字格式、文本格式、图像格式、其他格式和/或其任意组合的数据。

在实施方式中，在训练阶段期间，ML算法学习通过从几个主要视点“看”2D装置图像来检测装置的运动学连杆和关节。在实施方式中，图像视点的数目可以优选地在二至六之间。在其他实施方式中，可以使用更高数目的图像视点。

在实施方式中，可以从类似或不同的虚拟运动学装置的多个模型生成输入训练数据和输出训练数据。

实施方式包括用于提供用于识别虚拟运动学装置中的运动学能力的经训练的函数的方法和系统，其中，运动学装置是具有至少一种运动学能力的装置，并且其中，运动学能力由连接运动学装置的至少两个连杆的关节来定义。

实施方式还包括以下步骤：

-接收输入训练数据；其中，输入训练数据包括关于多个虚拟运动学装置的多个至少两种2D虚拟表示的数据；

-接收输出训练数据；其中，对于多个虚拟运动学装置中的每一个，输出训练数据包括关于一组运动学描述符的数据，所述一组运动学描述符关于多个运动学装置中的每一个的至少两种2D虚拟表示的一组运动学能力；其中，输出训练数据与输入训练数据有关；

-通过ML算法基于输入训练数据和输出训练数据来训练函数；

-提供经训练的函数，以对运动学分析器进行建模。

在实施方式中，通过从CAD文件中提取2D图像来生成输入训练数据。

在实施方式中，通过标记一组连杆(例如，经由图形连杆对象)并且通过生成一组关节轴(例如，经由图形关节对象)，从2D图像生成输出训练数据。

在实施方式中，虚拟运动学装置属于相同的装置类别(例如，夹具、夹、固定装置、转台类别、通用装置类别或特定供应商的装置类别)或属于装置类别族(例如，所有供应商的具有预定形状的夹具)。

在实施方式中，在利用训练数据的训练阶段期间，经训练的函数可以适应新的环境并且检测和推断模式。

一般来说，可以借助于训练来调整经训练的函数的参数。特别地，可以使用监督训练、半监督训练、无监督训练、强化学习和/或主动学习。此外，可以使用表征学习(替选术语是“特征学习”)。特别地，可以通过几个训练步骤迭代地调整经训练的函数的参数。

特别地，经训练的函数可以包括神经网络、支持向量机、决策树和/或贝叶斯网络，以及/或者经训练的函数可以基于k均值聚类、Q学习、遗传算法和/或关联规则。

特别地，神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。此外，神经网络可以是对抗网络、深度对抗网络和/或生成式对抗网络。

在实施方式中，ML算法是监督模型，例如在真错误和伪错误之间进行分类的二值分类器。在实施方式中，可以使用其他分类器，例如逻辑回归器、随机森林分类器、xgboost分类器等。在实施方式中，可以使用经由TensorFlow框架的前馈神经网络。

图5示意性地示出了根据所公开的实施方式的用于识别虚拟运动学装置中的运动学能力的框图。

图5示意性地示出了神经网络执行的示例实施方式。

在实施方式中，提供了关于虚拟夹具501的3D模型的数据。可以以CAD文件或网格(例如，STL文件)的形式提供这种数据。

在实施方式中，对所提供的数据进行预处理503，以便提取夹具的两个或更多个2D图像504，例如自动提取六个正交投影511。图像可以是灰度或彩色格式。2D图像504被应用于提供输出数据506的运动学分析器505。输出数据包括在夹具的输入图像中检测到的连杆和关节的描述符512。在实施方式中，描述符作为边界框信息数据被提供。对输出数据506进行后处理507，以便确定夹具的3D模型中的连杆lnk1、lnk2以及定义关节j1的轴。关于所确定的连杆和关节的信息可以被添加为运动学定义，以根据没有运动学的脱离(departing)CAD文件(例如，.jt文件)生成运动学文件(例如，在cojt文件夹中)。

在实施方式中，从新运动学装置的3D模型文件中提取的六个图像被应用于先前用ML算法训练的运动学分析器。运动学分析器的输出是新装置的一个或更多个运动学能力的描述符。

在实施方式中，运动学分析器检查从两个或更多个视点拍摄的2D图像，并且然后能够确定和定位关节轴要被定位的位置，并且能够生成具有一个或更多个有关连杆的对应运动学链的一个或更多个相关轴的位置的描述符。在实施方式中，用描述符例如以边界框的格式来定义一个轴的位置，边界框例如是在一些视点中的线的折叠边界框(例如，参见图4C和图4D中的点虚线)、在其他正交视点中的点或小正方形(例如，参见图4C和图4D中的十字)。

在实施方式中，运动学分析器的输出数据是边界框，所述边界框可以例如由它们的角的像素坐标来表示。

在实施方式中，每个识别的连杆实体被标记有其连杆标识符，例如lnk1、lnk2等。

借助于运动学分析器，实施方式使得能够自动确定连杆和关节在哪里，以便将连杆和关节定义为被分析装置的运动学链的一部分。

实施方式使得能够自动生成被分析装置的运动学能力的定义。

在实施方式中，在算法的执行阶段期间，可以提供装置的CAD文件作为预处理503的输入。

在实施方式中，可以以jt.格式文件例如Process Simulate的本地格式来提供CAD模型的文件。在其他实施方式中，描述装置模型的文件可以被提供为描述3D模型或其子元素的任何其他合适的文件格式。在实施方式中，以这种后者格式的该文件可以优选地通过文件转换器(例如，现有转换器或特别创建的转换器)被转换成JT。

在实施方式中，由预处理模块503从CAD模型中自动提取来自不同方向的图像511的几个2D图像，使得它们可以被馈送504到经训练的神经网络505中。

在实施方式中，运动学分析器505算法的输出606提供所有图像中的关节和连杆的一组描述符512，以用于确定507装置3D模型502中的运动学链的连杆和关节。

在实施方式中，即使在这样的图形关节对象不存在于运动学分析器的2D图像输入数据中时，仍然通过一组图形关节对象或对应的元数据来识别关节实体。

在实施方式中，运动学分析器的具有关节和连杆的描述符512的输出由后处理模块507处理。

在实施方式中，后处理模块507利用连杆的描述符，例如2D图像中的连杆的边界框，来用对应的连杆标识符对每个对应的3D几何形状实体进行分类。

在实施方式中，在后处理模块507中，执行三角测量，以便提取与2D图像有关的输出数据，以及将它们的对应数据定义到3D场景中。

在实施方式中，后处理模块507将关节位置从2D坐标三角测量到3D场景中。

在图5的简化示例性实施方式中，唯一检测到的关节是旋转关节，并且对应的轴被定义和生成。在实施方式中，关节可以是棱柱关节、转动或旋转关节、螺旋形关节、球形关节和平面关节。

在实施方式中，所有关节都在3D场景中被明确定义并适当地被定位。

在实施方式中，调整和微调所生成的关节的描述符，例如对于该示例为关节轴坐标，以适合3D CAD模型。例如，如果检测到小的偏差，则进行轻微的调整，使得轴平行或垂直于对应的基础几何形状。

实施方式使得能够在三角测量阶段期间或之后实现自动错误校正。

在实施方式中，整个运动学链可以被编译和创建，以生成具有运动学定义的输出.jt文件。

已经针对作为具有两个连杆和一个关节的简单夹具的装置描述了实施方式。在实施方式中，夹具可以具有多于一个的关节。在实施方式中，装置可以是具有至少一种运动学能力和链的任何装置。

在实施方式中，运动学分析器是特定装置分析器，并且专门针对给定类型的运动学装置，例如专门针对特定类型的夹具、抓器或固定装置对运动学分析器进行训练和使用。

在其他实施方式中，运动学分析器是通用装置分析器，并且被训练和被用于适应庞大的不同类型的运动学装置族。

在实施方式中，对于特定装置类型的运动学检测器，可以执行预处理分类阶段，来对接收到的运动学装置的类型进行分类。

在实施方式中，通用分类器检测哪个是需要被使用的特定运动学分析器，并且然后相应地激活特定分析器。

在实施方式中，对于复杂的复合运动学装置——如例如图2的包含数十个夹具的固定装置——可以通过以下方式来执行运动学分析：自动提取每个较简单的运动学装置，例如每个夹具，并且然后将每个较简单的装置自动馈送到运动学分析器中。

在其他实施方式中，运动学分析器能够自动分析复合运动学装置，像例如图2的固定装置。

图6示出了根据所公开的实施方式的用于识别虚拟运动学装置中的运动学能力的方法的流程图。这种方法可以例如由上述图1的系统100来执行，但是下面过程中的“系统”可以是被配置成执行所描述的过程的任何设备。虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由运动学链定义，该运动学链具有连接虚拟装置的至少两个连杆的关节。

在动作605处，接收输入数据。输入数据包括关于给定虚拟运动学装置的至少两种2D虚拟表示的数据。在实施方式中，2D虚拟表示是2D图像，例如包括在虚拟运动学装置的CAD模型中或能够从虚拟运动学装置的CAD模型中提取的CAD绘图或2D表示。在实施方式中，输入数据是根据接收到的装置的3D几何形状文件自动生成的。

在动作610处，将运动学分析器应用于输入数据。用通过ML算法训练的函数来对运动学分析器进行建模，并且运动学分析器生成输出数据。

在动作615处，提供输出数据。输出数据包括关于在给定虚拟运动学装置的至少两种2D虚拟表示上识别的至少一种运动学能力的一组运动学描述符的数据。

在实施方式中，该组运动学描述符描述一组图形对象，例如给定运动学装置的一组连杆和一组关节的边界框。

在动作620处，根据输出数据来确定给定虚拟运动学装置中的所识别的至少一种运动学能力。在实施方式中，根据输出数据，通过确定对应的连杆和关节来确定虚拟装置的运动学链。

在实施方式中，通过识别至少两个装置的连杆并通过定义与至少两个连杆相关联的关节的特性来确定运动学能力，该能力可以在虚拟运动学装置的2D绘图或3D模型中被确定。在实施方式中，3D空间中的运动学能力通过三角测量来确定。关节特性的示例包括但不限于关节位置、关节取向、关节类型、以图形方式或以元数据方式描述关节的关节图形对象的任何特性。

在实施方式中，例如通过将关节轴定位成平行于或垂直于连杆的可选择的一组几何特征或者与之成给定的角度，根据虚拟装置的几何形状来调整所定义的关节的特性。几何形状连杆特征的集合的示例包括但不限于连杆的表面、侧面、轴、基础、视图以及连杆的任何其他几何形状相关的特性。

在实施方式中，根据由虚拟运动学装置在计算机模拟平台的虚拟环境中执行的一组制造操作的模拟的结果，控制由运动学装置执行的至少一种制造操作。

在实施方式中，如本文中使用的术语“接收”可以包括从存储装置取得、从另一装置或过程接收、通过与用户的交互或以其他方式接收。

本领域技术人员将认识到，为了简单和清楚起见，本文中不示出或描述适合与本公开内容一起使用的所有数据处理系统的完整结构和操作。替代地，仅如此多地示出和描述了对于本公开内容而言是唯一的或者用于理解本公开内容所必需的数据处理系统。数据处理系统100的其余构造和操作可以符合本领域已知的各种当前实现方式和实践中的任何一种。

重要的是要注意，虽然本公开内容包括在全功能系统的背景下的描述，但是本领域技术人员将理解，本公开内容的至少若干部分能够以包含在各种形式中的任何形式的机器可用、计算机可用或计算机可读介质中的指令的形式来分布，并且不管用于实际执行分布的指令或信号承载介质或存储介质的特定类型如何，本公开内容同样适用。机器可用/可读或计算机可用/可读介质的示例包括：诸如只读存储器(ROM)或电可擦除可编程只读存储器(EEPROM)的非易失性硬编码类型的介质以及诸如软盘、硬盘驱动器和致密盘只读存储器(CD-ROM)或数字多功能盘(DVD)的用户可记录类型介质。

尽管已经详细描述了本公开内容的示例性实施方式，但是本领域技术人员将理解的是，在不脱离本公开内容的最广泛形式的精神和范围的情况下，可以做出本文中所公开的各种改变、替换、变化和改进。

本申请中的任何描述都不应被解读为暗示任何特定元件、步骤或功能是必须包括在权利要求范围中的基本要素：专利的主题的范围仅由允许的权利要求限定。

Claims (15)

1.一种用于通过数据处理系统识别虚拟运动学装置中的运动学能力的方法，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由具有连接所述虚拟装置的至少两个连杆的关节的链来定义，所述方法包括：

-接收输入数据，其中，所述输入数据包括关于给定虚拟运动学装置的至少两种2D虚拟表示的数据；

-将运动学分析器应用于所述输入数据，其中，用通过ML算法训练的函数对所述运动学分析器进行建模，并且所述运动学分析器生成输出数据；

-提供输出数据，其中，所述输出数据包括关于在所述给定虚拟运动学装置的至少两种2D虚拟表示上识别的至少一种运动学能力的一组运动学描述符的数据；

-根据所述输出数据来确定所述给定虚拟运动学装置中的所识别的至少一种运动学能力。

2.根据权利要求1所述的方法，其中，所述一组运动学描述符描述所述给定运动学装置的一组连杆和一组关节的一组边界框。

3.根据权利要求1或2所述的方法，其中，所述2D虚拟表示是从所述虚拟运动学装置的CAD模型提取的2D图像。

4.根据权利要求1至3中的一项所述的方法，其中，通过以下方式来确定所述运动学能力：在所述虚拟运动学装置的3D模型中，识别至少两个装置的连杆，并且定义与所述至少两个连杆相关联的关节的特性。

5.根据权利要求1至4中的一项所述的方法，其中，例如通过将关节轴定位成平行于或垂直于所述连杆的可选择的一组几何特征或者与之成给定的角度，根据所述虚拟装置的几何形状来调整所定义的关节的特性。

6.根据权利要求1至5中的一项所述的方法，还包括以下步骤：根据对应虚拟运动学装置的对应一组虚拟制造操作的计算机实现的模拟的结果，控制由运动学装置执行的至少一种制造操作。

7.一种用于通过数据处理系统提供用于识别虚拟运动学装置中的运动学能力的经训练的函数的方法，其中，运动学装置是具有至少一种运动学能力的装置，并且其中，运动学能力由连接所述运动学装置的至少两个连杆的关节来定义，所述方法包括：

-接收输入训练数据，其中，所述输入训练数据包括关于多个虚拟运动学装置的多个至少两种2D虚拟表示的数据；

-接收输出训练数据，其中，对于所述多个虚拟运动学装置中的每一个，所述输出训练数据包括关于一组运动学描述符的数据，所述一组运动学描述符关于所述多个运动学装置中的每一个的至少两种2D虚拟表示的一组运动学能力，其中，所述输出训练数据与所述输入训练数据有关；

-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；

-提供经训练的函数，以对运动学分析器进行建模。

8.根据权利要求7所述的方法，其中，通过从CAD文件中提取2D图像来生成所述输入训练数据。

9.根据权利要求7或8所述的方法，其中，通过标记一组连杆并且通过生成一组关节轴，根据2D图像来生成所述输出训练数据。

10.根据权利要求7至9中的一项所述的方法，其中，所述虚拟运动学装置属于相同的类别或属于类别族。

11.一种数据处理系统，包括：

处理器；以及

可访问的存储器，所述数据处理系统特别地被配置成：

-接收输入数据，其中，所述输入数据包括关于给定虚拟运动学装置的至少两种2D虚拟表示的数据；

-将运动学分析器应用于所述输入数据，其中，用通过ML算法训练的函数对所述运动学分析器进行建模，并且所述运动学分析器生成输出数据；

-提供输出数据，其中，所述输出数据包括关于在所述给定虚拟运动学装置的至少两种2D虚拟表示上识别的至少一种运动学能力的一组运动学描述符的数据；

-根据所述输出数据，确定所述给定虚拟运动学装置中的所识别的至少一种运动学能力。

12.一种用可执行指令编码的非暂态计算机可读介质，所述可执行指令在被执行时使一个或更多个数据处理系统：

-接收输入数据，其中，所述输入数据包括关于给定虚拟运动学装置的至少两种2D虚拟表示的数据；

-将运动学分析器应用于所述输入数据，其中，用通过ML算法训练的函数对所述运动学分析器进行建模，并且所述运动学分析器生成输出数据；

-提供输出数据，其中，所述输出数据包括关于在所述给定虚拟运动学装置的至少两种2D虚拟表示上识别的至少一种运动学能力的一组运动学描述符的数据；

-根据所述输出数据，确定所述给定虚拟运动学装置中的所识别的至少一种运动学能力。

13.一种数据处理系统，包括：

处理器；以及

可访问的存储器，所述数据处理系统特别地被配置成：

-接收输入训练数据，其中，所述输入训练数据包括关于多个虚拟运动学装置的多个至少两种2D虚拟表示的数据；

-接收输出训练数据，其中，对于所述多个虚拟运动学装置中的每一个，所述输出训练数据包括关于一组运动学描述符的数据，所述一组运动学描述符关于所述多个运动学装置中的每一个的至少两种2D虚拟表示的一组运动学能力，其中，所述输出训练数据与所述输入训练数据有关；

-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；

-提供经训练的函数，以对运动学分析器进行建模。

14.一种用可执行指令编码的非暂态计算机可读介质，所述可执行指令在被执行时使一个或更多个数据处理系统：

-接收输入训练数据，其中，所述输入训练数据包括关于多个虚拟运动学装置的多个至少两种2D虚拟表示的数据；

-接收输出训练数据，其中，对于所述多个虚拟运动学装置中的每一个，所述输出训练数据包括关于一组运动学描述符的数据，所述一组运动学描述符关于所述多个运动学装置中的每一个的至少两种2D虚拟表示的一组运动学能力，其中，所述输出训练数据与所述输入训练数据有关；

-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；

-提供经训练的函数，以对运动学分析器进行建模。

15.一种用于通过数据处理系统检测虚拟运动学装置中的运动学能力的方法，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由具有连接所述虚拟装置的至少两个连杆的关节的链来定义，所述方法包括：

-接收输入训练数据，其中，所述输入训练数据包括关于多个虚拟运动学装置的多个至少两种2D虚拟表示的数据；

-接收输出训练数据，其中，对于所述多个虚拟运动学装置中的每一个，所述输出训练数据包括关于一组运动学描述符的数据，所述一组运动学描述符关于所述多个运动学装置中的每一个的至少两种2D虚拟表示的一组运动学能力，其中，所述输出训练数据与所述输入训练数据有关；

-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；

-提供经训练的函数，以对运动学分析器进行建模；

-接收输入数据，其中，所述输入数据包括关于给定虚拟运动学装置的至少两种2D虚拟表示的数据；

-将所述运动学分析器应用于所述输入数据，其中，用通过ML算法训练的函数对所述运动学分析器进行建模，并且所述运动学分析器生成输出数据；

-提供输出数据，其中，所述输出数据包括关于在所述给定虚拟运动学装置的至少两种2D虚拟表示上识别的至少一种运动学能力的一组运动学描述符的数据；

-根据所述输出数据，确定所述给定虚拟运动学装置中的所识别的至少一种运动学能力。