CN117881370A - 用于确定虚拟运动学装置中的关节的方法和系统 - Google Patents
用于确定虚拟运动学装置中的关节的方法和系统 Download PDFInfo
- Publication number
- CN117881370A CN117881370A CN202180101918.3A CN202180101918A CN117881370A CN 117881370 A CN117881370 A CN 117881370A CN 202180101918 A CN202180101918 A CN 202180101918A CN 117881370 A CN117881370 A CN 117881370A
- Authority
- CN
- China
- Prior art keywords
- data
- joint
- kinematic
- virtual
- links
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims description 125
- 230000006870 function Effects 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 25
- 238000004519 manufacturing process Methods 0.000 claims description 24
- 238000004088 simulation Methods 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000012805 post-processing Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 6
- 238000002372 labelling Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013523 data management Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013439 planning Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000010921 in-depth analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- General Physics & Mathematics (AREA)
- Manufacturing & Machinery (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Analysis (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Quality & Reliability (AREA)
- Automation & Control Theory (AREA)
- Processing Or Creating Images (AREA)
Abstract
用于确定虚拟运动学装置中的关节的系统和方法，其中，虚拟运动学装置。接收输入数据，其中，输入数据包括关于给定虚拟运动学装置的两个给定连杆的两种点云表示的数据以及关于与两个连杆相关联的特定关节类型的数据。将特定关节描述符分析器应用于输入数据；其中，利用通过ML算法训练的函数对特定关节描述符分析器进行建模，并且特定关节描述符分析器生成输出数据。提供输出数据；其中，输出数据包括用于确定与两个给定连杆相关联的特定关节类型的相互运动能力的特定关节描述符数据。根据输出数据来确定虚拟运动学装置中的至少一个关节。
Description
技术领域
本公开内容总体上涉及计算机辅助设计、可视化和制造(“CAD”)系统、产品生命周期管理(“PLM”)系统、产品数据管理(“PDM”)系统、生产环境模拟以及管理用于产品和其他项目的数据的类似系统(统称为“产品数据管理”系统或PDM系统)。更具体地，本公开内容涉及生产环境模拟。
背景技术
在制造工厂设计中，制造资产的三维(“3D”)数字模型用于各种制造规划目的。这样的用法的示例包括但不限于制造过程分析、制造过程模拟、装备碰撞检查和虚拟调试。
如本文中使用的，术语制造资产和装置表示制造线(manufacturing lines)中存在的任何资源、机器、零件和/或任何其他对象。
制造过程规划人员在建造生产线之前使用数字解决方案来规划、验证和优化生产线(production lines)，以使误差最小化并缩短调试时间。
在工厂线(plant lines)的资产的3D数字建模阶段期间，通常需要过程规划人员。
在对制造线的生产过程进行数字规划时，制造模拟规划人员需要将作为生产线的一部分的多种装置插入到虚拟场景中。工厂装置的示例包括但不限于：工业机器人及其工具；运输资产如输送机、转台；安全资产如栅栏、大门；自动化资产如夹具、抓器、抓取零件的固定装置等。
在模拟过程时，这些元件中的许多元件具有控制这些元件的运动的运动学定义。
这些装置中的一些是具有一种或更多种运动学能力的运动学装置，运动学装置需要经由运动学链的运动学描述符的运动学定义。运动学装置定义使得能够在虚拟环境中模拟运动学装置链的运动学运动。运动学装置的示例是夹具，该夹具在抓取零件之前打开其指状物并闭合这种指状物以实现零件的稳定抓取。对于具有两个刚性指状物的简单夹具，运动学定义通常在于：为两个指状物分配两个连杆描述符，并为通过如图2D中所示的其连杆节点定位的其相互旋转轴分配关节描述符，图2D示意性地示出了具有旋转轴jl的虚拟运动学夹具252和具有夹具252的描述符lnkl、lnk2、jl的对应虚拟运动学编辑器屏幕254的图。
如运动学链定义领域中已知的，关节被定义为两个或更多个连杆在其节点处的连接，这允许连接的连杆之间的一些运动或潜在运动。以下呈现了术语的简化定义，以便提供对本文中描述的一些方面的基本理解。如本文中使用的，运动学装置可以表示具有由链定义的多个运动学能力的装置，由此每个运动学能力由描述链的一组连杆和一组关节的描述符定义。换言之，运动学描述符可以提供运动学装置的运动学能力的完整或部分运动学定义。如本文所使用的，运动学描述符可以表示连杆标识符、连杆类型、关节标识符、关节类型、关节描述符等。连杆标识符标识连杆。例如，在图2B的抓器202中，存在三个连杆lnkl、lnk2、lnk3和两个平移关节jl、j2，其中，关节jl是连接两个连杆lnk1、lnk3的关节，并且其中，关节j2是连接两个连杆link1、link2的关节。
尽管存在可以被规划人员使用的许多现成的3D装置库，但是这些3D模型中的大多数缺乏运动学定义，并且其虚拟表示在此用术语“虚拟伪装置”或“伪装置”来表示。因此，通常需要模拟规划人员尤其针对具有大量运动学装置的制造工厂(例如针对汽车工厂)来手动定义这些3D伪装置模型的运动学，这是耗时的任务。
通常，制造过程规划人员通过分配模拟工程师维护资源库来解决这个问题，因此他们为这些资源中的每一个手动建模所需的运动学。模拟工程师的经验有助于他们了解应当如何创建运动学并且将运动学添加至装置。要求模拟工程师识别装置的连杆和关节并且定义装置的连杆和关节。这种手动过程消耗了经验丰富的用户的宝贵时间。
图2A示意性地示出了虚拟抓器模型的运动学能力的典型手动分析的框图(现有技术)。
模拟工程师203分析伪抓器201的CAD模型的运动学能力，由此伪虚拟装置缺乏运动学定义。她将抓器伪模型201加载到虚拟环境中，并且利用她的分析，她识别抓器的链的三个连杆lnkl、lnk2、lnk3和两个平移关节jntl、jnt2，以便经由运动学编辑器屏幕204建立运动学抓器模型203，该运动学编辑器屏幕204包括连杆lnkl、lnk2、link3和两个关节jl、j2的运动学描述符，所述两个关节jl、j2是连杆lnk1与其他两个连杆lnk3、link2之间的两个连接器。图2B示意性地示出了图2A的虚拟运动学抓器202的放大图，以及图2C示意性地示出了图2A的虚拟运动学编辑器屏幕204的放大图。在该示例中，示出了运动学链的具体示例，本领域技术人员知道存在具有不同链、具有不同数目的连杆以及不同数目和类型的关节的运动学装置。运动学关节类型的示例包括但不限于平移关节——也被称为棱柱关节、旋转关节——也被称为转动关节、球形关节、圆柱形关节、螺旋形关节和平面关节。每种类型的关节的特征在于用于描述连接的连杆之间的相互运动的关节描述符，例如在平移关节的情况下，关节描述符包含平移运动的方向的描述，以及在旋转关节的情况下，关节描述符描述旋转轴。
伪抓器模型201——即，没有运动学的模型——可以以CAD文件格式、以网格文件格式和/或经由3D扫描来定义。具有运动学描述符的抓器模型202可以优选地以以下文件格式来定义：允许CAD几何形状连同运动学定义的文件格式，如例如用于Process Simulate平台的具有几何形状和运动学二者的jt.格式文件(其通常被存储在cojt.文件夹中)；或者例如用于NX平台的.prt格式文件；或者可以由工业运动模拟软件(例如，计算机辅助机器人(“CAR”)工具，如例如西门子数字工业软件组的Process Simulate)使用的任何其他运动学对象文件格式。
如上面所说明的，针对多种运动学装置创建和维护运动学能力和运动学链的对应连杆和关节描述符的定义是手动、乏味、重复且耗时的任务，并且需要有经验的用户的技能。
专利申请PCT/IB2021/055391教导了用于自动识别虚拟装置中的运动学能力的创造性技术。
专利申请PCT/IB2021/056734教导了用于自动识别虚拟装置中的运动学能力的创造性技术。在实施方式中，确定运动学装置的连杆。
一旦已知运动学装置中的一对运动学连杆，则连接连杆对的关节仍要由模拟工程师以手动且耗时的方式来确定。
因此，期望用于确定虚拟运动学装置中的关节的改进的且自动的技术。
发明内容
各种公开的实施方式包括用于确定虚拟运动学装置中的关节的方法、系统和计算机可读介质。一种方法包括：接收输入数据，其中，输入数据包括关于给定虚拟运动学装置的两个给定连杆的两种点云表示的数据。该方法还包括：将关节类型分析器应用于输入数据，其中，利用通过机器学习(“ML”)算法训练的函数对关节类型分析器进行建模，并且关节类型分析器生成中间数据。该方法还包括：提供中间数据，其中，中间数据包括用于选择与两个给定连杆相关联的特定关节类型的数据。该方法还包括：将所选择的特定关节描述符分析器应用于输入数据；其中，利用通过ML算法训练的函数对特定关节描述符分析器进行建模，并且特定关节描述符分析器生成输出数据。该方法还包括：提供输出数据；其中，输出数据包括用于确定与两个给定连杆相关联的特定关节类型的相互运动能力的特定关节描述符数据。该方法还包括：根据输出数据来确定虚拟运动学装置中的至少一个关节。
各种公开的实施方式包括用于确定虚拟运动学装置中的关节的方法、系统和计算机可读介质。一种方法包括：接收输入数据；其中，输入数据包括关于给定虚拟运动学装置的两个给定连杆的两种点云表示的数据以及关于与两个连杆相关联的特定关节类型的数据。该方法还包括：将特定关节描述符分析器应用于输入数据；其中，利用通过ML算法训练的函数对特定关节描述符分析器进行建模，并且特定关节描述符分析器生成输出数据。该方法还包括：提供输出数据；其中，输出数据包括用于确定与两个给定连杆相关联的特定关节类型的相互运动能力的特定关节描述符数据。该方法还包括：根据输出数据来确定虚拟运动学装置中的至少一个关节。
各种公开的实施方式包括用于提供用于识别虚拟运动学装置中的关节类型的经训练的函数的方法、系统和计算机可读介质。一种方法包括：接收输入训练数据；其中，输入数据包括关于多个虚拟运动学装置的两个给定连杆的多个两种点云表示的数据。该方法还包括：接收输出训练数据；其中，对于多个两种点云连杆表示中的每一个，输出训练数据包括用于确定与两个给定连杆相关联的特定关节类型的数据；其中，输出训练数据与输入训练数据相关。该方法还包括：通过ML算法，基于输入训练数据和输出训练数据来训练函数。该方法还包括：提供训练函数，以对关节类型分析器进行建模。
各种公开的实施方式包括用于提供用于识别虚拟运动学装置中的关节描述符的经训练的函数的方法、系统和计算机可读介质。一种方法包括：接收输入训练数据；其中，输入数据包括关于多个虚拟运动学装置的两个给定连杆的多个两种点云表示的数据。该方法还包括：接收输出训练数据；其中，对于多个两种点云连杆表示中的每一个，输出训练数据包括用于确定与两个给定连杆相关联的特定关节类型的相互运动能力的特定关节描述符数据。该方法还包括：通过ML算法，基于输入训练数据和输出训练数据来训练函数。该方法还包括：提供经训练的函数，以识别在此被称为关节描述符分析器的关节描述符。
前面已经相当广泛地概述了本公开内容的特征和技术优点，使得本领域技术人员可以更好地理解下面的详细描述。在下文中，将描述本公开内容的形成权利要求的主题的另外的特征和优点。本领域技术人员将理解的是，出于执行本公开内容的相同目的，他们可以容易地使用所公开的构思和具体实施方式作为用于修改或设计其他结构的基础。本领域技术人员还将认识到，这样的等同构造不会脱离本公开内容在其最广泛的形式上的精神和范围。
在进行下面的具体实施方式之前，阐述贯穿本专利文献使用的某些词或短语的定义可能是有利的：术语“包括”和“包含”及其派生词意味着包括但不限于；术语“或”是包含性的，意味着和/或；短语“与......相关联”和“与其相关联”及其派生词可以意味着包括、被包括在......内、与......互连、包含、被包含在......内、连接至或与......连接、耦接至或与......耦接、与......可通信、与......合作、交错、并置、接近、绑定至或与......绑定、具有、具有......的特性等；并且术语“控制器”意味着控制至少一个操作的任何装置、系统或其部分，无论这种装置是以硬件、固件、软件还是硬件、固件、软件中的至少两种的一些组合实现的。应当注意，与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。贯穿本专利文献提供了某些词语和短语的定义，并且本领域普通技术人员将理解的是，这样的定义在许多(如果不是大多数)情况下适用于这样定义的词语和短语的先前以及将来的使用。虽然一些术语可以包括各种实施方式，但是所附权利要求可以明确地将这些术语限制于具体实施方式。
附图说明
为了更完整地理解本公开内容及其优点，现在参照结合附图进行的以下描述，其中，相同的附图标记表示相同的对象，并且在附图中：
图1示出了其中可以实现实施方式的数据处理系统的框图。
图2A示意性地示出了虚拟抓器的运动学能力的典型手动分析的框图(现有技术)。
图2B示意性地示出了图2A的虚拟运动学抓器202的放大图。
图2C示意性地示出了图2A的虚拟运动学编辑器屏幕204的放大图。
图2D示意性地示出了虚拟运动学抓器及其对应的虚拟运动学编辑器屏幕的图。
图3A示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数以确定虚拟运动学装置中的关节的框图。
图3B示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输入训练数据。
图3C示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输出训练数据。
图4示意性地示出了根据所公开的实施方式的用于确定虚拟运动学装置中的关节的框图。
图5示意性地示出了根据所公开的实施方式的用于确定虚拟运动学装置中的关节的框图。
图6示出了根据所公开的实施方式的用于识别虚拟运动学装置中的运动学能力的流程图。
具体实施方式
下面讨论的图1至图6以及本专利文献中用于描述本公开内容的原理的各种实施方式仅作为说明，并且不应当以任何方式被解释为限制本公开内容的范围。本领域技术人员将理解，本公开内容的原理可以在任何适当布置的装置中来实现。将参照示例性非限制性实施方式来描述本申请的许多创新性教导。
此外，在下文中，关于用于确定虚拟运动学装置中的关节的方法和系统以及关于用于提供用于确定虚拟运动学装置中的关节的经训练的函数的方法和系统来描述根据实施方式的解决方案。
本文中的特征、优点或替选实施方式可以被分配给其他要求保护的对象，并且其他要求保护的对象可以被分配给本文中的特征、优点或替选实施方式。
换言之，可以利用在用于确定虚拟运动学装置中的关节的方法和系统的上下文中描述或要求保护的特征来改进用于提供用于确定虚拟运动学装置中的关节的经训练的函数的方法和系统的权利要求，并且可以利用用于提供用于确定虚拟运动学装置中的关节的经训练的函数的方法和系统的权利要求来改进在用于确定虚拟运动学装置中的关节的方法和系统的上下文中描述或要求保护的特征。特别地，用于确定虚拟运动学装置中的关节的方法和系统的经训练的函数可以通过用于确定虚拟运动学装置中的关节的方法和系统来进行调整。此外，输入数据可以包括训练输入数据的有利特征和实施方式，并且训练输入数据的有利特征和实施方式可以包括输入数据。此外，输出数据可以包括输出训练数据的有利特征和实施方式，并且输出训练数据的有利特征和实施方式可以包括输出数据。
先前的技术不能在虚拟运动学装置中实现有效的运动学能力识别。本文中公开的实施方式提供了许多技术益处，包括但不限于以下示例。
实施方式使得能够自动识别和定义虚拟运动学装置的运动学能力。
实施方式使得能够以快速且有效的方式识别和定义虚拟运动学装置的运动学能力。
实施方式使对用于识别运动学装置的运动学能力的经训练的用户的需要最小化，并减少了工程时间。实施方式使在定义虚拟运动学装置的运动学能力时的“人为错误”的数量最小化。
实施方式可以有利地用于多种不同类型的运动学装置。
实施方式基于虚拟装置的3D维度分析。
实施方式使得能够经由使得能够覆盖所有装置实体甚至覆盖隐藏的装置实体的点云输入对虚拟装置进行深入分析。
实施方式使得能够在运动学装置内检测关节的类型及其运动学描述符，如例如方向和/或位置。
实施方式使得能够经由人工智能以及经由接收到的点云数据来自动分析存在于虚拟运动学装置中的关节。
给定装置的一对点云连杆，实施方式使得能够识别连接连杆对的关节的存在及其关节类型。
给定运动学装置内的一对点云连杆和对应的关节类型，实施方式使得能够确定关节描述符，例如方向和/或位置，以及在螺旋形关节类型的情况下，实施方式使得能够确定其螺距。
图1示出了数据处理系统100的框图，在该数据处理系统100中，实施方式可以被实现为例如通过软件或以其他方式特别地被配置成执行如本文中描述的过程的PDM系统，并且实施方式可以特别地被实现为如本文中描述的多个互连和通信系统中的每一个。示出的数据处理系统100可以包括连接至二级高速缓冲存储器/桥接器104的处理器102，该二级高速缓冲存储器/桥接器104又连接至本地系统总线106。本地系统总线106可以是例如外围部件互连(PCI)架构总线。在所示示例中，主存储器108和图形适配器110也连接至本地系统总线。图形适配器110可以连接至显示器111。
其他外围装置例如局域网(LAN)/广域网/无线(例如WiFi)适配器112也可以连接至本地系统总线106。扩展总线接口114将本地系统总线106连接至输入/输出(I/O)总线116。I/O总线116连接至键盘/鼠标适配器118、盘控制器120和I/O适配器122。盘控制器120可以连接至存储装置126，存储装置126可以是任何合适的机器可用或机器可读存储介质，包括但不限于：非易失性硬编码类型介质，例如只读存储器(ROM)或电可擦除可编程只读存储器(EEPROM)、磁带存储装置；以及用户可记录类型介质，例如软盘、硬盘驱动器和致密盘只读存储器(CD-ROM)或数字多功能盘(DVD)；以及其他已知的光、电或磁存储装置。
在所示示例中，音频适配器124也连接至I/O总线116，扬声器(未示出)可以连接至音频适配器124以用于播放声音。键盘/鼠标适配器118为指针装置(未示出)例如鼠标、轨迹球、轨迹指针、触摸屏等提供连接。
本领域普通技术人员将理解，图1中示出的硬件可以针对特定的实现方式而变化。例如，除了示出的硬件之外或代替示出的硬件，也可以使用诸如光盘驱动器等的其他外围装置。仅出于说明的目的提供所示出的示例，并且所示出的示例不意味着暗含对本公开内容的架构限制。
根据本公开内容的实施方式的数据处理系统可以包括采用图形用户界面的操作系统。操作系统允许在图形用户界面中同时呈现多个显示窗口，其中每个显示窗口向不同的应用提供界面或者向同一应用的不同实例提供界面。图形用户界面中的光标可以由用户通过指针装置来操纵。可以改变光标的位置和/或生成诸如点击鼠标按钮的事件以启动期望的响应。
如果适当地修改，则可以采用各种商业操作系统中的一种，例如位于华盛顿州雷蒙德市的微软公司的产品Microsoft WindowsTM的版本。根据所描述的本公开内容修改或创建操作系统。
LAN/WAN/无线适配器112可以连接至网络130(不是数据处理系统100的一部分)，网络130可以是任何公共或私有数据处理系统网络或者如本领域技术人员所知的包括因特网的网络的组合。数据处理系统100可以通过网络130与服务器系统140进行通信，该服务器系统140也不是数据处理系统100的一部分，但可以被实现为例如单独的数据处理系统100。
图3A示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数以确定虚拟运动学装置中的关节的框图。在实施方式中，可能已经给出了关节类型，并且关节描述符是ML算法的输出训练数据302。
在实施方式中，输入训练数据301包括关于给定虚拟运动学装置的两个给定连杆311的两点云表示的数据。在实施方式中，可以从不同来源接收两个连杆的点云表示。来源的示例包括但不限于：手动地或经由来自专利申请PCT/IB2021/056734中教导的运动学分析器的元数据提取和结果，从所接收到的3D装置模型来标记点云表示的连杆。
如本文所使用的术语“连杆点云”或“点云连杆”表示虚拟装置的连杆的点云表示，以及术语连杆3D模型表示其他3D模型表示，如例如CAD模型、网格模型、3D扫描等。在实施方式中，直接接收点云连杆。在其他实施方式中，从接收到的3D装置模型中提取点云装置。
图3B示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输入训练数据。在图3B中示出了虚拟装置311的点云连杆。特别地，点云连杆lnkl、lnk2、lnk3对应于图2A中所示的虚拟抓器的三个连杆。出于说明的目的，在图3B中，示出了三个不同的连杆lnkl、lnk2、lnk3。在实施方式中，成对给出输入训练数据的点云连杆，例如连杆对lnkl、lnk3以及连杆对lnkl、lnk2。
通常利用连杆点的列表来定义连杆云点311，该连杆点的列表包括每个3D坐标并且可选地包括其他信息诸如颜色、表面法线、实体标识符和其他特征。例如，点云由点列表的列表＜点＞来定义，其中，每个点包含X、Y、Z并且可选地包括其他信息诸如颜色、表面法线、实体标识符和其他特征。
图3C示意性地示出了根据所公开的实施方式的用于利用ML算法训练函数的示例性输出训练数据。
通过针对每个点云连杆对获取关节jl、j2的类型和描述符来获得输出训练数据302，所述关节jl、j2分别连接运动学装置中的连杆对lnkl、lnk3以及连杆对lnk1、link2。例如，提供了关节类型(如果有的话)及其描述符。在图3A至图3C的示例性实施方式中，已经给出了要确定的关节jl、j2是平移类型的，并且经训练的模块提供关节方向的关节描述符作为输出数据。
在实施方式中，输出训练数据可以自动地被生成为偏离装置模型的运动学文件的标记的训练数据集或者来自与伪装置相关联的元数据文件。在其他实施方式中，可以通过利用描述符定义和标记每个关节来手动生成输出训练数据。在其他实施方式中，可以有利地使用自动标记的数据集和手动标记的数据集的混合。
在图3C中，示出了具有对应关节jl、j2的点云连杆对312。出于图示目的，通过标记关节方向的描述符321、322来示出标记的输出训练数据。
例如，可以通过从装置运动学文件的元数据中提取数据或者通过分析具有伪装置文件的名称和标签的元数据来提供这样的连杆描述符321、322以用于训练目的。
用于生成输出训练数据302的实施方式可以包括以下动作中的一个或更多个：
-例如，从已经存在的经建模的运动学装置加载具有已经标记的关节的一组虚拟装置；
-将一组虚拟伪装置加载至虚拟工具中，并且根据在每个伪装置中提取的点云连杆来生成连杆描述符。
标记来源的示例包括但不限于：关于装置实体的语言拓扑、关于装置的元数据，例如来自手册、工作说明、机械制图、现有运动学数据和/或手动标记等。在实施方式中，由装置供应商提供的命名约定可以有利地用于定义哪个实体与每个连杆lnkl、lnk2、lnk3有关以及哪个实体对与哪个关节j1、j2有关，这种命名约定可以用于缺乏其自己的库的库。
从标记的装置中提取具有标记的关节描述符的点云连杆对。为了提高性能，可以优选地对点云装置311进行下采样。在图3C中，两个关节jl、j2的关节描述符是定义平移轴321、322的方向的描述符。在实施方式中，一个平移轴的方向可以被给定为单位向量的3D坐标。
在ML训练阶段的实施方式中，用于训练神经网络的输入训练数据301是点云连杆对，并且输出训练数据302是关节的对应标记的数据/元数据，例如，与每个连杆对相关联的确定的描述符。
在实施方式中，训练过程303的结果是经训练的神经网络304，该经训练的神经网络304能够根据虚拟运动学装置中的给定关节类型的给定点云连杆对来自动确定关节描述符。
在实施方式中，在此被称为“关节描述符分析器”的经训练的神经网络能够根据给定关节类型的对应点云连杆对来确定关节描述符。
在实施方式中，关节描述符分析器是如下模块，在该模块中，输入数据包括由给定类型的关节连接的连杆对的点云数据，并且在该模块中，输出数据是用于根据关节类型定义关节的数据，例如关节方向和/或位置。
在实施方式中，给定类型的关节由用户接收或根据元数据自动确定。在其他实施方式中，通过经ML训练的模块来确定给定的关节类型。
在实施方式中，ML算法的训练需要标记的训练数据集，数据集用于训练ML模型以便能够从点云连杆对中识别关节。
在实施方式中，具有标签的训练数据集包括通过给定类型的关节连接的连杆对的点云数据和对应的关节描述符。在实施方式中，标签基于CAD文件和先前的现有数据的手动标记。
在实施方式中，可以通过移动每个关节、旋转整个点云以及/或者对整个点云进行镜像、以及对点云进行随机下采样来获得训练数据增强。有利地，增加了数据集的大小。
在实施方式中，为了性能优化，可以可选地对点云连杆进行下采样。例如，假设单个点云关节中存在大约10k个点，尽管可以直接使用整个10k个点云，但是这些点中的大部分可能不向ML模型添加更多的信息，因此，一个人可以利用下采样技术和/或其他增强技术将点云下采样至大约1k个点。有利地，可以更快地完成大型数据集训练。
在其他示例实施方式中，可以使用除了连杆对的点云坐标之外的其他类型的附加信息。这样的附加信息的示例包括但不限于颜色信息——RGB或灰度、实体标识符、表面法线、装置结构信息、其他元数据信息。在实施方式中，这样的附加信息可以例如从装置CAD模型中被自动提取，该装置CAD模型提供关于装置的结构信息，例如实体分离、命名、分配等。在实施方式中，连杆可以是连杆的子部分或连杆的超部分。
在实施方式中，ML模块可以被预先训练，并且作为经训练的模块被提供给最终用户。在其他实施方式中，用户可以进行其ML训练。可以使用CAR工具进行训练，并且还可以在云中进行训练。
在实施方式中，标记的观察数据集被划分成训练集、验证集和测试集；ML算法被馈送有训练集，并且预测模型接收来自机器学习器和来自验证集的输入以输出统计数据，从而有助于随着训练过程的进行来调整训练过程，并且决定何时停止训练过程。
在实施方式中，数据集中的大约70％可以被用作用于校准神经网络的权重的训练数据集，数据集中的大约20％可以被用作用于控制和监测当前训练过程的验证数据集，并且如果需要则修改训练过程，数据集中的大约10％可以在训练和验证完成之后随后被用作测试集，以用于评估ML算法的准确性。
在实施方式中，ML训练过程的整个数据准备可以由软件应用自动完成。
在实施方式中，从运动学对象文件或从手动运动学标记或其任意组合自动生成输出训练数据。在实施方式中，输出训练数据被提供为元数据、文本数据、图像数据和/或其任意组合。
在实施方式中，输入/输出训练数据包括以数字格式、以文本格式、以图像格式、以其他格式和/或以其任意组合的数据。
在实施方式中，在训练阶段期间，ML算法通过“看”点云连杆来学习检测装置的运动学关节。
在实施方式中，可以从类似或不同的虚拟运动学装置的多个模型生成输入训练数据和输出训练数据。
在实施方式中，虚拟运动学装置属于相同的类别或属于类别族。
在实施方式中，在利用训练数据的训练阶段期间，经训练的函数可以适应新的环境并且检测和推断模式。
一般来说，可以借助于训练来调整经训练的函数的参数。特别地，可以使用监督训练、半监督训练、无监督训练、强化学习和/或主动学习。此外，可以使用表征学习(替选术语是“特征学习”)。特别地，可以通过几个训练步骤迭代地调整经训练的函数的参数。
特别地，经训练的函数可以包括神经网络、支持向量机、决策树和/或贝叶斯网络，以及/或者经训练的函数可以基于k均值聚类、Q学习、遗传算法和/或关联规则。
特别地，神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。此外，神经网络可以是对抗网络、深度对抗网络和/或生成式对抗网络。
在实施方式中，ML算法是监督模型，例如在真错误和伪错误之间进行分类的二元分类器。在实施方式中，可以使用其他分类器，例如逻辑回归器、随机森林分类器、xgboost分类器等。在实施方式中，可以使用经由TensorFlow框架的前馈神经网络。
图4示意性地示出了根据所公开的实施方式的用于确定虚拟运动学装置中的关节的框图。图4示意性地示出了神经网络执行的示例实施方式。
在实施方式中，提供了虚拟抓器的连杆对401的3D模型。可以以CAD文件、网格文件或3D扫描的形式提供这样的3D模型连杆对。在实施方式中，经由预处理403来提取点云连杆对411。在其他实施方式中，直接接收点云连杆对411，而无需预处理403。
除点坐标之外，点云点连杆411还可以包含每个点的颜色或灰度数据、表面法线、实体信息和其他信息。
将包括装置点云列表的输入数据404应用于提供输出数据406的关节描述符分析器405。输出数据包括与输入数据对应的关节描述符。对输出数据406进行后处理407，以便校正关节描述符中可能的对准问题。关于所确定的关节描述符的信息可以被添加为运动学定义，以根据脱离(departing)伪CAD文件(例如，.jt文件)生成运动学文件(例如，在cojt文件夹中)。
在实施方式中，将具有相同类型关节的新的“未知”装置的点云应用于先前利用ML算法训练的关节描述符分析器。关节描述符分析器的输出406是用于所分析的云连杆对412的关节描述符。
借助于关节描述符分析器，实施方式使得能够确定关节能力，以便将关节能力定义为被分析装置的运动学链的一部分。
实施方式使得能够生成被分析装置的运动学能力的定义。
在实施方式中，在预处理阶段403期间，通常从CAD/扫描模型中提取进入系统的点云连杆411。在实施方式中，导出的点云的原点被保持成与原始CAD/扫描模型相同。有利地，(X，Y，Z)轴之一的方向可以与关节之一的方向对准。在这样的情况下，在后处理阶段407期间，可以自动执行所确定的关节轴描述符的对准。例如，如果关节描述符输出单位向量方向是(0，0.001，0.999)，则该输出具有实际上为0、0、1的高可能性，这意味着可以执行与Z轴的完全对准。在这些情况下，自动后处理可以改善关节描述符结果。
在实施方式中，在旋转关节的情况下，轴通常在圆柱形形状的表面的中间。在实施方式中，在后处理407期间，可以利用几何分析工具来分析旋转关节的确定的轴描述符406，以例如通过检查围绕轴的表面的法线或者通过分析表面的导数以及通过相应地调整关节的关节轴描述符以适配圆柱体中心来确定轴是否被圆柱体紧密围绕。
在其他实施方式中，在后处理407期间，可以通过经由模拟检查碰撞的存在并且通过允许迭代和/或小的调整来调整关节描述符，直至碰撞被避免或者直至仅允许具有特定预定义穿透的碰撞。
在实施方式中，可以以jt.格式文件例如Process Simulate的本地格式来提供CAD模型的文件。在其他实施方式中，描述装置模型的文件可以被提供成描述3D模型或其子元素的任何其他合适的文件格式。在实施方式中，以这种后者格式的该文件可以优选地通过文件转换器(例如，现有转换器或特别创建的转换器)被转换成JT。
在实施方式中，对关节描述符分析器405算法的输出406进行处理407以确定关节的一组描述符，从而用于确定装置3D模型402中的运动学链。在实施方式中，生成的运动学链描述符数据能够经由运动学编辑器414进行分析。
在实施方式中，运动学分析器的具有关节412的描述符的输出由后处理模块407处理。在实施方式中，在后处理模块407中包括确定伪装置的运动学能力408。在实施方式中，可以编译和创建整个运动学链，以生成具有运动学定义的输出.jt文件。
在实施方式中，为了针对给定的特定关节类型选择合适的关节描述符分析器，可以通过ML算法来训练关节类型分析器，并且将关节类型分析器用于分析关节类型，如下面图5中所说明的。
图5示意性地示出了根据所公开的实施方式的用于识别虚拟运动学装置中的关节的框图。图5示意性地示出了执行神经网络模块530、551、552的级联的示例实施方式。
在实施方式中，当没有给出关节类型时，关节分析器505可以被实现为根据关节类型分析器JAT的结果路由的关节类型分析器JAT和对应的关节描述分析器JALD、JARD的级联。
在实施方式中，将包括给定装置511的点云连杆对的输入数据504应用于关节分析器505，并且结果数据506是用于对运动学装置512进行建模的关节类型及其对应的关节描述符。
假设简化的示例性实施方式，其中，运动学装置可以具有线性关节或旋转关节。在该示例中，需要训练三个ML模块530、551、552、关节类型分析器JAT和两个特定的关节描述符分析器，即一个线性关节描述符分析器JALD和一个旋转关节描述符分析器JARD。
在实施方式中，利用以下数据来进行关节类型分析器模块JAT的训练/使用：
-输入(训练)数据集：[连杆1的点云的列表，连杆2的点云的列表]
-输出(训练)数据集：[关节类型：线性或旋转]。
在实施方式中，利用以下数据来进行线性关节描述符分析器模块JALD的训练/使用：
-输入(训练)数据集：[连杆1的点云的列表，连杆2的点云的列表]
-输出(训练)数据集：[线性关节描述符，例如能够由单位方向向量(Rx，Ry，Rz)表示的移动方向]
在实施方式中，利用以下数据来进行旋转关节描述符分析器模块JARD的训练/使用：
-输入(训练)数据集：[连杆1的点云的列表，连杆2的点云的列表]
-输出(训练)数据集：[旋转关节描述符，例如能够由两个点或由一个方向和一个点表示的旋转中心轴]。
在使用阶段期间，如下使用三个经训练的模块530、551、552：
-关节类型分析器模块JAT被用于确定关节类型；
-如果(所识别的关节类型是线性的541)，则使用(线性关节类型分析器模块JALD来确定线性方向)；否则；
-如果(所识别的关节类型是旋转的542)，则使用(旋转关节类型分析器模块JARD来确定旋转轴)。
利用实施方式，对于能够经由点云连杆表示的任何新装置，确定并生成连接一对连杆的关节。
在实施方式中，可以优选地经由用于不同关节类型的分类监督学习算法来训练第一模块530、关节类型分析器模块JAT，其中，结果是关节类型。在实施方式中，关节类型可以是无关节540、线性关节541或旋转关节542。在实施方式中，通过选择彼此接触、碰撞或靠近的两个连杆来确定连杆对504，例如，第一连杆对包括连杆lnkl、lnk2，第二连杆对包括连杆lnkl、lnk3。
在实施方式中，仅在结果是关节的移动线性方向的情况下，可以优选地经由线性关节的回归监督学习算法来训练第二模块551、线性关节描述符分析器模块JALD，关节的移动线性方向可以经由单位向量来描述。
在实施方式中，仅在结果是关节的旋转中心轴的情况下，可以优选地经由旋转关节的回归监督学习算法来训练第二模块552、旋转关节描述符分析器模块JARD，关节的旋转中心轴可以由单位向量和用于确定轴相交的位置来描述。在实施方式中，相交是与已知平面(例如，与原点相交并且与方向单位向量垂直的平面)的轴相交。
在实施方式中，关节描述符的范围(最大值和最低值)例如最大值和最小值可以被手动输入，或者可以从规范/手册信息中被提取。
在上述示例性实施方式中，分析仅两种类型的关节，即线性关节和旋转关节。在其他实施方式中，本领域技术人员知道可以分析更多种关节类型，并且分类器可以例如能够输出多达六种不同的关节类型，而且多达六种不同的特定关节描述符分析器可以被训练并被使用(未示出)。
以下报告了六种特定关节描述符分析器中的每一个的输出(训练)数据描述符的示例：1)线性关节的方向；2)旋转关节的方向和位置；3)表示其中心的球形关节的位置；4)圆柱形关节的方向和位置；5)螺旋形关节的方向、位置和标量螺距；6)平面关节的方向(与运动平面垂直)。
在实施方式中，轴的方向可以由单位向量方向的3D点坐标来定义。
在实施方式中，位置可以由三个坐标表示，或者对于旋转和圆柱形关节，可以经由与方向单位向量垂直的平面(例如，其中，平面与一般点云原点相交)上的2D位置来确定旋转轴的交点。
在实施方式中，本领域技术人员知道，还可以以其他方式例如经由3D角度或旋转矩阵或四元数等来描述关节描述符。
注意，每种类型的关节也可以被定义为旋转关节和线性关节的集合。
在实施方式中，后处理模块可以有利地在对六种关节类型之一进行分类的分类器之后，该后处理模块将接收到的结果转换为线性关节和转动关节的组合；例如，球形关节可以被转换成三个相交的转动关节的组合；圆柱形关节是一个转动关节与一个线性关节相交的组合；螺旋形关节是一个转动关节和一个线性关节的组合，其中，关节之间具有相关性；以及平面关节可以被转换为两个线性关节和一个转动关节的组合。在实施方式中，特定于关节的ML模块可以被训练成识别关节类型的上述对应的特定组合。
已经针对具有三个连杆和两个关节的装置如抓器描述了实施方式。在实施方式中，运动学装置可以具有任意数目的连杆和关节。在实施方式中，装置可以是具有至少一种运动学能力和链的任何装置。
在实施方式中，关节分析器是特定的装置分析器，并且专门针对给定类型的运动学装置，例如专门针对特定类型的夹具、抓器或固定装置对关节分析器进行训练和使用。
在其他实施方式中，关节分析器是通用装置分析器，并且被训练和被用于适应庞大的不同类型运动学装置族。
图6示出了根据所公开的实施方式的用于确定虚拟运动学装置中的关节的方法的流程图。这样的方法可以例如由上述图1的系统100来执行，但是下面过程中的“系统”可以是被配置成执行所描述的过程的任何设备。虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由虚拟装置的至少两个连杆和连接这两个连杆的关节来定义。
在动作605处，接收输入数据。输入数据包括关于给定虚拟运动学装置的两个给定连杆的两种点云表示的数据以及关于与两个连杆相关联的特定关节类型的数据。
在动作610处，将特定关节描述符分析器应用于输入数据。利用通过ML算法训练的函数对特定关节描述符分析器进行建模，并且特定关节描述符分析器生成输出数据。
在动作615处，提供输出数据。输出数据包括用于确定与两个给定连杆相关联的特定关节类型的相互运动能力的特定关节描述符数据。
在动作620处，根据输出数据来确定虚拟运动学装置中的至少一个关节。
在实施方式中，可以从由以下关节组成的组中选择关节类型：线性关节；旋转关节；球形关节；圆柱形关节；螺旋形关节；以及平面关节。
在实施方式中，可以从由以下数据中的一种或更多种组成的组中选择关节描述符数据：用于定义方向的空间数据；用于定义位置的空间数据；用于定义螺距的标量数据；用于定义方向、位置和/或螺距的空间数据。
在实施方式中，方向关节描述符可以用于线性关节、旋转关节、螺旋形关节和平面关节。在实施方式中，方向描述符可以是单位向量。在实施方式中，位置关节描述符可以用于旋转关节、球形关节、圆柱形关节和螺旋形关节。
在实施方式中，关于点云表示的数据包括从由以下数据组成的组中选择的数据：坐标数据；颜色数据；实体标识符数据；表面法线数据；与点有关的数据诸如特征数据，该特征数据可以是从计算机视觉算法或另一机器学习模型生成的数据。
在实施方式中，从ML模块接收输入数据，该ML模块被训练成根据点云表示来识别两个连杆。在实施方式中，从被训练成对关节类型进行分类的ML模块接收关节类型。
在实施方式中，从虚拟运动学装置的3D模型中提取输入数据。
实施方式还包括根据对应的虚拟运动学装置的对应的一组虚拟制造操作的计算机实现的模拟的结果来控制由运动学装置执行的至少一种制造操作的步骤。
在实施方式中，根据由虚拟运动学装置在计算机模拟平台的虚拟环境中执行的一组制造操作的模拟的结果，控制由运动学装置执行的至少一种制造操作。
在实施方式中，如本文中使用的术语“接收”可以包括：从存储装置中检索、从另一装置或过程接收、通过与用户的交互或以其他方式接收。
本领域技术人员将认识到，为了简单和清楚起见，本文中不示出或不描述适合与本公开内容一起使用的所有数据处理系统的完整结构和操作。替代地，仅如此多地示出和描述对于本公开内容而言是唯一的或者用于理解本公开内容所必需的数据处理系统。数据处理系统100的其余构造和操作可以符合本领域已知的各种当前实现方式和实践中的任何一种。
重要的是要注意，虽然本公开内容包括在全功能系统的背景下的描述，但是本领域技术人员将理解，本公开内容的至少若干部分能够以包含在各种形式中的任何形式的机器可用、计算机可用或计算机可读介质中的指令的形式来分布，并且不管用于实际执行分布的指令或信号承载介质或存储介质的特定类型如何，本公开内容同样适用。机器可用/可读或计算机可用/可读介质的示例包括：诸如只读存储器(ROM)或电可擦除可编程只读存储器(EEPROM)的非易失性硬编码类型的介质以及诸如软盘、硬盘驱动器和致密盘只读存储器(CD-ROM)或数字多功能盘(DVD)的用户可记录类型介质。
尽管已经详细描述了本公开内容的示例性实施方式，但是本领域技术人员将理解的是，在不脱离本公开内容的最广泛形式的精神和范围的情况下，可以做出本文中所公开的各种改变、替换、变化和改进。
本申请中的任何描述都不应被解读为暗示任何特定元件、步骤或功能是必须包括在权利要求范围中的基本要素：专利的主题的范围仅由允许的权利要求限定。
Claims (18)
1.一种用于由数据处理系统确定虚拟运动学装置中的关节的方法，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由所述虚拟装置的至少两个连杆和连接这两个连杆的关节来定义；并且其中，关节由关节类型以及由用于定义特定关节类型的运动能力的关节描述符来定义；所述方法包括：
-接收输入数据；其中，所述输入数据包括关于给定虚拟运动学装置的两个给定连杆的两种点云表示的数据；
-将关节类型分析器应用于所述输入数据；其中，利用通过ML算法训练的函数对所述关节类型分析器进行建模，并且所述关节类型分析器生成中间数据；
-提供中间数据；其中，所述中间数据包括用于选择与所述两个给定连杆相关联的特定关节类型的数据；
-将所选择的特定关节描述符分析器应用于所述输入数据；其中，利用通过ML算法训练的函数对特定关节描述符分析器进行建模，并且所述特定关节描述符分析器生成输出数据；
-提供所述输出数据；其中，所述输出数据包括用于确定与所述两个给定连杆相关联的特定关节类型的相互运动能力的特定关节描述符数据；
-根据所述输出数据来确定所述虚拟运动学装置中的至少一个关节。
2.一种用于由数据处理系统确定虚拟运动学装置中的关节的方法，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由所述虚拟装置的至少两个连杆和连接这两个连杆的关节来定义；并且其中，关节由关节类型以及由用于定义特定关节类型的运动能力的关节描述符来定义；所述方法包括：
-接收输入数据；其中，所述输入数据包括关于给定虚拟运动学装置的两个给定连杆的两种点云表示的数据以及关于与两个连杆相关联的特定关节类型的数据；
-将特定关节描述符分析器应用于所述输入数据；其中，利用通过ML算法训练的函数对所述特定关节描述符分析器进行建模，并且所述特定关节描述符分析器生成输出数据，
-提供所述输出数据；其中，所述输出数据包括用于确定与所述两个给定连杆相关联的特定关节类型的相互运动能力的特定关节描述符数据；
-根据所述输出数据来确定所述虚拟运动学装置中的至少一个关节。
3.根据权利要求1或2所述的方法，其中，从由以下关节组成的组中选择所述关节类型：
-线性关节；
-旋转关节；
-球形关节；
-圆柱形关节；
-螺旋形关节；
-平面关节。
4.根据权利要求1或2所述的方法，其中，从由以下数据中的一种或更多种组成的组中选择所述关节描述符数据：
-用于定义方向的空间数据；
-用于定义位置的空间数据；
-用于定义螺距的标量数据；
-用于定义方向、位置和/或螺距的空间数据。
5.根据权利要求1或2所述的方法，其中，关于所述点云表示的数据包括从由以下数据组成的组中选择的数据：
-坐标数据；
-颜色数据；
-实体标识符数据；
-表面法线数据；
-从计算机视觉技术中或从另一ML模块中提取的其他特征。
6.根据权利要求1或2所述的方法，其中，从ML模块接收所述输入数据，所述ML模块被训练成根据点云表示识别两个连杆。
7.根据权利要求1或2所述的方法，其中，从所述虚拟运动学装置的3D模型中提取所述输入数据。
8.根据权利要求1或2所述的方法，还包括以下步骤：根据对应虚拟运动学装置的对应一组虚拟制造操作的计算机实现的模拟的结果来控制由运动学装置执行的至少一种制造操作。
9.一种用于由数据处理系统提供用于识别虚拟运动学装置中的关节类型的经训练的函数的方法，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由所述虚拟装置的至少两个连杆和连接这两个连杆的关节来定义；并且其中，关节由关节类型以及由用于定义特定关节类型的运动能力的关节描述符来定义；所述方法包括：
-接收输入训练数据；其中，输入数据包括关于多个虚拟运动学装置的两个给定连杆的多个两种点云表示的数据；
-接收输出训练数据；其中，对于多个两种点云连杆表示中的每一个，所述输出训练数据包括用于确定与所述两个给定连杆相关联的特定关节类型的数据；其中，所述输出训练数据与所述输入训练数据相关；
-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；
-提供训练函数，以对关节类型分析器进行建模。
10.一种用于由数据处理系统提供用于识别虚拟运动学装置中的关节描述符的经训练的函数的方法，其中，虚拟运动学装置是具有至少一种运动学能力的虚拟装置，并且其中，运动学能力由所述虚拟装置的至少两个连杆和连接这两个连杆的关节来定义；并且其中，关节由关节类型以及由用于定义特定关节类型的运动能力的关节描述符来定义；所述方法包括：
-接收输入训练数据；其中，输入数据包括关于多个虚拟运动学装置的两个给定连杆的多个两种点云表示的数据；
-接收输出训练数据；其中，对于多个两种点云连杆表示中的每一个，所述输出训练数据包括用于确定与所述两个给定连杆相关联的特定关节类型的相互运动能力的特定关节描述符数据；
-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；
-提供经训练的函数，以识别在此被称为关节描述符分析器的关节描述符。
11.根据权利要求9或10所述的方法，其中，从由以下关节组成的组中选择所述关节类型：
-线性关节；
-旋转关节；
-球形关节；
-圆柱形关节；
-螺旋形关节；
-平面关节。
12.根据权利要求10所述的方法，其中，从由以下数据中的一种或更多种组成的组中选择所述关节描述符数据：
-用于定义方向的空间数据；
-用于定义位置的空间数据；
-用于定义螺距的标量数据；
-用于定义方向、位置和/或螺距的空间数据。
13.一种数据处理系统，包括：
处理器；以及
可访问的存储器，所述数据处理系统特别地被配置成：
-接收输入数据；其中，所述输入数据包括关于给定虚拟运动学装置的两个给定连杆的两种点云表示的数据以及关于与两个连杆相关联的特定关节类型的数据；
-将特定关节描述符分析器应用于所述输入数据；其中，利用通过ML算法训练的函数对所述特定关节描述符分析器进行建模，并且
所述特定关节描述符分析器生成输出数据，
-提供所述输出数据；其中，所述输出数据包括用于确定与所述两个给定连杆相关联的特定关节类型的相互运动能力的特定关节描述符数据；
-根据所述输出数据来确定所述虚拟运动学装置中的至少一个关节。
14.一种编码有可执行指令的非暂态计算机可读介质，所述可执行指令在被执行时使一个或更多个数据处理系统执行以下操作：
-接收输入数据；其中，所述输入数据包括关于给定虚拟运动学装置的两个给定连杆的两种点云表示的数据以及关于与两个连杆相关联的特定关节类型的数据；
-将特定关节描述符分析器应用于所述输入数据；其中，利用通过ML算法训练的函数对所述特定关节描述符分析器进行建模，并且所述特定关节描述符分析器生成输出数据，
-提供所述输出数据；其中，所述输出数据包括用于确定与所述两个给定连杆相关联的特定关节类型的相互运动能力的特定关节描述符数据；
-根据所述输出数据来确定所述虚拟运动学装置中的至少一个关节。
15.一种数据处理系统，包括：
处理器；以及
可访问的存储器，所述数据处理系统特别地被配置成：
-接收输入训练数据；其中，输入数据包括关于多个虚拟运动学装置的两个给定连杆的多个两种点云表示的数据；
-接收输出训练数据；其中，对于多个两种点云连杆表示中的每一个，所述输出训练数据包括用于确定与所述两个给定连杆相关联的特定关节类型的数据；其中，所述输出训练数据与所述输入训练数据相关；
-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；
-提供训练函数，以对关节类型分析器进行建模。
16.一种编码有可执行指令的非暂态计算机可读介质，所述可执行指令在被执行时使一个或更多个数据处理系统执行以下操作：
-接收输入训练数据；其中，输入数据包括关于多个虚拟运动学装置的两个给定连杆的多个两种点云表示的数据；
-接收输出训练数据；其中，对于多个两种点云连杆表示中的每一个，所述输出训练数据包括用于确定与所述两个给定连杆相关联的特定关节类型的数据；其中，所述输出训练数据与所述输入训练数据相关；
-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；
-提供经训练的函数，以对关节类型分析器进行建模。
17.一种数据处理系统，包括：
处理器；以及
可访问的存储器，所述数据处理系统特别地被配置成：
-接收输入训练数据；其中，输入数据包括关于多个虚拟运动学装置的两个给定连杆的多个两种点云表示的数据；
-接收输出训练数据；其中，对于多个两种点云连杆表示中的每一个，所述输出训练数据包括用于确定与所述两个给定连杆相关联的特定关节类型的相互运动能力的特定关节描述符数据；
-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；
-提供经训练的函数，以对关节描述符分析器进行建模。
18.一种编码有可执行指令的非暂态计算机可读介质，所述可执行指令被执行时使一个或更多个数据处理系统执行以下操作：
-接收输入训练数据；其中，输入数据包括关于多个虚拟运动学装置的两个给定连杆的多个两种点云表示的数据；
-接收输出训练数据；其中，对于多个两种点云连杆表示中的每一个，所述输出训练数据包括用于确定与所述两个给定连杆相关联的特定关节类型的相互运动能力的特定关节描述符数据；
-通过ML算法，基于所述输入训练数据和所述输出训练数据来训练函数；
-提供经训练的函数，以对关节描述符分析器进行建模。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/IB2021/057901 WO2023031642A1 (en) | 2021-08-30 | 2021-08-30 | Method and system for determining a joint in a virtual kinematic device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117881370A true CN117881370A (zh) | 2024-04-12 |
Family
ID=85411995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180101918.3A Pending CN117881370A (zh) | 2021-08-30 | 2021-08-30 | 用于确定虚拟运动学装置中的关节的方法和系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117881370A (zh) |
| WO (1) | WO2023031642A1 (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8444564B2 (en) * | 2009-02-02 | 2013-05-21 | Jointvue, Llc | Noninvasive diagnostic system |
| US20150057756A1 (en) * | 2012-04-13 | 2015-02-26 | Conformis, Inc. | Patient Adapted Joint Arthroplasty Systems, Devices, Surgical Tools and Methods of Use |
| BR112018068656A2 (pt) * | 2016-03-14 | 2019-02-05 | R Mahfouz Mohamed | posicionamento de banda ultralarga para comunicação e rastreamento por ultrassom sem fio |
| US11404786B2 (en) * | 2019-07-03 | 2022-08-02 | City University Of Hong Kong | Planar complementary antenna and related antenna array |
-
2021
- 2021-08-30 CN CN202180101918.3A patent/CN117881370A/zh active Pending
- 2021-08-30 WO PCT/IB2021/057901 patent/WO2023031642A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023031642A1 (en) | 2023-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9811074B1 (en) | Optimization of robot control programs in physics-based simulated environment | |
| US9671777B1 (en) | Training robots to execute actions in physics-based virtual environment | |
| CN107065790B (zh) | 用于确定虚拟环境中的虚拟机器人的配置的方法和系统 | |
| US11113433B2 (en) | Technique for generating a spectrum of feasible design solutions | |
| Pomares et al. | Virtual disassembly of products based on geometric models | |
| EP2923805A2 (en) | Object manipulation driven robot offline programming for multiple robot system | |
| Gunji et al. | Hybridized genetic-immune based strategy to obtain optimal feasible assembly sequences | |
| US20200265353A1 (en) | Intelligent workflow advisor for part design, simulation and manufacture | |
| EP3656513A1 (en) | Method and system for predicting a motion trajectory of a robot moving between a given pair of robotic locations | |
| US11726643B2 (en) | Techniques for visualizing probabilistic data generated when designing mechanical assemblies | |
| US20230315939A1 (en) | Validating a software-driven system based on real-world scenarios | |
| CN117881370A (zh) | 用于确定虚拟运动学装置中的关节的方法和系统 | |
| CN117795557A (zh) | 用于识别虚拟运动学装置中的运动学能力的方法和系统 | |
| JP2023552756A (ja) | ロボット制御計画の生成 | |
| CN117501299A (zh) | 用于识别虚拟运动学装置中的运动学能力的方法和系统 | |
| JP2008003819A (ja) | 交互作用検出装置，交互作用検出用プログラムが記録された媒体及び交互作用検出方法 | |
| Cárdenas et al. | Automatic determination of rock-breaking target poses for impact hammers | |
| EP4081926A1 (en) | Automatic simplification of a rigid-body simulation | |
| JP2006350766A (ja) | 情報処理装置，情報処理用プログラムが記録された媒体及び情報処理方法 | |
| US20160357879A1 (en) | Method and apparatus for checking the buildability of a virtual prototype | |
| Jakhotiya et al. | Integrating digital twin and computer vision system for efficient pick-and-place operation using Tecnomatix Process Simulate | |
| EP4088883A1 (en) | Method and system for predicting a collision free posture of a kinematic system | |
| US20240173855A1 (en) | Method for Generating Training Data for a Machine Learning (ML) Model | |
| Solberg et al. | Utilizing Reinforcement Learning and Computer Vision in a Pick-And-Place Operation for Sorting Objects in Motion | |
| CN118235165A (zh) | 用于从点云创建用于数字孪生的3d模型的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |