CN114945925A - 用于根据可配置模块的医学机器人生成的机器学习网络 - Google Patents

用于根据可配置模块的医学机器人生成的机器学习网络 Download PDF

Info

Publication number
CN114945925A
CN114945925A CN202080094041.5A CN202080094041A CN114945925A CN 114945925 A CN114945925 A CN 114945925A CN 202080094041 A CN202080094041 A CN 202080094041A CN 114945925 A CN114945925 A CN 114945925A
Authority
CN
China
Prior art keywords
space
configuration
modeling
robot
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080094041.5A
Other languages
English (en)
Inventor
E·吉拉德
A·卡普尔
T·曼西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN114945925A publication Critical patent/CN114945925A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/08—Programme-controlled manipulators characterised by modular constructions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1615—Programme controls characterised by special kind of manipulator, e.g. planar, scara, gantry, cantilever, space, closed chain, passive/active joints and tendon driven manipulators
    • B25J9/1617—Cellular, reconfigurable manipulator, e.g. cebot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/1653—Programme controls characterised by the control loop parameters identification, estimation, stiffness, accuracy, error analysis
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A61B2034/104—Modelling the effect of the tool, e.g. the effect of an implanted prosthesis or for predicting the effect of ablation or burring
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0443—Modular apparatus
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45117—Medical, radio surgery manipulator
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45118—Endoscopic, laparoscopic manipulator

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Public Health (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Manipulator (AREA)

Abstract

一种生成对抗网络（GAN）（21、24）或任何其他生成建模技术被用于学习（12）在给定性能、操作、安全性或任何其他规范的情况下如何生成（68）最优机器人系统。例如，可以相对于解剖结构对规范进行建模（65），以确认基于解剖结构的约束或另一个任务特定的约束的满足。训练（12）机器学习系统（例如，神经网络）以将给定规范转化成机器人配置。该网络可以将任务特定的规范转换成进入机器人系统中的机器人模块的一个或多个配置。用户可以录入（67）对性能的改变，以便使该网络估计（62）适当的配置。可以通过另一个机器学习系统（例如，神经网络）将配置转换（64）成所估计的性能，从而允许相对于解剖结构（诸如，基于医学成像的解剖结构）对操作进行建模（65）。可以组装（69）和使用满足来自该建模（65）的约束的配置。

Description

用于根据可配置模块的医学机器人生成的机器学习网络
背景技术
本实施例涉及配置模块化机器人系统。模块化机器人是由人类设计者手动地或迭代地针对特定任务来优化或配置的。该配置是利用离散和连续变量被参数化的，所以在设计过程期间常常仅评估用于配置的参数的少数设置。
自我重新配置（self-reconfiguring）机器人（例如，基础晶格结构中的机器人单元、电子器件模块和/或软件模块）可以蜕变（metamorph）成不同的配置。虽然已经开发了异构模块化系统，但是每个模块仍然保持过于简单，其具有两个或三个自由度以用于组装成链型或晶格型结构。模块的类型常常限于一个或两个类型。在链型结构中，实现旋转接合部（joint）的单个模块被重复地组合。在晶格型结构中，模块可以形成多面体结构。常常，随机过程被遵循以实现期望的配置。然而，这种方法未能推广到用于执行与单个模块的能力相差甚远的具体任务的复杂形态、或者未能对可编程组装要求做出响应。对于更复杂的模块化组件、诸如带有具有五个可设置长度的五个链节（link）的模块化组件、以及三个或更多个类型的这种模块，即使基于特定二维工作空间在给定具体要求的情况下确定最优参数和布置的复杂性也会使得对该配置的暴力计算（brute force calculation）是困难的。
发明内容
作为介绍，下面描述的优选实施例包括用于对机器学习模型进行机器训练和应用以配置模块化机器人系统的方法、计算机可读介质和系统，该模块化机器人系统诸如但不限于用于针对特定类型的医学应用或解剖结构（anatomy）的医学成像或应用的机器人。生成对抗网络（GAN）或任何其他的生成建模技术被用来学习在给定性能、操作、安全性或任何其他规范的情况下如何生成最优机器人系统。例如，可以相对于解剖结构对规范进行建模，以确认基于解剖结构的约束或另一个任务特定的约束的满足。训练机器学习系统（例如，神经网络）以将给定规范转化成机器人配置。该网络可以将任务特定的规范转换成进入机器人系统中的机器人模块的一个或多个配置。用户可以录入对性能的改变，以便使该网络估计适当的配置。可以通过另一个机器学习系统（例如，神经网络）将配置转换成所估计的性能，从而允许相对于解剖结构（例如，基于医学成像的解剖结构）对操作进行建模。可以组装和使用满足来自该建模的约束的配置。
在第一方面，提供了一种用于根据可配置模块的医学机器人生成的方法。输入医学机器人的第一能力，诸如基于任务的期望能力。机器学习编码器将第一能力投影到定义可配置模块的配置的隐空间向量。机器学习生成器根据该隐空间向量到机器学习生成器的输入来估计第二能力。相对于解剖结构模型基于第二能力来对该配置的医学机器人的操作进行建模。基于该建模的结果和该隐空间向量来设置可配置模块的配置。
在一个实施例中，力、运动、顺应性（compliance）、工作空间、载荷、和/或接合部位置被输入作为能力。针对机器人结构或模块、电路、人工智能（AI）、封装和/或人机接口的能力可以被输入。能力被投影到隐空间向量。例如，隐空间向量包括针对可配置模块的类型、可配置模块之间的连接、以及可配置模块的可调整方面的参数的值。隐空间向量可以是作为该配置的机器人的形状（即，组件的组装）。
在另一个实施例中，机器学习生成器是神经网络。神经网络或其他生成器可能已经被训练为生成对抗网络。
根据一个实施例，所生成的能力是三维向量。例如，力或顺应性以三个维度被提供作为生成器的输出。
在其他实施例中，处理器接收对第二能力之一的估计之一的改变的用户输入。使用包括所改变的估计的第二能力的估计的投影被重复。根据通过该投影的重复而被投影的另一个隐空间向量的生成被重复。基于从该生成的重复所得到的第三能力的建模被重复。用户输入可以被限制为第二能力的估计中的仅一个的改变。用户输入用于在没有该配置中的改变的情况下改变一个估计。在一个示例中，该改变是在第二能力的估计的方向上。
在一个实施例中，来自图像数据的经训练的计算模型在建模中被使用。
在第二方面，提供了一种用于机器训练以根据组件模块来配置机器人的方法。提供了来自组件模型的机器人的各种配置以及机器人的性能的训练数据。生成对抗网络被机器训练以从配置的输入来估计性能。生成对抗网络包括判别器，该判别器被配置成将性能映射到真实或虚假的分类，其中该机器训练包括基于相对于解剖结构对性能进行建模的约束。生成对抗网络的经机器训练的生成器被存储。在进一步的实施例中，编码器可以被机器训练以将性能投影到配置。
在一个实施例中，该机器训练包括通过相对于解剖结构对配置进行建模的约束。该建模提供了性能的经调整的值。编码器被机器训练以将性能和/或经调整的性能投影到配置。
在另一个实施例中，相对于解剖结构对配置的建模包括利用来自医学成像的解剖结构模型进行建模。
在第三方面，提供了一种用于根据可配置模块的医学机器人生成的方法。机器学习编码器从用户定义的工作空间、接合部空间、力空间、顺应性空间和/或运动学空间投影到可配置模块的配置和参数空间。该投影可以来自针对机器人结构或模块、电路、人工智能（AI）、封装和/或人机接口的空间。机器学习编码器是基于生成对抗网络来训练的，该生成对抗网络从配置和参数空间来估计工作空间、接合部空间、力空间、顺应性空间、运动学空间和/或其他空间中的值。根据该投影，针对用户定义的工作空间、接合部空间、力空间、顺应性空间和/或运动学空间来确定可配置模块的配置。
在另一个实施例中，生成对抗网络的机器学习生成器从可配置模块的配置和参数空间的值来生成工作空间、接合部空间、力空间、顺应性空间和/或运动学空间的估计。接收对估计的用户编辑。从所编辑的估计来重复该投影。
在又一个实施例中，基于对与解剖结构的交互进行建模来约束用户定义的工作空间、接合部空间、力空间、顺应性空间和/或运动学空间。
本发明由以下权利要求所限定，并且本部分中的任何内容都不应被视为对那些权利要求的限制。一种类型的权利要求（例如，方法或系统）的特征可以被用于另一种类型的权利要求中。下面结合优选实施例讨论了本发明的进一步的方面和优点，并且稍后可以独立地或以组合的方式要求保护这些方面和优点。
附图说明
组件和各图不一定是按比例绘制的，取而代之，重点在于说明本发明的原理。此外，在各图中，相同的附图标记遍及不同的视图标示对应的部分。
图1是用于针对医学机器人配置的训练的方法的一个实施例的流程图；
图2图示了用于针对机器人配置的机器训练的示例布置；
图3示出了被配置成形成机器人的三个不同的模块；
图4和5示出了根据各种模块组合被配置的其他示例机器人；
图6是用于根据可配置模块的医学机器人生成的方法的一个实施例的流程图；以及
图7是用于根据模块化组件来配置机器人系统的系统的一个实施例的框图。
具体实施方式
与常规的模块化机器人不同，被配置的机器人意图在医学环境中执行具体任务。模块化异构组件可以被组合在混合系统中，以在难以建模和预测的复杂环境中执行复杂的移动和任务。这些任务的示例包括操纵超声换能器以获取解剖结构诸如心脏或前列腺的图像，使用来自图像和感测的在线反馈将导管装置引导到预期目标，将医学工具保持和定位在患者的皮肤上（即，安装到患者的工具保持器），或者引导机器人系统用于脊柱校正手术（procedure）。在这些应用中，可能重要的是，不仅要确定机器人的品质并针对机器人的品质进行设计，而且还要设计机器人以有效地和安全地与这些复杂环境交互。
生成对抗网络（GAN）被用于根据异构可重新配置模块来从头（de novo）生成医学机器人系统。该模块必须满足的任务和/或规范的特定高级描述可以被输入，以在没有手动设计或具有最少手动设计的情况下确定配置。每个模块的最优配置和参数是使用一个或多个机器学习模型来确定的。利用GAN的训练允许将与任务或规范相关的（一个或多个）用户描述反向投影到组成性模块的配置和参数空间的隐空间。向组成性模块的配置和参数空间的生成提供任务描述和规范的整个过程可以是自动化的。
GAN的使用允许用户通过对任务或规范的编辑沿着该模型的隐空间交互式地进行编辑。可以提供多种规范来确定期望配置。除了Mx3D笛卡尔通道（M是该系统的当前配置中的部件的数量）之外，该模型还包括诸如工作空间、接合部空间、力空间、顺应性等之类的空间，作为该规范的一部分。
该模型可以包括与控制机器人的电子器件、基础逻辑或AI软件、封装、人机接口、机器人结构或模块、和/或机器人系统的其他元件相关联的参数。例如，电子模块、算法模块和/或机械模块被使用。在传感器级别、致动器、逻辑/AI或其他位置处的若干个控制器、芯片组、存储器、电路和/或软件模块可以被提供。
可以使用数据驱动的学习来生成虚拟环境。例如，利用医学扫描数据来获得具体解剖结构的参数化计算模型
Figure 834035DEST_PATH_IMAGE001
。具有这种模型允许确定基于经由GAN的生成器
Figure 698086DEST_PATH_IMAGE002
被映射的给定隐向量的设计在虚拟环境中的选择条件下如何执行。此外，可以部署机器学习方法（例如，深度强化学习）来进一步完善该设计。
图1示出了用于机器训练以根据组件模块来配置机器人的方法的流程图的一个实施例。目标是训练神经网络以根据高级描述（诸如，类别、工作空间要求、载荷能力等）来生成模块化机器人的配置。该编码器被训练，作为训练GAN的一部分，以用于反向转换——机器人的配置到性能描述。可以使用解剖结构建模来约束性能并且由此约束所使用的配置。
图2图示了不同的机器训练模块以及它们彼此的关系的示例。生成器21和判别器24构成了利用投影编码器26被机器训练的GAN。解剖结构模型23可以是经机器训练的，预先训练的，或者可以是在没有机器训练的情况下基于物理学或其他生物计量的模型仿真。模型中的任何一个或多个可以被预先训练并且被用于其他模型中的一个或多个的训练中。替代地，使用联合训练或端到端训练来训练模型中的全部或多个，作为相同优化的一部分。图2图示了用于训练和一旦被训练的不同模型之间的交互。
图1的方法由处理器来实现，该处理器诸如计算机或服务器。例如，使用图7的系统70。
该方法按所示的次序或其他次序来执行。例如，动作14在动作14之前被执行、作为动作14的一部分被执行、或者在动作14之后被执行。
可以提供附加的、不同的或更少的动作。例如，提供用于分离地训练GAN、GAN的生成器、GAN的判别器、编码器、和/或解剖结构模型或机器人到解剖结构模型交互的动作。
在动作10中，收集训练数据。为了提供训练数据，在一个或多个存储器中收集许多样本或示例。
训练数据包括来自组件模型的机器人的各种配置以及机器人的性能。训练数据集包括具有目标O={(x 1, y 1, s 1),…,(x n , y 1, s n )}的示例D={(c 1,θ 1),…,(c n ,θ n )}。输入是对类别（子模块的类型）进行编码的变量c、以及该子模块的参数θ、连同所包括的模块之间的互连的元组（示例D）。这些元组形成了隐空间向量20。隐空间向量20提供了配置，诸如哪些模块被使用、所使用的模块的互连或布置、以及每一个模块的任何可调整或可设置的参数（例如，臂或连杆的长度、或运动范围）。在一个实施例中，隐空间向量20是通过所选模块、模块之间的互连和/或每一个模块的参数的设定值给出的机器人的形状。在其他实施例中，隐空间向量20包括动态信息，诸如一个或多个变量中的随时间的改变或形状（例如，配置包括该配置的任何方面随时间的改变）。位置和/或速度中的步进增量（step increment）可以被包括在该配置中，以应对形状随时间的改变。
要形成到机器人中的模块可以属于任何类型或变型。任何数量的每个类型的模块都是可用的。任何数量的模块类型都是可用的。不同的机器人模块可以被组合或互连以形成用于给定任务的机器人或机器人系统。这些模块是可重新配置的，所以不同组的模块可以用于形成不同的医学机器人系统。
图3示出了一示例。三个类型的模块——包括z-θ模块30、x-y平台（stage）模块32和仪器保持器模块34——被组合以形成用于图像引导的脊柱手术的机器人系统。这些异构组件可以被选择和互连以形成机器人。Z-θ模块30是使用花键螺栓（splined screw）机构制成的组合式棱柱形和旋转接合部。螺纹部件（threaded part）的旋转速率、螺纹和/或长度可以是可配置的参数。X-Y平台模块32包括具有5个链节长度参数的五杆机构。可以提供其他参数，诸如确定该机构的刚度的连杆转动惯量。这些参数（诸如，转动惯量）与隐变量之间可能不存在1-1映射，这是因为存在用以增加转动惯量的若干种方式，如I-通道、或甚至定制的成形通道。机器学习被用于在给定训练数据的情况下找到最优映射。仪器保持器模块34包括主动夹持或保持组件。仪器保持器模块34的参数可以包括长度、内径、外径和/或连接类型。
可以提供其他类型的模块。例如，使用如图4中所示的延伸臂。作为另一个示例，使用图5中所示的远程运动中心模块。远程运动中心模块是用于控制设备的角度形成（angulation）的空间五杆或链节布置。在图5中，一个或多个链节被用于搁置在患者上。
这些模块具有用于旋转和/或平移的任何自由度，诸如针对x-y平台模块32、z-θ模块30或远程运动中心模块提供的两个自由度。这些模块是主动或被动的。示例被动组件包括传感器或接口，诸如与医学设备（诸如，腹腔镜或超声换能器）的接口。任何数量的不同模块可以被提供或者可用于设计和组装到机器人系统中。相同的部件或相同类型的部件可以被组装到不同的机器人系统中。
类似的模块化适用于电子器件、AI架构和软件、以及对于构建机器人系统所必要的封装和其他组件。机器人系统的相同电子器件、人工智能架构、软件模块、封装、人机接口和/或其他组件可以被组装到不同的机器人系统中。本文中的示例是针对机器人结构的，但是替代地或附加地，可以是针对基于机器人系统的其他类型的系统（例如，电子器件、软件或人机接口）的规范的经机器学习的配置的。
在用于图3的脊柱手术的机器人引导中，主动模块被设计成通过增加五个杆的转动惯量来提供更高的力能力。图像驱动属性规范导致被动模块具有可成像组件，诸如可能出现在超声或x射线成像中的组件。
图4示出了来自三个模块的互连的一个示例配置，这三个模块是臂、x-y平台、以及提供了沿着弯曲表面的移动的仪器保持器。图4的机器人是经直肠超声机器人。主动模块被重新配置以通过调整和/或限制驱动扭矩来提供适合于任务的力能力。机器人的选择性顺应性也被重新配置以限制沿着用户定义的轴线的顺应性。
图5示出了来自两个模块的互连的一个示例配置，这两个模块是远程中心运动平台和电动腹腔镜保持器。图5的机器人是安装到患者的“工具”保持器机器人。主动模块被重新配置以通过调整和/或限制驱动扭矩来提供适合于任务的力能力。
训练数据包括不同配置的许多示例。针对不同的配置提供了参数、所使用的模块的类别、以及互连的值。例如，提供了用于不同任务的机器人的多个样本（例如，图3-5）。对于给定任务，可以通过更改或使用各种参数（例如，模块设置、模块数量、模块类型和/或模块互连）中的任何参数的不同值来提供不同的配置。该训练数据是从仿真和/或组装来生成的。
训练数据还包括每个配置的性能。基于物理学的配置导致了机器人的各种能力。给定机器人的能力被提供用于机器训练。性能可以是目标，所述目标是该系统的ND空间22。ND空间22表征如所配置的机器人的性能，诸如操作参数化、能力、安全性界限和/或其他性能指示。示例性能或能力包括：力、工作空间、接合部空间、力空间、顺应性或其他信息。例如，提供了机器人的运动限制、空间限制、力的量、顺应性水平、运动学或其他操作特性。可以使用任何规范，诸如针对机械、软件、电子器件或电路、封装的规范和/或人机接口规范。
ND空间22可以具有多个3D通道。每个通道表示如用户所希望的那样利用其他通道被扩充的子模块组件的3D模型，包括但不限于工作空间、表示力施加的张量、载荷能力等。判别器将ND空间22映射到指示真实或虚假的二元输出。
ND空间22的参数可以是由期望任务所创建的规范。不是基于测试不同的模块组合进行设计，而是通过提供期望性能来自动完成该设计，使得机器学习系统根据该期望性能来确定配置。用户利用高级描述（诸如，对沿着特定方向的力测量具有规定灵敏度的圆柱形工具保持器）进行描述的能力可以被用于设计。一旦用户描述了圆柱形工具，投影编码器26就要被训练以将性能投影到该系统的隐空间。由生成器21输出的各种ND通道之间可能存在联结（coupling）和/或依赖性。GAN学习从用户抽象出这种联结，从而允许他们仅需要指定高级描述。
在动作12中，处理器执行机器训练。图2的布置用于机器训练。生成器21和投影编码器26被按顺序训练或联合地训练。生成器21、判别器24和投影编码器26是神经网络，诸如深度卷积神经网络。可以使用全连接、密集或其他神经网络。针对生成器21、判别器24和投影编码器26中的每一个提供相同或不同的网络架构。可以提供神经网络的任何数量的层、特征、节点、连接、卷积或其他架构方面。
在对GAN的替代实施例中，对其他神经网络进行机器训练，该其他神经网络诸如DenseNet、卷积神经网络、全连接神经网络、或形成神经网络的三个或更多个层。可以使用不具有对抗训练（即，不具有判别器24）的其他生成网络。
生成器21要被训练以将隐空间20映射到该系统的ND空间22。投影编码器26要被训练以将ND空间22映射到隐空间20。在生成器21与投影编码器26之间形成的环路允许一个的训练受益于另一个的训练。相同的样本或训练数据可以被用于训练配置与性能之间在两个方向上的转换。
生成器21和判别器24形成了GAN。生成器21学习输出性能，并且判别器24学习对性能进行区分、或者将性能分类为真实的或虚假的（例如，不可能的对比可操作的或真实的）。在图2的布置中，解剖结构模型23介入，使得判别器24接收受约束的或具有约束信息的性能作为输入，该约束信息来自机器人配置的性能与解剖结构的相互关系。在替代实施例中，在没有来自解剖结构模型23的信息的情况下或者除了来自解剖结构模型23的信息之外，性能被直接输入到判别器。
在一个实施例中，该机器训练包括基于相对于解剖结构对性能进行建模的约束。在动作14中，确定这些约束。配置的性能是使用解剖结构模型23关于解剖结构被建模的。解剖结构模型23是虚拟环境计算模型，该模型具有其自己的隐空间向量，以将该模型描述为低维空间参数。感兴趣的解剖结构（诸如，肝脏或心脏）用于确定对性能的约束。例如，在用以执行经直肠超声的机器人中，前列腺的经训练的计算模型包括参数化的组织性质、目标位置、尿道等。
解剖结构模型23被用于仿真或与性能的比较中。例如，解剖结构模型23定义了一个或多个部件或整个机器人的工作空间或空间区间（extent）。作为另一个示例，解剖结构模型23包括用于确定可能伤害组织的力级别的组织信息。在ND空间22中表示的性能用于确定至少对于给定形状、位置和/或运动与感兴趣解剖结构中的配置的使用相关联的成功、失败和/或风险。
解剖结构模型23使用来自图谱、成像数据和/或另一个源的解剖结构表示。对于全自动化系统，可以从诸如磁共振（MR）数据之类的成像数据获得解剖结构模型23。例如，考虑用以执行前列腺的经直肠超声扫描的机器人。通过考虑群体的前列腺图像的MR分割并且确定所配置的机器人必须满足的可达体积的百分位数来导出工作空间。统计形状模型被形成作为来自成像数据的解剖结构模型。同样地，可以通过在这些分割上使用生物力学模型并且确定工作空间中的每个位置处的将导致前列腺中的固定量的应变的力来获得力施加能力。投影模型被训练以将受解剖结构模型23所约束或者不受解剖结构模型23所约束的这些ND空间22映射到隐空间向量20。
在训练中，使用解剖结构模型23。当生成器21生成针对给定配置的性能时，针对该配置的性能来确定约束。这可以在没有用户编辑25的情况下被用于训练中作为去往编码器26的输入，以学习生成不太可能违反来自解剖结构模型23的约束的配置，或者被用于测试中以将所生成的解的空间约束到设计者所期望的那些空间。基于机器人的性能特性的机器人与解剖结构的交互的建模提供了性能的经调整的值（即，不违反约束的值），该经调整的值可以被用作去往投影编码器的输入。该约束和/或满足该约束的经调整的性能与其他性能信息一起被用作去往编码器26的输入。
该机器训练可以包括训练投影编码器26以将性能和/或经调整的性能投影到配置。由生成器21和/或解剖结构模型23输出的ND空间22的值被投影回到隐空间向量20以创建另一个配置。投影编码器26被训练，使得在应用中，用户可以然后使用针对灵敏度或其他性能的通道来缩放或调整跨机器人的工作空间的量。这些编辑然后被重新投影到隐空间20以产生机器人的更新的模型，并且该过程可以被重复。该投影模型被训练以产生针对给定输入形状的隐空间向量20。
对于训练，建立生成器21、判别器24和/或投影编码器26的神经网络的可学习参数。执行优化，诸如Adam，以学习可学习参数的值。可学习参数是神经网络的权重、连接、卷积核和/或另一个特性。通过将使用该神经网络的给定配置的输出与地面真值进行比较来提供针对该优化的反馈。对于生成器21，将输出性能与已知性能进行比较。对于投影编码器26，将配置输出与针对输入性能的一个或多个已知配置进行比较。可以使用任何差异函数，诸如L1或L2。
对于判别器24，将作为真实或虚假、物理上合理或不合理的分类、或区分来自生成器21和/或与解剖结构模型23的交互的好的或坏的输出的任何其他分类与地面真值——真实的或虚假的——进行比较。在使用GAN的情况下，判别器24的输出可以被用于生成器21的优化中，使得生成器21更好地学习生成好的输出。生成器21和判别器24以交错方式被训练，以改进两者的准确度。投影编码器26可以受益于GAN的这种训练。
在图1的动作16中，存储所学习的或经训练的生成器21和/或投影编码器26。生成器21和编码器26是具有针对可学习参数的所学习的值（例如，卷积核）和针对其他参数的设定值的矩阵或架构。机器学习网络被存储，以便应用于根据针对给定任务所需要的模块化组件来设计机器人。判别器24不被存储，这是由于判别器24没有被用于应用中。判别器24可以被存储。
所学习的网络与训练数据一起被存储在存储器、或者被存储在其他存储器中。例如，所学习的网络的副本被分发到不同的计算机或分发在不同的计算机上，以用于在不同的本地环境中设计机器人。作为另一个示例，副本被存储在一个或多个服务器的存储器中，以用于在线或基于云的机器人配置。
图6示出了用于根据可配置或可重新配置模块的医学机器人生成的方法的一个实施例的流程图。生成模型21被训练成使得迭代方法提供所得到的前向模型，以在给定了隐空间向量20、随后是投影模型26的设计的情况下对环境进行仿真，该投影模型26将该设计的ND空间22映射到隐空间向量20，该隐空间向量20被采用以完善机器人配置。生成器21和/或投影编码器26以单次通过（single pass）被使用、或者以迭代的方式通过重复被使用，以从标准或可用机器人组件或模块来测试、设计和组装任务特定的机器人。存储器存储先前针对应用而训练的投影编码器26和/或生成器21。
该方法由计算机、诸如图7的系统70来执行。可以使用其他计算机，诸如服务器或工作站。对于组装，自动化或手动系统遵循该配置以从组件部分来构建机器人。
该动作按所示的次序（顶部到底部或按数字）或其他次序来执行。例如，该过程可以从配置开始，所以在动作62中能力的任何投影之前执行64的生成。作为另一个示例，在动作65之前执行动作67的用户输入。
可以使用附加的、不同的或更少的动作。例如，不执行动作67的用户输入和/或期望能力的输入，诸如其中自动化系统随机地或系统性地设计不同的机器人，或者其中查找系统针对给定任务生成期望能力。作为另一个示例，不提供动作65的建模。在又一个示例中，不使用动作62和64中的一个，诸如其中利用GAN训练的投影编码器26被用于配置或设计，而不进行反向建模以确定能力。
在动作60中，用户输入医学机器人的能力。使用用户输入设备，诸如与键盘、鼠标、轨迹球、触摸板、触摸屏和/或显示设备的用户接口，用户输入医学机器人的期望能力。
在给定机器人将针对其被设计和使用的任务的情况下，期望能力被确定。替代地，任务被输入，并且处理器提取能力。可以使用任何能力，诸如ND空间22中的任何信息。例如，用户输入力、运动、顺应性、工作空间、载荷或接合部要求、约束、目标和/或公差。可以输入逻辑、软件、人机接口和/或封装的能力。动作65的建模可以用于确定期望能力中的一些、没有或全部。通过输入能力而不是配置，用户可以避免必须尝试设置各种配置变量（例如，选择要使用的模块、每个模块有多少、互连、和/或每个所选模块的可调整参数）。
在动作62中，处理器使用或应用机器学习编码器26将能力投影到隐空间向量20，该隐空间向量20定义了可配置模块（例如，机械、软件、人机接口、AI和/或封装可配置模块）的配置。基于先前的训练，编码器26基于输入能力来输出一个或多个配置。该输出是机器人的任何隐空间表示，诸如隐空间向量、所组装的机器人的形状、或可配置模块的类型的值、可配置模块之间的连接、以及可配置模块的可调整方面的参数。基于工作空间、接合部空间、力空间、顺应性空间和/或运动学空间的输入，编码器26将用户定义的能力投影到可配置模块的配置和参数空间。根据该投影，针对用户定义的工作空间、接合部空间、力空间、顺应性空间和/或运动学空间来确定可配置模块的配置。性能的任何ND空间定义可以被转换到配置的隐空间定义，诸如医学机器人的形状。
在动作64中，处理器使用或应用机器学习生成器21来生成能力的估计。诸如从该投影输出的隐空间向量20被输入到机器学习生成器21。该配置的值被输入。该配置的一个或多个设置可以被改变。
基于该输入，确定针对所投影的配置的能力。这些能力可以与或者可以不与输入到投影编码器26的能力相匹配。生成器21生成针对ND空间22的估计，诸如针对工作空间、接合部空间、力空间、顺应性空间和/或运动学空间的估计。响应于针对该配置的隐向量空间20的输入的生成器21的输出是ND空间22的能力。在一个实施例中，能力中的一个或多个被提供作为三维向量，诸如以三个维度的力。生成器21的一个或多个输出通道可以是用于以三个维度进行建模、诸如用于确定与解剖结构模型23的交互的三维输出。
在一个示例实施例中，机器学习网络可以提供最优参数以匹配机器人姿态中的期望灵敏度。姿态估计灵敏度由GAN通过该模块的适当重新配置来优化。
在动作65中，处理器相对于解剖结构模型23对该配置的医学机器人的操作进行建模。由生成器21估计的和/或由用户输入的具有或不具有形状或其他配置信息的能力是相对于解剖结构被建模的。感兴趣解剖结构的计算模型（诸如从成像数据和/或图谱生成的计算模型）被用于对机器人与组织的交互进行仿真。该建模可以是给定状态下的机器人的建模，该给定状态诸如在相对于解剖结构的给定位置处具有给定顺应性、力、速度和/或其他能力的形状。该建模可以是针对状态之间的转变（例如，机器人的动力学或运动）的机器人的建模。
该建模提供了医学机器人的设计以与复杂的三维医学环境交互。环境的建模可以是组织的机器学习模型，诸如拟合到成像数据的生物力学或计算模型。可以使用其他建模，诸如三维网格，该三维网格具有指派给该网格的弹性和/或其他组织特性。医学成像数据可以用于拟合或创建解剖结构的参数化计算模型。该解剖学模型23与配置和性能一起使用以对交互进行仿真。
在动作66中，使用该建模来确定一个或多个约束。该建模指示能力是否超过了任何限制。例如，顺应性可能导致相对于组织的较差定位。作为另一个示例，力可能导致穿刺、撕裂、或对组织的不期望伤害。解剖学模型23用于约束医学机器人的操作。该约束可以以ND空间变量中的任何而存在，诸如工作空间、接合部空间、力空间、顺应性空间和/或运动学空间。该约束可以是固定限制，或者可以是目标。
在不违反约束的情况下，找到可行的配置。该过程可以进行到动作68，以完成用于期望任务的医学机器人的至少一个可能配置的设计。
在另一个实施例中，约束导致了能力中的一个或多个中的改变。例如，力被减小以避免违反该约束。能力的值被改变成在该约束内。该改变的值然后可以被用于动作62的投影的重复中，以确定另一个配置。
在动作67中，手动地做出改变。接收对能力的一个或多个估计的改变的用户输入。用户编辑一个或多个估计。该编辑可以是用于满足约束或出于其他原因。例如，用户查看来自动作65的建模的仿真或结果，并且决定更改估计。
然后，对具有任何改变的估计进行投影，从而针对该改变重复动作62-66。这种迭代方法允许基于相对于性能来使用输入而不是猜测配置空间中的改变来完善医学机器人设计。
用户编辑和随后的投影、能力生成、以及来自所编辑的能力的建模允许平衡“相似性”（有利于与用户编辑的一致性）和“可行性”（有利于可行的输出）的考虑。可以通过将用户输入限制为一次或者针对设计中的给定重复或迭代改变能力的估计中的仅一个来辅助该平衡。例如，用户可以仅编辑工作空间、力适用性或载荷能力。替代地，用户可以一次编辑多个估计。
在另一个实施例中，用户被限制为仅编辑能力。配置中的直接编辑或改变被避免。用户编辑能力，以使用动作62的投影来提供配置中的任何改变。例如，用户可以不编辑形状，而是仅修改与工作空间的特定区中的所表示的标量（例如载荷能力）成比例的标量强度。
在一个实施例中，该编辑是对能力的估计的方向的编辑。用户可以编辑张量通道的主要方向性，诸如编辑给定方向的顺应性。考虑执行超声扫描的机器人，该机器人优选的是沿着超声方向具有更大的顺应性以避免受伤，同时在其他方向上是相对硬的。用户在超声扫描线的方向（例如，垂直于超声换能器的面）上调整顺应性。
可以做出其他编辑，诸如允许用户编辑该配置的一个或多个设置（即，在隐空间中进行编辑）。作为一个示例，用户可以切换子模块的类别（即，子模块）标签。用户针对医学机器人的给定部分选择不同的模块。作为另一个示例，用户可以选择机器人机构如何与虚拟空间中的目标解剖结构进行交互。
可以基于能力的估计来提供用户编辑，从而跳过动作65的建模。替代地，该建模用于向编辑进行通知，诸如提供约束信息来引导用户编辑。
在另一个实施例中，重复或交互由另一个机器学习模型来引导。深度强化学习通过重复和/或交互的过程来学习决策制定的策略。该策略被应用于该过程中的每个时间或点处，以选择或设置任何变量，诸如要改变什么性能特性和/或改变多少。如利用深度强化学习被训练的该策略使该重复和/或交互自动化。该策略可以用于完善该设计。
在动作68中，定义可配置模块的配置。动作65的建模的结果可能示出令人满意的设计。该设计可能满足约束。该结果是可以被构建的配置。可以尝试其他令人满意的设计，从而基于标准化或可用的模块化组件来为医学机器人提供不同选项的选择。所定义的配置是要制造的最终设计。
在动作69中，组装机器人。机器人、制造商和/或设计者可以组装机器人。收集要使用的模块化组件，诸如选择所定义的配置中包括的每一个组件的所需数量。模块化组件被配置，如隐空间向量20中所提供的那样。然后，将所配置的组件互连，如隐空间向量20中所提供的那样。组装机械、软件、电路或电子、人机接口、封装和/或其他模块。针对具体任务和对应解剖结构所设计的所得医学机器人可以用于辅助对一个或多个患者的诊断、治疗和/或外科手术。
图7示出了用于根据可重新配置模块来生成医学机器人系统的系统70。系统70实现了图1、图2、图6的方法、或另一种方法。在一个实施例中，系统70用于机器学习生成网络75和/或投影编码器网络76的应用。在给定输入性能或任务信息的情况下，系统70使用编码器网络76和/或生成网络75来设计医学机器人系统。虽然系统70在下面在先前学习的网络75、76的应用的情境中被描述，但是系统70可以用于使用针对不同能力和/或任务的机器人系统设计的许多样本来对网络75、76进行机器训练。
系统70包括人工智能处理器74、用户输入73、存储器77、显示器78和医学扫描器72。人工智能处理器74、存储器77和显示器78被示出为与医学扫描器72分离，诸如是工作站、计算机或服务器的一部分。在替代实施例中，人工智能处理器74、存储器77和/或显示器78是医学扫描器72的一部分。在又其他实施例中，系统70不包括医学扫描器72。可以使用附加的、不同的或更少的组件。
医学扫描器72是用于扫描患者的CT、MR、超声、相机或其他扫描器。扫描器72可以提供表示一个或多个患者的成像数据。成像数据可以用于拟合和/或用于创建生物力学或计算模型。成像数据提供解剖学模型的信息，从而允许相对于医学环境和组织对机器人系统进行建模。人工智能处理器74或其他处理器创建和/或使用该模型来确定对机器人配置的约束和/或完善机器人配置。
存储器77是缓冲器、高速缓存、RAM、可移除介质、硬盘驱动器、磁性、光学、数据库、或其他现在已知或以后开发的存储器。存储器77是单个设备、或由两个或更多个设备的组。存储器77被示出为与人工智能处理器74相关联或者是人工智能处理器74的一部分，但是可以在系统70的其他组件的外部或者远离系统70的其他组件。例如，存储器77是存储用于在训练中使用的机器人系统的许多样本的数据库。
存储器77存储扫描或图像数据、配置、隐空间向量、ND空间信息、机器学习生成网络75、编码器网络76、和/或用于在图像处理中使用以创建机器人系统的信息。对于训练，训练数据（即，输入特征向量和地面真值）被存储在存储器77中。
存储器77附加地或替代地是具有处理指令的非暂时性计算机可读存储介质。存储器77存储表示可由经编程的人工智能处理器74执行的指令的数据。用于实现本文中讨论的过程、方法和/或技术的指令被提供在计算机可读存储介质或存储器上，该介质或存储器诸如高速缓存、缓冲器、RAM、可移除介质、硬盘驱动器或其他计算机可读存储介质。机器学习生成网络或图像到图像网络45可以被存储作为用于分割的指令的一部分。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。在各图中图示或本文中描述的功能、动作或任务是响应于存储在计算机可读存储介质中或计算机可读存储介质上的一个或多个指令集被执行的。这些功能、动作或任务独立于指令集、存储介质、处理器或处理策略的特定类型，并且可以通过单独或组合地操作的软件、硬件、集成电路、固件、微代码等来执行。同样地，处理策略可以包括多处理、多任务、并行处理等。
在一个实施例中，指令被存储在可移除介质设备上，以供本地或远程系统读取。在其他实施例中，指令被存储在远程位置中，以用于通过计算机网络或通过电话线来传输。在又其他实施例中，指令被存储在给定计算机、CPU、GPU或系统中。
人工智能处理器74是通用处理器、数字信号处理器、三维数据处理器、图形处理单元、专用集成电路、现场可编程门阵列、数字电路、模拟电路、大规模并行处理器、其组合、或其他现在已知或以后开发的设备，其用于应用机器学习网络75、76和/或进行建模作为来自模块化组件的机器人设计的一部分。人工智能处理器74是单个设备、多个设备、或网络。对于多于一个设备，可以使用并行或顺序的处理划分。构成人工智能处理器74的不同设备可以执行不同的功能。人工智能处理器74是由所存储的指令、设计（例如，专用集成电路）、固件或硬件来配置、或根据所存储的指令、设计、固件或硬件进行操作以执行本文中描述的各种动作的硬件设备。
机器学习生成器网络75被训练以估计机器人的配置的操作的能力。机器学习编码器网络76被训练以根据能力来确定机器人的配置。在应用中，人工智能处理器74使用具有或不具有生成器网络75的编码器网络76来确定在给定任务的情况下的配置或与该任务相关的性能。针对与解剖结构和/或用户输入设备上的用户输入的交互的建模可以用于在配置的确定时更改该任务或性能信息。
基于过去的训练，机器学习网络75、76被配置成输出信息。该训练确定了在给定先前未见过的输入的情况下提供什么输出。该训练导致了网络75、76的不同操作。
用户输入73是鼠标、轨迹球、触摸板、触摸屏、键盘、小键盘、和/或用于在与计算机或人工智能处理器74的交互中从用户接收输入的其他设备。用户输入73与显示器78形成用户接口。用户输入73通过操作系统被配置成接收根据可重新配置组件被设计的机器人的任务或其他性能信息的输入。
显示器78是CRT、LCD、等离子体、投影仪、打印机或其他输出设备，用于示出与解剖学模型的机器人交互、机器人配置和/或机器人性能的仿真。显示器78被配置成通过存储所创建的图像的图像平面存储器来显示图像。
虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以做出许多改变和修改。因此，所意图的是，前述详细描述应被认为是说明性的，而不是限制性的，并且要理解的是，意图限定本发明的精神和范围的是以下权利要求，包括所有等同物。

Claims (19)

1.一种用于根据可配置模块的医学机器人生成的方法，所述方法包括：
输入（60）医学机器人的第一能力；
由机器学习编码器将第一能力投影（62）到定义（68）所述可配置模块的配置的隐空间向量；
由机器学习生成器根据所述隐空间向量到机器学习生成器的输入来生成（64）第二能力的估计；
相对于解剖结构模型基于第二能力来对所述配置的医学机器人的操作进行建模（65）；以及
基于所述建模（65）的结果和所述隐空间向量来设置（68）所述可配置模块的配置。
2.根据权利要求1所述的方法，其中输入（60）包括：输入（60）力、运动、顺应性、工作空间、载荷和/或接合部位置。
3.根据权利要求1所述的方法，其中投影（62）包括：从第一能力投影（62）到所述隐空间向量，所述隐空间向量包括针对所述可配置模块的类型、所述可配置模块之间的连接、以及所述可配置模块的可调整方面的参数的值。
4.根据权利要求1所述的方法，其中生成（64）包括：由已经被训练为生成对抗网络的机器学习生成器进行生成（64）。
5.根据权利要求1所述的方法，其中生成（64）包括：由包括神经网络的机器学习生成器进行生成（64）。
6.根据权利要求1所述的方法，其中生成（64）包括：作为以三个维度的能力来生成（64）第二能力的估计。
7.根据权利要求1所述的方法，进一步包括：接收（67）对第二能力之一的估计之一的改变的用户输入、重复使用包括所改变的估计的第二能力的估计的所述投影（62）、重复根据通过所述投影（62）的重复而被投影的另一个隐空间向量的生成（64）、以及重复基于从所述生成（64）的重复所得到的第三能力的所述建模（65）。
8.根据权利要求7所述的方法，其中接收（67）用户输入包括：将用户输入限制为第二能力的估计中的仅一个的改变。
9.根据权利要求7所述的方法，其中接收（67）用户输入包括：接收（67）对于在没有所述配置中的改变的情况下对一个估计的改变的用户输入。
10.根据权利要求7所述的方法，其中接收（67）用户输入包括：接收（67）作为第二能力的估计的方向改变的改变。
11.根据权利要求1所述的方法，其中建模（65）包括：利用所述解剖结构模型进行建模（65），所述解剖结构模型包括来自图像数据的经训练的计算模型。
12.根据权利要求1所述的方法，其中投影（62）包括：在所述配置包括医学机器人的形状的情况下进行投影（62）。
13.一种用于机器训练（12）以根据组件模块来配置机器人的方法，所述方法包括：
提供（10）来自组件模型的机器人的各种配置以及机器人的性能的训练（12）数据；
利用生成对抗网络进行机器训练（12），以根据所述配置的输入来估计所述性能，所述生成对抗网络包括判别器，所述判别器被配置成将所述性能映射到真实或虚假的分类，其中所述机器训练（12）包括基于相对于解剖结构对所述性能进行建模（65）的约束；
存储（16）所述生成对抗网络的经机器训练的生成器。
14.根据权利要求13所述的方法，其中所述机器训练（12）包括：通过相对于所述解剖结构对所述配置进行建模（65）的约束，所述建模（65）提供（10）所述性能的经调整的值，以及对编码器进行机器训练（12）以将所述性能和/或经调整的性能投影到所述配置。
15.根据权利要求13所述的方法，其中相对于所述解剖结构对所述配置进行建模（65）包括：利用来自医学成像的解剖结构模型进行建模（65）。
16.根据权利要求13所述的方法，进一步包括：对编码器进行机器训练（12）以将所述性能投影到所述配置。
17.一种用于根据可配置模块的医学机器人生成的方法，所述方法包括：
从用户定义的工作空间、接合部空间、力空间、顺应性空间和/或运动学空间投影（62）到所述可配置模块的配置和参数空间，所述投影（62）是通过机器学习编码器进行的，所述机器学习编码器已经基于生成对抗网络而被训练，所述生成对抗网络从所述配置和参数空间来估计所述工作空间、接合部空间、力空间、顺应性空间和/或运动学空间中的值；
根据所述投影（62），针对所述用户定义的工作空间、接合部空间、力空间、顺应性空间和/或运动学空间来确定（68）所述可配置模块的配置。
18.根据权利要求17所述的方法，进一步包括：
由所述生成对抗网络的机器学习生成器从所述可配置模块的所述配置和参数空间的值来生成（64）所述工作空间、接合部空间、力空间、顺应性空间和/或运动学空间的估计；
接收（67）对所述估计的用户编辑；以及
从所编辑的估计来重复所述投影。
19.根据权利要求17所述的方法，进一步包括：基于对与解剖结构的交互进行建模（65）来约束（66）所述用户定义的工作空间、接合部空间、力空间、顺应性空间和/或运动学空间。
CN202080094041.5A 2020-01-24 2020-01-24 用于根据可配置模块的医学机器人生成的机器学习网络 Pending CN114945925A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2020/051704 WO2021148129A1 (en) 2020-01-24 2020-01-24 Machine-learned network for medical robot generation from configurable modules

Publications (1)

Publication Number Publication Date
CN114945925A true CN114945925A (zh) 2022-08-26

Family

ID=69528759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080094041.5A Pending CN114945925A (zh) 2020-01-24 2020-01-24 用于根据可配置模块的医学机器人生成的机器学习网络

Country Status (3)

Country Link
US (1) US20230404685A1 (zh)
CN (1) CN114945925A (zh)
WO (1) WO2021148129A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477444B1 (en) * 2000-07-07 2002-11-05 Fuji Xerox Co., Ltd. Method for the automated design of decentralized controllers for modular self-reconfigurable robots
US20150127154A1 (en) * 2011-06-02 2015-05-07 Brain Corporation Reduced degree of freedom robotic controller apparatus and methods
CN106457565A (zh) * 2014-06-03 2017-02-22 阿蒂迈兹机器人技术有限公司 用于对机器人进行编程的方法和系统
US20180250075A1 (en) * 2017-03-05 2018-09-06 Samuel Cho Architecture, system, and method for developing and robotically performing a medical procedure activity
US20180349527A1 (en) * 2017-06-05 2018-12-06 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
US20190046278A1 (en) * 2016-09-13 2019-02-14 Brainlab Ag Optimized Semi-Robotic Alignment Workflow
CN110293549A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 机械臂控制方法、装置及神经网络模型训练方法、装置
US20190333623A1 (en) * 2018-04-30 2019-10-31 Elekta, Inc. Radiotherapy treatment plan modeling using generative adversarial networks
CN110489707A (zh) * 2019-08-22 2019-11-22 苏州科技大学 一种基于gan网络的机器人逆运动学求解方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6477444B1 (en) * 2000-07-07 2002-11-05 Fuji Xerox Co., Ltd. Method for the automated design of decentralized controllers for modular self-reconfigurable robots
US20150127154A1 (en) * 2011-06-02 2015-05-07 Brain Corporation Reduced degree of freedom robotic controller apparatus and methods
CN106457565A (zh) * 2014-06-03 2017-02-22 阿蒂迈兹机器人技术有限公司 用于对机器人进行编程的方法和系统
US20190046278A1 (en) * 2016-09-13 2019-02-14 Brainlab Ag Optimized Semi-Robotic Alignment Workflow
US20180250075A1 (en) * 2017-03-05 2018-09-06 Samuel Cho Architecture, system, and method for developing and robotically performing a medical procedure activity
US20180349527A1 (en) * 2017-06-05 2018-12-06 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
CN110293549A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 机械臂控制方法、装置及神经网络模型训练方法、装置
US20190333623A1 (en) * 2018-04-30 2019-10-31 Elekta, Inc. Radiotherapy treatment plan modeling using generative adversarial networks
CN110489707A (zh) * 2019-08-22 2019-11-22 苏州科技大学 一种基于gan网络的机器人逆运动学求解方法

Also Published As

Publication number Publication date
WO2021148129A1 (en) 2021-07-29
US20230404685A1 (en) 2023-12-21

Similar Documents

Publication Publication Date Title
Das et al. Learning-based proxy collision detection for robot motion planning applications
Lee et al. Nonparametric online learning control for soft continuum robot: An enabling technique for effective endoscopic navigation
Dani et al. Human-in-the-loop robot control for human-robot collaboration: Human intention estimation and safe trajectory tracking control for collaborative tasks
Pedram et al. Toward synergic learning for autonomous manipulation of deformable tissues via surgical robots: An approximate q-learning approach
Weede et al. Towards cognitive medical robotics in minimal invasive surgery
Ciszkiewicz et al. Path planning for minimally-invasive knee surgery using a hybrid optimization procedure
Cruse et al. MMC—A recurrent neural network which can be used as manipulable body model
CN115989502A (zh) 用于数据处理和计算的系统和方法
Rohrer BECCA: Reintegrating AI for natural world interaction
US20230404685A1 (en) Machine-learned network for medical robot generation from configurable modules
Marlier et al. Simulation-based bayesian inference for multi-fingered robotic grasping
Stollenga Advances in humanoid control and perception
Jenkins et al. Evolved topology generalized multi-layer perceptron (gmlp) for anatomical joint constraint modelling
Li Exploiting Structure in Learning: A Path Toward Building Safe and Adaptive Robots
US20240238096A1 (en) Complex patient-matched orthopedic prosthesis selection
Jenkins et al. Support Vector Machines for Anatomical Joint Constraint Modelling
Nikulin et al. Initialization of latent space coordinates via random linear projections for learning robotic sensory-motor sequences
Tikka Control policy training for a Simulation-to-Real transfer: Simulation-to-real case study
Συντάκας Recognition and Navigation of a mobile robot by fusing laser and camera information
Lumbanraja et al. Solution And Visualization 3D Plane Inverse Kinematics Method
Jenkins et al. Joint constraint modelling using evolved topology generalized multi-layer perceptron (gmlp)
Baskar et al. MACHINE LEARNING FOR ROBOT NAVIGATION CLASSIFICATION USING ULTRASOUND SENSOR DATA
Gutierrez Model-Free Approaches to Robotic Manipulation via Tactile Perception and Tension-Driven Control
Frigstad Bolts detection and a combination of conventional and reinforcement learning based control of UR5 industrial robot
Network Dynamical Deformation Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination