CN103249368A - 人机协作机器人系统 - Google Patents

Abstract

一种用于执行和/或模拟多步骤任务的半自动交互式机器人系统，包括用户界面系统、适于与用户界面系统通信的识别系统、适于与识别系统通信的控制系统、以及适于与控制系统通信的传感器-致动器系统。识别系统构造为，在用户操作用户界面系统的同时识别由用户采取的动作并且选择性地指令控制系统，以致使传感器-致动器系统根据识别的动作和多步骤任务的任务模型执行和/或模拟多步骤任务的自动步骤、半自动步骤或直接步骤中的一个。

Description

人机协作机器人系统

相关申请的交叉引用

本申请要求于2010年11月11日提交的美国临时申请No.61/412,587和2011年2月17日提交的美国临时申请No.61/443,779的优先权，将上述申请的全部内容通过引用的方式结合于此。

本发明在由NSF授权的美国政府拨款No.CPS 0931805的支持下做出。美国政府对此发明具有一定权利。

技术领域

本发明的当前要求的实施方式的领域涉及机器人系统，并且更具体地涉及半自动交互式机器人系统和模拟的半自动交互式机器人系统。

背景技术

机械人系统对于执行重复、复杂、错综和/或危险的任务来说可能是有用的。如应用到外科手术，例如，对于外科医生来说，复杂的程序表示高的工作负荷。此外，当前将机器人引入外科手术室导致需要训练和评估外科医生的新技术。为此原因，在最近几年外科手术姿势建模已经引起了极大的注意，并且通常使用隐马尔可夫模型或其变型的几种方法已经被提出用于离线技能建模和分类(J.Rosen，J.Brown，L.Chang，M.Sinanan，and B.Hannaford，“Generalized approachfor modeling minimally invasive surgery as a stochastic process using a discretemarkov model，”IEEE Trans，on Biomedical Engineering，vol.53，no.3，pp.399-413，2006；H.C.Lin，I.Shafran，D.Yuh and G.D.Hager，“Towards automatic skillevaluation：Detection and segmentation of robot-assisted surgical motions，”Computer Aided Surgery，vol.11，no.5，pp.220-230，2006；B.Varadarajan，C.E.Reiley，H.Lin，S.Khudanpur and G.D.Hager，“Data-derived models forsegmentation with application to surgical assessment and training，”in MICCAI(1)，2009，pp.426-434)。

随着灵巧机器人的发展，不同的用户组已经提出了使特定的外科手术任务自动化的技术。已经解决的任务的一个实施例是系结(knot tying)。在(H.G.Mayer，F.J.Gomez，D.Wierstra，I.Nagy，A.Knoll and J.Schmidhuber，“A systemfor robotic heart surgery that learns to tie knots using recurrent neural networks，”inIROS，2006，pp.543-548)中，递归神经网络用于从示范学习循环轨迹。在(J.vanden Berg，S.Miller，D.Duckworth，H.Hu，A.Wan，X.-Y.Fu，K.Goldberg and P.Abbeel，“Superhuman performance of surgical tasks by robots using iterative learningfrom human-guided demonstrations，”in ICRA，2010，pp.2074-2081)中，学习机器人动力学以便以增加的速度重演轨迹。针插入任务也吸引了极大注意：在(F.Nageotte，P.Zanne，C.Doignon and M.de Mathelin，“Stitching planning inlaparoscopic surgery：Towards robot-assisted suturing，”Robotic Res.，vol.28，no.10，pp.1303-1321，2009)中设计了几何任务模型以计算针插入的路径规划。在(C.Staub，T.Osa，A.Knoll and R.Bauernschmitt，“Automation of tissue piercing usingcircular needles and vision guidance for computer aided laparoscopic surgery，”inICRA，2010，pp.4585-4590)中，圆形运动是自动的以便在外科医生使用激光指指示器标注插入点以后插入针。然而，存在对处理诸如组织和缝合线之类的环境或者给操作者提供协作的自动方法的需要。

考虑到在机器人与操作者之间的协作的自然方式是基于当前环境来改变相互作用模式。这已经示范在通过使用虚拟夹具在显微手术中的任务以后的曲线上，以在操纵器上施加路径限制(D.Kragic and G.Hager“Task modeling andspecification for modular sensory based human-machine cooperative systems，”inIROS，2003，pp.3192-3197)。

在下述文献中典型地利用自动装置或隐马尔可夫模型已经解决了当前外科手术任务的实时识别的情境建模：。

·B.P.L.Lo，A.Darzi and G.-Z.Yang，“Episode classification for the analysis oftissue/instrument interaction with multiple visual cues，”in InternationalConference on Medical Image Computing and Computer-Assisted Intervention(MICCAI)，2003，pp.230-237.

·K.Yoshimitsu，F.Miyawaki，T.Sadahiro，K.Ohnuma，Y.Fukui，D.Hashimotoand K.Masamune，“Development and evaluation of the second version of scrubnurse robot(snr)for endoscopic and laparoscopic surgery”in IROS，2007，pp.2288-2294.

·S.Speidel，G.Sudra，J.Senemaud，M.Drentschew，B.P.Mller-Stich，C.Guttand R.Dillmann，“Recognition of risk situations based on endoscopic instrumenttracking and knowledge based situation modeling，”in Med，Imaging.SPIE，2008.·N.Padoy，D.Mateus，D.Weinland，M.-O.Berger and N.Navab，“Workflowmonitoring based on 3d motion features，”in Proceedings of the InternationalConference on Computer Vision Workshops，IEEE Workshop on Video-orientedObject and Event Classification，2009.

然而，这些方法未考虑人机交互来执行该操作。因此存在对人机协作机器人系统改进的需要。

发明内容

根据本发明的一些实施方式的用于执行多步骤任务的半自动交互式机器人系统包括：用户界面系统；识别系统，其适于与用户界面系统通信；控制系统，其适于与识别系统通信；以及传感器-致动器系统，其适于与控制系统通信。识别系统用于在用户操作用户界面系统时识别由用户采取的动作并且选择性地指示控制系统使传感器-致动器系统基于识别的动作和多步骤任务的任务模型来执行多步骤任务中的自动步骤、半自动步骤或直接步骤中的一个。

根据本发明的一些实施方式的用于模拟多步骤任务的半自动交互式机器人模拟系统包括：用户界面系统；识别系统，其适于与用户界面系统通信；控制系统，其适于与识别系统通信；以及模拟传感器-致动器系统，其适于与控制系统通信。识别系统用于在用户操作用户界面系统时识别由用户采取的动作并且选择性地指示控制系统使模拟传感器-致动器系统基于识别的动作和多步骤任务的任务模型来模拟执行多步骤任务中的自动步骤、半自动步骤或直接步骤中的一个步骤。

附图说明

通过对描述、附图和实施例的考虑，其它目的和优点将会变得显而易见。

图1是根据本发明的实施方式的用于执行多步骤任务的半自动交互式机器人系统的示意图。

图2是根据本发明的另一个实施方式的用于执行多步骤任务的半自动交互式机器人系统的说明。

图3是图2中示出的半自动交互式机器人系统的另一个视图。

图4示出了根据本发明的实施方式适于使用的达芬奇机器人的配置的实施例。示出了病人侧操纵器加内窥镜相机(左侧)和主操纵器(右侧)。

图5是根据本发明的实施方式的包括在手动子任务与自动子任务之间转换的任务模型的示意图。

图6(a)和图6(b)示出了根据本发明的实施方式使用单个装置执行的钉任务。图6(a)示出了囊的开始状态和结束状态。图6(b)示出了装置的实施例轨迹。红色(深色)部分表示注释为自动化的节段。

图7(a)和图7(b)示出了使用两个装置执行的缝合任务。图7(a)示出了囊的开始状态和结束状态。图7(b)示出了两个装置的实施例轨迹。它们通常交叉，但是为了更好的可视化已经被分离。红色(深色)部分表示注释为自动化的节段。

图8示出了在根据本发明的实施方式的实施例中使用的坐标系统。

图9(a)-9(b)示出了平均轨迹的实施例。图9(a)示出了输入轨迹(虚线)和平均轨迹(黑色实线)。图9(a)示出了输入轨迹(实线)和平均轨迹(黑色虚线)。着重于示出了显示一个框架轴随时间的旋转运动。

图10(a)-图10(b)示出了主操纵器的工作空间分析。图10(a)示出了钉任务：主操纵器的三维运动。利用相同的比例侧到侧地显示出手动执行(左侧)对HMC执行(右侧)。图10(b)示出了缝合任务：左侧主操纵器和右侧主操纵器的三维运动。利用相同的比例侧到侧地显示出手动执行(左侧)对HMC(右侧)执行。左椭圆通常地与左操纵器相应。

图11是使用HMC框架执行的任务的说明。可以在说明性的视频中看到完整的执行。

具体实施方式

下面详细地讨论本发明的一些实施方式。在所描述的实施方式中，为了清楚起见使用特定的术语。然而，本发明不旨在限定于所选定的特定术语。相关领域中的普通技术人员将会认识到，在不偏离本发明的广义概念的情况下可以使用其它等效部件以及开发其它方法。在此说明书中任何地方引用的全部参考文献，包括背景技术和详细描述的部分，均如同被单独地包含一样而通过引用的方式被包含。

根据本发明的一些实施方式，远程操作的机器人助手可以提供自动执行一些通常发生的任务的可能性。本发明的一些实施方式可以通过使用将任务自然分割成子任务(也称作“步骤”)来提供新颖的外科人机协作(HMC)系统，其中外科手术任务的一部分在外科医生的完全控制下自动地执行而其它部分手动地执行。根据本发明的实施方式的机器人系统自动地识别手动子任务(步骤)的完成，无缝地执行下一个自动任务或步骤，然后将控制返回到外科医生。本发明的实施方式基于从示范中学习。本实施方式将隐马尔可夫模型用于识别任务完成与平均用于学习所实施运动的临时曲线。对于一些实施例来说，达芬奇远程外科手术机器人是根据本发明的实施方式的变型。我们示出了两个描述性任务，其中这种人机协作是直观的并且该自动控制改进了主控制器工作空间的使用。因为此种系统不限定机器人的传统使用，而是增强了其能力同时将完全控制留给外科医生，所以其为外科手术执行提高提供了安全及可接受的解决方案。

尽管下面详细描述的本发明的一些实施方式和实施例涉及外科手术机器人，但是本发明的通常概念不仅限于外科手术机器人。本发明的其它实施方式包括其它种类的机器人系统，诸如，但是不限于，生产和/或装配机器人、以及例如在危险或远程环境中使用的远程操作的机器人。

如这里使用的，术语“任务”旨在通常地包括通过机器人系统执行的任何多步骤过程。例如，在外科手术机器人的情形中，任务可以是外科手术程序的至少一部分。术语“步骤”旨在包括致动器组件的至少一部分的至少一次转换和/或旋转。

图1提供了根据本发明的实施方式的用于执行多步骤任务的半自动交互式机器人系统100的示意图。半自动交互式机器人系统100包括用户界面系统102、适于与用户界面系统102通信的识别系统104、适于与识别系统104通信的控制系统106以及适于与控制系统106通信的传感器-致动器系统108。识别系统104用于在用户操作用户界面系统102时识别由用户采取的动作并且选择性地指示控制系统106使传感器-致动器系统108基于识别的动作和多步骤任务的任务模型110来执行多步骤任务中的自动步骤、半自动步骤或直接步骤中的一个步骤。

用户界面系统102可以包括由一个、两个、或多个操作者操作的控制器。控制器可以是手动操作的控制器，而且可以另选地，或另外地，包括可以通过用户身体的其它部分操作的控制器，诸如，但不限于脚踏板。例如，传统外科手术机器人包括离合器踏板，以允许用户使一个或多个传感器-致动器部件脱离机器人的控制。例如，对于粗调节和/或应急脱离来说这可能是有用的。例如，用户界面系统102还可以包括观察和/或显示系统，使得多个用户中的一个可以观察到手术中的病人或装配中的产品。在一些实施方式中，显示系统可以显示图像，诸如，但不限于医学图像。例如，在外科手术应用的情形中，该图像可以包括，但不限于，实时光学图像、实时超声波、实时OCT图像和/或其它形态，或者可以包括诸如MRI、CT、PET等的手术前的图像。多种图像形态是可选择的、可编程的、叠加的和/或可以包括例如以图形和/或数字或符号形式叠加的其它信息。

例如，可以在计算机或任何其它适当的数据处理和存储装置上实施识别系统104。在一些实施方式中，识别系统104可以包括存储在计算机上的执行识别与其它过程的计算机可执行指令。然而，在另选的实施方式中，识别系统可以是硬线装置而不是存储在计算机上的软件指令。例如，计算机可以是本地计算机，诸如工作站、台式计算机或膝上型计算机，或者例如可以是通过网络连接的远程定位的和/或分布的计算机系统。计算机还可以包括一个或多个数据存储和存储器装置。例如，工作模型110可以存储在计算机的数据存储装置上。在一些实施方式中，识别系统可以利用机器人的运动学以便识别用户的特定运动。基于任务模型，可以用在执行多功能任务的过程中的步骤来识别这种运动。另选地，或另外地，用户界面系统102和/或传感器-致动器系统108可以包括观察系统，以便更加直接地观察一个用户或多个用户的运动和/或传感器-致动器系统的部件和/或操纵的病人或物体的运动。例如，观察系统可以包括，但是不限于，一个或多个相机以便能够观察与分割移动物体。

在确定是否在控制系统的控制下通过传感器-致动器系统执行自动步骤、半自动步骤或直接步骤的意义上，识别系统104可以类似于切换系统操作。直接步骤可以是执行的与在传统远程操作机器人系统下执行的步骤类似或相同的步骤。自动步骤可以是完全在机器人的控制下执行的步骤。例如，用户可以将传感器致动器系统的至少一部分移动到要执行其它步骤的位置处。第一运动是直接步骤的一个可能的实施例。然后，识别系统可以识别由用户采取的此步骤，并且基于任务模型，指示自动步骤的执行。例如，识别系统可以为在直接步骤中移动的传感器-致动器的部分提供指令，以使传感器-致动器移动到一个位置以拾取并且返回物体，诸如但不限于用于外科手术程序的外科手术工具或缝合线，或者用于组装操作的组装工具或组装件。这仅是一个描述性实施例，并且不旨在限定本发明的范围。人们应该认识到存在相当大数量的可能实施例。

在另一个实施例中，识别系统104可以识别用户将传感器-致动器的一部分移动到执行多步骤任务中的一个步骤的位置，并且识别系统根据工作模型为传感器-致动器系统的另一部分提供指令以执行用于协助用户的另一个步骤。一个实施例，不限定地，用于用户操作机械手，而识别系统指示操作另一个机械手以协助用户。例如，自动步骤可以为用户保持物体。例如，在外科手术程序中，这可以保持灯、相机、内窥镜、或者保持待剪断的缝合线。例如，在装配操作中，这可以保持和/或操纵被装配的产品使得用户可以附接构件。给出这些实施例有助于解释本发明的一些概念并且不旨在限定范围。本领域中的普通技术人员应该清楚的是，在本发明的广义概念内非常大量的这种实施例是可能的。

在一些实施方式中，用户输入系统可以包括输入装置，所述输入装置适于允许用户以手动地或语音的至少一种方式将要被传送到所述识别系统的命令输入到要被提供到控制系统的初始指令或修改指令中的至少一个。这可以包括，但不限于，由用户提供的同时和/或与操纵用于传感器-致动器系统的控制器分离的手势信号。

图2和图3示出了根据本发明的实施方式的半自动交互式机器人系统200。在此实施例中，半自动交互式机器人系统200是诸如修改的达芬奇机器人系统的外科手术机器人系统。在此实施例中，用户界面系统202是外科医生控制台。工作站204和/或数据处理和存储系统206用于包括识别系统与任务模型。传感器-致动器系统208是包括多个铰接臂210的外科手术机器人传感器-致动器系统。控制系统可以包括在工作站204、数据处理和存储系统206和/或传感器-致动器系统208中。用户界面系统202包括右手212和左手214控制器与右眼216和左眼218显示器。多个铰接臂210中的至少一个可以包括夹持器或工具附接组件220的至少一个。

例如，在本发明的一些实施方式中，任务模型可以是隐马尔可夫模型。然而，本发明的广义概念不仅限于隐马尔可夫模型。例如，还可以在本发明的其它实施方式中使用不要求充分逼近马尔可夫特性的其它模型。在本发明的一些实施方式中，任务模型可以是机器学习式模型。

在本发明的其它实施方式中，传感器-致动器系统108和/或208可以是模拟的而不是实际物理系统。这对于模拟由半自动交互式机器人系统100和/或200执行的任务可能是有用的。例如，模拟对于培训用户来说可能是有用的。但是，它们对于其它目的也可能是有用的，诸如，但是不限于规划待执行的任务和/或指导多种可能任务的实验或测试。

示出了下面特定的实施例以有助于更加详细地解释本发明的一些概念。然而，本发明的广义概念不旨在限于特定的实施例。

实施例

远程外科手术机器人的增加的使用，诸如来自INTUITIVE SURGICAL公司的达芬奇外科手术系统提供了教导、评估和执行外科手术的新的途径。一方面，可以从机器人收集目标执行数据的大型组合(H.C.Lin，I.Shafran，D.Yuh and G.D.Hager，“Towards automatic skill evaluation：Detection and segmentation ofrobot-assisted surgical motions，”Computer Aided Surgery，vol.11，no.5，pp.220-230，2006)。另一方面，在不久的将来该技术可以允许特定外科手术任务的自动化(J.van den Berg，S.Miller，D.Duckworth，H.Hu，A.Wan，X.-Y.Fu，K.Goldberg and P.Abbeel，“Superhuman performance of surgical tasks by robots using iterative learningfrom human-guided demonstrations，”in ICRA，2010，pp.2074-2081)。然而，不清楚的是如何将收集到的执行数据用于设计可以使操作者适于外科手术环境并且在外科手术过程中还提供了无缝协助的有效的人机协作系统。

在此实施例中，我们示出了根据本发明的实施方式的人机协作(HMC)系统，其从外科手术示范中学会，如何在远程操作任务过程中协作地协助外科医生。这与聚焦在纯自动化上的先前工作是互补的(H.G.Mayer，F.J.Gomez，D.Wierstra，I.Nagy，A.Knoll and J.Schmidhuber，“A system for robotic heart surgerythat learns to tie knots using recurrent neural networks，”in IROS，2006，pp.543-548；F.Nageotte，P.Zanne，C.Doignon and M.de Mathelin，“Stitching planning inlaparoscopic surgery：Towards robot-assisted suturing，”Robotic Res.，vol.28，no.10，pp.1303-1321，2009；Berg10)。这里，此任务分解成手动和潜在可自动化的子任务。然后此系统通过实时识别手动子任务的完成来协助操作者并且使剩余的子任务自动化。此系统还在操作者的视野中提供了前后联系的增强的现实(AR)信息以减小他的/她的识别工作负荷。待自动化的子任务被选择以便于允许操作者工作空间的优化使用。它们涉及与环境没有相互作用的传送任务。在远程操作过程中，手动与自动执行之间的转换是自动与无缝的。此外，操作者在自动执行过程中必要时有可能介入来修正轨迹。

我们使用仅用于研究目的的达芬奇外科手术机器人验证我们的方法(G.Guthart and J.K.S.Jr.，“The intuitiveTM telesurgery system：Overview andapplication，”in ICRA，2000，pp.618-621)。机器人包括在立体内窥镜可视化下远程操作三个病人侧操纵器的两个主控制台操纵器(参见图4)。首先，当操作者执行几次任务并且相应于应该自动化的子任务注解数据节段的同时我们记录来自机器人的运动学数据。然后，我们使用基于隐马尔可夫模型(HMMs)的方法实时确定当前手动子任务的完成。一旦激活自动执行的转换，就将与自动子任务相应的工具运动提供到机器人。从利用根据动态时间规整(DTW)的临时弯曲平均方法的示范数据学习此运动。最后，出于监视的目的，我们在操作者的立体视图中显示了计划轨迹的覆盖图。

我们使用两种操纵任务来示范我们的方法：将三个钉移动到训练囊的主要位置并且在缝合囊上执行连续缝合。我们的实验显示此种人机协作框架是直观的，并且通过减小从主操纵器的大的移动并且由此需要抓住再调节手位置可以高度地改进操作者工作空间的使用。

任务模式

出于本实施例的目的，我们认为由子任务(或步骤)的顺序组的构成的任务需要以连续的临时顺序执行。为了容易描述，我们假设此任务在手动子任务与自动子任务之间交替，以手动子任务开始。这可以通过夸大作为单个自动子任务的手动或自动中的每种类型的连续子任务而实现。

设任务包括一系列子任务

其中N＝2n。

被假设为自动化的子任务。在此实施例中，此子任务是这样的子任务，其不涉及与环境或精细操纵相互作用，并且替代要求的较大运动。

图5简要地示出了任务模型，其可以被视为自动装置，其中通过手动子任务完成的识别或者通过自动子任务的终止而触发转换。

描述任务

在图6和图7中示出了用于示范我们方法的两个任务。第一任务，称作钉任务，要求单个装置并且包括将三个钉移动到三个主要位置(图6(a))。此任务包括通过该系统学习的六个大的输送运动并且包括由操作者执行的六个精细的运动，包括夹紧和钉住。表1示出子任务的概要。在图6(b)上显示了由装置执行的运动，其中输送和精细运动以不同颜色示出。

#	名称	#	名称
				1	从东边抓住钉1	7	钉住钉2
2*	将钉1移动到北边	8*	将工具移回到西边
				3	钉住钉1	9	抓住钉3
4*	将工具移回到东边	10*	将钉3移动到南边
				5	抓住钉2	11	钉住钉3
6*	将钉2移动到西边	12*	将工具移回到东边

表1：钉任务描述。星号(^*)表示自动子任务。

第二任务，称作待测系统任务，需要两个装置(称作左和右)并且包括利用三个针插入执行连续缝合(图7(a))。第二任务包括在三个连续位置处重复的五类运动。由外科医生执行三个精细运动：使用右装置夹紧针，使用左装置插入针并且夹紧针。使两个输送运动学习并且自动化：使用左装置将线拉出并且在下一个缝合点的位置处将针递交返回到右装置。在表2中列出了串联成手动/自动子任务的全部子任务。在图7(b)上显示了通过两个装置执行的运动，其中输送运动和精细运动通过不同颜色表示。

表2：缝合任务描述。(^*)表示自动子任务。(RT)代表“右边工具”并且(LT)代表“左边工具”。

机器人环境

在我们设置中，用于完成任务的囊可以通过两个病人侧操纵器(PSM)操纵，该两个病人侧操纵器中的每个都具有7个自由度(DOF)。每个PSM都控制外科手术装置。在我们的情形中，PSM在任务过程中具有相同的装置，即两个大号针驱动器。第七自由度与装置夹持器的打开相应。我们还假设简化左(相应地右边)主操纵器控制左(相应地左边)PSM，尽管更通常的远程操作构造也可能利用达芬奇机器人(Guthart00)。在远程操作过程中，通过立体内窥镜相机观察装置和囊，其可以利用特定的6DOF操纵器被移动。

在此设置中四个主坐标系统(或框架)是重要的(参见图8)。任务坐标系统C_task，是特定于该任务并且独立于机器人初始动力学。相机坐标系统C_cam表示立体内窥镜相机的位置，并且装置坐标系统

表示装置j的位置，j∈{0，1}指示左边装置或右边装置。最后，世界的原点，例如表示机器人的基础，通过

指示。

我们通过[T，R]∈R³×SO³指示由平移T和旋转R组成的的3D转换。在下面，我们假设我们已知在每个时间t处从C_cam到的转换

以及从

到C_cam的转换

利用达芬奇研究界面(洞察力杂志[线上]可获得：http://hdl.handle.net/10380/1464的S.DiMaio和C.Hasser“达芬奇研究界面”)收集它们。另外地，我们需要从C_cam到C_task的转换我们通过在开始任务之前将训练囊放置在参考世界位置处并且通过使用

来跟踪相机运动来获得此转换。对于每次短暂的任务，我们都假设囊保持在其初始参考位置处。对于较长的任务来说，其中囊可以转移，那么可以通过视觉囊轨迹提供相应的转换。我们还收集在笛卡尔空间中两个病人侧操纵器的线速度/角速度，夹持器以及用于两个主操纵器的笛卡尔位置的工作空间分析的状态。我们以40Hz频率收集这些数据。

最后，校准立体内窥镜相机。这允许我们在外科医生的立体视野内覆盖诸如轨迹的3D放大的真实信息。

示范数据要求操作者示范每个任务M次，产生任务

的一系列M记录。每个记录都与长度|r^k|多维时间系列

相应，对于1≤t≤|r^k|，在R²⁶＝R¹⁴×R¹²中将长度值取为

投影

包含六维笛卡尔速率以及用于两个装置的夹持器状态。这些数据将由识别系统使用。投影

包含用于学习控制轨迹的两个装置的六维笛卡尔位置。在任务坐标系统中表述了位置以便与机器人初始动力学无关。

对于每个r^k来说，应该自动化的任务的部分通过操作者标记。这将r^k分解成与子任务

对应的N个数据节段{r^(k，1)，r^(k，2)，…，r^(k，N)}。下面的部分解释原理：

·训练识别模型Hⁱ确定手动子任务

1≤i≤n的完成。为此我们利用由训练数据

构造建的HMM。

·计算用于子任务1≤i≤n的轨迹，这将通过装置自动地实施。为此，我们使用基于应用在数据

上的DTW的临时曲线平均技术。

识别

识别系统的目的是确定每个手动任务的完成以及执行对自动控制的无缝转换。操作者应该自然地执行连续运动，就像他将会开始与手动地执行下一个子任务，直到自动化接管对轨迹的控制。为了触发无缝转换，我们需要确定当操作者达到可以开始自动轨迹的点时的瞬间。这通过利用根据基于用于HMMs的临时模型计算的子任务完成的实时测量来进行。

隐马尔可夫模型形式地限定为五个一组λ＝(S，A，O，B，π)，其中S是模式中状态x∈{1，…，S}的数量，A是对拓扑结构进行建模时的状态之间的转换概率性矩阵，并且O是我们情形R¹⁴中的观察的空间。B是观察模型，指示任何观察o∈O和状态x，o可以通过x观察到的概率B_x(o)＝P(o|x)。π是在初始状态上的概率性分布。

为了测量子任务的完成，我们使用由两个HMM

的串联构造的HMMHⁱ以相应地建模手动子任务

和待自动化的子任务

相应地从数据{r^(k，2i+1)}1≤k≤M和{r^(k，2i+2)}1≤k≤M建立。对于我们的实验来说，我们使用左右HMM和高斯混合作为观察分布。我们将参数初始化为在(N.Padoy，D.Mateus，D.Weinland，M.-O.Berger，and N.Navab，“Workflow monitoring based on 3d motion features，”inProceedings of the International Conference on Computer Vision Workshops，IEEEWorkshop on Video-oriented Object and Event Classification，2009)中：状态的数量是通过训练序列的长度来确定，并且概率是在与可用状态一样多的序列中通过平均地分解数据而从数据初始化的。然后，施加预期最大化以改善参数。当两个HMM被串联时，将的最后状态修改为转换到

的第一状态。选择转换概率使得在

中期望的时间等于从训练数据计算的子任务的平均持续时间。

对于

的每个状态x来说，我们限定二元指示器功能

$\mathrm{\γ}\left(x\right)=\left\{\begin{array}{cc}0& \mathrm{ifx}\∈H_0^i\\ 1& \mathrm{ifx}\∈H_1^i\end{array}\right.---\left(1\right)$

我们通过达到与待自动化的任务相应的HMM的状态的概率限定使手动子任务在时间t完成的概率Θ_t：

${\mathrm{\Θ}}_t=\underset{x=1}{\overset{S}{\mathrm{\Σ}}}\mathrm{\γ}\left(x\right)P(X_t=x|o_{1:t})---\left(2\right)$

这里，o_1:t表示直到当前时间t的观察，并且X_t是在时间t处指示HMM状态的自由变量。利用HMM的向前概率计算此表达式(L.R.Rabiner，“Atutorial onhidden markov models and selected applications in speech recognition，”Proceedingsof the IEEE，vol.77，no.2，pp.257-286，1989)。

最后，通过利用判定阈值β(0＜β＜1)来平均整个短的时间间隔δ而给出任务完成的判定：

完成 $\⇔\frac{1}{\mathrm{\δ}}\underset{i=t-\mathrm{\δ}}{\overset{t}{\mathrm{\Σ}}}{\mathrm{\Θ}}_i>\mathrm{\β}---\left(3\right)$

自动化

控制

利用达芬奇研究界面来控制机械手(DiMaio2008)。对于每个装置来说，我们使用将笛卡尔运动Δ＝[ΔT|ΔR]叠加到由主操纵器的外科医生的操纵引起的运动上的控制模式。在我们的情形中，在相机坐标系统C_cam中给出了运动Δ。

设{[T_t|R_t]}_1≤t≤τ为在任务坐标系统C_task中表达的并且如在下个部分中解释的而计算的学习的轨迹。通过减去其初始位置而使轨迹初始化，使得T₁＝0，R₁＝Id。对于给定的装置来说，在当开始自动执行时的那个瞬间我们在工具末端的位置处执行此相对轨迹，我们以在C_task中表达的

来指示它。我们的实验已经示出这种执行是自然的方式以在手动控制与自动执行之间形成无缝转换。当开始自动控制时相对于当前工具位置执行轨迹的事实是，为操作者留有灵活度以从精确的示范任务改变他的/她的操纵，例如通过将针插在不同位置处。

然后，对于1≤t≤τ，通过下述(4)给出叠加的运动

$\left\{\begin{array}{c}{\mathrm{\ΔT}}_t=R_t^{\mathrm{ta}}\·(T_t+T_1^{\mathrm{in}})+T_t^{\mathrm{ta}}\\ \mathrm{\Δ}{R}_t=R_t^{\mathrm{ta}}\·R_t\·R_1^{\mathrm{in}}\end{array}\right.---\left(4\right)$

平均运动计算

在这个部分我们解释，对于给定的装置，我们如何学习将要提供到机器人的运动{[T_t|R_t]}_1≤t≤τ。对于自动子任务

来说，根据数据{r^(k，2i)}_1≤k≤M来计算运动，其中我们仅使用考虑的装置的笛卡尔位置和定向。在下文中，通过四元数表示旋转，并且我们通过

指示此七维位置数据，以使索引2i下降。

我们通过使用首次出现在(K.Wang and T.Gasser，“Alignment of curves bydynamic time warping，”Annals of Statistics，vol.25，no.3，pp.1251-1276，1997)的临时曲线平均方法从示范的序列学习了有意义的运动，并且然后成功地应用在连续数据上并且也应用在二进制数据上(S.-A.Ahmadi，T.Sielhorst，R.Stauder，M.Horn，H.Feussner，and N.Navab，“Recovery of surgical workflow without ecplicitmodels，”in International Confernece on Medical Image Computing andComputer-Assisted Intervention(MICCAI)，2006，pp.420-428)。此方法包括与期望最小化算法类似的迭代程序，其中所有轨迹都在被平均以前利用动态时间规整临时地同步化到参考平均轨迹(H.Sakoe and S.Chiba，“Dynamic programmingalgorithm optimization for spoken word recognition，”IEEE Trans.Acoust.SpeechSignal Process.，vol.26，no.1，pp.43-49，1978)。产生的平均值用作下次迭代的参考。使用这种方法，一般来说使得长度τ等于输入轨迹的平均长度。在图9中可以看到通过此种方法产生的平均轨迹。

下面我们简要地总结此方法：

·设

为参考序列。使用DTW临时地将

翘曲到

并且通过h^k(t)指示翘曲函数。

·相对于

计算平均时间轴为

$h\left(t\right)=\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{h}^k\left(t\right)---\left(5\right)$

·计算允许将

转换到平均时间轴的所谓的移动函数u^k(t)＝h^k(h^-1(t))。

·计算平均

$r_{\mathrm{avg}}^{~}=\frac{1}{M}\underset{k=1}{\overset{M}{\mathrm{\Σ}}}r_k^{~}\left(u^k\left(t\right)\right)---\left(6\right)$

·通过

替换并且迭代直至收敛。

作为初始参考，我们使用相同的方法递归地合并两两输入序列。我们按照下列方式使该方法适于运动数据：首先，由于位置是显著特征，因此我们仅将3D位置数据用于时间翘曲同步，并且我们注意到在我们的情形中定向信息不对同步化起主要作用。其次，上面步骤中的一些要求插入两个四元法或平均多个四元法之间。我们相应地使用SLERP插入(E.B.Dam，M.Koch，and M.Lillhohn“Quaternions，interpolation and animation，”University of Copenhagen，Tech.Rep.DIKU-TR98/5，1998)和球形平均(F.L.Markley，Y.Cheng，J.L.Crassidis，and Y.Oshman，“Averaging quaternions，”Journal of Guidance，Control，and Dynamics，vol.30，no.4，pp.1193-1196，2007)。在已经计算任务坐标系统中的平均轨迹以后，我们通过减去其初始位置使其标准化。

在文献中已经注意到如果数据是高维数的或包含多个局部变化，则DTW同步可能是不正确的。已经为此情形提供了如(F.Zhou and F.De la Torre，“Canonical time warping for alignment of human behavior，”in Advances in NeuralInformation Processing Systems Conference(NIPS)，December 2009)的更先进的临时同步技术并且可以被另选地使用。然而这同我们的数据是不同的。我们在图9(a)中示出了此方法如何从几个示范的序列中提供平滑的平均运动。图9(b)突出了学习到的轨迹的旋转运动。

实验

我们已经利用达芬奇机器人在根据CISST库的模块化应用中实施了此HMC方法(A.Deguet，R.Kumar，R.Taylor，and P.Kazanzides，“The CISST librariesfor computer assisted intervention systems，”Insight Journal.[Online].Available：http://hdl.handle.net/10380/1465a)。此应用包括五个相互作用的线，具有作用：1)完成识别，2)路径规划，3)机器人控制，4)视觉覆盖以及5)主要任务控制。

为了此实验，我们执行每个任务五次以构建任务模型。说明性的视频示出了使用我们的人机协作系统的同时执行两个说明性的任务的操作者的视图。在此视图内，当操作者执行该运动时显示标记“手动”。还提供了操作者完成子任务的计算出的概率。当控制切换到自动运动时，显示标记“自动”，以及计划的轨迹。显示的轨迹不是精确地覆盖真实位置，以便不干扰操作者的视野。替代地，其转换到视野的顶部。这用于操作者的监督和认知的工作载荷减小的目的。视频显示手动操作与自动执行之间的无缝转换。还示出了达芬奇机器人可以例如通过旋转其内窥镜相机自由地操作。还示出了接近异常值的稳健性，诸如反复不成功地试验以插入针或不期望地关闭/打开夹持器。我们在图11中显示了在通过HMC系统执行任务的过程中取得的几个图像。

已经要求额外的操作者使用该系统并且发现转换是无缝并且直观的。然而，在第一试验期间可能会发生的是，从未预先执行特定任务的操作者不会精确地执行期望的运动。在此情形中，可以通过短暂的延迟识别完成，以形成从正确与期望的位置略微转换的轨迹。这在最后要求调节工具位置。这示出了对于用户学习如何正确地执行任务来说可能必要的几个轨迹(以与示范数据类似的方式)，或者应该通过包括由当前操作者示范的数据并且示出他的/她的类型来建造任务模型。在我们的实验中，HMM模型使用两种高斯混合并且我们利用β＝0.9触发自动执行。我们平均Θ_t超过1秒钟。

用于使远程操作控制容易的方法的益处可以包括主操纵器的运动被极大减少的事实。实际上，自动地执行大的输送运动并且不要求任何操作者移动。这具有两个结果：对用于抓住再调节主操纵器的需要变得几乎不存在并且不太可能发生主操纵器碰撞。

图10中示出了对主操纵器工作空间的分析。当使用或不使用HMC系统时其将主操纵器运动进行比较。对于钉任务来说，图10(a)示出了当使用HMC系统时主操纵器工作空间减小到更小的体积，因为待完成的移动现在仅限于夹紧或向下钉住针。对于缝合任务来说，仅左边的装置是自动的。图10(b)示出了当使用HMC系统时右操纵器使用类似的工作空间。然而，当左操纵器的作用减小到两个精细运动，即针的夹紧与握持时，左操纵器使用具有HMC框架的更小的工作空间。在表3中给出了沿着每个方向并且平均超过5个序列的主操纵器位置的经比较的标准偏差。

对于通过操纵器行进的距离我们观察到类似的结果：在我们进行钉任务实验的过程中行进的距离平均减少因数4，并且对于缝合任务减小因数1.3。对于任务完成的时间与使用和不使用HMC方法类似：对于钉任务来说平均48秒并且对于缝合任务来说64秒。通过加速自动输送运动来减少次数将会是简单的。

表3：用于钉任务(右主操纵器)和待测系统任务(左主操纵器)的主操纵器位置(以毫米)的标准偏差。使用与不使用HMC系统的比较。

论述与结论

在此实施例中，我们描述了一种基于从根据本发明的实施方式的示范而学习的远程外科手术的新颖的人机协作方法。通过操作者执行精细运动，同时它们终止的实时识别触发不涉及与环境的任何相互作用的先前学习的运动的自动执行。我们已经示出，使用达芬奇远程外科手术机器人，当这种运动是大的输送运动时，这种协作形式改进了对主操纵器的工作空间的使用。此外，实验示出这种人机协作允许在手动操作和自动执行之间的无缝和直观切换。

我们的方法既不要求对环境的完全描述也不要求对运动预编程：识别系统、执行的运动和子任务的顺序从示范的序列中直接地推出，其中将自动部分进行标记。此外，通过在操作者的视野中显示计划的3D轨迹，他/她可以监视自动运动。由于将执行的运动叠加在主操纵器移动上，因此必要时他/她可以调节轨迹。最后，可以通过抓住机器人或者通过要求助理停止控制器而安全地停止自动执行。

这种方法可以扩展到精细操纵子任务，诸如通过利用由立体内窥镜提供的视觉信息的针插入。例如，来自环境的线索可以包括在学习框架中，诸如在组织与装置之间的接触。此外还可能包括其中连续的子任务可能不是顺序的，但是可能包含选项的较长任务。

最后，除了学习任务特定运动以外，对HMC系统的增强可以包括使简单通常的运动自动化的能力，例如通过声音命令触发。如同聚焦于特定工具的相机的自动移动的通常运动，也可以对远程操作机器人的人体工程学的使用进行改进。

在此说明书中阐明与讨论的实施方式目的仅在于教导本领域中的技术人员如何实现和使用本发明。在对本发明的实施方式的描述中，为了清楚起见使用特定的术语。然而，本发明不旨在限定于如此选定的特定术语。如根据上面的教导本领域中的技术人员将会理解的，在不偏离本发明的情况下可以对本发明的上述实施方式进行修改或改变。因此应该理解的是，在权利要求和它们等效物的范围内，本发明可以不像具体描述地那样实施

Claims (15)

1.一种用于执行多步骤任务的半自动交互式机器人系统，包括：

用户界面系统；

识别系统，其适于与所述用户界面系统通信；

控制系统，其适于与所述识别系统通信；以及

传感器-致动器系统，其适于与所述控制系统通信；

其中，所述识别系统用于在用户操作所述用户界面系统时识别由所述用户采取的动作并且选择性地指示所述控制系统使所述传感器-致动器系统基于所述识别的动作和所述多步骤任务的任务模型来执行所述多步骤任务的自动步骤、半自动步骤或直接步骤中的一个步骤。

2.根据权利要求1所述的半自动交互式机器人系统，其中，所述传感器-致动器系统包括多个铰接臂。

3.根据权利要求2所述的半自动交互式机器人系统，其中，所述多个铰接臂中的至少一个包括夹持器或工具附接组件的至少一个。

4.根据权利要求1所述的半自动交互式机器人系统，其中，所述任务模型是隐马尔可夫模型。

5.根据权利要求1所述的半自动交互式机器人系统，其中，所述任务模型是机器学习模型。

6.根据权利要求1所述的半自动交互式机器人系统，其中，所述用户界面系统包括用户观察系统，所述用户观察系统构造并且布置为探测与确定所述用户的至少一部分的运动以便与所述识别系统通信，从而将初始指示或修改指示中的至少一个提供到所述控制系统。

7.根据权利要求1所述的半自动交互式机器人系统，其中，所述观察系统包括相机。

8.根据权利要求1所述的半自动交互式机器人系统，其中，所述传感器-致动器系统包括传感器系统，所述传感器系统构造并且布置为探测并且确定被操纵的物体的至少一部分的特性并且与所述识别系统通信，以将初始指示或修改指示中的至少一个提供到所述控制系统。

9.根据权利要求1所述的半自动交互式机器人系统，其中，所述用户界面系统包括输入装置，所述输入装置适于允许用户以手动地或语音的至少一种方式将要被传送到所述识别系统的命令输入到要被提供到控制系统的初始指令或修改指令中的至少一个。

10.根据权利要求1所述的半自动交互式机器人系统，其中，所述用户界面系统包括显示系统，所述显示系统构造为向所述用户显示与待执行的步骤相关的信息。

11.一种用于模拟多步骤任务的半自动交互式机器人模拟系统，包括：

用户界面系统；

识别系统，其适于与所述用户界面系统通信；

控制系统，其适于与所述识别系统通信；以及

模拟传感器-致动器系统，其适于与所述控制系统通信，

其中，所述识别系统构造为，在用户操作所述用户界面系统的同时识别由所述用户采取的动作并且选择性地指令所述控制系统，致使所述模拟传感器-致动器系统基于所述识别的动作和所述多步骤任务的任务模型模拟执行所述多步骤任务中的自动步骤、半自动步骤或直接步骤中的一个步骤。

12.根据权利要求11所述的半自动交互式机器人模拟系统，其中，所述模拟传感器-致动器系统模拟多个铰接臂。

13.根据权利要求11所述的半自动交互式机器人模拟系统，其中，所述任务模型是隐马尔可夫模型。

14.根据权利要求11所述的半自动交互式机器人模拟系统，其中，所述任务模型是机器学习模型。

15.根据权利要求11所述的半自动交互式机器人模拟系统，其中，所述用户界面系统包括显示系统，所述显示系统构造为向所述用户显示与待模拟的步骤相关的信息。

Images