CN107753109A - 同心管机器人装置及其控制方法 - Google Patents

同心管机器人装置及其控制方法 Download PDF

Info

Publication number
CN107753109A
CN107753109A CN201610675373.8A CN201610675373A CN107753109A CN 107753109 A CN107753109 A CN 107753109A CN 201610675373 A CN201610675373 A CN 201610675373A CN 107753109 A CN107753109 A CN 107753109A
Authority
CN
China
Prior art keywords
concentric tube
multichannel
tube
robot device
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610675373.8A
Other languages
English (en)
Other versions
CN107753109B (zh
Inventor
任洪亮
吴聊
于海博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Industrial Park Xin Guo Great Research Institute
National University of Singapore
Original Assignee
Suzhou Industrial Park Xin Guo Great Research Institute
National University of Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Industrial Park Xin Guo Great Research Institute, National University of Singapore filed Critical Suzhou Industrial Park Xin Guo Great Research Institute
Priority to CN201610675373.8A priority Critical patent/CN107753109B/zh
Publication of CN107753109A publication Critical patent/CN107753109A/zh
Application granted granted Critical
Publication of CN107753109B publication Critical patent/CN107753109B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/00234Surgical instruments, devices or methods, e.g. tourniquets for minimally invasive surgery
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明提供了一种用于自然腔道内窥镜手术的多通道同心管机器人装置及其视觉伺服控制方法。其中,该装置包括:至少一个同心管视觉通道,其由至少两个弹性管嵌套而成,且配置为在最内管的末端装有用于视觉反馈的图像传感器;至少两个同心管操作通道,每个同心管操作通道由至少两个弹性管嵌套而成,且配置为在最内管的末端装有用于执行操作的手术器械;和驱动机构,其配置为分别驱动所述视觉通道和所述操作通道的每个弹性管的线性运动和旋转运动。本发明还提供所述装置基于视觉伺服的控制方法,可以同时对每个同心管通道的运动分别进行独立控制,在微创手术中实现更精确地定位和导航。

Description

同心管机器人装置及其控制方法
技术领域
本发明属于医疗器械领域。具体而言,涉及一种同心管机器人,尤其是涉及一种用于自然腔道内窥镜手术的多通道同心管机器人。
背景技术
手术机器人越来越多地应用于自然腔道内窥镜手术中。但是,传统的刚性手术机器人具有体积较大且较为坚硬的缺点,在与身体内重要的器官、组织和血管相接触接触时,容易造成损伤。
与传统的刚性手术机器人和手术器械相比较,柔性手术机器人具有灵活和紧凑的优点,因此开始广泛应用在微创手术中。在这些柔性手术机器人中,同心管机器人越来越受到人们的关注并且被广泛应用。同心管机器人一般由一系列直径不同的预弯曲的管套在一起所组成。每一个组成管都有两个自由度,可以前后伸缩和旋转。同心管机器人具有可以沿着身体中三维曲线导航的能力并且同心管机器人可以将手术器械通过管的空腔固定在管的前端,手术师可以在另一端操纵手术器械。与传统的直的刚性手术器械相比较,这种柔性机器人具有实时改变形状的能力,所以可以避免与身体内重要的器官、组织和血管相接触。除此之外,同心管机器人与线驱动柔性机器人以及导管机器人不同的地方是,同心管柔性机器人还具有将在末端施加的力传递到前段的手术器械处的能力。这些优点使同心管柔性机器人在微创手术领域有着独特的优势。同心管柔性机器人已经被提出可应用于心内手术,泌尿手术和神经外科手术。
但是,目前的同心管手术机器人均为单通道同心管手术机器人,且无法根据手术目标点的需要,实现基于术中传感器反馈对同心管通道运动的自动化控制。因此,急需开发一种多通道同心管手术机器人,其能够在包含用于执行操作的操作通道之外,更增设传感器通道,又不显著增加手术机器人自身的体积,从而实现对同心管手术机器人的运动的精确控制。
发明内容
基于此,有必要提供一种多通道同心管机器人,其最少包括一个用于视觉反馈的通道和两个可协同完成手术任务的操作通道,并可应用于自然腔道内窥镜手术。
本发明的一个方面中,提供一种多通道同心管机器人装置,包括:至少一个同心管视觉通道,其由至少两个弹性管嵌套而成,且配置为在最内管的末端装有用于视觉反馈的图像传感器;至少两个同心管操作通道,每个同心管操作通道由至少两个弹性管嵌套而成,且配置为在最内管的末端装有用于执行操作的手术器械;和驱动机构,其配置为分别驱动所述视觉通道和所述操作通道的每个弹性管的线性运动和旋转运动。
在其中一个实施例中,优选地,上述多通道同心管机器人装置的所述驱动机构包括直线传动机构和旋转传动机构。
在其中一个实施例中,优选地,上述多通道同心管机器人装置的所述直线传动机构包括:步进电机,同步带传动机构和丝杠传动机构,其中所述同步带传动机构连接所述步进电机和所述丝杠传动机构,所述丝杠传动机构连接至所述通道,且所述丝杠传动机构包括静止的丝杠和多个与所述丝杠配合并可在其上运动的丝母。
在其中一个实施例中,优选地,上述多通道同心管机器人装置的所述旋转传动机构包括步进电机、同步带传动机构和连杆装置,其中所述同步带传动机构连接所述步进电机和连杆装置,所述连杆装置连接至所述通道。
在其中一个实施例中,优选地,上述多通道同心管机器人装置还包括:防干涉传感器系统,其配置为检测所述通道中的至少一个的位置,防止所述通道之间的相互干渉。
本发明的又一个方面中,如上所述的多通道同心管机器人装置还可以包括驱动装置和外部控制装置。
在其中一个实施例中,优选地,上述多通道同心管机器人装置的所述外部控制装置由处理器和输入装置组成。其中所述输入装置配置为接收外部输入并发送到所述处理器;所述处理器配置为,接收并处理所述外部输入,并控制所述多通道同心管机器人装置的运动;且所述处理器还配置为,从所述图像传感器接收图像并进行处理。
在其中一个实施例中,优选地,上述多通道同心管机器人装置的外部控制装置还包括图形用户界面,其配置为与用户进行交互。
本发明的又一个方面中,还提供用于对上述多通道同心管机器人装置的运动进行视觉伺服控制的方法,包括:根据所述图像传感器采集到的图像,对所述多通道同心管机器人装置的运动进行控制。
在其中一个实施例中,优选地,上述对多通道同心管机器人装置的运动进行视觉伺服控制的方法,包括以下步骤:通过所述输入装置,向所述多通道同心管机器人装置输入所述多通道同心管机器人装置的目标位置;通过所述图像传感器对所述目标位置采集图像,并输出至所述处理器;通过所述处理器处理所采集的图像特征,比较所述目标位置与所述多通道同心管机器人装置的当前位置,确定所需的运动并输出至所述驱动装置;通过所述驱动装置,根据来自所述处理器的指令,控制所述多通道同心管机器人装置的运动,直到所述多通道同心管机器人装置的通道末端到达所述目标位置。
在其中一个实施例中,优选地,所述多通道同心管机器人装置根据所输入的所述目标位置,通过所述图像传感器采集所述目标位置的图像,获取对应于所述目标位置的初始图像雅可比矩阵。
在其中一个实施例中,优选地,所述多通道同心管机器人装置根据比较所述当前位置与所述目标位置的图像特征所得的差值,更新所述图像雅可比矩阵,从而计算并控制所述多通道同心管机器人装置的运动。
在其中一个实施例中,优选地,对所述多通道同心管机器人装置的运动的控制,包括先控制所述同心管视觉通道的末端的所述图像传感器到达所述目标位置,再控制所述同心管操作通道的末端的所述器械到达目标位置。
本发明的又一个方面中,还提供一种单通道同心管机器人系统,包括:同心管操作通道,其配置为包括内管和外管;驱动机构,其配置为包括与所述同心管操作通道相连接的直线传动机构和旋转传动机构;和外部控制模块,其包括与所述驱动机构相连接的摇杆和一个或多个按钮;其中,所述摇杆配置为控制所述内管的线性运动和旋转;所述按钮配置为独立控制所述内管和所述外管的运动和旋转。
本发明的上述单通道同心管机器人系统,具有三个自由度,具有设计紧凑、轻便、可手持、易控制的优点。
在本发明提供的多通道同心管机器人装置中,通过使用上述巧妙设计,例如如上所述的直线传动机构和旋转传动机构,使得所有通道限制在一个直径不超过10毫米的鞘空间内,解决了多通道可能带来的体积过大、难以操作的问题;通过所述结构,还能同时对每个通道分别进行独立控制。此外,在优选的实施例中,通过防干涉传感器系统,可以协调各个通道的运动,防止了通道之前的碰撞,更好地优化了本发明的技术方案。
本发明提供的多通道同心管机器人装置和系统可以同时控制所有通道的运动,所以多个通道可以实时协同工作。此外,本发明提供的多通道同心管机器人装置和系统可以有两种不同的工作模式:第一种是根据运动学模型对系统进行建模,然后由手术医师进行遥操作。第二种是基于可以运动的图像传感器所反馈回的图像,在不需要系统模型的情况下自动追踪标记,运动到需要做手术的部位。其中,基于视觉伺服的控制算法具有不需要系统模型,并且可以在很狭窄的空间中实现更加精确的运动的优点,能够实现对同心管手术机器人的运动的精确控制,在微创手术中实现更精确地定位和导航。
附图说明
图1是本发明的一个实施例中所述的多通道同心管机器人装置的整体视图。
图2是本发明的一个实施例中所述的多通道同心管机器人装置的同心管视觉通道的结构示意图。
图3是本发明的一个实施例中所述的多通道同心管机器人装置的同心管操作通道的结构示意图。
图4是本发明的一个实施例中所述的多通道同心管机器人装置的直线传动机构的结构示意图。
图5是本发明的一个实施例中所述的多通道同心管机器人装置的旋转运动传动机构的结构示意图。
图6是本发明的一个实施例中所述的多通道同心管机器人装置的基于光学传感器的防干涉机构的结构示意图。
图7是本发明的一个实施例中所述的单通道三自由度的同心管机器人系统的结构示意图。
图8是本发明的一个实施例中所述的单通道三自由度的同心管机器人系统的驱动机构的结构示意图。
图9是本发明的一个实施例中所述的多通道同心管机器人装置的结构示意图。
图10是本发明的一个实施例中所述的多通道同心管机器人装置的图形用户界面。
图11是对本发明的多通道同心管机器人装置的运动进行视觉伺服控制的方法的流程图。
具体实施方式
下面将结合上述附图,描述本发明的非限制性实施例。
本发明的同心管机器人装置中,每个同心管通道最少由两个相互作用的预弯曲的管(例如,内管和外管)组成。所述管的材料可以采用任何适用于本发明的材料,例如任何具有超弹性的材料,如不锈钢,镍钛记忆合金,或者高分子材料,或其他任何本领域技术人员已知的适合材料。每个通道的具体设计参数,例如管的直径、长度和预弯曲率,可以由本领域技术人根据需要,例如针对不同的手术任务来进行设计。
本发明的一个方面中,提供一种如图1的示例实施例所示的多通道同心管机器人装置10,包括:至少一个同心管视觉通道20,其由至少两个弹性管嵌套而成,并配置为在末端装有图像传感器(例如,可运动图像传感器),用于视觉反馈;至少两个同心管操作通道30,其亦由至少两个弹性管嵌套而成,并配置为在末端装有手术器械,用于执行手术操作。多通道同心管机器人装置10还包括驱动机构(图中未标明,下文将详述),其配置为分别驱动所述视觉通道和所述操作通道的运动。所有同心管视觉通道20和同心管操作通道30均被限制在鞘11中。当该多通道同心管机器人装置10用于自然腔道内窥镜手术中时,机器人运动所需要的空间不超过鞘11的直径(不超过10毫米)。
在其中一个实施例中,本发明的多通道同心管机器人装置的同心管视觉通道20的结构如图2所示。同心管视觉通道20的主体部分包括至少两个相互嵌套的预弯曲超弹性管21。图像传感器22固定在最内管的最前端,与传统机械臂的末端执行器相类似,用于实时提供手术位置的图像并用于导航。视觉通道20的主体部分的形状以及末端的位置和方向,可以通过每根组成管的前后移动和旋转进行控制。因为在本设计中所用到的都是空心管,所以图像传感器22后端的线可以从空心管的中心穿出,并在后端与其他装置,例如图像采集卡以及处理器相连接。
在其中一个实施例中,本发明的多通道同心管机器人装置的同心管操作通道30的结构如图3所示。操作通道30的结构原理与可运动图像传感器20的工作原理相类似,其主体部分也是由至少两个嵌套的预弯曲超弹性管21所组成,主体部分的形状以及末端的位置和方向可以通过每根组成管的前后移动和旋转进行控制。操作通道30与视觉通道20的区别在于:安装在操作通道30最内管末端的工具不同。操作通道30的末端执行器处安装的是手术器械。可以根据手术的需求来选择需要的手术器械,在操作通道之间进行协同操作,并与图像传感器22所在的视觉通道20相互配合,来完成手术任务。例如,在一个优选实施例中,可以有一个操作通道的末端装有用于切除组织的用具,有一个操作通道的末端装有用于挟持组织的用具,从而在手术中进行协同操作。
本发明的一个实施例中,上述多通道同心管机器人装置的所述驱动机构包括直线传动机构和旋转传动机构。
图4是同心管机器人直线传动机构的示例结构示意图。如图所示,所述直线传动机构包括:步进电机41,同步带传动机构和丝杠传动机构;其中,同步带传动机构包括主动带轮42、从动带轮(其中从动带轮和丝母被设计成一个零件43)和同步带44;丝杠传动机构包括丝母(其中从动带轮和丝母被设计成一个零件43)、丝杠45、直线导轨46、直线滑动轴承47、可动板48、轴承49。主动带轮42固定在电机41的输出轴上,当步进电机41转动时,同步带传动机构和丝杠传动机构将电机的旋转转化为同心管的前后直线运动。在本设计中,丝杠45不旋转,而丝母在从动带轮的带动下在丝杠45上做直线运动。以上提到的所有零件,除了丝杠45外,均固定在可动板48上。直线导轨46(如2个)用来对可动板48的运动进行导向。直线滑动轴承47固定在可动板48上,以减小滑动时的摩擦阻力。轴承49的内圈和外圈分别与丝母43和可动板48配合,以避免可动板48的旋转。本发明与传统方法最大的不同之处在于,在本发明中,丝杠45是静止的,而可动板48的直线运动是由丝母的旋转和直线运动所实现的。此外,视觉通道20和操作通道30中的每根管都各自独立地刚性连接在可动板48上(未显示),从而实现每根管独立的运动。
本发明的一个实施例中,上述多通道同心管机器人装置的所述旋转传动机构包括步进电机、同步带传动机构和连杆装置,其中所述同步带传动机构连接所述步进电机和连杆装置,所述连杆装置连接至所述通道,如图5所示。与直线传动机构的原理相类似,旋转传动机构的同步带传动机构包括步进电机51、同步带52、主动同步带轮53和从动同步带轮54,用来实现能量从电机到管的传递。连杆装置的连杆56一端连接在从动轮54上,另一端连接在同心管(图5中为管55)的一端,且管55的另一端与其他同心管(若存在)一同穿过鞘11。由此,步进电机51的旋转运动可以先传给从动轮54,然后从动轮54又将旋转运动传递给管55。
在传统的单通道同心管机器人的设计中,同心管的旋转是通过直接与同步带轮相连接的方式来实现的,因此同步带轮与相对应的管的布局是同心的。但是,在本设计中,由于采用了多通道同心管布局,空间十分有限,按照传统设计令所有通道带轮与管都完全同心,将很难实现多通道布局,或者其实现需通过特别小的齿轮;而如果采用小齿轮设计,则转矩也会很小,从而难以满足同心管旋转所需要的转矩。为了克服该难题,在本设计中,发明人使用了连杆机构来实现同心管与带轮的连接,由此能够更加充分的利用有限的空间,使得多通道的设计更加紧凑。
本发明的一个实施例中,上述多通道同心管机器人装置还可以包括:防干涉传感器系统,其配置为检测所述通道中的至少一个的位置,防止所述通道之间的相互干渉,如图6所示。该防干涉机构可以是基于光学传感器的结构。由于连杆机构的存在,设有可移动图像传感器22的视觉通道20和操作通道30不能进行360度的旋转,否则将发生各通道之间的相互碰撞、干涉。所以,发明人在此处采用了两个光学传感器61和一个特别设计的传感器标志62,以检测旋转的角度,从而起到避免碰撞的功能。光学传感器61可以采用例如通用光学式旋转编码器,固定在所述驱动机构的可动板48上,传感器标志62可以设置在同心管通道上随管运动,例如视觉通道20和操作通道30中的至少一个上并随其转动,并可由光学传感器61进行检测,并将其信号反馈至处理器以实现闭环控制。当同心管,例如视觉通道20和操作通道30中的至少一个,运动到最大可允许角度时,传感器61可以检测到传感器标志62传来的信号,从而通过运动控制程序使步进电机停止,使得同心管停止转动超出最大可允许角度,避免管之间的碰撞的发生。在一个优选的实施例中,在手术时,可移动图像传感器22可以总是在整个工作空间的上部运动,且并且方向为向下倾斜约45度。两个操作通道30的主体部分分别向左和向右弯曲,从而使两个末端执行器的位置十分接近,从而实现两个操作通道30的协同工作。在这种情况下,左边的操作通道30只需要在左边运动,右边的操作通道30只需要在右边工作,由此每个操作通道30需要的旋转角度都不超过180度。
本发明的又一个方面中,还提供一种可以具有三自由度的单通道同心管机器人系统,如图7中的示例实施例所示,该系统包括:同心管操作通道,其配置为包括内管72和外管71;驱动机构70,其配置为包括与所述同心管操作通道相连接的直线传动机构和旋转传动机构;和外部控制模块73,其包括与所述驱动机构70相连接(例如固定在其上)的摇杆74和一个或多个按钮75。其中,所述摇杆74配置为控制所述内管的运动和旋转,所述按钮75配置为独立控制所述内管和所述外管的运动和旋转。这种实现方式的设计十分紧凑,整个设计的尺寸很小,十分适合医师手持进行手术操作。
在一个实施例中,上述单通道同心管机器人系统的驱动机构的结构如图8所示,包括:三个步进电机81、84、85,两个丝杠82、86,和两组直线导轨83、87。当步进电机81、84、85中的一个或多个启动时,将通过丝杠82、86和直线导轨83、87的联动分别实现内管72和外管71的移动和旋转运动。例如,在一个优选的实施例中,步进电机81可以通过丝杠82实现外管71的移动,电机84、85则可以通过丝杠86和直线导轨87的联动实现内管的移动和旋转运动。本设计有两种操作模式,第一种是通过操纵摇杆74,直接对内管72的位置和姿态进行控制;第二种是通过操纵按钮75,对步进电机81、84、85中的一个或多个直接进行操作,从而独立地控制内管72和外管71的运动和旋转。
本发明的又一个方面中,还提供一种多通道同心管机器人装置,包括:如上所述的多通道同心管机器人装置10;驱动装置91;和外部控制装置。如图9所示是多通道同心管机器人装置10的示例实施例,其中通道数目为3个。但是,本领域技术人员可知晓,还可以基于相同的原理,根据需要设计并添加更多的通道。该多通道同心管机器人装置10中,驱动装置91包块电机驱动器和PMAC控制板,外部控制装置包括输入装置93和控制主机92(即处理器的一种示例)。在一种实施方式中,输入装置93可以是遥控操作输入装置,如图所示。输入装置93可以将操作者的意图转化为机器人末端的运动。控制主机92用于处理外部输入和控制机器人的运动。例如,在一种实施方式中,所述输入装置93配置为,接收外部输入并发送到所述控制主机92;所述控制主机92配置为,接收并处理所述外部输入,并通过驱动装置91,控制所述多通道同心管机器人装置10的运动。所述控制主机92还配置为,从多通道同心管机器人装置10的图像传感器22接收图像并进行处理。
当通道数量为3时,例如在包括一个视觉通道20和两个操作通道30的三通道同心管机器人系统中,在手术时,可移动图像传感器22可以总是在整个工作空间的上部运动,且并且方向为向下倾斜约45度。两个操作通道30的主体部分分别向左和向右弯曲,从而使两个末端执行器的位置十分接近,从而实现两个操作通道30的协同工作。在这种情况下,左边的操作通道30只需要在左边运动,右边的操作通道30只需要在右边工作,由此每个操作通道30需要的旋转角度都不超过180度。
本发明的一个实施例中,优选地,上述多通道同心管机器人装置还可以包括图形用户界面101,用于与用户进行交互,如图10所示。图形用户界面101可以包括:3D模拟环境102,摄像头视图103,系统操作面板104等内容。3D模拟环境102是基于术前CT扫描数据所重建的,用来追踪机器人在患者体内的位置。摄像头视图103用于实时显示图像传感器22所采集的图像,从而使操作通道30的位置可视化。系统操作面板104显示系统的当前操作模式,例如,如图所示,当前采用的模式显示为绿色,没有被选中的模式显示为灰色。此外,图形用户界面101还可以同时显示在多个显示器上,例如一边给操作者提供视觉反馈,一边供其他人员如医生观看。
本发明的又一个方面中,还提供用于对上述多通道同心管机器人装置的运动进行视觉伺服控制的方法,包括:根据所述图像传感器采集到的图像,对所述多通道同心管机器人装置的运动进行控制。具体而言,该方法可以以下步骤:通过所述输入装置93,向所述多通道同心管机器人装置输入所述多通道同心管机器人装置10的目标位置(例如手术目标点);通过所述图像传感器22对所述目标位置采集图像,并输出至所述处理器92;通过所述处理器92处理所采集的图像特征,比较所述目标位置与所述多通道同心管机器人装置10的当前位置,确定所需的运动并输出至所述驱动装置91;通过所述驱动装置91,根据来自所述处理器92的指令,控制所述多通道同心管机器人装置10的运动,直到所述多通道同心管机器人装置10的通道末端到达所述目标位置。其中,所述通道末端可以是任一通道的末端,包括视觉通道和操作通道,且各通道独立运动。
在一种优选的实施方式中,所述多通道同心管机器人装置根据所输入的所述目标位置,通过所述图像传感器采集所述目标位置的图像,获取对应于所述目标位置的初始图像雅可比矩阵。随后,优选地,根据比较所述当前位置与所述目标位置的图像特征所得的差值,不断更新所述图像雅可比矩阵,从而计算并控制所述多通道同心管机器人装置10的运动。
在一种优选的实施方式中,对所述多通道同心管机器人装置10的运动的控制,包括先控制所述同心管视觉通道20的末端的所述图像传感器22到达所述目标位置,再控制所述同心管操作通道30的末端的所述器械到达目标位置。
在一种优选的实施方式中,通过追踪指向目标点的图像特征来实现视觉伺服,利用可移动图像传感器22来采集图像,根据采集到的图像,基于图像雅可比矩阵估计的最优控制算法,对机器人进行位置控制。
首先,由用户通过输入装置93定义手术目标点,通过图像传感器22的一系列运动,对视野范围内相应的手术目标点位置进行特征提取,从而获得图像雅可比矩阵初始值。随着视觉通道20的运动,图像传感器22的位置与方向不断变化。视觉通道20运动的目的在于调整图像传感器22的视野,使目标点呈现在视野范围中。类似地,随着操作通道30的不断运动,手术器械在视野范围中的位置也在不断运动,其目的在于使手术器械运动到需要做手术的目标位置。
在视觉伺服中,根据不同的目标,选出相应的图像特征如兴趣点、斑点、边缘、面积、及脊检测等特征。从而根据当前标记位置与目标位置的差值而解算出相应的运动。根据解算出的运动,从而估测雅可比矩阵来控制图像传感器通道和操作通道的运动。其中,例如,任一通道的末端执行器的运动可以表示为
其中,Δqk是执行器的运动;是雅可比矩阵估测值的违逆;ΔXd是图像平面中目标点需要的运动。
在机器人装置的一个通道的运动过程中,根据通道末端执行器的实际位置与目标点位置之间的差值,不断更新雅可比矩阵,去适应变化的视野环境,并使估测的雅可比矩阵不断接近真实的目标雅可比矩阵,从而使得各通道的末端执行器不断靠近目标位置。在整个算法中,分别为每一同心管通道设立一个雅可比矩阵并分别对其进行更新,从而实现对各通道运动的独立控制。例如,对于如图9所示的三通道同心管机器人实施例而言,需要不断更新三个雅可比矩阵,分别为一个载有图像传感器22的视觉通道20和两个操作通道30。其中,雅可比矩阵的更新可以根据以下公式来进行,
其中,是更新的雅可比矩阵;是更新前的雅可比矩阵;是需要变换的雅可比矩阵,能够被表示为,
其中,ΔXk是末端执行器实际运动与期望的运动之间的差值。
如图11所示,是本发明的上述基于视觉伺服算法的机器人控制方法的一个示例性流程图。开始视觉伺服后,从遥操作(teleoperation)载入初始的估测雅可比矩阵。随后,判定标记(如激光标记)是否位于目标位置范围。若否,即若标记在目标位置范围以外,则依次执行以下操作:更新视觉通道20的雅可比矩阵;计算视觉通道20的所需运动;通过估测雅可比矩阵控制视觉通道20的运动;计算视觉通道20的实际运动;更新标记位置。若是,即若标记在目标位置范围以内,则固定视觉通道20的位置,随后检查操作通道30的执行器(如手术器械)的位置,并判定该执行器是否位于目标位置。若否,即若执行器在目标位置范围以外,则依次执行以下操作:更新操作通道30的雅可比矩阵;计算操作通道30的所需运动;通过估测雅可比矩阵控制操作通道30的所需运动;计算操作通道30的实际运动;更新标记位置。若是,即若执行器在目标位置范围以内,则结束视觉伺服。
本发明中用于多通道同心管机器人的基于视觉伺服的控制算法具有不需要系统模型,并且可以在很狭窄的空间中实现更加精确的运动。因此基于视觉伺服的控制方式能够实现在微创手术中实现更精确地定位和导航。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.多通道同心管机器人装置,包括:
至少一个同心管视觉通道,其由至少两个弹性管嵌套而成,且配置为在最内管的末端装有用于视觉反馈的图像传感器;
至少两个同心管操作通道,每个同心管操作通道由至少两个弹性管嵌套而成,且配置为在最内管的末端装有用于执行操作的手术器械;和
驱动机构,其配置为分别驱动所述视觉通道和所述操作通道的每个弹性管的线性运动和旋转运动。
2.根据权利要求1所述的多通道同心管机器人装置,其特征在于,所述驱动机构包括直线传动机构和旋转传动机构。
3.根据权利要求2所述的多通道同心管机器人装置,其特征在于,所述直线传动机构包括:步进电机,同步带传动机构和丝杠传动机构,其中所述同步带传动机构连接所述步进电机和所述丝杠传动机构,所述丝杠传动机构连接至所述通道,且所述丝杠传动机构包括静止的丝杠和多个与所述丝杠配合并可在其上运动的丝母。
4.根据权利要求2所述的多通道同心管机器人装置,其特征在于,所述旋转传动机构包括步进电机、同步带传动机构和连杆装置,其中所述同步带传动机构连接所述步进电机和连杆装置,所述连杆装置连接至所述通道。
5.根据权利要求1所述的多通道同心管机器人装置,其特征在于,还包括:防干涉传感器系统,其包括设置在所述驱动机构上的光学传感器和设置在至少一个所述同心管通道上并随其转动的可检测传感器标志,其中当所述同心管通道运动到最大可允许角度时,所述光学传感器检测到来自所述传感器标志的信号,由此使所述同心管通道停止转动,防止其超出最大可允许角度。
6.根据权利要求1-5中任一项所述的多通道同心管机器人装置,其特征在于,还包括驱动装置和外部控制装置。
7.根据权利要求6所述的多通道同心管机器人装置,其特征在于,所述外部控制装置由处理器和输入装置组成;其中所述输入装置配置为接收外部输入并发送到所述处理器;所述处理器配置为,接收并处理所述外部输入,并控制所述多通道同心管机器人装置的运动;且所述处理器还配置为,从所述图像传感器接收图像并进行处理。
8.根据权利要求7所述的多通道同心管机器人装置,其特征在于,所述外部控制装置还包括与用户进行交互的图形用户界面。
9.用于对根据权利要求6-8中任一项所述的多通道同心管机器人装置的运动进行视觉伺服控制的方法,包括以下步骤:
通过所述输入装置,向所述多通道同心管机器人装置输入所述多通道同心管机器人装置的目标位置;
通过所述图像传感器对所述目标位置采集图像,并输出至所述处理器;
通过所述处理器处理所采集的图像特征,比较所述目标位置与所述多通道同心管机器人装置的当前位置,确定所需的运动并输出至所述驱动装置;
通过所述驱动装置,根据来自所述处理器的指令,控制所述多通道同心管机器人装置的运动,直到所述多通道同心管机器人装置的所述弹性管末端到达所述目标位置;
其中,所述多通道同心管机器人装置根据所输入的所述目标位置,通过所述图像传感器采集所述目标位置的图像,获取对应于所述目标位置的初始图像雅可比矩阵;
根据比较所述当前位置与所述目标位置的图像特征所得的差值,更新所述图像雅可比矩阵,从而计算并控制所述多通道同心管机器人装置的运动;以及
对所述多通道同心管机器人装置的运动的控制,包括先控制所述同心管视觉通道的末端的所述图像传感器到达所述目标位置,再控制所述同心管操作通道的末端的所述器械到达目标位置。
10.单通道三自由度同心管机器人系统,包括:
同心管操作通道,其配置为包括内管和外管;
驱动机构,其配置为包括与所述同心管操作通道相连接的直线传动机构和旋转传动机构;和
外部控制模块,其包括与所述驱动机构相连接的摇杆和一个或多个按钮;
其中,所述摇杆配置为控制所述内管的线性运动和旋转;所述按钮配置为独立控制所述内管和所述外管的运动和旋转。
CN201610675373.8A 2016-08-16 2016-08-16 同心管机器人装置及其控制方法 Expired - Fee Related CN107753109B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610675373.8A CN107753109B (zh) 2016-08-16 2016-08-16 同心管机器人装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610675373.8A CN107753109B (zh) 2016-08-16 2016-08-16 同心管机器人装置及其控制方法

Publications (2)

Publication Number Publication Date
CN107753109A true CN107753109A (zh) 2018-03-06
CN107753109B CN107753109B (zh) 2022-02-11

Family

ID=61259935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610675373.8A Expired - Fee Related CN107753109B (zh) 2016-08-16 2016-08-16 同心管机器人装置及其控制方法

Country Status (1)

Country Link
CN (1) CN107753109B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020046214A1 (en) * 2018-08-31 2020-03-05 National University Of Singapore Robotic arm, minimal invasive surgery robot, and respective manufacturing method thereof
CN111956328A (zh) * 2020-07-28 2020-11-20 哈尔滨工业大学(深圳) 一种用于微创手术的连续体机器人
CN113040917A (zh) * 2021-03-16 2021-06-29 山东大学 一种用于自然腔道的同心管手术机器人
CN113081279A (zh) * 2021-04-09 2021-07-09 哈尔滨工业大学(深圳) 一种用于微创手术的多臂同心管机器人
CN113100695A (zh) * 2021-05-19 2021-07-13 福州大学 自适应的纤支镜和气管的操作装置
CN113243947A (zh) * 2021-05-19 2021-08-13 中国科学院自动化研究所 面向肺部微小结节的支气管介入连续体机器人
CN113303914A (zh) * 2021-06-23 2021-08-27 山东大学 一种经鼻腔进行颅底肿瘤切除的微创手术机器人
CN113413215A (zh) * 2021-06-30 2021-09-21 福建省立医院 一种纤维支气管内镜的自动输送操作装置
WO2023082558A1 (zh) * 2021-11-11 2023-05-19 深圳市爱博医疗机器人有限公司 一种独立驱动式介入手术机器人

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130123802A1 (en) * 2011-11-16 2013-05-16 David B. Comber Motive device for use in magnetically-sensitive environments
CN103536365A (zh) * 2013-10-22 2014-01-29 同济大学 一种用于微创手术同心管机器人的引导装置
CN103976766A (zh) * 2014-05-16 2014-08-13 天津理工大学 一种主从微创血管介入手术辅助系统
US20150080907A1 (en) * 2013-09-13 2015-03-19 Vanderbilt University System and method for endoscopic deployment of robotic concentric tube manipulators for performing surgery
CN104714485A (zh) * 2015-02-12 2015-06-17 山东大学 一种新型高精度微量进给伺服系统及控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130123802A1 (en) * 2011-11-16 2013-05-16 David B. Comber Motive device for use in magnetically-sensitive environments
US20150080907A1 (en) * 2013-09-13 2015-03-19 Vanderbilt University System and method for endoscopic deployment of robotic concentric tube manipulators for performing surgery
CN103536365A (zh) * 2013-10-22 2014-01-29 同济大学 一种用于微创手术同心管机器人的引导装置
CN103976766A (zh) * 2014-05-16 2014-08-13 天津理工大学 一种主从微创血管介入手术辅助系统
CN104714485A (zh) * 2015-02-12 2015-06-17 山东大学 一种新型高精度微量进给伺服系统及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王洪斌: "在线估计雅可比矩阵的视觉伺服控制算法", 《系统仿真学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020046214A1 (en) * 2018-08-31 2020-03-05 National University Of Singapore Robotic arm, minimal invasive surgery robot, and respective manufacturing method thereof
CN110870793A (zh) * 2018-08-31 2020-03-10 新加坡国立大学 机械臂、微创手术机器人及其制造方法
CN110870793B (zh) * 2018-08-31 2024-04-05 新加坡国立大学 机械臂、微创手术机器人及其制造方法
CN111956328A (zh) * 2020-07-28 2020-11-20 哈尔滨工业大学(深圳) 一种用于微创手术的连续体机器人
CN111956328B (zh) * 2020-07-28 2021-09-28 哈尔滨工业大学(深圳) 一种用于微创手术的连续体机器人
CN113040917A (zh) * 2021-03-16 2021-06-29 山东大学 一种用于自然腔道的同心管手术机器人
CN113081279A (zh) * 2021-04-09 2021-07-09 哈尔滨工业大学(深圳) 一种用于微创手术的多臂同心管机器人
CN113100695A (zh) * 2021-05-19 2021-07-13 福州大学 自适应的纤支镜和气管的操作装置
CN113243947A (zh) * 2021-05-19 2021-08-13 中国科学院自动化研究所 面向肺部微小结节的支气管介入连续体机器人
CN113303914A (zh) * 2021-06-23 2021-08-27 山东大学 一种经鼻腔进行颅底肿瘤切除的微创手术机器人
CN113413215A (zh) * 2021-06-30 2021-09-21 福建省立医院 一种纤维支气管内镜的自动输送操作装置
WO2023082558A1 (zh) * 2021-11-11 2023-05-19 深圳市爱博医疗机器人有限公司 一种独立驱动式介入手术机器人

Also Published As

Publication number Publication date
CN107753109B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN107753109A (zh) 同心管机器人装置及其控制方法
US20240108428A1 (en) Console overlay and methods of using same
EP2845556B1 (en) Surgical robot
EP2442743B1 (en) Virtual measurement tool for minimally invasive surgery
US8594841B2 (en) Visual force feedback in a minimally invasive surgical procedure
EP2442744B1 (en) Virtual measurement tool for minimally invasive surgery
US8374723B2 (en) Obtaining force information in a minimally invasive surgical procedure
US20070287992A1 (en) Control system configured to compensate for non-ideal actuator-to-joint linkage characteristics in a medical robotic system
WO2019103954A1 (en) Systems and methods for master/tool registration and control for intuitive motion
WO2021257897A1 (en) Axial insertion and movement along a partially constrained path for robotic catheters and other uses
WO2020123671A1 (en) Hybrid-dimensional, augmented reality, and/or registration of user interface and simulation systems for robotic catheters and other uses
JP2004129782A (ja) 手術用マニピュレータおよびその操作入力装置
US20240090962A1 (en) Systems and methods for providing synthetic indicators in a user interface for a robot-assisted system
US20220378528A1 (en) Systems and methods for controlling a surgical robotic assembly in an internal body cavity
WO2023150449A1 (en) Systems and methods for remote mentoring in a robot assisted medical system
US20230099522A1 (en) Elongate device references for image-guided procedures
WO2023055723A1 (en) Navigation assistance for an instrument
WO2023052881A1 (en) Real-time 3d robotic status
WO2024081683A1 (en) Systems and methods for persistent markers
WO2022104179A1 (en) Systems and methods for remote mentoring
EP4125683A1 (en) Systems and methods for optimizing configurations of a computer-assisted surgical system for reachability of target objects
EP3793468A1 (en) Method and apparatus for manipulating tissue

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220211