CN110996822A

CN110996822A - 用于临床应用的显微操纵设备

Info

Publication number: CN110996822A
Application number: CN201880032883.0A
Authority: CN
Inventors: P·贾塔加纳; 光-忠·杨; C·J·佩恩
Original assignee: Imperial College of Science Technology and Medicine
Current assignee: Imperial College of Science Technology and Medicine; Ip2ipo Innovations Ltd
Priority date: 2017-04-25
Filing date: 2018-04-25
Publication date: 2020-04-10
Also published as: WO2018197872A1; GB201917029D0; GB2561860A; GB201706565D0; GB2576456A

Abstract

一种显微操纵设备包括限定所述设备的纵向z轴的外管，并且内管至少部分地安置在所述外管内。所述内管具有连续工作通道和延伸穿过其的内窥镜探针。转向机构可控制地改变所述内管的远端相对于装置z轴的横向x，y位置，并且消融能量输送装置沿所述z轴延伸穿过所述设备。造影剂输送机构通过所述连续工作通道或通过所述外管的内腔将造影剂输送到所述内管的所述远端。图像处理器分析来自所述内窥镜探针的图像，并且控制器基于所述分析的图像光学地确定所述内管的所述远端的位移幅度，所述位移幅度用作对所述转向机构的反馈。

Description

用于临床应用的显微操纵设备

本公开涉及适合用于临床应用如显微内镜检查和消融的显微操纵设备。

为了表征组织，可以在临床干预之前和期间进行活检。如果怀疑可能存在病变，医生可能会进行活检。当前，使用机械装置进行活检，所述机械装置取出组织样本以提交给组织学家，组织学家可以在实验室中评估组织的状况。

临床显微内镜检查是一种成像方式，其可从人体内部实时获取组织学样图像，如图1所示。这些光学活检可以使临床医生对临床部位进行原位、体内评估，以帮助诊断病变。这种方法有很多优点。可以在手术过程中对患者进行诊断，并且因此可以避免因等待组织学报告而进行的重复干预。对于在术中分析样本的情况，这也缩短了手术过程的时间。无需与试样进行机械交互即可进行活检，因此可以避免“压碎伪像”。

普通活检的组织学图像可能大(例如2至3mm或更大)，而显微内镜检查(光学活检图像非常小，例如约0.24mm)。可以通过镶嵌技术对更大的视野进行活检，这是传统的夹式活检无法实现的。可以将获取的图像“缝合”在一起以形成组织区域的大图，并且因此可以潜在地识别肿瘤边界。反过来，这使临床医生在切除肿瘤时更加保守，尤其是在手术过程中，如乳腺肿瘤切除和早期胃癌的内镜黏膜切除。

这项技术已通过Mauna Kea Technologies(Cellvisio,MKT,France)以基于探针的共聚焦显微内镜检查形式而商业化。可以在标准内窥镜下部署已开发的探针。

显微内镜检查技术可能有一些缺点。高倍率探针的视场可能为几百微米。这意味着对于临床医生而言，保持探针与组织之间的稳定接触通常是挑战性的。在存在来自患者的呼吸运动和来自临床医生的颤动的情况下，尤其如此。一种解决方案是使用采用力控制技术[1，2]、基于弹簧的技术[3]、[4]或气动方法[5]的机电式手持仪器。

另一个挑战是获取大面积镶嵌图。研究人员已经将显微内镜检查探针集成到具有液压致动的手持式设计[3]、蛇形机器人[6]和精密工业机器人[7]中。研究人员还将探针集成到腔内使用的扫描机构中。通过沿螺旋轨迹致动探针，可以建立腔的大规模图像，以帮助切除乳房组织边缘。一种装置使用可膨胀的气球来稳定周围的组织，同时探针在表面上进行扫描。

本发明的一个目的是提供适合于进行显微内镜检查技术并为其提供附加功能的显微操纵设备的改进。

根据一个方面，本发明提供一种显微操纵设备，其包括：

外管，其限定设备的纵向z轴；和

内管，其至少部分地安置在外管内并具有延伸穿过其的连续工作通道，所述内管进一步包括延伸穿过的内窥镜探针；

转向机构，其被配置成可控制地改变内管的远端相对于装置z轴的横向x，y位置；和

消融能量输送装置，其沿z轴延伸穿过设备。

消融能量输送装置可以在内管或外管的远端处包括至少一个消融电极。消融能量输送装置可包括用于将光能传输到内管的远端的光纤。消融能量输送装置可以包括至少一个电导体，所述至少一个电导体穿过内管并且在内管的远端处联接到至少一个电极。消融电极可以是可缩回的。显微操纵设备可以进一步包含造影剂输送机构，所述造影剂输送机构被配置成将造影剂输送到内管的远端。造影剂输送机构可以通过内管的连续工作通道或通过外管的内腔输送造影剂。内窥镜探针可以包括延伸穿过内管的工作通道的成像光纤。内管可在第一纵向位置处联接到外管，以形成延伸至内管的远端的悬臂。转向机构可以包括偏转装置，所述偏转装置定位在外管内在第一纵向位置和内管的远端之间的中间位置处。偏转装置可被配置成使悬臂式内管在外管内横向偏转，以便调节内管的远端相对于装置z轴的x，y位置。偏转装置可以包括一对电致动可旋转凸轮表面，所述凸轮表面被配置成抵靠内管的两个不平行支承表面，以实现内管在横向于装置z轴的选定方向上的运动。内管的两个支承表面可以包括联接到内管的V形截面部件的倾斜的两个表面。内管联接到外管的第一纵向位置可以包括锚固点，所述锚固点从装置z轴横向偏移以提供从装置z轴的偏置。所述一对凸轮表面可以包括各自围绕内管的一对驱动元件。邻近第一纵向位置的内管的部分可以被成形为用于局部减小邻近第一纵向位置的内管刚度。转向机构可以进一步被配置成可控制地改变内管的远端相对于外管的纵向z位置。转向机构可以被配置成控制内管相对于外管的纵向z位置，以通过内管的远端对检查的试样施加预编程的轴向力。

显微操纵设备可以进一步包括图像处理器，所述图像处理器被配置成分析来自成像光纤的图像。显微操纵设备可以进一步包括控制器，所述控制器被配置成基于分析的图像，光学地确定内管的远端的位移幅度。控制器可以被配置成使用光学确定的位移幅度作为对转向机构的反馈。

现在将通过实例并参考附图来描述本发明的实施例，在附图中：

图1示出了可通过临床显微内镜检查获得的常规图像；

图2示出了涵盖肿瘤的活检部位和用于标记切除区域的临床消融技术的示意图；

图3示出了显微操纵设备的透视侧视图；

图4示出了图3的显微操纵设备的远端的特写透视图；

图5和6示出了用于与图4的显微操纵设备使用的可能的消融接触布置机构的远端的特写透视图；

图7示出了用于与图4的显微操纵设备使用的可能的消融电极布置机构的远端的特写透视图；

图8是示出了显微操纵设备的设计原理的示意图；

图9示出了一系列的示出显微操纵设备的操作的端视图；

图10示出了图9的显微操纵设备的透视图；

图11示出了一系列的示出替代显微操纵设备的操作的端视图；

图12示出了图11的显微操纵设备的透视图；

图13示出了用于改进控制的显微操纵设备的另一种配置的透视图；

图14示出了在部分地拆解状态下图10的显微操纵设备的透视图；

图15示出了示出图5至7的设备的力补偿透热电极的操作的原理的示意性侧视图；

图16示出了并有用于造影剂注入机构的致动器的显微操纵设备的透视侧视图；

图17示出了并有观察屏的显微操纵设备的透视侧视图；

图18示出了可用于图10和12的设备中的显微操纵凸轮系统中的两个替代位置；

图19出了使用图9和10的设备进行的薄纸的图像扫描的结果；

图20示出了使用图9和10的设备取出的胃组织的图像扫描的结果；

图21示出了系统部件的框架概观；

图22示出了系统的控制原理图；

图23示出了轴的移动效果的图示，以及轴向变化随轴长的变化的图形表示；

图24示出了凸轮辊机构位置的分析：(左)在分析期间探索四个不同的位置配置和(右)四个不同配置的模拟工作空间结果；

图25(a-c)示出了在网格图案上的视觉伺服结果；

图26示出了当使用电动平移台引入运动时的视觉伺服镶嵌图结果，以及示出当前位置(来自镶嵌图的实际位置)和期望(命令)位置的曲线图；

图27示出了在有1.25mm/s的随机运动干扰的情况下对网格图案模型不进行视觉伺服和进行视觉伺服的镶嵌图结果

图28(a-b)示出在施加外部干扰时对镜头纸(a)和结肠组织(b)不进行视觉伺服和进行视觉伺服的镶嵌图结果；

图29示出了在不进行和进行视觉伺服的情况下乳腺组织扫描的镶嵌图结果，其示出了所覆盖的扫描区域的差异；

图30(a-f)示出了(a)人正常乳腺组织(纤维结缔组织)、(b)人正常乳腺组织(与纤维结缔组织混合的脂肪组织)、(c-d)人乳腺浸润癌、(e)猪大肠和(f)猪大肠脂肪的离体组织镶嵌图；

图31示出了在以手持方式或夹持在机器人臂上操纵仪器时的镜头纸的实例镶嵌图；

图32示出了用人正常乳腺组织使用内部内窥镜检查和用镜头纸使用双波长狭缝扫描共聚焦系统的实例离体镶嵌图结果；

图33示出(a)呈现CO₂激光和显微纤维的仪器的尖端、(b)当激光发射时在纸卡上的激光消融过程的情况、(c)来自定制跟踪相机的图像，其呈现CO₂纤维和显微纤维之间的机械偏移、(d)来自不同时间戳的重叠的两种情况，其呈现以偏移值有序移动，以使偏移点可以与机械点的初始位置重合，和(e)在螺旋图案中心中消融之前和之后的来自纸卡的同一区域的实时镶嵌图；

图34示出了激光消融之前和之后的来自同一网格图案区域的实时镶嵌图图像的实例。

在一方面，如本文所述的显微操纵设备提供了一种手段，通过这种手段，可以使用低成本、紧凑且易于集成到手术工作流程中的手持式仪器来快速且精确地获得显微内镜检查图像镶嵌图。这类手持式装置有助于组织的成像、组织的表征以及消融程序的进行，以去除任何已识别的病变或标出随后将要切除的肿瘤区域。

参考图2，一系列活检部位1a、1b、1c等可以连续成像。肿瘤或病变区域由区域2示意性地指示，并且在各个图像中可见。对于每次拍摄的光学活检镶嵌图，外科医生都会解释所获得的图像并判断解剖结构是否包括病变。替代地，可以使用计算机视觉算法来使该评估过程自动化，所述计算机视觉算法可以准确地对暗示来自健康组织的癌性组织的图像进行分类。获得的图像也可以通过网络(本地或互联网)流式传输到病理实验室，由病理学家进行解释。

当活检部位1被识别为含有用于治疗的肿瘤或病变时，本文所述的显微操纵设备使得该部位能够被消融以去除病变，或者通过消融标记，例如消融标记3a、3b、3c所见，用于在切除范围4内进行后续切除。

现在参考图3和图4，机电显微操纵设备10包括壳体11，其包含手柄部分12。显微操纵设备10的远端14包含：外管15，其限定了设备的纵向轴线(在本文中称为z轴)；以及内管16，其至少部分地安置在外管15内。内管16通常可以延伸穿过外管15，从而其端部在纵向上与外管15的端部重合，或者其端部可以稍微凹入外管的远端内。内管16可以是可缩回的，使得其远端可以相对于外管15的远端在纵向上重新定位。如图4所见，内管16可提供延伸穿过其的工作通道或内腔。

外管15优选地是基本上刚性的，并且当其远端14抵靠组织部署时，可以提供用于稳定内管16附近的组织的方式。内管含有用于在内管16的远端处对组织成像的显微内镜检查探针(图4中未示出)。内窥镜探针可以包括成像光纤，该成像光纤延伸穿过内管，例如穿过管16的内腔或者被集成到管壁中。替代地，内窥镜探针可以包括安置在内管16的远端处的电子成像装置和沿内管延伸的电连通通道，以将图像传送到显微操纵设备10的近端。

如图4中示意性所示，可以使用稍后将描述的操纵机构来操纵内管16的远端的位置，以改变其相对于外管15的远端的横向位置。在整个说明书中，横向移动轴17、18将被称为x和y轴，即，与由外管15限定的设备的纵向z轴正交的轴。

可以操作转向机构以操纵内管16的远端的x-y位置，以产生如图19和20所见的图像的镶嵌图。

参考图5和图6，显微操纵设备10包含沿z轴延伸穿过设备10的消融能量输送装置。能量输送装置可安置在内管16、外管15上或两者的组合，并提供用于进行组织消融的方式。如果需要的话，这使得成像和消融都可以快速连续地进行。

图5a示出了安置在外管15的远端处的一对透热电极20、21，其适合于双极透热。图5b示出了安置在外管15的远端处的单个电极22，其适合于单极透热。透热电触点或电极20、21可以被集成到稳定组织的外管中。在单个单极电极22的情况下，可以在患者的其他地方放置单独的电触点以提供电接地。

图6a示出了安置在内管16的远端处的一对透热电极25、26，其适合于双极透热。图6b示出了安置在内管16的远端处的单个电极27，其适于单极透热。透热电电极25、26可以集成到内管16中。同样，在单个单极电极27的情况下，可以在患者的其他地方放置单独的电触点以提供电接地。这可以在外管15上。

可以穿过内管16的内腔28或沿其内壁的显微内镜检查探针可以是可缩回的，使得当进行消融时，可以保护显微内镜检查探针免受否则可能由来自透热电极的电短路引起的损坏。例如，如果透热电极20、21、22安置在外管15上，则显微内镜检查探针可以通过内管16的纵向移位(即，缩回)而缩回到外管15中。替代地，如果透热电极25、26、27安置在内管16上，则例如，显微内镜检查探针可以通过内管16的管腔28缩回。

参考图7，在替代布置中，电透热电极30、31、32本身可以是可伸缩的和可缩回的。当需要消融时，电极30、31、32可被致动以从内管16的远端延伸，并且当消融完成时可缩回到内管中，准备将内管和内窥镜探针转向到新的活检部位1。电极30、31、32可以由弹性材料或超弹性材料制成。电极30、31、32可通过携带显微内镜检查探针的内管16的轴向移动来致动，使得当内管16缩回时，电极有效地向外延伸并在消融阶段之前会聚在先前已经进行成像的点上。

可以并入到显微操纵设备10中的另一种形式的消融能量输送装置可以是激光消融系统。可以将激光消融纤维插入例如与显微内镜检查探针纤维相同的工作通道(例如，内管16的内腔28)中，延伸到内管16的远端。激光消融装置纤维可以在内管的远端处与显微内镜检查探针分开小的横向偏移。激光消融装置纤维也可以终止于偏离显微探针的z轴，如稍后讨论。

显微操纵设备10可以部署许多可能的转向机构，以实现内管16的远端相对于外管15的横向移动，从而以受控的方式实现内窥镜探针的x-y位移。转向机构可以被配置成进行自动扫描功能以允许显微内镜检查成像。这类机构有许多优选的特征，如定位精度和高重复性。在一个实例中，显微内镜检查探针可能仅具有100和300微米之间的视场，因此必须小心操纵，以便使用镶嵌算法可靠地生成图像。

因此，显微操纵机构理想地提供了良好的定位精度，并且避免了反冲、磁滞效应和其他“死区”。有可以提供这类运动控制属性的设计。Stewart-Gough平台就是这样一个实例。但是，这类设计倾向于使用许多致动器和大型且笨重的复杂机械部件，因此对于手持式显微操纵器的实现不是理想的。另外，基于齿轮或刚性结构的机构具有固有的齿隙，该齿隙通常难以补偿，或者要求如此高水平的制造精度，以致于它们在低成本、轻便的装置中的实现是不实际的。

顺应悬臂机制是规避这些问题的一种方法。现在将描述一种显微操纵或转向机构，其提供出色的定位精度以及非常低或可忽略的反冲、磁滞效应和其他“死区”，并且对于手持操作而言是轻质的。参考示意图8，操作原理是提供梁40(对应于内管16)，所述梁40锚固到锚固点45，并且可以通过42处指示的凸轮机构方式偏转到虚线41所指示的位置)。这样，可以操控梁46的远端。

参考图9和图10，转向机构50包括括框架51，在框架51上安装有一对马达52、53，每个马达驱动相应的马达轴54、55。每个马达轴54、55被联接以驱动具有相应的支承表面58、59的相应的凸轮杆56、57。支承表面58、59各自抵靠凸轮从动件62的相应边缘或支承表面60、61，凸轮从动件62的边缘支承表面60、61安置成“V”形式。凸轮从动件62固定到与图3和图4的显微操纵设备的内管16相对应的管63。管63延伸穿过框架51中的孔64。孔64提供足够的间隙以允许管63在孔内横向移位。管63在其近端65处固定到锚固点45(图8)，锚固点45相对于框架51是固定的，例如作为显微操纵设备10的外壳或外管15的一部分。管63的远端66在转向机构50的控制下自由地横向地，即在x和y方向上移动。显微内镜检查探针(未示出)通过合适的装置如平头螺钉、锁定机构或某种其他形式的结合牢固地固定到管的远端66。

在使用中，马达52、53用于独立地旋转两个凸轮杆56、57，使得支承表面58、59通过凸轮从动件62的支承表面60、61向管63施加所需的侧向力，这根据需要使管63偏转。在总体方面，凸轮从动件62为管63提供两个不平行的支承表面60、61，它们抵靠可旋转的凸轮支承表面58、59，以使凸轮杆56、57能够配合以使管63在期望的x，y方向上偏转。管63优选地在相对于孔64的中心的偏移位置处安装在锚固点45处，使得管63在x，y方向上某种程度上偏转或偏置，并且总是存在通过管63中的偏转施加在凸轮杆56、57上的固有弹性回复力。

这在图9a、9b和9c中示出，其中：图9a示出了凸轮杆56、57旋转到发散位置，从而允许凸轮从动件62和管63在自偏压下返回到孔64内的向下偏转位置；图9b示出了凸轮杆旋转到平行的向右位置，从而驱动凸轮从动件62和管63克服向下偏压到孔64内的向右和向上偏转位置；图9c示出了凸轮杆56、57旋转到会聚位置，驱动凸轮从动件62和管63克服向下偏压朝向孔64内的向上的中心偏转位置。应当理解，通过独立地控制马达52、53，可以将凸轮从动件62和管63驱动到偏转装置的可用范围内的任何所需的x-y位置。

凸轮杆56、57上的支承表面58、59可包括旋转轴承，以减小凸轮杆56、57和凸轮从动件62之间的摩擦。

如图9和图10所示的转向机构50的布置的优点在于，由于由管63安装/锚固点45从显微操纵设备10的中心z轴(例如穿过孔64的中心的轴线)偏移而提供的弹性恢复力，从而大大减小了反冲。显微操纵设备10可以操纵显微内镜检查探针尖端以在横向x和y上移动，并且可以用于进行扫描轨迹，例如光栅扫描或螺旋扫描。

在图11和图12所示的转向机构70的另一个实施例中，凸轮杆部件代替地并有用于向管63施加侧向力的开槽的特征。在该实施方式中，管63可以居中地安装(例如，在设备z轴上，和/或以无偏置的状态位于孔64的中心)。凸轮杆71、72各自具有狭槽或孔73、74，管63穿过所述狭槽或孔，并且凸轮杆71、72沿z轴彼此处于重叠关系。狭槽73、74可各自在两个相对的横向方向上推动管63，其中凸轮杆71、72中的每一个的推动方向与另一个杆不同，例如与其倾斜或正交。因此，通过马达52、53对凸轮杆的独立控制，凸轮杆71、72可协作以将管63驱动到转向机构70的范围内的x-y空间内的任何位置。因此，在总体方面，凸轮杆71、72例示了各自围绕内管63的一对驱动元件。

这种设计的优点在于，管63的回弹力较低并且更均匀(例如，与方向无关)。潜在的缺点可能是死区可能被引入转向机构中，但是这可以通过将弹簧加载的特征并入到杆中以使反冲最小化而得到补偿。这种机制还可以以与图9的装置相同的方式在管63上(例如在孔64内的向下方向上)的固有偏压下工作。

开槽的凸轮杆71、72可并有低摩擦表面以改进控制并减小静摩擦作用。低摩擦表面可以是抛光的金属表面或基于聚合物的表面。它们可能并有滚珠轴承。

在图9至图12的实例中，转向机构50、70大体上例示了偏转装置，所述偏转装置具有至少一对电致动可旋转凸轮表面，所述凸轮表面抵靠管63上的两个不平行支承表面以实现其在x-y空间中的运动。图11和12的布置提供了四个可旋转凸轮表面，并且大体上例示了具有围绕管63的一对驱动元件的布置。可以设想用于驱动凸轮杆的其他装置，如液压或气动马达，其由微处理器控制器(未示出)适当地电致动/控制。

使用图13所示的布置可以实现管63在如50或70的转向机构的偏压下偏转的挠性的改进。管63的近端65包含壳体的锚固点45附近的管的异型部分80。异型部分80被配置成局部地减小管63在弯曲点处的刚度，并因此通过确保致动器在转向过程中不会经历大的力变化来改进控制。

在图13的实例中，异型部分80可以由一系列弓形狭槽81、82提供，每个弓形狭槽围绕管63的圆周部分地延伸。一系列弓形狭槽81、82以围绕管轴线(z)的至少两个不同的径向角(优选正交的径向角)为中心，例如，一组狭槽81以x轴为中心，一组狭槽82以y轴为中心。以此方式，实现了围绕x轴和y轴的管63的弯曲刚度的减小。其他狭槽可以绕z轴以其他径向角度安置。

在另一实施例中，可以将应变仪安装到管63的近端65，以便可以测量变形，并且该信息用于显微操纵器机构的控制。在另一个实施例中，该功能可以通过旋转马达52、53中的编码器来执行。

图14示出了部分拆解的显微操纵设备10的透视图，其示出了具有手柄部分12的壳体11、部分地安装到外管15中的内管16、具有从框架51和壳体11撤回的马达52、53的转向机构50。管16穿过的孔64清晰可见，内管16穿过的凸轮从动件62也清晰可见。

可以对显微操纵设备进行其他修改。

可以提供力补偿机构，所述力补偿机构允许内管16上的显微内镜检查探针适应组织并进行一致的接触。这可以通过本领域中已经描述的多种方法来实现，包含机电力补偿、弹簧或气动装置。内管16相对于外管15的z位置或显微内镜检查探针在内管上相对于外管15的z位置可以根据抵靠设备的组织19施加在设备上的轴向压力来控制，如图15示意性所示。在这类布置中，内管16联接到外管15的锚固点45(图8)可以被配置成允许内管相对于外管的轴向(z)移动，同时保持固定的x-y轴关系。类似地，内管16将能够通过例如凸轮从动件62或通过狭槽73、74进行轴向(z)移动。

显微操纵设备可以设置有造影剂输送系统，如图16所示。造影剂用于改进正在研究的生物组织的图像质量。显微操纵设备160可在内管16/外管15的远端161处设置有用于分泌/输送造影剂163的喷嘴。造影剂163可以通过内管16的内腔或外管15的内腔输送。手柄部分12可以设置有致动按钮162。致动按钮162可以联接到顺应性移液器机构的可变形储液器，或者可以是如马达和丝杠的分配系统的电控制件，其用于控制可以输送精确控制体积的造影剂的注射器。

图17示出了显微操纵设备170，其并有用于显示来自显微内镜检查装置的图像的显示屏171。图像可以是来自多个活检部位的镶嵌图像，如结合图2所讨论的。

参考图18，转向机构(例如机构50或70)可以沿显微操纵设备的z轴定位在不同的位置，以用于x-y移动的不同缩放。例如，当转向机构50处于尖端处靠近内管16的远端66的位置时(如图18b所见)，凸轮杆56、57提供了尖端的大约1:1的移动比例，而当转向机构50处于更靠近近端65的位置时(如图18a所见)，在管16的远端66处的运动通过凸轮杆处的运动而被放大。图18b的布置可提供改进的稳定性，而图18a的实施例可由于极端位移位置中的z轴位置差异而提供改进的远端66(尖端)的精度。

图19示出了使用图9和图10的显微内镜检查探针对薄纸进行光栅扫描的实例，其示出了在光栅扫描中通过转向机构50进行的对携带内窥镜探针的内管16的远端的操纵如何能够实现复合图像的创建。类似地，图20示出了使用图9和图10的显微内镜检查探针对胃组织进行螺旋扫描的实例，其示出了在螺旋扫描中转向机构50进行的对携带内窥镜探针的内管16的远端的操作如何能够创建复合图像。通过使用转向机构生成图像的镶嵌图，可以在广阔的区域或视场范围内获得细胞的比例图像。

在优选的布置中，图像的镶嵌是在基于内窥镜图像的视觉伺服控制下进行的，如下所述。

实例1

在一个实例中，如上所述的显微操纵设备包含含两个动作按钮162、人体工学外壳11、12和外径为3.3mm的58mm长的钢外管15，其具有用于使多根纤维通过的通道。成像探针和能量传输纤维可以穿过直径2.7mm的管孔/内腔，并通过锁定机构固定。相同的通道可与其他类型的光学成像探针一起使用，从而为外科医生提供了用于各种光学活检技术的准确的扫描平台。

为了致动，使用了两个直径为6mm的微型伺服马达和256:1减速齿轮箱。这些伺服马达具有可允许使用专用的马达控制器进行闭环位置控制的集成的磁编码系统。马达控制器还提供驱动马达所需的功率。机器人扫描装置既可以以手持方式使用，也可以附接到机器人臂，并以协作方式进行操纵。后者在扫描期间提高了稳定性，并有助于避免外科医生的疲劳。图21给出了系统部件的整体示意图。

如上所述，扫描装置利用挠性机构提供仪器尖端的精确、受控的运动，同时产生最小的反冲。钢管被夹持在悬臂配置中，以便它的自由端可以在两个平面中偏转。然后，将两个凸轮辊机构与微型伺服马达结合使用，以使管偏转，从而产生管尖端的大致平面运动。这种配置允许了细长、低性能的致动系统，所述系统可装入直径为27mm的手持式装置(包含外壳)中。V型钢凸轮被焊接到管轴上；它由两个带有尖端安装轴承的钢制杠杆接合，这些轴承将侧向力施加到悬臂管。杠杆由两个伺服马达致动。悬臂管安装在装置的标称工作空间外部的空载位置，这确保了悬臂管始终会偏转，并因此预先加载在凸轮辊机构上，从而避免了侧隙误差。悬臂管和微型伺服马达都集成到管状底盘中，该底盘由人体工程学外壳包围，并且可以由操作员手持。

可以将不同的基于光纤的光学成像系统与扫描装置结合使用，其中使光纤穿过直径为2.7mm的内管通道。优选的显微内镜检查系统允许高帧速率成像和高速扫描。扫描仪已与双波长狭缝扫描系统和内窥镜检查系统一起使用。

使用了镶嵌算法，其可以与具有120fps采集速率的高速光学系统一起实时运行。该算法是成对的图像配准方法，其基于互相关峰的位置提供每对单独图像之间的偏移。

轨迹生成

对于仪器的运动学软件，可以使用不同的自动扫描模式，包含线性、光栅和螺旋轨迹。如前所述，所有输入信号都具有电压输入形式，因此，所有轨迹都在“电压”空间而不是笛卡尔空间中。但是，由于是线性对应关系，因此，如后所述，可以通过对两个空间的位移进行测量和相关来求出换算系数。另一个要求是，生成的点应导致恒定的线性或切向速度。这确保至少在没有严重组织变形的情况下，连续的显微内镜检查图像帧之间存在一致的重叠。

为了生成线性扫描轨迹，操作员可以指定扫描点频率f_s、线速度u_s和轨迹长度l_s。基于这些输入，每个点(x_i，y_i)生成为：

其中(x_c，y_c)是用作轨迹偏移的初始中心点。

对于螺旋轨迹，选择了阿基米德螺旋(Archimedean spiral)(也称为算术螺旋)模型，因为该模型具有以下特性：源自原点的任何线都以恒定的距离间隔与螺旋的连续旋转相交。在笛卡尔坐标中，阿基米德螺旋中的每个点(x_i，y_i)都描述为：

其中(x_c，yc)是用作轨迹的偏移的初始中心点，b为螺旋的角速度，并且θ_i是在该具体时刻的对应的角度。初始螺旋被认为从θ₀＝0开始。由于两个连续转弯之间的距离Δ_r被预先定义为期望的重叠，因此角速度为：

待扫描的最大圆形区域定义了螺旋轨迹的最终半径R_max，因此运动应终止的最大角度为：

螺旋轨迹的总长度可以定义为：

其可以近似为：

通过定义扫描点频率f_s和线速度u_s，在螺旋上的连续点之间的距离Δ_l可被定义为：

由于采样应该在规则的距离横跨螺旋的长度来进行，并且考虑到在螺旋上的连续点之间的距离也预先定义(Δ_l)，则在每个时刻i时，角度θ_i被计算为：

然后，可以根据公式5.2得出每个点(x_i，y_i)。由于螺旋长度的近似形式用于推导，因此在螺旋开始时，点仅大致均匀地间隔开。

使用显微图像的闭环视觉伺服

微观镶嵌提供的位置信息(呈集成图像偏移的形式)可用于控制机器人仪器。具体地说，将无模型的视觉伺服控制算法与机器人扫描仪结合使用。当机器人扫描计划的轨迹时，微观图像偏移将用作闭环比例积分微分(PID)控制系统的输入。这种方法使机器人扫描仪可以补偿组织变形和低频外部运动影响。对于此处考虑的机器人设计，探针相对于组织表面的旋转被认为是微不足道的，并且可以忽略不计。Rosa等人[216]的工作中最初描述了类似的方法，但是这是第一次探索外部运动影响，并且这类算法是在高速螺旋手持式扫描仪中实现的。

该控制算法的概念是使用2D镶嵌图图像平面中的图像偏移来控制仪器在笛卡尔空间(此处也称为“电压”空间)中的XY位置。当仪器垂直于组织表面放置并且由于扫描面积很小而在扫描任务期间不会改变(在下面讨论)时，由操作员手动定义Z分量。因此，为了使探针空间的x轴与图像空间的x轴对齐(并因此使y轴对齐)，应计算角度

以找到矩阵R并将镶嵌参照系的XY位置旋转到电压参照系中的XY位置：

其中L是将笛卡尔坐标转换为电压的因子。

在每个实验开始时计算角度

的计算是通过优化过程手动进行的，在该过程中，命令扫描仪遵循一条直线，并使用实时镶嵌输出，将命令坐标点与实际坐标点之间的误差降到最低。

在每个扫描任务开始时，将初始化镶嵌图图像中的探针位置并将其设置为：p_I(t＝0)＝(0,0)。该位置对应于镶嵌图图像的中心p_Ic＝(x_Ic,y_Ic)。随着扫描的继续，相对图像偏移随时间的积分对应于在时刻t的当前探针位置p_V(t)。因此，在每个时刻下，都可以将测量的探针位置p_V(t)与p*_V(t)(在时间t'时期望的探针位置)进行比较。由于所生成的轨迹和显微内镜检查图像之间的时间采样率不同，因此将最接近实际测量值t的生成的时刻t'用作期望的探针位置。为了补偿位置差异，实现了基于PID的控制器；这里仅使用PI项，因为派生项易于产生测量和时序误差。在实践中，PI控制器足以满足所提出的视觉伺服控制算法，因为P项消除了稳态误差，而I项则加快了向设定点的运动更快，并进一步消除了稳态误差。另外，由于变量因速度近似恒定而缓慢变化，因此扫描任务主要是准静态的。

对电压空间中的探针轨迹的所需的校正可以计算如下：

其中增益K_p和K_I分别是比例项和积分项。使用消除稳态误差并最小化过冲的标准方法，手动进行增益调整。所选的PI项是：Kp＝10min^-1和K_I＝0.4min^-2。

控制算法的示意图描绘于图22。

机械性能评估与表征

悬臂管的潜在问题是管尖端的运动近似于平面，这意味着如果轴向分量(Z分量)差大于光学成像系统的工作距离，则无法保证最佳成像效果。由于这个原因，进行了CAD模拟，以便计算出工作空间各个极端位置的轴向差，结果描绘于图23中。可以看出，选定的58mm长度提供了小于50微米的差异。实际上，这足够小以通过组织的弹性来补偿。

此外，优化了马达的位置，进而优化了凸轮辊机构的配置，从而以可能最小的致动系统整体尺寸实现了可能最大的工作空间。如图24所见，已经进行了四种不同配置的CAD模拟。图24a示出了在分析凸轮辊位置期间探索的四种不同的位置配置。图24b示出了图24a的四种不同配置的模拟工作空间结果。结果，选择了凸轮辊机构之间10mm的位置差的配置，因为它提供了最大的模拟工作空间(17.95mm²)。

定制跟踪装备

测量系统可以在几微米的范围内提供准确的跟踪测量结果，大约比显微镜探针的有效FoV小10倍。如电磁跟踪仪和光学跟踪仪的商业测量系统提供的精度不超过100μm，仅比FoV小2倍。因此，制造了一种定制跟踪装备，其跟踪精度为几微米，可以有效地测量仪器的尖端，而无需在仪器上施加任何额外的重量。

装备由沿仪器扫描机构的轴线固定的相机(如图9-12中提供的那些实例)以及在两者之间以将探针的尖端聚焦到相机的镜头组件组成。插入管中的成像探针用于将光中继到仪器的尖端，并且在仪器扫描时，相机可能会记录1280×1024像素的视频。输出图像的背景是深色的，仪器的尖端位于明亮的圆圈内。然后需要进一步处理以测量圆圈的中心，以及因此在任何时间的仪器的相对尖端位置。

将输出转换为二进制图像后，仪器的尖端示出为直径15像素的圆圈。使用基于两步循环霍夫变换方法的圆圈跟踪，并在线记录圆圈的中心。跟踪系统的整体分辨率经测量为7.5微米，比显微图像FoV(240微米)小32倍，因此适合用作系统的跟踪方法。

工作空间评估

通过使用最佳的机械设计参数和前面提到的跟踪装置，可以评估仪器的整体工作空间。通过命令仪器在整个工作空间中进行扫描，可以找到工作空间的线性和非线性部分，并可以确定最佳的工作空间。在工作空间的上边缘和右边缘，机构的杠杆与凸轮失去接触，而在下边缘和左边缘，凸轮机构中有一个机械挡块。产生的中间线性工作空间约为14mm(3.7×3.7mm面积大小)。线性工作空间的所得限制用于约束仪器的运动，以使其停留在此线性区域内。

圆圈跟踪方法还用于评估仪器的可重复性和精度。已经评估了两种不同的扫描方法(螺旋扫描和光栅扫描)。在重复中使用相同的参数，依次进行三个重复的螺旋轨迹和四个重复的光栅轨迹。测量相对于原始计划的位置误差，其中最大位置误差不超过30微米，并且所有轨迹的平均误差为10.7微米。后者意味着该仪器具有与跟踪系统相似的可重复性和精度，同时提供的FoV约为显微镜探针的22倍。这是定制的大面积机器人扫描装置首次在精度和可重复性方面展示出这样的性能。

微观视觉伺服评估

最初，使用展示出预定义网格图案的定制体模对微观图像的视觉伺服方法进行验证和评估(见图25a)。通过激光打印机将体模打印在一张纸上，并用荧光标记物涂覆，以使其通过显微内镜检查探针可见。网格图案中的每个正方形的线粗为73μm，宽度为237μm。使用台式显微镜确认打印的体模的精度，表明打印机可以将分别为±6μm和±5μm的最大误差引入地面真值中。镶嵌图结果呈现于图25b中。使用镶嵌图图像测量了网格图案的线条和宽度，以验证视觉伺服算法，如表1所见。每个图像上总共进行22个样本测量，记录线粗和正方形宽度。应该提到的是，这些测量是手动进行的，导致距离计算中的分割误差较小。但是，这些误差无法与扫描装置的整体FoV相提并论，因此不会影响最终结果。尽管仪器具有很高的精度，但即使在表面未变形的情况下，开环性能在网格可视化方面也不是完美的。这可以通过各种机械缺陷来解释，尤其是可以通过仪器的取向不能完全垂直于扫描表面的事实来解释，这会导致一个方向上的微小漂移。

单位：μm	地面真值	使用视觉伺服	开环
				线粗	73±6	69±3	70±3
正方形宽度	237±4	235±10	236±13

表1：在有和没有视觉伺服的情况下，台式测量与生成的镶嵌图之间的比较。

然而，当出现意外的运动和变形时，在开环和闭环控制方面存在显著差异。为了展示和评估，夹持并命令刚性扫描仪在移动的表面上进行螺旋扫描。最初，将用局部荧光造影剂吖啶黄染色的镜头薄纸放在电动平移台的顶部上，该平移台被命令沿x轴和y轴在±100μm范围内以随机运动移动，速度为1毫米/秒。

从图26中可以看出，螺旋形图案无法以开环方式形成。这在右侧的位置图中很明显，这表明镶嵌图轨迹(其近似于探针的真实轨迹)(允许任何小变形)与命令的轨迹有显著偏离(理想情况下应重合)。相反，在视觉伺服算法的情况下，由于镶嵌图轨迹遵循期望的螺旋轨迹，几乎消除了运动的影响。注意，在视觉伺服结果中，由提供给仪器的实际输出信号组成的控制轨迹并不遵循任何特定模型，这表明了无模型PID方法的重要性。图27中呈现了当探针扫描网格图案上的螺旋时的随机运动，如外部干扰。图28中描绘了在镜头纸和结肠组织(也用吖啶黄染色)上的进一步离体结果。这里重要的是要提出，结肠组织的结果不仅示出对外部运动的抑制，还示出对组织变形的补偿。

因此，这往往会增加可变形表面的有效FoV，如可以在图29中看出，其中视觉伺服覆盖区域的直径为1.1mm，而无视觉伺服的区域为0.94mm。

镶嵌结果

通过离体组织实验进一步评估了机器人扫描仪的性能(见图30)。夹持时用仪器扫描人乳腺组织(正常和肿瘤)。夹持被用作手持操作，由于手部动作而引入了动作伪像，从而产生了大面积镶嵌的问题。这些实验的主要目的是用高速、特定的感兴趣区域进行扫描，以评估其组织学特征。因此，分别在13和8秒内覆盖了大约1mm(图30a、e、f)和1.7mm(图30b-d)外径的组织区域。这里的时间差异是因为在图30a-c的扫描中选择了较慢的速度。在猪结肠组织上进行了另外的实验，以评估仪器在其他类型组织上的性能(图30e-f)。

所呈现的镶嵌图示出了在稳固夹持时仪器的性能，以展示所提出工作的增强扫描能力。这是该系统中包含具有协同控制功能的机器人臂的主要原因。操作员可以手动方式操纵臂，将其放置在期望位置，然后按下按钮以扫描要检查的区域。另一方面，操作员可以选择从机器人臂上卸下仪器并以手持方式进行操作。图31中展示了样例镶嵌结果，该结果比较了手持式和夹持在机器人臂中的仪器的使用。示出了直径为2mm和4.1mm的镜头纸区域的高分辨率显微扫描。

如前所述，仪器特征是管状通道，可以将不同的基于光纤的光学成像探针插入其中。为了展示仪器与其他内窥镜的使用，测试了内部双波长狭缝扫描共聚焦系统和内窥镜检查系统。每个系统的样例离体镶嵌图结果呈现于图5.18中。用内窥镜检查系统扫描的人乳腺组织局部用造影剂亚甲蓝染色。使用双波长系统的镜头纸镶嵌图是通过用造影剂吖啶黄局部染色纸的一部分并用亚甲基蓝染色剩余来获得的。在两个部分之间的边缘上进行扫描，以便可视化两种造影剂并因此可视化两个波长的镶嵌。

能量输送结果

最后，这是机器人辅助显微内镜检查中的第一次，呈现了示出如何将纤维化的CO₂激光消融系统集成到扫描装置中的初步结果。使用激光消融系统的概念是，操作员可以通过显微镜评估组织，并且如果识别出癌细胞或肿瘤边缘，则可以使用激光实时标记或烧灼检查区域。激光以“超级脉冲”模式(单脉冲，3W功率和40毫秒的持续时间)使用，以便在目标上提供小的精确标记。激光纤维通过与显微镜纤维束相同的通道插入，并在仪器尖端处被一个小的水平机械偏移所隔开(见图33a-c)。另外，由于其工作范围，在仪器的尖端处，激光纤维在距显微镜探针尖端1-2mm的垂直偏移处固定(见图33b)。由于两根纤维横向偏移，为了能够在显微镶嵌图的中心处消融，在CO₂激光烧制期间，对探针的位置施加了偏移。确定该偏移量需要准确测量机械偏移(见图33c)。为此，使用了定制跟踪装备，并实时跟踪了这两根纤维。由于使用CO₂激光会损坏相机，因此，为了进行校准，可使用联接到第一LED的多模纤维代替它。通过命令尖端移动以使第一圆圈331(CO₂纤维)与第二圆圈332(显微镜纤维)的初始位置重合，从而在电压空间中找到水平偏移(见图33d)。

为了验证先前的方法，在已使用螺旋图案镶嵌的区域的中心发射激光脉冲，然后再次对其进行镶嵌。图33(e)示出了消融前后的区域。正如预期的那样，激光标记位于镶嵌图的中心。在图34中，使用关于图25描述的网格图案，遵循相同的过程。激光发出的脉冲非常短，在最小的热损伤(径向<50μm)的情况下消融直径为104μm的区域，如台式显微镜的图像所见。同样，由于消融区域中图像的相关性很小，因此实时镶嵌在这里也没有像先前的镶嵌实例那样提供准确的成对配准。然而，结果表明，在同一参照系中将显微镜与激光消融纤维相结合可能有助于术中肿瘤标记和消融。

其他实施例有意地在所附权利要求书的范围内。

参考文献

[1]W.T.Latt,R.C.Newton,M.Visentini-Scarzanella,C.J.Payne,D.P.Noonan,J.Shang等人,"一种在基于探针的共聚焦激光显微内镜检查期间用于保持稳定的组织接触的手持式仪器(A hand-held instrument to maintain steady tissue contact duringprobe-based confocal laser endomicroscopy),"《IEEE生物医学工程汇刊(IEEETrans.Biomed.Eng.)》,第58卷,第2694-2703页,2011.

[2]W.T.Latt,T.P.Chang,A.Di Marco,P.Pratt,K.-W.Kwok,J.Clark等人,"一种在微创手术期间用于基于体内探针的共聚焦激光内窥镜检查的手持式仪器(A hand-heldinstrument for in vivo probe-based confocal laser endomicroscopy duringminimally invasive surgery),"《IEEE/RSJ国际智能机器人和系统会议(IEEE/RSJInternational Conference on Intelligent Robots and Systems)》,2012,第1982-1987页。

[3]B.Rosa,B.Herman,J.Szewczyk,B.Gayet,and G.Morel,"腹腔镜光学活检：基于探针的共聚焦显微内镜检查的体内机器人化镶嵌(Laparoscopic optical biopsies:invivo robotized mosaicing with probe-based confocal endomicroscopy),"《智能机器人和系统(IROS)，2011年IEEE/RSJ国际会议(Intelligent Robots and Systems(IROS),2011IEEE/RSJ International Conference)》,2011,第1339-1345页。

[4]P.Giataganas,C.Bergeles,P.Pratt,M.Hughes,A.Darzi和G.-Z.Yang,"经肛门内镜显微外科手术中显微和内窥镜图像的术中3D融合(Intraoperative 3D Fusion ofMicroscopic and Endoscopic Images in Transanal Endoscopic Microsurgery),"《哈姆林医学机器人研讨会(The Hamlyn Symposium on Medical Robotics)》,2014,第35页。

[5]P.Giataganas,M.Hughes和G.-Z.Yang,"用于术中肿瘤识别的强制自适应机器人辅助显微内镜检查(Force adaptive robotically assisted

endomicroscopy for intraoperative tumour identification),"《国际计算机辅助放射学和外科杂志(International journal of computer assisted radiology andsurgery)》,第1-8页。

[6]D.P.Noonan,C.J.Payne,J.Shang,V.Sauvage,R.Newton,D.Elson等人,“用铰接式机器人内窥镜的强制自适应多光谱成像(Force adaptive multi-spectral imagingwith an articulated robotic endoscope)”,《医学图像计算和计算机辅助干预：MICCAI...医学图像计算和计算机辅助干预国际会议(Medical image computing andcomputer-assisted intervention:MICCAI...International Conference on MedicalImage Computing and Computer-Assisted Intervention)》,第13卷,第245-252页，2010。

[7]M.S.Erden,B.Rosa,J.Szewczyk和G.Morel,"了解微腹腔镜表面扫描的软组织行为(Understanding soft tissue behavior for microlaparoscopic surface scan),"《智能机器人和系统(IROS)，2012年IEEE/RSJ国际会议(Intelligent Robots and Systems(IROS),2012IEEE/RSJ International Conference)》,2012,第2928-2934页。

[8]C.J.Payne和G.-Z.Yang,"手持式医疗机器人(Hand-held medicalrobots).,"《生物医学工程学年鉴(Annals of biomedical engineering)》,第42卷,第1594-605页,2014。

Claims

1.一种显微操纵设备，其包括：

外管，其限定所述设备的纵向z轴；和

内管，其至少部分地安置在所述外管内并具有延伸穿过其的连续工作通道，所述内管进一步包含延伸穿过其的内窥镜探针；

转向机构，其被配置成可控制地改变所述内管的远端相对于装置z轴的横向x，y位置；和

消融能量输送装置，其沿所述z轴延伸穿过所述设备。

2.根据权利要求1所述的显微操纵设备，其中所述消融能量输送装置进一步包括在所述内管或所述外管的所述远端处的至少一个消融电极。

3.根据权利要求1所述的显微操纵设备，其中所述消融能量输送装置包括：

用于将光能传输到所述内管的所述远端的光纤；或

至少一个电导体，其穿过所述内管并在所述内管的所述远端处联接到至少一个电极。

4.根据权利要求2或权利要求3所述的显微操纵设备，其中所述消融电极是可缩回的。

5.根据权利要求1所述的显微操纵设备，其进一步包含造影剂输送机构，所述造影剂输送机构被配置成通过所述内管的所述连续工作通道或通过所述外管的内腔将造影剂输送到所述内管的所述远端。

6.根据权利要求1所述的显微操纵设备，其中所述内窥镜探针包括延伸穿过所述内管的所述工作通道的成像光纤。

7.根据权利要求1所述的显微操纵设备，其中：

所述内管在第一纵向位置处联接到所述外管，以形成延伸到所述内管的所述远端的悬臂，并且

所述转向机构包括偏转装置，所述偏转装置定位在所述外管内，在所述第一纵向位置和所述内管的所述远端之间的中间位置处，所述偏转装置被配置成使悬臂式内管在所述外管内横向偏转，以便调节所述内管的所述远端相对于装置z轴的x，y位置。

8.根据权利要求7所述的显微操纵设备，其中所述偏转装置包括一对电致动能旋转凸轮表面，所述一对电致动能旋转凸轮表面被配置成抵靠所述内管的两个不平行支承表面，以实现所述内管在横向于装置z轴的选定方向上的运动。

9.根据权利要求8所述的显微操纵设备，其中所述内管的所述两个支承表面包括联接到所述内管的V形截面部件的倾斜的两个表面。

10.根据权利要求7所述的显微操纵设备，其中所述内管联接到所述外管的所述第一纵向位置包括锚固点，所述锚固点从装置z轴横向偏移以提供从装置z轴的偏置。

11.根据权利要求8所述的显微操纵设备，其中所述一对凸轮表面包括各自围绕所述内管的一对驱动元件。

12.根据权利要求6所述的显微操纵设备，其中邻近所述第一纵向位置的所述内管的部分被成形为用于局部减小邻近所述第一纵向位置的内管刚度。

13.根据权利要求1所述的显微操纵设备，其中所述转向机构进一步被配置成可控制地改变所述内管的所述远端相对于所述外管的纵向z位置。

14.根据权利要求1所述的显微操纵设备，其中所述转向机构被配置成控制所述内管相对于所述外管的纵向z位置，以通过所述内管的所述远端对检查的试样施加预编程的轴向力。

15.根据权利要求1所述的显微操纵设备，其进一步包含：

图像处理器，其被配置成分析来自所述成像光纤的图像；和

控制器，其被配置成基于所述分析的图像，光学地确定所述内管的所述远端的位移幅度。

16.根据权利要求15所述的显微操纵设备，其中所述控制器被配置成使用所述光学确定的位移幅度作为对所述转向机构的反馈。