CN111345898B - 激光手术路径引导方法、及其计算机设备和系统 - Google Patents

Abstract

本申请提供的一种激光手术路径引导方法、及其计算机设备和系统，通过获取患者眼眶的三维影像信息以构建三维模型；在所述三维模型上标记手术路径的关键点坐标；通过相机采集患者眼眶一参考点上设置的ArUco标签，以计算出至少两个设有激光发射器的机械臂在世界坐标系中的位姿坐标信息，并实现三维模型与各机械臂在世界坐标系中的空间配准；依据所述关键点坐标令各机械臂进行关节参数转换、及坐标转换，以实现至少两个所述机械臂上的激光发射器所发射的激光定位至患者眼眶上对应三维模型的关键点坐标。本申请能够实现了激光束在颅骨模型预先标记的手术路径的关键点处的平滑移动，以及在模型位置更改后可以进行姿态调整和关键点的精确激光投影。

Description

激光手术路径引导方法、及其计算机设备和系统

技术领域

本发明涉及的现实增强技术领域，特别是涉及一种激光手术路径引导方法、及其计算机设备和系统。

背景技术

导航手术应用于眼眶病、头颈疾病、骨科疾病、颅脑疾病等具有高精度要求的手术，手术操作的精确程度是影响患者预后的重要因素。传统导航技术仅解决了定位难题，但如何在术中直观、原位引导术者准确实施既定手术操作是仍待解决的问题，且昂贵的价格限制了其使用。

如现有的外科手术计算机辅助导航系统是一种三维定位的手术支持系统，为外科医生进行手术规划提供相对客观、准确的手段，能够根据实际手术的需要，进行手术定位，在计算机显示器上对手术工具周围的组织作相应的显示，从而对手术进行实时的导航[1]。但是，导航探针在患者身上的定位和位置信息在计算机显示器上的平面显示带来的不直观、非原位的缺点，以及限制了导航手术的精度，延长了导航手术的时间，增加了导航使用的难度[2]。

而将激光与导航相结合用于手术动作路径的引导，可能是解决以上问题的一个契机。激光定位技术指将激光发射器与医学透视设备通过一定方法有机结合，以激光束引导手术器械到达患者相应的解剖位置，执行手术[3]。常用的激光定位系统分2大类：(1)直接用激光指示定位：将激光及驱动装置安装在影像设备上，如CT、C臂X线机等，采用单束或双束十字交叉激光用于手术定位导航。(2)通过激光追踪引导手术器械：用于追踪、捕捉可视激光束，可引导手术器械的位置、方向、深度，达到手术靶区域[4]。

激光投影系统和CT相结合主要用于活检穿刺，能在体表准确投射出皮肤进针点位置和方向，激光定位设备与光学定位追踪系统的结合有利于术中操作误差的降低[5]。Toshihiko等研发了一种与光学定位追踪系统结合的双激光定位系统。该系统中两束交叉的激光直接投射体表和连接套筒以确定线性手术器械的术中路径，在手术器械末端安装发光二极管， OPTOTRA光学定位感应器便可感应手术器械的位置、方向。结果显示用该系统进行克氏针置入误差和角度误差均明显下降[6-7]。在此基础上，Liao等则提出激光定位系统与视觉图像叠加3D技术的结合，将激光定位系统与光学追踪系统结合后，双束激光的三维位置可在 POLARIS系统中测得，采用立体视觉图像叠加技术将患者的三维影像通过一面半镀银镜子叠加到患者身上，外科医生即可以在患者三维影像结合激光定位下进行手术，经25次膝关节模型手术显示，插入点位置误差和角度误差显著减低，基本能够满足精确制导膝关节手术的要求[8-9]。

在上述主要应用的于手术中的激光定位装置中，依赖于术中X线、CT的类型增加了术者和患者的射线暴露。除骨科手术及少数需使用一体化手术室的手术外，手术过程一般不涉及射线[10]。但无头架固定和头位频繁变动的事实情况使得上述两种主流激光定位系统无法有效地在术区引导手术路径[11]。

Poseestimation在计算机视觉领域扮演着十分重要的角色，并用于机器人导航、增强现实等，其基础是找到现实世界和图像投影之间的对应点[12]。确定过上述对应点最为流行的一个途径是基于二进制平方的标记，例如基于ArUco库的aruco模块[13]。其亚毫米级的定位精度、对环境的较低要求使其在医疗上的应用成为可能，并在laparoscopicsurgery，peri-acetabular osteotomy surgery等方面进行了初步的探索[14-15]。然而，应用上述技术，针对更为广泛手术类型、可更大限度挖掘术前影像数据价值的手术路径引导和手术边界提示的研究未见报道。

本申请将基于poseestimation的探索基于ArUco现实增强库的激光手术路径引导系统，为动态、安全、准确地引导手术路径和明确手术边界提供了一种高效、准确、硬件要求低的新方法。

参考文献：

1.Sembrano JN,Yson SC,Theismann JJ.Computer Navigation in MinimallyInvasive Spine Surgery.Curr Rev Musculoskelet Med.2019Nov 7.

2.Theodoraki MN,Ledderose GJ,Becker S,Leunig A,Arpe S,Luz M,StelterK.Mental distress and effort to engage an image-guided navigation system inthe surgical training of endoscopic sinus surgery:a prospective,randomisedclinical trial.Eur Arch Otorhinolaryngol.2015 Apr；272(4):905-913.

3.Sklar LR,So JJ,Burnett CT,Ozog DM.Laser-assisted patientpositioning:a straightforward method to ensure consistent head and neckaesthetic photographs.Dermatol Surg.2013 Feb；39(2):306-8.

4.Crop F,Pasquier D,Baczkiewic A,DoréJ,Bequet L,Steux E,Gadroy A,Bouillon J, Florence C,Muszynski L,Lacour M,Lartigau E.Surface imaging,laserpositioning or volumetric imaging for breast cancer with nodal involvementtreated by helical TomoTherapy.J Appl Clin Med Phys.2016Sep 8；17(5):200-211.doi:10.1120/jacmp.v17i5.6041.

5.Moser C,Becker J,Deli M,et al.Anovel Laser Navigation Systemreduces radiation exposure and improves accuracyand workflow of CT-guidedspinal interventions：a prospective， randomized，controlled，clinical trial incomparison to conventional freehand puncture.Eur J Radiol,2013,82(4):627-632.

6.Sugano N,Sasama T,Nishihara S,et al.Clinical applications of alaser guidance system with dual laser beam rays as augmented reality ofsurgical navigation.CARS 2002 Computer Assisted Radiology and Surgery,Springer,2002:281-284.

7.Nakajima Y,Dohi T,Sasama T,et al.Surgical tool alignment guidanceby drawing two cross-sectional laser-beam planes.IEEE Trans Biomed Eng，2013,60(6):1467-1476.

8.Liao H,Ishihara H,Tran HH,et al.Fusion of laser guidance and 3-Dautostereoscopic image overlay for precision-guided surgery.Medical Imagingand Augmented Reality,Springer, 2008:367-376.

9.Liao H,Ishihara H,Tran HH,et al.Precision-guided surgicalnavigation system using laser guidance and 3D auto stereoscopic imageoverlay.Comput Med Imaging Graph,2010,34(1):46-54.

10.Bowles H,Sánchez N,Tapias A,Paredes P,Campos F,Bluemel C,ValdésOlmos RA, Vidal-Sicart S.Radioguided surgery and the GOSTT concept:From pre-operative image and intraoperative navigation to image-assisted excision.RevEsp Med Nucl Imagen Mol.2017May- Jun；36(3):175-184.

11.Metz P,Adam J,Gerken M,Jalali B.Compact,transmissive two-dimensional spatialdisperser design with application in simultaneousendoscopic imagingandlasermicrosurgery.ppl Opt.2014Jan 20；53(3):376-82.

12.ShojaGhiass R,Laurendeau D.Highly Accurate and Fully Automatic 3DHead Pose Estimation and Eye Gaze Estimation Using RGB-3D Sensors and 3DMorphable Models.Sensors(Basel).2018Dec 5；18(12).pii:E4280.

13.Xing B,Zhu Q,Pan F,Feng X.Marker-Based Multi-Sensor Fusion IndoorLocalization System for Micro Air Vehicles.Sensors(Basel).2018May 25；18(6).pii:E1706.

14.Sato M,Koizumi M,Hino T,Takahashi Y,Nagashima N,Itaoka N,UeshimaC,Nakata M, Hasumi Y.Exploration of assistive technology for uniformlaparoscopic surgery.Asian J Endosc Surg.2018Nov；11(4):325-328.

15.Pflugi S,Vasireddy R,Lerch T,Ecker TM,Tannast M,Boemke N,Siebenrock K,Zheng G. Augmented marker tracking for peri-acetabular osteotomysurgery.Int J Comput Assist Radiol Surg. 2018Feb；13(2):291-304.

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种激光手术路径引导方法、及其计算机设备和系统，以解决现有技术中的问题。

为实现上述目的及其他相关目的，本申请提供一种激光手术路径引导方法，所述方法包括：获取患者眼眶的三维影像信息以构建三维模型；在所述三维模型上标记手术路径的关键点坐标；通过相机采集患者眼眶一参考点上设置的ArUco标签，以计算出至少两个设有激光发射器的机械臂在世界坐标系中的位姿坐标信息，并实现所述三维模型与各所述机械臂在世界坐标系中的空间配准；依据所述关键点坐标令各所述机械臂进行关节参数转换、及坐标转换，以实现至少两个所述机械臂上的激光发射器所发射的激光定位至患者眼眶上对应所述三维模型的关键点坐标。

于本申请的一实施例中，所述机械臂的关节参数包括：盘底角度、底盘与第一节臂之间的角度、第一节臂与第二节臂之间的角度，第二节臂与夹子之间的角度、夹子旋转角度、及夹子开合状态。

于本申请的一实施例中，所述依据所述关键点坐标令各所述机械臂进行关节参数转换，包括：所述第一节臂与第二节臂所构成关节的坐标：

所述第二节臂与夹子所构成关节的坐标：

所述激光发射器发射的激光覆盖的直线表达式：

其中，所述机械臂的底盘中心为原点；L1为第一节臂长度；L2为第二节臂长度；α为盘底角度；β为底盘与第一节臂之间的角度；γ为第一节臂与第二节臂之间的角度；δ为第二节臂与夹子角度；R为第三关节距目标点距离所述目标点的距离。

于本申请的一实施例中，依据所述关键点坐标令各所述机械臂进行关节坐标转换，包括：

其中，

为关键点坐标；在手术环境内，所述激光发射器发射的激光射程距离可视为足够长，则r可为任意值，只需调节所述关节参数满足θ、

即可，则可计算得：

其中，L1为第一节臂长度；L2为第二节臂长度；α为盘底角度；β为底盘与第一节臂之间的角度；γ为第一节臂与第二节臂之间的角度；δ为第二节臂与夹子角度。

于本申请的一实施例中，所述方法包括：通过增加约束条件以简化需要修改的参数数量；所述约束条件如下：1)使激光延长线永远与原点-目标点连线相符，则β、γ、δ具有约束条件；γ＝β+δ+θ-π/2；2)固定γ值，令γ＝π/2；则δ值可确定：

在1)、2)约束条件下，根据所述目标点的三维坐标计算出θ后，只需要调整β即可：

预设γ、δ参数后，实现只需调节α、β符合θ、

需求即可。

于本申请的一实施例中，所述方法还包括：当所述激光发射器的激光轴线不在机械臂轴线上时，通过补偿算法以进行修正，包括：

其中，k为激光轴线与机械臂轴线之间相对位移；a₂为机械臂轴线与z轴夹角；L为原点与所述目标点连线在xoy平面上的投影。

于本申请的一实施例中，所述通过相机采集患者眼眶一参考点上设置的ArUco标签，以计算出至少两个设有激光发射器的机械臂在世界坐标系中的位姿坐标信息，并实现所述三维模型与各所述机械臂在世界坐标系中的空间配准，包括：将具有图像识别代码的ArUco标签定位于患者眼眶一参考点上；所述ArUco标签由外部黑色边框和编码二进制图案的内部区域组成；通过预设的相机捕获所述ArUco标签，以获取所述ArUco标签在3D世界坐标系中的坐标和2D图像坐标系中的对应坐标，从而计算出相机在世界坐标系中的位姿坐标信息；根据至少两个所述机械臂与所述相机预设的相对位置，并结合所述ArUco标签在3D世界坐标系中的坐标，以实现所述三维模型与各所述机械臂在世界坐标系中的空间配准。

于本申请的一实施例中，所述患者眼眶的三维影像信息是通过X光、CT、MRI、及超声中任意一种或多种组合进行的预先获取的。

为实现上述目的及其他相关目的，本申请提供一种计算机设备，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如上所述的方法；所述通信器用于与外部设备通信连接。

为实现上述目的及其他相关目的，本申请提供一种激光手术路径引导系统，所述系统包括：如上所述的计算机设备、至少两个设有激光发射器的机械臂、及用于空间配准的相机；所述机械臂包括：盘底、第一节臂、第二节臂、及可旋转和开合的夹子。

综上所述，本申请的一种激光手术路径引导方法、及其计算机设备和系统，通过获取患者眼眶的三维影像信息以构建三维模型；在所述三维模型上标记手术路径的关键点坐标；通过相机采集患者眼眶一参考点上设置的ArUco标签，以计算出至少两个设有激光发射器的机械臂在世界坐标系中的位姿坐标信息，并实现所述三维模型与各所述机械臂在世界坐标系中的空间配准；依据所述关键点坐标令各所述机械臂进行关节参数转换、及坐标转换，以实现至少两个所述机械臂上的激光发射器所发射的激光定位至患者眼眶上对应所述三维模型的关键点坐标。

具有以下有益效果：

通过头颅模型上手术路径关键点坐标进行的原位激光路径实时引导的成功实施，为动态、安全、准确地引导手术路径和明确手术边界提供了一种高效、准确、硬件要求低的新方法。能够实现了激光束在颅骨模型预先标记的手术路径的七个关键点处的平滑移动，以及在模型位置更改后可以进行姿态调整和关键点的精确激光投影。

附图说明

图1显示为本申请于一实施例中激光手术路径引导系统的场景示意图。

图2显示为本申请于一实施例中激光手术路径引导方法的流程示意图。

图3显示为本申请于一实施例中机械臂的结构示意图。

图4A-4C显示为本申请于一实施例中机械臂的关节参数的模型示意图。

图5显示为本申请于一实施例中三维坐标转换的模型示意图。

图6显示为本申请于一实施例中的计算机设备的结构示意图。

图7显示为本申请于一实施例中激光手术路径引导系统的结构示意图。

具体实施方式

以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，于图式中仅显示与本申请中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

一般在计算机辅助手术操作的过程中，定位精度的保障是术中使用的先决条件。例如在眼眶重建手术中，2mm的眼球突出度差异、2mm的眶区对称度差异都是评价手术成败的重要因素。在此类对精度要求较高的手术中引入计算机辅助手术规划、手术路径引导、手术边界提示才有其价值[16]。在前期研究中，主要使用的是红外导航与内窥镜相结合的技术实现对患者和深部病灶的定位与辅助操作，提升了手术精度[17]。然而，由于经典的导航系统的手术路径和病灶显示停留在导航仪屏幕上，术中操作时术前的手术规划不能直观体现在患者病灶原位，提升了对术者对图像信息的理解要求和应用门槛。基于对技术易用性的追求和服务术者的基本思想，本申请结合poseestimation的理解和对激光定位装置的搭建，探索使用ArUco 现实增强库的激光手术路径引导系统。

为解决上述问题，本申请提供了一种激光手术路径引导方法、及其计算机设备和系统，本申请主要通过导入患者眼眶的三维影像信息进行三维重建，并在重建模型上标记手术路径的关键点坐标，另外使用ArUco现实增强库实现患者的目标点和至少两台搭载激光发射器的六自由度的机械臂的空间配准，依据关键点坐标操控至少两台机械臂，通过多关节参数转换、坐标转换实现激光定位。

如图1所述，展示为本申请一实施例中的激光手术路径引导系统的场景示意图。如图所示，所述系统包括：计算机设备110、至少两个六自由度的机械臂120、及相机130。

于一或多个可实现的实施例中，所述计算机设备110首先获取患者眼眶的三维影像信息，例如患者眼眶处的CT数据，然后据以构建三维模型；其次，在该三维模型上标记处手术路径的关键点坐标；然后在患者眼眶一参考点上放置图像识别代码定位的ArUco标签，由相机 130进行捕获该ArUco标签，以获取所述ArUco标签在3D世界坐标系中的坐标和2D图像坐标系中的对应坐标，从而计算出相机130在世界坐标系中的位姿坐标信息，然后将至少两个设有激光发射器的机械臂120与相机130的相对位置进行预设，以此获得机械臂120在世界坐标系中的坐标信息，然后结合所述ArUco标签在3D世界坐标系中的坐标，以实现所述三维模型与各所述机械臂120在世界坐标系中的空间配准。优选地，至少两个机械臂120设于患者眼眶上方；最后，依据所述关键点坐标令各所述机械臂120进行关节参数转换、及坐标转换，以实现至少两个所述机械臂120上的激光发射器所发射的激光定位至患者眼眶上对应所述三维模型的关键点坐标。

如图2所示，展示为本申请一实施例中的激光手术路径引导方法的流程示意图。如图所示，所述方法包括：

步骤S201：获取患者眼眶的三维影像信息以构建三维模型。

于本申请一实施例中，所述眼眶的三维影像信息是通过X光、CT、MRI、及超声中任意一种或多种组合进行的预先获取的。

例如，通过CT检测获取对应患者眼眶的多个切面的影像信息，然后通过融合重新构建形成头颅三维影像模型，但是通过如上方式获取三维影像信息只能呈现于计算机显示器中，在实际手术中，需要医生在计算机显示器与现实场景中患者病灶处不断往复观看，以进行判断，应用起来相当麻烦和不准确。因此，本文结合现实增强技术以激光定位，以使患者眼眶处对应的三维模型与患者眼眶处对应的现实世界坐标建立关联关系。

步骤S202：在所述三维模型上标记手术路径的关键点坐标。

于本实施例中，在所述三维模型上标记手术路径的关键点坐标，可以理解为医生根据手术经验在构建的所述三维模型上设定的能够表征手术刀切割路线、切割位置、切割角度等手术路径的关键点坐标。

举例来说，所述手术路径可以是穿刺路径，而关键点坐标则主要体现穿刺位置和方向等船及路径的关键位置。

步骤S203：通过相机采集患者眼眶一参考点上设置的ArUco标签，以计算出至少两个设有激光发射器的机械臂在世界坐标系中的位姿坐标信息，并实现所述三维模型与各所述机械臂在世界坐标系中的空间配准。

在三维空间中，当保证两个机械臂的指向为同一点，只要两条激光束不完全重合，两束激光的交点即为定位手术需要的目标点，同时也可增加机械臂的数量增加容错性。

具体来说，步骤S203包括：

A、将具有图像识别代码的ArUco标签定位于患者眼眶一参考点上；所述ArUco标签由外部黑色边框和编码二进制图案的内部区域组成。

B、通过预设的相机捕获所述ArUco标签，以获取所述ArUco标签在3D世界坐标系中的坐标和2D图像坐标系中的对应坐标，从而计算出相机在世界坐标系中的位姿坐标信息。

C、根据至少两个所述机械臂与所述相机预设的相对位置，并结合所述ArUco标签在3D 世界坐标系中的坐标，以实现所述三维模型与各所述机械臂在世界坐标系中的空间配准。

在本申请中，主要采用ArUco进行定位追踪，以计算相机的姿态估计，ArUco可作为OpenCV中的开源软件使用。它将增强现实应用程序与OpenGL和OGRE集成在一起。ArUco 中使用的标记由外部黑色边框和编码二进制图案的内部区域组成。每个标记由二进制方法唯一标识。ArUco通过PnP理论(Perspective-n-point)估计相机的姿态。这是一种在知道n组三维空间点及其二维投影位置的坐标时求解3d到2d点对的运动的方法。IPP(无穷小平面姿态估计)方法用于解决ArUco源代码中的PnP问题。

姿态估计在许多计算机视觉的应用中都是十分重要的环节，在机器人导航、增强现实等场景中广泛运用。这个过程主要基于找到点在真实3d环境中的坐标和2d图像中的对应坐标。这通常是一个比较困难的步骤，因此运用通用的标记物或者标准标号来使这个问题简单一点。

使用二维码记号通常是一个常用的途径之一。这标记的主要优势是单个记号就提供了获取相机姿态的足够对应信息。同时，记号的内部二进制编码使得标记在错误检查和修正等方面保持一定的稳定性。例如，Aruco模块主要基于ArUco library，它是一个二维码识别中被广泛使用的库。一个ArUco标记外围都有一组黑色边框，同时内部有着确定该标记ID的二维矩阵组合而成。黑色的边框能加速标记在图像中的检测速度，内部的二维编码能唯一识别该标记，同时进行错误检测和错误修复。标记的大小确定了内部矩阵的大小。

具体来说，首先将具有图像识别代码的ArUco标签定位于患者的目标点患者眼眶一参考点上，例如，该参考点可以是额头或眉骨等。

然后通过预设位姿的相机对所述ArUco标签进行捕获，所述ArUco标签由外部黑色边框和编码二进制图案的内部区域组成；在相机采集到所述ArUco标签后，可以得到所述ArUco 标签在3D世界坐标系中的坐标和2D图像坐标系中的对应坐标，基于此可以计算出相机的姿态估计，主要包括内外和外参，进而得知相机在世界坐标系中的位姿坐标信息。

具体地，相机的内参K通过先验处理获得，旋转矩阵R和平移向量t被称为摄像机的外部参数。矢量t可以表示摄像机坐标系中标记的坐标。跟踪t坐标的变化可以反映标记点在人体上的运动。

3D和像素坐标之间的转换：

R是计算所得的旋转矩阵：

t是计算所得的平移向量：

t＝[t1 t2 t3]^T；

最后，根据至少两个所述机械臂与所述相机预设的相对位置，就可以得知至少两个所述机械臂在世界坐标系中的坐标信息。之前得到的ArUco标签在3D世界坐标系中的坐标，依据参考点，可以将三维模型的坐标系与患者眼眶的3D世界坐标系下对应。将至少两个所述机械臂在3D世界坐标系中的坐标与三维模型在3D世界坐标系中的坐标进行融合，便实现了实现所述三维模型与各所述机械臂在世界坐标系中的空间配准。

需要说明的是，本申请步骤S203主要基于ArUco现实增强库中二维标记并配合相机以确定立体空间相对位置，而本申请的创新点主要在于借助ArUco现实增强技术应用于如眼眶手术中，而并非是ArUco现实增强技术。并且这类基于ArUco现实增强库实现空间定位已经有较多应用，例如，波士顿动力公司曾用此方法用于Atlas机器人的视觉定位以进行跳跃箱子等动作。

于本申请中，基于二进制标记Marker进行姿态估计从而实现空间定位的方法具有如下优势：精度可以达到亚毫米级的定位精度；布置方便，成本低廉，只需要标签和普通摄像头配合配套软件即可搭建，硬件要求低于红外等定位方法；和电磁定位相比，不易与医疗设备产生冲突，可以在大多数条件下使用[18-19]。

本申请的测试数据通过在Ubuntu OS中运行程序，使用Opencv2.4.9和ArUco2.0.19实现源代码。ArUco代码包含不同类别的词典，它们提供基于不同标准生成的QR码标记(黑白标记)，包括基本的ArUco和ARUCO_MIP_36h12等。在本申请中，将使用ArUco词典中的标记作为测试标准。表1包括相机镜头距离标记35厘米(类似于手术的情况)静止时存在于不同侧边标记处的噪声，以及移动1mm和5mm后测量数据与实际移动距离之间的误差。

表1ArUco的误差测试

在本实施的误差检验的过程中，分别检验了模型静止和模型移动5mm两种情况下激光定位产生的误差。本申请使用可以精准移动的云台和直接测量两种方法作为双重激光定位精度的检验方式，从直接和间接两个层面有效验证了本系统的准确性。尤其要指出的是，在真实的手术场景中，由于患者的晃动、术者对患者的搬动和手术操作的影响，患者的姿态必然会发生不同程度的移动，从而需要进行再次定位。因此，检验模型移动后的定位精度是必要的，也是检验本申请方法及系统应用价值的重要内容[20]。

在本实施的精度检验中，最小误差点的平均误差近2.1±0.5mm，最大误差为3.3±0.3mm。考虑到35cm的照射距离、5mm的移动范围与实际眼眶手术中的术者操作距离患者头部可能发生的偏移基本相符，因此可以认定该误差值即为本系统的理想环境下的实测误差。比对其他研究者的报道，本系统的精度在可接受的范围内：Nitta等人对5例肺部穿刺活检，穿刺误差0～8mm，10例经皮椎体成形术，穿刺误差1～5mm，与传统方法相比提高穿刺精度减少穿刺时间[21]。Moser等报道29例激光导航系统辅助CT行脊髓注射，研究显示进针点准确度、角度准确度、耗时明显优于CT引导下徒手操作[22]。在具体临床应用中，对误差的允许范围因组织器官和操作位置不同而不同，不可一概而论。对于眼眶并等当前借助CAS手段进行治疗的疾病来说，不超过导航仪自身2mm配准误差的系统误差来理论上都在可接受的范围内 [23]。虽然本系统的当前的平均误差没能控制在2mm以内，但考虑到所使用机械臂本身所具有的误差已达0.5mm，因此通过进一步研究中使用更高精度的机械臂有望提升系统精度。

步骤S204：依据所述关键点坐标令各所述机械臂进行关节参数转换、及坐标转换以实现至少两个所述激光发射器发射的激光定位至目标点。

如图3所示，展示为本申请于一实施例中的激光发射器的结构示意图。如图所示，所述激光发射器包括：盘底310、第一节臂320、第二节臂330、及可旋转和开合的夹子340。

于本申请一实施例中，两台多自由度机械臂的应用保障了激光的投射路径可以更为多样化，不受实际手术过程中其他仪器、术者的遮挡。另外，机械臂可以安装于患者上方空间，从而不挤占术者和其他设备的空间，让次装置具有更好的适应性。通过机械臂参数分析、机械臂参数转换和调节参数指向目标坐标，辅以补偿角算法，实现手术路径的关键点的定位。

关节参数转换

于上述实施例中，所述机械臂的关节参数包括：盘底角度、底盘与第一节臂之间的角度、第一节臂与第二节臂之间的角度，第二节臂与夹子之间的角度、夹子旋转角度、及夹子开合状态。

参考图4A-4C所示，可设高度为z轴，底盘所在平面XOY平面。所述激光发射器的底盘中心为原点；L1为第一节臂长度；L2为第二节臂长度；α为盘底角度；β为底盘与第一节臂之间的角度；γ为第一节臂与第二节臂之间的角度；δ为第二节臂与夹子角度；R为第三关节距目标点距离所述目标点的距离。整体来说，控制夹子旋转与夹子闭合的舵机在我们使用激光笔的情况下无需调整，设置后保持即可将可以调节的参数简化为α、β、γ、δ四个舵机角度。

于本实施例中，所述依据所述关键点坐标令各所述机械臂进行关节参数转换，包括：

所述第一节臂与第二节臂所构成关节的坐标：

所述第二节臂与夹子所构成关节的坐标：

所述激光发射器激光覆盖的直线表达式：

其中，R为第三关节距离关键点的距离。因为使用激光笔，理论可以为任意不小于机械臂实体范围的值。

坐标转换

将三维模型的三维坐标导入所述机械臂以进行调节，三维坐标获取采用一种利用二维码 Aruco标签与摄像头进行三维定位的方式，如步骤203中基于Aruco的标定定位方式，以获得关键点的三维坐标后可将其转换为球坐标系，参考图4所示。

于本实施例中，依据所述关键点坐标令各所述机械臂进行关节坐标转换，包括：

其中，

为关键点坐标；

在手术环境内，所述激光发射器的激光射程距离可视为足够长，则r可为任意值，只需调节所述关节参数满足θ、

即可，则可计算得：

其中，L1为第一节臂长度；L2为第二节臂长度；α为盘底角度；β为底盘与第一节臂之间的角度；γ为第一节臂与第二节臂之间的角度；δ为第二节臂与夹子角度。

事实上θ涉及三个可变参数，难以计算与调节，于本申请中通过增加约束条件简化需要修改的参数数量。利用所述约束条件简易化处理，也可满足定位需求。

于本实施例中，所述约束条件于一是实施例中可以如下：

1)使激光延长线永远与原点-关键点连线相符，则β、γ、δ具有约束条件：

γ＝β+δ+θ-π/2；

2)固定γ值，令γ＝π/2；则δ值可确定：

在1)、2)约束条件下，根据关键点的三维坐标计算出θ后，只需要调整β即可：

预设γ、δ参数后，实现只需调节α、β符合θ、

需求即可。

须知的是，本申请包括但不限于如上所述的约束条件，其可仅作为一约束条件的实施例。

于本实施例中，当所述激光发射器的激光发射轴线不在机械臂轴线上时，通过补偿算法以进行修正。参考图5所示，如图所示，为激光发射装置和z-xoy机械臂存在值为k的位移时，要获得角a₂的值来计算实际舵机命令，

为原点与关键点连线在xoy上的投影。该补偿算法步骤如下：

利用辅助角公式可得：

其中，k为激光发射轴线与机械臂轴线之间相对位移；a₂为机械臂轴线与z轴夹角；L为原点与所述目标点连线在xoy平面上的投影。

举例来说，机械臂通过串口发送可以发送如下指令格式的命令：

帧头：连续收到两个0x55,表示有数据包到达。

数据长度：等于除帧头两个字节外的待发送的数据的字节数，即参数个数+2，

指令：各种控制指令

参数：除指令外需要补充的控制信息。

指令名CMD_MULT_SERVO_MOVE指令值3数据长度N：说明：控制多个舵机的转动，数据长度N＝控制舵机的个数×3+5；

参数1：要控制舵机的个数；

参数2：时间低八位；

参数3：时间高八位；

参数4：舵机ID号；

参数5：角度位置低八位；

参数6：角度位置高八位；

参数……：格式与参数4，5，6相同，控制不同ID的角度位置。

本研究的主要局限性在于未在多场景、多模型、多距离下测试该系统的精度，因此本报道所阐述的误差值仅做理想条件下的解读，不适合过度推广表述。本申请的目标是临床应用，本申请所述方法在理论上和理想条件下检验通过后，应在之后的研究中加入术中遮挡、手术器械协同操作等内容，并从动物试验逐步推广到临床试验。

本申请通过头颅模型上手术路径关键点坐标进行的原位激光路径实时引导的成功实施，为动态、安全、准确地引导手术路径和明确手术边界提供了一种高效、准确、硬件要求低的新方法。

本申请能够实现了激光束在颅骨模型预先标记的手术路径的七个关键点处的平滑移动，以及在模型位置更改后可以进行姿态调整和关键点的精确激光投影。七个关键点的运动误差分别为：无模型运动时为1.1±0.7mm，有1mm模型运动时为1.6±0.6mm，有5mm模型运动为2.1±1.3mm。

综上所述，本申请创建基于ArUco现实增强库的激光手术路径引导系统，并通过头颅模型上手术路径关键点坐标进行的原位激光路径实时引导的成功实施，为动态、安全、准确地引导手术路径和明确手术边界提供了一种高效、准确、硬件要求低的新方法。

如图6所示，展示为本申请于一实施例中的计算机设备的结构示意图。如图所示，所述计算机设备600包括：存储器601、及处理器602、及通信器603；所述存储器601用于存储计算机指令；所述处理器602运行计算机指令实现如图2所述的方法；所述通信器用于与外部设备通信连接。

举例来说，所述通信器用于通信连接预设的用于空间配准的相机、以及至少两个设有激光发射器的机械臂。

在一些实施例中，所述计算机设备600中的所述存储器601的数量均可以是一或多个，所述处理器602的数量均可以是一或多个，而图6中均以一个为例。

于本申请一实施例中，所述计算机设备600中的处理器602会按照如图2所述的步骤，将一个或多个以应用程序的进程对应的指令加载到存储器601中，并由处理器602来运行存储在存储器602中的应用程序，从而实现如图2所述的方法。

所述存储器601可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。所述存储器601存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。

所述处理器602可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

所述通信器603用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信连接。所述通信器603可包含一组或多组不同通信方式的模块，例如，与CAN总线通信连接的CAN通信模块。所述通信连接可以是一个或多个有线/无线通讯方式及其组合。通信方式包括：互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如：WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。

在一些具体的应用中，所述计算机设备600的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清除说明起见，在图6中将各种总线都成为总线系统。

于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图2所述的方法。

如图7所示，展示为本申请于一实施例中的激光手术路径引导系统的结构示意图。如图所示，所述系统包括：如图6所述的计算机设备710、至少两个设有激光发射器的机械臂720、及用于空间配准的相机730；所述机械臂720包括：盘底、第一节臂、第二节臂、及可旋转和开合的夹子。

于一或多个可实现的实施例中，所述计算机设备710首先获取患者眼眶的三维影像信息，例如患者眼眶处的CT数据，然后据以构建三维模型；其次，在该三维模型上标记处手术路径的关键点坐标；然后在患者眼眶一参考点上放置图像识别代码定位的ArUco标签，由相机 730进行捕获该ArUco标签，以获取所述ArUco标签在3D世界坐标系中的坐标和2D图像坐标系中的对应坐标，从而计算出相机730在世界坐标系中的位姿坐标信息，然后将至少两个设有激光发射器的机械臂720与相机730的相对位置进行预设，以此获得机械臂720在世界坐标系中的坐标信息，然后结合所述ArUco标签在3D世界坐标系中的坐标，以实现所述三维模型与各所述机械臂720在世界坐标系中的空间配准。优选地，至少两个机械臂720设于患者眼眶上方；最后，依据所述关键点坐标令各所述机械臂720进行关节参数转换、及坐标转换，以实现至少两个所述机械臂720上的激光发射器所发射的激光定位至患者眼眶上对应所述三维模型的关键点坐标。

综上所述，本申请提供的一种激光手术路径引导方法、及其计算机设备和系统，通过获取患者眼眶的三维影像信息以构建三维模型；在所述三维模型上标记手术路径的关键点坐标；通过相机采集患者眼眶一参考点上设置的ArUco标签，以计算出至少两个设有激光发射器的机械臂在世界坐标系中的位姿坐标信息，并实现所述三维模型与各所述机械臂在世界坐标系中的空间配准；依据所述关键点坐标令各所述机械臂进行关节参数转换、及坐标转换，以实现至少两个所述机械臂上的激光发射器所发射的激光定位至患者眼眶上对应所述三维模型的关键点坐标。

本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

参考文献：

16.Hussain A,Nijhawan N,DeAngelis D,Oestreicher J.Perceptions and useof computer-assisted surgery(CAS)in the orbit.Orbit.2019Jun；38(3):180-183.

17.Zhang S,Wang Y,Zhong S,Liu X,Huang Y,Fang S,Zhuang A,Li Y,Sun J,Zhou H,Fan X.Orbital radiotherapy plus three-wall orbital decompression in apatient with rare ocular manifestations of thyroid eye disease:casereport.BMCEndocrDisord.2018Feb 6；18(1):7.

18.Aalerud A,Dybedal J,Hovland G.Automatic Calibration of anIndustrial RGB-D Camera Network Using Retroreflective FiducialMarkers.Sensors(Basel).2019Mar 31；19(7).pii:E1561.

19.Bi S,Yang D,Cai Y.Automatic Calibration of Odometry and RobotExtrinsic Parameters Using Multi-Composite-Targets for a Differential-DriveRobot with a Camera.Sensors(Basel). 2018Sep 14；18(9).pii:E3097.

20.Peng JL,Kahler D,Li JG,Samant S,Yan G,Amdur R,LiuC.Characterization of a real-time surface image-guided stereotacticpositioning system.Med Phys.2010 Oct；37(10):5421-33.

21.Nitta N,Takahashi M,Tanaka T,et al.Laser-guided computedtomography puncture system:simulation experiments using artificial phantomlesions and preliminary clinical experience.Radiat Med,2007,25(4):187-193.

22.Moser C,Becker J,Deli M,et al.Anovel Laser Navigation Systemreduces radiation exposure and improves accuracyand workflow of CT-guidedspinal interventions：a prospective， randomized，controlled，clinical trial incomparison to conventional freehand puncture.Eur J Radiol,2013,82(4):627-632.

23.Takao M,Sakai T,Hamada H,Sugano N.Error range in proximal femoralosteotomy using computer tomography-based navigation.Int J Comput AssistRadiol Surg.2017 Dec；12(12):2087-2096。

Claims (10)

1.一种激光手术路径引导方法，其特征在于，所述方法包括：

获取患者眼眶的三维影像信息以构建三维模型；

在所述三维模型上标记手术路径的关键点坐标；

通过相机采集患者眼眶一参考点上设置的ArUco标签，以获取所述ArUco标签在3D世界坐标系中的坐标和2D图像坐标系中的对应坐标，从而计算出相机在世界坐标系中的位姿坐标信息；根据至少两个设有激光发射器的机械臂与所述相机预设的相对位置，并结合所述ArUco标签在3D世界坐标系中的坐标，以实现所述三维模型与各所述机械臂在世界坐标系中的空间配准；

依据所述关键点坐标令各所述机械臂进行关节参数转换、及坐标转换，以实现至少两个所述机械臂上的激光发射器所发射的激光定位至患者眼眶上对应所述三维模型的关键点坐标。

2.根据权利要求1所述的方法，其特征在于，所述机械臂的关节参数包括：盘底角度、底盘与第一节臂之间的角度、第一节臂与第二节臂之间的角度，第二节臂与夹子之间的角度、夹子旋转角度、及夹子开合状态。

3.根据权利要求2所述的方法，其特征在于，所述依据所述关键点坐标令各所述机械臂进行关节参数转换，包括：

所述第一节臂与第二节臂所构成关节的坐标：

所述第二节臂与夹子所构成关节的坐标：

所述激光发射器发射的激光覆盖的直线表达式：

其中，所述机械臂的底盘中心为原点；L1为第一节臂长度；L2为第二节臂长度；α为盘底角度；β为底盘与第一节臂之间的角度；γ为第一节臂与第二节臂之间的角度；δ为第二节臂与夹子角度；R为第三关节距目标点距离所述目标点的距离。

4.根据权利要求2所述的方法，其特征在于，依据所述关键点坐标令各所述机械臂进行关节坐标转换，包括：

其中，

为关键点坐标；

在手术环境内，所述激光发射器发射的激光射程距离可视为足够长，则r可为任意值，只需调节所述关节参数满足θ、

即可，则可计算得：

其中，L1为第一节臂长度；L2为第二节臂长度；α为盘底角度；β为底盘与第一节臂之间的角度；γ为第一节臂与第二节臂之间的角度；δ为第二节臂与夹子角度。

5.根据权利要求4所述的方法，其特征在于，所述方法包括：

通过增加约束条件以简化需要修改的参数数量；所述约束条件如下：

1)使激光延长线永远与原点-目标点连线相符，则β、γ、δ具有约束条件：

γ＝β+δ+θ-π/2；

2)固定γ值，令γ＝π/2；则δ值可确定：

在1)、2)约束条件下，根据所述目标点的三维坐标计算出θ后，只需要调整β即可：

预设γ、δ参数后，实现只需调节α、β符合θ、

需求即可。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述激光发射器的激光轴线不在机械臂轴线上时，通过补偿算法以进行修正，包括：

其中，k为激光轴线与机械臂轴线之间相对位移；a₂为机械臂轴线与z轴夹角；L为原点与目标点连线在xoy平面上的投影。

7.根据权利要求1所述的方法，其特征在于，所述通过相机采集患者眼眶一参考点上设置的ArUco标签，包括：

将具有图像识别代码的ArUco标签定位于患者眼眶一参考点上；所述ArUco标签由外部黑色边框和编码二进制图案的内部区域组成。

8.根据权利要求1所述的方法，其特征在于，所述患者眼眶的三维影像信息是通过X光、CT、MRI、及超声中任意一种或多种组合进行的预先获取的。

9.一种计算机设备，其特征在于，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机指令；所述处理器运行计算机指令实现如权利要求1至8中任意一项所述的方法；所述通信器用于与外部设备通信连接。

10.一种激光手术路径引导系统，其特征在于，所述系统包括：如权利要求9所述的计算机设备、至少两个设有激光发射器的机械臂、及用于空间配准的相机；

所述机械臂包括：盘底、第一节臂、第二节臂、及可旋转和开合的夹子。

Images