CN103330616B - 一种基于计算机视觉的人工耳蜗植入手术系统 - Google Patents

Abstract

本发明涉及一种基于计算机视觉的人工耳蜗植入手术系统，其特征在于：它包括计算机、头部固定支架、粗调被动臂、双平面机器人、CT扫描机和光电导航设备；计算机内还设置有VTKPlatform配准导航平台，它包括图像可视化单元、图像切割单元、空间配准单元、规划单元和导航单元，图像可视化单元用于将患者的CT数据读入、重建和显示，图像切割单元用于对患者的CT数据进行切割，获取手术区域数据，空间配准单元用于将CT图像空间和实际空间联系起来，生成配准矩阵，规划单元用于在CT图像空间对植入人工耳蜗的手术路径进行规划，导航单元在光电导航设备的跟踪下，结合患者耳蜗面绘制模型，根据规划路径引导医生完成人工耳蜗的植入手术。本发明可以广泛应用于人工耳蜗植入手术中。

Description

一种基于计算机视觉的人工耳蜗植入手术系统

技术领域

本发明涉及一种人工耳蜗植入手术系统，特别是关于一种基于计算机视觉的人工耳蜗植入手术系统。

背景技术

在我国听力残疾位于五大残疾之首，根据2006第二次全国残疾人抽样调查显示，我国听力残疾人已达2780万，12岁以下儿童有100万，小儿先天性听力损伤的发病率约为0.1%～0.3%，重度至极重度听力障碍的发病率约为0.1%，我国每年因各种原因新生聋儿近3万名，如果这些重度、极重度患儿得不到及时有效治疗，日后将不得不接受聋哑的命运。

人工耳蜗能够有效治疗重度、极重度耳聋，它始于上世纪50年代，经过几十年的发展，不仅成为目前仿生学科技含量最高的一种电子装置，而且还是最成功的神经植入假体。截至2009年4月，全世界已经有超过18万人使用人工耳蜗。国内人工耳蜗总植入病例数约1000余人，此数据与国内庞大的听力残疾基数相比，能够得到治疗的病人只是弱水一瓢，而且大部分患者不得不面对手术创伤、长时间麻醉、恢复慢的风险，导致上述风险的原因主要有：1、人工耳蜗植入是一项科技含量高，操作难度大，手术风险高的手术，该项手术操作对术者技术及经验要求极高，术者必须具有丰富经验及熟练颞骨解剖技术，上述技术瓶颈限制了该项手术的普及，减少了手术惠及的人群。2、由于人类颞骨结构复杂，骨质坚硬，内部重要结构毗邻紧密，耳蜗区位置狭小，植入电极时需要借助显微镜缓慢插入，手术过程不仅费时、费力，而且需要医生手稳、精准，然而医生作为一个生物体，具有不能耐受疲劳，操作稳定性差的特点，这也无疑增加了手术的风险。3、传统人工耳蜗植入手术，需要乳突部分切除及开放面隐窝，它需要磨除颞骨的部分骨质，从外部形成“凹坑”通向耳蜗。由于接受手术的患者绝大多数是耳聋儿童和老年性耳聋患者，手术时间长，增加了患者全身麻醉的时间；磨除骨量大，增加患者创伤，延长愈合时间和平均住院日，进而造成对医疗资源的耗占。

导航系统通过现代放射影像学(CT)和计算机图形图像处理技术的结合,重建三维医学影像模型,帮助耳外科医生在手术前更好的规划手术路径,对预行的手术操作进行虚拟演示；术中结合红外信号自动追踪技术和机器人技术，能够帮助手术者完成许多复杂而精细的操作，同时将正常解剖结构（神经、听小骨、乳突骨质）的不必要损伤减少到最低程度。导航技术经历了从有框架到无框架的变迁，20世纪80年代，先进技术的出现为无框架导航带来了曙光，并且有效避免了有框架导航技术的笨重、不精确的缺点。经过多年发展，定位方法经历了从机械被动臂到红外线定位，甚至是激光定位的变迁。如今，无框架导航技术广泛应用于神经外科、耳鼻喉外科等医学学科。2008年德国Majdani介绍了颅底导航系统进行微创人工耳蜗植入手术的研究，导航为VectorVision光电导航系统（BrainLAB），规划软件为iPlan2.0，此软件可以确定注册标志、分割耳蜗、颈内动脉、面神经，还可以通过入点和靶点规划钻孔的路径，通过人手抓握电钻，整个过程没有使用机器人。2011年法国的Nguyen使用计算机辅助导航系统能够引导术者经由锁孔路径避开面神经，到达耳蜗，此项研究是为了向下一步机器人辅助手术迈进，所以此项研究目的主要是评估在电磁导航CAS系统下，持续监测电钻，人手操作手术钻，开通锁孔经由骨皮质到达耳蜗的可行性，以及评估期靶点的准确性，虽然他们采用基准标志系统，提高了导航钻孔的准确度，但是仍然存在人手控制定位的缺点，阻碍了精度的进一步提高。

发明内容

针对上述问题，本发明的目的是提供一种不仅能够降低手术创伤、加快恢复、缩小切口，而且能够提高手术质量、精准植入人工耳蜗的基于计算机视觉的人工耳蜗植入手术系统。

为实现上述目的，本发明采取以下技术方案：一种基于计算机视觉的人工耳蜗植入手术系统，它包括一计算机、一头部固定支架、一粗调被动臂和一双平面机器人；所述头部固定支架用于手术时对患者头部进行支撑固定；所述粗调被动臂的一端固定在手术床上，另一端连接所述双平面机器人的后端部，所述双平面机器人的前端部夹持一电钻；其特征在于：还包括一CT扫描机和一光电导航设备，所述CT扫描机用于术前对患者头部进行CT扫描，获取患者耳蜗的CT数据，并将CT数据下载后传入所述计算机；所述光电导航设备连接所述计算机，在配准时，所述光电导航设备用于采集实际空间参考点的位置，在导航时，所述光电导航设备用于跟踪所述电钻在实际空间位置；所述计算机内设置有一VTKPlatform配准导航平台，所述VTKPlatform配准导航平台包括图像可视化单元、图像切割单元、空间配准单元、规划单元和导航单元；所述图像可视化单元用于将患者的CT数据读入、重建和显示，提供一个可视化的虚拟三维环境；所述图像切割单元用于对患者的CT数据进行切割，获取手术区域数据，剪裁掉非手术区域的冗余数据；所述空间配准单元用于将CT图像空间和实际空间联系起来，将实际空间的操作映射到CT图像空间，生成配准矩阵；所述规划单元用于在CT图像空间对植入人工耳蜗的手术路径进行规划；所述导航单元在所述光电导航设备的跟踪下，将实际空间的电钻的位置和姿态通过所述配准矩阵映射到CT图像空间，并结合患者耳蜗面绘制模型，根据规划路径引导医生完成人工耳蜗的植入手术。

所述图像可视化单元包括数据读入模块、数据重建模块和数据显示模块；所述数据读入模块用于读取CT数据，并将CT数据的DICOM格式转换成三维图像数据格式；所述数据重建模块采用Marching Cube算法对三维数据场进行等值面提取，通过不同阈值设置重建出患者耳蜗的三维形体。

所述空间配准单元包括手术器械导入与标定单元、CT图像空间点云获取模块、实际空间点云获取模块和配准矩阵计算单元；所述手术器械导入与标定单元用于导入模拟电钻模型，并完成模拟电钻模型与CT空间的标定；所述CT图像空间点云获取模块用于在CT图像空间采集所有目标点位置点云P；所述实际空间点云获取模块用于在实际空间中采集参考点位置点云Q；所述配准矩阵计算单元用于获取实际空间点云Q映射到CT图像空间点云P的配准矩阵。

所述规划单元通过调整目标点和进针点的位置在CT空间中对手术路径进行设计和规划，并通过三维立体图像观察此轨迹是否与耳蜗相切且从面神经以及鼓索神经中间的狭缝穿过而不损伤这两条重要神经，其中，目标点用于表示手术期望的电钻隧道和耳蜗的相切点，进针点用于表示电钻最开始与皮肤和骨骼接触的点，这两个点确定了电钻隧道的位置。

本发明由于采取以上技术方案，其具有以下优点：1、本发明的VTKPlatform配准导航平台设置有图像可视化单元，图像可视化单元可以对CT数据读取、重建和显示，搭建了一个虚拟可视化的三维环境，不仅可以帮助医生进行诊断和观察，而且在实际手术时看不到的部位，能够为医生提供一个直观的观察方式，医生能够根据CT图像空间中的虚拟电钻和虚拟耳蜗的相对位置和距离数值进行手术操作，同时为术前规划和术中导航提供给了三维环境和人际交互的平台，因此图像可视化单元为精确植入人工耳蜗提供了有效保证。2、本发明的VTKPlatform配准导航平台设置有图像切割单元，可以对患者的CT数据进行切割，获取手术区域数据，剪裁掉非手术区域的冗余数据，因此通过排除一些不必要的数据干扰，有效地缩短了手术时间。3、本发明的VTKPlatform配准导航平台设置有空间配准单元，通过配准矩阵将实际空间的操作映射到CT图像空间中，将两者联系起来，从而为手术路径规划和手术导航提供了精度保证。4、本发明的VTKPlatform配准导航平台设置有规划单元，规划单元通过调整目标点和进针点确定手术路径，且在路径规划时可以通过图像可视化单元观察避免损坏面神经以及鼓索神经等重要组织，因此通过术前确定手术路径，可以缩小切口，将大的创伤变成一个微小的隧道，有效降低手术创伤、加快患者的恢复周期。5、本发明的VTKPlatform配准导航平台设置有导航单元，在光电导航设备的跟踪下，将实际空间的电钻的位置和姿态通过配准矩阵映射到CT图像空间，医生结合患者耳蜗面绘制模型，根据规划路径引导医生完成人工耳蜗的植入手术，有效提高了手术质量。6、本发明还包括有粗调被动臂和双平面机器人，粗调被动臂用于对电钻位置进行粗调，双平面机器人根据规手术路径快速调整电钻的轴线位姿，通过双平面机器人克服医生易疲劳，操作稳定性差的确定，降低了手术风险，有效保证了手术安全。综上所述，本发明可以在VTKPlatform配准导航平台的控制下精确完成植入人工耳蜗手术，因此可以广泛应用于人工耳蜗植入手术中。

具体实施方式

下面通过实施例对本发明进行详细的描述。

本发明的人工耳蜗植入手术系统与现有的手术系统相同之处在于：包括一装设有windows系统的计算机、一头部固定支架、一粗调被动臂和一双平面机器人；头部固定支架用于手术时对患者头部进行支撑固定，其可以采用现有技术已有的装置结构，在此不作限定；粗调被动臂的一端固定在手术床上，另一端连接双平面机器人的后端部，双平面机器人的前端部夹持一电钻，粗调被动臂用于对电钻位置进行粗调，双平面机器人用于对电钻的姿态进行微调，双平面机器人可以采用现有技术已经公开的骨折手术路径调节装置，在此对其具体结构不再赘述。本发明的特点在于：还包括一CT扫描机和一光电导航设备，CT扫描机用于术前对患者头部进行CT扫描，获取患者耳蜗的CT数据（CT数据采用DICOM格式），并将CT数据下载后传入计算机；光电导航设备连接计算机，在配准时，光电导航设备用于采集实际空间的参考点的位置；在导航时，光电导航设备用于跟踪电钻在实际空间位置。

计算机内还设置有一VTKPlatform配准导航平台，VTKPlatform配准导航平台采用VTK开源库，用于完成术前规划和术中导航，它包括图像可视化单元、图像切割单元、空间配准单元、规划单元和导航单元；图像可视化单元用于将患者的CT数据读入、重建和显示，提供一个可视化的虚拟三维环境；图像切割单元用于对患者的CT数据进行切割，获取手术区域数据，剪裁掉非手术区域的冗余数据；空间配准单元用于将CT图像空间和实际空间联系起来，将实际空间的操作映射到CT图像空间，生成配准矩阵；规划单元用于在CT图像空间对植入人工耳蜗的手术路径进行规划；导航单元用于在光电导航设备的跟踪下，将实际空间的电钻的位置和姿态通过配准矩阵映射到CT图像空间，结合患者耳蜗面绘制模型，根据规划路径引导医生完成人工耳蜗的植入手术。

上述实施例中，图像可视化单元可以采用VTK开源库中的相应功能进行实现，它包括数据读入模块、数据重建模块和数据显示模块，数据读入模块用于读取CT数据，并将CT数据的DICOM格式转换成三维图像数据格式；数据重建模块采用Marching Cube算法对三维数据场进行等值面提取，通过不同阈值设置重建出患者耳蜗的三维形体，该形体是一个面绘制模型，渲染速度快，便于以后对进行三维操作（如旋转、分割、透明），其中，Marching Cube算法为现有的算法，具体原理在此不再赘述；数据显示单元用于将患者耳蜗CT数据以立体图的方式进行显示，并且还可以显示患者耳蜗数据的X、Y和Z三个方向的截面视图，以帮助医生进行诊断和观察。

上述各实施例中，空间配准单元用于将CT图像空间和实际空间对应起来，例如：实际空间中有手术对象和电钻，在CT图像空间中也有一个虚拟的手术对象（CT数据）和模拟电钻（外部导入的模型数据，文件格式stl），空间配准完成后，即可获得实际空间到CT图像空间的转换矩阵。空间配准单元包括手术器械导入与标定单元、CT图像空间点云获取模块、实际空间点云获取模块和配准矩阵计算单元；手术器械导入与标定单元用于导入模拟电钻模型，并完成模拟电钻模型与CT空间的标定；CT图像空间点云获取模块用于在CT图像空间采集所有目标点位置点云P；实际空间点云获取模块用于在实际空间中采集参考点位置点云Q；配准矩阵计算单元用于获取实际空间点云Q映射到CT图像空间点云P的配准矩阵，即：配准矩阵计算单元基于ICP（iterativeclosest point）算法对实际空间点云Q不断进行变换逼近CT图像空间点云Q，直到两者重合时，得到配准矩阵。其中，ICP算法为迭代最近点算法，核心是通过对参考点云不断地进行矩阵变换逼近目标点云，其为现有算法，在此不在赘述。

上述各实施例中，规划单元通过调整目标点和进针点的位置在CT空间中对手术路径进行设计和规划，并可以通过三维立体图像观察此规划轨迹是否与耳蜗相切且从面神经以及鼓索神经中间的狭缝穿过而不损伤这两条重要神经。此过程可以通过观察目标点、进针点以及规划轨迹和冠状位、矢状位以及轴位3个位置的切片图像相交的点，相交的点都会投影在这3个平面上（相交点可以采用不同大小和颜色的十字"+"来表示），可以通过不断移动这3个切片的位置，观察十字"+"是否与重要组织相交（合理的规划轨迹应该确保不相交）。其中，目标点用于表示手术期望的电钻隧道（即规划轨迹）和耳蜗的相切点，进针点用于表示电钻最开始与皮肤和骨骼接触的点，这两个点确定了电钻隧道的位置，手术对象包括：外耳道、耳蜗、面神经以及鼓索神经。

上述各实施例中，光电导航设备在配准时，用于采集实际空间的点集；在导航时，用于采集电钻在实际空间的实时位置，光电导航设置可以采用现有的加拿大NDI公司的光电导航设备，它包括红外线定位仪、导航探针、参考架和红外线反光球，光电导航设备的操作方法为现有技术，在此不再赘述。

上述各实施例中，VTKPlatform配准导航平台可以采用Microsoft Visual Studio集成开发环境使用MFC并充分采用面向对象编程思想（OOP）进行开发。

采用本发明的基于计算机视觉的人工耳蜗植入手术系统对人工耳蜗植入的手术过程进行说明，包括以下步骤：

1、将头部参考点-钛钉通过钻孔固定于患者的颞骨。

2、采用CT扫描机对患者头部进行CT扫描，获取患者耳蜗的CT数据，其中CT数据中包含了钛钉，获取CT数据后，可以使用现有的mimics软件将耳蜗、外耳道、面神经和鼓索神经从CT数据中离出来，另存为stl文件。

3、患者侧卧在手术台上，采用现有的头部固定支架将患者头部固定在手术床上。

4、将耳蜗、外耳道、面神经和鼓索神经等分割后的CT数据分别传入计算机内，启动VTKPlatform配准导航平台，图像可视化单元读取CT数据、对CT数据进行重建得到耳蜗的面绘制模型，可以根据实际需要耳蜗面绘制模型进行显示。

5、通过图像切割单元选择手术区域，即包含所有钛钉、耳蜗、耳道以及附近相关组织，并剪裁掉非手术区域的冗余数据。

6、采用空间配准单元进行配准，完成实际空间到CT图像空间的映射，得到配准矩阵，包括以下步骤：

①开启光电导航设备，采用导航探针去逐个接触头部实际的钛钉，采集所有钛钉的空间位置，得到实际空间点云P，在采集点云过程中，对于任何一个钛钉都可以采集任意多的点，但要求点云中的相邻点的距离都要大于一个极小的特定值（具体根据实际操作确定），从而避免在一个错误的位置采集过多点云而影响配准精度；

②在CT图像空间通过一小球依次移动模拟每一钛钉的位置，即：移动小球让它包裹住钛钉的钉帽，此时即可采集被小球包裹住的钛钉的点云，依次移动小球包裹每一钛钉，即可采集CT图像空间中的所有钛钉的位置，得到CT图像空间的点云Q；

③配准矩阵计算单元对实际空间点云P和CT图像空间点云Q空间配准单元对点云进行配准，完成实际空间到虚拟空间的映射，得到配准矩阵。

7、规划单元在CT图像空间中对手术路径进行设计和规划，即通过调整进针点和目标点确定手术路径，并保存。

8、将粗调被动臂的一端固定在手术床上，粗调被动臂的另一端连接双平面机器人的后端部，且将电钻夹持在双平面机器人的前端部。

9、导航单元根据规划的手术路径对电钻的位置和姿态进行调整，具体是：通过粗调被动臂粗调电钻的位置并固定，然后采用双平面机器人进行精确调整，目的是使得电钻轴线与规划的手术路径重合，这样才能进行人工耳蜗的置换，在钻孔时，首先使用较粗的钻头进行钻孔，在快要达到关键位置时（面神经与鼓所神经），换用小的钻头，直至达到耳蜗，即可以进行人工耳蜗的置换。由于钻头已经深入头颅内部，钻头是否达到关键位置以及是否快要达到面神经和鼓索神经，医生无法直接观察，而是通过实时导航显示的CT图像空间中的虚拟电钻和虚拟手术对象（包裹耳蜗以及附近相关组织）的相对位置进行了解，钻孔深度医生可以根据CT图像空间中的虚拟电钻和虚拟耳蜗的相对位置和距离数值进行确定。

上述各实施例仅用于说明本发明，其中各部件的结构和连接方式等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (2)

1.一种基于计算机视觉的人工耳蜗植入手术系统，它包括一计算机、一头部固定支架、一粗调被动臂和一双平面机器人；所述头部固定支架用于手术时对患者头部进行支撑固定；所述粗调被动臂的一端固定在手术床上，另一端连接所述双平面机器人的后端部，所述双平面机器人的前端部夹持一电钻；其特征在于：还包括一CT扫描机和一光电导航设备，所述CT扫描机用于术前对患者头部进行CT扫描，获取患者耳蜗的CT数据，并将CT数据下载后传入所述计算机；所述光电导航设备连接所述计算机，在配准时，所述光电导航设备用于采集实际空间参考点的位置，在导航时，所述光电导航设备用于跟踪所述电钻在实际空间位置；

所述计算机内设置有一VTKPlatform配准导航平台，所述VTKPlatform配准导航平台包括图像可视化单元、图像切割单元、空间配准单元、规划单元和导航单元；所述图像可视化单元用于将患者的CT数据读入、重建和显示，提供一个可视化的虚拟三维环境；所述图像切割单元用于对患者的CT数据进行切割，获取手术区域数据，剪裁掉非手术区域的冗余数据；所述空间配准单元用于将CT图像空间和实际空间联系起来，将实际空间的操作映射到CT图像空间，生成配准矩阵；所述规划单元用于在CT图像空间对植入人工耳蜗的手术路径进行规划；所述导航单元在所述光电导航设备的跟踪下，将实际空间的电钻的位置和姿态通过所述配准矩阵映射到CT图像空间，并结合患者耳蜗面绘制模型，根据规划路径引导医生完成人工耳蜗的植入手术；

所述空间配准单元包括手术器械导入与标定单元、CT图像空间点云获取模块、实际空间点云获取模块和配准矩阵计算单元；所述手术器械导入与标定单元用于导入模拟电钻模型，并完成模拟电钻模型与CT空间的标定；所述CT图像空间点云获取模块用于在CT图像空间采集所有目标点位置点云P；所述实际空间点云获取模块用于在实际空间中采集参考点位置点云Q；所述配准矩阵计算单元基于用于获取实际空间点云Q映射到CT图像空间点云P的配准矩阵，具体是：配准矩阵计算单元基于ICP算法对实际空间点云Q不断进行变换逼近CT图像空间点云Q，直到两者重合时，得到配准矩阵；其中，目标点位置点云P是通过开启光电导航设备，采用导航探针去逐个接触设置在头部的实际钛钉，采集所有钛钉的空间位置，在采集点云过程中，对于任何一个钛钉都可以采集任意多的点，但要求点云中的相邻点的距离都要大于一个极小的特定值；参考点位置点云Q是在CT图像空间通过一小球依次移动模拟每一钛钉的位置，即：移动小球让它包裹住钛钉的钉帽，此时即可采集被小球包裹住的钛钉的点云，依次移动小球包裹每一钛钉，即可采集CT图像空间中的所有钛钉的位置；

所述规划单元通过调整目标点和进针点的位置在CT空间中对手术路径进行设计和规划，并通过三维立体图像观察此轨迹是否与耳蜗相切且从面神经以及鼓索神经中间的狭缝穿过而不损伤这两条重要神经，其中，目标点用于表示手术期望的电钻隧道和耳蜗的相切点，进针点用于表示电钻最开始与皮肤和骨骼接触的点，这两个点确定了电钻隧道的位置。

2.如权利要求1所述的一种基于计算机视觉的人工耳蜗植入手术系统，其特征在于：所述图像可视化单元包括数据读入模块、数据重建模块和数据显示模块；所述数据读入模块用于读取CT数据，并将CT数据的DICOM格式转换成三维图像数据格式；所述数据重建模块采用Marching Cube算法对三维数据场进行等值面提取，通过不同阈值设置重建出患者耳蜗的三维形体。