CN103211655B - 一种骨科手术导航系统及导航方法 - Google Patents
一种骨科手术导航系统及导航方法 Download PDFInfo
- Publication number
- CN103211655B CN103211655B CN201310124955.3A CN201310124955A CN103211655B CN 103211655 B CN103211655 B CN 103211655B CN 201310124955 A CN201310124955 A CN 201310124955A CN 103211655 B CN103211655 B CN 103211655B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- navigation
- image
- corrective surgery
- intelligent glasses
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
本发明涉及一种骨科手术导航系统及导航方法。本发明骨科手术导航系统包括：射线装置：用于术前拍摄患者手术部位骨骼的二维图像；图形工作站：用于软件的运行；三维运动捕捉系统：用于捕捉手术空间范围内患者手术部位和手术器械的形状、位置、运动轨迹的三维运动信息；导航软件：运行于图形工作站上，用于分别对患者术前拍摄的手术部位骨骼的二维图像及患者手术部位和手术器械的形状、位置、运动轨迹的三维运动信息进行三维重建，将重建后的两种三维图像在同一坐标系下进行配准融合得到三维导航图像；智能眼镜系统：用于实时显示导航软件返回的三维导航图像。本发明采用可透视型智能眼镜作为图像显示工具，能更加安全、准确、高效的完成手术。
Description
技术领域
本发明属于医疗器械技术领域，尤其涉及一种骨科手术导航系统及导航方法。
背景技术
在传统的骨科手术中，骨科医生通常凭借人体的骨骼解剖特点、术前患者的影像学资料和术中患者的X线透视图像进行定位，但是，由于解剖标志的缺乏等因素，往往会导致术中的定位出现大的偏差，给手术的进行造成较大障碍，即便骨科医生的实践经验非常丰富，也不能从根本上改变术中定位精度较差的问题。而对于一般经验的骨科医生，这个问题会愈加严重，因为如果定位不准确，很可能会导致手术失败，甚至会对患者产生二次伤害。因此，如何避开错综复杂的神经、血管，让骨科医生能够更精确、更安全地进行多种复杂手术就成为了一个亟待解决的临床问题。
为了解决这一临床问题，现有技术出现了计算机辅助骨科手术技术，即骨科计算机辅助导航技术，该技术基于术中图像，采用相应定位手段对手术部位和术中的手术器械进行精确的实时跟踪、显示和引导，从而使骨科医生能够根据导航图像开展手术。该导航技术的工作原理为：在患者的手术部位附近和手术器械上安装能够发出信号的装置，通常采用红外线作为发射源、CCD相机为接收器，利用发出的信号对患者的骨骼位置和手术器械的位置以及运动轨迹进行跟踪，同时将这些信息通过显示器展示给医生；在术中进行患者手术部位的X线透视，并将透视图像与得到的患者骨骼位置和手术器械位置图像进行合成，从而得到医生进行手术采用的导航图像。采用骨科计算机辅助导航技术后，医生在手术中首先在患者手术部位附近和手术器械上安装示踪器，然后拍摄患者手术部位的透视图像，此时，在导航软件上就能看到手术器械进入患者身体内部的虚拟图像，这样就能在导航显示器上实时观看手术器械与患者手术部位的位置关系，并可以根据导航系统制定的手术规划完成整个手术。目前的导航系统一般由以下几个部分组成：
患者示踪器：安装于患者手术部位附近，可以指示跟踪患者手术部位的位置；
导航手术工具：可以发射或反射光信号；
手术工具示踪器：跟踪手术器械的位置和运动轨迹；
显视器：用于显示患者手术部位和手术器械的位置；
C型臂：用于术前的拍片和术中的透视；
图形工作站：完成整个系统软件部分的工作。
相比于传统的骨科手术，骨科计算机辅助导航技术虽然能够在一定程度上辅助医生进行多种复杂的骨科手术，但也存在着一些问题：
一、骨科医生的操作是在三维空间中完成的，这就要求导航系统能够提供一个三维空间图像，但现有的导航系统仍然停留在二维图像的显示上，无法匹配出真实的三维手术操作环境，由于二维的导航图像不够具体化，医生无法从任意角度看到患者手术部位的骨骼图像和手术器械进入患者身体内部具体位置的虚拟图像，不利于提高手术的高效性和安全性。
二、整个导航图像通过二维显示器进行显示，医生不得不双眼紧盯着显示器，而不能看到正在操作的手术器械，这不仅会加重医生的手术负担，也会增加额外的手术风险；同时，由于医生的视线必须在患者手术部位与导航显示器上来回切换，这将降低手术的效率，延长手术时间（目前采用骨科计算机辅助导航的骨科手术比传统的骨科手术用时更长）。
三、导航图像为二维图像，但是手术操作却是三维的，从三维到二维的转换会存在着真实图像信息以及运动坐标信息的丢失；虽然为了增加导航图像的真实性，采用了多幅不同视角的透视图像共同辅助定位过程，让医生能够从多个视角观看手术器械的运动信息，但是毕竟还是二维图像，仍然存在位置信息和坐标信息的丢失。
四、现有的导航系统在设计上无法解决真正的临床需求，即在手术过程中无法让医生直接看到患者手术部位骨骼的图像以及手术器械进入患者身体的虚拟图像，不能真正让医生更安全、更高效的完成整个手术过程。
同时，现有的导航系统在设计上存在以下不足：首先，定位复杂，需要在术前进行患者手术部位位置的标定，每一件手术器械也必须是特制的，才能被定位系统识别；其次，导航系统操作复杂，在一定程度上增加了手术的负担；并且该导航系统价格昂贵，一般医院无法承受。
发明内容
本发明提供了一种骨科手术导航系统及导航方法，旨在解决现有的骨科计算机辅助导航技术无法匹配出真实的三维手术空间图像，不利于提高手术的高效性和安全性，以及医生的视线必须在患者手术部位与显示器之间来回切换，降低了手术效率且存在操作复杂的技术问题。
本发明提供的技术方案为：一种骨科手术导航系统，包括：
射线装置：用于术前拍摄患者手术部位骨骼的二维图像；
图形工作站：用于软件的运行；
三维运动捕捉系统：用于捕捉手术空间范围内患者手术部位和手术器械的形状、位置、运动轨迹的三维运动信息；
导航软件：运行于图形工作站上，用于分别对患者术前拍摄的手术部位骨骼的二维图像及患者手术部位和手术器械的形状、位置、运动轨迹的三维运动信息进行三维重建，将重建后的两种三维图像在同一坐标系下进行配准融合得到三维导航图像；
智能眼镜系统：用于实时显示导航软件返回的三维导航图像。
本发明的技术方案还包括：所述射线装置为C型臂，所述三维运动捕捉系统包括至少两个摄像头，所述摄像头与图形工作站连接，所述摄像头对患者手术部位和手术器械的形状、位置和/或运动轨迹进行捕捉，所述摄像头采用双目立体视觉技术根据捕捉到的图像计算出患者手术部位和手术器械的形状、位置和/或运动轨迹的三维运动信息。
本发明的技术方案还包括：所述三维运动捕捉系统通过可伸缩的金属杆固定在所述射线装置的射线接收端，并沿着射线装置与射线方向上下运动，通过调节三维运动捕捉系统距离患者手术部位皮肤表面的距离将医生操作手术器械的范围置于三维运动捕捉系统的捕捉范围内，同时建立定位坐标系与世界坐标系之间的变换矩阵，其中，所述世界坐标系是手术前以射线装置导轨圆心为中心，用射线装置对患者手术部位进行拍片得到的病人三维图像的坐标系，所述定位坐标系是以三维运动捕捉系统中心为原点，三个坐标轴方向分别与世界坐标系的坐标轴方向平行。
本发明的技术方案还包括：所述导航软件通过C型臂拍摄的二维图像重建出患者手术部位骨骼的三维图像，将三维运动捕捉系统捕捉到的三维运动信息进行三维重建，得到三维运动捕捉系统捕捉范围内患者手术部位和手术器械的形状、位置和/或运动轨迹的三维图像；并将重建出来的患者手术部位骨骼的三维图像与患者手术部位和手术器械的形状、位置和/或运动轨迹的三维图像进行配准，根据定位坐标系与世界坐标系之间的变换矩阵，在同一坐标系下将两种三维图像进行融合，得到实时的反映手术过程中患者手术部位骨骼与手术器械位置关系的三维导航图像。
本发明的技术方案还包括：所述智能眼镜系统包括可透视型智能眼镜、至少两个摄像头及红外测距系统，所述摄像头分别对称放置在可透视型智能眼镜的两侧，所述红外测距系统位于可透视型智能眼镜的中间，所述摄像头采用双目立体视觉技术计算出此刻可透视型智能眼镜在定位坐标系中的三维坐标信息，通过无线网络将坐标信息传送至导航软件。
本发明的技术方案还包括：所述导航软件根据定位坐标系与世界坐标系之间的变换矩阵，计算出此刻可透视型智能眼镜在世界坐标系中的坐标，根据该坐标计算出此刻可透视型智能眼镜中应该显示的三维导航图像，并通过无线网络将计算得到的三维导航图像传送至智能眼镜系统进行显示；所述三维导航图像包括在此角度下患者手术部位的骨骼图像以及手术器械进入患者身体内部的虚拟三维图像。
本发明提供的另一技术方案，一种骨科手术导航方法，包括：
步骤a：通过射线装置拍摄患者手术部位骨骼的二维图像；
步骤b：通过三维运动捕捉系统捕捉患者手术部位和手术器械的形状、位置和/或运动轨迹的三维运动信息；
步骤c：通过导航软件对患者术前拍摄的手术部位骨骼的二维图像及患者手术部位和手术器械的形状、位置和/或运动轨迹的三维运动信息分别进行三维重建，并将重建后的两种三维图像在同一坐标系下进行配准融合得到三维导航图像；
步骤d：通过智能眼镜系统实时显示三维导航图像。
本发明的技术方案还包括：在所述步骤a中，所述射线装置为C型臂，所述步骤b还包括：调节三维运动捕捉系统距离患者手术部位皮肤表面的距离，将医生操作手术器械的范围置于三维运动捕捉系统的捕捉范围内，同时建立定位坐标系与世界坐标系之间的变换矩阵，其中，所述世界坐标系是手术前以C型臂导轨圆心为中心，用C型臂对患者手术部位进行拍片得到的病人三维图像的坐标系，所述定位坐标系以三维运动捕捉系统中心为原点，三个坐标轴方向分别与世界坐标系的坐标轴方向平行。
本发明的技术方案还包括：在所述步骤c中，所述将重建后的两种三维图像进行配准融合具体包括：将重建出来的患者手术部位骨骼的三维图像与患者手术部位和手术器械的形状、位置和/或运动轨迹的三维图像进行配准，并根据定位坐标系与世界坐标系之间的变换矩阵，在同一坐标系下将两种三维图像进行融合，得到实时的反映手术过程中患者手术部位骨骼与手术器械位置关系的三维导航图像。
本发明的技术方案还包括：所述步骤d还包括：通过智能眼镜系统计算出此刻可透视型智能眼镜在定位坐标系中的坐标信息，并通过无线网络将坐标信息传送至导航软件，所述导航软件根据定位坐标系与世界坐标系之间的变换矩阵，计算出可透视型智能眼镜在世界坐标系中的坐标，根据该坐标计算出此刻可透视型智能眼镜中应该显示的三维导航图像，并通过无线网络将计算得到的三维导航图像传送至智能眼镜系统进行显示。
本发明的技术方案具有如下优点或有益效果：本发明实施例的骨科手术导航系统及导航方法通过统一的导航软件对患者手术部位骨骼的二维图像及患者手术部位和手术器械的形状、位置和/或运动轨迹的三维运动信息进行三维重建，并在同一坐标系下将两种三维图像进行融合，得到实时反映手术过程中患者手术部位骨骼与手术器械位置关系的三维图像，根据摄像头和红外测距系统测量的可透视智能眼镜在世界坐标系中的三维坐标信息计算医生在不同角度下应该观看到的三维图像，采用可透视型智能眼镜作为图像显示工具，让医生戴着可透视型智能眼镜观看患者手术部位的图像，进而将虚拟的患者手术部位的骨骼图像和手术器械进入患者身体内部具体位置的三维图像叠加在医生真实的视野之上，在手术过程中进行实时导航，大大加快医生手术操作的效率，以实现更加安全、准确、高效的完成手术。
附图说明
附图1是本发明实施例的骨科手术导航系统的结构示意图；
附图2是本发明实施例的骨科手术导航系统的导航软件的工作原理图；
附图3是本发明实施例的骨科手术导航系统的导航方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，为本发明实施例的骨科手术导航系统的结构示意图。本发明实施例的骨科手术导航系统包括射线装置、三维运动捕捉系统、智能眼镜系统、图形工作站和导航软件。其中，射线装置在术中起透视作用，用于在术前对患者手术部位进行360°的拍片，拍摄患者手术部位骨骼的二维图像，并将拍摄的二维图像传送至导航软件进行三维重建；同时，以射线装置导轨圆心为中心，建立世界坐标系，该世界坐标系也为患者三维图像的坐标系；在本发明实施例中，射线装置为常规的小型C型臂、中型C型臂或者其他种类的射线装置。
三维运动捕捉系统包括至少两个平行放置的摄像头，摄像头之间有一定的间距，利用摄像头对特定手术空间范围内患者手术部位和手术器械的形状、位置和/或运动轨迹进行捕捉。在本发明的实施方式中，摄像头捕捉的内容不限于是形状、位置、运动轨迹或者形状、位置、运动轨迹的结合。摄像头采用双目立体视觉技术（BinocularStereoVision，是机器视觉的一种重要形式，它是基于视差原理并利于成像设备从不同的位置获取被测物体的两幅图像，通过计算技术图像对应点之间的位置偏差，来获取物体三维几何信息的方法。），其中，特定三维空间范围可以为患者手术部位或手术器械一定范围内的三维空间，例如20厘米或者1米等不同的范围。根据捕捉到的图像计算出患者手术部位和手术器械的形状、位置和/或运动轨迹的三维运动信息，并将捕捉到的三维运动信息传输到导航软件上；其中，在本发明实施例中，摄像头的数量为两个，摄像头固定在电路板上，并通过线缆用USB接口与图形工作站连接，三维运动捕捉系统通过该USB接口传输三维运动信息并获取供电；电路板上还包括其他辅助电子元器件，辅以整体功能的实现。
三维运动捕捉系统通过可以伸缩的金属杆固定在射线装置的射线接收端，并可以沿着射线装置与射线这个方向上下运动；在手术过程中，可通过调节三维运动捕捉系统距离患者手术部位皮肤表面的距离将医生操作手术器械的范围置于三维运动捕捉系统的捕捉范围内，同时建立定位坐标系与世界坐标系之间的变换矩阵；本发明实施例通过利用摄像头并结合双目立体视觉技术实现对任意进入捕捉范围的手术器械的运动轨迹进行捕捉，能够极大降低设备成本，有利于本发明的全面推广。
智能眼镜系统包括可透视型智能眼镜、摄像头及红外测距系统，摄像头的数量为至少两个，并分别对称放置在可透视型智能眼镜的两侧，红外测距系统位于可透视型智能眼镜的中间，在手术过程中由医生佩戴该智能眼镜系统，戴上该智能眼镜系统后，周围可见光能够透过眼镜镜片，人的双眼能够正常看到四周的环境，通过摄像头结合红外测距系统，并采用双目立体视觉技术计算出此刻可透视型智能眼镜在定位坐标系中的坐标信息（即代表医生眼睛位置的三维空间坐标），通过无线网络将坐标信息传送至导航软件；并接收图形工作站传输的三维导航图像，通过可透视型智能眼镜将三维导航图像叠加显示于医生的真实视野上；本发明采用可透视型智能眼镜作为导航图像显示工具，彻底放弃在骨科计算机辅助导航系统中观看医学图像所使用的二维显示器，让医生戴着可透视型智能眼镜观看患者手术部位的图像，进而将虚拟的患者手术部位的骨骼图像和手术器械进入患者身体内部具体位置的三维导航图像叠加在医生真实的视野之上，医生不必再看着二维显示器上面的图像进行手术操作，大大加快医生手术操作效率；在本发明实施例中，智能眼镜系统的摄像头数量为两个。
图形工作站负责所有软件的运行；
导航软件运行于图像工作站，负责三维导航图像的处理，具体包括：
在术前通过射线装置拍摄的二维图像重建出患者手术部位骨骼的三维图像；
在重建患者手术部位骨骼的三维图像后，对手术过程进行规划，辅助医生完成手术计划的制定；
获取三维运动捕捉系统捕捉到的三维运动信息，并对三维运动信息进行三维重建，得到三维运动捕捉系统捕捉范围内患者手术部位和手术器械的形状、位置和/或运动轨迹的三维图像；
将重建出来的患者手术部位骨骼的三维图像与患者手术部位和手术器械的形状、位置和/或运动轨迹的三维图像进行配准，并根据定位坐标系与世界坐标系之间的变换矩阵，在同一坐标系下将两种三维图像进行融合，得到实时的反映手术过程中患者手术部位骨骼与手术器械位置关系的三维导航图像，其中，所述世界坐标系是手术前以射线装置导轨圆心为中心，用射线装置对患者手术部位进行拍片得到的病人三维图像的坐标系，所述定位坐标系以三维运动捕捉系统中心为原点，三个坐标轴方向分别与世界坐标系的坐标轴方向平行；
接收智能眼镜系统传送过来的此刻可透视型智能眼镜的在定位坐标系中的坐标信息，根据定位坐标系与世界坐标系之间的变换矩阵，计算出可透视型智能眼镜在世界坐标系中的坐标，并根据该坐标计算出此刻可透视型智能眼镜中应该显示的三维导航图像，包括在此角度下患者手术部位的骨骼图像以及手术器械进入患者身体内部的三维导航图像；
通过无线网络将计算得到的三维导航图像传送给医生所戴的智能眼镜系统进行显示，医生通过可透视智能眼镜就能够在任意角度看到患者手术部位内部的骨骼图像以及手术器械进入患者身体内部的虚拟图像，就像有了“透视”功能，实现准确高效的手术；在开始正式的手术操作后，任意的手术器械在进入三维运动捕捉系统的捕捉范围之后都能在导航软件的界面中显示出来，并在手术器械进入患者手术部位身体内部后，显示出手术器械进入身体内部的位置以及深度的虚拟三维图像，同时，根据医生所戴智能眼镜系统计算出来的医生眼睛此刻在三维图像中的坐标信息，导航软件根据该坐标信息重新计算在此种角度下医生应该看到的患者手术部位的骨骼以及手术器械进入患者身体内部的虚拟图像，在手术过程中进行实时导航，以实现更加安全、准确、高效的完成手术。具体请一并参阅图2，是本发明实施例的骨科手术导航系统的导航软件的工作原理图。
请参阅图3，为本发明实施例的骨科手术导航系统的导航方法的流程图。本发明实施例的骨科手术导航系统的导航方法包括以下步骤：
步骤S10：通过射线装置拍摄患者手术部位骨骼的二维图像，并将拍摄的二维图像传送至导航软件进行三维重建；
在步骤S10中，射线装置在术中起透视作用，用于在术前对患者手术部位进行360°的拍片，同时，以射线装置导轨圆心为中心，建立世界坐标系，该世界坐标系也为患者三维图像的坐标系；在本发明实施例中，射线装置为常规的小型C型臂、中型C型臂或者其他类型的射线装置。
步骤S20：导航软件根据射线装置拍摄的二维图像重建出患者手术部位骨骼的三维图像；
在步骤S20中，导航软件运行于图形工作站上，负责三维导航图像的数量。
步骤S30：根据重建的手术部位骨骼三维图像对手术过程进行规划，辅助医生完成手术计划的制定；
步骤S40：调节三维运动捕捉系统距离患者手术部位皮肤表面的距离，将医生操作手术器械的范围置于三维运动捕捉系统的捕捉范围内，同时建立定位坐标系与世界坐标系之间的变换矩阵；
步骤S50：通过三维运动捕捉系统对特定三维空间范围内患者手术部位和手术器械的形状、位置和/或运动轨迹进行捕捉，采用双目立体视觉技术根据捕捉到的图像计算出患者手术部位和手术器械的形状、位置和/或运动轨迹的三维运动信息，并将捕捉到的三维运动信息传输到导航软件上；
在步骤S50中，三维运动捕捉系统包括至少两个平行放置的摄像头，摄像头固定在电路板上，摄像头之间有一定的间距，并通过线缆用USB接口与图形工作站连接，三维运动捕捉系统通过该USB接口传输三维运动信息并获取供电；其中，在本发明实施例中，摄像头的数量为两个，电路板上还包括其他辅助电子元器件，辅以整体功能的实现。
步骤S60：通过导航软件对三维运动捕捉系统捕捉到的三维运动信息进行三维重建，得到三维运动捕捉系统捕捉范围内患者手术部位和手术器械的形状、位置和/或运动轨迹的三维图像；
步骤S70：将重建出来的患者手术部位骨骼的三维图像与患者手术部位和手术器械的形状、位置和/或运动轨迹的三维图像进行配准，并根据定位坐标系与世界坐标系之间的变换矩阵，在同一坐标系下将两种三维图像进行融合，得到实时的反映手术过程中患者手术部位骨骼与手术器械位置关系的三维导航图像；
步骤S80：通过智能眼镜系统计算出此刻可透视型智能眼镜在定位坐标系中的坐标信息，并通过无线网络将坐标信息传送至导航软件；
在步骤S80中，智能眼镜系统包括可透视型智能眼镜、摄像头及红外测距系统，摄像头的数量为至少两个，并分别对称放置在可透视型智能眼镜的两侧，红外测距系统位于可透视型智能眼镜的中间，在手术过程中由医生佩戴该智能眼镜系统，戴上该智能眼镜系统后，周围可见光能够透过眼镜镜片，人的双眼能够正常看到四周的环境，通过两个摄像头结合红外测距系统，并采用双目立体视觉技术计算出此刻可透视型智能眼镜在定位坐标系中的坐标信息，即代表医生眼睛位置的坐标信息；
步骤S90：导航软件根据定位坐标系与世界坐标系之间的变换矩阵，计算出可透视型智能眼镜在世界坐标系中的坐标，根据该坐标计算出此刻可透视型智能眼镜中应该显示的三维导航图像，并通过无线网络将计算得到的三维导航图像传送给医生所戴的智能眼镜系统；
在步骤S90中，在实时的三维手术图像中，三维导航图像不是固定的，而是根据可透视型智能眼镜在定位坐标系中的坐标信息计算可透视型智能眼镜中应该显示的三维导航图像即相当于医生从不同角度观看三维导航图像，此刻可透视型智能眼镜中应该显示的三维导航图像包括在此角度下医生应该看到的患者手术部位的骨骼图像以及手术器械进入患者身体内部的三维导航图像。
步骤S100：通过可透视眼镜实时显示三维导航图像，医生根据患者手术部位的骨骼图像以及手术器械进入患者身体内部的三维导航图像完成手术。
在步骤S100中，医生开始正式的手术操作后，任意的手术器械在进入捕捉系统的捕捉范围之后都能在导航软件的界面中显示出来，并在手术器械进入患者手术部位身体内部后，显示出手术器械进入患者身体内部的位置以及深度的虚拟图像。同时，根据医生所戴智能眼镜系统计算出来的医生眼睛此刻在三维导航图像中的坐标信息，导航软件根据该坐标信息重新计算在此种角度下医生应该看到的患者手术部位的骨骼以及手术器械进入患者身体内部的三维导航图像，实现实时导航；本发明采用可透视型智能眼镜作为图像显示工具，彻底放弃在骨科计算机辅助导航系统中观看医学图像所使用的二维显示器，让医生戴着可透视型智能眼镜观看患者手术部位的图像，进而将虚拟的患者手术部位的骨骼图像和手术器械进入患者身体内部具体位置的三维图像叠加在医生真实的视野之上，医生不必再看着二维显示器上面的图像进行手术操作，大大加快医生手术操作的效率。
本发明实施例的骨科手术导航系统及导航方法通过统一的导航软件对患者手术部位骨骼的二维图像及患者手术部位和手术器械的形状、位置及运动轨迹的三维运动信息进行三维重建，并在同一坐标系下将两种三维图像进行融合，得到实时反映手术过程中患者手术部位骨骼与手术器械位置关系的三维图像，根据两个摄像头和一个红外测距系统测量的可透视智能眼镜在世界坐标系中的三维坐标信息计算医生在不同角度下应该观看到的三维图像，采用可透视型智能眼镜作为图像显示工具，让医生戴着可透视型智能眼镜观看患者手术部位的图像，进而将虚拟的患者手术部位的骨骼图像和手术器械进入患者身体内部具体位置的三维图像叠加在医生真实的视野之上，在手术过程中进行实时导航，大大加快医生手术操作的效率，以实现更加安全、准确、高效的完成手术；通过利用两个摄像头并结合双目立体视觉技术实现对特定三维手术空间范围的手术器械的运动轨迹进行捕捉，能够极大降低设备成本，有利于本发明的全面推广；另外，本发明采用统一的导航软件，并采用了更为简单的定位技术，省去了目前导航技术的定位环节，便于医生学习操作；同时，本发明不仅仅局限于骨科手术的导航应用，只要在手术过程中需要经常看到身体内部器官、骨骼采的手术均可用本发明进行手术导航。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种骨科手术导航系统，包括射线装置和图形工作站，所述射线装置用于术前拍摄患者手术部位骨骼的二维图像，所述图形工作站用于软件的运行，其特征在于，还包括：
三维运动捕捉系统：用于捕捉手术空间范围内患者手术部位和手术器械的形状、位置和/或运动轨迹的三维运动信息；
导航软件：运行于图形工作站上，用于分别对患者术前拍摄的手术部位骨骼的二维图像及患者手术部位和手术器械的形状、位置和/或运动轨迹的三维运动信息进行三维重建，将重建后的两种三维图像在同一坐标系下进行配准融合得到三维导航图像；
智能眼镜系统：用于实时显示导航软件返回的三维导航图像；
所述三维运动捕捉系统通过可伸缩的金属杆固定在所述射线装置的射线接收端，并沿着射线装置与射线方向上下运动，并通过调节三维运动捕捉系统距离患者手术部位皮肤表面的距离将医生操作手术器械的范围置于三维运动捕捉系统的捕捉范围内，同时建立定位坐标系与世界坐标系之间的变换矩阵，其中，所述世界坐标系是手术前以射线装置导轨圆心为中心，用射线装置对患者手术部位进行拍片得到的病人三维图像的坐标系，所述定位坐标系以三维运动捕捉系统中心为原点，三个坐标轴方向分别与世界坐标系的坐标轴方向平行。
2.根据权利要求1所述的骨科手术导航系统，其特征在于，所述射线装置为C型臂，所述三维运动捕捉系统包括至少两个摄像头，所述摄像头与图形工作站连接，所述摄像头对患者手术部位和手术器械的形状、位置和/或运动轨迹进行捕捉，所述摄像头采用双目立体视觉技术根据捕捉到的图像计算出患者手术部位和手术器械的形状、位置和/或运动轨迹的三维运动信息。
3.根据权利要求1所述的骨科手术导航系统，其特征在于，所述导航软件通过射线装置拍摄的二维图像重建出患者手术部位骨骼的三维图像，将三维运动捕捉系统捕捉到的三维运动信息进行三维重建，得到三维运动捕捉系统捕捉范围内患者手术部位和手术器械的形状、位置和/或运动轨迹的三维图像；并将重建出来的患者手术部位骨骼的三维图像与患者手术部位和手术器械的形状、位置和/或运动轨迹的三维图像进行配准，根据定位坐标系与世界坐标系之间的变换矩阵，在同一坐标系下将两种三维图像进行融合，得到实时的反映手术过程中患者手术部位骨骼与手术器械位置关系的三维导航图像。
4.根据权利要求3所述的骨科手术导航系统，其特征在于，所述智能眼镜系统包括可透视型智能眼镜、至少两个摄像头及红外测距系统，所述摄像头分别放置在可透视型智能眼镜的两侧，所述红外测距系统位于可透视型智能眼镜的中间，所述摄像头采用双目立体视觉技术计算出此刻可透视型智能眼镜在定位坐标系中的三维坐标信息，通过无线网络将坐标信息传送至导航软件。
5.根据权利要求4所述的骨科手术导航系统，其特征在于，所述导航软件根据定位坐标系与世界坐标系之间的变换矩阵，计算出此刻可透视型智能眼镜在世界坐标系中的坐标，根据该坐标计算出此刻可透视型智能眼镜中应该显示的三维导航图像，并通过无线网络将计算得到的三维导航图像传送至智能眼镜系统进行显示；所述三维导航图像包括在此角度下患者手术部位的骨骼图像以及手术器械进入患者身体内部的虚拟三维图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310124955.3A CN103211655B (zh) | 2013-04-11 | 2013-04-11 | 一种骨科手术导航系统及导航方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310124955.3A CN103211655B (zh) | 2013-04-11 | 2013-04-11 | 一种骨科手术导航系统及导航方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103211655A CN103211655A (zh) | 2013-07-24 |
| CN103211655B true CN103211655B (zh) | 2016-03-09 |
Family
ID=48810058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310124955.3A Active CN103211655B (zh) | 2013-04-11 | 2013-04-11 | 一种骨科手术导航系统及导航方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103211655B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112472293A (zh) * | 2020-12-15 | 2021-03-12 | 山东威高医疗科技有限公司 | 一种术前三维影像与术中透视图像的配准方法 |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103591958B (zh) * | 2013-11-12 | 2017-01-04 | 中国科学院深圳先进技术研究院 | 一种基于智能眼镜的人员导航系统及方法 |
| CN103646587B (zh) * | 2013-12-05 | 2017-02-22 | 北京京东方光电科技有限公司 | 一种智能眼镜及其控制方法 |
| CN103957383A (zh) * | 2014-04-22 | 2014-07-30 | 中国科学院深圳先进技术研究院 | 基于智能眼镜的后视系统 |
| CN107995855B (zh) * | 2015-03-26 | 2021-07-16 | 拜欧米特制造有限责任公司 | 用于使用运动捕获数据来规划和执行关节置换流程的方法和系统 |
| CN104739462A (zh) * | 2015-04-24 | 2015-07-01 | 杨明 | 一种外科手术系统 |
| NL2014772B1 (en) * | 2015-05-06 | 2017-01-26 | Univ Erasmus Med Ct Rotterdam | A lumbar navigation method, a lumbar navigation system and a computer program product. |
| CN105303557B (zh) * | 2015-09-21 | 2018-05-22 | 深圳先进技术研究院 | 一种可透视型智能眼镜及其透视方法 |
| CN106580471A (zh) * | 2015-10-19 | 2017-04-26 | 沈阳新松机器人自动化股份有限公司 | 图像导航定位系统及方法 |
| CN106063726B (zh) * | 2016-05-24 | 2019-05-28 | 中国科学院苏州生物医学工程技术研究所 | 实时穿刺导航系统及其导航方法 |
| CN107823877A (zh) * | 2016-09-16 | 2018-03-23 | 天津思博科科技发展有限公司 | 应用三维定位传感器实现的虚拟运动游戏装置 |
| CN106821499A (zh) * | 2017-02-16 | 2017-06-13 | 清华大学深圳研究生院 | 一种3d虚拟超声引导穿刺导航系统及方法 |
| CN107088091A (zh) * | 2017-06-08 | 2017-08-25 | 广州技特电子科技有限公司 | 一种辅助骨科手术的手术导航系统及导航方法 |
| CN107228681A (zh) * | 2017-06-26 | 2017-10-03 | 上海驾馥电子科技有限公司 | 一种通过摄像头加强导航功能的导航系统 |
| CN107468337A (zh) * | 2017-08-03 | 2017-12-15 | 苏州医视医疗科技有限公司 | 基于智能眼镜的手术导航平台 |
| CN107374729B (zh) * | 2017-08-21 | 2021-02-23 | 刘洋 | 基于ar技术的手术导航系统及方法 |
| CN109674533B (zh) * | 2017-10-18 | 2022-07-05 | 刘洋 | 基于便携式彩超设备的手术导航系统及方法 |
| CN109833092A (zh) * | 2017-11-29 | 2019-06-04 | 上海复拓知达医疗科技有限公司 | 体内导航系统和方法 |
| CN108042172B (zh) * | 2017-12-06 | 2019-11-15 | 上海波城医疗科技有限公司 | 骨科手术单孔道定位系统 |
| CN116602766A (zh) * | 2018-01-31 | 2023-08-18 | 武汉联影智融医疗科技有限公司 | 骨科操作系统及其控制方法 |
| CN108742876A (zh) * | 2018-08-02 | 2018-11-06 | 雅客智慧（北京）科技有限公司 | 一种手术导航装置 |
| CN109771034A (zh) * | 2019-03-08 | 2019-05-21 | 安徽医科大学第二附属医院 | 一种新型骨科导航系统及方法、信息数据处理终端 |
| CN111951326A (zh) * | 2019-05-15 | 2020-11-17 | 北京地平线机器人技术研发有限公司 | 基于多摄像装置的目标对象骨骼关键点定位方法和装置 |
| WO2020243483A1 (en) * | 2019-05-29 | 2020-12-03 | Surgical Planning Associates Inc. | Systems and methods for utilizing augmented reality in surgery |
| CN110522514A (zh) * | 2019-08-21 | 2019-12-03 | 昆明医科大学第二附属医院 | 一种肝胆外科手术定位追踪系统 |
| CN110584782B (zh) * | 2019-09-29 | 2021-05-14 | 上海微创电生理医疗科技股份有限公司 | 医学图像处理方法、装置、医学系统、计算机及存储介质 |
| TWI741536B (zh) * | 2020-03-20 | 2021-10-01 | 台灣骨王生技股份有限公司 | 基於混合實境的手術導航影像成像方法 |
| CN113456229A (zh) * | 2020-03-31 | 2021-10-01 | 北京图灵微创医疗科技有限公司 | 用于腹腔手术的机器人系统 |
| CN112107366B (zh) * | 2020-07-23 | 2021-08-10 | 常州锦瑟医疗信息科技有限公司 | 一种混合现实超声导航系统 |
| CN114073579B (zh) * | 2020-08-19 | 2022-10-14 | 杭州三坛医疗科技有限公司 | 手术导航方法、装置、电子设备及存储介质 |
| CN112190331A (zh) * | 2020-10-15 | 2021-01-08 | 北京爱康宜诚医疗器材有限公司 | 手术导航信息的确定方法、装置及系统、电子装置 |
| CN112754657A (zh) * | 2020-12-28 | 2021-05-07 | 中南大学湘雅医院 | 一种基于物联网的骨科导航控制装置及方法 |
| CN113081268A (zh) * | 2021-03-31 | 2021-07-09 | 上海电气集团股份有限公司 | 基于AR和IoT的手术引导系统 |
| CN113133814A (zh) * | 2021-04-01 | 2021-07-20 | 上海复拓知达医疗科技有限公司 | 基于增强现实的穿刺手术导航装置及计算机可读存储介质 |
| CN113081281A (zh) * | 2021-04-16 | 2021-07-09 | 北京图灵微创医疗科技有限公司 | 一种用于腹腔手术的机器人系统 |
| WO2023165158A1 (zh) * | 2022-03-04 | 2023-09-07 | 武汉迈瑞科技有限公司 | 医疗导航设备、导航处理设备及方法、以及医疗导航系统 |
| CN116370072A (zh) * | 2023-03-31 | 2023-07-04 | 普朗克(广州)医疗科技有限公司 | 手术辅助方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201029876Y (zh) * | 2007-01-15 | 2008-03-05 | 杭州市萧山区中医院 | 骨科手术导航系统 |
| CN102784003A (zh) * | 2012-07-20 | 2012-11-21 | 北京先临华宁医疗科技有限公司 | 一种基于结构光扫描的椎弓根内固定手术导航系统 |
| CN102920509A (zh) * | 2012-10-30 | 2013-02-13 | 华南理工大学 | 一种基于超声波的实时无线手术导航装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003002011A1 (en) * | 2001-06-28 | 2003-01-09 | Surgyvision Ltd. | Stereoscopic video magnification and navigation system |
-
2013
- 2013-04-11 CN CN201310124955.3A patent/CN103211655B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN201029876Y (zh) * | 2007-01-15 | 2008-03-05 | 杭州市萧山区中医院 | 骨科手术导航系统 |
| CN102784003A (zh) * | 2012-07-20 | 2012-11-21 | 北京先临华宁医疗科技有限公司 | 一种基于结构光扫描的椎弓根内固定手术导航系统 |
| CN102920509A (zh) * | 2012-10-30 | 2013-02-13 | 华南理工大学 | 一种基于超声波的实时无线手术导航装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112472293A (zh) * | 2020-12-15 | 2021-03-12 | 山东威高医疗科技有限公司 | 一种术前三维影像与术中透视图像的配准方法 |
| CN112472293B (zh) * | 2020-12-15 | 2022-10-21 | 山东威高医疗科技有限公司 | 一种术前三维影像与术中透视图像的配准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103211655A (zh) | 2013-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103211655B (zh) | 一种骨科手术导航系统及导航方法 | |
| CN103519895A (zh) | 一种骨科手术辅助导引方法 | |
| WO2021217713A1 (zh) | 手术导航系统及执行手术导航方法的计算机与存储介质 | |
| CN103735312B (zh) | 多模影像超声引导手术导航系统 | |
| EP3254621A1 (en) | 3d image special calibrator, surgical localizing system and method | |
| CN104586505A (zh) | 一种骨科手术导航系统及导航方法 | |
| Blackwell et al. | Augmented reality and its future in orthopaedics. | |
| CN103479431B (zh) | 非介入式微创手术导航系统 | |
| US20200275988A1 (en) | Image to world registration for medical augmented reality applications using a world spatial map | |
| Andrews et al. | Registration techniques for clinical applications of three-dimensional augmented reality devices | |
| CA2973606A1 (en) | Optical targeting and visualization of trajectories | |
| AU2020261291A1 (en) | System for computer guided surgery | |
| KR102105974B1 (ko) | 의료 영상 시스템 | |
| JP2004538538A (ja) | 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置 | |
| CN102727309A (zh) | 结合内窥镜影像的外科手术导航系统和外科手术导航方法 | |
| CN204655073U (zh) | 一种骨科手术导航系统 | |
| CN106420054A (zh) | 一种融合术前3d规划信息的前交叉韧带止点定位和韧带隧道定位装置 | |
| EP3212104B1 (en) | Hybrid navigation system for surgical interventions | |
| Fotouhi et al. | Co-localized augmented human and X-ray observers in collaborative surgical ecosystem | |
| Gsaxner et al. | Augmented reality in oral and maxillofacial surgery | |
| TWI741196B (zh) | 整合擴增實境之手術導航方法及系統 | |
| Zhang et al. | 3D augmented reality based orthopaedic interventions | |
| Harders et al. | Multimodal augmented reality in medicine | |
| TW201519856A (zh) | 手術定位方法 | |
| TWM484404U (zh) | 成像投影系統設備應用 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20170912 Address after: 215028, room 20, 523, Northwest District, nano City, 99 Jinji Lake Road, Suzhou Industrial Park, Jiangsu, China Patentee after: SUZHOU ZHONGKE ADVANCED TECHNOLOGY RESEARCH INSTITUTE Co.,Ltd. Address before: Room office building No. 1068 Shenzhen Institute of advanced technology A-301 518000 in Guangdong city of Shenzhen province Nanshan District Shenzhen University city academy Avenue Patentee before: Shenzhen shen-tech advanced Cci Capital Ltd. Effective date of registration: 20170912 Address after: Room office building No. 1068 Shenzhen Institute of advanced technology A-301 518000 in Guangdong city of Shenzhen province Nanshan District Shenzhen University city academy Avenue Patentee after: Shenzhen shen-tech advanced Cci Capital Ltd. Address before: 518000 Guangdong city of Shenzhen province Nanshan District Xili University academy road No. 1068 Patentee before: SHENZHEN INSTITUTES OF ADVANCED TECHNOLOGY |
|
| TR01 | Transfer of patent right |