CN113768623A - 使用单目定位跟踪器的手术导航系统 - Google Patents
使用单目定位跟踪器的手术导航系统 Download PDFInfo
- Publication number
- CN113768623A CN113768623A CN202010520921.6A CN202010520921A CN113768623A CN 113768623 A CN113768623 A CN 113768623A CN 202010520921 A CN202010520921 A CN 202010520921A CN 113768623 A CN113768623 A CN 113768623A
- Authority
- CN
- China
- Prior art keywords
- monocular
- tracker
- positioning tracker
- calculating
- surgical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 206010034719 Personality change Diseases 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 30
- 238000002955 isolation Methods 0.000 claims description 27
- 230000001133 acceleration Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000005484 gravity Effects 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000036544 posture Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000001356 surgical procedure Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 239000000758 substrate Substances 0.000 description 7
- 210000000988 bone and bone Anatomy 0.000 description 6
- 239000012780 transparent material Substances 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 210000001519 tissue Anatomy 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 239000000523 sample Substances 0.000 description 4
- 229920003023 plastic Polymers 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 208000015181 infectious disease Diseases 0.000 description 2
- 230000036512 infertility Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000004197 pelvis Anatomy 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 239000010935 stainless steel Substances 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 229910001069 Ti alloy Inorganic materials 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011540 hip replacement Methods 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- TWNQGVIAIRXVLR-UHFFFAOYSA-N oxo(oxoalumanyloxy)alumane Chemical compound O=[Al]O[Al]=O TWNQGVIAIRXVLR-UHFFFAOYSA-N 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 229910001256 stainless steel alloy Inorganic materials 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 238000012414 sterilization procedure Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2072—Reference field transducer attached to an instrument or patient
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Dentistry (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种手术导航系统,包括单目定位跟踪器、被跟踪目标、特征平面指示装置、支撑支架和计算单元。计算单元计算并记录特征平面指示装置确定的参考平面;实时计算并记录单目定位跟踪器的姿态变化;从单目定位跟踪器获得影像并计算被跟踪目标的位置与姿态;实时计算被跟踪目标相对于水平面及参考平面的角度。本发明提供的系统,可以避免对手术部位的定位追踪,仅需要对手术工具进行追踪,减少了被跟踪目标的数量,因而也减少了需要标定的工具数量,降低了系统的复杂度。
Description
技术领域
本发明涉及一种实施手术的方案,尤其涉及一种引导手术的系统,涉及多个自动化设备,以提高手术的自动化水平。
背景技术
常见的手术导航系统,或图像引导手术系统(如:美国Medtronic公司stealthstation系统,德国Brainlab颅脑导航系统等)一般由红外双目定位跟踪器,显示及运算主机以及被跟踪目标(分别固定在手术部位和手术工具上的跟踪参考架)组成。这种系统使用的双目定位跟踪器通常有最小跟踪距离的限制,如:NDI Polaris Vega其最小工作距离为95cm。同时也由于这类导航系统需要同时跟踪手术部位以及手术工具上的被跟踪目标,定位跟踪器需要具有较大的跟踪视野(有效跟踪距离,以及在某跟踪距离时视野的长与宽)。一般为了获得一个较大的跟踪视野,需要保持定位跟踪器与被跟踪目标适当的距离(譬如1m~2m的范围),因为跟踪距离的存在,导致双目定位跟踪器与被跟踪目标之间容易因为非预期的物体进入而遮挡定位跟踪器视线,导致定位跟踪器不能正常定位跟踪,造成手术的中断,影响系统的操作体验。
另外,常见的手术导航系统在手术前需要进行人体影像三维模型(或数字化的标准人体模型)与实际人体结构的配准。一般使用点配准(如:ICP算法)或面配准算法,这种算法要求使用一种装置(探针或激光表面点云扫描装置)获取手术部位表面的特征点,同时在医学影像(如:CT或MR)或数字化人体模型上选取对应的特征点,再使用配准算法对齐。这种操作过程较繁琐,一般需要耗费医生5分钟~20分钟的时间,延长了总的手术时间,造成用户体验较差。
发明内容
本发明的一个目的在于提供一种手术导航系统,使用单目定位跟踪器实现手术引导和定位,实现近距离跟踪,并提供较大的跟踪范围,有效地避免了手术过程中可能发生的定位跟踪器视线遮挡问题。
本发明的另一个目的在于提供一种手术导航系统,实现术中快速配准(注册),仅需确定水平面和一个人体特征参考平面即可完成配准(注册),提高手术引导应用的便捷性。
本发明的再一个目的在于提供一种手术导航系统,在手术引导中提供实时角度测量,实时计算被跟踪目标相对于水平面和人体特征参考平面的相对角度关系,提高手术引导的及时性。
一种手术导航系统,包括:
单目定位跟踪器,其仅包含一个摄像机和光源;
被跟踪目标,其包含四个及以上单目定位跟踪器可识别的反光标记;
特征平面指示装置,其包含若干反光标记,以及一个方向指示装置,用于在单目定位跟踪器下确定一个人体特征参考平面;
支撑支架,其包含与手术部位组织固定连接的支撑件,至少两个旋转关节,以及快速拆卸装置;用于将单目定位跟踪器固定并支撑在手术部位,以及调整单目定位跟踪器的视野方向;
计算单元,计算并记录特征平面指示装置确定的参考平面;实时计算并记录单目定位跟踪器的姿态变化;从单目定位跟踪器获得影像并计算被跟踪目标的位置与姿态;实时计算被跟踪目标相对于水平面及参考平面的角度。
本发明的手术导航系统,单目定位跟踪器还包括加速度传感器、陀螺仪和磁力计,对被跟踪目标进行光学跟踪,同时测量定位跟踪器自身姿态变化和重力方向。加速度计用于测量三个垂直方向的加速度,陀螺仪用户测量三个方向的旋转分量。
本发明的手术导航系统,单目定位跟踪器还包括针对光源亮度调整模块,其接受计算单元指令,动态调整光源亮度,从而控制光源形成的光场强度。
本发明的手术导航系统,单目定位跟踪器通过一条实体线路与计算机连接,该线路实现对测量装置供电和数据通讯,其具体形式可以为USB线或者网线;亦可通过无线网络、蓝牙等与计算机连接,实现数据通讯,此时单目定位跟踪器还配备可拆卸或可充电电池以保证跟踪器正常工作。
本发明的手术导航系统,还包括无菌隔离装置,可以是一次性医疗用具,或可反复灭菌消毒。其安装在单目定位跟踪器前端,具有一个光线可穿透的窗口,安装在所述的单目定位跟踪器的前端,穿透窗口隔离有菌与无菌环境,并保持单目定位跟踪器精度不降低,这种材质可以是透明塑料或玻璃等。
无菌隔离装置,还包括锁定机构,以将无菌隔离装置锁定安装在探头前端,不发生松动,用于实现对单目定位跟踪器的无菌隔离,保证手术区域的无菌。
本发明涉及的导航手术系统,将针对安装有无菌隔离装置的单目定位跟踪器组合进行摄像机标定,这种摄像机标定主要是确定摄像机受无菌隔离装置对其成像物理造成影响后,摄像机成像时的内部参数,如:焦距、畸变和成像中心等。
本发明涉及的计算单元,实时控制单目定位跟踪器中光源亮度。计算单元根据单目定位跟踪器计算时的伪标记点数量和计算代价,实时通过光源功率调整模块调节光场强度,保证单目定位跟踪器对被跟踪目标识别的成功率。
本发明涉及的计算单元,其根据加速度传感器、陀螺仪及磁力计数据计算并记录重力方向,同时计算出与重力方向垂直的水平面;综合运用特征平面指示装置上的反光标记位置以及方向指示装置,计算并记录特征平面指示装置确定的参考平面;根据加速度传感器、陀螺仪及磁力计数据实时计算并记录单目定位跟踪器的自身的三自由度旋转姿态变化;从单目定位跟踪器获得摄像机影像并计算摄像机拍摄范围内被跟踪目标的六自由度位置与姿态;同时实时计算被跟踪目标相对于水平面及人体特征参考平面的角度。
本发明的手术导航系统,支撑件与患者手术部位组织实现刚性连接,还用于对单目定位跟踪器的支架实施支撑。两个旋转关节具备两个方向的旋转自由度调整,以保证对单目定位跟踪器视野方向的调整。支架与单目定位跟踪器连接处还具备快速拆卸与重复定位装置,实现在不需要时可快速移除单目定位跟踪器,需要时快速的稳定的重新定位安装单目定位跟踪器,同时保证这种反复的移除与重新定位安装不影响整体的手术精度,如:以磁力吸引的方式而实现快速拆卸移除以及稳定的重复定位安装。
本发明的系统,使用单目定位跟踪器对被跟踪目标进行跟踪,单目定位跟踪器在近距离时(如:5cm~10cm)也具有较大的跟踪范围,可以保证被跟踪目标(如:固定在手术工具和手术部位的参考架)在距离单目定位跟踪器距离较近时也被定位跟踪到。同时,单目定位跟踪器具有较小的质量(如:50g),能通过紧固装置直接固定在手术区域患者组织上(如:骨组织)。因而可以有效避免定位跟踪器摄像视野被手术区域外的人体或物体无意遮挡的情形。
另外,因可以将定位跟踪器直接固定在手术部位患者组织上,定位跟踪器与手术部位刚性连接而成为一体,它们将同时发生移动或旋转,因而本发明的系统可以避免对手术部位的定位追踪,仅需要对手术工具进行追踪,减少了被跟踪目标的数量,因而也减少了需要标定的工具数量,降低了系统的复杂度。
本发明涉及的系统,还集成了加速度传感器、陀螺仪和磁力计,与单目定位跟踪器组合,采用新的配准(或称注册)机制,仅记录水平面以及人体的特征平面,使用这两个平面进行配准,简化了配准过程,缩短了配准时间,因而缩短了总的手术时间,提升了用户体验。
附图说明
图1为现有双目定位跟踪器一实施例的结构示意图;
图2为本发明采用的单目定位跟踪器一实施例的分解图;
图3为双目定位跟踪器所获取视野的一实施例的示意图;
图4为点配准方法描述示意图;
图5为本发明采用的单目定位跟踪器另一实施例的结构示意图;
图6为用于本发明的特征平面指示装置一实施例的结构图;
图7为人体横断面、矢状面及冠状面示意图;
图8为用于连接患者及单目定位跟踪器的支架一实施例的示意图;
图9为图8所示支架局部的一实施例的结构示意图;
图10为无菌隔离装置一实施例的示意图;
图11为被跟踪目标的一实施例结构图;
图12为实施导航引导手术一实施例的布局示意图。
具体实施方式
以下结合附图详细描述本发明的技术方案。本发明实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的精神和范围,其均应涵盖在本发明的权利要求范围中。
图1为现有双目定位跟踪器一实施例的结构示意图,如图1所示双目定位跟踪器100包括前面板101、背壳105和两个光源102。光源102包含若干红外灯珠,用于发射红外光线,形成红外光场(基于可见光成像的双目定位跟踪器不包含光源102),两个摄像头组件103包含感光芯片、镜头和滤光片等,其安置于电路基板104上。电路基板104包含计算单元,用于实时处理相机获取的影像并计算被跟踪目标的位置与姿态信息,这些信息包含三个位置信息以及三个姿态信息。双目定位跟踪器仅能识别出现在两个摄像头摄像范围重叠区域的被跟踪目标,即需要被跟踪目标同时出现在两个摄像头的拍摄视野中,这导致跟踪视野显著缩小。图3为双目定位跟踪器所获取视野的一实施例的示意图。如图3所示,双目跟踪设置包含两个摄像头301,302,该设置下仅区域303可以保证同时被两个摄像头301,302观察到,即为双目定位跟踪器有效定位跟踪区域303。
图2为本发明采用的单目定位跟踪器一实施例的分解图。图2所示,单目定位跟踪器200包含第一外壳201、第二外壳205和光源202。光源202包含若干红外灯珠,用于发射红外光线,形成红外光场(基于可见光成像的单目定位跟踪器不包含光源202),一个摄像机203,安置在电路基板204上,其包含感光芯片、镜头和滤光片等。电路基板204或包含计算单元,用于计算被跟踪目标的位置与姿态信息,亦或具备通讯接口将摄像机采集到的图像通过通讯接口(此处的通讯接口可以是实体线路连接,如:USB和网线等,或无线连接,如:wifi和蓝牙等)发送给计算机,由计算机计算被跟踪目标的位置与方向信息,这些信息包含三个位置信息以及三个方向信息(如:右手坐标系下,X、Y及Z)。电路基板204上还安装有加速度传感器、陀螺仪以及磁力计,用于获取重力方向,以及实时测量单目定位跟踪器相对于自身的姿态变化,这些数据亦通过上述的通讯接口而被传输到计算单元;同时电路基板204还具备针对光源202的功率调整模块(未示出,例如使用常见的可调节的恒流源调整光源电流值),其可以控制光源202的亮度,从而控制光场强度,该功率调整模块可以通过软件(如:控制单元)输入参数设置,实现对光源功率的动态调整。单目定位跟踪能识别出现在其视野中的全部目标,不受双目系统需要被跟踪目标被两个摄像机同时识别的约束,因此跟踪范围更大,跟踪距离更近,同时体积与重量仅为双目系统的一半甚至更小。
单目定位的一种示例方法如下:
1)标定摄像机,获取其内参(包括:但不限于焦距和成像中心坐标)和镜头畸变参数(包括:但不限于径向畸变和切向畸变);
2)采集图像,利用阈值分割算法去除图像背景,对非背景区域进行八邻域连通区域标记,并计算出每一个标记的连通区域的中心(在图像上的二维像素坐标)作为一个标记点;
3)依据连通区域的面积大小和椭圆程度去除环境中的伪标记点;
4)依次任取四个或以上连通区域的标记点形成标记组合,与被跟踪目标上的标记点(被跟踪目标包含四个或以上标记,这些标记的相对位置坐标已知)实际几何特征进行二维与三维匹配(例如:常用的PNP单目视觉定位算法),并利用匹配结果将被跟踪目标标记点对应的三维坐标转换至三维相机坐标系,再利用步骤1)中获取的相机内参和畸变参数将三维相机坐标系下的标记点重新投影到摄像机成像平面,而得到虚拟二维像素坐标,计算这些虚拟二维像素坐标(即重投影结果)与其在实际摄像形成的摄像机图像上实际位置的距离作为重投影误差(这里的实际位置指所选取的标记组合中各标记点的实际位置);
5)取重投影误差最小的匹配结果计算被跟踪目标在单目定位跟踪器坐标系下的位置与姿态。(匹配结果中已包含被跟踪目标在单目定位跟踪器坐标系下的位置与姿态,此处仅需从匹配结果矩阵中提取对应参数)
以上各个步骤之间并不存在必然的先后执行的关系,可以是并行的。
当单目定位跟踪器靠近被跟踪目标时(此处的靠近指距离较近,譬如距离在0-25cm内),可能识别出大量的伪标记点,这些伪标记点通过前述单目定位方法步骤3)依然不能很好的去除,残余的伪标记点数量过多将导致计算步骤4)和步骤5)耗费的时间过长,而无法及时的提供计算结果。为此,本实施例还采用以下方法,减小剩余伪标记点的数量,同时保证手术过程的顺利进行,如:但不限于
1)将单目定位跟踪器置于被跟踪目标附近(0-25cm内);
2)启动单目定位跟踪器开始采集一帧图像,并进入单目定位跟踪器的计算过程
3)根据去除伪标记点后剩余的标记点数量,计算标记组合的总排列组合数,并估算遍历组合的计算代价,譬如:计算时间。
4)当计算代价超过预设值时(譬如为保证定位跟踪器每秒输出30次数据,需要在33毫秒内完成所有遍历,并输出结果,可选取预设值为33ms内的某个值),则进入步骤5),否则,进入步骤7);
5)控制单元通过动态调整单目定位跟踪器中光源的功率(譬如图2中的红外光源202),动态调整光场中光线的强弱(这里的调整可以是线性调整,譬如等比例逐渐减弱);
6)重新开始步骤2)、步骤3)及步骤4),并开始循环,直至步骤4)中的计算代价小于预设值时停止循环,若在设定的时间值内(譬如1分钟)不能达到小于预设值,则控制单元报告错误,提示用户设备故障;
7)控制单元将使用当前设定的光源的功率值进行后续的持续单目定位跟踪计算。
上述步骤5)中亦可采用减少(譬如:呈线性的减少)单幅摄像机图像曝光时间的方法控制所获得图像的整体明暗度,达到等同于调整光源功率控制光场强度的效果。
图4为点配准方法描述示意图,其描述了常见的导航手术系统配准方法,模型400为经过医学影像(譬如CT影像)三维重建后的人体模型(亦可以是数字化标准人体模型,此处以影像模型举例),模型4002为手术现场的实际人体(这里仅为描述配准概念,省去人体表面的软组织,仅保留骨组织描绘),常见的配准方法如点配准方法的过程,比如:在模型400上选取若干个解剖特征点401,402,403,404,在实际人体上相同位置处选取对应的若干个解剖特征点4012,4022,4032,4042,再使用点配准算法(如:ICP算法)得到影像学模型(或数字化标准人体模型)与真实人体之间的坐标变换关系,即为所谓的配准。这类选点过程操作较为繁琐,同时手工选取特征点位时也容易引入误差。
模型与人体之间的变换关系包含X、Y及Z方向三个位置与姿态(沿该方向轴的旋转)变换,共六个自由度,对于部分手术应用,三个姿态变换关系已可以满足手术要求,如:对于一些涉及方向对准的手术应用(譬如髋关节置换手术中髋臼杯相对于骨盆的植入方向)。
图5为本发明采用的单目定位跟踪器另一实施例的结构示意图。如图5所示,单目定位跟踪器500包含摄像头组件505,光源506和承载基板507,承载基板507用于承载摄像头组件505,其上还安装有光源功率调整模块(未示出),以及加速度传感器501,陀螺仪502和磁力计503等。加速度传感器501,陀螺仪502和磁力计503被安装在另一电路板504上,摄像头组件505与加速度传感器501、陀螺仪502以及磁力计503之间采用预先设定的机械位置安装关系,通过标定算法(类似的方法如:CN108592950A所记载),获得摄像头与他们的准确位置关系(即得到他们之间的坐标变换矩阵)。通过加速度传感器501、陀螺仪502以及磁力计503计算得到重力方向(如:深圳维特智能科技有限公司的加速度传感器JY-901即可直接输出重力方向),使用前述的位置关系,可以将重力方向转化至摄像头组件505的坐标系,即转化至单目定位跟踪器500坐标系下,垂直于重力方向的平面设定为水平面。
加速度传感器501,陀螺仪502和磁力计503还被用于实时监测单目定位跟踪器500自身的姿态变化,因单目定位跟踪器500被通过使用支撑支架与手术部位组织刚性连接,因而单目定位跟踪器自身的姿态变化完全由于手术部位的姿态变化造成,因此通过该种方式可以用于追踪手术部位的姿态变化,手术部位的姿态变化可能因为手术过程中人体的受力移动造成(譬如受重力,手术操作时的打击力等等)。
图6为用于本发明的特征平面指示装置一实施例的结构图。如图6所示,其包含4个反光标记601,602,603,604,这些反光标记可以被单目定位跟踪器的摄像机识别,其可被作为一个被跟踪目标使用前文示例的方法计算其位置与姿态,方向指示装置605可以指向人体的某一根轴线或人体的某一个方向,例如:与人体矢状面平行的方向、与人体冠状面平行的方向,以及骨盆前平面(anterior pelvic plane)平行的方向等,结合4个反光标记的位置与姿态,计算得到一个人体平面,例如:人体的冠状面,矢状面及横断面,这三个面的描述如图7所示,冠状面701,横断面702,矢状面703,这三个面为医学上的标准描述;也可以是人体上与一个解剖结构平行的平面,例如:与腿部上的一条轴线平行等(轴线不限于一条,但均依据医学的规范进行确定,比如:使用解剖标志点的方式以确定轴线位置)。
将单目定位跟踪器与患者固定连接,通过手术前恰当的患者摆位,例如:患者侧卧时,使用前文提及的水平面替代患者矢状面。患者仰卧时,使用前文提及的水平面替代患者冠状面。因而通过上述方法,实现了人体平面的数字化表示。当患者移动时,单目定位跟踪器与患者一同移动,陀螺仪可以实现对单目定位跟踪器自身姿态变化的持续测量,因而可以实现对前述数字化人体平面根据患者姿态实时做出调整,始终保证对当前人体姿态下人体特征参考平面及水平面的追踪计算。
以上过程即为本实施例描述的配准过程,该过程实现了将手术前人体摆位时实际的人体特征参考平面和水平面与数字化的存储在计算单元中的人体特征参考面及水平面的配准对齐。
图8为用于连接患者及单目定位跟踪器的支架一实施例的示意图。如图8所示,支撑支架包括两根细长固定螺钉801、锁紧机构802、夹紧机构803、快速拆卸装置900、转动关节804、转动关节805和与无菌隔离装置连接部分806。螺钉801为由医用不锈钢或钛合金制成自攻螺钉,其被通过电动手术工具拧入患者骨组织中,构成与患者的连接部分。夹紧机构803用于与螺钉801配合形成支撑平台,锁紧机构802使用螺纹紧固方式将夹紧机构803的两部分紧固,用于支撑单目定位跟踪器,快速拆卸与定位装置900使用磁力吸引的方式装配,实现单目定位跟踪器与支撑平台之间的快速拆卸移除与重复定位安装。转动关节804可使单目定位跟踪器200视野沿水平方向作左右摆动,转动关节805使单目定位跟踪器200作俯仰摆动,两个关节组合控制定位跟踪器的视野方向。连接部分806用于连接与支撑无菌隔离装置1000。
图9为图8所示支架局部的一实施例的结构示意图,示出了使用磁力吸引的快速拆卸移除与重复定位安装装置的结构。快速拆卸装置900包括连接件901,以及连接座902,连接件901与单目定位跟踪器相连,连接座902与支撑支架相连接。连接件901和连接座902都由带有磁性的不锈钢材质组成。连接件901上包含三个半球形凸起导向装置903,连接座902上包含对应的三个导向凹槽904,当连接件901与连接座902结合时,三个凸台导向装置903与三个凹槽导向装置904紧密配合实现连接件901与连接座902的定位。连接座902上还包含三块圆形磁铁905,磁铁905被螺钉紧固在连接座902上,当连接件901与连接座902结合时,磁铁905将两者牢固的磁性吸附在一起。因采用磁性吸附,所以连接件901与连接座902之间可以实现快速的拆卸移除与重新安装,导向凸台903与导向凹槽904确保实现准确的重新定位。
单目定位跟踪器包含电子元件,其不方便直接用于常规的灭菌方法(如:蒸汽灭菌将破坏内部构成),同时因为其进入了手术无菌区域,可能对手术部位造成病菌感染,因而需要在手术时对其进行无菌隔离,以保证手术区域的无菌。本实施例还提供一种无菌隔离装置,用于与单目跟踪定位器组合,实现对跟踪定位器前端面的无菌隔离。该装置包括隔离框架本体,光学透明材料以及紧固装置。隔离框架本体可以是塑料制成的一次性医疗用具,也可以是金属材质可反复灭菌消毒,其具备可以容纳单目定位跟踪器前端合适的腔。光学透明材料如:透明玻璃和塑料等。一种材质如:PET,具有较好的透光性,可以用于本实施例涉及的应用场景中,作为一次性使用医疗用具。框架本体用于固定光学透明材料,同时包含紧固装置,可以在单目定位探头安装进入无菌隔离装置后,用于锁定两者之间的配合。单目跟踪器的后端,可以使用常规的手术室用无菌防护套进行隔离(这种保护套被广泛运用于手术室用于隔离医疗设备,如:医用显微镜等),以保证跟踪器整体被无菌隔离。
图10为无菌隔离装置一实施例的示意图。如图10所示,无菌隔离装置1000包括本体1001、透明玻璃材质1003和夹紧装置1004。本体1001具有配合单目定位跟踪器前端的通孔1002,透明玻璃材质1003用于遮挡通孔1002,在保证光线穿过的同时,实现无菌隔离。跟踪器200装入无菌隔离装置后,夹紧装置1004用于紧固两者之间的配合,使其不易发生松动,这种紧固可以是多种形式,如:锁扣形式和磁性吸引等。无菌隔离装置整体可以制造成一次性无菌医疗用具,在使用后丢弃,防止病菌感染。图10中,单目定位跟踪器200沿箭头1005方向插入无菌隔离装置1000中。
无菌隔离装置被安装到单目定位跟踪器后,将改变跟踪器已有的光学成像物理情况,透明材质材料将对光发生吸收,反射或者折射,影响对目标识别时的定位精度,因此在对摄像机的内部参数(如:焦距,畸变和中心等)进行标定时,需要考虑到透明材质的影响。本实施例中将无菌隔离装置安装到跟踪器上并紧固后,再进行摄像机标定确定摄像机内参,以此补偿透明材质造成的影响。计算机在获得定位跟踪器中的摄像头成像标定结果后,使用以上的标定结果进行计算,以保证对被跟踪目标识别定位的准确性。
图11为被跟踪目标的一实施例结构图。被跟踪目标1100包含4个可被摄像头识别的球形标记物1101,这些球形标记物具有规则的形状及特定材料的表面(如氧化铝涂层),并具备对光线(如红外光)较强的反射能力,可以在摄像机拍摄的图像中与周边环境具备明显的对比度区分,较容易被计算机算法区分识别,4个标记球1101可构成一个坐标系,如:水平方向两个构成X轴,竖直方向两个构成Y轴,与两轴垂直的方向构成Z轴。被跟踪目标1100还具有一个基座1102,在基座1102上设置各种连接接口(如:圆形接口与杆状工具配合等),基座1102就能与不同的手术工具结合完成手术任务。
图12为实施导航引导手术一实施例的布局示意图。如图12所示,手术开始时,使用电动手术工具将自攻螺钉801植入患者手术部位骨组织1201上,将单目定位跟踪器200通过快速拆卸移除与重复定位安装装置900与支撑结构磁性吸合,单目定位跟踪器被刚性固定在患者骨组织1201上;单目定位跟踪器通过线缆与计算机1202连接,线缆上带有按钮盘1204,用于人机交互。按钮盘1204上的按钮可以与计算机通讯,给计算机发送确认信号,例如:在单目定位跟踪器被固定于手术部位骨组织1201后,按动按钮盘1204中的按钮,向计算机发送确认信号,计算机软件采集单目定位跟踪器200当前的加速度传感器、陀螺仪以及磁力计数值,并计算出重力方向,再推算出水平面方向。下一步将特征平面指示装置600置于单目定位跟踪器200视野中,并通过方向指示装置指示出患者的某个平面,例如将指示装置与患者冠状面对齐,并通过按动按钮盘1204上的按钮,向计算机发送确认信号,计算机软件负责采集并计算特征平面指示装置600指示的平面。在水平面和特征参考平面被计算机数字化记录后,即完成配准。将被跟踪目标1100与手术工具1203结合(这种结合通过特定形状的夹紧机制完成,例如:磁吸或螺纹紧固),使用1203进行手术操作,操作过程中1100出现在单目定位跟踪器100的视野中,计算单元实时计算被跟踪目标1100与前文记录的水平面以及特征参考平面的角度关系,同时,因手术工具1203与被跟踪目标1100之间存在特定的姿态关系,例如:手术工具1203的轴线方向与被跟踪目标1100之间存在特定的姿态关系,通过标定获得手术工具1203的轴线方向在被跟踪目标1100坐标系下的方向(标定方法如:但不限于在单目定位跟踪器监视下,使用仅具有一个自由度方向可以移动的夹具,保证安装了被跟踪目标1100的工具1203,其沿着轴线(即夹具的可自由运动方向)的方向运动,单目定位跟踪器记录运动轨迹,并将轨迹拟合成直线,即得到方向,存在若干行业内常用方法的此类方法),可以推算出工具1203轴线与水平面及特征参考平面的相对姿态关系,例如使用两个投影角度关系表示。计算机实时显示计算出的工具1203的轴线与水平面及特征参考面的数值化姿态关系(如:投影角度关系),手术医生通过该数值化姿态关系进行手术,譬如沿与水平面及特征参考平面成特定角度的方向进行打磨或者植入某种医疗器械。
Claims (11)
1.一种手术导航系统,其特征在于包括:
单目定位跟踪器,其仅包含一个摄像机和光源;
被跟踪目标,其包含四个及以上单目定位跟踪器可识别的反光标记;
特征平面指示装置,其包含若干反光标记,以及一个方向指示装置,用于在单目定位跟踪器下确定一个人体特征参考平面;
支撑支架,其包含与手术部位组织固定连接的支撑件,至少两个旋转关节,以及快速拆卸装置;用于将单目定位跟踪器固定并支撑在手术部位,以及调整单目定位跟踪器的视野方向;
计算单元,计算并记录特征平面指示装置确定的参考平面;实时计算并记录单目定位跟踪器的姿态变化;从单目定位跟踪器获得影像并计算被跟踪目标的位置与姿态;实时计算被跟踪目标相对于水平面及参考平面的角度。
2.根据权利要求1所述的手术导航系统,其特征在于所述的单目定位跟踪器还具备光源亮度调整模块,其接受计算单元指令,动态调整光源亮度,从而控制光源形成的光场强度。
3.根据权利要求1所述的手术导航系统,其特征在于所述的单目定位跟踪器还包括加速度传感器和陀螺仪和磁力计,对被跟踪目标进行光学跟踪,同时测量定位跟踪器自身姿态变化和重力方向;所述的加速度计用于测量三个垂直方向的加速度,所述的陀螺仪用于测量三个方向的旋转分量。
4.根据权利要求1所述的手术导航系统,其特征在于还包括无菌隔离装置,其具有被光线穿透的窗口,安装在所述的单目定位跟踪器的前端,用以对单目定位跟踪器的前端进行无菌隔离,并保持单目定位跟踪器精度不降低。
5.根据权利要求4所述的手术导航系统,其特征在于还在所述的无菌隔离装置与所述的单目定位跟踪器的装配处设置锁定机构,以将所述的无菌隔离装置锁定安装在跟踪器前端,不发生松动。
6.根据权利要求4所述的手术导航系统,其特征在于还将针对安装所述无菌隔离装置的所述单目定位跟踪器进行摄像机标定,以确定摄像机成像时的内部参数。
7.根据权利要求1所述的手术导航系统,其特征在于所述的计算单元根据单目定位跟踪器计算时的伪标记点数量和计算代价,实时通过光源功率调整模块调节光场强度,保证单目定位跟踪器对被跟踪目标识别的成功率。
8.根据权利要求1所述的手术导航系统,其特征在于所述的支撑件与患者手术部位组织实现刚性连接,还用于对单目定位跟踪器的支架实施支撑。
9.根据权利要求1所述的手术导航系统,其特征在于两个所述的旋转关节各对应一个方向的旋转自由度调整,以保证对单目定位跟踪器视野方向的调整。
10.根据权利要求1所述的手术导航系统,其特征在于所述的支撑支架还包括快速拆卸与重复定位装置,设置于所述的单目定位跟踪器与所述的支架连接处,实现在不需要时可快速移除所述的单目定位跟踪器,所述的支架用于支撑所述的单目定位跟踪器。
11.根据权利要求1所述的手术导航系统,其特征在于所述的单目定位跟踪器对所述的被跟踪目标定位的方法包括:
1)标定摄像机,获取其内参和镜头畸变参数;
2)采集图像,对每一个连通区域进行标记,并计算所标记区域的中心,作为一个标记点;
3)去除环境中的伪标记点;
4)依次任取四个或以上的标记点形成标记组合,与所述的被跟踪目标实际几何特征进行二维与三维匹配,并利用匹配结果、摄像机内参和畸变参数对各个标记点做重投影,将重投影结果与标记组合中各标记点的坐标进行对比,计算重投影误差;遍历所有标记组合,并相应获得各个重投影误差;
5)取步骤4)所有标记组合中重投影误差最小的匹配结果计算所述的被跟踪目标在单目定位跟踪器坐标系中的位置与姿态。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010520921.6A CN113768623A (zh) | 2020-06-09 | 2020-06-09 | 使用单目定位跟踪器的手术导航系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010520921.6A CN113768623A (zh) | 2020-06-09 | 2020-06-09 | 使用单目定位跟踪器的手术导航系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113768623A true CN113768623A (zh) | 2021-12-10 |
Family
ID=78834591
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010520921.6A Pending CN113768623A (zh) | 2020-06-09 | 2020-06-09 | 使用单目定位跟踪器的手术导航系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113768623A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114848169A (zh) * | 2022-07-05 | 2022-08-05 | 上海嘉奥信息科技发展有限公司 | 微创手术人体追踪布置系统及方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104271068A (zh) * | 2012-05-02 | 2015-01-07 | 斯泰克全球技术中心 | 用于在手术过程中对准植入系统的手持式跟踪系统和装置 |
CN105263409A (zh) * | 2013-03-15 | 2016-01-20 | 智能联合外科公司 | 用于手术中腿部位置测量的系统和方法 |
CN108510545A (zh) * | 2018-03-30 | 2018-09-07 | 京东方科技集团股份有限公司 | 空间定位方法、空间定位设备、空间定位系统及计算机可读存储介质 |
CN108981672A (zh) * | 2018-07-19 | 2018-12-11 | 华南师范大学 | 基于单目机器人与测距传感器结合的舱门实时定位方法 |
CN109363677A (zh) * | 2018-10-09 | 2019-02-22 | 中国人民解放军第四军医大学 | 乳腺电阻抗扫描成像手持式检测探头体表定位系统及方法 |
CN110051436A (zh) * | 2018-01-18 | 2019-07-26 | 上海舍成医疗器械有限公司 | 自动化协同工作组件及其在手术器械中的应用 |
CN110547874A (zh) * | 2018-05-30 | 2019-12-10 | 上海舍成医疗器械有限公司 | 制定移动路径的方法及其组件和在自动化设备中的应用 |
CN110954067A (zh) * | 2019-12-28 | 2020-04-03 | 长安大学 | 一种基于靶标的单目视觉挖掘机位姿测量系统及测量方法 |
CN110969659A (zh) * | 2019-10-31 | 2020-04-07 | 浙江未来技术研究院(嘉兴) | 一种被动式标记点的空间定位装置和方法 |
-
2020
- 2020-06-09 CN CN202010520921.6A patent/CN113768623A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104271068A (zh) * | 2012-05-02 | 2015-01-07 | 斯泰克全球技术中心 | 用于在手术过程中对准植入系统的手持式跟踪系统和装置 |
CN105263409A (zh) * | 2013-03-15 | 2016-01-20 | 智能联合外科公司 | 用于手术中腿部位置测量的系统和方法 |
CN110051436A (zh) * | 2018-01-18 | 2019-07-26 | 上海舍成医疗器械有限公司 | 自动化协同工作组件及其在手术器械中的应用 |
CN108510545A (zh) * | 2018-03-30 | 2018-09-07 | 京东方科技集团股份有限公司 | 空间定位方法、空间定位设备、空间定位系统及计算机可读存储介质 |
CN110547874A (zh) * | 2018-05-30 | 2019-12-10 | 上海舍成医疗器械有限公司 | 制定移动路径的方法及其组件和在自动化设备中的应用 |
CN108981672A (zh) * | 2018-07-19 | 2018-12-11 | 华南师范大学 | 基于单目机器人与测距传感器结合的舱门实时定位方法 |
CN109363677A (zh) * | 2018-10-09 | 2019-02-22 | 中国人民解放军第四军医大学 | 乳腺电阻抗扫描成像手持式检测探头体表定位系统及方法 |
CN110969659A (zh) * | 2019-10-31 | 2020-04-07 | 浙江未来技术研究院(嘉兴) | 一种被动式标记点的空间定位装置和方法 |
CN110954067A (zh) * | 2019-12-28 | 2020-04-03 | 长安大学 | 一种基于靶标的单目视觉挖掘机位姿测量系统及测量方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114848169A (zh) * | 2022-07-05 | 2022-08-05 | 上海嘉奥信息科技发展有限公司 | 微创手术人体追踪布置系统及方法 |
CN114848169B (zh) * | 2022-07-05 | 2022-09-30 | 上海嘉奥信息科技发展有限公司 | 微创手术人体追踪布置系统及方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11628039B2 (en) | Surgical tool systems and methods | |
US11974886B2 (en) | Surgical tool systems and methods | |
EP3711700B1 (en) | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices | |
CN107847278B (zh) | 用于为医疗器械提供轨迹的可视化的靶向系统 | |
CN114711969B (zh) | 一种手术机器人系统及其使用方法 | |
US10482614B2 (en) | Method and system for registration verification | |
US11589926B2 (en) | Mobile surgical tracking system with an integrated fiducial marker for image guided interventions | |
US20100137880A1 (en) | Multi-application robotized platform for neurosurgery and resetting method | |
WO2010067267A1 (en) | Head-mounted wireless camera and display unit | |
CA2840193A1 (en) | Assembly for manipulating a bone comprising a position tracking system | |
Philip et al. | Stereo augmented reality in the surgical microscope | |
EP3881791A1 (en) | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices | |
JP2021194538A (ja) | 基準シードを介した可視光での外科手術での対象の追跡および合成画像登録 | |
JP7029932B2 (ja) | 器具類の深さを測定するためのシステム及び方法 | |
JP2021109107A (ja) | ニューロナビゲーション位置合わせおよびロボット軌道誘導のためのシステム、ロボット手術、ならびに関連する方法およびデバイス | |
CA3086148A1 (en) | System and method for optical axis calibration | |
US20210205022A1 (en) | Reference device for real-time tracking of bone and/or surgical objects in computer-assisted surgery | |
US20240108417A1 (en) | System for neuronavigation registration and robotic trajectory guidance, and related methods and devices | |
CN113768623A (zh) | 使用单目定位跟踪器的手术导航系统 | |
EP3733112A1 (en) | System for robotic trajectory guidance for navigated biopsy needle | |
CN209826968U (zh) | 一种手术机器人系统 | |
US20220338937A1 (en) | Device For Navigating A Medical Instrument Relative To A Patient Anatomy | |
US20200297451A1 (en) | System for robotic trajectory guidance for navigated biopsy needle, and related methods and devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |