CN107182200B - 微创手术导航系统 - Google Patents
微创手术导航系统 Download PDFInfo
- Publication number
- CN107182200B CN107182200B CN201580001146.0A CN201580001146A CN107182200B CN 107182200 B CN107182200 B CN 107182200B CN 201580001146 A CN201580001146 A CN 201580001146A CN 107182200 B CN107182200 B CN 107182200B
- Authority
- CN
- China
- Prior art keywords
- human body
- module
- data
- positioner
- surgical instrument
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
Landscapes
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Robotics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Processing Or Creating Images (AREA)
- Endoscopes (AREA)
Abstract
一种微创手术导航系统,其中,术前数据模块用于获得人体三维模型;术中数据模块用于获得位姿编码,并根据位姿编码查找对应的术前时刻;定位模块用于获取手术器械和人体定位器的位置数据;导航模块用于接收人体三维模型、手术器械和人体定位器的位置数据,根据手术器械定位器的位置数据获得手术器械模型;基于人体定位器的位置数据,利用增强现实显示设备将手术器械模型和人体三维模型显示;术中造影模块用于出现异常时获得手术部位的造影数据;导航模块用于根据造影数据对人体三维模型进行调整。该方案可以将术前生成的固定模型与术中随自然呼吸实时变动的人体部位进行有效叠加并显示;可以解决术中人体呼吸出现异常对微创手术造成影响的问题。
Description
技术领域
本发明涉及医疗器械技术领域,尤其一种微创手术导航系统。
背景技术
在传统手术中,医生通过在人体表面制造大型创口,从而可以直接目视观察手术部位的解剖结构进行手术操作,这样会对患者身体造成巨大伤害。新兴的微创手术是一种主要透过内窥镜及各种显像技术而使外科医生在无需对患者造成巨大伤口的情况下施行手术。相比传统的手术,微创手术无需对患者造成较大的创口即可进行手术,对患者的伤害大大减小,这是医学的巨大进步。但微创手术也有更高的技术要求,由于微创手术中不能直接目视观察手术部位,医生必须依赖手术导航系统获取人体手术部位、手术器械的空间位姿信息,微创手术导航系统的稳定与否将会直接影响微创手术的结果,而手术中医生获取信息的便捷程度也会影响手术的质量。因此,微创手术导航系统的有效运作是微创手术成功的关键。
微创手术导航系统的主要技术难点归结起来主要有以下几个:
①设备追踪系统:术中追踪手术器械等手术设备和人体的实时位姿;
②术前建模:用于术中实时判定人体的生理结构状态(动态过程);
③术中影像:用于术中医生参考,通过术中临时造影获取术中人体的实时影像信息,避免由于术中人体的实时状态与术前人体建模情况的误差,导致医生因手术位置信息的错误引导而造成意外损害;
④人机接口:用于医生在手术中获取手术相关信息以及人机交互。
目前最为通用的微创手术导航系统称为“龙虾”系统,“龙虾”系统是依照仿生学的概念参考龙虾的生物形态所提出的。“龙虾”微创手术导航系统主要包含以下几个主要部分:机械臂控制台、双目追踪器、辅助机械臂和手术器械。其中,机械臂控制台用于控制机械臂运动,通过获取双目追踪器提供的有关物体的实时空间定位信息,对辅助机械臂运动目标进行指示,控制台上的显示器供医生手术中实时进行系统状态观察(主要是人体、手术器械的位置及运动情况)和下一步手术规划;双目追踪器通过对固连于追踪物体上的标记点(后面以NDI产品为例有相关的介绍)追踪人体、辅助机械臂及手术器械的实时空间位姿,并将相关信息提供给机械臂控制台进行分析处理;手术器械由辅助机械臂夹持,可帮助医生对病人进行辅助的手术操作。
在申请号为200910243116.7的《一种基于增强现实技术的鼻内镜微创手术导航系统》专利中,提到使用与计算机相连的红外追踪摄像机、三维扫描仪、三维立体显示器及相连的鼻内镜,对患者颅内组织、血管、皮肤结构进行重建,并根据红外追踪摄像机获取的鼻内镜位姿,将计算机实时渲染出的重建模型图像与鼻内镜所拍摄的实时图像进行叠加,在术中为医生增强显示类型的手术画面(使用三维立体显示器进行呈现),运作图如图1所示。
但是该专利具有如下缺点:在针对头颅这种相对固定的人体部位手术较为适用,对于受自然呼吸影响具有实时运动量的人体部位的手术则无法适用,因为该方案无法将术前计算机生成的固定模型与随自然呼吸实时变动的人体部位进行有效叠加进行显示;且在术中当人体呼吸出现异常情况时,会造成呼吸时器官移位状况与术前得到的影像产生较大的差别,对微创手术造成影响。
发明内容
本发明实施例提供一种微创手术导航系统,可以将术前计算机生成的固定模型与随自然呼吸实时变动的人体部位进行有效叠加并显示;可以解决术中由于人体位姿出现异常情况,造成器官移位状况与术前得到的影像有较大的差别,对微创手术造成影响的问题。
该微创手术导航系统包括:
术前数据模块,用于将术前采集的一个呼吸周期中的不同时刻的四维CT数据进行重建,获得一个呼吸周期中的不同时刻的人体三维模型;
术中数据模块,用于通过追踪器采集术中人体定位器的位姿,并对所述人体定位器的位姿进行编码,获得位姿编码;在位姿查找表中查找所述位姿编码对应的术前时刻;
定位模块,用于通过追踪器采集手术器械定位器的位置数据和人体定位器的位置数据,并将所述手术器械定位器的位置数据和人体定位器的位置数据传输给导航模块;
导航模块,用于接收并存储所述术前时刻,根据所述术前时刻从术前数据模块中获取并显示相应时刻的人体三维模型;接收所述手术器械定位器的位置数据和人体定位器的位置数据,根据所述手术器械定位器的位置数据获得手术器械模型;基于人体定位器的位置数据,利用增强现实显示设备将手术器械模型和人体三维模型显示出来。
术中造影模块,用于当术中人体位姿出现异常时,对手术部位进行实时造影,获得造影数据,将造影数据发送至导航模块;
导航模块还用于根据所述造影数据对人体三维模型进行调整并显示。
在一个实施例中,所述术中造影模块具体用于在Δx0大于等于Δx时,确定术中人体位姿出现异常;
其中,Δx0为n个人体定位器产生的误差距离,i=1,2,...,n,Δxi为第i个人体定位器产生的误差距离,Δx为预设的临界误差距离。
在一个实施例中,所述术中造影模块通过C型壁或超声设备对手术部位进行实时造影。
在一个实施例中,所述微创手术导航系统还包括:
独立导航器件,用于当人体定位器超出追踪器的追踪范围,或人体定位器与追踪器之间有遮挡时,获取人体定位器的位置数据;
或,用于当手术器械定位器超出追踪器的追踪范围,或手术器械定位器与追踪器之间有遮挡时,获取手术器械定位器的位置数据。
在一个实施例中,所述独立导航器件包括陀螺仪,加速度计和无线通信模块;
所述陀螺仪用于获取人体定位器和/或手术器械定位器的实时空间角加速度数据;
所述加速度计用于获取人体定位器和/或手术器械定位器的实时空间三个坐标方向的加速度数据;
所述无线通信模块用于将陀螺仪和加速度计获取的加速度数据实时传送至导航模块。
在一个实施例中,所述独立导航器件还包括:
电源,用于对陀螺仪、加速度计和无线通信模块进行独立供电。
在一个实施例中,所述陀螺仪为空间三相陀螺仪。
在一个实施例中,所述加速度计为空间三向加速度传感器。
在一个实施例中,所述人体定位器和手术器械定位器为光学定位器。
在一个实施例中,所述追踪器为光学追踪器。
本发明实施例中,通过术前数据模块获得一个呼吸周期中的不同时刻的人体三维模型;通过术中数据模块对人体定位器的位姿进行编码,获得位姿编码,并在位姿查找表中查找所述位姿编码对应的术前时刻;通过导航模块接收术前时刻,并根据术前时刻在术前数据模块中找到相应时刻的人体三维模型;根据接收的手术器械定位器的位置数据获得手术器械模型;基于人体定位器的位置数据,利用增强现实显示设备将手术器械模型和人体三维模型显示出来,这样就可以解决计算机生成的固定模型与随自然呼吸实时变动的人体部位无法进行有效叠加并显示的问题;当术中人体位姿出现异常时,通过术中造影模块对手术部位进行实时造影,获得造影数据;导航模块根据造影数据对人体三维模型进行调整并显示,这样就可以解决由于位姿异常导致器官移位状况与术前得到的影像产生较大的差别,对微创手术造成影响的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
图1为本发明实施例中基于增强现实技术的鼻内镜微创手术导航系统运作图;
图2为本发明实施例中微创手术导航系统结构示意图;
图3为本发明实施例中微创手术导航系统的系统运作图;
图4为本发明实施例中带有独立导航器件的Marker构成图;
图5为本发明实施例中微创手术导航系统工作机制图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白,下面结合附图对本发明实施例做进一步详细说明。在此,本发明的示意性实施例及其说明用于解释本发明,但并不作为对本发明的限定。
现有的微创手术导航技术中,因为无法将术前计算机生成的固定模型与随自然呼吸实时变动的人体部位进行有效叠加进行显示,所以只是针对头颅这种相对固定的人体部位手术较为适用,对于受自然呼吸影响具有实时运动量的人体部位的手术则无法适用;且在术中当人体位姿(可以说呼吸)出现异常情况时,会造成器官移位状况与术前得到的影像产生较大的差别,对微创手术造成影响。如果可以将术前计算机生成的固定模型与随自然呼吸实时变动的人体部位进行有效叠加并显示,且当在术中当人体位姿(可以说呼吸)出现异常情况时,可以重新对手术部位进行造影,就可以解决上述现有技术中存在的问题。基于此,本发明提出一种微创手术导航系统。
图2为本发明实施例中微创手术导航系统结构示意图,如图2所示,该微创手术导航系统包括:
术前数据模块100,用于将术前采集的一个呼吸周期中的不同时刻的四维CT数据进行重建,获得一个呼吸周期中的不同时刻的人体三维模型;
术中数据模块200,用于通过追踪器采集术中人体定位器的位姿,并对所述人体定位器的位姿进行编码,获得位姿编码;在位姿查找表中查找所述位姿编码对应的术前时刻;
定位模块300,用于通过追踪器采集手术器械定位器的位置数据和人体定位器的位置数据,并将所述手术器械定位器的位置数据和人体定位器的位置数据传输给导航模块;
导航模块400,用于接收并存储所述术前时刻,根据所述术前时刻从术前数据模块中获取并显示相应时刻的人体三维模型;接收所述手术器械定位器的位置数据和人体定位器的位置数据,根据所述手术器械定位器的位置数据获得手术器械模型;基于人体定位器的位置数据,利用增强现实显示设备将手术器械模型和人体三维模型显示出来;
术中造影模块500,用于当术中人体位姿出现异常时,对手术部位进行实时造影,获得造影数据,将造影数据发送至导航模块;
导航模块400还用于根据所述造影数据对人体三维模型进行调整。
具体实施时,术前数据模块100包括3D数据库101、文件查找表102和输入输出模块103。
病人呼吸过程中,人体器官会随着呼吸缓慢移位,每个呼吸周期人体的器官也会对应运动一个周期,因此对每个呼吸周期进行4D影像获取(4D CT),就可以得到病人在呼吸过程中的每个间断时刻的三维影像信息(类似于动画片的制作)。
术前数据模块100的具体功能为:负责重建4D CT(一般取一个呼吸周期,0.1s间隔),重建效果为人在一个呼吸周期内的每隔0.1s重建出一个相应时刻的3D数据,并根据成像时刻进行3D数据库101存档;文件查找表102是根据术中数据模块200提供的记录时刻来定位要提取文件在3D数据库101的位置;输入输出模块103可用来进行数据的录入,在请求提取数据查找完毕后提供文件输出功能。
具体实施时,术中数据模块200包括人体定位器201、追踪器、位姿编码模块203和位姿查找表204。
追踪器追踪人体定位器201的状态,由位姿编码模块203生成编码,使用此编码根据位姿查找表204查找人体定位器201此时的状态编码所对应的术前记录时刻。位姿查找表204中预先存放的是与动态CT扫描同步进行的人体定位器201状态连续追踪所生成的编码序列,其每个编码对应着的记录时刻与术前造影时刻是一致的(当然这里需要所有的系统时间系统要是完全同步的)。
具体的,所说的人体定位器201的数目为3个或以上,采用的是位姿定位器。所说的位姿定位器优选为贴片式体外定位器,而贴片式体外定位器优选为磁贴片式定位器或光学贴片式定位器。在手术前,人体定位器201应尽量固定在随呼吸变化较大的部位如胸部靠下的肋骨或胸骨上。
相对应的,追踪器优选为磁追踪器或光学追踪器。
具体实施时,定位模块300包括手术器械定位器301、人体定位器302、增强现实显示设备定位器303和追踪器。
定位模块300的具体功能是:通过追踪器追踪手术器械定位器301,获得手术器械定位器的位置数据;通过追踪器追踪人体定位器302,获得人体定位器的位置数据;通过追踪器追踪增强现实设备定位器303,获得增强现实设备定位器的位置数据。定位模块300将手术器械定位器的位置数据和人体定位器的位置数据传输给导航模块,用于导航模块的相关运算及显示。
通过追踪器追踪增强现实显示设备定位器303,获得增强现实显示设备的位置数据,并传输给导航模块,用于导航模块的相关运算及显示。由于现有的增强现实显示设备本身也可能带有定位功能,所以增强现实显示设备定位器303也可以取消。
其中,追踪器优选为磁追踪器或光学追踪器,手术器械定位器301和人体定位器302优选为磁定位器或光学定位器。人体定位器302安装在不随人体呼吸运动的区域(如髋骨或肩部关节)。
上述的人体定位器201和人体定位器302统称为人体定位器。
具体实施时,导航模块400用于接收并存储术前时刻,根据术前时刻从术前数据模块100中获取并显示相应时刻的人体三维模型;接收定位模块300发送的手术器械定位器的位置数据和人体定位器的位置数据,根据手术器械定位器的位置数据获得手术器械模型;基于人体定位器的位置数据,利用增强现实显示设备将手术器械模型和人体三维模型显示出来。
具体的,当在图像采集的过程中参杂了噪声,导航模块400还需要对图像进行去噪声运算和图像增强运算。导航模块400还需要术前在人体三维模型中将病灶及附近手术需要注意的血管神经或脏器勾画出来。
导航模块400包括的增强现实显示模块就是用来显示手术器械模型和人体三维模型的。增强现实显示模块主要就是增强现实显示设备,可以选用穿戴式智能眼镜或增强现实(Augmented Reality,简称AR,是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动)头盔,则该显示的效果是经过图像勾画、去噪和增强的图像与真实场景相重合,使得医生可以迅速获取实时直观的手术导航信息。
具体实施时,术中造影模块500,用于当术中人体位姿(可以说呼吸,也可以是其它情况)出现异常时,对手术部位进行实时造影,获得造影数据,将造影数据发送至导航模块。
由于在实际情况中,人体呼吸可能会出现异常情况,造成呼吸时器官位移状况与术前得到的影响均有较大差别,此时就需要进行术中造影引导的帮助,使用C型臂或超声设备对手术区域进行造影,为医生提供最为真实的术中数据。在此过程中,需要对异常情况进行一个定量的判定,判定方法:设有n个人体定位器(或称为标记点),n个人体定位器产生的误差距离为Δx0,即i=1,2,...,n,Δxi为第i个人体定位器产生的误差距离,临界误差距离为Δx,当Δx0大于等于Δx时,则判定为超出了临界误差距离,术中人体呼吸出现异常需要进行术中造影引导。此处临界误差距离Δx根据具体的手术以定位器阵列的数量来设定,在头颅手术中,由于呼吸影响小,因此误差来源主要是导航误差,在标记点10个时,Δx应该设定1cm左右,即平均每个标记点的导航误差不能超出1mm的误差。在腹部手术时,由于运动性较大,在标记点数量为10个时,Δx应该设定3cm左右。
此时,导航模块400用于根据造影数据对人体三维模型进行调整并显示。
图3为本发明实施例中微创手术导航系统的系统运作图,如图3所示,本发明微创手术导航系统的具体执行流程:
一、术前准备:
在患者身体上贴附人体定位器302和人体定位器201,4D-CT(Four DimensionalComputed Tomography,四维计算机断层摄影)扫描和人体定位器201的位姿追踪同时进行,将CT数据按照成像时刻来重建,每过一个时间间隔(建议间隔0.1s)重建出对应时刻的三维体数据模型,实时追踪的定位器位姿序列则通过相对应的时间间隔进行编码存档。其中三维体数据要经过术前手术规划的处理,利用系统的导航模块400在术前将病灶及附近手术需要注意的血管神经或脏器勾画出来,并存入3D数据库101内。人体定位器201的位姿状态组合信息放入位姿查找表203内。
关于定位器位姿序列的编码方式可以自定,此处提供一种四个位姿定位器的一种编码方法:由于位姿具有方向性,此处的四个定位器均可识别,分别编号A1、A2、A3、A4,此种编码方式按照“A1-A2”、“A2-A3”、“A3-A4”方式进行编码,其中“A?-A?”代表的是两个定位器之间的空间位姿关系,最简单的一种可以直接使用坐标转换矩阵,但是这种编码方式检索不便,可以使用“x-y-z”的空间角的记录方式进行存储,这样的好处是在没有精确数据吻合时可以使用一个最近似的数据进行替代,从而产生最接近状态的检索结果,避免因为不连续的取样造成的检索失败,而且这种最接近的检索结果反映到医学图像采集时间上最多误差0.05s,是完全可以接受的。
二、手术中:
术中数据模块200的追踪器追踪人体定位器201的位姿状态,由位姿编码模块203生成编码,使用此编码根据位姿查找表204查找人体定位器201此时的状态编码所对应的术前时刻;
导航模块400接收并存储术前时刻,由术前数据模块100的文件查找表102根据术前时刻定位要提取文件在3D数据库101的位置。输入输出模块103会将查找到的人体三维模型数据文件传输给导航模块400;
定位模块300利用追踪器将手术器械定位器301、人体定位器302、增强现实设备器303在统一坐标系下的实时的位置数据(位姿坐标)计算出来,并将该实时定位信息传输给导航模块400;
导航模块400接收定位模块300传来的手术器械定位器的位置数据和人体定位器的位置数据,根据手术器械定位器的位置数据获得手术器械模型;基于人体定位器的位置数据,利用增强现实显示设备将手术器械模型和人体三维模型显示出来。还需要进行图像去噪、图像增强的运算,最后通过增强现实显示设备将通过处理的图像显示出来,若显示模块选用穿戴式智能眼镜或增强现实头盔,则该显示的效果是经过图像勾画、去噪和增强的图像与真实场景相重合,使得医生可以迅速获取实时直观的手术导航信息;
当术中人体位姿(呼吸)出现异常时,通过术中造影模块500(主要采用C型臂或超声设备)对手术部位进行实时造影,将造影数据发送给导航模块400;
导航模块400根据造影数据对人体三维模型进行调整并显示,根据调整后的人体三维模型继续进行手术。
具体实施时,在申请号为200910243116.7的《一种基于增强现实技术的鼻内镜微创手术导航系统》专利中,还存在如下问题:使用基于红外追踪的术中追踪装置,没有对追踪光路遮挡、暂时性超出追踪区域的情况进行相应的处理,如果术中出现这种情况,红外追踪摄像机无法给出有效的实时追踪数据,将会导致手术导航系统的失效。
针对上述现有技术存在的问题,本发明系统中还包括独立导航器件,可以在被追踪器件(即人体定位器/手术器械定位器)超出双目追踪器的追踪范围及遮挡情形下,进行不间断有效的位姿信息追踪。如图4所示,该独立导航器件包括:电源、陀螺仪、加速度计和无线通信模块。其中:
电源用于对陀螺仪、加速度计、无线通信模块进行独立供电;
陀螺仪作为角加速度传感器用于获取Marker的实时空间角加速度数据;
加速度计作为空间加速度传感器用于获取Marker的实时空间三个坐标方向的加速度数据;
无线通信模块用于将陀螺仪和加速度计获取的数据实时传送出去(相关数据由导航系统主机接收)。
导航系统主机必备有与无线通信模块进行无线连接的无线接收模块,其用于实时收集陀螺仪和加速度计的数据。导航系统主机利用陀螺仪和加速度计的数据,可以计算出Marker相对于运动初始位置的相对空间角度变化和空间位置变化。具体的,通过陀螺仪的数据可以通过二次积分得到相对空间角度变化,类似的通过对加速度计的数据进行二次积分可以得到相对空间位置变化。这样,在Tracker和Marker之间的光路被遮挡的时候,以被遮挡时刻的Marker空间位姿作为起始空间位姿,利用陀螺仪和加速度计的实时数据,既可以得到Marker的实时空间位姿。
具体实施时,陀螺仪指的是用高速回转体的动量矩敏感壳体相对惯性空间绕正交于自转轴的一个或二个轴的角运动检测装置。陀螺仪属于惯性导航,它能够精确的测量运动的角加速度,配合加速度计能够测量运动的加速度和速度情况,将速度乘以时间就可获得运动的距离。所以在要求最高的飞机导弹的惯性导航仪中,高性能的陀螺仪是一个最重要的部件,陀螺仪的精度决定着飞行的安全和能否精确命中目标。
陀螺仪应用非常广泛,如现在的智能手机大部分也装有低成本陀螺仪,陀螺仪的主要问题在于其不能实时长时间的导航,因为随着时间的积累,陀螺仪的误差将会逐渐累积,导致导航误差越来越大。因此目前的飞机汽车等一般采用的是惯性导航(陀螺仪导航)结合GPS导航(卫星导航)。使用低成本的陀螺仪、加速度计作为传感器,可以在短时间内实施较为精确的导航,但是误差累积到一定阶段时就需要对其进行校准(消除累积误差),从而保证运动的精确性。
在被追踪器件(Marker)上使用低成本传感器设置独立导航,不但能够实现实用性的连续导航,而且能够使得成本有效降低。具体思路如下:
在手术系统中导航系统包括:双目追踪器(Tracker),病人和手术器械均固定有被追踪器件(以下统称Marker)。以下重点介绍Marker的工作原理和手术导航系统的工作机制:
Marker工作原理结构图如图4所示:
分析如下:传统Marker是四个同平面特定构型的反光球组成的光学定位点阵,追踪导航前需要将Marker构型输入给Tracker,Tracker通过对光学定位点阵的追踪计算出光学定位点阵的空间位置和姿态。如果Tracker和光学定位点之间的光线通路被遮挡或者定位点移出Tracker追踪范围,均会导致Tracker失去对Marker的追踪,从而导致导航系统失效。本发明着重解决的就是在这种情况下的Marker空间位置和姿态的追踪实现,在本发明中,通过使用低成本传感器(陀螺仪+加速度传感器)构成独立导航器件,将独立导航器件固连于Marker上,在Tracker和Marker之间的光路被遮挡的情况下Marker能够独立提供自身的空间位置和姿态(需要预知使用独立导航器件时刻的空间位姿)。
低成本传感器与光学Tracker相比,最大的问题在于其精度会随着时间的增加而变差(传感器漂移问题),因此不能长时间依靠Marker的独立导航器件来提供空间位姿数据。也就是说如果遮挡时间过久,由独立导航器件500的数据所得到空间位姿精度会越来越差,直到满足不了临床要求。至于容许遮挡的时间长短,则取决于所选用的传感器(陀螺仪、加速度计)的稳定性,其性能越好,所能提供的精确空间位姿数据越久,容许遮挡的时间就越久。幸运的是,在临床上遮挡一般只会延续较短的时间(一半不超过1分钟),并且Marker在手术期间的运动幅度并不大,因此使用较低成本的传感器(百元档次)即可满足临床上的要求(亚毫米级别)。
另一个需要阐述的问题是手术导航系统的工作机制,如下图5所示:
系统正常工作时,系统优先使用Tracker的导航数据(精度高、稳定),在光学通路被遮挡的情况下,导航系统主机记录被遮挡时刻的Tracker最后时刻提供的空间位姿数据作为Marker的起始位姿,且从该时刻起使用Marker的独立导航器件提供的导航数据,并据此(二次积分)计算出Marker实时空间位姿。
由于Marker的独立导航器件精确度保持时间有限,因此每隔特定的时间,需要Marker与Tracker的光学通路连通,必须确保每次光学通路断开延续的时间不长于某个特定的时间。简单点说,就是Tracker放置于不会触碰的位置(保持世界坐标系固定),定时使用Tracker进行Marker的空间位姿标定。
而这个特定时间的具体时间长度,则依赖于对所使用的传感器的实际测量。测量手段如下:
分别设置空间位置精度要求distance和空间角度精度要求angle。从某一起始位置开始,之后过程中保持Tracker和Marker之间的光学通路无遮挡状态。导航系统主机以Tracker追踪到的实时空间位姿数据(x1,y1,z1,θx0,θy0,θz0)为基准,同时利用同时刻通过Mracker独立导航器件运算得到的空间位姿数据(x1,y1,z1,θx1,θy1,θz1)与基准值计算误差。
误差计算定义如下:
当Error_distance≥distance或Error_angle≥angle时,即判定Marker独立导航器件失效,需要重新标定。而从起始时刻到失效时刻的时间即为最久标定时间T,也就是说,必须每个t(t<=T)的时间段就需要对Marker进行一次标定。注:光学通路被遮挡最久持续时间不超过T。
具体实施时,在申请号为200910243116.7的《一种基于增强现实技术的鼻内镜微创手术导航系统》专利中,还存在如下问题:在手术中,通常是由主刀医生进行手术,可有一组专家组远程在线会诊,护士们则根据医生的指令进行相应的辅助动作。主刀医生进行手术时需要通过三维显示器观看病灶区域图像(通常是内窥镜图像),并观看术中成像设备(C型臂、超声等)的结果(显示屏),从而进行下一步手术操作。医生无法同时查看手术实际画面与导航画面,如果导航出现一定偏差,不能实时发现情况。另外,导航系统没有提供外围专家组提供实时沟通的方法,在必要情况下无法进行医生与后方专家的沟通。
本发明系统中,通过导航模块400中的增强现实显示模块404(选用穿戴式智能眼镜或增强现实头盔)可以解决上述问题。
近几年,随着谷歌发布“Google Glass”的智能眼镜,目前出现了智能眼镜的开发浪潮。“Google Glass”智能眼镜集智能手机、GPS、相机于一身,在用户眼前展现实时信息,并且能够实现语音控制。由于“Google Glass”是穿戴式设备,能够很轻便的进行佩戴,不会遮挡现实视野,不会影响人体正常的行动,并且在提供可透视显示的同时,还可以对语音通话、视频录像进行有效支持。“Google Glass”是手术中医生进行人机交互的理想设备。
主刀医生可以通过“Google Glass”观看传送过来的术中造影图像或者术前图像,能够在不转换视角的情况下进行常规的手术,并且在手术过程中可以通过“Google Glass”上的摄像头将手术画面实时传送给在线的专家组成员,专家组成员可以通过在线音频的方式为医生提供实时的手术指导或建议。还可以以医生的视角录制整个手术过程,已进行术后的检查不足或者供医生手术培训时使用。本发明中,导航信息就是通过智能眼镜向医生进行呈现,智能眼镜通过无线接入TCP/IP的方式与其他设备进行通信(导航图像与相关数据传输),并能够进行实时语音传送。
需要指出的是,目前智能眼镜的发展如火如荼,配有无线网络传输功能的增强现实眼镜(以谷歌眼镜为起点)、虚拟现实眼镜(Oculus VR)都已经有了较大的发展,可透视的增强现实眼镜可以较为便利的移植到临床手术导航中。
综上所述,相比于申请号为200910243116.7的《一种基于增强现实技术的鼻内镜微创手术导航系统》专利,本发明主要进行的改进工作有3点:
1)术前影像建模方法与术中人体追踪方式的改进:利用4D CT影像,对人体附加外标记点特征组,通过对标记点组的追踪将与术中的人体模型对应的术前影像快速对应起来,并提供手术器械与人体计算机模型的空间位置关系,供手术医生在术中进行参考。不光能够适用于不随呼吸运动而运动的人体部位的手术,也能应用与呼吸运动位移较大的人体部位的手术;
另外,还增加了术中造影模块,当人体位姿(或者说呼吸)出现异常情况时,可以通过在术中重新对手术部位进行造影,根据造影数据对人体三维模型进行调整后继续手术。
2)针对超出双目追踪器的追踪范围及遮挡情形的改进:引入基于陀螺仪及加速度传感器的独立导航器件,从而在双目追踪器因被遮挡或者被追踪手术器械移出追踪范围时,系统能够通过独立导航期间获取手术器械的实时位置,从而保证手术导航系统的不间断运作;
3)术中交互方式更为便利,使用可透视到的智能眼镜为医生提供实时的手术操作画面及相关提示,并可通过无线网络,将实时术中画面传输给协助手术的专家组观看,手术医生和专家组均可通过语音进行实时沟通。(三维显示器技术目前发展水平很低,尚不能达到医用水平)。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (8)
1.一种微创手术导航系统,其特征在于,包括:
术前数据模块,用于将术前采集的一个呼吸周期中的不同时刻的四维CT数据进行重建,获得一个呼吸周期中的不同时刻的人体三维模型;
术中数据模块,用于通过追踪器采集术中人体定位器的位姿,并对所述人体定位器的位姿进行编码,获得位姿编码;在位姿查找表中查找所述位姿编码对应的术前时刻;
定位模块,用于通过追踪器采集手术器械定位器的位置数据和人体定位器的位置数据,并将所述手术器械定位器的位置数据和人体定位器的位置数据传输给导航模块;
导航模块,用于接收并存储所述术前时刻,根据所述术前时刻从术前数据模块中获取并显示相应时刻的人体三维模型;接收所述手术器械定位器的位置数据和人体定位器的位置数据,根据所述手术器械定位器的位置数据获得手术器械模型;基于人体定位器的位置数据,利用增强现实显示设备将手术器械模型和人体三维模型显示出来;
术中造影模块,用于当术中人体位姿出现异常时,对手术部位进行实时造影,获得造影数据,将造影数据发送至导航模块;
导航模块还用于根据所述造影数据对人体三维模型进行调整并显示;
所述术中造影模块具体用于:
在△x0大于等于△x时,确定术中人体位姿出现异常;
其中,△x0为n个人体定位器产生的误差距离,△xi为第i个人体定位器产生的误差距离,△x为临界误差距离;
独立导航器件,用于当人体定位器超出追踪器的追踪范围,或人体定位器与追踪器之间有遮挡时,获取人体定位器的位置数据;
或,用于当手术器械定位器超出追踪器的追踪范围,或手术器械定位器与追踪器之间有遮挡时,获取手术器械定位器的位置数据。
2.如权利要求1所述的微创手术导航系统,其特征在于,所述术中造影模块采用C型臂或超声设备对手术部位进行实时造影。
3.如权利要求1所述的微创手术导航系统,其特征在于,所述独立导航器件包括陀螺仪,加速度计和无线通信模块;
所述陀螺仪用于获取人体定位器和/或手术器械定位器的实时空间角加速度数据;
所述加速度计用于获取人体定位器和/或手术器械定位器的实时空间三个坐标方向的加速度数据;
所述无线通信模块用于将陀螺仪和加速度计获取的加速度数据实时传送至导航模块。
4.如权利要求3所述的微创手术导航系统,其特征在于,还包括:
电源,用于对陀螺仪、加速度计和无线通信模块进行独立供电。
5.如权利要求3所述的微创手术导航系统,其特征在于,所述陀螺仪为空间三相陀螺仪。
6.如权利要求3所述的微创手术导航系统,其特征在于,所述加速度计为空间三向加速度传感器。
7.如权利要求1所述的微创手术导航系统,其特征在于,所述人体定位器和手术器械定位器为光学定位器。
8.如权利要求1所述的微创手术导航系统,其特征在于,所述追踪器为光学追踪器。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/098590 WO2017107116A1 (zh) | 2015-12-24 | 2015-12-24 | 微创手术导航系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107182200A CN107182200A (zh) | 2017-09-19 |
CN107182200B true CN107182200B (zh) | 2019-12-06 |
Family
ID=59088744
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580001146.0A Active CN107182200B (zh) | 2015-12-24 | 2015-12-24 | 微创手术导航系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN107182200B (zh) |
WO (1) | WO2017107116A1 (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107432766A (zh) * | 2017-07-04 | 2017-12-05 | 厦门强本宇康科技有限公司 | 一种精准微创手术导航系统 |
CN108629845B (zh) * | 2018-03-30 | 2022-07-12 | 湖南沛健医疗科技有限责任公司 | 手术导航装置、设备、系统和可读存储介质 |
CN109087695A (zh) * | 2018-08-06 | 2018-12-25 | 广州高通影像技术有限公司 | 一种基于物联网的智能内窥镜影像的数据传输系统 |
CN109875646A (zh) * | 2019-01-22 | 2019-06-14 | 北京金智拓科技有限公司 | 超声能量平台控制系统 |
WO2021007803A1 (zh) | 2019-07-17 | 2021-01-21 | 杭州三坛医疗科技有限公司 | 骨折复位闭合手术定位导航方法和用于该方法的定位装置 |
CN111419399A (zh) * | 2020-03-17 | 2020-07-17 | 京东方科技集团股份有限公司 | 定位跟踪件、定位球的识别方法、存储介质及电子设备 |
WO2021190421A1 (zh) * | 2020-03-27 | 2021-09-30 | 海信视像科技股份有限公司 | 基于虚拟现实的控制器光球追踪方法和虚拟现实设备 |
CN111427452B (zh) * | 2020-03-27 | 2023-10-20 | 海信视像科技股份有限公司 | 控制器的追踪方法及vr系统 |
CN113456229A (zh) * | 2020-03-31 | 2021-10-01 | 北京图灵微创医疗科技有限公司 | 用于腹腔手术的机器人系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103040525A (zh) * | 2012-12-27 | 2013-04-17 | 深圳先进技术研究院 | 一种多模医学影像手术导航方法及系统 |
CN103247056A (zh) * | 2013-05-29 | 2013-08-14 | 中国人民解放军第三军医大学第一附属医院 | 人体骨关节系统三维模型-二维影像空间配准方法 |
CN103479431A (zh) * | 2013-09-26 | 2014-01-01 | 中国科学院深圳先进技术研究院 | 非介入式微创手术导航系统 |
CN103479430A (zh) * | 2013-09-22 | 2014-01-01 | 江苏美伦影像系统有限公司 | 一种影像引导介入手术导航系统 |
CN103735312A (zh) * | 2013-12-11 | 2014-04-23 | 中国科学院深圳先进技术研究院 | 多模影像超声引导手术导航系统 |
CN104349731A (zh) * | 2012-05-31 | 2015-02-11 | 伊西康内外科公司 | 具有取向感测的外科器械 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6167296A (en) * | 1996-06-28 | 2000-12-26 | The Board Of Trustees Of The Leland Stanford Junior University | Method for volumetric image navigation |
US7206626B2 (en) * | 2002-03-06 | 2007-04-17 | Z-Kat, Inc. | System and method for haptic sculpting of physical objects |
CN100536792C (zh) * | 2007-03-28 | 2009-09-09 | 新奥博为技术有限公司 | 一种支持多种模式的导航系统及导航方法 |
JP5354981B2 (ja) * | 2008-07-14 | 2013-11-27 | キヤノン株式会社 | 文書管理装置、文書管理方法及びプログラム |
CN101797182A (zh) * | 2010-05-20 | 2010-08-11 | 北京理工大学 | 一种基于增强现实技术的鼻内镜微创手术导航系统 |
CN103860268B (zh) * | 2012-12-13 | 2017-10-03 | 中国科学院深圳先进技术研究院 | 一种标记点配准方法、装置及外科手术导航系统 |
-
2015
- 2015-12-24 CN CN201580001146.0A patent/CN107182200B/zh active Active
- 2015-12-24 WO PCT/CN2015/098590 patent/WO2017107116A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104349731A (zh) * | 2012-05-31 | 2015-02-11 | 伊西康内外科公司 | 具有取向感测的外科器械 |
CN103040525A (zh) * | 2012-12-27 | 2013-04-17 | 深圳先进技术研究院 | 一种多模医学影像手术导航方法及系统 |
CN103247056A (zh) * | 2013-05-29 | 2013-08-14 | 中国人民解放军第三军医大学第一附属医院 | 人体骨关节系统三维模型-二维影像空间配准方法 |
CN103479430A (zh) * | 2013-09-22 | 2014-01-01 | 江苏美伦影像系统有限公司 | 一种影像引导介入手术导航系统 |
CN103479431A (zh) * | 2013-09-26 | 2014-01-01 | 中国科学院深圳先进技术研究院 | 非介入式微创手术导航系统 |
CN103735312A (zh) * | 2013-12-11 | 2014-04-23 | 中国科学院深圳先进技术研究院 | 多模影像超声引导手术导航系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107182200A (zh) | 2017-09-19 |
WO2017107116A1 (zh) | 2017-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107182200B (zh) | 微创手术导航系统 | |
US20230301723A1 (en) | Augmented reality navigation systems for use with robotic surgical systems and methods of their use | |
KR101647467B1 (ko) | 증강현실을 이용한 외과 수술용 3d 안경 시스템 | |
KR102488295B1 (ko) | 로봇 수술 절차 동안 물리적 오브젝트를 식별하고 추적하기 위한 시스템 및 방법 | |
TWI741359B (zh) | 與手術導航系統整合之混合實境系統 | |
JP2022133440A (ja) | ナビゲーション手術における拡張現実ディスプレイのためのシステム及び方法 | |
CN101904770B (zh) | 一种基于光学增强现实技术的手术导航系统及方法 | |
CN109288591A (zh) | 手术机器人系统 | |
US20150049174A1 (en) | System and method for non-invasive patient-image registration | |
US20110105895A1 (en) | Guided surgery | |
WO2007111955A2 (en) | System and method for 3-d tracking of surgical instrument in relation to patient body | |
CN101797182A (zh) | 一种基于增强现实技术的鼻内镜微创手术导航系统 | |
US20210121238A1 (en) | Visualization system and method for ent procedures | |
CN110169821B (zh) | 一种图像处理方法、装置及系统 | |
Gsaxner et al. | Augmented reality in oral and maxillofacial surgery | |
Tonet et al. | An augmented reality navigation system for computer assisted arthroscopic surgery of the knee | |
CN113648061B (zh) | 一种基于混合现实的头戴式导航系统及导航配准方法 | |
Harders et al. | Multimodal augmented reality in medicine | |
US20220370147A1 (en) | Technique of Providing User Guidance For Obtaining A Registration Between Patient Image Data And A Surgical Tracking System | |
EP4169470B1 (en) | Apparatus and method for positioning a patient's body and tracking the patient's position during surgery | |
Zhang et al. | From AR to AI: augmentation technology for intelligent surgery and medical treatments | |
CN112168348A (zh) | 用于手术的定位与导航系统及其运作方法 | |
EP3840645A1 (en) | Patient viewing system | |
US20230233259A1 (en) | Augmented reality headset systems and methods for surgical planning and guidance for knee surgery | |
US11857378B1 (en) | Systems for adjusting and tracking head mounted displays during surgery including with surgical helmets |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |