CN117095146A - 用于介入治疗术的增强现实辅助系统及方法 - Google Patents
用于介入治疗术的增强现实辅助系统及方法 Download PDFInfo
- Publication number
- CN117095146A CN117095146A CN202310940573.1A CN202310940573A CN117095146A CN 117095146 A CN117095146 A CN 117095146A CN 202310940573 A CN202310940573 A CN 202310940573A CN 117095146 A CN117095146 A CN 117095146A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- virtual
- point
- positioning
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000013152 interventional procedure Methods 0.000 title claims description 18
- 230000004927 fusion Effects 0.000 claims abstract description 42
- 238000002560 therapeutic procedure Methods 0.000 claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims abstract description 22
- 239000011521 glass Substances 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 22
- 238000013519 translation Methods 0.000 claims description 14
- 230000002792 vascular Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000002583 angiography Methods 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000011282 treatment Methods 0.000 claims description 5
- 230000003902 lesion Effects 0.000 claims description 4
- 239000002184 metal Substances 0.000 claims description 4
- 238000003780 insertion Methods 0.000 claims description 3
- 230000037431 insertion Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 2
- 210000004204 blood vessel Anatomy 0.000 description 12
- 239000002872 contrast media Substances 0.000 description 10
- 125000006850 spacer group Chemical group 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001225 therapeutic effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 206010067484 Adverse reaction Diseases 0.000 description 2
- 208000024248 Vascular System injury Diseases 0.000 description 2
- 208000012339 Vascular injury Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000006838 adverse reaction Effects 0.000 description 2
- 238000010968 computed tomography angiography Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000005865 ionizing radiation Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Abstract
本发明提供一种用于介入治疗术的增强现实辅助系统,包含:多个定位片,贴于患者体表;介入治疗成像设备,用于采集患者病灶区域的包含定位片的序列2D图像;3D模型重建模块,基于术前的序列2D图像生成对应的3D虚拟模型,基于术中的序列2D图像获取患者体内介入器械的位置信息,并将位置信息加入3D虚拟模型中;图像处理模块,基于多个定位片将3D虚拟模型、患者身体进行虚实融合,生成对应的虚实融合图像;AR眼镜,用于实时显示虚实融合图像,虚实融合图像中的多个虚拟定位片分别与患者体表的多个定位片位置重合。本发明还提供一种介入治疗术中的导航方法。本发明能够减少术中采集图像的次数,提高手术安全性并降低对术者的依赖。
Description
技术领域
本发明涉及介入治疗设备技术领域,特别涉及一种用于介入治疗术的增强现实辅助系统及方法。
背景技术
介入治疗术中,通常将支架等介入器械植入血管。由于血管的发育不全、迂曲、高位起源等原因,介入器械通过的路径错综复杂。特别是在血管分叉处,需要准确判断介入器械在体内的实际位置,否则会增加血管损伤的风险。
现有技术的介入治疗术中以DSA(Digital Subtract Angiography数字减影血管造影)为主流,依靠高穿透性的X光来获取2D的黑白Dicom(Digital Imaging andCommunications in Medicine医学数字成像和通信)图像,结合造影剂来凸显血管位置。现有技术中不仅需要较多的造影剂,并且介入器械在血管内行进时,需要多次获取X光图像,患者和医生不可避免地接受较多的电离辐射。同时,术中极其依靠医生的经验来判断血管的走向与分叉,这将花费更多的手术时间,大大增加了手术难度。
另一方面,主流介入治疗医疗器械厂商对于其DSA、CTA(CT Angiography CT血管成像)、MRA(Magnetic Resonance Angiography磁共振血管成像)设备的垄断保护,API开放有限,存在读取Dicom(Digital Imaging and Communications in Medicine医学数字成像和通信)图像延迟、与旧设备契合度欠佳等问题,不利于手术的开展。
发明内容
本发明的目的是提供一种用于介入治疗术的增强现实辅助系统及方法,能够基于预先采集的病灶区域的2D序列图像生成对应的3D虚拟模型,并通过AR(Augmented Reality增强现实)眼镜显示融合了该3D虚拟模型、病患身体的虚实融合图像,同时将术中采集的介入器械的位置信息加入该虚实融合图像中。通过本发明能够减少术中采集2D序列图像的次数,降低术中介入治疗成像设备的辐射量及造影剂的使用量,减少了手术时间,并大大减少了对术者经验的依赖。且本发明能够基于术者的视点变化快速实时更新虚实融合图像,满足现实需求。
为了达到上述目的,本发明提供一种用于介入治疗术的增强现实辅助系统,包含:
多个定位片,贴于患者体表;
介入治疗成像设备,用于采集患者病灶区域的包含所述定位片的序列2D图像;
3D模型重建模块,基于术前采集的所述序列2D图像生成对应的3D虚拟模型,基于术中采集的序列2D图像获取患者体内介入器械的位置信息,并将所述位置信息加入所述3D虚拟模型中;
图像处理模块,基于所述多个定位片将所述3D虚拟模型、患者的身体进行虚实融合,生成对应的虚实融合图像;
AR眼镜,用于实时显示所述虚实融合图像;该虚实融合图像中的多个虚拟的定位片分别与患者体表的多个定位片位置重合。
可选的,所述图像处理模块包含计算单元,其被配置为基于术者视点的变化,计算3D虚拟模型上的各点在新AR坐标系下的坐标;图像处理模块基于所述新AR坐标系下的坐标更新所述虚实融合图像;所述AR坐标系以患者体内的点t0为原点,所述点t0位于手术台中心点的正上方,AR坐标系的Z轴经过点t0和术者的视点;
所述计算3D虚拟模型上的各点在新AR坐标系下的坐标包含:
基于术者视点的变化得到对应的坐标变化矩阵;基于所述坐标变化矩阵计算新3D虚拟模型中的各定位片在新AR坐标系下的坐标;
3D虚拟模型被划分为与多个定位片对应的多个3D区域,所述3D区域上的各点与对应定位片之间的间距小于设定的阈值;根据定位片在新AR坐标系下的坐标,通过平移运算,计算与定位片对应的3D区域上的各点在新AR坐标系下的坐标。
可选的,当术者移动,其视点从第一视点V0变为第二视点V1时:
令第一向量的起点为t0,/>指向V0,/>令第二向量/>的起点为t0,/>指向V1,/>第一向量/>与第二向量/>之间的夹角为θ′;在以点t0为圆心,半径为1的球面B(t0,1)上,存在一单位向量/> 垂直于第一向量/>与第二向量/>构成的平面;
所述坐标变化矩阵包含第一变化矩阵P,
多个定位片中的第r定位片在第一AR坐标系、第二AR坐标系下的位置分别记为ar、ar′,r∈[1,n],n为定位片的总数;所述第一AR坐标系、第二AR坐标系分别对应第一视点V0、第二视点V1;
为第一AR坐标系下的向量,第二AR坐标系下的向量/> P*表示P的逆;
通过平移运算,基于计算与所述第r定位片对应的3D区域上的各点在第二AR坐标系下的坐标。
可选的,术者绕一虚拟的旋转轴旋转角度θ,术者的视点从第一视点V0变为第三视点V2;令第一向量的起点为t0,/>指向V0,/>所述旋转轴经过点t0和第一视点V0;
多个定位片中的第r定位片在第一AR坐标系、第三AR坐标系下的位置分别记为ar、ar",r∈[1,n],n为定位片的总数;所述第一AR坐标系、第三AR坐标系分别对应第一视点V0、第三视点V2;
所述坐标变化矩阵包含第二变化矩阵Q,
所述第r定位片在第三AR坐标系下的位置记为ar";为第一AR坐标系下的向量,第三AR坐标系下的向量/>Q*表示Q的逆;
通过平移运算,基于计算与第r定位片对应的3D区域上的各点在第三AR坐标系下的坐标。
可选的,3D虚拟模型中包含突出显示的手术信息,所述手术信息包括:介入器械的插入位置、到病灶的血管路径中的任一种或多种;
所述3D模型重建模块包含图像分割单元,用于从所述2D图像中分割出各组织对应的区域;3D模型重建模块还基于接收的指令在3D虚拟模型中显示或不显示对应的非血管组织的图像。
可选的,介入治疗成像设备包含:数字减影血管造影设备、CT设备、磁共振血管成像设备中的任一种。
可选的,所述定位片为金属材质,多个定位片的表面分别设有不同的图案。
可选的,所述用于介入治疗术的增强现实辅助系统,还包含图像显示单元,用于实时显示术中采集的所述2D图像。
本发明还提供一种介入治疗术中的导航方法,采用如本发明所述的用于介入治疗术的增强现实辅助系统实现的,所述方法包含步骤:
S1、将多个定位片固定在患者病灶区域的皮肤表面;术前采集患者病灶区域的序列2D图像以生成对应的3D虚拟模型;
S2、通过AR眼镜显示包含所述3D虚拟模型的虚实融合图像;该虚实融合图像中的多个虚拟的定位片分别与患者皮肤表面的多个定位片位置重合;插入介入器械;
S3、激发介入器械头部并采集患者病灶区域的序列2D图像以获取介入器械在患者体内的位置信息;将介入器械的所述位置信息显示在所述虚实融合图像中;推进介入器械;重复步骤S3,直至介入器械到达病灶区域。
可选的,所述介入治疗术中的导航方法还包含步骤:基于术者视点变化,计算3D虚拟模型上的各点在新的AR坐标系下的坐标,以实现更新虚实融合图像;
所述计算3D虚拟模型上的各点在新的AR坐标系下的坐标包含:
基于术者视点的变化得到对应的坐标变化矩阵;基于所述坐标变化矩阵获取3D虚拟模型中的各定位片在新的AR坐标系下的坐标;
将3D虚拟模型划分为与多个定位片对应的多个3D区域;根据定位片在新的AR坐标系下的坐标,通过平移运算,计算与定位片对应的所述3D区域上的各点在新AR坐标系下的坐标。
与现有技术相比,本发明的用于介入治疗术的增强现实辅助系统及方法有益效果在于:
1)本发明基于术前采集的患者病灶区域的2D序列图像重建对应的3D虚拟模型,并通过AR眼镜显示融合了该3D虚拟模型、病患身体的虚实融合图像,同时将术中采集的介入器械的位置信息加入该虚实融合图像中。在3D虚拟模型中分割了术中血管和其他非血管组织,并突出显示了到病灶的血管路径,能直观地在施术区域为术者可视化显示介入器械在血管中的行进路径,术者视点不用从施术区域与显示屏(用于显示2D序列图像)之间来回切换。可以显著减少术中在血管分叉部分的判断与纠错时间,降低对术者与观察室辅助人员的依赖,减少手术人员配置,提高了手术成功率。
2)通过本发明可以减少术中采集2D序列图像的次数,大大降低术中介入治疗成像设备的辐射量,提高手术安全性,降低对患者和术者的伤害。本发明减少了医生与医疗设备之间的交互成本,以达到最终减少手术时间,降低手术成本的目标。
3)本发明不需要或仅需少量造影剂,减少因病患对造影剂的不良反应带来的安全隐患。
4)本发明中能够对术前的2D序列图像进行降噪、平滑等处理,使术中呈现高清晰度的3D虚拟模型,且处理过程不会占用术中时间。本发明能够随术者视点快速计算3D虚拟模型在新AR坐标系下的坐标,以实时更新虚实融合图像,计算速度快、开销小,且计算结果准确,很好的保障了手术效果。
5)本发明的增强现实辅助系统兼容现有介入治疗成像设备,无需对现有设备进行改造,降低了介入治疗手术成本。本发明还能够用于医疗教学,直观的3D虚拟模型有助于提高教学效率、降低医学学生的学习成本。
附图说明
为了更清楚地说明本发明技术方案,下面将对描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一个实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图:
图1为本发明的用于介入治疗术的增强现实辅助系统的示意图;
图2为本发明实施例一中,术者视点、定位片和介入器械的示意图。
图3为显示在猪体表面的3D虚拟模型的示意图。
图4为本发明实施例一中,术者从第一视点变为第二视点时,定位片坐标变化的示意图;
图5为本发明实施例一中,术者从第一视点变为第三视点时,定位片坐标变化的示意图;
图6为本发明的实施例中,介入治疗术中的导航方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
如在本说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外,在本申请的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
现有技术的介入治疗术中以DSA为主流,结合造影剂来凸显血管位置。不仅需要较多的造影剂,并且介入器械在血管内行进时,需要多次获取X光图像,患者和医生不可避免地接受较多的电离辐射。同时,术中依赖于医生的经验来判断血管的走向与分叉,一旦判断错误将会增加血管损伤的风险。不仅花费更多的手术时间,且手术难度较大。
增强现实眼镜或头盔通过透明玻璃在用户的直接视野中覆盖虚拟对象。与虚拟现实(VR Virtual Reality)中用户的视觉被遮挡不同,增强现实中的用户可以同时观察真实世界和虚拟世界。
本发明将增强现实技术应用于介入治疗手术,通过预先采集的病灶区域的2D序列图像生成对应的3D虚拟模型,并通过AR眼镜显示融合了该3D虚拟模型、病患身体的虚实融合图像,同时将术中采集的介入器械的位置信息加入该虚实融合图像中,并能够基于术者的视点变化快速实时更新虚实融合图像。术者可以通过AR眼镜,在人体上直观获取血管路径及介入器械的位置,术者视点不用从施术区域与显示屏(用于显示2D序列图像)之间来回切换。通过本发明减少了术中采集2D序列图像的次数,降低了术中介入治疗成像设备的辐射量及造影剂的使用量。本发明大大减少了手术时间,并降低了对术者经验的依赖,提高了手术安全性及成功率。本发明的增强现实辅助系统兼容现有介入治疗成像设备,无需对现有设备进行改造,降低了介入治疗手术成本。同时本发明还能够用于医疗教学,直观的3D虚拟模型有助于提高教学效率、降低医学学生的学习成本。
实施例一
本发明提供一种用于介入治疗术的增强现实辅助系统,如图1所示,包含:多个定位片10,介入治疗成像设备20,3D模型重建模块30,图像处理模块40,AR眼镜50。
多个定位片10贴于患者体表。本实施例中的定位片10为金属材质,多个定位片10的表面分别设有不同的图案。在优选的实施例中,定位片10的数量至少为3个,相邻定位片10之间的间隔为3~7cm。图2中示出了6个定位片10,此仅作为示例。
介入治疗成像设备20用于采集患者病灶区域的包含定位片10的序列2D图像。介入治疗成像设备20可以是数字减影血管造影设备(DSA)、CT设备、磁共振血管成像设备等。本实施例中的介入治疗成像设备20为DSA。由于定位片10为金属材质,其在2D图像中具有高亮度的特征,易于与人体组织相互区别。需要说明的是,定位片10在术前图像采集时就已经固定在患者体表,直至手术完成后才被取下。
3D模型重建模块30基于术前采集的序列2D图像生成对应的3D虚拟模型。图3为实验中,在猪体表面映射了3D虚拟模型的示意图。3D模型重建模块30还能够对术前的2D序列图像进行降噪、平滑等处理,大大提高模型清晰度。3D模型重建模块30还基于术中采集的序列2D图像获取患者体内介入器械70的位置信息,并将位置信息加入3D虚拟模型中。本实施例中,3D虚拟模型还包含突出显示的手术信息,例如:介入器械70的插入位置、到病灶的血管路径等。
如图1所示,本实施例中的3D模型重建模块30包含图像分割单元31,用于从2D图像中分割出各组织对应的区域。3D模型重建模块30还基于接收的指令在3D虚拟模型中显示或不显示对应的非血管组织的图像。该指令可以是术者的语音指令,例如:“显示心脏区域”、“隐去肝部区域”等。术者在进行手术时,可专注于手术区域,避免其他信息的干扰。
图像处理模块40基于多个定位片10将3D虚拟模型、患者的身体进行虚实融合,生成对应的虚实融合图像,并通过AR眼镜50为术者实时显示该虚实融合图像。虚实融合图像中的多个虚拟的定位片10分别与患者体表的多个定位片10位置重合。易于理解的,通过定位片10实现了将3D虚拟模型准确的锚定在人体上。
术者通过3D虚拟模型能直观地在施术区域为术者可视化显示到病灶的血管路径,可以根据施术区域的虚实融合图像插入介入器械70。术者还可以在术中通过脚踩踏板激活DSA扫描。3D模型重建模块30根据术中采集的DSA图像以获取介入器械70在人体的位置信息,并该位置信息实时显示在3D虚拟模型中。使得术者的视点不用从施术区域与显示屏(用于显示2D序列图像)之间来回切换。可以显著减少术中在血管分叉部分的判断与纠错时间。由于能够清晰直观地观察到3D虚拟模型,能够降低对术者经验的依赖,减少手术人员配置,提高手术成功率。
现有技术中,介入器械70很可能行进很小一段距离就需要再次采集DSA图像,对病患和医生辐射较大。通过本发明可以减少术中采集图像的次数,大大降低术中介入治疗成像设备20的辐射量,提高手术安全性,降低对患者和术者的伤害。本发明减少了医生与医疗设备之间的交互成本,以达到最终减少手术时间,降低手术成本的目标。本发明中不需要或仅需少量造影剂,减少因病患对造影剂的不良反应带来的安全隐患。
如图1所示,本实施例中的图像处理模块40包含计算单元41。计算单元41被配置为基于术者视点的变化,计算3D虚拟模型上的各点在新AR坐标系(与术者视点对应)下的坐标。图像处理模块40基于新AR坐标系下的坐标更新虚实融合图像。AR坐标系以患者体内的点t0为原点(竖直方向上,点t0到手术台表面以及人体的暴露表面具有相同的距离,点t0视为人体内的一个中心点),点t0位于手术台中心点的正上方,对应AR坐标系的Z轴经过点t0和术者的视点。由于术者绕着手术台移动。点t0视作AR坐标系下的不动点,减少坐标计算的误差。
计算3D虚拟模型上的各点在新AR坐标系下的坐标包含步骤:
H1、基于术者视点的变化得到对应的坐标变化矩阵;基于坐标变化矩阵计算新3D虚拟模型中的各定位片10在新AR坐标系下的坐标。
H2、3D虚拟模型被划分为与多个定位片10对应的多个3D区域,3D区域上的各点与对应定位片10之间的间距小于设定的阈值;根据定位片10在新AR坐标系下的坐标,通过平移运算,计算与定位片10对应的3D区域上的各点在新AR坐标系下的坐标。
术者因为移动位置、旋转头部产生的视角变动导致AR设备中成像的的变化,是以动作施加在视点与少数几个锚点(通常选取距离介入器械与视点绝对距离之和最短的两点,在每10帧通常会选取第三点作为校准)之间的向量通过施加的旋转拉伸等矩阵变换操作来完成。由于在欧氏空间内病人原始的建模数据并未产生任何形变。用于模型上各点的平移运算的向量,即为选取锚点的更新坐标与未更新坐标之差。通过此向量可以仅用向量加减而不是矩阵乘法即可更新其它所有位点的实时位置。
传统的左边计算方法用点阵算3D虚拟模型上各点的坐标,难点在于目前DSA图像的帧率很高(通常超过10帧/秒),数据运算量太大。在目前的帧率下,按照传统的计算方法,势必造成计算速度过慢,虚实融合图像不能随术者视角变化实时更新。本发明中通过矩阵乘法计算定位片10的坐标,并通过平移运算(加减运算)更新3D区域上与定位片10对应的其他点的坐标。由于不需要将3D虚拟模型上的每个点进行矩阵乘法运算,大大减少了运算量,保证了虚实融合图像随术者视角变化实时更新的速度。并且,通过按区域计算各点坐标,保证了术者观察到的3D虚拟模型能够准确反应病患体内实际的组织。
术者的视点变化包含两种情况:
情况一、如图4所示,当术者移动,其视点从第一视点V0变为第二视点V1。
令第一向量的起点为t0,/>指向V0,/>令第二向量/>的起点为t0,/>指向V1,/>第一向量/>与第二向量/>之间的夹角为θ′。在以点t0为圆心,半径为1的球面B(t0,1)上,存在一单位向量/>(图中未示出,/>的计算方法为现有技术,在此不做赘述),垂直于第一向量/>与第二向量/>构成的平面。
坐标变化矩阵包含第一变化矩阵P,
多个定位片10中的第r定位片在第一AR坐标系、第二AR坐标系下的位置分别记为ar、ar′,r∈[1,n],n为定位片10的总数。第一AR坐标系、第二AR坐标系分别对应第一视点V0、第二视点V1。
为第一AR坐标系下的向量,第二AR坐标系下的向量/> P*表示P的逆。
通过平移运算,基于计算与第r定位片对应的3D区域上的各点在第二AR坐标系下的坐标。
情况二、如图5所示,术者绕一虚拟的旋转轴旋转角度θ,该旋转轴经过点t0和第一视点V0,术者的视点从第一视点V0变为第三视点V2(图中未示出)。
多个定位片10中的第r定位片在第三AR坐标系下的位置分别记为ar"。第三AR坐标系对应第三视点V2。
坐标变化矩阵包含第二变化矩阵Q,
第三AR坐标系下的向量Q*表示Q的逆。
通过平移运算,基于计算与第r定位片对应的3D区域上的各点在第三AR坐标系下的坐标。
本实施例中的增强现实辅助系统还包含图像显示单元60,用于实时显示术中采集的2D图像。可以为未佩戴AR眼镜50的手术辅助人员提供手术信息。
本发明还提供一种介入治疗术中的导航方法,采用如本发明所述的用于介入治疗术的增强现实辅助系统实现的,如图6所示,所述方法包含步骤:
S1、将多个定位片10固定在患者病灶区域的皮肤表面;术前采集患者病灶区域的序列2D图像以生成对应的3D虚拟模型;
S2、通过AR眼镜50显示包含3D虚拟模型的虚实融合图像;该虚实融合图像中的多个虚拟的定位片10分别与患者皮肤表面的多个定位片10位置重合;插入介入器械70;
S3、激发介入器械头部并采集患者病灶区域的序列2D图像以获取介入器械70在患者体内的位置信息;将介入器械70的位置信息显示在虚实融合图像中;推进介入器械70;重复步骤S3,直至介入器械70到达病灶区域。
当术者移动时,步骤S3中还包含:基于术者视点变化,计算3D虚拟模型上的各点在新的AR坐标系下的坐标,以实现更新虚实融合图像;
计算3D虚拟模型上的各点在新的AR坐标系下的坐标包含:
基于术者视点的变化得到对应的坐标变化矩阵;基于坐标变化矩阵获取3D虚拟模型中的各定位片10在新的AR坐标系下的坐标;
将3D虚拟模型划分为与多个定位片10对应的多个3D区域;根据定位片10在新的AR坐标系下的坐标,通过平移运算,计算与定位片10对应的3D区域上的各点在新AR坐标系下的坐标。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种用于介入治疗术的增强现实辅助系统,其特征在于,包含:
多个定位片,贴于患者体表;
介入治疗成像设备,用于采集患者病灶区域的包含所述定位片的序列2D图像;
3D模型重建模块,基于术前采集的所述序列2D图像生成对应的3D虚拟模型,基于术中采集的序列2D图像获取患者体内介入器械的位置信息,并将所述位置信息加入所述3D虚拟模型中;
图像处理模块,基于所述多个定位片将所述3D虚拟模型、患者的身体进行虚实融合,生成对应的虚实融合图像;
AR眼镜,用于实时显示所述虚实融合图像;该虚实融合图像中的多个虚拟的定位片分别与患者体表的多个定位片位置重合。
2.如权利要求1所述的用于介入治疗术的增强现实辅助系统,其特征在于,所述图像处理模块包含计算单元,其被配置为基于术者视点的变化,计算3D虚拟模型上的各点在新AR坐标系下的坐标;图像处理模块基于所述新AR坐标系下的坐标更新所述虚实融合图像;所述AR坐标系以患者体内的点t0为原点,所述点t0位于手术台中心点的正上方,AR坐标系的Z轴经过点t0和术者的视点;
所述计算3D虚拟模型上的各点在新AR坐标系下的坐标包含:
基于术者视点的变化得到对应的坐标变化矩阵;基于所述坐标变化矩阵计算新3D虚拟模型中的各定位片在新AR坐标系下的坐标;
3D虚拟模型被划分为与多个定位片对应的多个3D区域,所述3D区域上的各点与对应定位片之间的间距小于设定的阈值;根据定位片在新AR坐标系下的坐标,通过平移运算,计算与定位片对应的3D区域上的各点在新AR坐标系下的坐标。
3.如权利要求2所述的用于介入治疗术的增强现实辅助系统,其特征在于,当术者移动,其视点从第一视点V0变为第二视点V1时:
令第一向量的起点为t0,/>指向V0,/>令第二向量/>的起点为t0,/>指向V1,第一向量/>与第二向量/>之间的夹角为θ′;在以点t0为圆心,半径为1的球面B(t0,1)上,存在一单位向量/> 垂直于第一向量/>与第二向量/>构成的平面;
所述坐标变化矩阵包含第一变化矩阵P,
多个定位片中的第r定位片在第一AR坐标系、第二AR坐标系下的位置分别记为ar、ar′,r∈[1,n],n为定位片的总数;所述第一AR坐标系、第二AR坐标系分别对应第一视点V0、第二视点V1;
为第一AR坐标系下的向量,第二AR坐标系下的向量/> P*表示P的逆;
通过平移运算,基于计算与所述第r定位片对应的3D区域上的各点在第二AR坐标系下的坐标。
4.如权利要求2所述的用于介入治疗术的增强现实辅助系统,其特征在于,术者绕一虚拟的旋转轴旋转角度θ,术者的视点从第一视点V0变为第三视点V2;令第一向量的起点为t0,/>指向V0,/>所述旋转轴经过点t0和第一视点V0;
多个定位片中的第r定位片在第一AR坐标系、第三AR坐标系下的位置分别记为ar、ar",r∈[1,n],n为定位片的总数;所述第一AR坐标系、第三AR坐标系分别对应第一视点V0、第三视点V2;
所述坐标变化矩阵包含第二变化矩阵Q,
所述第r定位片在第三AR坐标系下的位置记为ar";为第一AR坐标系下的向量,第三AR坐标系下的向量/>Q*表示Q的逆;
通过平移运算,基于计算与第r定位片对应的3D区域上的各点在第三AR坐标系下的坐标。
5.如权利要求1所述的用于介入治疗术的增强现实辅助系统,其特征在于,3D虚拟模型中包含突出显示的手术信息,所述手术信息包括:介入器械的插入位置、到病灶的血管路径中的任一种或多种;
所述3D模型重建模块包含图像分割单元,用于从所述2D图像中分割出各组织对应的区域;3D模型重建模块还基于接收的指令在3D虚拟模型中显示或不显示对应的非血管组织的图像。
6.如权利要求1所述的用于介入治疗术的增强现实辅助系统,其特征在于,介入治疗成像设备包含:数字减影血管造影设备、CT设备、磁共振血管成像设备中的任一种。
7.如权利要求1所述的用于介入治疗术的增强现实辅助系统,其特征在于,所述定位片为金属材质,多个定位片的表面分别设有不同的图案。
8.如权利要求1所述的用于介入治疗术的增强现实辅助系统,其特征在于,还包含图像显示单元,用于实时显示术中采集的所述2D图像。
9.一种介入治疗术中的导航方法,采用如权利要求1至8任一所述的用于介入治疗术的增强现实辅助系统实现的,其特征在于,包含步骤:
S1、将多个定位片固定在患者病灶区域的皮肤表面;术前采集患者病灶区域的序列2D图像以生成对应的3D虚拟模型;
S2、通过AR眼镜显示包含所述3D虚拟模型的虚实融合图像;该虚实融合图像中的多个虚拟的定位片分别与患者皮肤表面的多个定位片位置重合;插入介入器械;
S3、激发介入器械头部并采集患者病灶区域的序列2D图像以获取介入器械在患者体内的位置信息;将介入器械的所述位置信息显示在所述虚实融合图像中;判断介入器械的行进方向及行进距离,推进介入器械;重复步骤S3,直至介入器械到达病灶区域。
10.如权利要求9所述的介入治疗术中的导航方法,其特征在于,还包含步骤:基于术者视点变化,计算3D虚拟模型上的各点在新的AR坐标系下的坐标,以实现更新虚实融合图像;
所述计算3D虚拟模型上的各点在新的AR坐标系下的坐标包含:
基于术者视点的变化得到对应的坐标变化矩阵;基于所述坐标变化矩阵获取3D虚拟模型中的各定位片在新的AR坐标系下的坐标;
将3D虚拟模型划分为与多个定位片对应的多个3D区域;根据定位片在新的AR坐标系下的坐标,通过平移运算,计算与定位片对应的所述3D区域上的各点在新AR坐标系下的坐标。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310940573.1A CN117095146A (zh) | 2023-07-28 | 2023-07-28 | 用于介入治疗术的增强现实辅助系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310940573.1A CN117095146A (zh) | 2023-07-28 | 2023-07-28 | 用于介入治疗术的增强现实辅助系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117095146A true CN117095146A (zh) | 2023-11-21 |
Family
ID=88776197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310940573.1A Pending CN117095146A (zh) | 2023-07-28 | 2023-07-28 | 用于介入治疗术的增强现实辅助系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117095146A (zh) |
-
2023
- 2023-07-28 CN CN202310940573.1A patent/CN117095146A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6768878B2 (ja) | 画像表示の生成方法 | |
US11013481B2 (en) | Method for acquiring and processing image data of an examination object | |
Bichlmeier et al. | Contextual anatomic mimesis hybrid in-situ visualization method for improving multi-sensory depth perception in medical augmented reality | |
Sielhorst et al. | Advanced medical displays: A literature review of augmented reality | |
EP1599137B1 (en) | Intravascular imaging | |
US8045780B2 (en) | Device for merging a 2D radioscopy image with an image from a 3D image data record | |
EP2800516B1 (en) | Real-time display of vasculature views for optimal device navigation | |
WO2019040493A1 (en) | SYSTEMS AND METHODS FOR AUGMENTED REALITY GUIDANCE | |
US20080147086A1 (en) | Integrating 3D images into interventional procedures | |
US20180310907A1 (en) | Simulated Fluoroscopy Images with 3D Context | |
Karmonik et al. | Augmented reality with virtual cerebral aneurysms: a feasibility study | |
Liu et al. | Toward intraoperative image-guided transoral robotic surgery | |
Bartz et al. | Interactive exploration of extra-and interacranial blood vessels | |
Maupu et al. | 3D stereo interactive medical visualization | |
Vogt | Real-Time Augmented Reality for Image-Guided Interventions | |
CN117095146A (zh) | 用于介入治疗术的增强现实辅助系统及方法 | |
Adamus et al. | Enhancing transjugular intrahepatic portosystemic shunt puncture by using three-dimensional path planning based on the back projection of two two-dimensional portographs | |
CN111631814B (zh) | 术中血管立体定位导航系统及方法 | |
Soler et al. | Augmented reality in minimally invasive digestive surgery | |
Shoji et al. | Camera motion tracking of real endoscope by using virtual endoscopy system and texture information | |
Habert et al. | Multi-layer visualization for medical mixed reality | |
EP4287120A1 (en) | Guidance during medical procedures | |
CN115089294B (zh) | 介入手术导航的方法 | |
Eck et al. | Display technologies | |
Diana et al. | augmented Reality |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |