CN108601629A - 外科手术期间减少辐射暴露的3d可视化 - Google Patents
外科手术期间减少辐射暴露的3d可视化 Download PDFInfo
- Publication number
- CN108601629A CN108601629A CN201680079633.3A CN201680079633A CN108601629A CN 108601629 A CN108601629 A CN 108601629A CN 201680079633 A CN201680079633 A CN 201680079633A CN 108601629 A CN108601629 A CN 108601629A
- Authority
- CN
- China
- Prior art keywords
- image
- baseline
- arms
- images
- radiopaque marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/12—Devices for detecting or locating foreign bodies
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
- A61B6/4429—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
- A61B6/4435—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
- A61B6/4441—Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/486—Diagnostic techniques involving generating temporal series of image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
- A61B6/547—Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
- A61B2090/3764—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT] with a rotating C-arm having a cone beam emitting source
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3966—Radiopaque markers visible in an X-ray image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
- A61B2090/3983—Reference marker arrangements for use with image guided surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
- A61B6/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/48—Diagnostic techniques
- A61B6/486—Diagnostic techniques involving generating temporal series of image data
- A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
- A61B6/5282—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise due to scatter
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
- A61B6/542—Control of apparatus or devices for radiation diagnosis involving control of exposure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/58—Testing, adjusting or calibrating apparatus or devices for radiation diagnosis
- A61B6/582—Calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10121—Fluoroscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
- G06T2207/10124—Digitally reconstructed radiograph [DRR]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30008—Bone
- G06T2207/30012—Spine; Backbone
Abstract
提供了一种用于将术中2D C臂图像转换成外科手术器械相对于患者的解剖结构的位置和取向的3D表示的系统和方法。
Description
相关申请的交叉引用
本申请是2015年12月14日提交的美国临时申请No.62/266888和2016年3月14日提交的美国临时申请No.62/307942的非临时申请并要求其优先权,其全部公开通过引用并入于此。
背景
技术领域
本公开总体上涉及医疗装置,更具体地说,涉及脊柱外科手术领域以及用于显示术野内的外科手术工具的近实时术中(intraoperative)3D图像的系统和方法。
背景技术
本发明设想了一种用于改变诸如通过X射线获得和观察患者图像的方式的系统和方法。更具体地,本发明的系统和方法提供了用于减少患者在外科手术期间暴露于其中的总体辐射但不显著牺牲显示给外科医生或其他用户的图像的质量或分辨率的装置。
许多外科手术需要获得患者体内结构(诸如器官和骨骼)的图像。在一些手术中,在手术部位的周期性图像的帮助下完成外科手术。外科手术可以广泛地意指由医疗人员(诸如外科医生、介入放射科医师、心内科医生、疼痛管理医生等)执行的任何侵入性测试或干预。在由串行成像引导(在此称为图像引导)的外科手术、手术以及干预中,频繁的患者图像对于医生正确放置手术器械是必要的,无论是导管、针、器械或植入物,还是执行某些医疗手术。荧光透视(fluoroscopy)或荧光检查(fluoro)是术中X射线的一种形式,并且由荧光透视单元(还已知为C臂)拍摄。C臂发送X射线束透过患者并拍摄该区域中的解剖结构的图片,诸如骨骼和血管结构。其就像任何图片一样,是三维(3D)空间的二维(2D)图像。然而,就像用相机拍摄的任何图片一样,关键3D信息可以基于一个事物相对于另一个事物的前方是什么并且有多大而存在于2D图像中。
数字重建射线照片(DRR)是通过对患者进行CT扫描并模拟从不同角度和距离拍摄X射线而制成的X射线的数字表示。结果是,可以模拟例如通过C臂荧光镜为该患者拍摄的任何可能X射线,其对于患者的解剖特征彼此相对看起来如何是唯一的且特定的。因为该“场景”是受控制的,即,通过控制C臂到患者的虚拟位置和彼此相对的角度,所以可以生成看起来像通过手术室(OR)中的C臂拍摄的任何X射线的图片。
许多成像方法(诸如拍摄荧光透视图像)涉及使患者暴露于辐射(虽然剂量很小)。然而,在这些图像引导手术中,小剂量的量加起来使得总辐射暴露不仅对患者不利,而且对外科医生或放射科医师以及参与外科手术的其他人也是不利的。有各种已知方法可以在拍摄图像时减少针对患者/外科医生的辐射暴露量,但这些方法的代价是降低所获得图像的分辨率。例如,某些方法使用脉冲成像而不是标准成像,而其它方法涉及手动改变暴露时间或强度。缩小视野范围也可以潜在地减少辐射暴露面积及其量(以及改变辐射“散射”的量),但同样以减少外科医生在做出医疗决定时可获得的信息为代价。可以使用准直器来专门减少针对可选区域的暴露面积。然而,因为准直器明确地排除了患者的某些部位暴露于X射线,所以这些部位没有图像可用。因此,医疗人员对患者的查看不完整,仅限于特定选定部位。而且,通常在外科手术干预期间拍摄的图像被外来OR设备或用于执行干预的实际器械/植入物阻挡。
某些脊柱外科手术是图像引导的。例如,在涉及椎弓根螺钉放置的脊柱手术期间,当螺钉被插入椎弓根时,外科医生必须周期性地可视化骨骼解剖结构以及手术器械和植入物相对于该解剖结构的相对位置和取向。C臂荧光透视是目前提供这种术中成像的最常用手段。因为C臂荧光透视提供3D解剖结构的2D视图,所以外科医生必须从不同角度解释一个或更多个视图(镜头),以确立器械和植入物在解剖结构内的位置、取向和深度。存在拍摄患者的解剖结构的3D图像的手段,包括计算机断层成像(CT)扫描和磁共振成像(MRI)。这些通常需要很大、复杂、昂贵的设备,而且不常用于手术室。然而,在治疗期间,患者要频繁地在手术之前拍摄相关解剖结构的3D CT和/或MRI图像中的任一个或两者。这些术前图像可以在术中被参照,并与来自C臂的2D平面荧光透视图像进行比较。这允许实时可视化患者的解剖结构中的器械和植入物,但一次只能从一个角度进行透视。一般来说,该视图是前-后(A/P)或侧面的,并且C臂必须在这些取向之间移动以改变视图。
在外科手术中利用荧光透视的一个缺点是患者和OR人员暴露于电离辐射。必须采取措施以最小化这种暴露,因此,工作人员必须佩戴防护铅护罩,有时还应佩戴特殊的安全眼镜和手套。C臂上有调整和控制部(例如,脉冲和低剂量),其可以被用于最小化所产生的辐射量,但是在图像质量与所产生的辐射之间存在折衷。需要一种可以与标准医疗手术结合使用的成像系统,其减少对患者和医疗人员的辐射暴露,但在C臂图像的准确度和分辨率方面没有任何牺牲。还需要这样一种成像系统,即,其为外科医生提供外科手术器械相对于患者的解剖结构的位置和取向的术中3D视图。
发明内容
通过本公开中描述的用于在术野中显示外科手术工具的近实时术中图像的系统和方法的实施方式解决了上述以及其它需求。
公开了一种用于在医疗手术期间生成术野中的患者的内部解剖结构的三维显示的方法,其包括以下步骤:将基线三维图像导入处理装置的数字存储器,将所述基线图像转换成DRR库,从两个不同位置取得位于术野内的不透射线(radiodense)标记物的参照图像,将所述参照图像映射至所述DRR库,通过三角测量计算所述成像装置相对于所述基线图像的位置,以及在所述基线图像上显示所述不透射线标记物的3D表示。
公开了一种用于在医疗手术期间生成术野中的患者的内部解剖结构的三维显示的另一种方法,其包括以下步骤:将基线三维图像导入处理装置的数字存储器,将所述基线图像转换成DRR库,从两个不同位置处的C臂取得术野中的具有已知几何形状的不透射线标记物的参照图像,将所述参照图像映射至所述DRR库,通过三角测量计算所述成像装置相对于所述基线图像的位置,以及在所述基线图像上显示所述不透射线标记物的3D表示,从所述参照图像的两个位置取得所述不透射线标记物的术中图像,基于所述不透射线标记物的所述已知几何形状缩放所述术中图像,通过三角测量将所述经缩放术中图像映射至所述基线图像,以及在所述基线图像上显示所述不透射线标记物的术中3D表示。
附图说明
图1是包括成像系统和图像处理装置的图像引导外科手术设置以及跟踪装置的示图。
图2A是在成像系统中利用全剂量辐射取得的术野的图像。
图2B是图2A所示的术野的图像,其中,利用较低剂量辐射取得图像。
图2C是根据本公开的一个方面的合并图2A至图2B所示两个图像的合并术野图像。
图3是由图1所示的图像处理装置进行的图形处理步骤的流程图。
图4A是包括阻挡解剖结构的一部分的对象的术野的图像。
图4B是图4A所示的具有边缘增强的术野的图像。
图4A至图4J是示出图4B的术野的图像,其中,应用不同函数以确定视图中的解剖特征和非解剖特征。
图4K至图4L是利用阈值和查找表生成的遮罩的图像。
图4M至图4N分别是图4K至图4L所示的在膨胀和腐蚀之后的遮罩的图像。
图4O至图4P分别是通过应用图4M至图4N的遮罩以过滤图4B的图像以便从图像中消除非解剖特征而制备的图像。
图5A是包括阻挡解剖结构的一部分的对象的术野的图像。
图5B是图5A所示的术野的图像,其中,图5A的图像部分地与基线图像合并以显示被阻挡解剖结构。
图6A至图6B是包括阻挡对象的术野的基线图像和合并图像。
图7A至图7B是针对成像装置或C臂的移动而调整的术野的显示,并且提供用于取得新图像的成像装置的界内或界外位置的指示符。
图8A至图8B是针对成像装置或C臂的移动而调整的术野的显示,并且提供何时可以将新图像拼接至先前取得图像的指示符。
图8C是显示器的屏幕截图,其示出具有跟踪圆和运动方向指示符的基线图像,以用于定向C臂以取得新图像。
图8D是两个取景器的显示器的屏幕截图,该取景器被用于帮助定向成像装置或C臂以获得与基线图像相同的空间取向的新图像。
图9A至图9B是针对成像装置或C臂的移动而调整的术野的显示,并且提供成像装置与用于取得新图像的期望轨迹的指示符。
图10是用于图1所示的图像处理装置的显示器和用户界面的描绘图。
图11是根据本公开的图像对准处理的图形表示。
图12A是通过准直器获得的术野的图像。
图12B是图12A所示的如通过本文所公开的系统和方法增强的术野的图像。
图13A、图13B、图14A、图14B、图15A、图15B、图16A以及图16B是示出通过准直器获得的术野的图像,其中准直器被移动。
图17是根据一个实施方式的方法的流程图。
图18是术野的代表性3D术前图像。
图19是手术计划画面的显示和由使用计划工具导出的用于放置椎弓根螺钉的计划的表示。
图20是外科手术显示屏的显示和被用于计算用于放置C臂的期望角度的虚拟量角器特征的表示。
图21是术野的高分辨率图像,示出了具有不透射线标记物的克氏针(K-wire)的放置。
图22A和图22B是C臂的放置的图像(图22A)和示出图21的不透射线标记物的术野的所得倾斜角图像(图22B)。
图23A和图23B是C臂的放置的图像(图23A)和示出图21的不透射线标记物的术野的所得A/P角图像(图23B)。
图24A至图24E示出了整合来自位置1(图24B)的C臂的倾斜图像(图24A)和来自位置2(图24D)的C臂的A/P图像(图24C)以相对于C臂(图24E)映射该3D图像的位置。
图25A至图25C示出了根据一个实施方式的外科医生可用的代表性图像。附图示出了A/P视图(图25A)、斜视图(图25B)、以及侧视图(图25C)上的外科手术工具的表示。
具体实施方式
出于促进理解本发明原理的目的,下面参照附图所示的并且在下面的书面说明书中描述的实施方式进行说明。由此,应当明白,并非旨在限制本发明的范围。还应明白,本发明包括对所示实施方式的任何改变和修改,并且包括本发明所属领域的技术人员通常会想到的本发明的原理的进一步应用。
本文所公开的方法和系统提供对外科手术技术的改进,即,利用常规C臂对实际器械和植入物进行术中3D和同时多平面成像;相对于标准C臂使用,提高准确度和效率;允许更多可重复植入物放置;提供椎体和椎弓根螺钉的轴向视图,以用于最终验证脊柱外科手术中的正确放置;通过减少术中辐射来改善患者和手术人员的健康;促进微创手术(具有固有益处),提高植入准确度;并减少用于矫正植入物的放置的翻修手术的需要。
图1示出了典型成像系统100。该成像系统包括支承C臂成像装置103的基座单元102。C臂包括辐射源104,该辐射源104位于患者P下方并且将辐射束向上引导至接收器105。众所周知,从源104发出的辐射束是圆锥形的,使得可以通过靠近或远离患者移动光源来改变暴露域。源104可以包括被配置成限制暴露域的准直器。针对手术部位的不同视角,C臂103可以沿箭头108的方向围绕患者P旋转。在某些情况下,植入物或器械T可能位于手术部位,必需改变视角,以便无障碍地观察该部位。因此,接收器相对于患者(并且更具体地相对于关注的手术部位)的位置可以根据外科医生或放射科医师的需要,在手术期间改变。因此,接收器105可以包括安装至其的跟踪目标106,其允许利用跟踪装置130跟踪C臂的位置。仅作为示例,跟踪目标106可以包括围绕目标间隔开的多个红外线反射器或发射器,而跟踪装置被配置成,根据由跟踪目标反射或发射的红外信号来三角测量接收器105的位置。基座单元102包括控制面板110,放射技术人员可以通过控制面板110控制C臂的位置以及辐射暴露。因此,典型控制面板110准许放射技术人员在外科医生的指导下“拍摄”手术部位的图片,控制辐射剂量,并启动辐射脉冲图像。
C臂103的接收器105将图像数据发送至图像处理装置122。图像处理装置可以包括与其相关联的数字存储器以及用于执行数字和软件指令的处理器。图像处理装置还可以结合帧抓取器,其使用帧抓取器技术来创建用于投影的数字图像,作为显示装置126上的显示器123、124。所述显示器被定位用于在手术期间由外科医生进行交互式观察。这两个显示器可以被用来示出来自两个视图的图像,诸如侧面和A/P,或者可以示出手术部位的基线扫描和当前扫描,或者当前扫描和基于先前基线扫描和低辐射当前扫描的“合并”扫描,如本文所述。输入装置125(诸如键盘或触摸屏)可以允许外科医生选择和操纵屏幕上图像。应当明白,输入装置可以结合与由图像处理装置122实现的各种任务和特征相对应的键或触摸屏图标的阵列。图像处理装置包括处理器,该处理器将从接收器105获得的图像数据转换成数字格式。在一些情况下,C臂可以按电影暴露模式操作并且每秒产生许多图像。在这些情况下,多个图像可以在较短时段内一起被平均成单个图像,以减少运动伪影和噪声。
在本发明的一个方面中,图像处理装置122被配置成,在显示器123、124上提供高质量实时图像,所述图像根据利用较低剂量(LD)辐射获得的较低细节图像导出。作为例子,图2A是“全剂量”(FD)C臂图像,而图2B是相同解剖结构的低剂量和/或脉冲(LD)图像。很明显,LD图像太“嘈杂”,并且没有提供关于局部解剖结构的足够信息以用于准确图像引导手术。虽然FD图像提供了手术部位的清晰视图,但较高辐射剂量使得在手术期间拍摄多个FD图像是不期望的。利用本文所述步骤,向外科医生提供图2C所示的当前图像,其显著降低了LD图像的噪声,在一些情况下约为90%,使得利用脉冲或低剂量辐射设置来向外科医生提供清晰实时图像。这种能力允许在成像期间的显著减少辐射暴露,以在手术期间验证器械和植入物的位置。
图3的流程图描绘了根据本发明的方法的一个实施方式。在第一步骤200中,取得手术部位的基线高分辨率FD图像并将其存储在与图像处理装置相关联的存储器中。在手术期间移动C臂的一些情况下,可以在手术部位中的不同位置处获得多个高分辨率图像,然后利用已知图像拼接技术将这些多个图像“拼接”在一起以形成复合基础图像。C臂的移动(并且更具体地在这些移动期间“跟踪”所取得的图像)在本文中更详细描述的其它步骤中被加以考虑。针对本讨论,假设成像系统是相对固定的,意味着仅考虑C臂和/或患者的非常有限的移动,诸如可能在硬膜外疼痛手术、脊柱克氏针放置或石头提取中出现。在步骤202中将基线图像投影在显示器123上,以用于验证手术部位在图像内适当居中。在一些情况下,可以获得新FD图像,直到获得合适基线图像为止。在移动C臂的过程中,在成像装置的新位置处获得新基线图像,如下所述。如果所显示图像可接受为基线图像,那么可以在用户界面上按下一按钮,诸如在显示装置126或界面125上的按钮。在对解剖区域执行的手术中,其中预期因生理过程(诸如呼吸)而导致大量运动,可以在循环的多个阶段针对同一区域取得多个基线图像。这些图像可以被标记成来自其它医疗器械(诸如ECG或脉搏血氧计)的时间数据。
一旦取得基线图像,就在步骤204中生成基线图像集,其中原始基线图像被以数字方式旋转、平移并调整大小以创建原始基线图像的数千种置换。例如,可以将128乘128像素的典型二维(2D)图像按1个像素间隔沿x和y方向平移+-15个像素,按3度间隔旋转+-9度,并且按2.5%的间隔从92.5%缩放到107.5%(四个自由度4D),在基线图像集中生成47089个图像。(由于添加了与x和y轴正交的两个附加旋转,因而三维(3D)图像将暗示6D解空间。原始CT图像数据集可以被用于以类似方式形成数千个DRR)。因此,在该步骤中,原始基线图像产生数千个新图像表示,就像在每个不同移动置换处取得原始基线图像一样。在步骤206中,可以将该“解空间”存储在图形卡存储器中(诸如图像处理装置122的图形处理单元(GPU)中),或者根据该解空间中的图像数量以及GPU可以生成那些图像的速度来形成为接着被发送至GPU的新图像。凭借一台独立医疗级计算机上的当前计算能力,因为GPU的多个处理器皆可以同时处理图像,所以在GPU中可以在不到一秒的时间内生成具有近850000个图像的基线图像集。
在手术期间,新LD图像在步骤208中被取得,被存储在与图像处理装置相关联的存储器中,并被投影在显示器123上。因为新图像是在低剂量辐射下获得的,因此非常嘈杂。因此,本发明提供了用于将新图像与来自基线图像集的图像“合并”以在第二显示器124上产生向外科医生传达更多有用信息的更清晰图像的步骤。因此,本发明设想了图像识别或配准步骤210,其中将新图像与基线图像集中的图像进行比较以找到统计上有意义的匹配。在步骤212中生成新“合并”图像,其可以与原始新图像的视图相邻地显示在显示器124上。在贯穿手术的各个时间,在步骤216中可以获得新基线图像,其被用于在步骤204中生成新基线图像集。
步骤210设想将当前新图像与基线图像集中的图像进行比较。因为该步骤在外科手术期间发生,所以时间和准确度至关重要。优选地,该步骤可以在不到一秒的时间内获得图像配准,使得在通过C臂拍摄图像时与在装置126上显示合并图像时之间没有有意义的延迟。可以采用各种算法,这些算法可以取决于各种因素,诸如基线图像集中的图像数量,执行算法计算的计算机处理器或图形处理器的大小和速度,分配给执行计算的时间,以及被比较的图像的大小(例如,128乘128像素、1024乘1024像素等)。在一个方法中,贯穿4D空间以网格图案在上述预定位置处的像素之间进行比较。在另一种启发式方法中,像素比较可以集中在这样的图像区域中,即,这些区域被认为提供了相关匹配的更大似然。这些区域可以基于来自网格或PCA搜索(下面加以定义)的知识、来自跟踪系统(诸如光学手术导航装置)的数据、或者来自DICOM文件或等同物的位置数据而进行“预籽化(pre-seeded)”。另选地,用户可以通过在基线图像上标记被认为与手术相关的解剖特征来指定图像的一个或更多个区域以用于比较。利用该输入,可以为区域中的每个像素指配0与1之间的相关性得分,其在将新图像与基线图像进行比较时缩放像素对图像相似性函数的贡献。可以校准相关性得分来标识要关注的区域或要被忽略的区域。
在另一方法中,执行主成分分析(PCA),与利用全分辨率网格方法准许的相比,这可以允许在所分配时间量内与更大数量的更大图像比较。在该PCA方法中,进行有关图像集的每个像素如何彼此共同变化的确定。可以仅使用总解集的一小部分(例如,随机选择基线图像集的10%)来生成协方差矩阵。来自基线图像集的每个图像被转换成列向量。在一个示例中,70乘40像素图像变为2800乘1向量。将这些列向量归一化成平均值0和方差1并组合成更大的矩阵。根据该较大矩阵确定协方差矩阵,并选择最大特征向量。对于该特定示例,已经发现30个PCA向量可以解释各个图像的大约80%的方差。因此,每个2800乘1图像向量可以乘以2800乘30PCA向量以产生1乘30向量。对新图像应用相同步骤--将新图像转换成2800乘1图像向量,并且与2800乘30PCA向量相乘产生对应于新图像的1乘30向量。将解集(基线图像)向量和新图像向量归一化,并计算新图像向量与解空间中的每个向量的点积。产生最大点积(即,最接近1)的解空间基线图像向量被确定为与新图像最接近的图像。应当明白,可以利用不同图像尺寸和/或用于分析的不同主要组件来改变本示例。还应明白,可以实现例如可以利用特征向量、奇异值确定、均方误差、平均绝对误差、以及边缘检测的其它已知技术。进一步预期可以将各种图像识别方法应用于图像的选定区域,或者可以应用各种统计措施以找到落入合适置信度阈值内的匹配。可以指配置信度或相关值,其量化新图像与所选择基线图像之间的相关度,或者基线图像集中的所选基线图像,并且可以显示该置信度值以供外科医生再检查。外科医生可以决定置信度值对于特定显示器是否可接受以及是否应当取得另一图像。
在图像引导外科手术中,工具、植入物以及器械将不可避免地出现在图像域中。这些对象通常是不透射线的,从而阻挡看到相关患者解剖结构。因此,在步骤210中获得的新图像将包括工具T的伪像,其将不与任何基线图像集相关联。因此,图像中工具的存在确保了上述比较技术不会在新图像和基线图像集中的任何基线图像之间产生高度配准。不过,如果上述每个手术的最终结果是寻求最高相关度(其是统计相关的或者其超过某个阈值),那么图像配准可以利用整个新图像、工具伪像等等来进行。
另选地,可以修改图像配准步骤以说明新图像上的工具伪像。在一种方法中,可以评估新图像以确定被工具“阻挡”的图像像素的数量。该评估可能涉及将针对每个像素的灰度值与一阈值进行比较并且排除落在该阈值之外的像素。例如,如果像素灰度值从0(完全阻挡)变为10(完全透明),那么可以应用阈值3以从评估中消除某些像素。另外,当位置数据可用于各种跟踪工具时,算法上可以在数学上避免被阻挡的区域。
在另一种方法中,图像识别或配准步骤210可以包括测量LD图像与基线图像的变换版本(即,已经被变换以说明C臂的移动的基线图像,如下面相对于图11描述的)或患者的变换版本的相似性的步骤。在图像引导外科手术中,C臂系统取得相同解剖结构的多个图像。在该系列图像的过程中,即使解剖特征可能保持相对稳定,系统也可以以小增量移动,并且可以在视野中添加或去除手术工具。下面描述的方法通过利用一个图像中存在的解剖特征来填充另一个稍后图像中的缺失细节,利用解剖特征中的这种一致性的优点。该方法还允许将高质量的全剂量图像转移至后续低剂量图像。
在本方法中,采用图像的标量函数形式的相似性函数被用于确定当前LD图像与基线图像之间的配准。为了确定该配准,首先必需确定图像之间发生的增量运动。这个动作可以用对应于四个自由度(缩放、旋转以及垂直平移和水平平移)的四个数字来描述。针对要比较的给定图像对,获知这四个数字允许操纵其中一个图像,使得相同解剖特征出现在两个图像之间的相同位置。标量函数是该配准的度量,并且可以利用相关性系数、点积或均方误差来获取。举例来说,点积标量函数对应于两个图像中每个像素对处的强度值的乘积之和。例如,将针对位于LD和基线图像中的每一个中的1234、1234处的像素的强度值相乘。针对每个其它像素位置进行类似计算,并且为标量函数添加所有那些相乘值。可以想到,当两个图像精确配准时,该点积将具有最大可能幅值。换句话说,当找到最佳组合时,对应点积通常高于其它点积,其可以被报告为Z得分(即,高于平均值的标准差的数量)。大于7.5的Z得分表示配准不是被偶然发现的99.9999999%的确定性。应当记住,利用该点积寻求的配准处于患者解剖结构的基线图像与该同一解剖结构的实时低剂量图像之间(该实时低剂量图像是在该视野之后的稍晚时间拍摄的),并且成像设备可能具有引入该视野的移动或非解剖对象。
该方法特别适合利用诸如GPU的并行计算架构来执行,该GPU包括能够并行执行相同计算的多个处理器。因此,GPU的每个处理器可以被用于计算LD图像和基线图像的一个变换版本的相似性函数。以这种方式,可以将基线图像的多个变换版本同时与LD图像进行比较。在取得基线时,可以预先生成经变换的基线图像,然后将其存储在GPU存储器中。另选地,可以在比较期间通过利用纹理提取从经变换坐标读取来存储并实时(on the fly)转换单个基线图像。在GPU的处理器的数量大大超过要考虑的转换数量的情况下,基线图像和LD图像可以分成不同区段,并且针对每个区段的相似性函数可以在不同处理器上计算,然后加以合并。
为了进一步加速确定最佳转换以对准两个图像,可以首先利用包含较少像素的下采样图像来计算相似性函数。可以通过将相邻像素组在一起求平均来预先执行该下采样。针对在宽范围的可能运动内的许多变换的相似性函数可以首先针对下采样图像来计算。一旦确定了来自该集合的最佳变换,就可以将该变换用作针对应用于具有更多像素的图像的可能变换的更精细网格的中心。以这种方式,使用多个步骤以高精度确定最佳变换,同时在短时间量内考虑宽泛范围的可能变换。
为了减少由不同图像中的总强度水平的差异而造成的针对相似性函数的偏差,并且优先对准图像中的用户关注的解剖特征,在计算相似性函数之前可以过滤图像。这种过滤器将理想地抑制与低剂量图像相关联的非常高空间频率噪声,同时还抑制与缺乏重要解剖细节的大平坦区域相关联的低空间频率信息。这种图像过滤例如可以利用卷积、采用傅立叶域的乘法或Butterworth过滤器来完成。因此预期在生成相似性函数之前将相应地过滤LD图像和基线图像两者。
如前所述,图像中可能存在非解剖特征(诸如手术工具),在该情况下,对相似性函数计算处理的修改可能是必要的,以确保仅使用解剖特征来确定LD图像与基线图像之间的对准。可以生成遮罩图像,其标识像素是否是解剖特征的一部分。在一个方面,可以向解剖像素指配值1,而向非解剖像素指配值0。值的这种指配允许在如上所述计算相似性函数之前将基线图像和LD图像两者乘以对应遮罩图像。换句话说,遮罩图像可以消除非解剖像素以避免对该相似函数计算的任何影响。
为了确定像素是否是解剖学的,可以在每个像素周围的邻域中计算多种函数。邻域的这些函数可以包括:标准差、梯度的幅值、和/或原始灰度图像中和经过滤图像中的像素的对应值。像素周围的“邻域”包括预定数量的相邻像素,诸如5乘5或3乘3网格。另外,这些函数可以例如通过找到标准差的邻域的标准差,或者通过计算标准差的二次函数和梯度的幅值来组合。邻域的合适函数的一个示例是使用边缘检测技术来区分骨骼与金属器械。金属呈现比骨骼更“锐利”的边缘,并且这种差异可以利用“边缘”像素的邻域的标准差或梯度计算来确定。因此,邻域函数可以基于该边缘检测方法确定像素是解剖的还是非解剖的,并且在恰当时向该像素指配值1或0。
一旦针对该特定像素计算了一组值,就可以将这些值与根据对先前取得图像的测量而确定的阈值进行比较,并且可以基于被超过的阈值的数量向该像素指配二进制值。另选地,可以将0与1之间的分数值指配给像素,反映关于作为解剖特征或非解剖特征的一部分的像素的身份(identity)的确定程度。通过将图像中的一个像素处的计算指配给GPU上的一个处理器,可以利用该GPU来加速这些步骤,从而使能同时计算针对多个像素的值。可以操纵遮罩(mask)以利用诸如腐蚀和膨胀的形态学图像操作的组合来填充和扩展对应于非解剖特征的区域。
在图4A至图4P的图像中例示了该方法步骤的示例。在图4A中,手术部位的图像包括解剖特征(患者的头骨)和非解剖特征(诸如,夹具)。图4A的图像被过滤以用于边缘增强从而生成图4B的经过滤图像。可以想到,该图像以常规方式由数千个像素表示,其中,根据过滤器的边缘增强属性修改每个像素的强度值。在该示例中,过滤器是Butterworth过滤器。然后,该经过滤图像经受八种不同技术,以生成对应于非解剖特征的遮罩。因此,将上述邻域函数(即,其标准差、梯度以及复合函数)应用于图4B的经过滤图像,以生成图4C至图4J的不同图像。将这些图像中的每一个存储为基线图像,以供与实况LD图像进行比较和配准。
因此,图4C至图4J的每个图像被用于生成遮罩。如上说明的,遮罩生成处理可以是通过将像素强度与阈值进行比较,或者通过查找表(其中,将对应于已知非解剖特征的强度值与该像素强度进行比较)。图4K至图4L示出了由针对邻域函数图像之一的阈值和查找表技术生成的遮罩。然后可以操纵该遮罩以填充和扩展对应于非解剖特征的区域,如图4M至图4N的图像中所示。然后将所得到的遮罩应用于图4B的经过滤图像,以生成图4O至图4P的将与该实况LD图像进行比较的“最终”基线图像。如上说明的,这些计算和像素评估中的每一个都可以在GPU的各个处理器中执行,使得可以在极短时间内生成所有这些图像。此外,可以变换这些经遮蔽基线图像中的每一个,以考虑术野或成像装置的移动,并且与实况LD图像进行比较,以找到生成与基线图像和LD图像之间的最佳对准相对应的最高Z得分的基线图像。然后按下面说明的方式使用该选定基线图像。
一旦完成图像配准,就可以以不同方式利用来自基线图像集的所选图像来显示新图像。在一种方法中,将这两个图像合并,如图5A、图5B所示,图5A中示出了原始新图像,其中,器械T显然可见并且阻挡了下面的解剖结构。图5B中示出了在步骤212中生成的部分合并图像(图3),其中,器械T仍然可见但大致减轻并且下面的解剖结构可见。可以通过以常规方式组合图像的数字表示来合并这两个图像,诸如通过为这两个图像添加像素数据或对像素数据求平均。在一个实施方式中,外科医生可以诸如通过用户界面125来标识所显示图像中的一个或更多个特定关注区域,并且可以将该合并操作配置成,将基线图像数据用于关注区域之外的显示,并且进行合并操作以供关注区域内的显示。用户界面125可以设置有“滑块”,其控制合并图像中显示的基线图像对新图像的量。在另一种方法中,外科医生可以在相关基线图像与新图像或合并图像之间交替,如图6A、图6B所示。图6A中的图像是来自基线图像集的被发现与新图像具有最高程度的相关性的图像。图6B的图像是所获得的新图像。外科医生可以在这些视图之间交替,以便得到在下解剖结构的更清楚视图以及具有器械T的当前视野的视图,其实际上通过交替图像而以数字方式将器械从视野中去除,从而澄清其相对于被阻挡的解剖结构的位置。
在另一种方法中,可以在基线图像与新图像之间执行对数减法以标识这两个图像之间的差异。所得到的差异图像(其可能包含外科医生关注的工具或注射造影剂)可以分离显示,颜色重叠或添加至基线图像、新图像或合并图像,以使关注特征显得更加明显。这可能需要在减法之前缩放图像强度值以说明C臂暴露设置的变化。诸如腐蚀和膨胀之类的数字图像处理操作可以被用于去除差异图像中的对应于图像噪声而非物理对象的特征。该方法可以被用于增强图像差异(如所描述的),或者从合并图像中去除差异图像。换句话说,该差异图像可以被用作用于排除或包括基线图像、新图像或合并图像中的差异图像的工具。
如上所述,本公开的图像增强系统可以被用于最小化不透射线器械并允许可视化器械下方的解剖结构。另选地,本系统可操作以增强图像或图像集合中的所选器械。具体来说,可以在图像中选择性地增强被用于标识非解剖特征的位置的上述遮罩。也可以交替地操纵同一数据以增强解剖特征和所选器械。该特征可以被用于允许外科医生确认可视化景观看起来如预期的,以帮助标识图像中可能畸变,并且协助图像引导器械手术。因为骨螺钉是不透射线的,所以其可以在非常低剂量的C臂图像下容易地被可视化。因此,低剂量新图像可以被用于在与高剂量基线解剖图像合并时标识器械的位置。可以随着骨螺钉前进到骨骼中来取得多个非常低剂量图像,以验证骨螺钉的正确定位。因为器械(诸如骨螺钉)的几何形状已知(或者可以诸如根据图像引导、2D投影或两者来获得或导出),所以被用于表示C臂图像中的器械的像素数据可以利用映射到器械的边缘增强图像上的CAD模型来替换。
如上所示,本发明还设想了一种外科手术,其中,成像装置或C臂103被移动。因此,本发明设想利用商业上可获的跟踪装置或者来自成像装置的DICOM信息跟踪C臂的位置,而不是如传统手术导航技术那样跟踪手术器械和植入物的位置。跟踪C臂需要一定程度的准确度,其远低于跟踪器械和植入物所需的准确度。在该实施方式中,图像处理装置122从跟踪装置130或加速度计接收跟踪信息。本发明的该方面的目的是,确保外科医生看到与实际手术部位一致的图像,而不管C臂相对于患者的取向如何。
跟踪C臂的位置可以解释“漂移”,其是物理空间和成像(或虚拟)空间的逐渐错位。这种“漂移”因细小患者移动、无意中接触桌子或成像装置甚至重力而可能会发生。这种错位通常在视觉上难以察觉,但是可以在外科医生看到的图像中产生明显的移位。当正在执行外科导航手术(并且医生正依赖于从该装置获得的信息)时或者当需要对准新图像与基线图像以改善图像清晰度时,这些移位可能是有问题的。图像处理的使用消除了基线图像和新图像的不可避免的错位。图像处理装置122还可以并入校准模式,其中将解剖结构的当前图像与预测图像进行比较。图像的预测移动与实际移动之间的差异可以根据“质心”或COM(下面描述的)以及漂移的不准确知识来解释。一旦获得一些图像并准确地确立COM,系统的重新校准可以利用所拍摄的每个连续图像来自动进行,从而消除漂移的影响。
图像处理装置122可以在“跟踪模式”下操作,其中监测C臂的移动并且相应地移动当前显示的图像。当前显示的图像可能是最新基线图像、新LD图像、或者如上所述生成的合并图像。该图像保留在显示器123、124中的一个上,直到成像装置100拍摄新照片为止。利用由跟踪装置130取得的位置数据,在显示器上移位该图像以匹配C臂的移动。可以在显示器上显示跟踪圆240,如图7A、图7B所描绘的。跟踪圆标识针对该图像的“界内”位置。当跟踪圆呈现为红色时,利用当前C臂位置获得的图像相对于基线图像位置为“界外”,如图7A所示。随着放射技术人员移动C臂,显示器上的代表图像也随之移动。当图像移动到“界内”时,如图7B所示,跟踪圆240变为绿色,使得技术人员具有C臂现在处于用于获得新图像的适当位置的直接指示。技术人员可以使用跟踪圆来指导C臂在外科手术期间的移动。跟踪圆圈还可以被用于帮助技术人员准备基线拼接图像。因此,未正确对准以拼接到另一图像的图像位置(如图8A所示)将具有红色跟踪圆240,而适当对准的图像位置(如图8B所示)将具有绿色跟踪圆。然后,技术人员可以取得图像以形成基线拼接图像的一部分。
跟踪圆240可以包括该圆的圆周上的标记,该标记指示C臂在基线图像中的滚动位置。第二个标记(诸如箭头)也可以显示在跟踪圆的圆周上,其中第二标记随着C臂的滚动移动而围绕跟踪圆旋转。第一标记和第二标记的对准对应于新图像与基线图像之间的滚动自由度的对准。
在许多情况下,按一角度拍摄C臂图像以避开某些解剖结构或提供目标的最佳图像。在这些情况中,倾斜或俯仰C臂以找到针对基线图像的最佳取向。因此,希望按六个自由度(6DOF)将新图像与基线图像进行匹配,即,X平移和Y平移、对应于缩放的Z平移(即,离目标更近或更远)、围绕Z轴滚动或旋转、以及俯仰和偏转(分别围绕X和Y轴旋转)。沿X、Y、Z以及滚动方向对准取景器可以用跟踪圆的颜色来指示,如上所述。可以想到,利用呈现在显示器上的取景器图像,可以容易地可视化四个移动自由度,即,X平移和Y平移,缩放或Z平移以及围绕Z轴滚动。然而,在图像显示器上直接可视化沿其它两个自由度(俯仰和偏转)的移动更加困难。使跟踪圆240沿俯仰和偏转对准需要C臂和与C臂相关联的取景器的少许更复杂移动。为了方便这种移动和对准,可以在显示器上示出对应于俯仰移动的垂直滑动条和对应于偏转移动的水平滑动条。当沿着两个滑动条的指示符居中时,新图像被适当定位。当新图像沿俯仰和偏转自由度相对于基线图像未对准时,滑动条可以是红色,而在适当居中时可以转变为绿色。一旦所有自由度都与原始基线图像的X、Y、Z、滚动、俯仰以及偏转取向对准,技术人员就可以拍摄新图像,并且可以确保外科医生可以在新图像与基线图像之间进行准确且有意义的比较。
从生成基线图像时获得的6DOF位置信息知晓基线图像的空间位置。该6DOF位置信息包括来自跟踪装置130的数据以及从C臂本身获得的任何角取向信息。当希望在与基线图像相同的空间位置处生成新图像时,随着C臂的移动,正在生成新空间位置信息。如上所述,通过比较6DOF位置数据,可以容易地确定C臂是否与基线图像位置对准。另外,该比较可以被用于向放射技术人员提供关于需要如何移动C臂来获得适当对准的指示。换句话说,如果基线位置数据与当前位置数据的比较显示C臂未对准到左侧,则可以提供指示,指导技术人员将C臂向右移动。该指示可以采用围绕跟踪圆240行进的方向箭头242的形式,如图8C的屏幕截图所描绘的。移动方向指示符242可以变换成对应于C臂相对于技术人员的物理位置的坐标系。换句话说,移动指示符242在图8C中的图像上垂直向上指向,以指示技术人员需要向上移动C臂,从而将当前图像与基线图像对准。作为跟踪圆上的方向箭头242的另选例,可以在与图像相邻的垂直滑动条上指示移动方向,例如图8C中的条244、245。滑动条可以向技术人员提供滑动条与每个滑动条上的中心位置相对偏移的直接可视指示。在图8C的示例中,垂直滑动条244位于中心位置下方,因此技术人员立即知晓将C臂垂直向上移动。
在另一实施方式中,放射技术人员可利用两个取景器图像来定向C臂以按与基线图像相同的取向来取得新图像。在该实施方式中,两个取景器图像是正交图像,诸如前-后(A/P)图像(从前到后穿过身体)和横向图像(穿过身体肩部到肩部),如图8D的屏幕截图所描绘的。技术人员设法将两个取景器图像对准对应A/P图像和横向基线图像。随着技术人员移动C臂,同时跟踪两个图像,类似于上述单个取景器。每个取景器都结合跟踪圆,其按上述方式响应,即,红色表示界外,而绿色表示界内。技术人员随着C臂被操纵而在A/P取景器与横向取景器之间切换。一旦跟踪圆处于预定正确对准范围内,显示器就可以从这两个取景器布置切换成上述单取景器布置,以帮助技术人员微调C臂的位置。
可以想到,这两个视图导航图像可以从基线图像和当前位置处的单个镜头或C臂图像(诸如单个A/P图像)导出。在该实施方式中,侧面图像是A/P图像的投影,好像C臂实际上旋转至用于获得该横向图像的位置。随着移动用于A/P图像的取景器以将视图定位在期望位置,第二取景器图像显示该图像在正交平面中的投影(即,侧视图)。因此,医生和放射技术人员可以基于原始A/P视图的投影将C臂操纵至用于侧视图的期望位置。一旦C臂与期望位置对准,就可以实际上定位C臂以获得正交(即,侧面)图像。
在上面的论述中,本文所公开的成像系统的跟踪功能被用于使C臂返回至获得原始基线图像的空间位置。技术人员可以在同一位置取得新图像,使得外科医生可以将当前图像与基线图像进行比较。另选地,放射技术人员可以使用该跟踪功能来取得处于不同取向或者处于与基线图像的位置的偏移位置处的新图像。例如,如果基线图像是L3椎骨的A/P视图,并且期望获得该椎骨的特定特征的图像,则可以使用该跟踪特征来快速引导技术人员到椎骨,然后在所关注特征上进行期望对准。因此,本发明的跟踪特征允许技术人员找到用于新图像的正确位置,而不必取得中间图像来验证C臂相对于期望视图的位置。
当拼接多个图像(诸如形成患者脊柱的完整图像)时,也可以使用该图像跟踪特征。如上所示,跟踪圆240描绘了C臂相对于解剖结构的位置,好像在该位置和方向拍摄了图像。基线图像(或一些选定先前图像)也呈现在显示器上,跟踪圆偏离基线图像,指示C臂相对于拍摄所显示图像的位置的偏移。因此,可以调整跟踪圆相对于所显示基线图像的位置,以提供基线图像与在跟踪圆的位置处拍摄的新图像之间的交叠程度。一旦C臂已经移动成期望交叠,就可以拍摄新图像。然后,随着将两个图像拼接在一起,该新图像与基线图像一起显示在屏幕上。该跟踪圆也在显示器上可见,并且可以被用于引导C臂的移动,以用于将另一图像拼接至患者的解剖结构的另外两个图像。可以继续该序列,直到所有期望解剖结构都已经被成像并拼接在一起为止。
本发明设想了一种增强外科医生与放射技术人员之间的通信的特征。在手术过程期间,外科医生可能请求特定位置或取向的图像。一个示例是在脊柱手术中被称为“Ferguson视图”的示例,其中A/P取向的C臂倾斜以直接在椎骨端板上对准,其中端板取向与C臂的射束轴“平齐”或基本上平行。获得Ferguson视图需要旋转C臂或患者手术台,同时获得脊柱的多个A/P视图,使用现有技术很麻烦且不准确,需要执行多个荧光透视图像来找到与端板最佳对准的图像。本发明允许外科医生将网格叠加到单个图像或拼接图像上,并提供针对解剖特征的标签,然后技术人员可以使用该标签来定向C臂。因此,如图9A中所示,图像处理装置122被配置成允许外科医生将网格245放置在叠加在横向图像上的跟踪圆240内。外科医生还可以定位标识解剖结构(在这种情况下是脊椎骨)的标签250。在该特定示例中,目标是将L2-L3盘空间与中心网格线246对准。为了协助技术人员,将轨迹箭头255叠加在图像上,以指示在当前位置利用C臂取得的图像的轨迹。随着C臂移动,纯AP的取向改变,图像处理装置评估从跟踪装置230获得的C臂位置数据,以确定针对轨迹箭头255的新取向。因此,轨迹箭头与C臂一起移动,使得在其与中心网格线246对准时(如图9B所示),技术人员可以拍摄图像,获知C臂被适当对准,以获得沿L3端板的Ferguson视图。因此,监测侧视图直到其沿着中心网格线旋转并居中,允许放射技术人员在不猜测和拍摄许多不正确图像的情况下找到A/P Ferguson角。
图像处理装置还可以被配置成,在相应显示器123和124上同时示出侧视图和A/P视图,如图10中描绘的。任一个或两个视图都可以结合网格、标签以及轨迹箭头。该相同的侧视图可以呈现在用于成像系统100的控制面板110上,以供技术人员观察。随着C臂移动以使轨迹箭头与中心网格线对准时(如上所述),横向图像和A/P图像都相应地移动,使得外科医生具有新图像看上去像什么的直观看法。再次,一旦技术人员适当定向C臂,如轨迹箭头与中心网格线的对准所示,就取得新A/P图像。如图10所示,视图可以包括多个轨迹箭头,每个都与一特定盘空间对准。例如,最上面的轨迹箭头与L1-L2盘空间对准,而最下面的箭头与L5-S1盘空间对准。在多级手术中,外科医生可能需要不同级别的Ferguson视图,这可以通过请求技术人员将C臂与特定轨迹箭头对准来容易地获得。图10中所示的多个轨迹箭头可以应用于脊柱侧凸的拼接图像中并且用于确定Cobb角。在将校正应用于脊柱时,可以实时或交互地确定Cobb角的变化。经校正的脊柱的当前拼接图像可以叠加在基线图像上或者在当前图像与基线图像之间切换,以提供校正效果的直接可视指示。
在另一特征中,不透射线不对称形状或字形(glyph)可以放置在C臂探测器上的已知位置处。这创建了将C臂的坐标系链接至C臂的图像坐标系的任意取向的能力。由于可以修改C臂的显示以生成具有任何旋转或镜像的图像,因而检测这种形状从根本上简化了图像比较和图像拼接的处理。因此,如图11所示,基线图像B包括图像的9点钟位置处的标记或字形“K”。在一另选实施方式中,该字形可以采用嵌入在安装至C臂套环的透放射线(radio-transparent)组件中的不透射线珠阵列的形式,如采用直角三角形图案。因为字形相对于C臂的物理取向和位置是固定的,所以获知2D图像中的字形的位置和取向提供了图像相对于物理世界的取向的自动指示。获得新图像N,其中字形已由医生或技师旋转远离默认方向。由于该角偏移,因而将该新图像与基线图像集进行比较不太可能在图像之间产生任何配准。在一个实施方式中,图像处理装置从基线取向检测C臂的实际旋转,而在另一实施方式中,图像处理装置使用图像识别软件在新图像中定位“K”字形,并且确定相对于默认位置的角偏移。该角偏移被用于改变基线图像集的旋转和/或镜像。在图像配准步骤210中选择的基线图像保持在其变换后的取向上以与最新取得的图像合并。这种变换可以包括旋转和镜像,以消除呈现在C臂上的显示效果。根据图像中字形的取向可以容易地验证旋转和镜像。设想该字形(无论是“K”还是不透射线珠阵列)为医生提供了控制显示图像以进行导航的方式,而与图像呈现在技术人员所使用的屏幕上的方式无关。换句话说,本文所公开的成像和导航系统允许医生按该医生想要在执行该手术时查看的方式来旋转、镜像或以其它方式操纵所显示图像。该字形提供了已经相对于C臂图像操纵医生所使用的图像的方式的清楚指示。一旦设定了显示图像的医生期望取向,无论C臂已经如何移动,所得到的图像都保持相同的取向。
在另一方面,已知随着C臂辐射源104移动接近台子,由接收器105采集的图像的尺寸变大;将接收器移动接近台子导致图像尺寸减小。虽然可以很容易地确定图像随着朝向和远离身体的移动而缩放的量,但如果沿着台子平移C臂,那么图像将移位,这种变化的幅值取决于患者的“质心”(COM)与辐射源的接近程度。尽管成像的解剖结构是具有高准确度的3D结构,但在数学上,可以将该解剖结构表示为该结构的、放置在COM处的3D解剖结构的2D图像。然后,例如,当COM靠近辐射源时,小移动会导致所得图像发生很大移位。但是,直到确定COM,屏幕上的对象移位的计算量将与其实际移动成比例但不等于其实际移动。该差异被用于计算COM的实际位置。COM基于那些相差的量进行调整,当图像移位太多时使其远离辐射源移动,如果图像移位太少则相反。最初假设COM在台子中心,跟踪装置的参照弧附接至所述台子。利用在成像系统的初始设置期间拍摄的初始两个或三个图像,相当准确地确定COM的真实位置,并且利用拍摄的每个新图像进行重新确认/调整。一旦在全局空间确定了COM,可以计算C臂相对于COM的移动并应用其以便相应地平移基线图像集以用于图像配准。
图像处理装置122还可以被配置成,允许外科医生将其它被跟踪元件引入图像中,以在手术期间帮助引导外科医生。闭环反馈方法允许外科医生确认所感知的该被跟踪元件的位置和该元件的所拍摄图像相对应。具体来说,比较实况C臂图像和来自外科手术导航系统的所确定位置。按即使被不透射线对象所阻挡,通过图像识别也可以使用基线图像的知识跟踪患者的解剖结构的相同方式,在比较所拍摄图像与它们的被跟踪位置时,可以使用不透射线对象的知识用于确认它们的跟踪。当跟踪器械/植入物和C臂时,解剖结构相对于成像源的位置和该设备相对于成像源的位置是已知的。因此,该信息可以被用于快速且交互地确定该设备或硬件相对于解剖结构的位置。举例来说,该特征例如可以具有在血管手术中跟随导管路径的特殊应用性。在典型的血管手术中,使用电影(cine)或连续荧光透视来跟踪导管沿血管的行进。本发明允许利用对解剖结构和实际导管的实况荧光透视截图来相互拼接(intersplicing)解剖结构的先前生成图像与导管的虚拟描绘。因此,不是对于典型的电影过程来说每秒拍摄15个荧光透视截图,而是本发明允许放射技术人员每秒仅拍摄一个截图,以在导管沿着血管行进时有效且准确地跟踪该导管。先前生成的图像被拼接以说明未拍摄的荧光透视截图。在拍摄时可以针对实况截图验证该虚拟表示,并在必要时重新校准。
这种相同的能力可以被用于跟踪图像引导或机器人手术中的器械。在利用常规跟踪技术(诸如EM跟踪)跟踪器械时,该器械在空间中的位置是已知的。本文所述成像系统提供患者的成像的解剖结构在空间中的位置,因此,本系统知晓器械与该解剖结构的相对位置。然而,众所周知,EM信号的失真发生在外科手术和C臂环境中,并且这种失真会使器械在图像中的位置失真。当该器械在空间中的位置已知时,通过跟踪数据,知晓C臂图像的2D平面(如通过本系统所获得的),然后可以容易地确定器械在该2D平面上的投影。然后可以在最终图像中校正器械的成像位置以消除失真的影响。换句话说,如果从跟踪数据和3D模型知晓器械的定位和位置,那么可以校正器械在2D图像上的定位和位置。
在某些手术中,可以将血管解剖结构的位置固定至较大特征,诸如附近的骨骼。这可以利用来自先前CT血管造影照片(CTA)的DRR或者在手术过程中所拍摄的实际血管造影照片来完成。要么,可以将方法用作用于将血管造影照片链接回骨骼解剖结构的手段,反之亦然。为了更详细地描述,可以使用相同CTA来生成不同DRR,诸如仅加亮骨骼解剖结构的DRR以及包括血管解剖结构连同骨骼的匹配组中的另一DRR。然后可以将患者的骨骼解剖结构的基线C臂图像与骨骼DRR进行比较以确定最佳匹配。代替利用仅骨骼DRR来显示该结果,包括血管解剖结构的匹配DRR可以被用于与新图像合并。在该方法中,骨骼帮助将导管的放射线照相位置放置到其在血管解剖结构内的位置。因为不需要连续对血管本身进行成像,所以随着这种结构的图片可以叠加到所获得的仅骨骼图像上,与其中必须有对比染剂以不断看到血管的以前手术相比,可以限制使用对比染剂。
以下是利用上述图像处理装置的特征的特定手术的示例。这些只是关于可以如何利用基线图像类型、显示选项、以及辐射剂量的不同组合来操纵该软件的几个例子,而不是详尽列表。
脉冲新图像/交替/FD荧光透视或术前X射线的基线
拍摄脉冲图像并与先前获得的基线图像集进行比较,所述基线图像集包含在外科手术之前拍摄的更高分辨率的非脉冲图像。当前图像与基线解决方案集之一之间的配准提供反映当前位置和解剖结构视图的基线图像。新图像与已配准基线图像交替显示或叠加,示出当前信息叠加并与不太模糊或更清晰的图像交替。
脉冲新图像/交替/从DRR导出的基线
拍摄脉冲图像并与先前获得的基线图像解决方案集进行比较,该解决方案集包含从CT扫描获得的更高分辨率DRR。DRR图像可以被限制成仅示出骨骼解剖结构,而不是经常“遮蔽(cloud)”在OR中拍摄的影片的其它模糊信息(例如--bovie线,EKG引线等)、以及使骨质清晰度模糊的对象(例如-肠道气体、器官等)。正如上述示例,在显示器123、124上将与先前DRR图像之一配准的新图像和这些图像交替或重叠。
脉冲新图像/合并而非交替
可以应用上述所有技术,并且代替交替新图像和已配准基线图像,将先前图像和当前图像合并。通过执行加权平均或类似合并技术,可以获得单个图像,其示出与解剖结构的更高分辨率图片合并的参照解剖结构的当前信息(例如,器械、植入物、导管等的放置)两者。在一个示例中,可以提供合并这两个图像的多个视图,范围从100%脉冲图像到100%DRR图像。用户界面125上的滑动按钮允许外科医生根据需要调整该合并范围。
新图像是更大基线图像集的小区段
在任何给定时间拍摄的成像都包含有限信息,全身部位的一部分。例如,准直降低了整个组织辐射暴露并降低了朝着医生的辐射散射,但代价是限制了所获得图像的视野。在较大图像的背景中示出实际最后投影图像(例如,--先前、术前或术中获得的,或者从CT导出的)(在校正位置合并或交替)可以补充关于该较小图像区域的信息,以允许并入对较大身体结构的参照。如上所述应用相同的图像配准技术,除了将配准应用于基线图像(拼接或未拼接)内的与新图像中的视图区域相对应的较小视野以外。
与上面相同,位于连接区或阻挡区
并不少见,尤其是在具有不同总体密度的区域(例如,胸部对邻近腹部,头/颈/颈椎对上胸部),可以被清晰地可视化的C臂图像的区域仅是所获得的实际图像的一部分。当限制将窄视图放置在身体的较大背景中的能力时或者当需要评估的区域位于图像的模糊部分中时,这对于医生来说可能是令人沮丧的。通过拼接多个图像(每个都按局部化理想环境拍摄),可以获得更大的图像。而且,可以将当前图像添加到更大背景中(如上所述)以填充由其相对位置遮蔽的图像部分。
除去对隐藏解剖结构的阻挡或者减轻其局部影响
如上所述,图像处理装置执行当前新图像与基线图像集之间的图像配准步骤,其实际上限制了噪声所带来的错误信息,无论是辐射散射的形式还是小阻挡对象(例如,线等)甚或更大对象(例如,工具、器械等)。在许多情况下,解剖图像的被工具或器械阻挡的一部分对于正在进行的手术来说至关重要。通过从图像中消除阻挡对象,手术变得更安全并且更有效,而且使医生能够以改进的知识继续。使用在添加噪声之前拍摄的图像(例如,旧电影、基线单个FD图像、拼接在一起的在手术前拍摄的荧光透视截图等)或理想化的图像(例如,从CT数据生成的DRR),显示先前“干净”图像(与当前图像合并或者交替)将使那些对象从图像中消失或变成阴影而不是密集对象。如果这些是被跟踪对象,那么在进行数学比较时,可以阻挡区域进一步被减弱或者可以从其消除信息,从而进一步提高比较的速度和准确度。
如本文所述配置的图像处理装置提供三个一般特征:(1)减少针对可接受实况图像所需的辐射暴露量,(2)向外科医生提供可以促进外科手术的图像,以及(3)改善放射技术人员与外科医生之间的通信。关于减少辐射暴露的方面,本发明准许在整个外科手术中拍摄低剂量图像并填充由当前图像中的“噪声”产生的间隙,以生成具有全剂量图像的细节的当前视场的合成或合并图像。在实践中,与利用呈现在所有常见的、商业可获的C臂上的未修改特征进行标准FD成像相比,这允许在辐射暴露降低一个数量级的情况下生成患者的解剖结构的高度可用的高质量图像。本文所述的用于图像配准的技术可以在图形处理单元中实现,并且可以在一秒左右的时间内发生以实现真正的交互;在需要时,诸如在CINE模式下,图像配准可以每秒多次发生。用户界面允许外科医生确定取得配准图像所需的置信水平,并且为外科医生提供关于显示器性质的选项,范围从并排视图到淡入/淡出合并视图。
关于向外科医生提供便于外科手术的图像的特征,可以使用几种数字成像技术来改善用户的体验。一个例子是图像跟踪特征,其可以被用于将显示给外科医生的图像保持在基本上“固定”的位置,而不管图像采集之间可能发生的任何位置变化。根据这个特征,基线图像可以在空间中固定,并且新图像可以调整成其而不是相反。当在手术中的一个步骤期间拍摄连续图像时,每个新图像可以相对于先前图像稳定化,使得特定关注对象(例如,解剖学或器械)在连续视图中保持固定。例如,当随着骨螺钉引入身体部位而拍摄连续图像时,该身体部位在显示屏上保持固定,使得可以直接观察该螺钉的实际进展。
在该特征的另一方面,包含阻挡对象的当前图像可以与没有任何阻挡对象的早期图像进行比较。在配准处理中,图像处理装置可以在新图像与基线图像之间生成合并图像,该合并图像从所显示图像减弱该对象的阻挡性质。用户界面还为医生提供了用于使阻挡对象淡入和淡出显示视图的能力。
在跟踪该对象本身的其它实施方式中,可以将阻挡对象的虚拟版本添加回所显示图像。图像处理装置可以从跟随阻挡对象的位置的跟踪装置获得位置数据,并使用该位置数据来确定所显示图像中的虚拟对象的正确定位和取向。可以将该虚拟对象应用于基线图像,以与新的当前图像进行比较,以用作检查步骤-如果新图像在给定公差内与所生成图像(工具和解剖结构两者)相匹配,则可以进行手术。如果该匹配很差,则可以停止手术(在自动外科手术的情况下)和/或可以进行重新校准。这允许闭环反馈特征促进医疗干预自动化的安全性。
对于某些手术(诸如假血管造影术)来说,将血管从基线图像投影到当前图像上可以允许医生注视工具(例如,微导管、支架(stent)等),因为其穿过脉管系统,同时使用更少的造影剂负荷。相邻的骨骼解剖结构通过图像配准过程用作血管的“锚”(骨骼基本上被跟踪),并且假设血管与该结构相邻。换句话说,当解剖结构在连续图像之间移动时,新图像被配准至基线图像集中的对应于“背景”解剖结构的新位置的不同基线图像。然后,可以将来自包含血管结构的不同但已经链接的基线图像的血管与缺乏对比度的所显示图像重叠或合并。若有必要或需要,可以采取间歇性图像进行确认。当与被跟踪导管组合时,可以将关于器械定位的工作知识包括在图像中。可以创建电影(在获得血管造影照片时常用的荧光透视截图的连续电影循环),其中所生成图像被相互拼接成电影图像,从而允许在执行血管造影或放置导管的同时获得更少的荧光透视图像。最终,一旦已经将图像链接至原始基线图像,这些中的任一个都可以被用于合并到当前图像中,从而产生用于监测植入物的移动、构造的形成、支架的放置等的手段。
在第三特征(改善通信)方面,本文所述的图像处理装置允许外科医生以可以帮助引导技术人员关于如何以及在何处拍摄新图片而对C臂进行定位的方式来注释图像。因此,图像处理装置122的用户界面125为外科医生提供媒介,以向所显示图像添加网格、标记解剖结构和/或标识用于对准成像装置的轨迹。随着技术人员移动成像装置或C臂,所显示图像也随之移动。该特征允许放射技术按希望取向将希望在屏幕中心成像的解剖结构居中,而不是每次将C臂带回现场以获得此图像时拍摄多张图像。该特征为C臂提供取景器,其目前缺乏的特征。技术人员可以激活C臂以拍摄新图像,视图被裁剪以满足外科医生的表达需求。
另外,例如,将C臂的移动链接至利用DICOM数据或手术导航主干拍摄的图像有助于在C臂移动时移动所显示图像以准备随后图像取得。“界内”和“界外”指示符可以向技术人员提供立即指示:C臂的当前移动是否会导致图像无法与任何基线图像相关或配准,或者无法与其它图像拼接在一起以形成复合视野。因此,图像处理装置提供图像显示,其允许外科医生和技术人员可视化C臂的所提出的定位和轨迹变化的影响。此外,图像处理装置例如可以帮助医生改变台子的位置或C臂的角度,使得解剖结构正确对准(诸如平行或垂直于手术台)。图像处理装置还可以利用来自两个或更多个不同机架角度/位置的两个或更多个C臂图像截图来确定X射线对象的精确中心的质心(COM),然后使用该COM信息来改善物理空间(以毫米为单位)与所显示成像空间(以像素为单位)的链接。
本文所公开的图像识别组件可以克服缺乏对下一待拍摄图像的定位知识,这提供了许多好处。大致知晓新图像相对于基线居中可以限制扫描成像空间的更大区域的需要,因此显著提高了图像识别软件的速度。因为存在图像识别的内部检查,所以可以容忍更大量辐射减少(和因此噪音)。在没有外科手术导航的情况下设计的系统中手动的多个特征(诸如基线图像创建、在多个基线图像集之间切换以及拼接)可以被自动化。这些特征在图像跟踪背景中同样有用。
如上所述,该系统和方法将先前获得的图像与实况图像相关联或同步,以确保将手术部位、解剖结构以及硬件的准确视图呈现给外科医生。在最佳情况下,先前获得的图像来自特定患者并且针对手术过程近实时获得。然而,在某些情况下,没有这样的先前图像可用。在这种情况下,可以从CT和DRR图像的数据库中提取“先前获得的图像”。根据患者的身高和身材,大多数患者的解剖结构相对均匀。从大图像数据库中,很可能可以获得患者的具有大致相似的解剖结构的一个或多个先前图像。所述一个或多个图像可以经由通过图像处理装置122实现的软件与当前成像装置定位和视图相关联,以确定先前图像是否足够接近当前患者的解剖结构,以可靠地用作要与实况图像相互拼接的“先前获得的图像”。
图10中的显示指示可以并入图像处理装置122、用户界面125以及显示装置126中的显示器类型和用户界面。例如,该显示装置可以包括两个显示器122、123,其具有围绕显示器周边的“无线电”按钮或图标。这些图标可以是触摸屏按钮以激活特定特征,诸如显示器中示出的“标签”、“网格”以及“轨迹”特征。激活触摸屏或无线电按钮可以访问不同画面或下拉菜单,外科医生可以使用其来进行特定活动。例如,激活“标签”按钮可以访问带有标签“L1”、“L2”等的下拉菜单、以及允许外科医生将标签放置在图像上的希望位置处的拖放特征。可以使用相同处理来放置图10中所示的网格和轨迹箭头。
上述相同系统和技术可以在将准直器用于减少患者的暴露场的情况下来实现。例如,如图12A所示,可以使用准直器来限制针对区域300的暴露场,该区域可能包含要由外科医生或医疗人员可视化的关键解剖结构。如根据图12A明白,准直器防止观察由准直器的板遮盖的区域301。利用上述系统和方法,在本系统提供的扩展视野310中,外科医生看不到准直区域300外部的区域315的先前图像。
可以对利用移动准直器获得的图像应用相同原理。如图13A、图14A、图15A以及图16A的顺序所描绘的,随着医疗人员瞄准解剖结构的特定部分,可见场逐渐向图中左侧移位。利用本文所述系统和方法,图13B、图14B、图15B以及图16B示出了医疗人员可用的图像,其中整个局部解剖结构是可见的。应当明白,只有准直区域(即,图12A中的区域300)是实时图像。如上所述,从先前图像获得准直区域外的图像。因此,患者仍然经受减少剂量的辐射,同时向医疗人员供相关解剖结构的完整视图。如上所述,当前图像可以通过本文所述的成像技术与基线或先前图像合并、可以交替甚或显示不被增强。
本公开设想了这样一种系统和方法,即,其中使会因准直器阻挡而丢失的信息在手术期间以交互方式可用于外科医生或医疗人员。此外,本文所述系统和方法可以被用于限制在非准直区域中施加的辐射。无论成像系统或准直器是保持固定还是正在移动,都可以应用这些技术。
在另一方面,本文所述系统和方法可以并入用于对准直器的状态进行控制的基于图像的方法中,以便在需要同一解剖区域的多个C臂图像的外科手术期间减少患者暴露于电离辐射。具体来说,准直器的孔径的边界根据所关注解剖特征在先前取得的图像中的定位来确定。对外科手术不重要的那些图像部分可以被准直器阻挡,但随后利用上面和在美国专利No.8526700中描述的系统和方法填充来自先前取得图像的对应信息。准直图像和先前图像可以以单个合并视图被显示在屏幕上,它们可以交替,或者准直图像可以叠加在先前图像上。为了正确对准准直图像与先前图像,可以采用与美国专利No.8526700中所描述的内容相似的基于图像的配准。
在一个方法中,可以通过用户在基线或先前获得的图像上绘制关注区域来手动确定所关注解剖特征。在另一方法中,标识图像中的关注对象,并且准直随着该对象移动通过图像而跟随其。当C臂系统的几何状态已知时,可以在系统相对于患者移动的同时跟踪检测器视野中的关注特征的移动,并且可以相应地调整准直器孔径。系统的几何状态可以利用多种方法来确定,包括光学跟踪、电磁跟踪、以及加速度计。
在本公开的另一方面,本文所述和在美国专利No.8526700中描述的系统和方法可以被采用来控制辐射剂量。X射线管由带有处于相对两端的阴极和阳极的真空管组成。当向阴极提供电流并跨该管施加电压时,一束电子从阴极行进至阳极并撞击金属靶。电子与靶中的金属原子的碰撞产生X射线,它们从管中发射并被用于成像。所发射辐射的强度由电流、电压以及电子束脉冲的持续时间确定。在大多数医学成像系统(诸如C臂)中,这些参数由自动暴露控制(AEC)系统控制。该系统使用短暂的初始脉冲来生成测试图像,其可以被用于随后优化该参数,以最大化图像清晰度同时最小化辐射剂量。
伴随现有AEC系统的一个问题是,它们没有考虑图像处理软件的如下能力:利用医学图像中的解剖特征的持久性,以便实现图像清晰度的进一步改善和辐射剂量的减少。本文所述这种技术利用软件和硬件元件来连续地接收由成像系统生成的图像,并通过将它们与在先前时间取得的图像组合来细化这些图像。软件元件还计算图像质量指标,并针对该指标来估计辐射暴露可以增加或减少多少,以使达到某个理想值。该值通过对在各种暴露设定下取得的医学图像库的医生评估研究来确定,并且例如可以在存储在可由软件元件访问的系统存储器中的查找表中提供。该软件将针对所发射辐射量的估计变化转换成针对要施加至X射线管的电压和电流的精确值。该硬件元件包括从运行图像处理软件的计算机到X射线管的控制器的接口,该控制器绕过AEC并设定电压和电流。
降低辐射的3D图像引导外科手术
根据另一宽泛方面,本发明包括这样一种系统和方法,即,其用于在不增加显著成本或重大复杂性的同时,利用常规2D C臂促进外科手术和其它干预,以与其它3D成像装置相比,在降低辐射的情况下,近实时地提供手术器械或植入物在患者解剖结构内的3D和多平面投影。将常规2D C臂与术前3D图像结合使用消除了使用光学或电磁跟踪技术和数学模型来将外科器械和植入物投影到2D或3D图像上的位置的需要。相反的是,本发明中的手术器械和植入物的位置通过对器械或植入物进行直接C臂成像并导致更准确放置而获得。根据一个或更多个优选实施方式,可以使用外科器械或植入物的实际2D C臂图像以及已知尺寸和几何形状的参照标记物500(优选地连同来自C臂和外科器械的角位置信息),将手术器械和植入物投影到配准至2D荧光透视图像的3D图像中。
通过使用上面通过示例描述的图像映射技术,可以将2D C臂图像映射到诸如CT扫描的术前3D图像上。参照图17中描绘的方法,在步骤400,在外科手术之前,将患者的解剖结构的适当3D图像数据集加载到该系统中。该图像数据集可以是术前CT扫描、术前MRI、或从术中成像仪(诸如BodyTom、O-臂、或3D C臂)取得的术中3D图像数据集。图18示出了来自3D术前图像数据集的示例性图像。将3D图像数据集上载至图像处理装置122并转换成一系列DRR,以接近可以取得的所有可能2D C臂图像,从而用作比较和匹配术中2D图像的基线。如上所述,将DRR图像存储在数据库中。然而,在不需要额外输入的情况下,在外科手术期间,处理器将2D C臂图像与DRR数据库匹配所需的滞后时间可能不可接受地耗时。如下更详细说明的,在本发明中公开的是减少DRR处理时间的方法。
下面移至外科手术计划步骤405,如果将术前CT扫描用作基线图像,则3D图像数据集还可以用作用于利用手动或自动计划软件来计划手术的基础(例如,参见图19,其显示手术计划画面以及由使用该计划工具所导出的用于放置椎弓根螺钉的计划的表示)。这种计划软件向外科医生提供对患者的解剖取向、恰当大小手术器械和植入物、以及针对植入物的正确轨迹的理解。根据一些实现,该系统提供了针对椎弓根螺钉的计划,由此,该系统在给定患者的解剖结构和测量的情况下,在手术计划中标识针对每个椎弓根螺钉的希望轨迹和直径,如图19B出于例示性目的所示。根据一些实现,该系统根据脊柱水平来标识希望量的所需校正,以达到希望脊柱平衡。
手术计划软件还可以被用于标识用于定位C臂的最佳角度,以提供用于术中映射到术前3D数据集的A/P图像和倾斜图像(步骤410)。如图20所示,在脊柱外科手术中,可以相对于重力方向测量每个椎体的上端板的颅侧角/尾侧角。在图20所示的示例中,L3的上端板与重力方向成5°角。一旦患者盖上消毒盖布,就可以标识针对关注椎弓根的建议起始点,并且利用C臂进行可视化,可以将所选择椎弓根准备器械引入建议起始点。根据一些实现,椎弓根准备器械可以从列表中选择,或者如果其具有已知几何形状,则其可以通过系统在C臂图像中加以自动识别。
通过使用C臂跟踪可以提高成像的准确度。在一些实施方式中,C臂角传感器可以是附接至C臂的2轴加速度计,以提供相对于重力方向的角位置反馈。在其它实施方式中,可以通过如上所述的红外传感器跟踪C臂的位置。C臂角传感器与处理单元通信,并且可以是有线或无线设计。使用C臂角传感器允许C臂在倾斜位置与A/P位置之间快速且准确地移动。移动和返回每个位置的重现性越高,图像处理装置限制要与C臂图像进行比较的DRR图像的群体的能力就越大。
为了最小化将2D C臂图像正确映射到术前3D图像上所需的处理时间,在2D C臂图像中存在已知尺寸的参照标记物500是有益的。在一些情况下,手术器械和植入物的尺寸被预加载到处理单元的数字存储器中。在一些实施方式中,已知尺寸和几何形状的不透射线外科手术器械(例如,椎弓根探针、尖钻或尖钻/丝锥)用作参照标记物500,其由用户选择和标识,或者由系统根据可能选项的列表在图像中以可视方式识别。
在其它实施方式中,该器械是具有不透射线标记物500的克氏针。标记物500可以是任何几何形状,只要该标记物500的尺寸已知即可。在一个实施方式中,克氏针标记物500可以是球形的。器械或克氏针的已知尺寸和几何形状可以在软件中被用于计算比例、位置以及取向。通过利用已知尺寸的参照标记物500,无论是已知尺寸的克氏针还是已知尺寸的手术器械或已知尺寸的植入物,都可以在2D和3D图像彼此配准期间快速缩放图像尺寸。
在使用带有参照标记物500的克氏针的情况下,可能优选的是将克氏针固定至每个脊柱水平处的棘突的近似中心以进行操作。在只涉及两个椎骨的情况下,可以利用单根克氏针,然而,会丢失一定程度的准确度。通过将克氏针参照标记物500保持在C臂图像的中心,如图21所示,可以使用三角测量来确定椎体的定位。准确标识3D空间中的定位要求器械或克氏针的尖端与参照标记物500在C臂图像中可见。在参照标记物500可见但器械或克氏针的尖端不可见的情况下,可以缩放图像,但不能定位器械的确切位置。
在放置所述一个或更多个克氏针之后,必须从倾斜位置和A/P位置取得高分辨率C臂图像,以将克氏针的参照标记物500准确地映射到3D图像上(步骤420和425)。可以按由使用虚拟量角器标识的角度拍摄倾斜配准图像,如图22A和图22B所示。然后,将C臂的C状臂旋转直到12点钟位置,以采集A/P配准图像,如图23A和图23B所示。上载倾斜图像和A/P图像,并利用上述技术将每个图像与3D图像数据集的DRR进行比较和对准。如图24A至图24E所示,处理单元比较倾斜图像(图24A)、关于倾斜成像期间C臂位置的信息(图24B)、A/P图像(图24C)、以及关于在A/P成像期间(图24D)C臂的位置与来自3D图像的DRR的信息,以计算图像与DDR的对准,并且允许利用三角测量将椎体相对于C臂的C状臂和参照标记物500定位。基于该信息,外科医生可以观察对应于C臂的任何角度的DRR(图24E)。平面视图(A/P、侧面以及轴)可以根据3D图像进行处理,以便于向外科医生显示在外科手术期间跟踪器械/植入物位置的更新。
将高分辨率(全剂量)2D C臂图像正确对准3D图像,可以随着手术的进展,通过将C臂切换成脉冲/低剂量、低分辨率模式以采集患者解剖结构的附加C臂图像,来减少用于后续成像的辐射剂量,步骤435。优选地,C臂包括数据/控制接口,使得可以自动选择脉冲低剂量设定,并且可以计算和显示实际剂量信息和节省。在每个低分辨率图像中,参照标记物500保持可见,并且可以被用于将图像缩放和对准至配准的3D图像。这允许将包含手术器械或植入物的低分辨率图像准确地映射到高分辨率术前3D图像上,使得其可以投影到配准至附加2D图像的3D图像中。尽管在低分辨率图像中丢失了组织分辨率,但参照标记物500和手术器械/植入物保持可见,使得系统可以将外科器械或植入物的虚拟表示505放置到3D图像中,如下面将更详细地说明的。
在已知外科器械或植入物的尺寸并已将其上载到处理装置的情况下,显示器呈现对应于由外科医生选择的视图的DDR和工具的虚拟表示505。如图25A至图25C所示,因C臂图像已经映射到3D图像上,所以外科医生可以获得所需的任何DRR视图,而不仅仅是获得所取得的倾斜位置和A/P位置。所显示图像是根据3D图像创建的“合成”C臂图像。图25A示出了工具505的虚拟表示,在这个示例中,示出在A/P图像上表示的椎弓根螺钉。图25B示出了在倾斜图像上表示的虚拟工具505。并且图25C示出了在椎体的合成C臂图像上表示的虚拟工具505,使得可以看到工具相对于椎弓根的角度。
在一些实现中,可能有利的是,图像处理装置可以计算手术器械或植入物在倾斜图像与A/P图像之间的任何轻微移动。根据一个实施方式,外科器械和植入物还包括角传感器(诸如二轴加速度计),其通过其它装置夹持或附接至外科器械或植入物驱动器,以提供相对于重力方向的角位置反馈。在存在任何可测量的移动的情况下,显示器可以更新DRR的呈现以说明这种移动。针对角传感器的附接机构可以是本领域技术人员已知的任何机构。角传感器与处理器单元通信,并且可以是有线或无线设计。
在步骤440,可以调整手术器械或植入物的位置以遵循手术计划或者符合新术中手术计划。步骤435和440可以根据需要重复多次,直到外科手术完成为止445。该系统允许外科医生根据最初建议的来调整所计划轨迹。
3D术中成像的系统和方法提供了外科成像的技术进步,因为外科手术器械的已知尺寸和几何形状帮助减少利用3D CT平面图像配准C臂的图像处理时间。其还允许使用脉冲/低剂量C臂图像来更新手术器械/植入物位置,因为只需要对不透射线对象的轮廓进行成像,而不需要骨骼解剖细节。而且,器械/植入物驱动器上的二轴加速度计提供反馈,即,在更新位置所需的两个单独C臂截图之间几乎没有移动。C臂上的二轴加速度计允许按每个级别更快地与椎体端板对准,并提供关于两个视图的角度的信息,以帮助减少根据3D图像识别适当匹配平面视图的处理时间。与C臂的可选通信接口可以在恰当时自动切换成脉冲/低剂量模式,并根据常规设定计算/显示剂量减少。
容易想到的是,本文所述的关于减少辐射的3D图像引导外科手术的系统和方法极大地帮助外科医生用于确定位置并将外科器械/植入物准确地放置在患者的解剖结构内的能力,从而导致更可再现的植入物放置、减少的OR时间、减少的并发症和修正。另外,可以利用常规C臂,主要按脉冲/低剂量模式,近实时地提供准确的3D和多平面器械/植入物位置图像,与常规使用相比,极大地减少了辐射暴露量。可以计算并显示辐射减少量。该系统的成本和复杂性显著低于提供3D术中图像的其它方式。
虽然已经根据用于实现所述目的的优选实施方式描述了本文描述的发明特征,但本领域技术人员应当清楚,在不脱离本发明的精神或范围的情况下,可以鉴于那些教导来实现变型例。
Claims (14)
1.一种用于在医疗手术期间生成患者的内部解剖结构在术野内的三维显示的方法,所述方法包括以下步骤:
a)将术野的基线三维图像导入处理装置的数字存储器存储单元;
b)将所述基线图像转换成DRR库;
c)从处于第一位置的成像装置取得位于所述术野内的不透射线标记物的第一配准图像;
e)从处于第二位置的所述成像装置取得所述不透射线标记物的第二配准图像;
f)将所述第一配准图像和所述第二配准图像映射至所述DRR库;
g)通过所述第一配准图像和所述第二配准图像的三角测量,计算所述成像装置相对于所述基线图像的位置;以及
h)在所述基线图像上显示所述不透射线标记物的3D表示。
2.根据权利要求1所述的方法,所述方法还包括以下步骤:
a)从处于所述第一位置的所述成像装置取得所述不透射线标记物的第一术中图像;
b)从处于所述第二位置的所述成像装置取得所述不透射线标记物的第二术中图像;
c)缩放所述第一术中图像和所述第二术中图像;
d)通过三角测量将经缩放的所述第一术中图像和经缩放的所述第二术中图像映射至所述基线图像;
e)在所述基线图像上显示所述不透射线标记物的术中3D表示。
3.根据权利要求2所述的方法,其中,在低剂量辐射暴露下拍摄所述第一术中图像和所述第二术中图像。
4.根据权利要求1至3中的任一项所述的方法,其中,所述基线图像是CT扫描。
5.根据权利要求1至4中的任一项所述的方法,其中,所述成像装置是C臂。
6.根据权利要求1至5中的任一项所述的方法,其中,所述不透射线标记物具有已知几何形状。
7.根据权利要求1至6中的任一项所述的方法,其中,所述不透射线标记物是椎弓根探针、尖钻、丝锥、椎弓根螺钉和带有标记物的克氏针中的一个。
8.根据权利要求1至7中的任一项所述的方法,所述方法还包括以下步骤:测量所述成像装置的所述第一位置的定位和所述成像装置的所述第二位置的定位,并将所述位置测量结果记录在所述处理装置的所述存储器存储单元中。
9.根据权利要求8所述的方法,其中,基于存储在所述数字存储器存储单元中的所述位置测量结果,所述C臂自动旋转至所述第一位置和所述第二位置中的一个。
10.根据权利要求1至9中的任一项所述的方法,所述方法还包括以下步骤:测量处于所述第一位置的所述C臂的第一旋转角和处于所述第二位置的所述C臂的第二旋转角,并将所述旋转角测量结果记录在所述处理装置的所述数字存储器存储单元中。
11.根据权利要求10所述的方法,其中,基于存储在所述数字存储器存储单元中的所述旋转角测量结果,所述C臂自动旋转至所述第一旋转角和所述第二旋转角中的一个。
12.根据权利要求1至11中的任一项所述的方法,所述方法还包括以下步骤:将所述不透射线标记物的预定一组测量结果上载至所述处理装置的所述数字存储器存储单元。
13.根据权利要求1至12中的任一项所述的方法,所述方法还包括以下步骤:确定所述不透射线标记物的一组几何测量结果并将所述测量结果存储至所述处理装置的所述数字存储器存储单元。
14.一种用于在医疗手术期间生成患者的内部解剖结构在术野内的三维显示的方法,所述方法包括以下步骤:
a)将术野的基线三维图像导入处理装置的存储器存储单元,其中,所述基线图像是CT扫描;
b)将所述基线图像转换成DRR库;
c)从处于第一位置的成像装置取得位于所述术野内的不透射线标记物的第一配准图像,其中,所述成像装置是C臂,并且其中,所述不透射线标记物具有已知几何形状;
e)从处于第二位置的所述成像装置取得所述不透射线标记物的第二配准图像;
f)将所述第一参照图像和所述第二参照图像映射至所述DRR库;
g)通过所述第一配准图像和所述第二配准图像的三角测量,计算所述成像装置相对于所述基线图像的位置;
h)在所述基线图像上显示所述不透射线标记物的3D表示;
i)从处于所述第一位置的所述成像装置取得所述不透射线标记物的第一术中图像;
j)从处于所述第二位置的所述成像装置取得所述不透射线标记物的第二术中图像;
k)基于所述不透射线标记物的所述已知几何形状,缩放所述第一术中图像和所述第二术中图像;
l)通过三角测量将经缩放的所述第一术中图像和经缩放的所述第二术中图像映射至所述基线图像;以及
m)在所述基线图像上显示所述不透射线标记物的术中3D表示。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562266888P | 2015-12-14 | 2015-12-14 | |
US62/266,888 | 2015-12-14 | ||
US201662307942P | 2016-03-14 | 2016-03-14 | |
US62/307,942 | 2016-03-14 | ||
PCT/US2016/066672 WO2017106357A1 (en) | 2015-12-14 | 2016-12-14 | 3d visualization during surgery with reduced radiation exposure |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108601629A true CN108601629A (zh) | 2018-09-28 |
Family
ID=59018762
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680079633.3A Pending CN108601629A (zh) | 2015-12-14 | 2016-12-14 | 外科手术期间减少辐射暴露的3d可视化 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20170165008A1 (zh) |
EP (1) | EP3389544A4 (zh) |
JP (1) | JP6876065B2 (zh) |
CN (1) | CN108601629A (zh) |
AU (1) | AU2016370633A1 (zh) |
BR (1) | BR112018012090A2 (zh) |
DE (1) | DE112016005720T5 (zh) |
IL (1) | IL259962A (zh) |
WO (1) | WO2017106357A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112137744A (zh) * | 2019-06-28 | 2020-12-29 | 植仕美股份有限公司 | 兼具光学导航功能的数字化种植导板及其使用方法 |
CN113262049A (zh) * | 2020-02-17 | 2021-08-17 | 格罗伯斯医疗有限公司 | 确定用于对患者骨骼进行成像的成像装置的最佳3维位置和定向的系统和方法 |
CN113905682A (zh) * | 2019-03-25 | 2022-01-07 | 福斯移动有限公司 | 用于在x射线设备或超声设备环境中瞄准和对准治疗工具的系统和方法 |
CN114948158A (zh) * | 2021-06-01 | 2022-08-30 | 首都医科大学附属北京友谊医院 | 一种股骨颈通道螺钉骨内通道的定位导航装置及其方法 |
Families Citing this family (100)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11871901B2 (en) | 2012-05-20 | 2024-01-16 | Cilag Gmbh International | Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage |
US11504192B2 (en) | 2014-10-30 | 2022-11-22 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
DE102015209143B4 (de) * | 2015-05-19 | 2020-02-27 | Esaote S.P.A. | Verfahren zur Bestimmung einer Abbildungsvorschrift und bildgestützten Navigation sowie Vorrichtung zur bildgestützten Navigation |
ES2877761T3 (es) * | 2016-03-02 | 2021-11-17 | Nuvasive Inc | Sistemas y procedimientos para la planificación quirúrgica de corrección de la columna |
CN114376588A (zh) | 2016-03-13 | 2022-04-22 | 乌泽医疗有限公司 | 用于与骨骼手术一起使用的设备及方法 |
US10748319B1 (en) * | 2016-09-19 | 2020-08-18 | Radlink, Inc. | Composite radiographic image that corrects effects of parallax distortion |
KR101937236B1 (ko) * | 2017-05-12 | 2019-01-11 | 주식회사 코어라인소프트 | 영상 가이드 골절 정복 수술의 컴퓨터 지원 시스템 및 방법 |
US11406338B2 (en) | 2017-07-08 | 2022-08-09 | Vuze Medical Ltd. | Apparatus and methods for use with image-guided skeletal procedures |
US11510741B2 (en) | 2017-10-30 | 2022-11-29 | Cilag Gmbh International | Method for producing a surgical instrument comprising a smart electrical system |
US11564756B2 (en) | 2017-10-30 | 2023-01-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
US11911045B2 (en) | 2017-10-30 | 2024-02-27 | Cllag GmbH International | Method for operating a powered articulating multi-clip applier |
US11759224B2 (en) | 2017-10-30 | 2023-09-19 | Cilag Gmbh International | Surgical instrument systems comprising handle arrangements |
US11801098B2 (en) | 2017-10-30 | 2023-10-31 | Cilag Gmbh International | Method of hub communication with surgical instrument systems |
CN111356405A (zh) * | 2017-11-22 | 2020-06-30 | 马佐尔机器人有限公司 | 使用植入物成像来验证硬组织位置的方法 |
US11576677B2 (en) | 2017-12-28 | 2023-02-14 | Cilag Gmbh International | Method of hub communication, processing, display, and cloud analytics |
US11559307B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method of robotic hub communication, detection, and control |
US11857152B2 (en) | 2017-12-28 | 2024-01-02 | Cilag Gmbh International | Surgical hub spatial awareness to determine devices in operating theater |
US11744604B2 (en) | 2017-12-28 | 2023-09-05 | Cilag Gmbh International | Surgical instrument with a hardware-only control circuit |
US11202570B2 (en) | 2017-12-28 | 2021-12-21 | Cilag Gmbh International | Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems |
US11771487B2 (en) | 2017-12-28 | 2023-10-03 | Cilag Gmbh International | Mechanisms for controlling different electromechanical systems of an electrosurgical instrument |
US11423007B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Adjustment of device control programs based on stratified contextual data in addition to the data |
US11612444B2 (en) | 2017-12-28 | 2023-03-28 | Cilag Gmbh International | Adjustment of a surgical device function based on situational awareness |
US11132462B2 (en) | 2017-12-28 | 2021-09-28 | Cilag Gmbh International | Data stripping method to interrogate patient records and create anonymized record |
US11109866B2 (en) | 2017-12-28 | 2021-09-07 | Cilag Gmbh International | Method for circular stapler control algorithm adjustment based on situational awareness |
US11832840B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical instrument having a flexible circuit |
US11666331B2 (en) | 2017-12-28 | 2023-06-06 | Cilag Gmbh International | Systems for detecting proximity of surgical end effector to cancerous tissue |
US11571234B2 (en) | 2017-12-28 | 2023-02-07 | Cilag Gmbh International | Temperature control of ultrasonic end effector and control system therefor |
US11389164B2 (en) | 2017-12-28 | 2022-07-19 | Cilag Gmbh International | Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices |
US11602393B2 (en) | 2017-12-28 | 2023-03-14 | Cilag Gmbh International | Surgical evacuation sensing and generator control |
US11896443B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Control of a surgical system through a surgical barrier |
US11903601B2 (en) | 2017-12-28 | 2024-02-20 | Cilag Gmbh International | Surgical instrument comprising a plurality of drive systems |
US11786251B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Method for adaptive control schemes for surgical network control and interaction |
US11559308B2 (en) | 2017-12-28 | 2023-01-24 | Cilag Gmbh International | Method for smart energy device infrastructure |
US11166772B2 (en) | 2017-12-28 | 2021-11-09 | Cilag Gmbh International | Surgical hub coordination of control and communication of operating room devices |
US11589888B2 (en) | 2017-12-28 | 2023-02-28 | Cilag Gmbh International | Method for controlling smart energy devices |
US11896322B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub |
US11633237B2 (en) | 2017-12-28 | 2023-04-25 | Cilag Gmbh International | Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures |
US11424027B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Method for operating surgical instrument systems |
US10892995B2 (en) | 2017-12-28 | 2021-01-12 | Ethicon Llc | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
US11419667B2 (en) | 2017-12-28 | 2022-08-23 | Cilag Gmbh International | Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location |
US11432885B2 (en) | 2017-12-28 | 2022-09-06 | Cilag Gmbh International | Sensing arrangements for robot-assisted surgical platforms |
US11786245B2 (en) | 2017-12-28 | 2023-10-17 | Cilag Gmbh International | Surgical systems with prioritized data transmission capabilities |
US11529187B2 (en) | 2017-12-28 | 2022-12-20 | Cilag Gmbh International | Surgical evacuation sensor arrangements |
US11013563B2 (en) | 2017-12-28 | 2021-05-25 | Ethicon Llc | Drive arrangements for robot-assisted surgical platforms |
US11678881B2 (en) | 2017-12-28 | 2023-06-20 | Cilag Gmbh International | Spatial awareness of surgical hubs in operating rooms |
US11464559B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Estimating state of ultrasonic end effector and control system therefor |
US11832899B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical systems with autonomously adjustable control programs |
US11659023B2 (en) * | 2017-12-28 | 2023-05-23 | Cilag Gmbh International | Method of hub communication |
US11596291B2 (en) | 2017-12-28 | 2023-03-07 | Cilag Gmbh International | Method of compressing tissue within a stapling device and simultaneously displaying of the location of the tissue within the jaws |
US11696760B2 (en) | 2017-12-28 | 2023-07-11 | Cilag Gmbh International | Safety systems for smart powered surgical stapling |
US11818052B2 (en) | 2017-12-28 | 2023-11-14 | Cilag Gmbh International | Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs |
US11864728B2 (en) | 2017-12-28 | 2024-01-09 | Cilag Gmbh International | Characterization of tissue irregularities through the use of mono-chromatic light refractivity |
US10758310B2 (en) | 2017-12-28 | 2020-09-01 | Ethicon Llc | Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices |
US11672605B2 (en) | 2017-12-28 | 2023-06-13 | Cilag Gmbh International | Sterile field interactive control displays |
US11937769B2 (en) | 2017-12-28 | 2024-03-26 | Cilag Gmbh International | Method of hub communication, processing, storage and display |
US11612408B2 (en) | 2017-12-28 | 2023-03-28 | Cilag Gmbh International | Determining tissue composition via an ultrasonic system |
US11540855B2 (en) | 2017-12-28 | 2023-01-03 | Cilag Gmbh International | Controlling activation of an ultrasonic surgical instrument according to the presence of tissue |
US11701162B2 (en) | 2018-03-08 | 2023-07-18 | Cilag Gmbh International | Smart blade application for reusable and disposable devices |
US11259830B2 (en) | 2018-03-08 | 2022-03-01 | Cilag Gmbh International | Methods for controlling temperature in ultrasonic device |
US11534196B2 (en) | 2018-03-08 | 2022-12-27 | Cilag Gmbh International | Using spectroscopy to determine device use state in combo instrument |
US11589865B2 (en) | 2018-03-28 | 2023-02-28 | Cilag Gmbh International | Methods for controlling a powered surgical stapler that has separate rotary closure and firing systems |
US11090047B2 (en) | 2018-03-28 | 2021-08-17 | Cilag Gmbh International | Surgical instrument comprising an adaptive control system |
US11138768B2 (en) | 2018-04-06 | 2021-10-05 | Medtronic Navigation, Inc. | System and method for artifact reduction in an image |
JP6947114B2 (ja) * | 2018-04-23 | 2021-10-13 | 株式会社島津製作所 | X線撮影システム |
US11813027B2 (en) * | 2018-06-15 | 2023-11-14 | Waldemar Link Gmbh & Co. Kg | System and method for positioning a surgical tool |
US11094221B2 (en) | 2018-06-21 | 2021-08-17 | University Of Utah Research Foundation | Visual guidance system and method for posing a physical object in three dimensional space |
DE102018211381B4 (de) | 2018-07-10 | 2021-01-28 | Siemens Healthcare Gmbh | Gültigkeit eines Bezugssystems |
US11291507B2 (en) | 2018-07-16 | 2022-04-05 | Mako Surgical Corp. | System and method for image based registration and calibration |
US11259793B2 (en) | 2018-07-16 | 2022-03-01 | Cilag Gmbh International | Operative communication of light |
EP3626176B1 (de) | 2018-09-19 | 2020-12-30 | Siemens Healthcare GmbH | Verfahren zum unterstützen eines anwenders, computerprogrammprodukt, datenträger und bildgebendes system |
US11287874B2 (en) * | 2018-11-17 | 2022-03-29 | Novarad Corporation | Using optical codes with augmented reality displays |
CN113646799A (zh) * | 2018-12-05 | 2021-11-12 | 史赛克公司 | 用于显示医学成像数据的系统和方法 |
CN113286556A (zh) | 2019-01-14 | 2021-08-20 | 纽文思公司 | 基于全身肌肉骨骼建模和姿势优化的术后整体矢状对准的预测 |
US11298129B2 (en) | 2019-02-19 | 2022-04-12 | Cilag Gmbh International | Method for providing an authentication lockout in a surgical stapler with a replaceable cartridge |
US11357503B2 (en) | 2019-02-19 | 2022-06-14 | Cilag Gmbh International | Staple cartridge retainers with frangible retention features and methods of using same |
US11464511B2 (en) | 2019-02-19 | 2022-10-11 | Cilag Gmbh International | Surgical staple cartridges with movable authentication key arrangements |
EP3714792A1 (en) * | 2019-03-26 | 2020-09-30 | Koninklijke Philips N.V. | Positioning of an x-ray imaging system |
US11903751B2 (en) * | 2019-04-04 | 2024-02-20 | Medtronic Navigation, Inc. | System and method for displaying an image |
CN114008672A (zh) * | 2019-05-10 | 2022-02-01 | 纽文思公司 | 外科手术期间的三维可视化 |
WO2021062024A1 (en) * | 2019-09-24 | 2021-04-01 | Nuvasive, Inc. | Adjusting appearance of objects in medical images |
US11748858B2 (en) * | 2019-09-24 | 2023-09-05 | Nuvasive, Inc. | Systems and methods for adjusting appearance of objects in medical images |
DE102019217220A1 (de) * | 2019-11-07 | 2021-05-12 | Siemens Healthcare Gmbh | Computerimplementiertes Verfahren zur Bereitstellung eines Ausgangsdatensatzes |
US11896442B2 (en) | 2019-12-30 | 2024-02-13 | Cilag Gmbh International | Surgical systems for proposing and corroborating organ portion removals |
US11219501B2 (en) | 2019-12-30 | 2022-01-11 | Cilag Gmbh International | Visualization systems using structured light |
US11759283B2 (en) | 2019-12-30 | 2023-09-19 | Cilag Gmbh International | Surgical systems for generating three dimensional constructs of anatomical organs and coupling identified anatomical structures thereto |
US11744667B2 (en) | 2019-12-30 | 2023-09-05 | Cilag Gmbh International | Adaptive visualization by a surgical system |
US11776144B2 (en) | 2019-12-30 | 2023-10-03 | Cilag Gmbh International | System and method for determining, adjusting, and managing resection margin about a subject tissue |
US11832996B2 (en) | 2019-12-30 | 2023-12-05 | Cilag Gmbh International | Analyzing surgical trends by a surgical system |
US11648060B2 (en) | 2019-12-30 | 2023-05-16 | Cilag Gmbh International | Surgical system for overlaying surgical instrument data onto a virtual three dimensional construct of an organ |
US11284963B2 (en) | 2019-12-30 | 2022-03-29 | Cilag Gmbh International | Method of using imaging devices in surgery |
CN113573776A (zh) * | 2020-02-14 | 2021-10-29 | 西安大医集团股份有限公司 | 图像引导方法、装置、放疗设备和计算机存储介质 |
JP7469961B2 (ja) | 2020-05-29 | 2024-04-17 | 三菱プレシジョン株式会社 | 画像処理装置及び画像処理用コンピュータプログラム |
EP4182942A1 (en) * | 2020-07-16 | 2023-05-24 | Mazor Robotics Ltd. | System and method for image generation based on calculated robotic arm positions |
EP4181812A1 (en) * | 2020-07-16 | 2023-05-24 | Mazor Robotics Ltd. | System and method for image generation and registration based on calculated robotic arm positions |
WO2022079715A1 (en) * | 2020-10-14 | 2022-04-21 | Vuze Medical Ltd. | Apparatus and methods for use with image-guided skeletal procedures |
US11295460B1 (en) * | 2021-01-04 | 2022-04-05 | Proprio, Inc. | Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene |
JP2024513737A (ja) | 2021-03-22 | 2024-03-27 | ニューヴェイジヴ,インコーポレイテッド | マルチユーザ外科カート |
US20230008222A1 (en) * | 2021-07-12 | 2023-01-12 | Nuvasive, Inc. | Systems and methods for surgical navigation |
US11887306B2 (en) * | 2021-08-11 | 2024-01-30 | DePuy Synthes Products, Inc. | System and method for intraoperatively determining image alignment |
US11948265B2 (en) | 2021-11-27 | 2024-04-02 | Novarad Corporation | Image data set alignment for an AR headset using anatomic structures and data fitting |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101120871A (zh) * | 2006-12-29 | 2008-02-13 | 成都川大奇林科技有限责任公司 | 精确放射治疗计划系统 |
US20110268248A1 (en) * | 1999-03-23 | 2011-11-03 | Medtronic Navigation, Inc. | System and Method for Placing and Determining an Appropriately Sized Surgical Implant |
CN102238921A (zh) * | 2008-12-03 | 2011-11-09 | 皇家飞利浦电子股份有限公司 | 用于整合介入规划和导航的反馈系统 |
WO2012149548A2 (en) * | 2011-04-29 | 2012-11-01 | The Johns Hopkins University | System and method for tracking and navigation |
US20130113791A1 (en) * | 2011-10-05 | 2013-05-09 | Minispine, Inc. | Imaging System and Method for Use in Surgical and Interventional Medical Procedures |
CN103402453A (zh) * | 2011-03-03 | 2013-11-20 | 皇家飞利浦有限公司 | 用于导航系统的自动初始化和配准的系统和方法 |
CN103765239A (zh) * | 2011-07-01 | 2014-04-30 | 皇家飞利浦有限公司 | 用于图像引导的介入的术中图像校正 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0951874A3 (en) * | 1994-09-15 | 2000-06-14 | Visualization Technology, Inc. | Position tracking and imaging system for use in medical applications using a reference unit secured to a patients head |
JP2002119507A (ja) * | 2000-10-17 | 2002-04-23 | Toshiba Corp | 医用装置および医用画像収集表示方法 |
US20080260108A1 (en) * | 2003-01-17 | 2008-10-23 | Falbo Michael G | Method of use of areas of reduced attenuation in an imaging support |
US20050059887A1 (en) * | 2003-09-16 | 2005-03-17 | Hassan Mostafavi | Localization of a target using in vivo markers |
JP2006180910A (ja) * | 2004-12-24 | 2006-07-13 | Mitsubishi Heavy Ind Ltd | 放射線治療装置 |
US7950849B2 (en) * | 2005-11-29 | 2011-05-31 | General Electric Company | Method and device for geometry analysis and calibration of volumetric imaging systems |
US7894649B2 (en) * | 2006-11-02 | 2011-02-22 | Accuray Incorporated | Target tracking using direct target registration |
WO2009044321A2 (en) * | 2007-10-01 | 2009-04-09 | Koninklijke Philips Electronics N.V. | Detection and tracking of interventional tools |
JP2010246883A (ja) * | 2009-03-27 | 2010-11-04 | Mitsubishi Electric Corp | 患者位置決めシステム |
US8007173B2 (en) * | 2009-10-14 | 2011-08-30 | Siemens Medical Solutions Usa, Inc. | Calibration of imaging geometry parameters |
WO2011128797A1 (en) * | 2010-04-15 | 2011-10-20 | Koninklijke Philips Electronics N.V. | Instrument-based image registration for fusing images with tubular structures |
US8526700B2 (en) * | 2010-10-06 | 2013-09-03 | Robert E. Isaacs | Imaging system and method for surgical and interventional medical procedures |
ITTV20100133A1 (it) * | 2010-10-08 | 2012-04-09 | Teleios Srl | Apparato e metodo per effettuare la mappatura di uno spazio tridimensionale in applicazioni medicali a scopo interventistico o diagnostico |
US20130249907A1 (en) * | 2011-09-12 | 2013-09-26 | Medical Modeling Inc., a Colorado Corporaiton | Fiducial system to facilitate co-registration and image pixel calibration of multimodal data |
US9427286B2 (en) * | 2013-09-24 | 2016-08-30 | The Johns Hopkins University | Method of image registration in a multi-source/single detector radiographic imaging system, and image acquisition apparatus |
DE102013219737B4 (de) * | 2013-09-30 | 2019-05-09 | Siemens Healthcare Gmbh | Angiographisches Untersuchungsverfahren eines Gefäßsystems |
US10758198B2 (en) * | 2014-02-25 | 2020-09-01 | DePuy Synthes Products, Inc. | Systems and methods for intra-operative image analysis |
JP6305250B2 (ja) * | 2014-04-04 | 2018-04-04 | 株式会社東芝 | 画像処理装置、治療システム及び画像処理方法 |
-
2016
- 2016-12-14 AU AU2016370633A patent/AU2016370633A1/en not_active Abandoned
- 2016-12-14 BR BR112018012090A patent/BR112018012090A2/pt not_active Application Discontinuation
- 2016-12-14 CN CN201680079633.3A patent/CN108601629A/zh active Pending
- 2016-12-14 DE DE112016005720.2T patent/DE112016005720T5/de not_active Withdrawn
- 2016-12-14 WO PCT/US2016/066672 patent/WO2017106357A1/en active Application Filing
- 2016-12-14 EP EP16876599.8A patent/EP3389544A4/en not_active Withdrawn
- 2016-12-14 JP JP2018549430A patent/JP6876065B2/ja active Active
- 2016-12-14 US US15/379,245 patent/US20170165008A1/en not_active Abandoned
-
2018
- 2018-06-12 IL IL259962A patent/IL259962A/en unknown
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110268248A1 (en) * | 1999-03-23 | 2011-11-03 | Medtronic Navigation, Inc. | System and Method for Placing and Determining an Appropriately Sized Surgical Implant |
CN101120871A (zh) * | 2006-12-29 | 2008-02-13 | 成都川大奇林科技有限责任公司 | 精确放射治疗计划系统 |
CN102238921A (zh) * | 2008-12-03 | 2011-11-09 | 皇家飞利浦电子股份有限公司 | 用于整合介入规划和导航的反馈系统 |
CN103402453A (zh) * | 2011-03-03 | 2013-11-20 | 皇家飞利浦有限公司 | 用于导航系统的自动初始化和配准的系统和方法 |
WO2012149548A2 (en) * | 2011-04-29 | 2012-11-01 | The Johns Hopkins University | System and method for tracking and navigation |
CN103765239A (zh) * | 2011-07-01 | 2014-04-30 | 皇家飞利浦有限公司 | 用于图像引导的介入的术中图像校正 |
US20130113791A1 (en) * | 2011-10-05 | 2013-05-09 | Minispine, Inc. | Imaging System and Method for Use in Surgical and Interventional Medical Procedures |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113905682A (zh) * | 2019-03-25 | 2022-01-07 | 福斯移动有限公司 | 用于在x射线设备或超声设备环境中瞄准和对准治疗工具的系统和方法 |
CN112137744A (zh) * | 2019-06-28 | 2020-12-29 | 植仕美股份有限公司 | 兼具光学导航功能的数字化种植导板及其使用方法 |
CN113262049A (zh) * | 2020-02-17 | 2021-08-17 | 格罗伯斯医疗有限公司 | 确定用于对患者骨骼进行成像的成像装置的最佳3维位置和定向的系统和方法 |
CN114948158A (zh) * | 2021-06-01 | 2022-08-30 | 首都医科大学附属北京友谊医院 | 一种股骨颈通道螺钉骨内通道的定位导航装置及其方法 |
Also Published As
Publication number | Publication date |
---|---|
AU2016370633A1 (en) | 2018-07-05 |
EP3389544A4 (en) | 2019-08-28 |
EP3389544A1 (en) | 2018-10-24 |
US20170165008A1 (en) | 2017-06-15 |
IL259962A (en) | 2018-07-31 |
JP2019500185A (ja) | 2019-01-10 |
JP6876065B2 (ja) | 2021-05-26 |
BR112018012090A2 (pt) | 2018-11-27 |
DE112016005720T5 (de) | 2018-09-13 |
WO2017106357A1 (en) | 2017-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10684697B2 (en) | Imaging system and method for use in surgical and interventional medical procedures | |
AU2020202963B2 (en) | Imaging system and method for use in surgical and interventional medical procedures | |
CN108601629A (zh) | 外科手术期间减少辐射暴露的3d可视化 | |
US8718346B2 (en) | Imaging system and method for use in surgical and interventional medical procedures | |
US11941179B2 (en) | Imaging system and method for use in surgical and interventional medical procedures |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180928 |
|
WD01 | Invention patent application deemed withdrawn after publication |