CN108986196A - 用于外科决策支持的关联的照片级真实的3d可视化 - Google Patents
用于外科决策支持的关联的照片级真实的3d可视化 Download PDFInfo
- Publication number
- CN108986196A CN108986196A CN201810562281.8A CN201810562281A CN108986196A CN 108986196 A CN108986196 A CN 108986196A CN 201810562281 A CN201810562281 A CN 201810562281A CN 108986196 A CN108986196 A CN 108986196A
- Authority
- CN
- China
- Prior art keywords
- subregion
- parameter
- data set
- parameter sets
- sets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001356 surgical procedure Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims abstract description 79
- 230000000007 visual effect Effects 0.000 claims abstract description 45
- 238000012800 visualization Methods 0.000 claims abstract description 33
- 238000013480 data collection Methods 0.000 claims abstract description 7
- 238000009826 distribution Methods 0.000 claims abstract description 7
- 238000005520 cutting process Methods 0.000 claims description 58
- 239000000463 material Substances 0.000 claims description 13
- 238000005070 sampling Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000002360 preparation method Methods 0.000 claims description 2
- 206010028980 Neoplasm Diseases 0.000 description 15
- 210000000056 organ Anatomy 0.000 description 14
- 210000004204 blood vessel Anatomy 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 8
- 210000004185 liver Anatomy 0.000 description 8
- 238000002591 computed tomography Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000002513 implantation Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 206010019695 Hepatic neoplasm Diseases 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 210000001367 artery Anatomy 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002792 vascular Effects 0.000 description 2
- 238000007794 visualization technique Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 210000003240 portal vein Anatomy 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 210000005166 vasculature Anatomy 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/08—Volume rendering
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
- A61B8/461—Displaying means of special interest
- A61B8/466—Displaying means of special interest adapted to display 3D data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/48—Diagnostic techniques
- A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
- A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/30—Clipping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Abstract
本发明提出了一种用于可视化图像数据集,特别是医学图像数据集的方法,其中可视化数据集显示具有至少第一对象和第二对象的三维布置,所述方法包括以下步骤:‑将第一参数集合(p_1)分配(21)给第一对象(1);‑将第二参数集合(p_2)分配(21)给第二对象(2);‑将所述医学图像数据集划分成(22)第一子区域(11)和第二子区域(12);以及‑通过体绘制方法(VRM),特别是通过光线投射方法或照片级真实体积路径跟踪提供所述三维布置的可视化,其中将所述第一参数集合(p_1)应用于所述第一子区域(11)以便可视化所述第一对象(1),并且将所述第二参数集合(p_2)应用于所述第二子区域(12)以便可视化所述第二对象(2)。
Description
技术领域
本发明描述了一种用于可视化图像数据集,特别是医学图像数据集的方法、一种用于可视化图像数据集的系统以及一种计算机程序产品。
背景技术
特别地,该方法处理彼此关联(in context with)的三维(3D)或四维(4D)的医学图像内的多个感兴趣结构的有效可视化。例如,该方法可以应用于可视化与包含肿瘤的器官关联的输送脉管系统(feeding vasculature)或植入物。一个或多个医学图像数据集可以用作源数据。例如,通过计算机断层摄影(CT)或磁共振(MR)生成医学图像数据集。
这样的医学图像数据集的体可视化提供了在3D/4D中查看解剖结构的手段。体可视化方法的强大工具使用各种强度分类器来选择数据集中的组织和结构,并且将每个强度映射到相应的颜色、不透明度和材料属性值(例如漫反射、光泽、反射、折射、透射率、发射率、相位函数)。根据一种先进的体可视化方法(如路径跟踪),基于与照明模型交互的所利用的材料属性,沿着复杂路径累积分类值以显示关于所包含的组织和器官的更加照片级真实(photorealistic)的感知。该方法也可以与另一种更简单的体可视化方法(如光线投射)一起使用,其中沿着观察光线累积分类值,并且因此感知累积的颜色值和/或不透明度值在对象的可视化表面上。
通过定义感兴趣的区域并去除在其外部的遮挡区域,附加地显示每个分类的组织或结构内部的部分,如嵌入器官内部的肿瘤。例如,简单的裁剪平面是特别有效和高效的。裁剪平面将一半空间定义为感兴趣区域,而另一半空间中的区域被裁剪。裁剪平面的位置和/或取向确定可视化的图像数据集的部分。因此,用户可以通过移动该平面导航以查看器官内部的内部。然而,同时,裁剪平面也剪掉感兴趣结构的部分,并且因此用户丢失多个结构(例如,器官周围的血管)的相对定位的信息。然而,该信息是特别感兴趣的,原因是相邻或靠近器官的血管的位置限制了手术期间的动作的自由。
替代地,为了同时显示多个部分和结构,例如肿瘤和各自的输送血管,现有技术建议分割(segmentation)。这意味着对于每个体素明确地确定每个感兴趣结构。然而,该方法繁琐且费时,原因是难以以通常不足以提取细血管的分辨率自动分割异常、病变的解剖结构。此外,当分割失败时,需要手动编辑。
发明内容
因此,本发明的目的是提供一种可视化彼此关联的多个嵌入结构的改进方法。
通过根据权利要求1的用于可视化图像数据集的方法、通过根据权利要求13的用于可视化图像数据集的系统和根据权利要求14的计算机程序产品实现该目的。
根据本发明的第一方面,提供了一种用于可视化图像数据集,特别是医学图像数据集的方法,其中所述可视化数据集显示具有至少第一对象和第二对象的三维布置,所述方法包括以下步骤:
-向所述第一对象分配第一参数集合,即参考参数集合;
-向所述第二对象分配第二参数集合,即关联的分类参数集合;
-将所述医学图像数据集划分成第一子区域,即参考子区域,和第二子区域,即关联子区域,特别是感兴趣区域;以及
-通过体绘制方法(volume rendering method,VRM),特别是通过光线投射方法或体积路径跟踪方法提供所述三维布置的可视化,
其中将所述第一参数集合应用于所述第一子区域以便可视化所述第一对象,并且将所述第二参数集合应用于所述第二子区域以便可视化所述第二对象。
与现有技术相反,根据本发明的方法使得能够可视化第二子区域中的第二对象或第二对象的至少一部分,而不是剪掉位于第二子区域中的第二对象的部分。特别地,在第二子区域中同时剪掉第一对象的至少一部分。换句话说:由于根据本发明的方法,可视化数据一方面特别在屏幕上示出位于第一可视化子区域中的第一对象的一部分,并且另一方面特别在屏幕上同时示出位于第二个可视化子区域中的第二对象的一部分。优选地,提供一种处理器,其中处理器配置成至少用于通过体绘制方法(VRM)提供三维布置的可视化,并且在屏幕(如工作站的屏幕)上在第一可视化子区域中显示第一对象的可视化部分并且在第二可视化子区域中显示第二对象的可视化部分。特别地,第一可视化子区域和第二可视化子区域在屏幕上彼此相邻地定位。因此,可以在第一可视化子区域中显示第一对象的内部结构,例如诸如肝的器官的内部结构,同时在第二可视化子区域中可视化第二对象的至少一部分,以便识别第一对象和第二对象之间的相对位置。优选地,第一对象是器官,并且第二对象是血管或植入物。也可想到,第二对象是位于第一对象(即器官)内部的肿瘤。特别地,第一对象和第二对象在第一子区域和第二子区域上延伸。为了清楚起见,技术人员应当理解,本发明不限于第一对象和第二对象,并且可以扩展到任何数量的对象。
通常,第一参数集合和/或第二参数集合是体绘制方法的一部分,即,即它们可以并入体绘制方法中,并且影响体绘制方法的输出。通过使第一参数集合和/或第二参数集合适应于第一对象和/或第二对象的成像特性,如在亨氏标度中的对应范围的特性,有可能将可视化过程,特别是体绘制方法,集中在第一子区域中的第一对象和第二子区域中的第二对象。特别地规定,在给定的照明和相机参数化中,随着光线路径前进通过体积,累积裁剪、分类和照明的组合效果。优选地规定,针对第一对象优化第一参数集合,并且针对第二对象优化第二参数集合。特别地,术语“优化”意味着选择第一参数集合使得体绘制方法(VRM)导致第一对象的非消失值和第二对象的基本消失值。例如规定,在相应地分配给第一对象和第二对象的不同亨氏范围的基础上选择第一参数集合和第二参数集合。
优选地,第二子区域表示为了在第一对象内部观看而剪掉的图像数据集的部分。此外,优选地规定,图像数据集是医学图像数据集,如通过计算机断层摄影(CT)或磁共振(MR)生成的数据集。例如,数据集是三维或四维数据集。由此,数据集包括第一对象和第二对象的每个体积元素的密度,即密度值。密度可以是物理密度、光密度、折射率和/或强度、颜色、透明度和/或不透明度值,并且可以表示为标量值、矢量或张量。
通过了解第一对象的空间关系和关联,即第二对象的位置,外科医生可以决定接近目标而不伤害血管的最佳角度。此外,外科医生可以更快地决定患者是否可手术,并且可以向患者示出他们将要做的事情以及风险。另外,新手外科医生和学生可以接受疑难病例的培训。
如下文的描述中所揭示的,从属权利要求给出了本发明的其他有益的实施例和特征。不同的权利要求类别的特征可以适当地组合以给出本文中未描述的其他实施例。
根据优选实施例,规定在体绘制方法中针对第一子区域和第二子区域两者使用一个分类器资源集合。通过使用相同的分类器资源最小化存储器使用量和取回到计算机存储器中的量,并且因此提高绘制速度。在本发明的上下文中术语“分类器资源”表示提供图像数据集的对应强度值到亮度、强度、颜色、透明度和/或不透明度值的映射的基本调色板。通过应用分类器,由不同强度值表征的内部结构变得可见。在该方法中,速度和存储器得到优化,并且穿过区域上的颜色一致性得到更好的保留。此外,通过使用在运行时应用的每个子区域具有偏移和材料的不同变化的相同分类器资源,与每个区域使用完全独立的资源集合相比,体绘制方法被简化,使得可以利用可用的计算时间以在路径跟踪算法中执行更高质量的交互图像,导致产生更准确的照片级真实绘制的产生。
在优选实施例中规定,所述第一参数集合和/或所述第二参数集合的参数是材料参数,即分类参数。例如,材料参数是定义分配给图像数据集的体积元素的组织或区域密度权重、或组织或区域特定漫射度、光亮度、反射、折射、透射率、发射度、相位函数的参数。
优选地规定,图像数据集由裁剪元素,特别是裁剪平面划分成第一子区域和第二子区域。由此裁剪元素定义第一子区域和第二子区域之间的边界,其中裁剪元素特别指的是在屏幕上划分第一可视化子区域和第二可视化子区域的可视化的裁剪平面。特别地,裁剪元素定位和定向成使得第一对象的可视化部分不显示在屏幕上。换句话说:裁剪元素贯穿第一对象以便分析内部结构或第一对象。也可想到,裁剪元素或可视化裁剪元素至少部分弯曲。例如规定,裁剪元素的轮廓适于第一和/或第二对象的形状。优选地,用户可以选择裁剪元素的优选轮廓。也可想到,除了裁剪元素之外还提供另外的裁剪元素。因此,例如,除了通过裁剪元素裁剪第一对象的一部分之外,可能通过另外的裁剪元素裁剪第二对象的一部分。
根据提供的优选实施例,提供了一种体绘制方法,其包括:
-将第一参数集合分配给位于第一子区域中的采样点和/或
-将第二参数集合分配给位于第二子区域中的采样点。这样的体绘制方法,也称为路径跟踪体绘制方法,推进通过体积的光线路径以沿着光线路径对每个相交采样点进行采样,所述光线路径可以从体积内的结构反弹、穿透或反射并且最终当它遇到光时变为可见。
优选地规定,体绘制方法还包括:
○如果采样点位于第二子区域中并且特别选择非关联模式,则忽略沿着光线路径的采样点;
○将分类参数的第一集合应用于第一子区域中的采样点;以及
○特别是如果选择关联模式,则将分类参数的第二集合应用于第二子区域中的采样点。
因此,有利地可以选择性地在第二可视化子区域中显示或不显示第二对象。特别地,在非关联模式中,第二对象的可视化部分不显示在可视化第二子区域中,并且在关联模式中显示在可视化第二子区域中。因此,例如,当第二可视化子区域中的第二对象的一部分干扰第一可视化子区域中的第一对象的一部分上的视图时,用户可以在非关联模式和关联模式之间切换。
为了包括复杂的照明效果,可以进一步考虑在成像数据集的每个采样点或体积元素处的散射事件,其中散射光线的方向是统计分布的。优选地,散射事件可以通过蒙特卡洛仿真实现,并且最终照明值是对多个光线的每个照明值进行统计平均的结果。
优选地规定,提供MPR模式,其中在MPR模式下,在裁剪元素上,特别是在裁剪平面上,附加地示出多平面重整(multi-planar reformation,MPR),其中优选地,选择性不透明度值是在MPR模式绘制步骤期间。一般而言,多平面重整被可视化为第一和/或第二器官的二维横截面,其中横截面对应于第一和/或第二对象中的裁剪元素的当前位置。特别地规定,半透明的嵌入MPR映射到裁剪元素的表面上,优选地映射到裁剪平面上,用于寻址放射科医师(用于MPR的二维横截面视图)和外科医生(用于三维可视化)。如果采样点位于裁剪元素上,则在MPR模式步骤中检查不透明度值。基于不透明度值确定MPR采样点是否可见。例如,当MPR在采样点中完全不透明时,MPR值应用于采样点中的路径。如果MPR是半透明的,则存储MPR值并且光线继续其通过该体积的路径。在完成其路径之后,将存储的MPR值与分配给完成的路径的值组合以便表示MPR透明度值。也可想到,独立地显示与裁剪平面的当前位置或取向对应的二维横截面。例如,将当前裁剪元素的两个截面横截面显示在体积可视化旁边。
在优选的实施例中规定,裁剪元素是可移动的,其中优选地在裁剪元素(10)的移动期间减少采样量。通过移动所述裁剪元素,可以改变第一子区域和第二子区域,并且因此改变第一可视化子区域和第二可视化子区域。优选地,处理器配置成使得用户可以移动或旋转裁剪元素,或者自动移动或旋转裁剪元素。因此,当平面移动时,提供熟悉的滚动(scroll)和“熔透”(melt-through)效果以便穿过对象导航。此外规定,处理器配置用于旋转可视化的三维布置。
优选地规定,位于裁剪元素上的采样点的采样迭代大于位于第二子区域和/或第一子区域中的采样点的采样迭代。特别地规定,准确地执行MPR步骤以便实现裁剪元素上的MPR的干净和噪声降低的视图,并且因此实现干净的熔透效果。通过在裁剪元素之后执行较少的迭代,裁剪元素后面的对象更嘈杂,但是裁剪元素附近或其上的可视化结构是精确的。此外,可想到当第一对象和/或第二对象靠近裁剪元素定位时,执行如二分搜索的改进,以确保边界处更精确。
在另一优选的实施例中规定,在准备步骤中选择数据集,其中数据集包括图像数据集和元数据信息。通过合并元数据信息,可以将附加信息提供给处理器。例如,附加信息包括关于第一对象和/或第二对象、关于患者或疾病的信息。优选地,处理器配置成使得用于可视化图像数据集的方法自动地适应。也可想到,如果数据集不包括元数据信息,则提供用于合并元数据信息的工作流。
优选地,术语“自动地”指示(例如从训练的神经网络导出的)用于检测如扫描类型(例如,动脉、静脉、门静脉、对比类型)的相关元数据信息的检测器。特别地,检测基于来自查看标记的图像数据集的训练。因此,可以使用更可靠的元数据信息以基于如在动脉相位数据集中脉管系统是否包含增强对比自动地确定参数的集合的微调缺省,例如第一和第二区域的分类器参数之间的相对的变化和变化的量。
根据本发明的另一实施例规定,优选地基于元数据信息自动地执行分配第一参数集合和第二参数集合。优选地,存在用于第一对象的默认第一参数集合和用于第二对象的默认第二参数集合。当元数据信息给出第一和/或第二对象的指示时,处理器默认使用这些默认的参数集合。优选地,用户可以修改默认的参数集合以便使方法适于单独的图像数据集及其具体特性。
在进一步的优选实施例中规定,优选地基于元数据信息并且特别基于图像内的特性将图像数据集自动划分成第一子区域和第二子区域。例如,元数据信息包括器官中的肿瘤的位置,并且裁剪元素被定向成使得裁剪元素在适当的位置划分第一对象以便获得肿瘤的最佳视图。优选地,裁剪元素的位置和/或取向的选择是基于训练的网络的数据库,其中数据库包括类似情况下的裁剪元素的位置和/或取向。也可想到,基于元数据信息自动地选择裁剪元素的轮廓,特别是通过使用检测器。
例如规定,提供元数据信息,如来自医学图像标头(header)的指示和其他附加信息,并且该信息与图像内容一起用于识别第一器官并且执行将图像数据集自动划分成第一子区域和第二子区域。随后,通过执行第一器官的分析,特别是强度-纹理分析,粗略地识别潜在的疾病,如肿瘤。最后,将裁剪平面相对于被识别肿瘤处于前取向的定位在期望位置,并且显示周围血管,即第二对象。
在另一优选实施例中规定,基于元数据信息或通过工作流选择分类参数。
本发明的另一方面是一种用于可视化图像数据集,特别是医学图像数据集的系统,其中所述可视化数据集显示具有至少第一对象和第二对象的三维布置,所述系统包括装置,所述装置配置用于
-将第一分类参数集合分配给所述第一对象;
-将第二分类参数集合分配给所述第二对象;
-将可显示体积划分成第一子区域和第二子区域;以及
-通过体绘制方法,特别是通过路径跟踪方法提供所述三维布置的可视化,其中所述第一分类参数集合应用于所述第一子区域,并且所述第二分类参数集合应用于所述第二子区域。优选地,系统包括处理器、显示装置(如屏幕)和/或作为人机接口的输入装置。
本发明的另一方面是一种计算机程序产品,用于当所述计算机程序产品装载到可编程装置的存储器中时执行根据本发明的方法的步骤。
参考附图从根据本发明的用于分析的方法的优选实施例的以下描述将显现出其他优点和特征。单独的实施例的单独的特征可以在本发明的范围内彼此组合。
附图说明
在附图中:
图1示意性地示出了根据本发明的用于可视化三维布置的方法的优选实施例。
图2示出了用于可视化图像数据集的方法的另一优选实施例
图3示出了根据本发明的可视化三维布置。
具体实施方式
在图1中示意性地图示了用于可视化图像数据集,特别是三维图像数据集的方法。优选地,该方法用于可视化第一对象1和不同于第一对象1的第二对象2,其中第一对象1和第二对象2以三维的布置彼此布置。优选地,图像数据集是由CT或MR成像生成的三维医学图像集合。例如,第一对象1表示器官,如肝,并且第二对象2表示血管或装置,如植入物。这样的血管或装置通常在手术期间嵌入潜在切除区域的附近。换句话说:第一对象1和第二对象2通常直接彼此相邻地定位。
CT或MRT图像的体积可视化为外科医生提供了在3D中查看解剖结构的手段。由此,用于体积可视化的体绘制方法典型地使用传递函数tf,其选择值,如分配给图像数据集的体积元素的密度,并且随后将该值映射到具体的颜色和不透明度值。根据光线投射方法,颜色和不透明度值在沿着观察光线的几个采样点上累积,并且因此,在可视化的第一对象和可视化的第二对象的表面上感知累积的颜色。由此每个采样点对应于图像数据集的体积元素。
可以通过定位和/或定向裁剪元素10(例如裁剪平面)显示第一对象1内部的内部部分(例如器官内部)。这样的裁剪平面可以用于穿过导航肿瘤以便识别第一对象1内(即器官中)的肿瘤的位置。然而,通过导航到肿瘤,裁剪元素10也裁剪血管,即第二对象2。因此,外科医生不能看到血管相对于肿瘤的位置。
替代地,可以执行图像分割,其中每个图像元素相应地分配给第一对象1或第二对象2。这可以导致示出器官、肿瘤和血管的空间关系的视图,但是相对乏味和耗时。此外,当自动图像处理失败时需要手动编辑。
为了在不显著增加图像处理时间的情况下可视化第一对象1和第二对象2的空间关系,提供了一种方法,其包括:
-将第一参数集合p_1分配给第一对象1,例如器官;
-将第二参数集合p_2分配给第二对象2,例如血管或植入物;
-优选地通过裁剪元素10将图像数据集划分22成第一子区域11和第二子区域12;以及
-通过体绘制方法(VRM),特别是通过光线投射方法提供三维布置的可视化,
其中第一参数集合p_1应用于第一子区域11以便可视化第一对象1并且第二参数集合p_2应用于第二子区域12以便可视化第二对象2。优选地,该方法配置成使得第一对象的可视化部分呈现在对应于第一子区域11的第一可视化子区域11′中,并且第二对象2的可视化部分呈现在对应于第二子区域12的第二可视化子区域12′中。
特别地规定,体绘制方法(VRM)应用于第一子区域和第二子区域两者。优选地,优化第一参数集合p_1用于可视化第一对象1,并且优化第二参数集合p_1用于可视化第二对象2。结果,第一对象1显示在第一可视化子区域11中′并且第二对象同时显示在第二可视化子区域12′中,其中第一对象1在第二可视化子区域12′中被剪掉。这意味着,有益地可以将位于第二子区域12中的第二对象2或第二对象2的一部分添加到第一可视化子区域11′中的第一对象1的可视化,其中第一对象1被部分地裁剪。因此,外科医生看到第一对象1和第二对象2相对于彼此的空间关系并且同时获得关于第一对象1的内部结构的信息。
例如,第一对象1和第二对象2关于它们在亨氏标度中的值彼此不同。例如,亨氏标度中对应于第一对象1的相关值的第一间隔不同于亨氏标度中对应于第二对象2的相关值的第二间隔。因此,选择基于第一间隔的第一参数集合p_1和基于第二间隔的第二参数集合p_2。结果,应用于第一子区域11的分类仅映射具有第一间隔的强度的强度值,并且应用于第二子区域12的分类仅映射具有第二间隔12的密度的密度值。有益地,相同的分类资源用于第一子区域11和第二子区域12两者,并且因此将第二对象2而不是第一对象1显示在第二可视化子区域12′内。
在图2中示出了根据本发明的用于可视化图像数据集的方法的另一优选实施例。优选地,使用光线投射方法或基于路径跟踪的体绘制方法。这样的光线投射方法或基于路径跟踪的体绘制方法穿过体积推进光线路径以沿着光线路径对每个相交采样点进行采样。为了合并在光线投射方法中使用的不同分类,优选提供以下步骤:
-如果在将图像数据集划分22成第一子区域11和第二子区域12之后通过裁剪元素10和/或另外的裁剪元素裁剪显示的体积的采样点,则检查
-将裁剪元素和/或另外的裁剪元素的标识(ID)分配给采样点和/或
-将第一分类参数集合或第二分类参数集合分配给采样点。
将图像数据集中的相应采样点或体积元素向第一子区域11或第二子区域12的分配标记每个采样点。结果,用于可视化图像数据集的方法可以在不同模式下操作。例如,可以隐藏由裁剪元素10和另外的裁剪元素裁剪的第二对象2的一部分,并且可以显示仅由另外的裁剪元素裁剪的第二对象2的一部分。因此,用户可以将可视化适于他的偏好,特别是取决于单独的图像数据集的特殊要求。
此外,可以在非关联模式和关联模式之间进行选择,其中因此实施例包括将第一对象1和第二对象2显示26在屏幕上之前的步骤:
-如果通过裁剪元素10和/或另外的裁剪元素裁剪采样点并且选择非关联模式,则忽略27采样点;
-如果选择关联模式,则将第一分类参数集合p_1应用25于第一子区域12中的采样点;以及
-如果选择关联模式,则将第二分类参数集合p_2应用25于第二子区域12中的采样点。
因此,在关联模式下显示第二对象的一部分,而不是在非关联模式下显示。
优选地,提供MPR模式,其中在裁剪元素10上附加地示出多平面重整,即二维横截面14。如果采样点位于裁剪元素10上,则在MPR模式步骤中检查不透明度值。基于不透明度值,确定采样点是否有助于光线投射方法。例如,当MPR在相关采样点中完全不透明时,将MPR值应用于采样点中的路径。如果MPR是半透明的,则MPR值被存储并且光线将继续其通过体积的路径。在完成其路径之后,将存储的MPR值与分配给完成的路径的值组合以便表示MPR透明度值。
此外,优选地规定,该方法包括准备20步骤,其中选择数据集。这样的数据集包括图像数据集以及指定图像数据集,特别是第一对象1和第二对象2的元数据信息。优选地,通过分析装置或具有处理器的检测器选择元数据信息,例如计算机的主或图形处理器单元存储器。特别地,基于元数据信息或通过提示用户提供信息的工作流选择绘制参数集合以便应用于随后的绘制步骤。这样的绘制参数优选地包含路径轨迹体绘制参数,如照明参数、相机参数和分类参数。照明参数的示例是将使用的照明的类型、光照贴图(light map)或光源的数量和/或光源的方向。相机参数的示例是相机的位置、取向、视野、光圈、景深或曝光。分类参数的示例是颜色和透明度、密度、材料属性(例如,漫射度、光亮、反射、折射、透射率、发射度、相位函数)或每个图片元素的强度的映射。
优选地,第一参数集合p_1和/或第二参数集合p_2是分类参数,其中针对第一对象1优化第一分类参数集合并且针对第二对象2优化第二分类参数集合。
在图3中图示了第一对象1和第二对象2的可视化三维布置,其中示出了第一可视化子区域11′和第二可视化子区域12′。特别地,图3示出了包含HCC肝肿瘤4的肝3的CT数据集的图示。选择裁剪平面10使得肝3的一部分(中间的左手侧)已经被裁剪。结果,肝3的未裁剪部分显示在第一可视化子区域11中,而肝肿瘤3和周围血管(即第二对象12)被保留并且显示在第二可视化子区域12′中。实际上在肝3内的肿瘤4在肝3的未裁剪部分上看起来像云。血管示出肿瘤输送动脉及其他。此外规定,与裁剪元素10(特别是贯穿肝3的裁剪平面)的当前位置和取向对应的多平面重整(即二维横截面14)与由第一可视化子区域和第二可视化子区域表示的体积可视化一起示出。
尽管已经以优选实施例及其变型的形式公开了本发明,但是应当理解,在不脱离本发明的范围的情况下,可以对其进行许多附加的修改和变化。
为了清楚起见,应当理解,贯穿本申请的“一”和“一个”的使用不排除多个,并且“包括”不排除其他步骤或元件。
Claims (14)
1.一种用于可视化图像数据集,特别是医学图像数据集的方法,其中可视化数据集显示具有至少第一对象和第二对象的三维布置,所述方法包括以下步骤:
-将第一参数集合(p_1)分配(21)给第一对象(1);
-将第二参数集合(p_2)分配(21)给第二对象(2);
-将所述医学图像数据集划分成(22)第一子区域(11)和第二子区域(12);以及
-通过体绘制方法(VRM),特别是通过光线投射方法或照片级真实(photorealistic)体积路径跟踪提供所述三维布置的可视化,
其中将所述第一参数集合(p_1)应用于所述第一子区域(11)以便可视化所述第一对象(1),并且将所述第二参数集合(p_2)应用于所述第二子区域(12)以便可视化所述第二对象(2)。
2.根据权利要求1所述的方法,其中所述第一参数集合(p_1)和/或所述第二参数集合(p_2)的参数是材料参数。
3.根据权利要求2所述的方法,其中相同的基本分类颜色模板的集合可应用于所述第一子区域和所述第二子区域以优化速度和存储器并且保持颜色一致性,并且相应地针对所述第一子区域和所述第二子区域仅仅改变不透明度和材料分类。
4.根据前述权利要求中任一项所述的方法,其中所述图像数据集由裁剪元素(10),特别是裁剪平面划分成第一子区域(11)和第二子区域(12)。
5.根据前述任一项权利要求所述的方法,还包括:
-如果采样点位于所述第二子区域(12)中,则忽略(27)沿着路径光线的采样点;
-将第一分类参数集合应用(25)于所述第一子区域中的采样点;以及
-将第二分类参数集合应用(25)于所述第二子区域(12)中的采样点。
6.根据权利要求5所述的方法,其中提供MPR模式(25),其中在所述MPR模式下,在所述裁剪元素上附加地示出多平面重整(MPR),其中优选地,选择性不透明度值是在MPR模式绘制步骤期间。
7.根据前述权利要求中任一项所述的方法,其中所述裁剪元素(10)是可移动的,其中优选地,在所述裁剪元素(10)的移动期间减少采样量。
8.根据权利要求5至7中任一项所述的方法,其中位于所述裁剪元素(10)上的采样点的采样迭代大于位于所述第二子区域(12)中和/或所述第一子区域(11)中的采样点的采样迭代。
9.根据前述权利要求中任一项所述的方法,其中在准备步骤中选择数据集,其中所述数据集包括所述图像数据集和元数据信息。
10.根据前述权利要求中任一项所述的方法,其中例如基于所述元数据信息自动地执行分配所述第一参数集合(p_1)和所述第二参数集合(p_2)。
11.根据前述权利要求中任一项所述的方法,其中将所述图像数据集自动地划分成第一子区域(11)和第二子区域(12)。
12.根据前述权利要求中任一项所述的方法,其中基于所述元数据信息或通过工作流选择所述分类参数。
13.一种用于可视化图像数据集,特别是医学图像数据集的系统,其中所述可视化数据集显示具有至少第一对象和第二对象的三维布置,所述系统包括装置,所述装置配置用于
-将第一分类参数集合分配给第一对象(1);
-将第二分类参数集合分配给第二对象(2);
-将可显示体积划分成第一子区域(11)和第二子区域(12);以及
-通过体绘制方法,特别是通过光线投射方法提供所述三维布置的可视化,其中将所述第一分类参数集合应用于所述第一子区域(11),并且将所述第二分类参数集合应用于所述第二子区域(12)。
14.一种计算机程序产品,用于当所述计算机程序产品装载到可编程装置的存储器中时执行根据权利要求1至13中任一项所述的方法的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/610,804 US10692273B2 (en) | 2017-06-01 | 2017-06-01 | In-context photorealistic 3D visualization for surgical decision support |
US15/610,804 | 2017-06-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108986196A true CN108986196A (zh) | 2018-12-11 |
CN108986196B CN108986196B (zh) | 2024-03-08 |
Family
ID=62116745
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810562281.8A Active CN108986196B (zh) | 2017-06-01 | 2018-06-01 | 用于外科决策支持的关联的照片级真实的3d可视化 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10692273B2 (zh) |
EP (1) | EP3410403B1 (zh) |
JP (1) | JP6981726B2 (zh) |
CN (1) | CN108986196B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978000A (zh) * | 2019-02-19 | 2019-07-05 | 深圳点猫科技有限公司 | 一种基于图形化编程工具的分类ai实现方法及电子设备 |
CN111612792A (zh) * | 2019-02-22 | 2020-09-01 | 未艾医疗技术(深圳)有限公司 | 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019045144A1 (ko) | 2017-08-31 | 2019-03-07 | (주)레벨소프트 | 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법 |
JP7187678B2 (ja) * | 2019-03-29 | 2022-12-12 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070195088A1 (en) * | 2006-02-21 | 2007-08-23 | Siemens Corporate Research, Inc. | System and method for in-context volume visualization using virtual incision |
US20070229500A1 (en) * | 2006-03-30 | 2007-10-04 | Siemens Corporate Research, Inc. | System and method for in-context mpr visualization using virtual incision volume visualization |
CN101809628A (zh) * | 2007-09-26 | 2010-08-18 | 皇家飞利浦电子股份有限公司 | 解剖数据的可视化 |
CN102089783A (zh) * | 2008-07-11 | 2011-06-08 | 爱克发医疗保健公司 | 用于体积数据集的多模式显像的方法和设备 |
CN106652012A (zh) * | 2016-12-09 | 2017-05-10 | 江西中科九峰智慧医疗科技有限公司 | 医学图像体绘制的方法及系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002503855A (ja) * | 1998-02-17 | 2002-02-05 | サン・マイクロシステムズ・インコーポレーテッド | 可変解像度スーパーサンプリングによるグラフィックス・システム |
JP3836097B2 (ja) * | 2003-09-19 | 2006-10-18 | ザイオソフト株式会社 | 医用画像生成装置および方法、ならびに、プログラム |
DE602007006811D1 (de) * | 2007-10-09 | 2010-07-08 | Agfa Healthcare Nv | Verfahren und Vorrichtung zur Volumendarstellung medizinischer Datensätze |
JP5606832B2 (ja) | 2010-03-05 | 2014-10-15 | 富士フイルム株式会社 | 画像診断支援装置、方法およびプログラム |
JP5545971B2 (ja) | 2010-03-26 | 2014-07-09 | 株式会社不動テトラ | 土壌浄化方法 |
US9076247B2 (en) * | 2012-08-10 | 2015-07-07 | Ppg Industries Ohio, Inc. | System and method for visualizing an object in a simulated environment |
JP2015114775A (ja) * | 2013-12-10 | 2015-06-22 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
US9536342B2 (en) * | 2014-08-15 | 2017-01-03 | Intel Corporation | Automatic partitioning techniques for multi-phase pixel shading |
EP3270770A1 (en) * | 2015-03-18 | 2018-01-24 | Canfield Scientific, Incorporated | Methods and apparatus for identifying skin features of interest |
JP6647796B2 (ja) | 2015-04-15 | 2020-02-14 | キヤノンメディカルシステムズ株式会社 | 画像処理装置及びx線診断装置 |
-
2017
- 2017-06-01 US US15/610,804 patent/US10692273B2/en active Active
-
2018
- 2018-05-04 EP EP18170874.4A patent/EP3410403B1/en active Active
- 2018-05-16 JP JP2018094673A patent/JP6981726B2/ja active Active
- 2018-06-01 CN CN201810562281.8A patent/CN108986196B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070195088A1 (en) * | 2006-02-21 | 2007-08-23 | Siemens Corporate Research, Inc. | System and method for in-context volume visualization using virtual incision |
CN101110124A (zh) * | 2006-02-21 | 2008-01-23 | 美国西门子医疗解决公司 | 利用虚拟切割的背景中体积可视化的系统及方法 |
US20070229500A1 (en) * | 2006-03-30 | 2007-10-04 | Siemens Corporate Research, Inc. | System and method for in-context mpr visualization using virtual incision volume visualization |
CN101809628A (zh) * | 2007-09-26 | 2010-08-18 | 皇家飞利浦电子股份有限公司 | 解剖数据的可视化 |
CN102089783A (zh) * | 2008-07-11 | 2011-06-08 | 爱克发医疗保健公司 | 用于体积数据集的多模式显像的方法和设备 |
CN106652012A (zh) * | 2016-12-09 | 2017-05-10 | 江西中科九峰智慧医疗科技有限公司 | 医学图像体绘制的方法及系统 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978000A (zh) * | 2019-02-19 | 2019-07-05 | 深圳点猫科技有限公司 | 一种基于图形化编程工具的分类ai实现方法及电子设备 |
CN111612792A (zh) * | 2019-02-22 | 2020-09-01 | 未艾医疗技术(深圳)有限公司 | 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品 |
CN111612792B (zh) * | 2019-02-22 | 2024-03-08 | 曹生 | 基于VRDS 4D医学影像的静脉的Ai内镜分析方法及产品 |
Also Published As
Publication number | Publication date |
---|---|
US20180350129A1 (en) | 2018-12-06 |
CN108986196B (zh) | 2024-03-08 |
EP3410403B1 (en) | 2023-08-30 |
JP6981726B2 (ja) | 2021-12-17 |
EP3410403A2 (en) | 2018-12-05 |
JP2019005558A (ja) | 2019-01-17 |
EP3410403A3 (en) | 2019-02-06 |
US10692273B2 (en) | 2020-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108986196A (zh) | 用于外科决策支持的关联的照片级真实的3d可视化 | |
JP6837551B2 (ja) | Hmdsに基づく医学画像形成装置 | |
Stytz et al. | Three-dimensional medical imaging: algorithms and computer systems | |
Viola et al. | Importance-driven feature enhancement in volume visualization | |
CN100553561C (zh) | 在ct血管造影术中分割结构的方法及设备 | |
CN107004305B (zh) | 与医学图像编辑相关的设备、系统、方法、装置和计算机可读介质 | |
US11810243B2 (en) | Method of rendering a volume and a surface embedded in the volume | |
CN110211215A (zh) | 医用图像处理装置以及医用图像处理方法 | |
JP2016193196A (ja) | 医用画像処理装置 | |
CN107924580A (zh) | 在医学成像中的表面体积混合模块的可视化 | |
CN101849248A (zh) | 用于对数据集进行体绘制的方法和设备 | |
CN107405126A (zh) | 检索成对的医学图像的对应结构 | |
DE10356272B4 (de) | Verfahren zur Navigation in 3-dimensionalen Bilddaten | |
CN103261878B (zh) | 用于使用x射线分析在对象中的受关注区域的方法和设备 | |
Jainek et al. | Illustrative hybrid visualization and exploration of anatomical and functional brain data | |
CN114387380A (zh) | 用于生成3d医学图像数据的基于计算机的可视化的方法 | |
Viola | Importance-driven expressive visualization | |
Chernoglazov | Tools for visualising mars spectral ct datasets | |
US20220292757A1 (en) | Image processing apparatus and method | |
Monclús Lahoya | Advanced interaction techniques for medical models | |
Senger | An immersive environment for the direct visualization and segmentation of volumetric data sets | |
Sharifi | Enhancing Visual Perception in Interactive Direct Volume Rendering of Medical Images | |
Zheng | Perceptually Based and Feature-Guided Techniques for Multimodal Volume Visualization | |
JP2024028133A (ja) | 医療ボリュームデータをレンダリングするためのコンピュータ実施方法 | |
Lahoya | Advanced interaction techniques for medical models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |