CN106485777A - 用功能信息在渲染解剖结构中光照 - Google Patents
用功能信息在渲染解剖结构中光照 Download PDFInfo
- Publication number
- CN106485777A CN106485777A CN201610773703.7A CN201610773703A CN106485777A CN 106485777 A CN106485777 A CN 106485777A CN 201610773703 A CN201610773703 A CN 201610773703A CN 106485777 A CN106485777 A CN 106485777A
- Authority
- CN
- China
- Prior art keywords
- illumination
- transmitting
- light
- function
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
- A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/55—Radiosity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/46—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment with special arrangements for interfacing with the operator or the patient
- A61B6/461—Displaying means of special interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2215/00—Indexing scheme for image rendering
- G06T2215/16—Using real world measurements to influence rendering
Abstract
在医学成像中组合功能和解剖信息。功能信息被处理为不仅沿着查看方向光照周围解剖结构的光源。结果,解剖结构的渲染图像包括使用全局光照示出生物活动的位置的加亮或视觉照明队列。
Description
背景技术
本实施例涉及医学成像。三维(3D)可视化是评估和记录病人的内部情况的常见实践。解剖和功能信息两者可能可用于可视化。功能信息表示生物活动,并且来自分子成像模态,比如正电子发射断层成像术(PET)或单光子发射计算断层成像术(SPECT)。解剖信息可从诸如计算断层成像术(CT)或磁共振成像(MRI)之类的其他模态获得。
常规地,PET和SPECT的信息与CT和MRI体积数据融合,从而使用针对增加的新陈代谢的颜色调色板把功能信息示为有色斑点。颜色调色板的范围可以从针对中等新陈代谢的黄色到针对高新陈代谢的红色。在常规光线投射算法中,来自PET和SPECT数据的体素的颜色发射从所测量的功能活动的强度得出。当连同经记录的解剖信息可视化功能信息时,功能信息应当清晰可见,从而示出解剖情境内的增加的生物活动的区域。清晰查看功能信息可能是困难的,因为解剖特征经常遮蔽功能信息。例如,因为具有更强生物活动的肿瘤嵌入在器官中,所以器官的解剖表示阻碍查看嵌入的功能信息。
可以至少部分避免遮蔽。因为在光线投射方法中仅在从发射点到图像平面像素的直线路径上传送针对功能信息的发射颜色,所以以骨骼不透明而软组织透明的方式设置针对解剖结构信息的传递函数。可替换地,采用切割平面来去除遮蔽解剖结构。两种方法均导致较少的解剖信息。
发明内容
通过介绍的方式,以下描述的优选实施例包括用于对功能和解剖信息进行医学成像的方法、系统、指令和计算机可读介质。将功能信息处理为不仅沿着查看方向光照周围解剖结构的光源。结果,解剖结构的渲染图像包括加亮或视觉照明队列,其示出生物活动的位置。
在第一方面,一种系统被提供用于对功能和解剖信息进行医学成像。发射成像系统配置成测量表示病人体积的功能信息。医学成像仪配置成测量表示病人体积的解剖信息。图形渲染处理器配置成在全局光照情况下根据解剖信息渲染病人体积的图像。全局光照基于功能信息。显示器配置成显示图像。
在第二方面,一种方法被提供用于对功能和解剖信息进行医学成像。对通过在病人体积内检测到的发射进行的光生成进行建模。使用通过检测到的发射进行的光生成的建模来渲染病人体积的解剖结构。由渲染产生的图像被显示。
在第三方面,一种非临时性计算机可读存储介质具有存储于其中的数据,该数据表示可由编程处理器执行以对功能和解剖信息进行医学成像的指令。存储介质包括用于以下操作的指令:生成病人解剖结构的三维图像;把照明添加到三维图像,所述照明在多个方向上从解剖结构的检测到功能的部分发出;以及显示三维图像。
本发明由以下权利要求限定,并且在该部分中没有什么应当被视为对那些权利要求的限制。本发明的另外的方面和优点在下文结合优选实施例被讨论,并且可以稍后独立地或组合地被要求保护。
附图说明
各部件和附图不一定成比例,而是将重点放在说明本发明的原理。而且,在附图中,相似的附图标记遍及不同视图指定对应的部分。
图1是用于根据解剖和功能信息进行医学成像的系统的一个实施例的框图;
图2图示根据体积中的功能信息建模的照明;
图3是用于根据解剖和功能信息进行医学成像的方法的一个实施例的流程图;以及
图4A是其中剪裁平面和骨骼传递函数被用来在没有遮蔽的情况下对功能信息进行成像的示例渲染图像。功能信息不光照体积。图4B示出在仅光照源是PET位置的情况下的CT体积。
具体实施方式
现实照明(例如,诸如环境遮蔽、阴影和/或漏光之类的全局光照效应的存在)是针对深度和形状感知的重要线索。因此,重要的是,当根据体积数据渲染图像时提供这种照明效应,以允许更好的图像理解。在医学领域中,照明可以供应形状和深度信息用于更好的3D图像理解,并且提高图像质量用于有噪声和低剂量的体积重构,诸如针对功能信息。
使用功能体积数据来光照解剖体积数据。基于物理的体积渲染方法用于可视化解剖数据。基于物理的体积渲染模拟从光到检测器的各种路径,因此支持全局光照效应。功能数据被用来定义发光体素或光源位置或区域。代替仅仅朝着照相机从具有高新陈代谢的区域发射光,使用全局光照效应将光传送到周围组织并且光对解剖结构进行光照。通过使用功能数据来定义光,在解剖结构的渲染中提供具有增加的新陈代谢的区域的发光亮斑。发光亮斑的颜色和明亮度通过从PET或SPECT数据所测量的功能信息来确定。
图1示出用于对功能和解剖信息进行医学成像的系统的一个实施例。系统配置成实施图3的方法或其他方法。系统渲染表示病人的3D空间或体积的2D图像(即,渲染3D图像)。使用功能信息和解剖信息两者来渲染图像。替代减少或去除解剖信息以避免功能信息的遮蔽,功能信息被用作全局光照源。替代用颜色斑点渲染潜在遮蔽解剖结构的传统方式,功能信息被指示为发光亮斑或光。
系统提供一个或多个图像用于诊断。此外,存在用于在增强现实、营销、医生病人沟通和解剖教育中进行拟真医学体积渲染的应用。其他应用可以存在。
系统被示出为具有三个部件:医学成像仪12、发射成像系统18和计算机20。这三个部件是分离的设备。在其他实施例中,计算机20是医学成像仪12或发射成像系统18的部分。在又其他实施例中,计算机20被提供为不具有医学成像仪12或发射成像系统18的工作站、服务器,或计算机。解剖和功能信息被存储在存储器22中。在又一实施例中,医学成像仪12是集成有发射成像系统18的CT系统,并且计算机20是发射成像系统18的控制器或集成计算机。可以提供附加、不同或更少的部件,诸如包括解剖或功能信息的其他或不同源。
医学成像仪12是CT、MRI、超声、x-射线或荧光检查系统。医学成像仪12是用于扫描病人的内部和对解剖结构进行成像的任何现在已知或以后开发的医学成像系统。在一个实施例中,医学成像仪12是CT系统。x-射线源和相对的检测器安装到机架。机架关于病人移动源和检测器,从而从相对于病人的各种角度提供x-射线衰减的投影测量。处理器或计算机使用计算断层成像术根据测量结果重构病人解剖结构。在另一实施例中,医学成像仪12是MRI系统。主磁体生成B0场。梯度线圈在空间上把病人体内的分子的磁共振响应编码成由一个或多个整体或局部线圈提供的磁脉冲。相同或不同的线圈测量针对磁脉冲的响应,从而提供k空间数据。处理器或计算机应用傅立叶或其他变换把k空间数据转换为表示病人的解剖结构的测量结果。
医学成像仪12测量表示病人体积的解剖信息。医学成像仪12配置成扫描病人的内部区域。可以扫描病人的任何部分或范围,诸如扫描器官、躯干、肢体或全身。扫描获取表示病人的内部的数据。所表示的部分包括来自病人的响应的体积或三维分布。
医学成像仪12获取至少一个数据集。该数据集或数据帧表示在特定时间或时段的病人的内部区域。获取静态体积。可替换地,以持续的方式执行或重复所述扫描,以获取数据集的序列。因为每个集表示在给定时间或时段的体积,所以所述序列表示随时间的体积(3D+t或4D数据)。可以提供任何帧或体积速率。
解剖信息或扫描数据被重构到均匀网格(例如,3D重构)或具有表示体积的另一格式。在一个实施例中,来自扫描的数据被格式化为各向同性网格中的体素。例如,使用512×512×512笛卡尔网格中的体素。可以使用各向异性网格。可以使用其他格式,诸如表示极坐标格式中的位置的数据。对于每个体素或位置而言,由标量值(例如,16位动态范围)提供扫描响应,但是也可以使用其他表示,诸如RGB值。体素的标量值是病人的解剖结构的测量结果。
发射成像系统18是PET、SPECT、或者其他分子或功能成像系统。因为发射成像系统18测量生物活动,所以可以是MRI或CT系统,其配置成测量功能而不是解剖信息或者配置为测量功能以及解剖信息。在一个实施例中,发射成像系统18是PET系统。检测器的圆柱形或其他布置定义病人或发射检测空间。病人体内的放射性示踪剂使得发射发生。示踪剂结合到生物活动的位置或者与生物活动的位置相互作用。检测器检测两个点处来自示踪剂的每个发射。计算机或处理器根据许多检测重构发射的位置或点。在另一实施例中,发射成像系统18是SPECT系统。伽玛照相机关于病人旋转,从而检测来自示踪剂的发射。计算机或处理器根据检测来重构发射的位置或点。
发射成像系统18测量病人体积内的功能。测量结果针对相同或重叠体积,医学成像仪12获取针对该相同或重叠体积的数据。与解剖信息相比,测量结果被格式化为相同或不同网格中的体素。因为体素表示所检测到的来自病人体内的示踪剂的发射,所以提供针对病人的功能信息。发射成像系统18测量体积中的生物活动。
计算机20是平板电脑、个人计算机、膝上计算机、服务器、工作站、控制器或用于生成医学图像的其他设备。计算机20包括存储器22、用户输入24、图形渲染处理器26和显示器28。可以提供附加、不同或更少的部件,诸如没有用户输入24。
计算机20使用来自医学成像仪12的解剖信息和来自发射成像系统18的功能信息,以渲染体积的2D表示或3D图像。在一个实施例中,存储器24存储解剖信息、功能信息、渲染的图像、照明模型、路径、传递函数和/或渲染信息。
存储器24是图形处理存储器、视频随机存取存储器、随机存取存储器、系统存储器、 高速缓存存储器、硬盘驱动器、光学介质、磁介质、闪存驱动器、缓冲器、数据库、他们的组合,或其他现在已知的或以后开发的用于存储体素数据或其他数据的一个或多个集的存储器设备。
计算机20由软件、固件和/或硬件配置用于渲染。存储器24存储指令以用于计算机20或图形渲染处理器26执行渲染。存储器24或其他存储器是非临时性计算机可读存储介质,其存储表示可由编程的处理器26执行以用于医学成像的指令的数据。用于实施本文讨论的过程、方法和/或技术的指令被提供在计算机可读存储介质或存储器(诸如高速缓存、缓冲器、RAM、可移动介质、硬盘驱动器或其他计算机可读存储介质)上。计算机可读存储介质包括各种类型的易失性和非易失性存储介质。在附图中图示或本文描述的功能、行为或任务响应于存储在计算机可读存储介质中或计算机可读存储介质上的一个或多个指令集来执行。功能、行为或任务独立于特定类型的指令集、存储介质、处理器或处理策略,并且可以由软件、硬件、集成电路、固件、微代码等单独操作或组合地执行。同样地,处理策略可以包括微处理、多任务、并行处理等。
在一个实施例中,指令被存储在可移动介质设备上用于由本地或远程系统读取。在其他实施例中,指令被存储在远程位置中用于通过计算机网络或通过电话线传递。在又其他实施例中,指令被存储在给定的计算机、CPU、GPU或系统内。
用户输入24是键盘、按钮、滑块、旋钮、跟踪板、鼠标、触摸传感器、触摸屏、或其他传感器。用户输入24配置成接收来自用户的输入。输入可以如此使用滑块或点击和拖动操作旋转视图或设置窗口水平来配置图像用于查看。在一个实施例中,用户输入24接收光照水平的用户选择。由用户选择基本亮度和/或光照颜色图。可替换地,计算机20使用默认水平的光照和/或颜色图(例如,传递函数)。
图形渲染处理器26是通用处理器、中央处理单元、控制处理器、图形处理器、图形处理单元、图形卡、数字信号处理器、 三维渲染处理器、图像处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字电路、模拟电路、他们的组合,或用于根据数据渲染图像的其他现在已知或以后开发的设备。图形渲染处理器26是串行、并行或分离地操作的单个设备或多个设备。
图形渲染处理器26由软件、固件和/或硬件配置来渲染体积的3D图像或其他2D显示表示。图像是来自视点和查看方向的病人体积的单个表示。可以使用投影或表面渲染。对于投影渲染而言,图形渲染处理器26投射光线通过体积。针对图像的每个像素投射光线。在一个实施例中,渲染使用基于物理的体积渲染。例如,使用蒙特卡罗(Monte Carlo)渲染或路径跟踪。通过体积跟踪路径。路径可以不是光线的直线。路径可以遵循光到达投影或检测器平面中的像素所采用的路线,诸如计及任何数目的反射、反弹、折射和/或散射。可以针对每个像素跟踪任何数目的路径。物理结构或解剖结构信息可以被用来随机地或依概率确定针对基于物理的体积渲染的散射或路径发散。自然底纹、基于物理的体积渲染和光照图可被用于渲染。可以使用除了路径跟踪以外的能够合并全局光照的方法,诸如光子映射、双向路径跟踪或中心光传送。
使用解剖和功能信息(诸如,表示相同体积或重叠体积中的解剖结构和功能的体素集)渲染图像。渲染是病人的体积并来自解剖信息。表示解剖信息的体素被用来渲染图像。针对每个体素的基本颜色和/或不透明度通过将传递函数应用到解剖信息来确定。
功能信息用于光照或照明。对于局部光照,确定表面或不透明结构。计算表面处沿着来自光源的光线的光。对于环境照明,对一个或多个外部光源进行建模。外部光源是虚拟的,或者可以基于病人环境中的测量结果,诸如是环境光的测量结果。在一个实施例中,使用全局光照。全局光照提供发出或传递经过软组织的光。全局光照计及间接照明,诸如通过如发源于病人体积内的光的散射提供的。路径跟踪用于间接照明或沿着间接或反弹路径的照明。可以使用不同照明的组合,诸如全局光照或环境照明。
全局光照或其他照明基于功能信息。功能信息被处理为光源和/或相比于解剖信息不同地与照明相互作用。例如,具有阈值以上的功能测量结果的位置或体素被处理为来自体积内的光照源。该位置是将光辐射到周围组织的点源。结果,来自该位置的光被传送至与从虚拟查看器(即,照相机)到用于渲染的检测器平面上的像素位置的光线间隔开的周围解剖结构位置。解剖结构用于渲染,但功能信息用于解剖结构的渲染中的全局光照。这使得生物活动的位置处的解剖结构由于相对于低生物活动或没有生物活动的位置的照明而发光、发亮或被加亮。这也使得生物活动的位置附近的解剖结构具有照明提示(例如,阴影或底纹)。
图形渲染处理器26针对解剖和功能信息访问存储器22。用户输入24提供用户控制信息用于渲染,诸如选择窗口或水平、传递函数、查看方向、缩放和/或其他输入。可替换地,默认值或选择使用的值被存储在存储器22中并且从存储器22被访问。
在一个实施例中,图形渲染处理器26在照明(例如,全局光照)的强度基于来自用户的控制输入的情况下进行渲染。基于功能信息的照明的全局强度可以通过用户使用用户界面控件(诸如滑块)来影响或设置。可替换地,强度基于默认值。强度可以定义照明亮度的平均值、中值或动态范围。通过调整强度,功能信息到光亮度的映射被更改以针对给定标量值提供更大或更小的照明亮度。
在渲染的一个实施例中,图形渲染处理器 26沿着到像素或图像平面位置的一个或多个路径积累基本颜色和不透明度。蒙特卡罗或其他路径跟踪定义到每个像素的一个或多个路径。针对每个像素,从一个或多个路径积累颜色。沿着路径的体素通过对映射的颜色和不透明度求平均或求和来积累。解剖信息被用来渲染由针对每个像素的不透明度加权的颜色。
每个体素标量或解剖结构样本映射到一种颜色 (例如,RGB值)和不透明度。针对解剖结构的传递函数设置标量到颜色和不透明度的关系。在路径跟踪渲染(诸如蒙特卡罗渲染)中,针对在光线行进期间沿着每个路径的每个样本点计算来自解剖体积数据的样本。来自解剖体积数据的样本使用传递函数被映射到颜色和不透明度。来自解剖结构传递函数的颜色和不透明度被分配给样本位置作为基本颜色和不透明度值。
照明对解剖渲染有贡献。针对每个体素或位置的不透明度沿着路径被积累,以计算诸如在伍德科克(woodcock)跟踪中的光散射事件的概率。使用随机数生成,从所述概率确定散射事件的存在。在没有散射事件发生的情况下,沿着路径的积累继续。
在散射事件发生的情况下,针对发生位置处的样本的基本颜色和/或沿着到发生位置的路径的积累颜色被修改。用光颜色和/或光亮度修改解剖结构颜色。来自功能体积数据的样本针对在光线行进期间沿着每个路径的样本点进行计算。用功能传递函数将功能样本从针对相应位置的功能信息映射到光颜色或光谱和光亮度。可以使用任何传递函数。在一个实施例中,表示更强生物活动的更大标量映射到白或红颜色,并且较小标量映射到黄、蓝、灰、黑或其他颜色。
颜色被用来在每个散射事件时修改路径光颜色。在散射发生的情况下,基于在该位置处的功能样本或沿着路径的功能样本的积累将光添加到该位置。这导致该位置成为光源。通过添加光颜色和/或亮度来将光添加到该体素。为了添加光,来自解剖样本或积累的样本的颜色被修改,诸如被着色和/或在明亮度上被改变。使颜色底纹和/或亮度变化以计及所添加的光。
图2表示其中查看器正查看体积40的示例。在体积内,球形区域42具有阈值以上的功能测量结果。那些测量结果导致体素在其中作为在各种方向上辐射光的光源。查看器从由箭头表示的方向查看体积40。光与查看方向平行以及平行地辐射。使用全局光照和蒙特卡罗路径跟踪,体积40可以被渲染以示出与被加亮为更亮、被着色和/或以其它方式作为光源发光的生物活动相关联的体素处的解剖结构。针对相邻于光源和与光源间隔开的其他体素的解剖结构被类似修改以计及照明。也可以添加附加环境照明44。
各种方法可以被用来添加从功能数据得出的照明。例如,来自针对所述位置的解剖结构的基本样本的基本颜色和/或不透明度被修改。作为另一示例,沿着路径的照明被积累并被添加到由沿着路径的积累产生的针对解剖结构的最终积累的像素颜色。
可以提供任何修改。在一个实施例中,针对每个样本的光被加倍或用来加权来自针对该样本的解剖结构的颜色。例如,基本颜色的RGB利用光RGB值来加权。在另一实施例中,将环境照明处理为权重。添加被建模为全局光照的光,诸如用来自功能数据的光RGB值对基本RGB值求和。
在一种方法中,来自功能数据的光颜色和光亮度被添加为在该位置处具有发射属性。光颜色和亮度被添加到样本点的一个或多个发射属性,并且被添加到路径的光份额。可以使用任何发射属性,诸如底纹、反射、折射或光照。对路径的采样被继续,直到路径的跟踪完成并且光份额被添加到图像平面的虚拟检测器像素为止。沿着具有功能样本的路径的每个样本点的发射份额被添加或积累。在沿路径退出体积时,由积累的颜色修改积累的解剖信息。因为路径遵循光相互作用,所以像素包括来自相对于直光线的周围体素的照明份额。其他照明(诸如来自环境)也可以被添加或用来修改。
在另一方法中,渲染中的路径跟踪终止在沿着路径的位置处。一旦找到或计算出来自功能样本点的特定光亮度,就终止该路径。一旦被终止,光颜色和光亮度就被添加到针对被终止路径的解剖结构样本的积累结果。由功能数据定义的光源的光份额被直接添加到图像平面的检测器像素。作为具有阈值以上的光亮度或针对阈值以上的积累光亮度的位置给出的亮斑终止路径跟踪。由光亮度在终止时在没有其他照明的情况下(例如,在没有环境照明的情况下)来修改积累的解剖结构颜色。
在确定针对检测器平面上的每个像素的颜色之后,生成图像。该图像示出具有更强照明同时仍提供解剖信息的亮斑或位置。基于功能信息的全局光照加亮与更强生物活动相关联(诸如与针对相邻解剖结构的照明线索相关联)的解剖结构。
为了进一步强调,可以生成图像序列。用于该序列的体积或数据针对每个图像是静态的或相同的。全局光照的强度随序列发生变化,诸如以循环模式(cyclical pattern)变化。这导致当随时间显示所述序列的图像时生物活动的亮斑或位置显现为随着针对相邻解剖结构的对应照明线索而脉动。生物活动的位置可以由于该脉动而被查看器更好地识别。
显示器28是CRT、LCD、LED投影仪、等离子体、打印机或其他显示设备。显示器28显示在显示缓冲器中提供的一个或多个图像。渲染的3D图像被显示在显示器28上。其他信息(诸如用于控制渲染的图标或图形)可以被显示。
图3示出用于对功能和解剖信息进行医学成像的方法的一个实施例。为了指示生物活动或功能的位置和范围,解剖结构信息的渲染包括功能信息。功能信息作为照明被包括。照明的亮度和/或颜色基于功能标量的量值。通过将功能信息处理为全局光照源,生物活动的位置以及其他位置处的体积的解剖结构被生物活动的位置照亮。作为全局光照的功能信息允许相对于渲染的解剖结构的各种照明线索指示生物活动的位置,同时仍包括除了具有不透明度(例如,1-75%之间的不透明度)的骨骼以外的解剖结构。
通过图1的系统或另一系统实施该方法。例如,行为32和34由计算机20和/或图形渲染处理器26执行,并且行为36由显示器28执行。任何一个或多个行为可以由诸如医学成像仪12或发射成像系统18之类的不同设备执行。
以所示出的次序或其他次序执行这些行为。例如,以所示出的次序、相反的次序或同时地执行行为32和34。
可以提供附加、不同或更少的行为。例如,提供用于选择查看方向、窗口或水平、传递函数或其他渲染设置的行为。作为另一示例,行为36不被执行,但将图像存储或通过网络传输。
在行为32中,将光建模为由病人体积内所检测到的发射生成。针对其检测到生物活动的体素或位置被处理为光源。为了渲染体积,针对功能成像测量的发射被建模以全局光照病人体积。生物活动的位置被处理为病人体积内的虚拟光源。
检测到发射的体素被建模为针对更强发射具有更强光亮度和/或特定颜色的光源。针对每个体素所测量的发射的量值被映射到光亮度和/或颜色。可以使用线性、非线性或其他映射。光针对较大量值更白、更亮、更红或其他特性,并且针对较小量值更暗、不太强烈、更灰、更黑或其他特性。可以应用阈值,使得光不被建模为针对低于阈值水平的检测到的发射来生成。
建模的照明被添加到渲染。部分使用该照明模型渲染解剖结构。从检测到的发射(例如,PET或SPECT标量测量结果)得出的照明被添加到渲染。该光被处理为在多个方向上发出。添加的光在各种方向照耀在周围体素上或者与周围体素相互作用。光被添加到与生物功能相关联的解剖结构的部分,但光照解剖结构的其他部分。针对不与检测到的发射相关联(即,没有低于阈值的生物活动或发射)的解剖结构的部分,对应的体素不被处理为光源。光可以经过体素和/或与体系相互作用,但光模型不将体素处理为光源。
使用附加函数添加光。可替换地,使用乘法函数的权重添加光。诸如减法或除法之类的其他函数可以被用来添加光模型的效应。可以使用任何光模型和光模型与体积或渲染图像的对应相互作用。
光模型将光添加为具有针对检测到的发射的每个位置的发射属性。可以使用来自体积内建模的光的底纹、散射或其他发射效应。对用于渲染的各种体素的光效应被添加。渲染然后使用光模型修改的体素。
可替换地或附加地,光模型提供针对每个检测器像素或跟踪路径确定的光效应。一旦针对图像平面的检测器像素的渲染完成,来自光模型的光份额就被添加到该像素。
在行为34中,生成病人的解剖结构的3D图像。表示病人体积的解剖结构被渲染。针对体积的解剖结构信息的体素被投影到2D平面。投影使用传递函数来将解剖结构值映射到针对体素的显示值。沿着通过体积跟踪的路径积累显示值,以确定针对3D图像中像素的值。可以使用在全局光照的情况下可操作的任何现在已知或以后开发的渲染。例如,使用基于蒙特卡罗渲染或光散射方法。
在渲染中使用对光的建模。来自检测到的发射的位置的全局光照被包括在渲染中。添加的照明导致针对一个或多个像素的不同值。例如,检测到的发射的位置由于光模型而显现得更亮、更强烈或被着色。相邻的解剖结构包括阴影、亮度、着色和/或其他特性,以看起来好像被检测到的发射的位置照亮。
渲染可以包括发射效应。光模型被用来修改从解剖结构信息传递的样本。因为所述渲染沿着针对每个像素的一个或多个路径积累样本,所以被添加到所述积累的所积累的一个或多个样本被修改以计及照明。可替换地,最终像素或路径值被更改以计及沿着路径的光。
渲染可以部分响应于或者受控于光模型。例如,沿着路径的光亮度被积累。当光亮度达到阈值水平时,沿着该路径的渲染被终止。在该点处积累的解剖结构信息然后被修改以计及光亮度,从而提供渲染的像素。
在行为36中,渲染的图像被显示。显示由用被建模为来自检测到的发射的光的渲染产生的图像。例如,表示被扫描体积的医学图像被显示。医学图像表示体积中的位置处的给定视场中的解剖结构。也通过照明表示解剖结构的功能或生物活动。
该3D图像可以用于诊断或其他目的。图4B示出示例渲染图像,其中检测到的发射作为全局光照中的光源。不同于剪裁平面和骨骼传递函数被用来暴露功能信息的图4A,图4B通过照明线索示出功能信息。
增强生物活动的区域的标识可以被更容易地查看,从而将它们处理为解剖结构的渲染中的光源。区域可以由于照明线索而被更容易地查看,即使这种区域被其他解剖特征遮蔽或嵌入在其他解剖特征中。除了传统颜色编码以外,发光亮斑的强度向放射科医生提供关于生物活动的强度的附加视觉线索。替代于使用有色斑点示出解剖情境内部的功能信息,功能信息光照周围解剖特征。因此,高新陈代谢区域被可视化为发光亮斑,其光照附近的解剖结构。光也通过周围组织漏出。
发光区域的明亮度和颜色可以直接通过由PET和SPECT收集的功能信息调制。因此,高新陈代谢区域更容易标识,特别是在以下的情境中:作为功能活动的特定区域的解剖结构的拟真渲染可能另外被建模的外部照明不良地光照或者可能被其他解剖结构遮蔽。而且,当这种发光区域嵌入在软组织内部时,用户仍能够由于通过遮蔽解剖结构(例如,软组织)漏出的光而标识这种区域。因此,变得可能的是,在没有遮蔽问题的周围解剖结构的情境中示出亮斑(增加的发射的位置和/或光生成的位置)。此外,如果不使用外部光源,则可以完全通过功能数据光照解剖体积数据。
虽然本发明已经在上文参考各种实施例被描述,但是应当理解的是,可以在不脱离本发明的范围的情况下做出许多改变和修改。因此,前述详细描述旨在被视为说明性的而不是限制性的,并且应理解的是,包括所有等价物的所附权利要求旨在限定本发明的精神和范围。
Claims (20)
1.一种用于对功能和解剖信息进行医学成像的系统,所述系统包括:
发射成像系统,配置成测量表示病人体积的功能信息;
医学成像仪,配置成测量表示病人体积的解剖信息;
图形渲染处理器,配置成在全局光照情况下根据解剖信息渲染病人体积的图像,所述全局光照基于功能信息;以及
显示器,配置成显示所述图像。
2.根据权利要求1所述的系统,其中发射成像系统是正电子发射断层成像系统或单光子发射计算断层成像术系统,并且其中医学成像是计算断层成像术或磁共振系统。
3.根据权利要求1所述的系统,其中功能信息是表示来自病人体内的示踪剂的发射的第一体素集,并且其中解剖信息是表示病人的解剖结构的标量测量结果的第二体素集。
4.根据权利要求1所述的系统,其中图形渲染处理器配置成用蒙特卡罗路径跟踪来渲染所述图像。
5.根据权利要求1所述的系统,其中图形渲染处理器配置成用全局光照渲染图像,所述全局光照包括功能信息的位置是来自体积内的光照源。
6.根据权利要求1所述的系统,其中图形渲染处理器配置成用全局光照渲染图像,所述全局光照包括将光传送到与从照相机到像素位置的线间隔开的周围解剖结构位置。
7.根据权利要求1所述的系统,其中图形渲染处理器配置成渲染图像包括:配置成用第一传递函数将解剖结构样本从针对位置的解剖信息映射到基本颜色和不透明度,以及用第二传递函数将功能样本从针对所述位置的功能信息映射到光颜色和光亮度。
8.根据权利要求7所述的系统,其中图形渲染处理器配置成渲染图像还包括:配置成从所述位置和沿着路径的其他位置积累基本颜色和不透明度,并且用光颜色和光亮度修改基本颜色。
9.根据权利要求8所述的系统,其中图形渲染处理器配置成修改包括:配置成添加光颜色和光亮度作为针对所述位置的发射属性。
10.根据权利要求8所述的系统,其中图形渲染处理器配置成修改包括:配置成在所述位置终止所述路径,并且添加光颜色和光亮度到针对所终止的路径的积累的结果。
11.根据权利要求1所述的系统,其中图形渲染处理器配置成渲染包括:配置成用全局光照渲染所述图像的序列,所述全局光照通过所述序列循环变化。
12.根据权利要求1所述的系统,还包括用户输入,其中图形渲染处理器配置成:在全局光照的强度响应于由用户从用户输入进行的控制的情况下进行渲染。
13.一种用于对功能和解剖信息进行医学成像的方法,所述方法包括:
由在病人体积内检测到的发射对光生成进行建模;
使用由检测到的发射对光生成的建模渲染病人体积的解剖结构;以及
显示由渲染产生的图像。
14.根据权利要求13所述的方法,其中建模包括:由表示体积中的发射的体素进行全局光照。
15.根据权利要求13所述的方法,其中建模包括:把检测到的发射的体素建模为针对更强发射具有更大亮度的光源。
16.根据权利要求13所述的方法,其中渲染包括:用基于蒙特卡罗的光散射来进行渲染,并且其中建模包括:将照明添加到渲染,所述照明从检测到的发射得出。
17.根据权利要求13所述的方法,其中建模包括:添加所述光作为针对检测到的发射的每个位置的发射属性。
18.根据权利要求13所述的方法,其中渲染包括:用基于光亮度的路径终止来进行渲染,光亮度来自使用检测到的发射进行的建模,并且其中建模包括:添加光份额到图像平面的检测器像素。
19.一种在其中存储有数据的非临时性计算机可读存储介质,所述数据表示可由编程处理器执行以对功能和解剖信息进行医学成像的指令,所述存储介质包括用于以下操作的指令:
生成病人的解剖结构的三维图像;
把照明添加到三维图像,所述照明在多个方向上从解剖结构的检测到功能的部分发出;以及
显示三维图像。
20.根据权利要求19所述的非临时性计算机可读存储介质,还包括:无法添加从解剖结构的未检测到功能的其他部分发出的照明。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/843347 | 2015-09-02 | ||
US14/843,347 US10354438B2 (en) | 2015-09-02 | 2015-09-02 | Illumination in rendering of anatomy with functional information |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106485777A true CN106485777A (zh) | 2017-03-08 |
CN106485777B CN106485777B (zh) | 2020-03-24 |
Family
ID=58104166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610773703.7A Active CN106485777B (zh) | 2015-09-02 | 2016-08-31 | 用功能信息在渲染解剖结构中光照 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10354438B2 (zh) |
CN (1) | CN106485777B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584349A (zh) * | 2017-09-28 | 2019-04-05 | 西门子保健有限责任公司 | 用于渲染材料属性的方法和设备 |
CN109712217A (zh) * | 2018-12-21 | 2019-05-03 | 上海联影医疗科技有限公司 | 一种医学图像可视化方法和系统 |
CN111080765A (zh) * | 2019-12-23 | 2020-04-28 | 北京工业大学 | 一种基于梯度采样的光线跟踪体绘制方法 |
CN111127578A (zh) * | 2019-12-25 | 2020-05-08 | 浙江杜比医疗科技有限公司 | 智能可编程光源dot成像系统、方法和装置 |
CN112541882A (zh) * | 2019-09-23 | 2021-03-23 | 西门子医疗有限公司 | 医学体积渲染中的隐式表面着色 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9911225B2 (en) * | 2015-09-29 | 2018-03-06 | Siemens Healthcare Gmbh | Live capturing of light map image sequences for image-based lighting of medical data |
US9947133B2 (en) * | 2016-07-12 | 2018-04-17 | Pixar | Method and system for modeling light scattering in a participating medium |
CN109661684B (zh) * | 2016-09-06 | 2023-03-28 | 维塔医疗股份公司 | 用于现实交互式超声模拟的射线追踪方法 |
WO2019045144A1 (ko) * | 2017-08-31 | 2019-03-07 | (주)레벨소프트 | 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법 |
US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
US11398072B1 (en) * | 2019-12-16 | 2022-07-26 | Siemens Healthcare Gmbh | Method of obtaining a set of values for a respective set of parameters for use in a physically based path tracing process and a method of rendering using a physically based path tracing process |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101178814A (zh) * | 2007-11-30 | 2008-05-14 | 华南理工大学 | 一种融合解剖与功能成像信息数据场的半透明体绘制方法 |
CN102024271A (zh) * | 2009-09-21 | 2011-04-20 | 西门子公司 | 借助体绘制有效地可视化对象特征 |
CN102024269A (zh) * | 2009-09-21 | 2011-04-20 | 西门子公司 | 在体绘制中有效确定灯光效果 |
CN104008568A (zh) * | 2013-02-20 | 2014-08-27 | 株式会社东芝 | 医用图像处理装置以及医用图像处理方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9582926B2 (en) * | 2015-05-22 | 2017-02-28 | Siemens Healthcare Gmbh | Coherent memory access in Monte Carlo volume rendering |
-
2015
- 2015-09-02 US US14/843,347 patent/US10354438B2/en active Active
-
2016
- 2016-08-31 CN CN201610773703.7A patent/CN106485777B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101178814A (zh) * | 2007-11-30 | 2008-05-14 | 华南理工大学 | 一种融合解剖与功能成像信息数据场的半透明体绘制方法 |
CN102024271A (zh) * | 2009-09-21 | 2011-04-20 | 西门子公司 | 借助体绘制有效地可视化对象特征 |
CN102024269A (zh) * | 2009-09-21 | 2011-04-20 | 西门子公司 | 在体绘制中有效确定灯光效果 |
CN104008568A (zh) * | 2013-02-20 | 2014-08-27 | 株式会社东芝 | 医用图像处理装置以及医用图像处理方法 |
Non-Patent Citations (5)
Title |
---|
LIN ZHENG等: "Using global illumination in Volume Visualization of Rheumatoid Arthritis CT data", 《IEEE COMPUTER GRAPHICS AND APPLICATION》 * |
林桂粉 等: "基于蒙特卡罗模拟3-D PET图像重建的研究", 《原子能科学技术》 * |
殷夫 等: "PET/CT图像质量主观评价与感知模型", 《深圳大学学报 理工版》 * |
殷夫: "PET/CT图像质量主观评价与感知模型的研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
王文化 等: "使用双传递函数设计的PET-CT多模态体绘制", 《计算机应用与软件》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109584349A (zh) * | 2017-09-28 | 2019-04-05 | 西门子保健有限责任公司 | 用于渲染材料属性的方法和设备 |
CN109584349B (zh) * | 2017-09-28 | 2023-10-20 | 西门子保健有限责任公司 | 用于渲染材料属性的方法和设备 |
CN109712217A (zh) * | 2018-12-21 | 2019-05-03 | 上海联影医疗科技有限公司 | 一种医学图像可视化方法和系统 |
CN109712217B (zh) * | 2018-12-21 | 2022-11-25 | 上海联影医疗科技股份有限公司 | 一种医学图像可视化方法和系统 |
CN112541882A (zh) * | 2019-09-23 | 2021-03-23 | 西门子医疗有限公司 | 医学体积渲染中的隐式表面着色 |
CN111080765A (zh) * | 2019-12-23 | 2020-04-28 | 北京工业大学 | 一种基于梯度采样的光线跟踪体绘制方法 |
CN111080765B (zh) * | 2019-12-23 | 2023-09-29 | 北京工业大学 | 一种基于梯度采样的光线跟踪体绘制方法 |
CN111127578A (zh) * | 2019-12-25 | 2020-05-08 | 浙江杜比医疗科技有限公司 | 智能可编程光源dot成像系统、方法和装置 |
CN111127578B (zh) * | 2019-12-25 | 2023-04-07 | 浙江杜比医疗科技有限公司 | 智能可编程光源dot成像系统、方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN106485777B (zh) | 2020-03-24 |
US20170061681A1 (en) | 2017-03-02 |
US10354438B2 (en) | 2019-07-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106485777A (zh) | 用功能信息在渲染解剖结构中光照 | |
US10643401B2 (en) | Two-dimensional cinematic medical imaging in color based on deep learning | |
CN107924580A (zh) | 在医学成像中的表面体积混合模块的可视化 | |
CN105103193B (zh) | 分层的二维投影生成和显示 | |
CN109801254A (zh) | 医学成像中的传递函数确定 | |
CN105263407B (zh) | 使用磁共振成像的对骨组织的探测 | |
US9001124B2 (en) | Efficient determination of lighting effects in volume rendering | |
CN108701370A (zh) | 基于机器学习的基于内容的医学成像渲染 | |
US10380787B2 (en) | Method and system for indicating light direction for a volume-rendered image | |
CN106981098A (zh) | 虚拟场景组分的视角表示 | |
CN107635469A (zh) | 基于pet系统中的散射符合的衰减图的估计 | |
CN107194988B (zh) | 显示人体器官三维医学模型内部标记点的方法和装置 | |
US9224236B2 (en) | Interactive changing of the depiction of an object displayed using volume rendering | |
Schubert et al. | Comparing GPU-based multi-volume ray casting techniques | |
US20090303236A1 (en) | Method and system for explicit control of lighting type in direct volume rendering | |
CN107945203A (zh) | Pet图像处理方法及装置、电子设备、存储介质 | |
Drouin et al. | PRISM: An open source framework for the interactive design of GPU volume rendering shaders | |
Ropinski et al. | Advanced volume illumination with unconstrained light source positioning | |
CN102713979A (zh) | 基于临床分类群体处理图像数据集 | |
US20140085305A1 (en) | Slice Representation of Volume Data | |
US20140049542A1 (en) | Layer Display of Volume Data | |
JP2023547526A (ja) | 断層撮影画像データの画像レンダリング方法 | |
CN108701492A (zh) | 医学图像导航系统 | |
US20220343586A1 (en) | Method and system for optimizing distance estimation | |
CN111724388B (zh) | 医学图像数据的可视化 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |