CN102292747B - 针对pet/ct图像的像素特征混合融合 - Google Patents
针对pet/ct图像的像素特征混合融合 Download PDFInfo
- Publication number
- CN102292747B CN102292747B CN200980155101.3A CN200980155101A CN102292747B CN 102292747 B CN102292747 B CN 102292747B CN 200980155101 A CN200980155101 A CN 200980155101A CN 102292747 B CN102292747 B CN 102292747B
- Authority
- CN
- China
- Prior art keywords
- image
- transparent
- color
- intensity spectrum
- voxel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims description 11
- 238000001228 spectrum Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 26
- 239000003086 colorant Substances 0.000 claims abstract description 16
- 239000000758 substrate Substances 0.000 claims description 18
- 238000002600 positron emission tomography Methods 0.000 description 76
- 238000002591 computed tomography Methods 0.000 description 65
- 238000003384 imaging method Methods 0.000 description 23
- 238000013170 computed tomography imaging Methods 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000012879 PET imaging Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000002603 single-photon emission computed tomography Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 206010028980 Neoplasm Diseases 0.000 description 4
- 230000002596 correlated effect Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 230000005489 elastic deformation Effects 0.000 description 2
- 230000005714 functional activity Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000006424 Flood reaction Methods 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000033115 angiogenesis Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005251 gamma ray Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000003211 malignant effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000017074 necrotic cell death Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000000505 pernicious effect Effects 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/037—Emission tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Computer Graphics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
- Nuclear Medicine (AREA)
Abstract
一种图像显示方法，包括：针对其一个或多个部分(72、82、92)为透明的强度谱对第二图像进行颜色编码，以生成颜色编码的第二图像；将第一图像和颜色编码的第二图像结合，以生成融合的图像；以及显示所融合的图像。一种图像显示系统，包括：图像生成模块(50)，其配置为根据将颜色分配至强度谱的强度的色图(52)通过对输入图像进行颜色编码来生成图像；色图修改模块(56)，其配置为将强度谱的一部分(72、82、92)选择为透明的；以及显示器(42)，其配置为显示所生成的图像。
Description
技术领域
以下涉及多模态成像领域、医疗成像领域、医疗诊断领域、正电子发射断层摄影(PET)成像领域、计算机断层摄影(CT)成像领域、单光子发射计算机断层摄影(SPECT)成像领域、磁共振(MR)成像领域、超声成像领域以及相关领域。
背景技术
多模态成像必需使用诸如CT和PET或MR和PET或CT和PET以及MR等的两个或更多个不同的成像模态来采集受试者的图像。不同模态的图像可以由诸如混合CT/PET系统的混合系统采集，或由诸如独立的CT系统和独立的PET系统的独立的系统采集。多模态成像能够将组成成分的成像模态的优势协同地结合起来，以获得比单独地操作任何一个单个成像模态所提供的信息更多的信息。
多模态成像的一个普遍的示例是PET/CT，其中，PET成像提供诸如代谢活动信息的大量功能信息，而CT成像提供大量结构信息。协同结合使PET所提供的功能信息能够置于CT所提供的解剖背景中。混合PET/CT成像例如在肿瘤学中有用，其中，CT图像能够描绘癌性肿瘤及其周围的解剖邻域，而PET能够提供关于癌症的新陈代谢、坏死或其他功能方面的信息。
能够使用对图像的直接的并排比较来将来自不同模态的图像“结合”。然而，该方法要求放射科医生、内科医生、肿瘤学家或其他医疗专家以完全手动的方式合成来自两个模态的信息。例如，要求医学专家视觉上确定图像的哪些区域空间对应。由于不同的成像模态提供不同的信息，并且因此“看起来不同”，因而，对于医学专家而言，使不同模态的并排图像相关并合成可能是困难的。
因此，开发了各种图像融合显示技术。在这些技术中，将来自不同模态的图像进行覆盖或要不然就结合，以生成携带来自两个成像模态的信息的单个“融合”图像。使用PET/CT以作为图解说明的示例，覆盖图像融合显示示出作为衬底图像的灰度的(主要是解剖的)CT图像和作为覆盖图像的伪彩色的(主要是功能的)PET图像。基于像素值而从色图中选择分配至PET图像像素或体素的颜色。衬底和覆盖以可调整的透明度混合在一起。即，融合图像是衬底CT图像和覆盖PET图像的加权平均。在一些定量方法中，由在本文中表示为α的透明度系数控制可调整的透明度，来自衬底CT图像的贡献由α加权，来自覆盖PET图像的贡献由(l-α)加权，其中，α在0和1之间，且包含0和1。透明度系数α有时候也被称为α值。
关于图像覆盖技术的一个问题是可能歪曲信息。例如，视觉系统轻易地检测到由PET覆盖引入的颜色的变化，但不会强烈地受到CT衬底灰度强度的变化的影响。结果，医疗专家可能将由PET覆盖引入的颜色变化诠释为主要的图像特征，而实际上所察觉到的颜色变化仅表示PET图像强度的小变化。
关于图像覆盖技术的另一个问题是信息超载。图像覆盖是像素等级融合的形式。图像覆盖不丢弃任何信息。结果，图像覆盖可能向医疗专家呈现太多的信息，使得医疗专家难以或不可能有效地透彻理解融合信息。图像覆盖还以相同的方式处置所有像素或体素，这将大量带宽强加于人类视觉系统上。
对该信息超载问题的一个解决方案是提取组成成分图像中的一个或两者的相关特征，然后，仅将相关特征融合。例如，能够识别并经由图像覆盖而呈现肿瘤区域，因而简化融合图像的解释。然而，该方法是计算密集型的，并且，由于该方法依赖于“医疗相关”特征的准确的自动确定，因而可能引入误差。分离相关特征所涉及的信息的移除还可能移除过多的信息，从而提供了不足的背景而无法在空间上将特征与解剖相关。
以下提供克服上面所提到的问题及其他的新的改进的装置和方法。
发明内容
根据一个公开的方面，一种图像显示方法，包括：针对其一部分被设置为透明的强度谱对第二图像进行颜色编码，以生成颜色编码的第二图像；将第一图像和所述颜色编码的第二图像结合，以生成融合的图像；以及显示所融合的图像。
根据另一个公开的方面，一种图像显示系统，包括：图像生成模块，其配置为通过根据将颜色分配至强度谱的强度的色图而对输入图像进行颜色编码来生成图像；色图修改模块，其配置为将强度谱的一部分选择为透明的；以及显示器，其配置为显示所生成的图像。
根据另一个公开的方面，公开了一种存储介质，该存储介质存储：所存储的色图，所述色图将颜色分配至强度谱的强度；以及指令，可由数字处理设备执行，以(i)根据当前的色图而对图像进行颜色编码并(ii)通过修改所存储的色图而生成当前的色图。
根据另一个公开的方面，一种图像显示方法，包括：以灰度显示受试者的结构图像；以及对所显示的结构图像中如从受试者的功能图像中确定的功能活动处于一个或多个所选择的功能活动水平范围内的部分进行颜色编码。
一个优点在于提供更多的临床上提供信息的多模态图像显示。
另一个优点在于提供用户可调整的融合图像显示。
另一个优点在于提供所显示的临床图像中的用户可调整的高亮。
附图说明
在阅读并理解以下详细描述的基础上，进一步的优点将对本领域普通技术人员显而易见。
图1示意地图解说明包括用于在空间上配准并融合PET和CT图像的处理部件的PET/CT成像设施；
图2示意地图解说明示出所存储的色图的表示的用户交互式色图修改用户界面显示；
图3示意地图解说明示出所存储的色图的第一修改表示的用户交互式色图修改用户界面显示；
图4示意地图解说明示出所存储的色图的第二修改表示的用户交互式色图修改用户界面显示；
图5示意地图解说明示出所存储的色图的第三修改表示的用户交互式色图修改用户界面显示。
具体实施方式
参考图1，多模态成像设施采用至少两种不同的成像模态。在本文中所阐明的图解说明的示例中，多模态成像设施采用使用混合PET/CT成像系统10的计算机断层摄影(CT)和正电子发射断层摄影(PET)成像模态，该混合PET/CT成像系统10包括CT扫描架12、PET扫描架14和共同的受试者支架16，该受试者支架16用于将人类受试者、动物受试者、诸如木乃伊或考古人工制品、体模等插入用于CT成像的CT扫描架12或用于PET成像的PET扫描架14中。图解说明的混合PET/CT成像系统10是GEMINITMPET/CT成像系统(可以从荷兰艾恩德霍芬的Koninklijke Philips ElectronicsN.V.获得)，并且，作为图解说明的示例而在本文中阐明。除了所图解说明的GEMINITM PET/CT成像系统10或代替该成像系统10，能够提供另一混合PET/CT成像系统或诸如混合磁共振(MR)/PET成像系统、混合单光子发射计算机断层摄影(SPECT)/PET成像系统等的另一混合成像系统。此外，能够替代或另外由诸如独立CT扫描器、独立PET扫描器、独立MR扫描器、针对SPECT成像而配置的独立伽马相机等的一个或多个独立成像系统提供多模态成像。更进一步，在一些实施例中，单个成像仪器可以配置为提供多模态成像。例如，预期多模态成像系统包括像可配置为执行SPECT或PET成像的单个伽马相机一样少的成像仪器。
对于CT成像而言，移动共同的受试者支架16的可移动的托板或床18，以将要被成像的受试者放置在CT扫描架12的孔中，并且，CT采集及控制处理器20控制X射线管和合作的X射线探测器阵列(设置在CT扫描架12中并且在图1中不可见的部件)来生成并采集CT投影数据，该CT投影数据由CT数据重建处理器22重建，以生成存储在CT图像存储器24中的一个或多个CT图像。以类似的方式，对于PET成像而言，移动可线性平移的托板或床18，以将受试者放置在PET扫描架14的孔中，并且，PEC采集及控制处理器30操作PET辐射探测器(设置在PET扫描架14中并且在图1中不可见)，以采集PET响应线数据(任选地包括飞行时间局部化)，该PET响应线数据由PET数据重建处理器32重建，以生成存储在PET图像存储器34中的一个或多个PET图像。在PET成像的情况下，在PET数据采集之前，对受试者施予适当的正电子发射放射性药物。所发射的正电子经历正电子/电子淹没，每个这样的湮没事件生成沿相反的方向行进的511keV伽马射线，因而定义响应线。
采集及控制处理器20、30适当地由数字处理器或控制器或者数字处理器或控制器的组合体现，与配置为操作X射线管(针对CT)和辐射探测器阵列、操作使X射线管在CT扫描架12内围绕受试者转动的旋转机构等的适当的电子设备、电源等结合而操作。重建处理器22、32适当地由数字处理器或控制器或者数字处理器或控制器的组合体现，任选地与体现为例如特定应用集成电路(ASIC)硬件的专用的重建管线硬件结合。提供用户界面，例如所图解说明的计算机40，以使放射科医师或其他用户能够配置、启动并监视CT和PET成像会话，并且，使放射科医师或其他用户能够查看所得到的CT和/或PET图像。所图解说明的计算机40包括显示器42，该显示器42可以体现为阴极射线管(CRT)显示器、液晶设备(LCD)显示器、等离子显示器、有机发光设备(OLED)显示器等。计算机40还包括作为图解说明的输入设备的键盘44和鼠标46；然而，还可以包括另外的或其他输入设备(未示出)，例如触控板、轨迹球、与显示器42相符以定义触摸感应屏的触摸感应矩阵等。在一些实施例中，一些用户界面功能可以与CT扫描架12和/或PET扫描架14集成，作为内置LCD显示器、内置键盘等。
继续参考图1，优选对所存储的从单个受试者采集的CT和PET图像进行空间配准。在一些实施例中，使用诸如所图解说明的GEMINITM PET/CT成像系统10的统一混合PET/CT扫描器来进行CT和PET图像的采集由于针对混合系统的CT和PET成像部件而定义的公用坐标系而被认为足以确保空间配准。在其他实施例中，由空间配准模块48对图像进行相对空间配准，并且，通过配准过程而修改的一个或两个图像存储回相应的图像存储器24、34中。空间配准模块48能够通过刚性转移和旋转以及/或者通过非刚性或弹性变形而修改PET图像，以便改进PET图像针对CT图像的空间对准，并且，将所修改的(即，空间配准)PET图像存储回PET图像存储器34中。可替代地，空间配准模块48能够通过刚性转移和旋转以及/或通过非刚性或弹性变形而修改CT图像，以便改进CT图像针对PET图像的空间对准，并且，所修改的(即，空间配准)CT图像存储回CT图像存储器24中。还预期将CT图像和PET图像这两者转移、旋转或变形以完成相对空间配准。空间配准能够采用固有解剖界标，例如在CT和PET图像中可见的受试者的外部轮廓或解剖特征的轮廓。另外或可替代地，空间配准能够基于在CT和PET成像之前放在受试者上的成像的基准标记，以便提供空间配准界标。能够在混合PET/CT系统的背景下使用空间配准，以针对受试者在CT和PET图像采集之间的移动而进行校正。在由独立的成像系统执行多模态成像时，空间配准将独立的成像模态的不同的且通常无关的坐标系对准。
在任选的空间配准之后，将CT和PET图像结合，以由图像融合模块50生成融合的图像。所融合的图像适当地在计算机40的显示器42上或在另一适当的显示器上显示。图1图解说明的系统采用覆盖融合方法，其中，CT图像用作衬底图像，而PET图像用作根据当前的色图52而被颜色编码的覆盖图像，所述当前的色图52由交互式色图修改模块56从所存储的色图54中推导。覆盖融合过程在每个体素或每个像素的基础上操作。将衬底图像定义为第一图像(典型地CT图像)，将覆盖图像定义为第二图像(典型地PET图像)，将第一图像的像素或体素的值表示为V1，将相应的第二图像的像素或体素的颜色编码值表示为V2，并且，使用透明度系数或表示为α的α值来执行覆盖融合，融合图像中的相应的像素或体素的值是αV1+(l-α)V2。如在本文中所公开地，对于某些像素或体素而言，覆盖的贡献是“关闭”，例如通过针对那些像素或体素而设置α＝1。
空间配准模块48、图像融合模块50以及色图修改模块56适当地由诸如计算机40的包括适当地编程的数字处理器或控制器的数字处理设备体现。用户交互式色图修改模块56配置为经由鼠标46、键盘44或另一用户输入设备而接收用户输入，并且，配置为经由显示器42而将诸如色图表示的信息发送至用户。此外，诸如磁盘、光盘、闪存等的存储介质(未图解说明)适当地利用可由这样的处理器执行的指令来进行编码，以体现一个或多个模块48、50、56。在某些实施例中，这样的存储介质也可以存储在所存储的色图54中。
继续参考图1并进一步参考图2，所存储的色图54将颜色分配至强度谱的强度。图2描述由交互式色图修改模块56生成并在显示器42上示出的适当的用户界面显示，该用户界面显示由图2中所示出的色图表示60表示存储的色图。色图表示60示出了用作描绘强度谱的横坐标的水平线，在所图解说明的实施例中，强度谱范围从零强度至最大强度251，从而强度谱包括252个离散的强度值。251的最大强度是任意的，并且，在其他实施例中，能够使用其他最大强度值。例如，在一些实施例中，像素或体素强度由八位二进制值表示，对于该八位二进制值，最大强度是28-l＝255，并且，强度谱包括256个离散的强度值。
色图表示60还包括识别分配至不同的像素或体素强度的颜色的颜色分区62。在所图解说明的示例中，存在着28个均大小相等的颜色分区62。由于在所图解说明的强度谱中存在着252个可能的强度，因此每个颜色分区62包含252÷28＝9的强度值的范围。然而，在其他预期的实施例中，颜色分区可以是不同的大小和/或可以使用不同数量的颜色分区等。在某些实施例中，预期具有等于强度谱中的强度等级的数量的颜色分区的数量，从而将强度谱的每个强度等级映射至唯一的颜色。
示意的图2未以颜色进行描述——因此，不同的划影线的图案用于示意地指示不同的颜色。图2图解说明的色图的色谱从针对最低的九个强度值(0-8)的蓝色遍及绿色、黄色、橙色以及具有最高的九个强度值(243-251)的红色的各种阴影。在图2中未标记中间色(例如，蓝绿色阴影、黄绿色阴影、橙黄色阴影、橙红色阴影)。将意识到，在颜色显示中，任选地省略在图2中示出的颜色标签。同样，还任选地省略描绘强度值0-251的横坐标，因而强度值由相应的颜色分配分区62的位置暗示地表示。还预期其他显示变化，例如垂直地示出色图表示，并且最低强度的颜色映射在底部，而最高强度的颜色映射在顶部等。
由交互式色图修改模块50生成并在图2中示出的显示还包括用户界面指令。在图2中所示出的图解说明的实施例中，这些指令包括“按压<F1>来选择颜色编码的修改……”。这指示用户按压<F1>键来选择修改色图。在这样做之后，立即以一列修改选项(未示出)向用户适当地呈现。修改选项可以包括例如：选择另一存储的色图；例如通过使用图形颜色挑选应用而修改分配至各种强度等级或强度范围的颜色；以及选择强度谱的一部分为透明的。
参考图3-5，描述后一种类型的色图修改，即选择强度谱的一部分为透明的一些图解说明的示例。图3、4以及5描述经修改的色图表示70、80、90，经修改的色图表示70、80、90是其色图表示60在图2中示出的所存储的色图54的不同的用户选择的修改。由相应的经修改的色图表示70、80、90指示的色图各自适合于用作图1的图像融合模块50所采用的当前的色图52。
特别参考图3，通过强度谱的最低强度范围72选择设置为透明的而修改经修改的色图表示70。用户交互式显示提供指令“移动垂直线以选择透明度上界”。通过用户在图2中所示出的显示处按压<F1>，然后选择选项(未示出)以使得强度谱较低的区域为透明的，从而适当地生成图3的显示。所显示的指令中的“垂直线”标识是用户能够使用鼠标46、键盘44的左或右箭头键或者通过使用另一可获得的用户输入设备而左右移动的虚线的垂直线光标74。
图像融合模块50以这样的方式诠释被选择为透明的最低强度范围72，从而融合过程将第一(例如，CT)图像和未设置为透明的颜色编码的第二(例如，PET)图像的像素或体素结合，以生成融合的图像。一个适当的过程如下：(1)生成作为第一(CT)图像的灰度表示的衬底图像；(2)使用图3的色图，生成作为第二(PET)图像的颜色编码表示的覆盖图像，其中对强度值位于被选择为透明的强度范围72中的像素或体素分配指定的关键颜色；(3)如果V2不等于关键颜色，那么，分配像素或体素值αV1+(l-α)V2，或相反，如果V2等于关键颜色，那么，分配像素或体素值V1(或者，等效地，设置α＝1)；以及针对图像的每个像素或体素而重复操作(3)。再者，V1表示第一(CT)图像的像素值或体素值，V2表示第二(PET)图像的像素或体素的相应的颜色编码的值；并且，α是透明度系数或α值。
如果白色未被包括在所存储的色图54中，关键颜色能够是例如白色，或者，能够是未被包括在所存储的色图54中的任何其他颜色，或者，能够是不表示任何实际颜色的某个值(即，“虚拟”关键颜色)。作为另一方法，步骤(2)能够仅针对未设置为透明的那些像素或体素值而生成像素或体素值，并且，稍微修改步骤(3)，从而如果存在V2，那么，分配像素或体素值αV1+(l-α)V2，或相反，如果不存在V2，那么，分配像素或体素值V1。在该方法中，不涉及关键颜色。
图3的经修改的色图能够有利地用于各种临床PET/CT应用中。例如，考虑强度谱映射至0至5的标准摄取值(SUV)范围的应用。即，使用直线地将0映射至SUV＝0直至将251映射至SUV＝5的图2-5的强度谱。然后，如果透明度阈值74设置为125(SUV＝2.5)，那么，SUV小于2.5的像素或体素是透明的，并且，作为灰度CT值而出现，以便提供解剖背景。另一方面，以与使用所存储的色图54时相同的方式根据SUV值而对SUV大于2.5的像素或体素进行颜色编码。不但在颜色上呈现很可能将是活跃恶性且可由医疗专家轻易地识别的高SUV的区域，并且，还示出CT图像的剩余部分而不被PET图像内容隐藏，以便提供背景。对于给定的应用，例如对于18F-FDG PET成像，2.5的SUV可以是将某些良性病变和恶性病变分开的合适的阈值。然而，由于色图修改模块56是用户交互式的，因而用户能够基于个人喜好、PET图像的特性或其他系数而主动地调整透明度阈值74。在一个适当的方法中，显示器42分成示出融合的PET/CT图像的大的图像窗口和示出图3的内容的较小的控制窗口。以该方式，用户能够调整阈值74并查看同时地显示的图像窗口中的结果。
特别参考图4，通过如先前参考图2所描述地使用垂直线光标74来将强度谱的最低强度范围72选择设置为透明的而对经修改的色图表示80进行修改，并且，通过使用第二垂直线光标84来将强度谱的最高强度范围82选择设置为透明的而进一步对经修改的色图表示80进行修改。结果是处于透明范围72、82之间的颜色编码的强度范围。图4的用户交互式显示提供指令“移动垂直线来选择颜色编码范围……”。通过用户在图2中所示出的显示按压<F1>，然后，选择选项(未示出)以选择颜色编码的强度范围，从而适当地生成图4的显示。针对图4的经修改的色图的融合处理适当地与已针对图3的色图而描述的融合处理相同，即，将设为透明的像素或体素颜色编码成关键颜色，并且，使用每个像素或每个体素的融合算法：如果V2不等于关键颜色，那么，分配像素或体素值αV1+(l-α)V2，或相反，如果V2等于关键颜色，那么，分配像素或体素值V1(或者，等效地，设置α＝1)。
为了查看图4的经修改的色图如何能够在临床上对于评估PET/CT图像是有用的，再次考虑色图与从0至5的SUV相对应的示例。然后，图4的色图具有设置为125(SUV＝2.5)的透明度阈值74和设置为151(SUV＝3.0)的上阈值84，SUV值在2.5和3.0之间的像素或体素将被显示并与衬底(CT)图像混合。在2.5至3的SUV范围之外，覆盖(PET)图像的像素100％透明，从而CT图像处于未修改的形式。再者，能够由医疗专家或其他用户使用交互式色图修改模块56来修改强度(或者，在该应用中，SUV)阈值74、84以适应个人喜好或PET图像的特性。通过具有上透明范围82，临床上感兴趣的高SUV(例如，在图解说明的示例中，SUV＞3.0)的区域不因颜色编码而被隐藏。
由图4的色图定义的颜色编码带的影响是SUV＞2.5的区域被颜色编码的轮廓围绕。特别参考图5，能够使用在图5中示出其表示90的经修改的色图而扩大这一影响，以创建SUV等轮廓。图5的色图也包括如上界垂直线光标74所定义地、设置为透明的强度谱的最低强度范围72。另外的强度范围92间隔开，以定义强度谱中间隔开的多个颜色编码带。每个颜色编码带包括强度谱的一个或多个连续的强度。在图5中，每个颜色编码带与包含九个连续强度的一个颜色分区相对应——然而，预期颜色编码带像单个强度等级一样小。在图5的图解说明的用户界面显示中，参考标记第一颜色编码带的垂直线光标74并通过在图5中用数字输入的“等压线间距”参数94而定义另外的间隔开的强度范围92。在图5的特定的图解说明中，等压线间距参数94具有与四个颜色分区(每个颜色分区28÷9个强度)相对应的当前值28。在该方法中，颜色编码带以相等的间隔间隔开；然而，还预期以不相等的间隔间隔开的颜色编码带。
如果颜色编码带狭窄，那么，每个带内的颜色相对相同。在图解说明的图5中，每个颜色编码带与单个颜色分区相对应，所以，在每个颜色编码带内，颜色是单数，尽管还预期在单个颜色编码带中包括两个或更多个颜色。通过调整用户输入74、94，从而能够调整颜色编码带的大小和数量。因此，能够以不同的颜色显示不同的SUV等间隔。颜色编码带映射至融合图像中的强度(或者，针对该应用，SUV)等轮廓，而在融合图像中示出所有其他像素或体素，作为不具有来自PET图像的任何内容的CT图像像素或体素。颜色轮廓能够例如指示肿瘤边缘处的SUV过渡的突发性或渐进性，并且，还可以指示快速血管生成或可替代地组织坏色的区域。
尽管在本文中描述临床CT/PET作为图解说明的示例，但是在本文中公开的图像显示技术基本上可应用于诸如SPECT/CT、MR/PET、MR/SPECT等任何类型的多模态成像。
另外，将意识到，用于图像融合的在本文中公开的颜色编码技术在单模态图像的显示的背景下也是有用的。例如，图2的经修改的色图能够用于独自地显示PET图像(不与CT或其他模态的图像融合)。在一个方法中，PET图像用作以灰度显示的衬底图像和颜色编码的覆盖图像这两者。这能够用于例如经由颜色编码而高亮高SUV的区域。如果图4或图5的色图用于单独地显示PET图像，那么，作用是由颜色包围圈高亮这样的高SUV的区域。
已参考优选的实施例来描述本发明。在阅读并理解前面的详细描述的基础上，其他人可以进行修改和变更。其意在将本发明解释为包括所有这样的修改和变更，只要它们落入所附权利要求书或其等价物的范围内。
Claims (10)
1.一种图像显示方法，包括：
针对强度谱对覆盖图像进行颜色编码，以生成颜色编码的覆盖图像，其中，所述强度谱的至少第一部分(72、82、92)被设置为透明，并且所述强度谱的至少第二部分被设置为部分透明水平，并且由定义部分透明的透明度系数来控制所述部分透明水平；
通过根据透明度系数而将所述颜色编码的覆盖图像的像素或体素添加至衬底图像的相应的像素或体素，而不添加由所述颜色编码分配为透明的所述颜色编码的覆盖图像的像素或体素至衬底图像的相应的像素或体素，来将所述衬底图像和所述颜色编码的覆盖图像结合，以生成融合的图像；以及
显示所融合的图像。
2.如权利要求1所述的图像显示方法，其中，所述颜色编码将关键颜色分配至所述强度谱中设置为透明的所述第一部分(72、82、92)，并且，所述结合包括：
根据透明度系数而将所述颜色编码的覆盖图像的像素或体素添加至所述衬底图像的相应的像素或体素，而不添加分配有所述关键颜色的所述颜色编码的覆盖图像的像素或体素至所述衬底图像的相应的像素或体素。
3.如权利要求2所述的图像显示方法，还包括：
调整所述透明度系数，而不调整所述强度谱中设置为透明的所述第一部分(72、82、92)。
4.如权利要求1-3中的任一项所述的图像显示方法，其中，所述强度谱中设置为透明的所述第一部分(72、82、92)包括具有非零最低强度的非零强度的至少一个范围(82、92)。
5.如权利要求1-3中的任一项所述的图像显示方法，其中，所述覆盖图像是功能图像，并且，所述强度谱中设置为透明的所述第一部分(72、82、92)包括所述强度谱的最低部分(72)，所述最低部分具有的最高强度(74)被选择设置为所述功能覆盖图像中表示标准摄取值的(SUV的)较低范围的透明的像素或体素。
6.如权利要求1-3中的任一项所述的图像显示方法，其中，所述强度谱中设置为透明的所述第一部分(72、82、92)包括两个或更多个间隔开的强度范围(72、82、92)。
7.如权利要求1-3中的任一项所述的图像显示方法，其中，所述强度谱中设置为透明的所述第一部分(72、82、92)包括定义在所述强度谱中间隔开的多个颜色编码带的多个间隔开的强度范围(92)，每个颜色编码带包括所述强度谱的一个或多个连续的强度。
8.一种图像显示装置，包括：
用于针对强度谱对覆盖图像进行颜色编码，以生成颜色编码的覆盖图像的模块，其中，所述强度谱的至少第一部分(72、82、92)被设置为透明，并且所述强度谱的至少第二部分被设置为部分透明水平，并且由定义部分透明的透明度系数来控制所述部分透明水平；
用于通过根据透明度系数而将所述颜色编码的覆盖图像的像素或体素添加至衬底图像的相应的像素或体素，而不添加由所述颜色编码分配为透明的所述颜色编码的覆盖图像的像素或体素至衬底图像的相应的像素或体素，来将所述衬底图像和所述颜色编码的覆盖图像结合，以生成融合的图像的模块；以及
用于显示所融合的图像的模块。
9.如权利要求8所述的图像显示装置，其中，所述强度谱中设置为透明的所述第一部分(72、82、92)包括至少一个不包括所述强度谱的最低强度的强度的范围(82、92)。
10.如权利要求8-9中的任一项所述的图像显示装置，其中，所述强度谱中设置为透明的所述第一部分(72、82、92)包括所述强度谱的强度的至少两个间隔开的范围(72、82、92)。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14633109P | 2009-01-22 | 2009-01-22 | |
| US61/146,331 | 2009-01-22 | ||
| PCT/IB2009/055952 WO2010084390A1 (en) | 2009-01-22 | 2009-12-23 | Pixel-feature hybrid fusion for pet/ct images |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102292747A CN102292747A (zh) | 2011-12-21 |
| CN102292747B true CN102292747B (zh) | 2015-01-28 |
Family
ID=41800794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200980155101.3A Active CN102292747B (zh) | 2009-01-22 | 2009-12-23 | 针对pet/ct图像的像素特征混合融合 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8749579B2 (zh) |
| EP (1) | EP2389663B1 (zh) |
| JP (1) | JP5526149B2 (zh) |
| CN (1) | CN102292747B (zh) |
| RU (1) | RU2526717C2 (zh) |
| WO (1) | WO2010084390A1 (zh) |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120076371A1 (en) * | 2010-09-23 | 2012-03-29 | Siemens Aktiengesellschaft | Phantom Identification |
| US8934697B2 (en) | 2010-11-26 | 2015-01-13 | Koninklijke Philips N.V. | Image processing apparatus |
| WO2012080973A2 (en) * | 2010-12-16 | 2012-06-21 | Koninklijke Philips Electronics N.V. | Apparatus for ct-mri and nuclear hybrid imaging, cross calibration, and performance assessment |
| US10152951B2 (en) | 2011-02-28 | 2018-12-11 | Varian Medical Systems International Ag | Method and system for interactive control of window/level parameters of multi-image displays |
| EP2518690A1 (en) * | 2011-04-28 | 2012-10-31 | Koninklijke Philips Electronics N.V. | Medical image processing system and method |
| DE102011080905B4 (de) * | 2011-08-12 | 2014-03-27 | Siemens Aktiengesellschaft | Verfahren zur Visualisierung der Registrierungsqualität medizinischer Bilddatensätze |
| JP6076981B2 (ja) * | 2011-08-19 | 2017-02-08 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 異なるモダリティのｘ線画像の周波数依存複合 |
| US8879814B2 (en) * | 2012-05-22 | 2014-11-04 | General Electric Company | Method and apparatus for reducing motion related imaging artifacts using consistency values |
| US20130322712A1 (en) * | 2012-06-05 | 2013-12-05 | Siemens Medical Solutions Usa, Inc. | System for Comparing Medical Images |
| CN103544688B (zh) * | 2012-07-11 | 2018-06-29 | 东芝医疗系统株式会社 | 医用图像融合装置和方法 |
| CN106683065A (zh) * | 2012-09-20 | 2017-05-17 | 上海联影医疗科技有限公司 | 基于Lab空间的图像融合方法 |
| CN103854270A (zh) * | 2012-11-28 | 2014-06-11 | 广州医学院第一附属医院 | 一种ct和mr异机三维图像融合的配准方法及系统 |
| US9135888B2 (en) | 2013-03-15 | 2015-09-15 | L-3 Communications Cincinnati Electronics Corporation | System and method for converting an image to an intensity based colormap |
| CN104103083A (zh) * | 2013-04-03 | 2014-10-15 | 株式会社东芝 | 图像处理装置和方法以及医学成像设备 |
| CN105122301B (zh) * | 2013-04-18 | 2018-04-24 | 皇家飞利浦有限公司 | 对来自不同成像模态的医学图像的同时显示 |
| EP3003155B1 (en) | 2013-06-05 | 2020-08-05 | Koninklijke Philips N.V. | Method and device for displaying a first image and a second image of an object |
| JP6463742B2 (ja) | 2013-06-10 | 2019-02-06 | ユニバーシティー オブ ミシシッピ メディカル センター | 医用画像処理法 |
| CN103617605A (zh) * | 2013-09-22 | 2014-03-05 | 天津大学 | 针对三模态医学图像的透明度加权融合方法 |
| US9192346B2 (en) * | 2013-12-19 | 2015-11-24 | General Electric Company | Systems and methods for multi-modality imaging |
| JP6738320B2 (ja) | 2014-09-05 | 2020-08-12 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | スペクトル画像データの視覚化 |
| CN104517293B (zh) * | 2014-12-25 | 2016-03-23 | 东南大学 | 小动物多模态医学影像配准及融合系统 |
| NL2014245B1 (en) * | 2015-02-05 | 2016-10-12 | Edward Statham Andrew | System and method for generating feedback on exercise technique. |
| CN104825134A (zh) * | 2015-04-25 | 2015-08-12 | 董瑞兰 | 光波检验诊断装置 |
| EP3314892A4 (en) * | 2015-06-26 | 2018-08-22 | Telefonaktiebolaget LM Ericsson (publ) | Encoding and decoding of pictures in a video |
| JP6512028B2 (ja) * | 2015-08-19 | 2019-05-15 | 株式会社島津製作所 | 放射線透視装置 |
| CN108351395B (zh) * | 2015-10-27 | 2021-02-26 | 皇家飞利浦有限公司 | 来自磁共振图像的虚拟ct图像 |
| JP6615603B2 (ja) * | 2015-12-24 | 2019-12-04 | キヤノンメディカルシステムズ株式会社 | 医用画像診断装置および医用画像診断プログラム |
| CN106236118B (zh) * | 2016-07-18 | 2018-02-27 | 上海联影医疗科技有限公司 | 图像信息显示交互装置及方法 |
| EP3588438A4 (en) * | 2017-03-07 | 2020-03-18 | Shanghai United Imaging Healthcare Co., Ltd. | METHOD AND SYSTEM FOR PRODUCING COLORED MEDICAL IMAGES |
| CN107392893A (zh) * | 2017-06-30 | 2017-11-24 | 上海联影医疗科技有限公司 | 组织密度分析方法及系统 |
| CN107481250A (zh) * | 2017-08-30 | 2017-12-15 | 吉林大学 | 一种图像分割方法及其评价方法和图像融合方法 |
| US11302003B2 (en) * | 2017-10-26 | 2022-04-12 | Wisconsin Alumni Research Foundation | Deep learning based data-driven approach for attenuation correction of pet data |
| CN107993236A (zh) * | 2017-11-27 | 2018-05-04 | 上海交通大学 | 一种多模态图像处理的方法和平台 |
| CN111699508A (zh) * | 2018-02-02 | 2020-09-22 | 皇家飞利浦有限公司 | 在预处置和后处置正电子发射断层摄影研究中校正标准化摄取值 |
| US20210398329A1 (en) * | 2018-11-13 | 2021-12-23 | Koninklijke Philips N.V. | Artificial intelligence (ai)-based standardized uptake vaule (suv) correction and variation assessment for positron emission tomography (pet) |
| JP7342370B2 (ja) * | 2019-02-06 | 2023-09-12 | 大日本印刷株式会社 | 医用画像処理装置、コンピュータプログラム及び医用画像処理方法 |
| CN110796630B (zh) * | 2019-10-29 | 2022-08-30 | 上海商汤智能科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
| CN111312373B (zh) * | 2020-01-19 | 2023-08-18 | 浙江树人学院（浙江树人大学） | 一种pet/ct图像融合自动标注方法 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5810007A (en) | 1995-07-26 | 1998-09-22 | Associates Of The Joint Center For Radiation Therapy, Inc. | Ultrasound localization and image fusion for the treatment of prostate cancer |
| US6466224B1 (en) * | 1999-01-19 | 2002-10-15 | Matsushita Electric Industrial Co., Ltd. | Image data composition and display apparatus |
| JP3430099B2 (ja) * | 1999-01-19 | 2003-07-28 | 松下電器産業株式会社 | 画像データ合成装置 |
| JP2001291091A (ja) * | 2000-01-31 | 2001-10-19 | Mitsubishi Electric Corp | 画像処理装置および方法 |
| JP2003061956A (ja) | 2001-08-30 | 2003-03-04 | Toshiba Corp | 超音波診断装置、医用診断装置及び画像処理方法 |
| US20050015004A1 (en) * | 2003-07-17 | 2005-01-20 | Hertel Sarah Rose | Systems and methods for combining an anatomic structure and metabolic activity for an object |
| JP3945524B2 (ja) * | 2005-08-05 | 2007-07-18 | ソニー株式会社 | キー信号生成装置及び方法、画像合成装置、並びに記録媒体 |
| US20070097143A1 (en) | 2005-10-28 | 2007-05-03 | Mutsuya Ii | Application of variable opacity (image alpha) to power and probability distributions superimposed on cartographic displays |
| US20070160272A1 (en) | 2006-01-09 | 2007-07-12 | Yoshihiko Nagamine | Tumor region setting method and system |
| RU2309679C1 (ru) * | 2006-03-15 | 2007-11-10 | ГУ Научно-исследовательский институт глазных болезней РАМН | Способ неинвазивной клинической прижизненной оценки состояния орбитального имплантата и окружающих его тканей |
| JP2007307125A (ja) * | 2006-05-18 | 2007-11-29 | Shimadzu Corp | 画像診断装置 |
| EP1923838A1 (en) | 2006-11-20 | 2008-05-21 | Agfa HealthCare NV | Method of fusing digital images |
| US20080238947A1 (en) | 2007-03-27 | 2008-10-02 | Keahey T Alan | System and method for non-linear magnification of images |
| DE102007021035A1 (de) * | 2007-05-04 | 2008-11-13 | Siemens Ag | Bildverarbeitungs-, Bildvisualisierungs- und Bildarchivierungssystem zur kontrasterhaltenden Fusionierung und Visualisierung koregistrierter Bilddaten |
-
2009
- 2009-12-23 WO PCT/IB2009/055952 patent/WO2010084390A1/en active Application Filing
- 2009-12-23 JP JP2011546981A patent/JP5526149B2/ja active Active
- 2009-12-23 RU RU2011134874/08A patent/RU2526717C2/ru active
- 2009-12-23 CN CN200980155101.3A patent/CN102292747B/zh active Active
- 2009-12-23 EP EP09805864.7A patent/EP2389663B1/en active Active
- 2009-12-23 US US13/145,135 patent/US8749579B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP2389663B1 (en) | 2018-10-31 |
| EP2389663A1 (en) | 2011-11-30 |
| JP2012515964A (ja) | 2012-07-12 |
| RU2526717C2 (ru) | 2014-08-27 |
| CN102292747A (zh) | 2011-12-21 |
| US20120019548A1 (en) | 2012-01-26 |
| WO2010084390A1 (en) | 2010-07-29 |
| RU2011134874A (ru) | 2013-02-27 |
| JP5526149B2 (ja) | 2014-06-18 |
| US8749579B2 (en) | 2014-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102292747B (zh) | 针对pet/ct图像的像素特征混合融合 | |
| US6885886B2 (en) | Method and system for visualizing a body volume and computer program product | |
| CN105103193A (zh) | 分层的二维投影生成和显示 | |
| CN101884545B (zh) | 核医学成像装置、图像处理装置以及图像处理方法 | |
| US20090096807A1 (en) | Systems and methods for image colorization | |
| CN103026382B (zh) | 多个图像的融合 | |
| CN105122301B (zh) | 对来自不同成像模态的医学图像的同时显示 | |
| US10110874B2 (en) | Medical-image processing apparatus generating plural parallax images with different viewpoint positions based on adjusting parallactic angles | |
| Baum et al. | Fusion viewer: a new tool for fusion and visualization of multimodal medical data sets | |
| US20170243364A1 (en) | Texture analysis map for image data | |
| US8189895B2 (en) | Fused perfusion and functional 3D rotational angiography rendering | |
| US9220438B2 (en) | Method for combining multiple image data sets into one multi-fused image | |
| EP3311362B1 (en) | Selecting transfer functions for displaying medical images | |
| Baum et al. | Evaluation of novel genetic algorithm generated schemes for positron emission tomography (PET)/magnetic resonance imaging (MRI) image fusion | |
| Stokking et al. | Integrated volume visualization of functional image data and anatomical surfaces using normal fusion | |
| US20230334732A1 (en) | Image rendering method for tomographic image data | |
| Baum et al. | Investigation of PET/MRI image fusion schemes for enhanced breast cancer diagnosis | |
| US7280681B2 (en) | Method and apparatus for generating a combined parameter map | |
| Chan et al. | Interactive fusion and contrast enhancement for whole body PET/CT data using multi-image pixel composting | |
| KR20080096104A (ko) | 3차원 의료용 볼륨 데이터 세트를 가공하는 방법 | |
| Bergmann | Nuclear medicine image display | |
| Olsson | A user-interface for whole-body MRI data for oncological evaluations. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |