CN102428478A

CN102428478A - 多尺度图像归一化和增强

Info

Publication number: CN102428478A
Application number: CN2009801593533A
Authority: CN
Inventors: 詹森·F·克纳普; 史蒂夫·W·沃雷尔
Original assignee: Deus Technologies LLC
Current assignee: Deus Technologies LLC
Priority date: 2009-04-17
Filing date: 2009-05-13
Publication date: 2012-04-25
Also published as: JP2012524329A; WO2010120318A1; EP2419859A4; US20100266189A1; EP2419859A1; US9002134B2

Abstract

可以处理图像以对图像的噪声进行归一化和/或去除图像的噪声。图像处理可以包括将图像分解成多个分量以及在多个尺度上的后续灰度配准。

Description

多尺度图像归一化和增强

背景技术

在本领域中用于医学目的的放射成像是众所周知的。例如，胸部的放射成像的图像为检测和治疗大量医学情况提供重要的诊断信息，包括肺脏、胸部的骨骼结构、上腹部器官、肺脏的血管结构以及胸正中的脊椎的间隙。

因为数字图像所提供的巨大优点，所以越来越多地以数字形式来存储和操作放射照片。数字放射照片可以通过直接以数字形式捕获原始图像来生成，或者通过将由“模拟”系统获得的图像转换成数字形式来生成。数字图像可以例如在将放射照片与正确的患者匹配时简化记录保持，并使得更有效的存储和分配成为可能。数字图像还允许放射照片的数字校正和增强，以及使计算机辅助诊断和治疗的应用成为可能。

放射科医师在解释放射成像的图像方面是非常熟练的，但是射线照相系统的局限性以及系统间的可变性会妨碍恰当的解释。与放射成像的图像的获取相关的可变性的来源可以包括图像的空间采样、灰度分辨率(或“位深度”)、系统的调制传递函数(“MTF”)、图像对比度以及噪声。

图像的采样函数通常可以表达为单位长度内的像素数。通常，以奈奎斯特速率或近似奈奎斯特速率来进行采样，以避免产生效果失真。例如，针对200微米的最小可辨别特征尺寸，非常详细的胸部放射照片可以具有5,000像素每英寸。在自动系统中，图像间的统一的空间分辨率会是重要的，例如当使用软件来识别或分析放射照片中具有特定空间特性的特征时。

位深度是用于存储图像的每个像素的亮度值的数据位的数目。不同的放射成像系统可以生成具有不同位深度的放射照片。例如，位深度通常在10至12位之间。位深度不只是在原始图像的质量方面是重要的，而且还是数字化操作图像时的限制因素，例如当对图像进行处理以突出特定特征时或在计算机辅助诊断中。不足的位深度会导致降级的处理图像、成像伪影以及不可靠的诊断结果。

调制传递函数(Modulation Transfer Function，MTF)是成像系统或成像分量的空间频率响应。高的空间频率对应于精细的图像细节，而低的空间频率对应于较大的结构。由不同尺寸的特征在放射成像的图像上产生的对比度可由于系统MTF而不同。通常，由于成像仪器的有限的分辨能力，在高的空间频率下的特征对比度相对于在低的空间频率下的特征对比度是降低的。由于MTF导致较小特征的幅值变化减小，放射照片中的较小特征的可见性可能通过在图像中叠加较大的结构而被掩盖。

对比度涉及图像中相邻像素间的亮度差异。对比度不只涉及最亮和最暗像素之间的绝对差异，还涉及中间像素的亮度分布。例如，亮度值的分布可以朝向分布范围的亮端或暗端歪斜，使得难以辨别具有相似亮度的特征。无论是对于人类观察者还是对于自动系统，以下是有益的：不同的放射成像的图像具有基本上相似的对比度，以在读取或处理期间确保一致的解释。

用于校正灰度外观的差异的一种技术被称作直方图匹配。该直方图本质上是图像中的像素值的分布的条状图表示，在直方图中，条的高度与图像中具有该像素值的像素的数目成比例。如现有技术中已知的，直方图匹配是根据输入累积密度函数(CDF)和目标CDF获得的像素映射。当CDF是单调的且在0到1之间时，直方图匹配是匹配或对准两个CDF的简单事件。直方图匹配通常用在能够直接比较相似场景的像素值令人感兴趣的区域中；直方图匹配是全局技术，这是因为该直方图匹配在任何情况下都使用像素值而不使用空间信息。例如，直方图匹配不能解决相同场景的图像中的局部对比度差异问题。

噪声是所有测量系统包括放射成像系统的普遍限制。在放射成像系统中，通常需要被摄体对X射线的累积暴露。短的暴露时间的权衡导致了结果图像上的噪声的增加。放射成像的图像上的噪声趋向于主要在较高的空间频率显示自身。在最高的空间频率下，噪声可占据主导地位，从而限制了辨别图像中的细节的能力。

为了提高放射成像的图像的均匀性以供放射科医师和其他专家解释，以及为了为图像的后续数字处理和分析提供良好的基础，用于图像的归一化的原则性系统是合乎期望的。归一化处理可以解决不同空间频率的图像之间的差异，并且可以解决对比度和噪声的问题。

发明内容

本发明的实施例包括一种如下方法：该方法将放射成像的图像诸如胸部放射照片转换成统一的尺寸或像素间距以及位深度；将图像分解成空间分量；分开地调整空间分量的灰度分布；降低图像噪声；以及生成重新组合的增强的输出图像。空间分量的灰度分布可以基于统计系综，所述统计系综从放射成像的图像的源、分析模型获得，或在每图像的基础上得出以最大化或最小化目标函数。

本发明的各种实施例可以是方法、装置、系统和/或包括处理器可执行指令以执行方法的计算机可读介质的形式。还应注意，预期该方法可通过例如但不限于图像处理设备的自动处理设备、通过通用处理器或计算机等来执行。

附图说明

图1是提供本发明的实施例的概述的流程图；

图2进一步示出图像的尺寸调整，图2(a)示出在第一分辨率下的原始图像的一部分，图2(b)示出在第二分辨率下的尺寸调整后的图像的一部分；

图3是进一步示出根据本发明的实施例的图像的位深度调整的流程图；

图4示意性地示出在直方图水平处的位深度调整，图4(a)示出原始图像的直方图，图4(b)示出位深度调整后的图像的直方图；

图5是示出根据本发明的实施例的图像的多尺度分解的流程图；

图6为了说明的目的示出胸部放射照片的代表性部分；

图7进一步示出图像的多尺度分解，图7(a)示出分解后的图像的最高空间频率，图7(b)示出下一个较低的空间频率分量，图7(c)示出第三空间频率分量，图7(d)示出来自分解的较低的空间频率分量，图7(e)示出分解之后的“残差”图像；以及

图8示出可以实现本发明的各种实施例的全部或部分的系统的概念方框图。

具体实施方式

图1是提供本发明的实施例的概述的流程图。本发明的实施例通常可以以图像102例如X射线胸透开始。用于“捕获”X射线的各种系统可以生成具有不同分辨率(每单位面积像素)和不同位深度(用于存储每个像素的数据位的数目)的图像。如果必要的话，方法可以从将原图像的尺寸调整104到用于后续处理的标准分辨率开始。本发明的示例性实施例例如使用每线性英寸5,000像素的图像分辨率，以获得200微米的分辨率。

为了提供用于后续处理的标准位深度，接着可以调整106图像位深度。一些捕获系统的有限位深度对于归一化处理中的后续处理步骤可能不足够，并可能会产生差的图像质量或处理伪影。本发明的示例性实施例使用每像素10位的位深度，从而允许1024个强度水平，如下面参照图3和图4进一步所解释的。

尽管图1中示出位深度调整发生在图像尺寸调整之后，但是在其他的实施例中，可以先执行位深度调整。

在图像已修改成标准分辨率和位深度之后，可以执行多尺度(或多分辨率)分解108以将图像分成子图像，这些子图像包括与原始图像不同的频率分量。有用于多尺度分解的各种不同的方法，包括可操纵金字塔或拉普拉斯金字塔、小波、曲波等等。本发明的示例性实施例(本发明不限于该示例性实施例)利用具有B3样条的非抽样小波分解作为尺度函数。

通常地，多尺度分解可以产生覆盖2∶1的频率范围的子图像，子图像包括覆盖频率的上半部分的最高频率分量，每个后续子图像又覆盖剩余带宽的上半部分。还可以生成“残差”图像，该残差图像覆盖没有包括在其他子图像内的较低频率。

多尺度分解可以是“抽样”的，这样每个后续水平的分解会导致在尺寸上小于先前水平的图像的图像(例如，每个后续水平可以在水平上和垂直上都具有一半数量的像素)。抽样可以允许更高效的算法并因此可以更快地执行。虽然该抽样有益于在下文所讨论的灰度配准步骤中获得相同尺寸和分辨率的所有子图像，但是本发明的示例性实施例可以采用非抽样分解。

在示例性实施例中(本发明不限制于该实施例)，使用冗余(非抽样)小波变换将图像分解成多尺度表示，产生了7个水平，最高水平对应于高达200微米像素间距的空间频率，而最低水平对应于大约13cm。该示例性实施例中的分解可以是非抽样的，以实现与重构相关联的平移不变性和潜在伪影。示例性实施例使用B3样条作为尺度函数(平滑滤波器)，该尺度函数可以具有与高斯核的带通特性相似的带通特性，该分解因此可以与拉普拉斯金字塔相似。以下参照图5、图6和图7进一步讨论图像的分解。

在分解之后，生成的子图像可以经受灰度配准110、去噪和增强112。来自图像的分解的子图像每个都可以针对特定的尺度捕获结构。为了说明与MTF和对比度相关联的传感器变化，可以使用直方图规格将每个子图像映射到目标分布，如本领域所已知的。实际上，本发明的实施例可以将该分解的局部性质与直方图匹配的全局匹配特性结合起来。

在示例性实施例中，目标分布可以由累积密度函数(CDF)限定，该累积密度函数通过将来自一组放射成像的图像的多个图像进行平均而形成。在示例性实施例中，所有数据都可以取自肺部区域，该肺部区域通常包括充气部分和不透明部分。可以设想：这种平均处理可以用以减少图像的患者特异性，而增强持续的传感器特性，并因此使与特定获取设备和/或患者相关联的不相关“噪声”最小化。

继续描述本发明的实施例，图2更详细地示出调整原图像尺寸的示例。如图2(a)中所见，“原”图像202可以由具有第一分辨率的像素204组成。为了将原图像转换成具有标准化的第二分辨率的像素214的输出图像212，可以使用多种公知的调整尺寸算法中的一种，包括“最近邻域”、“双线性”和“双立方体”。本发明的示例性实施例(本发明不限制于该示例性实施例)使用双线性插值法，该双线性插值法可以用来根据最近的4个原始像素的值线性地插入像素值。

图3是进一步示出根据本发明的实施例的原始的原图像302的位深度调整的流程图，图4示意性地示出在直方图水平处如何完成位深度调整。如在402处所见的，原输入图像可能不完全使用在其自然格式中可利用的动态范围，这是因为相应的直方图的端部可以不完全延伸到“暗”和“亮”范围的端部。如在404处更好地所见的，像素灰度值可以从第一任意值“N”到另一任意值“M”，而不是从最低可能灰度值(即，零)到最高可能灰度值。

在本发明的示例性实施例中，位深度调整可以首先将原始图像的最小灰度值(在404处标记的“N”)映射304成例如调整尺寸后的图像中的零，然后可以将原始图像的最大灰度值(在404处标记的“M”)映射306成例如具有10的位深度的可能的最高值1023(本发明不限制于该示例)。在该示例中，然后原始图像的剩余的像素值可以在位深度调整后的图像310中均匀地分布308在“1”和“1022”之间，这导致了例如414所示的分布(在增加位深度时，要注意的是：并非被调整的图像中的所有灰度值都可以利用)。

将原始图像中的最小灰度值映射成“0”并将最大灰度值映射成“1023”并同时将剩余的灰度值限制在1到1022的范围内的所述映射可以用以保存最小值和最大值，这随后能够帮助伪影检测。再次，应当注意：从0到1023的映射是一个示例，而本发明不限制于该示例。

图5、图6和图7进一步示出根据本发明的示例性实施例的尺寸和位深度调整后的图像的多尺度分解。图5是示出图像分解的实施例的流程图。可以对尺寸和位深度调整后的图像502执行非抽样7层多尺度小波分解504(然而要注意的是，本发明不限于该特定分解)，这可以产生包括较高频带的频率分量510、中频带(未示出)和较低频带的频率分量520的子图像。还可以产生506包括低于分解的较低频带的那些空间频率的残差图像530。

图6仅为说明的目的示出了假设的胸部放射照片的一部分，而图7(a)示出了被描绘为像素值阵列的假设的放射照片(应当注意，分辨率不对应于真实放射照片的分辨率，并且该图仅用作指导性设备)。图6中的明亮区域可以被视为对应于图7中的高的像素值，而图6中的较暗区域对应于较低的像素值。

图7(b)示出了来自假设的放射照片的图像分解的最高频率分量。可以观察到，噪声对像素值贡献较大。在真实的放射成像的图像中，可以观察到，通常很少关注分解的最高水平，其可能主要包括噪声。

图7(c)示出了假设的放射照片的分解的下一水平。可以观察到，来自该图像的更多的实际结构是明显的。图7(d)示出了假设的放射照片的分解的最低水平(7(c)和7(d)之间还可以存在中间水平，但已被省略)。还可以观察到，具有较低空间频率的较大的结构是可见的。图7(e)示出了来自于假设的放射照片的分解的“残差”图像，其是在除去分解水平之后原始图像的剩余物。

根据本发明的各种实施例，可以一起执行多尺度分解、灰度配准和去噪处理。可以连续地生成每个多尺度细节并进行处理以用于去噪，以及完成灰度配准。在本发明的一个示例性实施例中，唯一发生的去噪可以是将第一多尺度细节从重构中去除。对于胸部放射照片，这种细节通常包括非常少的信息，几乎完全是噪声。

为了配准灰度值，可以使每个多尺度细节经受模型匹配处理。模型可以从经验中或从分析中获得，可以基于目标分布的先验知识或“在运行中”获得，以实现期望的结果，例如目标尺度的最大信噪比。这可以用于将多尺度细节映射成目标分布，可以抑制和增强每个尺度的整个内容，并且可以用于解释对比度、清晰度和/或亮度的变化，这因此可以使得该方法能够以各种各样的获取设置进行工作。通过连续地添加这些配准细节，可以形成归一化图像。这样的能力可以使得能够在保留目标信号的同时而抑制已知的传感器伪影。

可以将多尺度变换的残差图像与归一化部分保持分离。归一化图像可以表示图像的结构内容，而粗图像可以表示通常是特定于患者和/或剂量的低频内容，且携带非常少的信息。

因此，可以获得两个图像：一个图像，即归一化图像，对应于已进行归一化的重构的多尺度细节；另一个图像对应于只包括图像中的总全局差异的低通残差(该图像，虽然不必要包括在所有的后续处理中，但可以在结束时添加回来以保持不同区域的相对外观；还应当注意，可以对该分量进行动态的加权从而提供不同程度的组织均衡化。

视觉增强的程度可以基于区域的明显分割或基于区域密度的隐含估计而被改适。在X射线胸透中，众所周知的是，由于可以存在于胸部内的吸收特性的宽范围，图像的纬度会相当大。例如，心脏和横膈膜通常会具有高吸收系数，因此会需要远大于肺部的充气区域的增强。

在对密度的动态(隐含)适应的情况下，根据本发明的一些实施例，可以执行下式：

增强图像＝G＊C+K1＊R，等式1

其中，C表示来自归一化的配准/增强的对比度分量，R表示粗残差，K1是用于动态范围减小的标量设计参数，此外，G可以由下式给出：

G = 1 + (K 2) * {\hat{R}}^{K 3} - (K 4) * {\hat{C}}^{K 5},

等式2

其中，

是图像R的量化和缩放的版本，

是图像C的量化的和缩放的版本，参数K2-K5是用于控制对比度增强的相对分布的标量值。K2-K5可以通过目测根据经验来确定。

以上公式可以允许图像(例如心脏)的不透明区域被充分地增强，以使得能够看到心脏之后的小结，而同时不会“过度增强”充气区域。充气区域的过度增强通常会导致噪声增强和不期望的伪影。

归一化图像可以缩放成目标空间采样。重新缩放的图像可以被进一步处理(其可以被视为噪声去除和增强的“增强”部分的一部分)以占据作为归一化处理的一部分被引入(被放大)的局部暗区域。这样的进一步处理可以包括将高斯-拉普拉斯(LoG)图像添加到图像中。可以对LoG图像进行修剪和/或缩放以便于不引入间断。

本发明的各种实施例可以包括硬件、软件和/或固件。图8示出可以用来实施本发明的实施例的各种形式和/或部分的示例性系统。这样的计算系统可以包括一个或更多个处理器82，该一个或更多个处理器82可以耦接到一个或更多个系统存储器81。这样的系统存储器81可以包括例如RAM(随机存取存储器)、ROM(只读存储器)或其他的这样的计算机可读介质，并且系统存储器81可以用来将例如基本输入输出系统(BIOS)、操作系统、由处理器82执行的指令/软件等结合起来。系统还可以包括另外的存储器83，诸如附加的RAM、ROM、硬盘驱动器或其他计算机可读存储介质。处理器82还可以耦接到至少一个输入/输出(I/O)接口84。I/O接口84可以包括一个或更多个用户接口、用于各种类型的存储介质的读取器，和/或到一个或更多个通信网络的连接(例如，通信接口和/或调制解调器)，例如可以经由通信网络从计算机下载软件来从该I/O接口获得软件代码。此外，其他装置/介质也可以耦接到图8所示的系统和/或与该系统交互。

上文是本发明的特定实施例的详细描述。应当认识到，所公开的实施例的一些偏离可以落在本发明的范围之内，并且本领域的技术人员可以进行一些明显的修改。本申请的意图在于：本发明包括与所公开的内容执行相同功能的、本领域中已知的可替换实施例。本说明书不应当不恰当地被解释成缩窄本发明被赋予的全部保护范围。

Claims

1.一种处理图像的方法，包括：

通过自动处理设备从所述图像获得多个分量图像；以及

执行选自以下的至少一个操作：使用所述多个分量图像来去除不需要的信息；以及基于所述多个分量图像对所述图像进行归一化。

2.根据权利要求1所述的方法，其中，所述获得多个分量图像包括执行所述图像的多尺度分解。

3.根据权利要求2所述的方法，其中，所述多尺度分解包括选自以下的至少一个分解技术：可操纵金字塔、拉普拉斯金字塔、小波和曲波。

4.根据权利要求2所述的方法，其中，所述多尺度分解产生较高频率子图像，并且其中执行至少一个操作包括去除对应于所述较高频率子图像的至少一个分量。

5.根据权利要求2所述的方法，还包括：基于所述多个分量图像来执行灰度配准。

6.根据权利要求2所述的方法，其中，执行多尺度分解产生包括粗残差分量的一组多尺度分量，所述粗残差分量包括低频信息。

7.根据权利要求6所述的方法，还包括：对除了所述粗残差分量之外的所述一组多尺度分量执行选自以下的至少一个操作：灰度配准、去噪和增强。

8.根据权利要求6所述的方法，还包括：针对组织均衡化而动态地加权所述粗残差分量。

9.根据权利要求1所述的方法，还包括：在获得所述分量图像之前执行选自以下的至少一个操作：调整所述图像的尺寸；以及调整所述图像的位深度。

10.根据权利要求1所述的方法，还包括：下载软件指令，如果所述软件指令被处理器执行，则使所述处理器执行所述获得和所述执行。

11.一种包括软件指令的计算机可读介质，如果所述软件指令被处理器执行，则使所述处理器执行包括以下步骤的方法：

通过自动处理设备从所述图像获得多个分量图像；以及

12.根据权利要求11所述的介质，其中，所述获得多个分量图像包括执行所述图像的多尺度分解。

13.根据权利要求12所述的介质，其中，所述多尺度分解包括选自以下的至少一个分解技术：可操作金字塔、拉普拉斯金字塔、小波和曲波。

14.根据权利要求12所述的介质，其中，所述多尺度分解产生较高频率子图像，并且其中执行至少一个操作包括去除对应于所述较高频率子图像的至少一个分量。

15.根据权利要求12所述的介质，还包括：基于所述多个分量图像来执行灰度配准。

16.根据权利要求12所述的介质，其中，执行多尺度分解产生包括粗残差分量的一组多尺度分量，所述粗残差分量包括低频信息。

17.根据权利要求16所述的介质，其中所述方法还包括对除了所述粗残差分量之外的所述一组多尺度分量执行选自以下的至少一个操作：灰度配准、去噪和增强。

18.根据权利要求16所述的介质，其中所述方法还包括针对组织均衡化而动态地加权所述粗残差分量。

19.根据权利要求11所述的介质，其中所述方法还包括在获得所述分量图像之前执行选自以下的至少一个操作：调整所述图像的尺寸；以及调整所述图像的位深度。