CN102341825A

CN102341825A - 图像的多模式色调映射

Info

Publication number: CN102341825A
Application number: CN2010800108228A
Authority: CN
Inventors: E·萨尔尼科夫; T·夏普; A·克里米尼斯
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2009-03-03
Filing date: 2010-02-26
Publication date: 2012-02-01
Anticipated expiration: 2030-02-26
Also published as: US20100226547A1; WO2010101789A2; EP2404279A2; WO2010101789A3; US8290295B2; EP2404279A4; CN102341825B

Abstract

描述了用于图像多模式映射的系统。描述了其中图像映射系统用于可视化诸如医学图像、卫星图像、高动态范围照片等等的高动态范围图像，并且还用于压缩这些图像的各实施例。在各示例中，位深度高的图像被色调映射以显示在位深度较低的设备上，而不损失细节。在各实施例中，图像映射系统计算描述输入图像的统计量，并且高效地将多模式模型拟合于这些统计量。在各实施例中，多模式模型是高斯混合模型，并且获取与多模式模型对应的多个S型函数。在一个实施例中，添加S型函数以形成色调映射函数，该色调映射函数用于将诸如每像素16或12位的高位深度图像变换为诸如每像素8位的低位深度图像。

Description

图像的多模式色调映射

背景

可以实现图像映射以用于的众多用途，诸如图像压缩、对比度增强、以及用于使得用特定类型的捕捉设备捕捉的图像能够使用不同功能的显示设备来显示等。例如，在医学成像领域(或者在诸如专业摄影、机器人成像系统、高动态范围摄影、深度照相机等领域)，捕捉设备通常产生16位图像，例如其中每个像素可以是65536级灰度中的一个(在灰度图像的情况下)。取决于图像捕捉设备，其它图像捕捉设备可以产生12位图像或者32位图像。术语“位深度”用于指在图像捕捉或显示设备处每像素可用的位数。

在用高位深度的设备捕捉图像时，通常需要降低位深度以使得捕捉的图像能够显示在低位深度较的显示设备上。这在同时保留尽可能多的信息以免损失在高位深度的设备中捕捉的原始动态范围时是难以实现的。这对于众多类型的图像是重要的，在医学成像领域尤其如此，在医学成像领域中图像通常具有特别高的动态范围并且需要可视化图像中精细的细节以及尽可能地消除噪声以便作出准确的医疗诊断。

图像的动态范围可以被认为是该图像最亮和最暗可记录部分的强度之间的比率。色调映射函数一般用于压缩图像的动态范围以允许原始图像中更多的细节被可视化在显示器上，而同时优选地地保留图像的“自然外观”。需要可以用计算上廉价、快速和鲁棒的方式产生更真实、有用的结果的改进的色调映射系统。

当在相对高的位深度的设备处捕捉的图像时，通常需要压缩那些捕捉的图像以降低其大小以便存储和/或传输。图像压缩难以用计算上廉价、快速，不产生可见的伪像并且可逆(即原始图像可以从压缩的图像获得，而没有质量损失)的方式来实现。

以前用于映射一个位深度图像到另一个位深度图像的方法包括直方图均衡、线性映射和伽马映射。线性映射和伽马映射是简单的技术，但是其在给出的结果的质量上非常有限。

直方图均衡色调映射过程一般涉及采用要进行色调映射的图像的累积直方图。累积的直方图然后被归一化到255(在输出位深度是8位的情况下)并且该归一化的累积直方图然后被用作映射函数以将原始图像变换为所需的位深度。然而，往往发现直方图均衡是过于进取的，作为结果图像中精细的细节丢失。还会引入诸如梯度逆转和量化或条纹伪像等的伪像。

还知道局部直方图均衡色调映射过程。这些有时被称为自适应直方图均衡技术。它们包括使用不同的变换以均衡图像子区域的直方图。这些方法一般是高度计算密集的，并且难以在实时应用中实现。例如，由于矩形窗口一般在该窗口中直方图均衡的每个像素周围使用，还会引入噪声和伪像。从而得到的变换在空间上不是平滑的。

此前，具有由原始图像统计量确定的S型函数并且考虑感知偏好指导的单个S型函数被用作色调映射函数。考虑主观偏好允许图像看上去尽可能使观看者满意。这在消费者成像和商业摄影中是合乎需要的。然而，这一方法不适合目标为信息保留的医学成像应用、卫星成像、归档等。在这些情况中需要保留或增强所有区域的细节和图像亮度级，而不仅是适合人类视觉系统的区域和亮度级。

以下描述的实施例不限于解决所指出的已知图像映射系统的缺陷中的任一或全部的实现。

概述

以下呈现了本公开简化的概述，以便向读者提供基本理解。本概述不是本公开详尽的概述，并且它不旨在标识本发明关键/决定性的元素或者描绘本发明的范围。其唯一目的是以简化形式呈现此处公开的一些概念，作为稍后呈现的更详细描述的序言。

描述了图像多模式映射的系统。描述了其中图像映射系统用于可视化诸如医学图像、卫星图像、高动态范围照片等等的高动态范围图像，并且还用于压缩这些图像的各实施例。在各示例中，高位深度的图像被色调映射以显示在较低位深度的设备上，而不损失细节。在各实施例中，图像映射系统计算描述输入图像的统计量，并且使多模式模型高效地拟合这些统计量。在各实施例中，多模式模型是高斯混合模型，并且获取与多模式模型对应的多个S型函数。在一个实施例中，添加S型函数以形成色调映射函数，该色调映射函数用于将诸如每像素16或12位的高位深度图像变换为诸如每像素8位的低位深度图像。

通过参考结合附图考虑的以下详细描述，众多伴随的特征将会更加容易理解并更好理解。

附图描述

通过依照附图阅读的以下详细描述，将会更好地理解本描述，其中：

图1a是高动态范围图像的累积直方图的示意图；

图1b是S型色调映射函数的示意图；

图2是计算机断层成像(CT)扫描图像以及该扫描图像多模式的相关累积直方图的示意图；

图3是图像映射方法的流程图；

图4a是高动态范围图像的累积直方图并且示出叠加在直方图上的示意高斯混合模型的示意图；

图4b是使用图4a的高斯混合模型形成的色调映射函数的示意图；

图5是确定高斯混合模型的方法的流程图；

图6是动态地色调映射图像子区域的方法的流程图；

图7a是被安排为压缩、传输和解压缩高位深度的图像的设备的示意图；

图7b是被安排为压缩、传输和解压缩高位深度的图像的另一设备的示意图；

图8是图像映射设备的示意图；

图9示出其中可以实现图像映射系统的各实施例的示例性的基于计算的设备。

在附图中，相同的标号用于表示相同的部分。

详细描述

以下结合附图提供的详细描述旨在作为本发明示例的描述，而不旨在表示可以构建或使用本发明示例的唯一形式。描述提出了示例的功能以及用于构建和操作示例的步骤序列。但是，可以由不同的示例实现相同或等效的功能和序列。

尽管此处将本发明示例描述和示出为在医学成像系统中实现，但是作为示例而非限制来提供所述系统。本领域的技术人员将会意识到，本发明示例适合各种不同类型的成像系统中的应用。

图1a是高动态范围图像的累积直方图100的示意图。图1b是可以用作产生图1a的直方图的图像色调映射函数的单个S型函数101的示意图。对于高动态范围输入图像中的给定像素，强度值用于使用S型函数查找对应的低动态范围像素值。在输入图像的累积直方图是如图1a的示例中的单模式的情况下，这一过程是令人满意的。但是，这不适用于众多类型的高动态范围图像的情况，诸如医学图像、卫星图像、牙齿图像、高动态范围照片、以及存在像素强度的众多显著不同的范围的场景或项目的其它图像。这将参考图2被更详细地解释。

图2示出CT扫描和相关的累积图像直方图的示意图。CT扫描是包括肌肉201、骨头200和肺202的人体扫描。表示骨头的图像部分往往具有如直方图所示的高范围203中的像素强度。表示肌肉的图像部分往往产生不同范围204中的像素强度，而表示肺205的图像部分产生另一个范围205中的像素强度。诸如图1b中的单个S型色调映射函数没有充分考虑直方图中的这三个不同的范围。如果使用这一色调映射函数，由于丢失了肺和骨头区域的大量细节，结果将会很差。这对于诸如医疗诊断等其中信息保留是关键的应用是成问题的。

为了解决此类问题，此处描述的实施例使用能够考虑输入图像的累积直方图中多于一个的模式的多模式模型。多模式模型比单模式模型(诸如图1b的模型)更加复杂，并且此处描述的实施例还提供可以实时地用于诸如在医院、牙科手术、天气预报系统等的实际应用的图像映射系统。

图2是图像映射方法的流程图。任意类型的高动态范围图像的输入数字图像被接收300。计算输入图像的累积直方图301。例如，对于灰度图像，直方图生成器确定柱(bin)大小(例如诸如0-10、11-20、21-39等的值范围)，并且对在每个柱中像素灰度值出现的次数计数。柱相对每个柱中出现的频率的图像给出如图2所示的直方图的图形表示。

处理器被安排成使多模式模型拟合302直方图。可以使用诸如高斯混合模型(GMM)的任意合适类型的多模式模型。需要的模式数(n)可以是可配置的参数303或者可以由图像映射系统自动地确定。对于包括CT扫描和MRI(核磁共振成像)的众多实际应用，发现仅使用两个模式提供了与以前的色调映射过程相比显著改进的结果，并且在某些情况下增加模式数至三个或更多是有益的。

在一个实施例中，n分量GMM模型被拟合到直方图。如以下参考图5所述，有可能有计算GMM模型的各种不同方法。GMM模型在斯普林格出版社2006年出版的Bishop.C.M.模式识别和机器学习中被详细描述，通过引用其整体而被包含在此。

使用高斯混合模型，计算304并且求和306n个对应的映射S型函数，以获得多模式色调映射函数(也称为变换函数)。可以考虑输出显示的位深度305。以下参考图4这将被更详细地描述。

一旦获得色调映射函数，它将被用于将高动态范围输入图像变换307为具有所需位深度的输出图像。输出图像被存储或者显示在诸如计算机屏幕或打印机等的显示设备上308。

图4a是高动态范围图像的累积直方图的示意图。直方图是多模式的，并且用由高斯分布400、401和402表示的3个分量来拟合GMM模型。每个高斯分布具有相关的均值μ和标准偏差σ。高斯分布的参数如本领域已知地来使用以形成与每个高斯分布对应的S型函数。添加这些S型函数403、404、405以形成如图4b所示的色调映射函数。如有必要，可以调整得到的色调映射函数来确保其从原点开始，使得来自HDR(高动态范围)的黑色像素映射至输出图像中的黑色像素。这确保利用了输出中的可用位深度的完整范围。

与过程的其它阶段以及与使用单模式模型的以前的方法相比，拟合多模式模型的步骤相对复杂。可以使用拟合多模式模型的各种不同方法。例如，可以使用图像映射系统中提供的期望最大化逻辑来拟合n分量GMM模型500。在以上引用的斯普林格出版社2006年出版的Bishop.C.M.模式识别和机器学习中详细解释了期望最大化。另一方法是使用图像映射系统中提供的K均值聚类逻辑。在引用参考的斯普林格出版社2006年出版的Bishop.C.M.模式识别和机器学习中也详细解释了K均值聚类。为了提供特别快速的实现，一实施例以高效的方式使用1维K均值聚类在这一实施例中，接收整数值形式的要处理的图像数据。非整数值首先被量化，然后被当作整数。确定整数数据集中的最大值和最小值，并且创建整数值的直方图。聚类中心位置被初始化为在值的范围内平均地隔开。然后迭代地执行以下步骤直到收敛为止：

对于K聚类中的每一个，在当前中心位置周围确定1维Voronoi区间。对于当前区间中的每个直方图条目，累积该聚类中值的数量，并且确定那些值的总和。在通过整个区间之后，将聚类的质心重新计算为总和除以计数。如果过程产生聚类中心位置的微量改变，则过程终止。

在一些实施例中，图像映射过程是动态的，因为例如作为用户输入在图像特定部分“放大”的结果，为输入图像的子区域实时地重新计算色调映射函数。这在众多可视化应用中是有用的，诸如医生需要看见图像特定区域中的更多细节以便作出诊断的医学成像。诸如通过图形用户界面、语音接口或者其它接口，可以由用户输入指定图像的子区域。或者，可以由图像处理系统自动地选择子区域。

例如如参考图6所述，使用第一映射函数(多模式的)600获取并且显示色调映射的图像。接收指定图像子区域的用户输入601，并且实时计算第二映射函数602。例如，n分量GMM模型被拟合至由图像子区域获取的累积直方图。然后使用第二映射函数603并且选择性地使用平滑过程来动态地更新显示以避免显示中的突然变化。例如，第二映射函数被应用于图像子区域，并且仅显示变换的子区域。

此处描述的过程还可以用于增强图像压缩。例如，先前已经用适合高位深度的图像的编解码器701压缩高位深度的图像700。已知的用于高位深度的图像的压缩算法是复杂和耗时的。这些算法往往将伪像引入至图像。一旦被压缩，在被解码器703解压缩之前，图像将例如经由因特网或其它通信网络被传输702。得到的高位深度的图像704通常包括伪像。

在一个实施例中，使用此处描述的任何实施例将高位深度的图像700色调映射到较低的位深度(诸如每像素8位(bpp))705。然后使用任意合适的已知8-bpp图像压缩算法来压缩色调映射的图像706。这导致更高质量的压缩图像，这是因为由于非线性色调映射，最优地利用了8bpp的范围。此外，现有8-bpp压缩算法显著地快于相应的16-bpp算法。压缩的图像被传输702，使用已知的压缩过程被解压缩707，并且然后被显示708。例如，在医学图像的情况下，医生可以接收附有压缩的图像的电子邮件，解压缩该图像，并且在其个人计算机上显示该图像。医生然后能够以与发送前的色调映射图像相同质量可视化色调映射图像。还可能逆转色调映射过程709以获取回高动态范围的图像。在这一例子中，传输包括压缩的图像和多模式模型的参数领着。这些被用于逆转色调映射过程709以及提供没有以前可能被引入的伪像的高位深度图像。高位深度的图像然后可以用于进一步处理或者所需的其它目的。

图8是图像映射设备805的示意图，该图像映射设备805包括被安排为使用此处描述的多模式模型以将高位深度的源图像800映射至较低位深度的显示设备802的色调映射处理器801。显示设备可以是打印机、显示屏或者其它显示设备。图像映射设备805还包括确定描述源图像800的统计量以用于创建多模式模型的图像统计处理器803。图像统计处理器被安排为将多模式模型拟合至图像统计量并且将得到的模型804存储在存储器中。

图9示出可以被实现为任何形式的计算和/或电子设备，并且其中可以实现图像映射系统的实施例的示例性基于计算的设备900的各组件。

基于计算的设备900包括适合接收媒体内容、因特网协议(IP)输入、高动态范围图像、高位深度图像以及其它输入的任何类型的一个或多个输入906。设备还包括例如将设备连接至因特网或其它通信网络以用于传输图像和/或其它数据的通信接口907。

基于计算的设备900还包括一个或多个处理器901，该一个或多个处理器901可以是微处理器、控制器或用于处理计算机可执行指来控制设备的操作，以便将高位深度图像映射至较低位深度的图像而同时保留动态范围信息的任何其它合适类型的处理器。包括操作系统904的平台软件或任何其它合适的平台软件可在基于计算的设备处提供以使得应用程序软件903能够在设备上执行。

可以使用诸如存储器902的任何计算机可读介质来提供计算机可执行指令。存储器是诸如随机存取存储器(RAM)、如磁或光存储设备等的任何类型的盘存储设备、硬盘驱动器、或CD、DVD或其它盘驱动器的任何合适类型的存储器。还可以使用闪存、EPROM或EEPROM。

还可以提供诸如音频和/或视频输出等输出至与基于计算的设备集成或通信的显示系统。尽管不是必要的，但是显示界面905可以提供图形用户界面，或者任何合适类型的其它用户界面。

术语“计算机”此处用于指具有处理能力从而能够执行指令的任何设备。本领域的技术人员将意识到这些处理能力被包括在众多不同的设备中，并且因此术语“计算机”包括PC、服务器、移动电话、个人数字助理以及众多其它设备。

此处描述的方法可以由有形存储介质上的机器可读形式的软件执行。软件可以适合在并行处理器或串行处理器上执行，从而方法步骤可以用任意合适的顺序、或者基本上同时地实现。

这承认软件是有价值的、单独可交易的商品。旨在包括运行或控制“哑”或标准软件的软件，以实现所需功能。还旨在包括诸如HDL(硬件描述语言)软件等“描述”或定义硬件配置的软件，所述软件用于设计硅片或者配置通用可编程芯片以实现所需功能。本领域的技术人员将意识到，用于存储程序指令的存储设备可以分布在网络上。例如，远程计算机可以存储描述为软件的过程的示例。本地或终端计算机可以访问远程计算机和下载部分或全部软件以运行程序。或者，本地计算机可以按照需要下载软件的片段，或者在本地终端执行若干软件指令并且在远程计算机(或计算机网络)执行若干指令。本领域的技术人员还将意识到，通过使用本领域技术人员公知的常规技术，全部或部分的软件指令可以由诸如DSP、可编程逻辑阵列等的专用电路实现。

如本领域的技术人员将显而易见的，可以扩展或改变此处给出的任何范围或设备值，而不丢失所寻求的效果。

将理解，上述的好处和优势可以与一个实施例有关或者可以与若干个实施例有关。各实施例不限于解决任意或全部所述问题的实施例或者具有任意或全部所述好处和优势的实施例。还将理解，对“一”项目的引用指的是这些项目中的一个或多个。

此处描述的方法的步骤可以按任意合适的顺序、或者适当地同时地实现。此外，可以从任意方法中删除各个框，而不背离此处所描述的主题的精神和范围。上述任何示例的各方面可以与所描述的其它任何示例的各方面结合以形成其它示例而不丢失所寻求的效果。

术语“包括”在此处用于指包括标识的方法框或元素，但是这些框或元素不构成排他列表，并且方法或设备可以包括另外的框或元素。

将理解，仅作为示例给出优选实施例的以上描述，并且可以由本领域的技术人员作出各种修改。以上说明、示例和数据提供了对本发明的示例性实施例的结构和使用的全面描述。尽管以上以一定的详细程度、或者参考一个或多个独立的实施例描述了本发明的各实施例，但是本领域的技术人员可以对公开的实施例做出各种修改，而不背离本发明的精神或范围。

Claims

1.一个图像映射系统，包括：

被安排为接收第一位深度的输入图像(800)的至少一部分的输入；

被安排为计算描述输入图像的统计量并且将多模式模型(804)拟合至该统计量的处理器(803)，所述处理器还被安排为使用多模式模型来确定多模式色调映射函数(403、404、405)；以及

被安排为将色调映射函数应用于所接收的输入图像，以形成与输入图像不同的位深度的输出图像的色调映射处理器(801)。

2.如权利要求1所述的图像映射系统，其特征在于，所述处理器被安排为计算输入图像的累积直方图(100)。

3.如权利要求2所述的图像映射系统，其特征在于，所述处理器被安排为将n分量高斯混合模型(400、401、402)拟合至累积直方图。

4.如任何先前权利要求所述的图像映射系统，其特征在于，所述处理器被安排为通过确定多个S型函数(403、404、405)来确定色调映射函数，多模式模型的每个模式一个S型函数。

5.如权利要求4所述的图像映射系统，其特征在于，所述处理器被安排为通过添加多个S型函数(403、404、405)来确定色调映射函数。

6.如任何先前权利要求所述的图像映射系统，其特征在于，所述处理器被配置为使用K均值聚类过程(502)来拟合多模式模型。

7.输入还被安排为接收输入图像的子区域(601)的细节，并且所述处理器被安排为计算描述输入图像的子区域的第二统计量并且将第二多模式模型拟合至那些第二统计量。

8.如权利要求7所述的图像映射系统，其特征在于，所述处理器还被安排为使用第二多模式模型来确定第二多模式色调映射函数(602)。

9.如权利要求8所述的图像映射系统，其特征在于，所述色调映射处理器被安排为将第二色调映射函数应用于图像子区域。

10.如任何先前权利要求所述的图像映射系统，其特征在于，还包括被安排为将输出图像作为输入的图像压缩设备(706)。

11.如任何先前权利要求所述的图像映射系统，其特征在于，所述系统被安排为在位深度大于每像素8位的图像上操作。

12.如任何先前权利要求所述的图像映射系统，其特征在于，所述色调映射处理器还被安排为逆转色调映射过程以便从输出图像和色调映射函数获取输入图像，而不会对输入图像中信息有实质的损失。

13.一种图像映射的方法，包括；

在图像处理系统处接收(300)第一位深度的输入图像的至少一部分；

使用处理器计算(301)描述输入图像的统计量；

使用处理器将多模式模型拟合(302)至统计量；

使用处理器从多模式模型确定多模式色调映射函数；以及

使用色调映射处理器将色调映射函数应用于(307)接收到的输入图像，以形成与输入图像不同的位深度的输出图像。

14.如权利要求13所述的方法，其特征在于，所述拟合多模式模型的步骤包括拟合双模式模型。

15.如权利要求14所述的方法，其特征在于，所述确定色调映射函数的步骤包括确定多个S型函数，多模式模型的每个模式一个S型函数。