CN101385045B - 感知图像预览 - Google Patents

Abstract

描述了用于感知图像预览的系统和方法。在一个方面，通过对较大图像进行降采样来生成朴素预览图像。随后检测该较大图像的感知特征。与所检测到的感知特征相关联的信息随后被并入该朴素预览图像中以创建感知预览图像。由于该感知预览图像合并了与所检测到的感知特征相关联的信息，因此该感知预览图像的观察者将更可能检测到较大图像中这些感知特征的存在或缺失。

Description

感知图像预览

背景技术

预览图像通常表示较大图像的缩小的或降采样的版本。成像应用程序通常在显示设备上为用户呈现图像预览以近似从中导出该预览图像的较大图像的图像组成、质量和/或其它方面。然而，因为预览图像是降采样操作的结果，所以预览图像只是以对应的较大图像中存在的信息的一个子集来创建的。结果，仅仅通过观察预览图像，用户可能不能够查明较大图像中存在的显著的感知特征(例如，噪声、模糊、景深(depth of field)、白平衡、光晕效应等等)。在这些场景中，预览图像可能不能充分解决用户的图像预览和浏览需求。

发明内容

提供本概述是为了用简化的形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

鉴于上述原因，描述了用于感知图像预览的系统和方法。在一个方面，通过对较大图像进行降采样来生成朴素预览图像。随后检测该较大图像的感知特征。与所检测到的感知特征相关联的信息随后被并入该朴素预览图像中以创建感知预览图像。由于该感知预览图像结合了与所检测的感知特征相关联的信息，因此该感知预览图像的观察者将很容易检测到较大图像中的这些感知特征的存在或缺失。

附图说明

在附图中，一个组件参考标号最左边的数字标识了该组件首次出现的特定附图。

图1示出根据一个实施例的用于感知图像预览的示例性系统。

图2(a)示出任意朴素预览图像的区域内的示例性梯度域。

图2(b)示出任意结构上增强的感知预览图像的区域内的示例性梯度域。

图3示出根据一个实施例的用于感知图像预览的示例性过程。

具体实施方式

示例性系统

尽管并非必需，但用于感知图像预览的系统和方法将在由诸如个人计算机等计算设备执行的计算机可执行指令(程序模块)的一般上下文中描述。程序模块一般包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。虽然在前述上下文中描述了本系统和方法，但其后描述的动作和操作也可以用硬件实现。

图1示出根据一个实施例的用于感知图像预览的示例性系统100。系统100包括主机计算设备102。主机计算设备102表示任何类型的计算设备，诸如小形状因子设备、数码相机、手持式或移动计算设备、膝上型计算机、个人计算机、服务器等等。主机计算设备102包括耦合到存储器106的一个或多个处理单元104。存储器106包括系统存储器和诸如压缩闪存等耦合到计算设备102的任何其它类型的存储器。系统存储器(如RAM和ROM)包括计算机程序模块(“程序模块”)108和程序数据110。处理器104从程序模块108的相应各模块中取出并执行计算机程序指令。程序模块108包括用于从较大(父)图像116生成感知预览图像114的感知图像预览模块112。程序模块108还包括“其它程序模块”118，诸如操作系统、利用感知图像预览模块112的各个方面(如将感知预览图像114呈现给用户，等等)的应用程序，等等。

感知图像预览模块112(“预览模块112”)对较大图像116进行降采样以创建常规的朴素预览图像。预览模块112随后用与较大图像116相关联的附加信息来增强该朴素预览图像以更好地显示较大图像116的一个或多个结构和/或感知特征。该增强的朴素预览图像是感知预览图像114。更具体地，为生成感知预览图像114，预览模块112从较大图像116中检测并评估结构和任意感知特征(例如，噪声、模糊、景深、光晕、白平衡等等中的一个或多个)。这些所检测到的结构和任意感知特征作为所检测到的感知特征120的相应部分来显示。预览模块112用与这些所检测到的方面中的一个或多个相关联的信息来增强朴素预览图像以允许观察者更准确地查明较大图像116中这些方面的存在和缺失。

用于感知图像预览的系统和方法的这些和其它方面现将更详细地讨论。

示例性结构增强

预览模块112用结构上的增强来扩充较大图像116的朴素预览图像以在结构上增强预览图像114。这些扩充操作加强所得图像中的显著边缘并使其中的弱细节变平。由于显著边缘往往隔开不同的对象，因此该方法通常增大对象间对比度并减小对象内对比度。结果，图像结构视觉上变得更明显且更吸引用户注意。该更明显的结构使用户能更容易检测与随后并入结构上增强的感知预览图像114的其它所检测到的感知特征120相关联的任何信息。

在该实现中，预览模块112经由在图像梯度域内的非线性调制来实现结构增强。因为空间域中的显著边缘具有大的梯度量值，而弱细节对应于小的梯度量值，所以问题变为增大大梯度而减小小梯度。大梯度的增大加强重要边缘，而小梯度的减小则抑制冗余细节。给定梯度域和图像边界，通过求解一泊松方程，可以重构该图像。梯度域中的调整也因而反映在所得图像中。

在该实现中，预览模块112通过首先将所生成的朴素预览图像转换到YUV色彩空间，来创建结构上增强的感知预览图像114。预览模块112随后为亮度分量的计算梯度域。色度分量保持原样以保证图像色彩不变化。使用经修正的S形曲线函数来调制梯度量值：

$G_i^{\′}=\frac{\mathrm{\α}}{1+\exp (-k(G_i-\mathrm{\β}))}---\left(1\right)$

其中，G_i是像素i的梯度量值而G′_i是调整过的梯度量值。由于局部方向调整可能破坏梯度域的一致性，故未改变梯度方向。参数α控制最大调整量值。当α被设为小于1的值时，所有梯度都将被抑制。参数k控制调制斜率。k越大，被放大的大梯度量值越多，同时被抑制的小梯度量值也越多。参数β定义区分大和小梯度量值的阈值。参数β与参数α和k相比对结果有更大影响。为保留局部显著微小细节，如下自适应地选择β：

其中，β_g是全局阈值，而β_l是局部阈值。β_l被求值为该像素的邻域中的高斯加权的平均梯度量值。以同一方法在整个图像上对β_g求值。等式(2)注意到强边缘的同时更倾向于弱却显著的边缘。

图2(a)示出任意朴素预览图像的区域内的示例性梯度域。图2(b)示出根据该一实施例的、从该朴素预览图像中生成的结构上增强的感知预览图像114(图1)的区域内的示例性梯度域。在图2(b)中，梯度方向与图2(a)中的梯度方向相比保持不变，而对于大梯度增大梯度量值且对于小梯度减小梯度量值(相比于图2(a)的梯度量值)。一般地，结构上增强的感知预览图像114的结构上增强的感知预览图像将呈现比朴素预览图像更清晰的图像结构。

示例性感知特征保留

可从图像116中检测到许多任意类型的感知特征。这些感知特征包括，例如，白平衡、景深、光晕、由图像压缩引起的块状伪像、图像质量等等。(光晕是一动态范围像素感光过度以致邻近像素变亮且感光过度的效应)。为在感知预览图像114中呈现较大图像116显现出的感知特征，预览模块112从较大图像116中检测这些感知特征(如，示为检测到的感知特征120)。检测到的感知特征120所表示的感知特征的数量和类型是任意的并且是由特定实现决定的。

下一步，预览模块112将与检测到的感知特征120的至少一个子集相关联的信息(如，合成的/导出的信息122)合并到朴素预览图像或结构上增强的感知预览图像114中。当该信息被并入朴素预览图像时，得到新的感知预览图像114。虽然该合并的信息可以是从较大图像116所提取的信息，但该合并的信息不必是提取的信息。相反，在某些或所有情况下，这种信息是从由检测到的感知特征120所提供的信息中合成或导出的。鉴于此，在该实现中，检测父图像116显现出的感知特征120的严格的准确性是不必要的。在感知预览图像114中包括对应于检测到的感知特征100的信息允许感知预览图像114向观察者传达关于较大父图像116的更多信息。例如，通过显示检测到的感知特征以某种程度存在于父图像116中。

噪声

当使用高ISO模式(如ISO 400或更大)捕捉图像时，或当使用短曝光捕捉图像时，经常会将噪声引入到图像116中。噪声通常看似为分布于图像上的彩色颗粒。噪声经常出现在暗的区域里。假定噪声具有累加性质且遵循均匀分布。虽然在考虑到不同噪声生成模式的情况下该假设并不总是成立，但是其对于反映结构上增强的感知预览图像114上的噪声是足够的。

为在对应的感知预览图像114中表示存在于较大图像116中的噪声，预览模块112使用多种公知噪声检测技术中的任一种从父图像116中检测噪声并将其存储为源噪声图像。基于均匀分布的假设，预览模块112通过从该源噪声图像中随机采样来生成目标噪声图像(其尺寸等于结构上增强的预览感知预览图像114)。这些源和目标噪声图像被示为“其它程序数据”126(图1)的相应部分。目标噪声图像被添加到结构增强的预览图像以表示较大父图像116的噪声。在另一实现中，目标噪声图像被添加到朴素预览图像，而不是结构上增强的感知预览图像114。

在一个实现中，噪声不是从大图像116中检测的，而仅仅是从较大图像116的一均匀的较小区域中，例如，从包括很少显著边缘的区域中检测的。目的是在所得感知预览图像114中呈现看起来与在较大图像116上所看到的相类似的噪声。不必要从整个原始图像116中提取噪声。例如，假设期望均匀区域Ω具有M×M像素的大小，在此M是一适度的值，比如说10d，其中d是大小缩小的比率。过大的M会使期望的均匀区域不存在。过小的M提供不出足够准确的噪声。

在一个实现中，取代直接检测较大图像116中的Ω，预览模块112搜索朴素预览图像中大小为(M/d)×(M/d)像素的对应区域Ω_d，随后将其映射到原始图像116的Ω。朴素预览图像将显现出比存在于从中导出该预览图像的较大图像中更少的噪声。另外，因为朴素预览图像具有小得多的尺寸，因此对Ω_d的搜索是高效且可靠的。更具体地，预览模块112将朴素预览图像分成不重叠的块，然后选择具有最小变度的块Ω_d。在大多数情况下，对应于Ω_d的区域Ω不含显著边缘。因此，其高频分量组成噪声图N_s。预览模块112应用离散平稳小波变换来可靠地估计噪声N_s。因为该区域大小很小，因此该计算非常迅速。

在一个实现中，为产生具有缩小的尺寸的噪声图N_d，程序模块112利用纹理合成方法保持N_s中的噪声空间分布。在实践中，程序模块112基于噪声具有均匀分布的假设从N_s中随机生成噪声图N_d。虽然N_d不精确匹配原始图像116中的噪声分布，但N_d却向用户传达与原始体验类似的视觉体验(参见如下描述的图3)。为改进算法稳定性，预览模块112选择K个均匀区域，并在所有区域中随机采样。在该实现中，M＝80，且K＝5。最终图像I_f计算如下：

I_f＝I_d+γ·N_d

其中，I_d是缩小的图像，而γ是控制噪声需要被多显著地可视化的参数。

模糊

当在诸如照相机等图像采集设备和该图像的对象之间有相对运动发生或当对象没有对焦时，图像116中会出现模糊。在不同的场合中，模糊可以在整个图像或只是某些区域的周围出现。模糊降低图像116的清晰度。然而，朴素缩小的图像可能看起来仍然清晰，尤其是当对应的从中生成朴素预览图像的父图像中的模糊不严重时。预览模块112检测图像模糊以展示在感知预览图像114中。这通过在原始图像116中局部地评估模糊程度来实现。鉴于该评估，预览模块112模糊感知预览图像114中的对应区域以呈现对应量的模糊。当整个图像116模糊时，用户通常更容易看到边缘区域模糊。鉴于此，当整个图像116模糊时，预览模块112在感知预览图像114中只沿其边缘执行模糊操纵。

预览模块112在结构上增强的感知预览图像114上执行边缘检测。对于图像中每一边缘像素E_i，预览模块112估计其相应的模糊程度。模糊估计基于模糊的边缘区域通常比清晰边缘区域在梯度角中具有较小的偏差的观察结果。更具体地，对于边缘像素E_i，区域R_i位于收缩到该像素E_i的原始图像116中。区域R_i中的梯度角则被表示为A_i(k)。边缘像素E_i上的模糊量B_i计算如下：

B_i＝exp{-η·D(A_i)^α}                        (3)

其中，D(A_i)是区域R_i中的梯度角的变化。参数η和α控制所估计的模糊量。这些根据经验被设为η＝3且α＝1.2。这些参数也可以主观地确定。

预览模块112随后根据所估计的与像素E_i相关联的模糊程度的量在像素E_i的邻域中合成感知预览图像114中的模糊。更具体地，预览模块112根据模糊的量B_i，使用高斯内核来实现模糊操作，其中B_i实际是作为高斯型的总和。随后使用该高斯内核对E_i的邻域进行加权。

示例性过程

图3示出根据一个实施例的用于感知图像预览的示例性过程300。出于示例性的说明和描述的目的，将相对于图1的组件描述该过程的操作。在框302，感知图像预览模块112(图1)通过对较大图像116进行降采样而从较大图像116中生成朴素预览图像。在框304，感知图像预览模块112从该朴素预览图像中检测边缘信息。在框306，感知图像预览模块112利用所检测的边缘信息来增强朴素预览图像的结构，并因而创建具有增强的结构的感知预览图像114(结构上增强的感知预览图像)。在框308，感知图像预览模块112从较大图像116中检测感知特征(图1的检测到的感知特征120)。

在框310，感知图像预览模块112将与检测到的感知特征120的至少一个子集相关联的信息合并到预览图像中以创建感知预览图像114。并入这些信息的特定预览图像可以是朴素预览图像或结构上增强的感知预览图像114。在框312，感知图像预览模块112或利用感知图像预览模块112的输出的不同的应用程序将感知预览图像114呈现给用户以表示从中导出感知预览图像114的较大图像116。由于感知预览图像114呈现与较大图像116的检测到的感知特征相关联的信息，因此观察感知预览图像114允许用户做出关于较大图像116的质量或其它方面的有根据的判断。

结论

虽然以对结构特征和/或方法操作或动作专用的语言描述了用于感知图像预览的系统和方法，但是可以理解，所附权利要求书中所定义的实现不一定要限于所描述的具体特征或动作。例如，可使用与所检测的感知特征120相关联的、已并入感知预览图像114中的信息来允许用户访问较大图像的除图像质量之外的各个方面(如，景等等)。因此，系统100的具体特征和操作是作为实现所要求保护的主题的示例性形式来公开的。

Claims (20)

1.一种至少部分地由计算设备实现的实现感知图像预览的方法，所述方法包括：

通过对较大图像降采样来生成朴素预览图像；

检测与所述较大图像相关联的感知特征；

将与所述感知特征的至少一个子集相关联的信息合并到所述朴素预览图像中以创建感知预览图像，

其中，向用户呈现所述感知预览图像便于判断所述较大图像中所述感知特征的所述至少一个子集的存在或缺失。

2.如权利要求1所述的方法，其特征在于，所述感知特征包括结构、噪声、模糊、白平衡、光晕、图像压缩伪像和景深中的一个或多个。

3.如权利要求1所述的方法，其特征在于，所述感知特征涉及图像质量。

4.如权利要求1所述的方法，其特征在于，所述信息是基于所述感知特征的而不是从所述较大图像中提取的，所述信息通知所述感知预览图像的观察者所检测的感知特征的至少一个子集存在于所述较大图像中。

5.如权利要求1所述的方法，其特征在于，合并所述信息进一步包括在结构上增强所述朴素预览图像以加强显著边缘并使弱细节变平。

6.如权利要求5所述的方法，其特征在于，结构上增强是使用非线性调制和所述朴素预览图像或所述较大图像的梯度域来执行的。

7.如权利要求1所述的方法，其特征在于，检测所述感知特征进一步包括：

从所述较大图像或所述朴素预览图像的包括相对少的显著边缘的区域中检测噪声，所述区域不表示所述较大图像的整体或朴素边缘预览；以及

将从所述噪声中合成的信息添加到所述感知预览图像。

8.如权利要求1所述的方法，其特征在于，检测所述感知特征进一步包括：

评估所述较大图像的至少一部分中的多个像素的每一像素的相应模糊程度；以及

基于对应于所述较大图像中的所述多个像素的位置的所述感知预览图像的区域中，为所述多个像素的每一像素合成所述感知预览图像中的模糊。

9.一种由计算设备实现的实现感知图像预览的方法，包括：

从较大图像生成朴素预览图像；

检测与所述较大图像相关联的感知特征；

将与所述感知特征的至少一个子集相关联的信息合并到所述朴素预览图像中以创建感知预览图像，

其中所述信息不是从所述较大图像中提取的，而是由检测到的感知特性所提供的信息中合成或导出的，所述信息通知所述感知预览图像的观察者所检测到的感知特征的所述至少一个子集以某种表示的程度存在于所述较大图像中。

10.如权利要求9所述的方法，其特征在于，所述感知特征包括结构、噪声、模糊、白平衡、光晕、图像压缩伪像和景深中的一个或多个。

11.如权利要求9所述的方法，其特征在于，合并所述信息进一步包括结构上增强所述朴素预览图像以加强显著边缘并使弱细节变平。

12.如权利要求11所述的方法，其特征在于，结构上增强是使用非线性调制和所述朴素预览图像或所述较大图像的梯度域来执行的。

13.如权利要求9所述的方法，其特征在于，检测所述感知特征进一步包括：

从所述较大图像或所述朴素预览图像的包括相对少的显著边缘的区域中检测噪声，所述区域不表示所述较大图像的整体或朴素边缘预览；以及

将从所述噪声中合成的信息添加到所述感知预览图像。

14.如权利要求9所述的方法，其特征在于，检测所述感知特征进一步包括：

评估所述较大图像的至少一部分中的多个像素的每一像素的相应模糊程度；以及

基于对应于所述较大图像中的所述多个像素的位置的所述感知预览图像的区域中，为所述多个像素的每一像素合成所述感知预览图像中的模糊。

15.一种实现感知图像预览的计算设备，包括：

从较大图像生成朴素预览图像的装置；

评估所述朴素预览图像以标识边缘的装置；

鉴于所述边缘而加强所述朴素预览图像的显著边缘并鉴于所述边缘而使所述朴素预览图像的弱细节变平以创建感知预览图像的装置；

检测所述较大图像的感知特征的装置；

将与所述感知特征的至少一个子集相关联的信息合并到所述感知预览图像中的装置；以及

将所述感知预览图像呈现给用户以通知所述用户所检测到的感知特征的至少一个子集存在于所述较大图像中的装置。

16.如权利要求15所述的计算设备，其特征在于，所述感知特征包括结构、噪声、模糊、白平衡、光晕、图像压缩伪像和景深中的一个或多个。

17.如权利要求15所述的计算设备，其特征在于，加强和变平是使用非线性调制和所述朴素预览图像或所述较大图像的梯度域来执行的。

18.如权利要求15所述的计算设备，其特征在于，检测所述感知特征的装置进一步包括：

从所述较大图像或所述朴素预览图像的包括相对少的显著边缘的区域中检测噪声的装置，所述区域不表示所述较大图像的整体或朴素边缘预览；以及

将从所述噪声中合成的信息添加到所述感知预览图像的装置。

19.如权利要求15所述的计算设备，其特征在于，检测所述感知特征的装置进一步包括：

评估所述较大图像的至少一部分中的多个像素的每一像素的相应模糊程度的装置；以及

基于对应于所述较大图像中的所述多个像素的位置的所述感知预览图像的区域中，为所述多个像素的每一像素合成所述感知预览图像中的模糊的装置。

20.如权利要求19所述的计算设备，其特征在于，合成模糊的装置进一步包括用于计算所述多个像素中的边缘像素E_i上的模糊量B_i的装置，所述计算如下：

B_i＝exp{-η·D(A_i)^α}，

其中，D(A_i)是区域R_i中的梯度角的变化，参数η和α控制所估计的模糊量。

Images