CN104246822A - 图像增强 - Google Patents

Abstract

本发明中描述的技术通常涉及使图像的若干部分相对于所述图像的其它部分增强。实例技术可结合一或多个检视者可感知信息利用深度信息使所述图像的若干部分相对于其它部分增强。所述技术接着可显示增强型图像以向检视者提供可能更真实的图像。

Description

图像增强

技术领域

本发明涉及图像增强，且更明确地说，涉及经建构图像上的图像增强。

背景技术

各种装置为可操作的以显示视频或图像。举例来说，装置可下载视频或图像，或可用数码相机俘获视频或图像。在显示器上显示下载、俘获或以其它方式产生的视频或图像。举例来说，视频可作为一连串帧显示。

发明内容

总的来说，本发明描述用于图像增强的技术。图像增强是指增强视频的经建构帧或经建构个别图像。换句话说，所描述的技术可适用于视频的独立图像或帧。如更详细描述的，技术可利用深度图，所述深度图结合另一感知图指示图像内的对象的相对深度，从而确定所述图像中的像素是否应相对于其它像素增强。

在一个实例中，本发明描述一种用于图像处理的方法，其包含接收图像，及确定指示所述图像内的像素的相对深度的所述图像的深度图的深度图值。所述方法还包含确定所述图像的感知图的感知图值，及至少基于所述深度图值及所述感知图值使所述图像的第一部分相对于所述图像的第二部分增强。

在另一实例中，本发明描述一种装置，其包含经配置以存储图像的存储器及一或多个处理单元。所述一或多个处理单元经配置以接收所述图像，及确定指示所述图像内的像素的相对深度的所述图像的深度图的深度图值。所述一或多个处理单元也经配置以确定所述图像的感知图的感知图值，及至少基于所述深度图值及所述感知图值使所述图像的第一部分相对于所述图像的第二部分增强。

在另一实例中，本发明描述一种装置，其包含用于接收图像的装置，及用于确定指示所述图像内的像素的相对深度的所述图像的深度图的深度图值的装置。所述装置还包含用于确定所述图像的感知图的感知图值的装置，及用于至少基于所述深度图值及所述感知图值使所述图像的第一部分相对于所述图像的第二部分增强的装置。

在另一实例中，本发明描述一种计算机可读存储媒体。所述计算机可读存储媒体包括指令，所述指令致使一或多个处理器接收图像，确定指示所述图像内的像素的相对深度的所述图像的深度图的深度图值，确定所述图像的感知图的感知图值，及至少基于所述深度图值及所述感知图值使所述图像的第一部分相对于所述图像的第二部分增强。

随附图式和以下描述中陈述一或多个实例的细节。其它特征、目标及优点将从所述描述及图式以及权利要求书而显而易见。

附图说明

图1是说明可实施本发明的一或多个方面的装置的实例的框图。

图2是说明可实施本发明中描述的一或多个技术的后处理器的实例的框图。

图3是说明可实施本发明中描述的一或多个技术的增强单元的实例的框图。

图4是说明可实施本发明中描述的一或多个技术的增强单元的另一实例的框图。

图5是说明可实施本发明中描述的一或多个技术的深度图处理单元的实例的框图。

图6是说明根据本发明所描述的一或多个实例的实例技术的流程图。

图7是说明可为可操作的以实施本发明的一或多个方面的装置的另一实例的框图。

具体实施方式

总的来说，本发明涉及用以使用与图像相关联的检视者可感知信息增强一或多个图像的图像增强技术。图像可为静态图像(例如，由相机拍摄的图片)，或视频数据的一部分(例如，视频数据帧)。在一些实例中，图像可为右眼图像及左眼图像(例如，作为立体视频的一部分)，或用于多视图视频的图像。

如更详细描述的，装置的一或多个处理单元可实施本发明中描述的图像增强技术。本发明中描述的实例技术可通过使用检视者可感知图像信息执行图像增强而提供更真实的图像。举例来说，一或多个处理单元可基于例如深度信息以及运动信息和/或显著性信息等可感知信息对图像的部分执行对比度增强、锐化及模糊、色彩增强或其任何组合。

图1是说明可实施本发明的一或多个方面的装置的实例的框图。举例来说，图1说明装置10。装置10的实例包含(但不限于)例如媒体播放器、机顶盒、例如移动电话等无线手持机、个人数字助理(PDA)、桌上型计算机、膝上型计算机、游戏控制台、视频会议单元、平板计算装置及其类似者等视频装置。如所说明，装置10可包含显示器12、视频处理器14、图形处理单元(GPU)16、视频编码器/解码器(编解码器)18、存储器20及后处理器22。装置10除图1中所说明的那些组件之外还可包含若干组件。举例来说，图9说明包含比图1中说明的那些组件更多的组件的装置10的实例。

视频处理器14、GPU16、视频编解码器18及后处理器22的实例包含(但不限于)数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。此外，尽管视频处理器14、GPU16、视频编码器-解码器(编解码器)18及后处理器22经说明为单独的组件，但本发明的方面不限于此。在替代实例中，视频处理器14、GPU16、视频编解码器18及后处理器22中的一或多者可为共同集成电路的一部分。出于说明及容易描述的目的，视频处理器14、GPU16、视频编解码器18及后处理器22经说明为单独的组件。

而且，本发明将后处理器22描述为实施实例技术。在替代实例中，装置10的处理单元中的任一者可实施本发明中描述的技术。举例来说，视频处理器14、GPU16、视频编解码器18、后处理器22、装置10的显示处理器或中央处理单元(CPU)可实施本发明中描述的技术。为了指示此情形，在一些实例中，本发明将处理单元描述为执行本发明中描述的技术。此处理单元的实例包含视频处理器14、GPU16、视频编解码器18、后处理器22、装置10的显示处理器或装置10的CPU。在一些实例中，后处理器22可形成于其它处理单元中的一者内。举例来说，装置10的显示处理器可包含后处理器22。在此实例中，本发明中描述的技术可被认为是由所述显示处理器执行。

视频处理器14、GPU16和/或视频编解码器18可输出图像数据到存储器20。举例来说，存储器20可存储图像24，所述图像为从视频处理器14、GPU16或视频编解码器18中的任一者产生的经建构图像。对于图1中未图示的其它组件来说，产生图像24及将图像24存储于存储器20中是有可能的，且视频处理器14、GPU16及视频编解码器18是出于说明的目的而描述的。后处理器22可从存储器20检索图像24，增强图像24以产生增强型图像26，及在显示器12上呈现增强型图像26。

增强图像24以产生增强型图像26可指修改例如图像24内的像素的色彩值等像素值，以使得增强型图像26的整体外观的质量比图像24高。增强型图像26与图像24相比较较高的质量的一个实例可为增强型图像26所呈现的真实度比图像24更高；但可利用本发明的技术实现其它较高质量的实例。举例来说，如更详细描述的，后处理器22可使图像24的一部分内的像素的对比度、锐度和/或色彩相对于图像24中的另一部分增强，从而产生增强型图像26。此增强可导致增强型图像26所呈现的真实度比图像24更高。此外，如更详细描述的，后处理器22可利用例如深度信息、运动信息及显著性信息(作为三个实例)等检视者可感知信息，从而确定图像24的哪些部分相对于其它部分得到增强。

图像24可被称为经建构图像，其用以指示图像24为具有图像24的像素中的每一者的像素值的完整图像。举例来说，视频处理器14、GPU16或视频编解码器18中的一者可完成其相应的产生图像24及将图像24存储于存储器20中的功能。如更详细描述的，本发明中描述的实例技术可增强此经建构图像及显示器所述增强型图像。换句话说，图像24可处于被显示的状况中；然而，本发明中描述的实例技术可在显示之前增强图像24。

显示器12可包括液晶显示器(LCD)、有机发光二极管显示器(OLED)、阴极射线管(CRT)显示器、等离子显示器、或另一类型的显示装置。存储器20的实例包含(但不限于)随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器或可用以以指令或数据结构的形式存储所要程序代码且可由装置10的中央处理单元(CPU)、视频处理器14、GPU16、视频编解码器18及后处理器22存取的任何其它媒体。在一些实例中，存储器20可包括例如计算机可读存储装置等一或多个计算机可读存储媒体。举例来说，在一些实例实施方案中，存储器20可包含致使后处理器22执行在本发明中归于后处理器22的功能的指令。

在一些实例中，存储器20可被视为非暂时性存储媒体。术语“非暂时性”可指示存储媒体不体现于载波或传播信号中。然而，术语“非暂时性”不应解释为意指存储器20为不可移动的。作为一个实例，可从装置10移除存储器20，及将存储器20移动到另一装置。作为另一实例，可将实质上类似于存储器20的存储装置插入到装置10中。在某些实例中，非暂时性存储媒体可存储可随时间而改变的数据(例如，在RAM中)。

作为一个实例，用户可需要检视显示器12上的视频内容。视频处理器14可处理所述视频内容及将所述视频内容作为一连串图像24(被称作帧或图片)存储于存储器20中。后处理器22可从存储器20检索图像24中的每一者，增强图像24及经由显示器12以特定帧速率显示所述图像，使得用户体验到视频的流畅播放。

作为另一实例，用户可需要在装置10上播放视频游戏。在此实例中，GPU16可产生呈GPU16存储在存储器20中的图像24的形式的视频游戏的图形内容。后处理器22可从存储器20检索视频游戏图像24，增强图像24及经由显示器12显示所述图像。除视频游戏外的应用还可产生后处理器22可检索、增强及在显示器12上显示的图形内容。

作为另一实例，视频编解码器18可对接收的视频内容进行解码。类似于视频处理器14，经解码视频内容可为一连串图像24。视频编解码器18可将这些一连串图像存储于存储器20中。类似于视频处理器14，后处理器22可从存储器20检索图像24，增强图像24及经由显示器12显示所述图像。

在显示器12上显示图像24之前，后处理器22可执行图像增强。显示器12接着可显示此增强型图像。举例来说，图1将显示器12说明为显示增强型图像26。增强型图像26为从图像24的增强所得的图像。

尽管图1说明后处理器22从存储器20(例如，系统存储器)接收图像24，但本发明的方面不限于此。对于后处理器22来说，从视频处理器14、GPU16及视频编解码器18中的任一者直接接收图像24(例如通过直接存储器传送而不是经由系统存储器20)是有可能的。然而，出于简洁的目的，技术是关于后处理器22从存储器20接收图像24进行描述的。

后处理器22可实施各种技术以增强图像24及产生增强型图像26。作为一个实例，后处理器24可结合另一感知图的值利用深度图的值来增强图像24。举例来说，如图1中所说明，存储器20存储深度图28及感知图30的值。后处理器22可从存储器20检索深度图28及感知图30的值及利用这些值中的一或多者来增强图像24。

举例来说，后处理器22可利用深度图28及感知图30的值确定图像24的哪些部分应相对于其它部分得以增强，及在一些实例中，增强多少。后处理器22可利用任何增强方案来增强图像24的部分。举例来说，后处理器22可使图像24的待增强的部分中的像素之间的对比度相对于图像24的其它部分中的像素增强。作为另一实例，后处理器22可使图像24的待增强的部分中的像素之间的锐度相对于图像24的其它部分中的像素增强。作为又一实例，后处理器22可使图像24的待增强的部分中的像素的色彩相对于图像24的其它部分中的像素增强。

如更详细所论述的，可存在确定深度图28及感知图30的值的各种方式。本发明中描述的技术不限于确定深度图24及感知图30的值的方式的特定实例。总的来说，本发明中描述的技术可扩展到确定深度图24及感知图30的值的任何方式。

深度图28可提供图像24的像素的“深度”的相对测量，其被称作深度信息。如本发明中所使用的术语“深度”为透视深度。举例来说，图像24为二维(2D)图像，且深度在此上下文中是指某些对象与2D图像中的其它对象相比显得更远的感知。

深度图28的值可指示图像24中的对应像素的相对深度。作为一个实例，深度图28可被认为是为图像24(例如，静态图像或视频帧)内的每一像素的深度提供估计的2D图。在此实例中，深度图28的大小可与图像24相同，其中多个位置各自对应于图像24的一个像素。深度图28中的这些位置中的每一者可包含指示图像24中的其对应像素的深度的值。举例来说，深度图28可指示图像24的哪些像素为前景像素(例如，看起来相对在图像24的前面)及图像24的哪些像素为背景像素(例如，看起来相对在图像24的背面)。

类似于深度图28，感知图30可包含图像24中的对应像素的值。感知图30的值可指示关于图像24的额外信息。作为一个实例，感知图30的值可提供运动信息。在此实例中，感知图30可被称为运动信息图。举例来说，在图像24为视频或图形的一连串帧中的一者(例如，作为视频游戏的一部分)的实例中，运动信息可指示图像24的对象相对于先前或未来帧的位置变化。举例来说，在显示一连串帧(其中的一者包含图像24)时，检视者可感知到例如汽车等对象正移动横越显示所述帧的屏幕。

如本发明中所涉及，对象是指图像24内检视者可识别的独特物品。汽车就是对象的如此实例，但本发明涵盖对象的其它实例，包含静止对象(即，其位置不会在一个帧到下一个帧之间改变的对象)。图像24的多个像素可涵盖图像24内的对象。在此实例中，由感知图30的值提供的运动信息可包含例如速度及方向和/或坐标等值。

举例来说，用于对象的在图像24中的一个像素可具有用于相同对象的在先前帧或后续帧内的不同位置处的对应像素。图像24中的像素的运动信息可提供对象移动的快速程度及方向和/或先前帧或后续帧中的对应像素的坐标的某一度量。如本发明中所使用的对应像素不应与位于同一地点的像素混淆；但对于对应像素来说，也有可能是位于同一地点的像素(例如，在不存在运动时)。位于同一地点的像素是指不同帧中的相同位置中的像素。对应像素是指在对象内的与图像24中的像素相同的位置处的在先前或后续帧中的像素。

感知图30的另一实例可为显著性图。显著性图的值可提供显著性信息，所述显著性信息为像素在图像24内的“显著”程度的某一度量。举例来说，为了向检视者提供合乎需要的检视体验，与其它像素相比较，吸引检视者对一些像素更多的注意可为有益的。显著性图的值可指示与其它像素相比较，应将检视者的注意吸引到哪些像素。

除了运动信息图及显著性图之外，可存在感知图30的其它实例，且不应认为本发明的方面将感知图30限于运动信息图及显著性图。此外，尽管图1说明存储器20存储单个感知图30，但本发明的方面不限于此。存储器20可存储一或多个感知地图。举例来说，存储器20可存储一个感知图30作为运动信息图，及存储另一感知图30作为显著性图。在此些实例中，实例技术可利用来自深度图28、运动图及显著性图的值以用于增强图像24。

利用来自至少深度图28及感知图30的值以增强图像24可产生相对更真实的图像。换句话说，与图像24相比较，增强型图像26可为更真实的图像。作为一个实例，在真实的图像中，图像24的前景像素与图像24的背景像素相比较可看起来更锐化、更清晰和/或更丰富。深度图28可提供指示图像24的哪些像素为前景像素及哪些像素为背景像素的值，且有可能基于指示哪些像素为前景像素及哪些像素为背景像素的值增强图像24。

在一些实例中，仅依赖于如由深度图28提供的深度信息可潜在地不足以提供真实的图像。举例来说，图像24内的对象的像素可处于前景中。然而，因为对象在移动，所以对象看起来不应与其它对象一样清晰。举例来说，想象对象(例如，汽车)处于图像24的前景中，且汽车在移动(例如，如由在图像24之前及之后的帧的顺序显示所证实)。在此实例中，汽车与其它对象相比较可能由于其移动看起来并不清晰。此外，汽车移动得越快，其看起来的真实度将越不清晰。如更详细描述的，后处理器22可利用来自深度图28的深度信息及来自感知图30的运动信息使图像24的第一部分(例如，图像24的前景)相对于图像24的第二部分(例如，图像24的背景)增强。以此方式，后处理器22可考虑深度信息及运动信息两者以确定图像24的部分相对于图像24的其它部分增强了多少。

在一些实例中，显著性信息可进一步有助于后处理器22确定应增强图像24的哪些像素。举例来说，来自深度图28的深度信息可指示特定像素处于前景中，且在此实例中，来自感知图30的显著性信息可指示所述特定像素为显著的。在此实例中，后处理器22可利用深度信息及显著性信息两者来确定所述特定像素相对于其它像素增强了多少。

作为另一实例，来自深度图28的深度信息可指示特定像素处于背景中，且在此实例中，来自感知图30的显著性信息可指示所述特定像素为显著的。为了避免此背景像素太过模糊或甚至被增强，后处理器22可结合显著性图的值利用深度图28的值来确定所述特定像素相对于其它像素增强了多少。

图2是说明可实施本发明中描述的一或多个技术的后处理器22的实例的框图。后处理器22可利用图像24的检视者可感知品质使图像24的部分相对于图像24的其它部分增强。举例来说，后处理器22可使图像24内的前景像素增强超过背景像素。可存在后处理器22可使图像24的一部分相对于图像24的其它部分增强的各种方式。举例来说，后处理器22可增强第一部分且不增强第二部分。作为另一实例，后处理器22可使第二部分模糊且不修改第一部分。作为又一实例，后处理器22可使第一部分锐化，且使第二部分模糊。在这些实例中，第一部分可看起来比第二部分清晰。因此，在这些实例中，第一部分的增强是相对于第二部分来说的。

如上文所描述，后处理器22可利用深度图28及感知图30的值以用于增强图像24的部分。可存在确定深度图28及感知图30的值的各种方式，如下文所描述。出于说明的目的而提供用以确定深度图28及感知图30的值的这些实例技术，且所述技术不应被视为限制性的。此外，可结合彼此或其任何组合来利用所述技术。举例来说，装置10可利用一个技术来确定深度图28的值及利用相同或不同技术来确定感知图30的值。

作为一个实例，在装置10从另一装置下载图像24或包含图像24的视频的例子中，其它装置可连同图像24一起提供深度图28及感知图30的值。在此实例中，作为一个实例，视频编解码器18可连同深度图28及感知图30一起接收图像24。视频编解码器18接着可将图像24的像素值及深度图28及感知图30的值存储于存储器20中。后处理器22接着可通过从存储器20接收这些值来确定图像24的像素值及深度图28及感知图30的值。后处理器22接着可借助于所接收的信息使图像24的部分相对于其它部分增强，如更详细描述的。

作为另一实例，装置10中的模块可产生深度图28及感知图30的值。作为一个实例，视频处理器14可从相机(所述相机为装置10的一部分或耦合到装置10)接收所俘获图像24或包含图像24的视频。在此实例中，视频处理器14可执行算法产生深度图28及感知图30的值。视频处理器14接着可将深度图28及感知图30的值存储于存储器20中。类似于上文，后处理器22接着可借助于所接收的信息使图像24的部分相对于其它部分增强，如更详细描述的。

在一些实例中，GPU16可产生深度图28及感知图30的值。举例来说，图像24仍可以是图形图像或作为一连串图形图像(例如，视频游戏中的图像)的部分的图形图像。在此实例中，GPU16除了产生图像24之外还可产生深度图28及感知图30的值。GPU16接着可将图像24的像素值及深度图28及感知图30的值存储于存储器20中。类似于上文，后处理器22接着可借助于所接收的信息使图像24的部分相对于其它部分增强，如更详细描述的。

在一些状况下，对于后处理器22来说，确定深度图28及感知图30的值是有可能的。在此实例中，后处理器22可将深度图28及感知图30的值存储于存储器20中以供临时存储。或者，后处理器22可将深度图28及感知图30的值存储于本地存储器中。在此实例中，存储器20可不存储深度图28及感知图30的值。

如上文所描述，视频处理器14、GPU16、视频编解码器18及后处理器22中的任一者可产生深度图28及感知图30的值。而且，如上文所描述，视频处理器14、GPU16、视频编解码器18及后处理器22中的任一者可实施本发明中描述的增强技术。为了对此进行说明，本发明的实例技术可被认为是由一或多个处理单元实施的。一或多个处理单元的实例包含视频处理器14、GPU16、视频编解码器18及后处理器22。举例来说，一个处理单元可确定深度图28及感知图30的值，且另一处理单元或相同处理单元可实施本发明中描述的实例增强技术。此外，在一些实例中，显示处理器可为一或多个处理单元的另一实例。举例来说，在一些实例中，后处理器22可被认为是显示处理器。出于说明的目的及简洁起见，实例技术经描述为由后处理器22执行。

在装置10并不接收深度图28和/或感知图30的值的实例中，一或多个处理单元可实施一或多个熟知算法以确定深度图28和/或感知图30的值。作为一个实例，一或多个处理单元可利用阴影信息来估计图像24内的像素的深度。作为另一实例，一或多个处理单元可利用运动信息来确定深度图28的值。举例来说，看起来快速移动的对象通常被认为是处于前景中，且看起来较缓慢移动的对象通常被认为是处于背景中。举例来说，在空中飞行的飞机(例如，在背景中)与前景中放大的汽车相比较看起来较缓慢地移动。在此实例中，一或多个处理单元可使用运动信息来确定深度图28的深度值(例如，确定飞机处于背景中，且汽车处于前景中)，且还使用运动信息来确定感知图30的值(例如，在感知图30为运动信息图的实例中)。

在感知图30为显著性图的实例中可存在各种技术来确定感知图30的值。在ChenleiGuo、Qi Ma、Liming Zhang的“使用四元组傅立叶变换的相位谱的空间-时间显著性检测(Spatio-temporal Saliency Detection Using Phase Spectrum of Quaternion FourierTransform)”(IEEE计算机视觉及图案辨识会议(IEEE CVPR)，2008年)中描述了一个此实例技术，且所述技术以全文引用的方式并入本文中。此参考中描述的技术是出于说明的目的而提供的，且不应被视为限制性的。在感知30为显著性图的实例(包含不接收显著性图的值的实例)中，本发明中描述的技术可实施任何方案来确定感知图30的值。

如图2中所示，后处理器22接收图像24的像素值且输出增强型图像26的增强型像素值。像素值可包含与单个图像、2D视频(即，单信道视频)或3D视频(例如，多信道视频)的一部分相关联的像素值。作为一个实例，像素值可为色彩值，且可根据标准视频格式来定义。举例来说，像素值可以是标准红绿蓝(RGB)。像素值的实例可包含除了色彩值之外的值，例如坐标及不透明度值(作为两个实例)。

在图2的实例中，后处理器22包含深度图处理单元32、增强图单元34及增强单元36。这些单元可形成在一起或形成为单独的单元，如图2中所说明。深度图处理单元32、增强图单元34和/或增强单元36可实施为硬件或实施为执行于硬件上的软件。增强单元36的输出可为增强型图像26的像素值。

此外，尽管深度图处理单元32、增强图单元34及增强单元36经说明为形成于后处理器22中，但本发明的方面不限于此。在其它实例中，深度图处理单元32、增强图单元34及增强单元36中的一或多者可形成于其它处理单元中的一或多者中。作为另一实例，深度图处理单元32及增强图单元34可各自为个别单元或一起形成，所述单元在装置10内且在视频处理器14、GPU16、视频编解码器18、后处理器22及装置10的CPU外部。在这些实例中，深度图处理单元32及增强图单元34可为实施本发明中描述的实例技术的一或多个处理处理的一部分。

在深度图28由装置10接收或由装置10产生的一些实例中，对深度图28的值的进一步修改可为适当的。举例来说，对于确定图像24的哪些部分应相对于其它部分增强及增强了多少来说，深度图28的值可能并不理想。在图2的实例中，深度图处理单元32可修改深度图28的值以产生可能更适合于确定哪些部分应增强及增强了多少的值。关于图5更详细说明深度图处理单元32的实例。在其它实例中，深度图28的值可按原样适合于使图像24的部分相对于其它部分增强。在这些实例中，可能并不需要深度图处理单元32，或所述深度图处理单元可充当深度图28的值通过的通道。

增强图单元34可从深度图处理单元32接收经处理深度图28。在后处理器22不包含深度图处理单元32的实例中，增强图单元34可直接接收深度图28的值。如所说明，增强图单元34还可接收感知图30的值。在一些实例中，后处理器22还可包含感知图处理单元，所述感知图处理单元修改感知图30的值，从而使所述值更适合于确定图像24的部分增强了多少。然而，在后处理器22的每一实例中，此感知图处理单元可能不是必需的，或可充当感知图30的值通过的通道。

增强图单元34可实施各种算法确定图像24的像素应增强多少。作为一个实例算法，增强图单元34可执行深度图28及感知图30的值的加权总和以产生增强图。增强图的值可指示图像24的对应像素应增强多少。在此实例中，增强单元36可从增强图单元34接收增强图，且基于所述增强图的对应值使图像24的像素相对于其它像素增强。

举例来说，增强图单元34可通过将可选择或预编程权重应用于深度图28及感知图30的值使增强更偏向前景或更偏向具有较少运动和/或较大显著性的对象。加权总和的所得值可指示像素应增强多少(如果果真会发生的话)。举例来说，在感知图30的值为运动信息的值的实例中，加权总和的所得值可向增强单元36指示使位于前景中的缓慢移动的对象的像素相对于位于背景中的对象的像素或快速移动的对象的像素增强。

在一些实例中，增强图单元34可类似地执行深度图28及感知图30的值的加权总和，其中感知图30为显著性图。举例来说，在此实例中，加权总和的所得值可向增强单元36指示与其中像素是针对背景中的对象或针对较不显著像素的图像24的部分相比较，增强具有位于前景中的对象的图像24的部分中的更显著像素。

作为一个实例，为了执行加权总和，增强图单元34可针对对应于图像24中的相同像素的深度图28及感知图30的对应值中的每一者实施以下函数：

β＝γd+δ(1-t)，其中γ为感知图30的值的可选择或预编程权重，d为感知图30的值中的一者，δ为深度图28的值的可选择或预编程权重，且t为对应于感知图30的值d的深度图28的值中的一者，其中d及t两者对应于图像24的像素中的一者。

在此实例中，β为增强单元36可用以确定将图像24的对应像素增强多少的图像24的对应像素的所得加权总和值。举例来说，增强图可包含图像24的每一像素的一个β值。γ的值可基于所要的偏向感知图30的值的量来选择或预编程。举例来说，可能需要确保与图像24内的深度相比较，基于移动或显著性来更多增强对象，且可选择或预编程γ的值以达成此结果。类似地，δ的值可基于所要的偏向深度图28的值的量选择或预编程。举例来说，可能需要确保与移动或显著性相比较，基于深度来更多增强对象，且可选择或预编程δ的值以达成此结果。

在其中感知图30为运动信息图的实例中，值d可与感知的“速度”呈负相关。举例来说，感知的速度越大，d的值越小。t的值可指示感知的“深度”，且小于或等于1。在此实例中，t的值越大，其在图像24中就越靠后。

应理解，γ、δ、d及t的值及其相应偏差、速度及深度之间的相关是仅出于说明的目的而提供的，且不应被视为限制性的。此外，β的等式是仅出于说明的目的而提供的，且不应被视为限制性的。总的来说，增强图单元34可实施基于深度图28及感知图30的值确定待应用于图像24的像素上的增强的量的任何算法。

如所说明，增强单元36可接收来自增强图单元34的加权总和的结果及图像24的像素值。增强单元36接着可基于对应加权总和值增强图像24的像素值(例如，色彩值)。可存在增强单元36可利用加权总和值使图像24的第一部分相对于图像24的第二部分增强的各种方式。

举例来说，增强单元36可建立加权总和值的阈值。其对应加权总和值大于或等于阈值的像素可为图像24的第一部分中的像素。其对应加权总和值小于阈值的像素可为图像24的第二部分中的像素。作为使第一部分相对于图像24的第二部分增强的一个实例，增强单元36可增强图像24的第一部分中的像素，且不增强图像24的第二部分中的像素。作为另一实例，增强单元36可使图像24的第二部分中的像素模糊，且不使图像24的第一部分中的像素模糊。作为又一实例，增强单元36可使图像24的第一部分中的像素增强，且使图像24的第二部分中的像素模糊。在这些实例状况中的任一者中，第一部分可看起来比第二部分更清晰。以此方式，实例技术可使图像24的第一部分相对于图像24的第二部分增强。

增强单元36可经配置以实施任何类型的增强技术。作为实例，增强单元36可实施对比度增强、锐化及模糊以及色彩增强中的一或多者，但本发明的方面不应被视为限于对比度增强、锐化及模糊以及色彩增强。关于图3更详细地描述了增强单元36的实例。

先前实例将图像24描述为单个静态图像或视频的图像。可存在视频的图像的至少两个实例，且本发明的技术可扩展到视频的两个实例。视频的一个实例通常被称作单视图视频，且视频的另一实例为多视图视频。多视图视频的子集为立体视频。

在可被称作三维(3D)视频的立体视频中，装置10可同时在显示器12上显示两个图像，其中一个图像可由左眼而非右眼检视到，且另一图像可由右眼而非左眼检视到。左眼图像及右眼图像可包含实质上类似的图像内容；然而，在对应像素中可存在轻微移位。左眼图像及右眼图像的同时检视可致使检视者感知到从显示器12当中突出或进入到显示器12中的单个图像，所述显示器12向检视者提供3D体验。

多视图视频为立体视图的扩展。举例来说，多视图视频是基于产生3D体验的类似假定，但产生的不仅仅是左眼及右眼图像，使得不管检视者正检视视频的方向皆会出现3D的外观，且更明确地说是在用户并未佩戴任何特定眼镜来检视3D图像时。出于说明的目的，针对立体视频描述所述技术；然而，所述技术可类似地扩展到多视图。

在单视图视频(其可被称为二维(2D)视频)中，装置10可在显示器12上一次显示一个图像。检视者可并未体验到任何3D效果。举例来说，视频可看起来在显示器12内是有界的。在立体视频及单视图视频两者中，图像可为3D图像，因为可存在到视频内的对象的透视深度。然而，图像中的每一者被显示器12的边界限制。仅在同时检视立体视频的左眼图像及右眼图像时，检视者方感知到从显示器12当中突出或进入到显示器12中的单个图像。

本发明中描述的实例技术可扩展到立体视频或多视图视频。举例来说，图像24可为立体视频的左眼图像或右眼图像中的一者，且存储器20可存储左眼图像及右眼图像两者。在图像24是针对立体视频的实例中，深度图28可被称为视差图。在此状况下，深度图28可被称为视差图，因为视差图可包含指示图像24内的对象的透视深度的值及指示对应另一眼图像的对象的透视深度的值。举例来说，如果图像24为左眼图像，那么深度图28(例如，视差图)可包含指示左眼图像(即，图像24)及对应右眼图像中的对象的深度的值，且反之亦然。

在图像24是针对立体视频的实例中，增强图单元34可接收用于图像24的深度图28(例如，视差图)，所述深度图28也为用于立体视频的其它图像的深度图。在此实例中，增强图单元34可产生单个增强图，增强单元36利用所述单个增强图来增强立体视频的两个图像的像素。增强单元36可接收用于立体视频的右眼图像及左眼图像两者的像素值(例如，色彩值)，且可使用单个增强图增强右眼图像及左眼图像。在一些情况下，如果增强单元36应用于右眼图像的增强量不同于应用于左眼图像的增强量，那么增强型右眼及左眼图像的同时检视可不产生适当3D效果。为了解决此，增强单元36可对右眼及左眼图像两者应用相同的增强量。

在图像24为用于立体视频的图像的一些实例中，后处理器22可仅使用深度信息来增强图像24及立体视频的对应图像(例如，右眼及左眼图像两者)。在这些实例中，感知图30可并非必需的。然而，在替代实例中，后处理器22可在图像24为用于立体视频的图像的实例中均匀地利用深度图28及感知图30两者。在增强单元36利用深度图28的值但并不利用感知图30的值的实例中，增强图可为如上文所描述可选择或编程的值“δ”乘以深度图28的值。在增强单元36利用来自深度图28及感知图30的两个值的实例中，增强图可包含图像24的每一对应像素的值“β”。

图3是说明可实施本发明中描述的一或多个技术的增强单元36的实例的框图。在图3的实例中，增强单元36包含对比度增强单元38、锐度及模糊单元40以及色彩增强单元42。在其它实例中，增强单元36可包含比图3中说明的那些单元少或多的单元。举例来说，增强单元36可包含所有三个对比度增强单元38、锐度及模糊单元40以及色彩增强单元42、所述三者中的任两者，或所述三者中的任一者。换句话说，增强单元36可应用这些实例增强技术中的一或多者。举例来说，增强单元36可利用所有三个对比度增强、锐化及模糊以及色彩增强、所述三者中的任两者，或所述三者中的仅一者。增强单元36的输出可为增强型图像26的像素值。

对比度增强单元38可基于由增强图单元34产生的增强图相对于图像24的第二部分改变图像24的第一部分内的像素的对比度。举例来说，增强图可向对比度增强单元38指示与在背景中的对象的像素或缓慢移动或较不显著的对象的像素相比较，增加缓慢移动或更显著的在前景中的对象的像素的对比度。

锐度及模糊单元40可基于增强图使像素锐化或模糊。举例来说，锐度及模糊单元40可使前景像素锐化，使背景像素模糊，或基于增强图既使前景像素锐化且又使背景像素模糊。如果基于增强图感知到前景中的对象在运动中，那么锐度及模糊单元40可使前景像素模糊。

色彩增强单元42可基于增强图改变像素的色彩值。举例来说，人类将前景对象感知为色彩比背景对象“更暖”。基于此，色彩增强单元42可增加前景像素的“发红”，且降低背景像素的“发红”。应注意由对比度增强单元38、锐度及模糊单元40以及色彩增强单元42执行的增强可按任何数目的次序连续执行或并行执行。

增强单元36可应用用于上文所描述的立体视频的图像的实例增强技术中的任一者。在一些情境中，可存在更适合于立体视频的图像的其它增强技术。图4为说明可实施本发明中描述的一或多个技术的增强单元36的另一实例的框图。在图像24为用于立体视频的图像中的一者时，图4中说明的实例增强单元36可为增强单元36的合适实例。出于说明的目的，假定图像24为左眼图像。

如图4中所说明，在增强单元36的此实例中，增强单元36包含滤波器44、乘法器46、求和器48及乘法器52。在一些实例中，增强单元36可用在图4中由“A”表示的常量值50预编程。或者，常量值50可为可选择的。

滤波器44可接收图像24(例如，左眼图像)的像素值，且对所述像素值进行高通滤波。可存在滤波器44可对像素值进行高通滤波的各种方式。作为一个实例，滤波器44可对像素值进行低通滤波，且从原始像素值减去经低通滤波的像素值，以产生高通滤波像素值。为了对像素值进行低通滤波，作为一个实例，滤波器44可将像素值与5x5高斯核相乘。滤波器44的滤波技术是仅出于说明的目的而提供的，且不应被视为限制性的。在另一实例中，可使用3x3或5x5核。在此实例中，可从圆形对称高斯扩展函数在具有固定标准差的情况下导出这些维度的低通滤波器核。接着可将高通核简单地计算为1。此外，可使低通核权重归一化，以使得其量值在0与1之间。总的来说，本发明的方面可扩展到任何高通滤波技术。

乘法器46可从滤波器44及增强图接收经高通滤波像素值，且可将所述值在一起相乘。在用于立体视频的增强图是基于深度图28及感知图30的值的实例中，增强图的值的一个实例可为图像24的每一对应像素的值“β”，如上文所描述。在用于立体视频的增强图是基于深度图28的值且并非基于感知图30的值的实例中，增强图的值的另一实例可为如上文所描述的值“δ”乘以深度图28的值。

乘法器52还可接收图像24的像素值且将像素值与常量值50相乘。常量值50可为可选择或预编程的值。求和器48可从乘法器46及从乘法器52接收值，且将所述值加总在一起。求和的结果可为用于增强型图像26的像素值。如图4中所说明的增强单元36可执行类似技术来增强立体视频的对应于图像24的其它图像(例如，右眼图像)。

图5是说明可实施本发明中描述的一或多个技术的深度图处理单元32的实例的框图。如上文所描述，在一些实例中，深度图28的接收或产生的值可并不理想地适合于确定图像24的哪些部分应相对于其它部分得到增强。举例来说，深度图28可包含可使其不太能用于图像增强的噪声。深度图处理单元32可对此噪声进行滤波，以及对深度图28的值执行其它处理以产生适合用于图像增强的值。而且，如上文所描述，深度图处理单元32在每一实例中可能并非必要的。

图5中说明的实例深度图处理单元32可包含中值滤波单元54、平滑单元56及伸展单元58。中值滤波单元54可通过应用预编程或可选择滤波器而移除接收的深度图28中的脉冲噪声。平滑单元56可通过用相邻深度值的值代替像素的深度值而移除深度图28中的“孔”。举例来说，如果像素具有0深度值，但被具有较高深度值的像素包围，那么所述像素可继承较高深度值。这样，构成对象的像素将看起来具有类似深度，且所述对象将看起来更为连续。

伸展单元58可使用直方图伸展或查找表映射来增加接收的深度图值的动态范围。举例来说，接收的深度图28可具有最大深度值17。作为一个实例，伸展单元58可将此值增加到255，从而进一步增强图像24的感知深度。应注意，尽管图5实例中说明的深度数据处理单元32经描述为处理深度图，但在其它实例中，后处理器22可包含感知图处理单元，所述感知图处理单元用以类似地处理感知图30的值以使得图像24内的对象更为连续且彼此间更清晰地区分开。

图6是说明根据本发明所描述的一或多个实例的实例技术的流程图。应注意图6中说明的所有步骤不一定要在每一例子中执行。一或多个步骤可并未被执行，或可按不同于图6中说明的次序的次序执行。仅出于说明的目的，参考图1到5。

一或多个处理单元可接收图像(60)。处理单元的实例包含视频处理器14、GPU16、视频编解码器18、后处理器22及装置10的CPU。所接收的图像的实例可为一或多个处理单元从存储器20接收以用于图像增强的图像24。

一或多个处理单元可确定图像的深度图的深度图值，所述深度图指示图像内的像素的相对深度(62)。举例来说，后处理器22可确定深度图28的深度图值。深度图值可指示像素的相对深度，例如哪些像素在处于前景中的对象内，及哪些像素处于在背景中的对象内。

一或多个处理单元可确定图像的感知图的感知图值(64)。举例来说，感知图值可以用于感知图30。在一些实例中感知图值可指示运动信息，所述运动信息可提供对象是相对快速移动还是相对缓慢移动的测量。在一些实例中，感知图值可指示像素在图像24内的显著程度。

一或多个处理单元可至少基于深度图值及感知图值使图像的第一部分相对于图像的第二部分增强(66)。可存在一或多个处理单元可使第一部分相对于第二部分增强的各种方式。举例来说，一或多个处理单元可增强第一部分，且不增强第二部分。作为另一实例，一或多个处理单元可使第二部分模糊，且不使第一部分模糊。作为又一实例，一或多个处理单元可增强第一部分且使第二部分模糊。

在一些实例中，一或多个处理单元可确定在图像的前景中的对象的像素，及在所述图像中的所述对象的运动信息。在这些实例中，一或多个处理单元可使在图像的前景中且缓慢移动的对象的像素相对于在图像的背景中的对象的像素及快速移动的对象的像素增强。

在一些实例中，一或多个处理单元可确定在图像的前景中的对象的像素，及在所述图像中的所述像素的显著性信息。在这些实例中，一或多个处理单元可使更显著且用于在图像的前景中的对象的像素相对于较不显著且用于在图像的背景中的对象的像素增强。

图7是说明可为可操作的以实施本发明的一或多个方面的装置的另一实例的框图。举例来说，图7更详细地说明图1的装置10。出于简洁的目的，仅详细描述了在图7中进行说明但并未在图1中进行说明的装置10的组件。

在图7的实例中，装置10可包含显示器12、视频处理器14、GPU 16、视频编解码器18、存储器20、后处理器22、收发器模块68、用户接口70及处理器72。处理器72可为装置10的中央处理单元(CPU)。尽管本发明将后处理器22描述为实施本发明中描述的实例技术，但对于装置10的任何处理单元来说，实施所述实例技术是有可能的。处理单元可为处理器72、视频处理器14、GPU16、视频编解码器18及后处理器22或图1及9中并未说明的一些其它处理单元中的一或多者。

出于清晰性的目的，装置10可包含图7中未图示的额外模块或单元。举例来说，装置10可包含扬声器及麦克风(其中的任一者皆未在图7中展示)，从而在装置10为移动无线电话或扬声器(其中装置10为媒体播放器)的实例中实现电话通信。装置10还可包含摄像机。此外，装置10中所示的各种模块及单元可并非装置10的每一实例中所必需的。举例来说，在装置10为桌上型计算机或经配备与外部用户接口或显示器介接的其它装置的实例中，用户接口70及显示器12可在装置10的外部。

用户接口70的实例包含(但不限于)轨迹球、鼠标、键盘及其它类型的输入装置。用户接口70也可为触摸屏且可并入为显示器12的一部分。收发器模块68可包含电路以允许装置10与另一装置或网络之间的无线或有线通信。收发器模块68可包含调制器、解调器、放大器及用于有线或无线通信的其它此电路。

应认识到，取决于实例，本文中所描述的技术中的任一者的某些动作或事件可用不同顺序执行、可添加、合并或全部省略(例如，实践所述技术并不需要所有的所描述动作或事件)。此外，在某些实例中，可例如经由多线程处理、中断处理或多个处理器同时而非依序执行动作或事件。

在一或多个实例中，所描述功能可以硬件、软件、固件或其任何组合来实施。如果以软件来实施，那么可将所述功能作为一或多个指令或代码存储在计算机可读媒体上。计算机可读媒体可包含计算机数据存储媒体。数据存储媒体可以是可由一或多个计算机或一或多个处理器存取以检索用于实施本发明中描述的技术的指令、代码和/或数据结构的任何可用的媒体。借助于实例而非限制，此类计算机可读媒体可包括随机存取存储器(RAM)、只读存储器(ROM)、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置或可用来存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。如本文所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各者的组合也应包含在计算机可读媒体的范围内。

代码可以由一或多个处理器执行，所述一或多个处理器例如是一或多个数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)、或其它等效的集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构或适合于实施本文中所描述的技术的任一其它结构中的任一者。而且，可将所述技术完全实施于一或多个电路或逻辑元件中。

本发明的技术可在广泛多种装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(即，芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地说，如上文所描述，各种单元可结合合适的软件和/或固件组合在硬件单元中，或通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。

已描述各种实例。这些以及其它实例在所附权利要求书的范围内。

Claims (32)

1.一种用于图像处理的方法，其包括：

接收图像；

确定所述图像的指示所述图像内的像素的相对深度的深度图的深度图值；

确定所述图像的感知图的感知图值；及

至少基于所述深度图值及所述感知图值使所述图像的第一部分相对于所述图像的第二部分增强。

2.根据权利要求1所述的方法，其中使所述图像的所述第一部分相对于所述图像的所述第二部分增强包括以下各者中的至少一者：

增强所述第一部分内的像素，且不增强所述第二部分内的像素；

使所述第二部分内的所述像素模糊，且不使所述第一部分内的所述像素模糊；及

增强所述第一部分内的所述像素，且使所述第二部分内的所述像素模糊。

3.根据权利要求1所述的方法，

其中确定所述深度图的深度值包括确定哪些像素是用于所述图像的前景中的对象，

其中确定所述感知图的感知图值包括确定所述图像中的对象的运动信息，且

其中使所述图像的所述第一部分相对于所述第二部分增强包括使所述图像的所述前景中且如所述运动信息所确定的正缓慢移动的对象的像素相对于所述图像的背景中的对象的像素及如所述运动信息所确定的正快速移动的对象的像素增强。

4.根据权利要求1所述的方法，

其中确定所述深度图的深度值包括确定哪些像素是用于所述图像的前景中的对象，

其中确定感知图值包括确定所述图像中的像素的显著性信息，且

其中使所述图像的所述第一部分相对于所述第二部分增强包括使更显著且用于所述图像的所述前景中的对象的像素相对于较不显著且用于所述图像的背景中的对象的像素增强。

5.根据权利要求1所述的方法，其中所述感知图包括指示所述图像中的对象的透视速度的运动信息图及指示所述图像中的像素的显著性的显著性图中的至少一者。

6.根据权利要求1所述的方法，其中所述图像包括用于第一眼的立体视频的第一图像，所述方法进一步包括：

接收用于第二眼的所述立体视频的第二图像，其中所述第一图像及所述第二图像的图像内容实质上类似；及

至少基于用于所述第一图像的所述深度图值及用于所述第一图像的所述感知图值使所述第二图像的第一部分相对于所述第二图像的第二部分增强。

7.根据权利要求1所述的方法，其进一步包括：

对所述深度图值及所述感知图值执行加权总和以产生用于增强图的增强图值，

其中使所述图像的所述第一部分相对于所述图像的所述第二部分增强包括基于所述增强图值使所述图像的所述第一部分相对于所述图像的所述第二部分增强。

8.根据权利要求1所述的方法，其进一步包括以下各者中的至少一者：

对所述深度图的所述深度值进行滤波；

使所述深度图的所述深度值平滑；及

直方图伸展所述深度图的所述深度值。

9.一种装置，其包括：

存储器，其经配置以存储图像；及

一或多个处理单元，其经配置以：

接收所述图像；

确定所述图像的指示所述图像内的像素的相对深度的深度图的深度图值；

确定所述图像的感知图的感知图值；及

至少基于所述深度图值及所述感知图值使所述图像的第一部分相对于所述图像的第二部分增强。

10.根据权利要求9所述的装置，其中为了使所述图像的所述第一部分相对于所述第二部分增强，所述一或多个处理单元经配置以进行以下各者中的至少一者：

增强所述第一部分内的像素，且不增强所述第二部分内的像素；

使所述第二部分内的所述像素模糊，且不使所述第一部分内的所述像素模糊；及

增强所述第一部分内的所述像素，且使所述第二部分内的所述像素模糊。

11.根据权利要求9所述的装置，其中所述一或多个处理单元经配置以确定哪些像素是用于所述图像的前景中的对象，确定所述图像中的所述对象的运动信息，及使所述图像的所述前景中且如所述运动信息所确定的正缓慢移动的对象的像素相对于所述图像的背景中的对象的像素及如所述运动信息所确定的正快速移动的对象的像素增强。

12.根据权利要求9所述的装置，其中所述一或多个处理单元经配置以确定哪些像素是用于所述图像的前景中的对象，确定所述图像中的像素的显著性信息，及使更显著且用于所述图像的所述前景中的对象的像素相对于较不显著且用于所述图像的背景中的对象的像素增强。

13.根据权利要求9所述的装置，其中所述感知图包括指示所述图像中的对象的透视速度的运动信息图及指示所述图像中的像素的显著性的显著性图中的至少一者。

14.根据权利要求9所述的装置，其中所述图像包括用于第一眼的立体视频的第一图像，其中所述一或多个处理单元经配置以：

接收用于第二眼的所述立体视频的第二图像，其中所述第一图像及所述第二图像的图像内容实质上类似；及

至少基于用于所述第一图像的所述深度图值及用于所述第一图像的所述感知图值使所述第二图像的第一部分相对于所述第二图像的第二部分增强。

15.根据权利要求9所述的装置，其中所述一或多个处理单元经配置以：

对所述深度图值及所述感知图值执行加权总和以产生用于增强图的增强图值；及

基于所述增强图值使所述图像的所述第一部分相对于所述图像的所述第二部分增强。

16.根据权利要求9所述的装置，其中所述一或多个处理单元经配置以进行以下各者中的至少一者：

对所述深度图的所述深度值进行滤波；

使所述深度图的所述深度值平滑；及

直方图伸展所述深度图的所述深度值。

17.一种装置，其包括：

用于接收图像的装置；

用于确定所述图像的指示所述图像内的像素的相对深度的深度图的深度图值的装置；

用于确定所述图像的感知图的感知图值的装置；及

用于至少基于所述深度图值及所述感知图值使所述图像的第一部分相对于所述图像的第二部分增强的装置。

18.根据权利要求17所述的装置，其中所述用于使所述图像的所述第一部分相对于所述图像的所述第二部分增强的装置包括以下各者中的至少一者：

用于增强所述第一部分内的像素且不增强所述第二部分内的像素的装置；

用于使所述第二部分内的所述像素模糊且不使所述第一部分内的所述像素模糊的装置；及

用于增强所述第一部分内的所述像素且使所述第二部分内的所述像素模糊的装置。

19.根据权利要求17所述的装置，

其中所述用于确定所述深度图的深度值的装置包括用于确定哪些像素是用于所述图像的前景中的对象的装置，

其中所述用于确定所述感知图的感知图值的装置包括用于确定所述图像中的对象的运动信息的装置，且

其中所述用于使所述图像的所述第一部分相对于所述第二部分增强的装置包括用于使所述图像的所述前景中且如所述运动信息所确定的正缓慢移动的对象的像素相对于所述图像的背景中的对象的像素及如所述运动信息所确定的正快速移动的对象的像素增强的装置。

20.根据权利要求17所述的装置，

其中所述用于确定所述深度图的深度值的装置包括用于确定哪些像素是用于所述图像的前景中的对象的装置，

其中所述用于确定感知图值的装置包括用于确定所述图像中的像素的显著性信息的装置，且

其中所述用于使所述图像的所述第一部分相对于所述第二部分增强的装置包括用于使更显著且用于所述图像的所述前景中的对象的像素相对于较不显著且用于所述图像的背景中的对象的像素增强的装置。

21.根据权利要求17所述的装置，其中所述感知图包括指示所述图像中的对象的透视速度的运动信息图及指示所述图像中的像素的显著性的显著性图中的至少一者。

22.根据权利要求17所述的装置，其中所述图像包括用于第一眼的立体视频的第一图像，所述装置进一步包括：

用于接收用于第二眼的所述立体视频的第二图像的装置，其中所述第一图像及所述第二图像的图像内容实质上类似；及

用于至少基于用于所述第一图像的所述深度图值及用于所述第一图像的所述感知图值使所述第二图像的第一部分相对于所述第二图像的第二部分增强的装置。

23.根据权利要求17所述的装置，其进一步包括：

用于对所述深度图值及所述感知图值执行加权总和以产生用于增强图的增强图值的装置，

其中所述用于使所述图像的所述第一部分相对于所述图像的所述第二部分增强的装置包括用于基于所述增强图值使所述图像的所述第一部分相对于所述图像的所述第二部分增强的装置。

24.根据权利要求17所述的装置，其进一步包括以下各者中的至少一者：

用于对所述深度图的所述深度值进行滤波的装置；

用于使所述深度图的所述深度值平滑的装置；及

用于直方图伸展所述深度图的所述深度值的装置。

25.一种包括指令的计算机可读存储媒体，所述指令致使一或多个处理器：

接收图像；

确定所述图像的指示所述图像内的像素的相对深度的深度图的深度图值；

确定所述图像的感知图的感知图值；及

至少基于所述深度图值及所述感知图值使所述图像的第一部分相对于所述图像的第二部分增强。

26.根据权利要求25所述的计算机可读存储媒体，其中所述用以使所述图像的所述第一部分相对于所述第二部分增强的指令包括用以进行以下各者中的至少一者的指令：

增强所述第一部分内的像素，且不增强所述第二部分内的像素；

使所述第二部分内的所述像素模糊，且不使所述第一部分内的所述像素模糊；及

增强所述第一部分内的所述像素，且使所述第二部分内的所述像素模糊。

27.根据权利要求25所述的计算机可读存储媒体，

其中所述用以确定所述深度图的深度值的指令包括用以确定哪些像素是用于所述图像的前景中的对象的指令，

其中所述用以确定所述感知图的感知图值的指令包括用以确定所述图像中的对象的运动信息的指令，且

其中所述用以使所述图像的所述第一部分相对于所述第二部分增强的指令包括用以使所述图像的所述前景中且如所述运动信息所确定的正缓慢移动的对象的像素相对于所述图像的背景中的对象的像素及如所述运动信息所确定的正快速移动的对象的像素增强的指令。

28.根据权利要求25所述的计算机可读存储媒体，

其中所述用以确定所述深度图的深度值的指令包括用以确定哪些像素是用于所述图像的前景中的对象的指令，

其中所述用以确定感知图值的指令包括用以确定所述图像中的像素的显著性信息的指令，且

其中所述用以使所述图像的所述第一部分相对于所述第二部分增强的指令包括用以使更显著且用于所述图像的所述前景中的对象的像素相对于较不显著且用于所述图像的背景中的对象的像素增强的指令。

29.根据权利要求25所述的计算机可读存储媒体，其中所述感知图包括指示所述图像中的对象的透视速度的运动信息图及指示所述图像中的像素的显著性的显著性图中的至少一者。

30.根据权利要求25所述的计算机可读存储媒体，其中所述图像包括用于第一眼的立体视频的第一图像，所述指令进一步包括致使所述一或多个处理器进行以下各者的指令：

接收用于第二眼的所述立体视频的第二图像，其中所述第一图像及所述第二图像的图像内容实质上类似；及

至少基于用于所述第一图像的所述深度图值及用于所述第一图像的所述感知图值使所述第二图像的第一部分相对于所述第二图像的第二部分增强。

31.根据权利要求25所述的计算机可读存储媒体，其中所述指令进一步包括致使所述一或多个处理器进行以下各者的指令：

对所述深度图值及所述感知图值执行加权总和以产生用于增强图的增强图值，

其中所述用以使所述图像的所述第一部分相对于所述图像的所述第二部分增强的指令包括用以基于所述增强图值使所述图像的所述第一部分相对于所述图像的所述第二部分增强的指令。

32.根据权利要求25所述的计算机可读存储媒体，其进一步包括致使所述一或多个处理器进行以下各者中的至少一者的指令：

对所述深度图的所述深度值进行滤波；

使所述深度图的所述深度值平滑；及

直方图伸展所述深度图的所述深度值。