CN102939763A - 计算三维图像的视差 - Google Patents

Abstract

一种设备可基于二维图像的像素的深度信息来计算所述像素的视差值且使用所述视差值产生第二图像。对像素的所述视差值的所述计算可对应于所述像素的深度与对应的视差范围之间的线性关系。在一个实例中，一种用于再现三维图像数据的设备包含视图合成单元，所述视图合成单元经配置以基于与第一图像的多个像素相关联的深度信息以及所述深度信息所映射到的视差范围来计算所述多个像素的视差值，其中所述视差值描述第二图像的多个像素中的对应者的水平偏移。所述设备可从源装置接收所述第一图像和深度信息。所述设备可使用所述第一图像和视差值来产生所述第二图像。

Description

计算三维图像的视差

技术领域

本发明涉及多媒体数据的再现，且具体来说，涉及三维图片和视频数据的再现。

背景技术

数字视频能力可并入到大范围的装置中，包含数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、平板计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置等等。数字视频装置实施视频压缩技术，例如由MPEG-2、MPEG-4、ITU-TH.263或ITU-T H.264/MPEG-4第10部分高级视频译码(AVC)界定的标准和所述标准的扩展部分中所描述的那些视频压缩技术，以更有效地发射和接收数字视频信息。

视频压缩技术执行空间预测和/或时间预测以减少或移除视频序列中固有的冗余。对于基于块的视频译码，可将一视频帧或切片分割成若干宏块。可进一步分割每一宏块。使用关于相邻宏块的空间预测对经帧内译码的(I)帧或切片中的宏块进行编码。经帧间译码的(P或B)帧或切片中的宏块可使用关于同一帧或切片中的相邻宏块的空间预测或关于一个或一个以上其它帧或切片的时间预测。

发明内容

一般来说，本发明描述用于支持三维视频再现的技术。更具体来说，所述技术涉及接收第一二维图像和深度信息，且使用可用于表明三维视频数据的第一二维图像和深度信息来产生第二二维图像。也就是说，这些技术涉及基于所估计的深度地图图像将单视场二维图像实时转换为三维图像。对象可一般出现在屏幕前方、屏幕处或屏幕后方。为产生此效果，可向表示对象的像素指派视差值。本发明的技术包含使用相对简单的计算将深度值映射到视差值。

在一个实例中，一种用于产生三维图像数据的方法包含：用三维(3D)再现装置基于与第一图像的多个像素相关联的深度信息以及所述深度信息所映射到的视差范围来计算所述多个像素的视差值，其中所述视差值描述第二图像的对应像素的水平偏移；以及用3D再现装置基于所述第一图像和视差值来产生所述第二图像。

在另一实例中，一种用于产生三维图像数据的设备包含视图合成单元，所述视图合成单元经配置以：基于与第一图像的多个像素相关联的深度信息以及所述深度信息所映射到的视差范围来计算所述多个像素的视差值，其中所述视差值描述第二图像的对应像素的水平偏移；以及基于所述第一图像和视差值来产生所述第二图像。

在另一实例中，一种用于产生三维图像数据的设备包含：用于基于与第一图像的多个像素相关联的深度信息以及所述深度信息所映射到的视差范围来计算所述多个像素的视差值的装置，其中所述视差值描述第二图像的对应像素的水平偏移；以及用于基于所述第一图像和视差值来产生所述第二图像的装置。

本发明中所描述的技术可至少部分实施于硬件中，可能与硬件组合地使用软件或固件的若干方面。如果实施于软件或固件中，则可在例如微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或数字信号处理器(DSP)等一个或一个以上硬件处理器中执行软件或固件。可最初将执行所述技术的软件存储于计算机可读媒体中且在处理器中加载并执行。

因此，在另一实例中，一种计算机可读存储媒体包括在执行时致使用于产生三维图像数据的装置的处理器进行以下操作的指令：基于与第一图像的多个像素相关联的深度信息以及所述深度信息所映射到的视差范围来计算所述多个像素的视差值，其中所述视差值描述第二图像的对应像素的水平偏移；以及基于所述第一图像和视差值来产生所述第二图像。

一个或一个以上实例的细节陈述于附图及以下描述中。其它特征、目的及优势将从描述和附图以及从权利要求书中显而易见。

附图说明

图1是说明其中源装置将三维图像数据发送到目的地装置的实例性系统的框图。

图2是说明视图合成单元的组件的实例性布置的框图。

图3A到3C是说明基于像素深度的正、零和负视差值的实例的概念图。

图4是说明用于使用从源装置接收的深度信息来计算视差值且基于图像的场景的第一视图和所述视差值而产生所述场景的第二视图的实例性方法的流程图。

图5是说明用于基于像素的深度信息来计算像素的视差值的实例性方法的流程图。

具体实施方式

本发明的技术大体上针对于支持例如图片和视频等三维图像的译码和再现。更具体来说，所述技术涉及接收第一二维图像和深度信息，且使用可用于表明三维视频数据的第一二维图像和深度信息来产生第二二维图像。本发明的技术涉及使用相对简单的计算来基于相对于上面将显示对象的屏幕的对象的深度来计算视差值。所述计算可基于三维观看环境、用户偏好和/或内容本身。作为一实例，所述技术提供视图合成算法，其不需要知道在俘获或产生二维图像时的相机参数且仅基于不需要非常准确的视差范围和深度地图图像。在本发明中，术语“译码”可指编码和/或解码中的任一者或两者。

术语视差大体上描述一个图像中的像素相对于另一图像中的对应像素的用以产生三维效果的偏移。也就是说，表示相对靠近相机的焦点的对象的像素(将显示于屏幕的深度处)大体上具有比表示相对远离相机的焦点的对象的像素(例如，将显示于屏幕的前方或后方)低的视差。更具体来说，可将用于显示图像的屏幕视为收敛点，使得将显示于屏幕本身的深度处的对象具有零视差，且将显示于屏幕前方或后方的对象具有不同的视差值，其基于距在其处显示对象的屏幕的距离。在不丧失一般性的情况下，屏幕前方的对象被视为具有负视差，而屏幕后方的对象被视为具有正视差。

一般来说，本发明的技术将每一像素视为属于与屏幕相关的三个区中的一者：屏幕外(或前方)、屏幕处，或屏幕内(或后方)。因此，根据本发明的技术，三维(3D)图像显示器装置(还称作3D再现装置)可(例如)使用深度与视差之间的线性数学关系，针对基于这三个区中的一者的每一像素将深度值映射到视差值。随后，基于所述像素所映射到的区，3D再现器可执行与所述区(其在屏幕外、屏幕内或屏幕处)相关联的视差函数来计算所述像素的视差。因此，可将像素的深度值映射到从最小(其可为负的)视差到最大正视差值的潜在视差值的范围内的视差值。或者等效地，如果像素在屏幕内，则可将像素的深度值映射到从零到最大正视差的范围内的视差值，或如果像素在屏幕外，则可将像素的深度值映射到从最小(负)视差到零的范围内的视差值。可将从最小视差(其可为负的)到最大视差(其可为正的)的潜在视差值的范围称作视差范围。

常规上通过在合成场景的虚拟视图之前估计对象深度值而实现基于场景的现有视图产生所述虚拟视图。深度估计是从立体对或单视场内容估计对象与相机平面之间的绝对或相对距离的过程。所估计的深度信息(通用通过灰度级图像表示)可用于基于基于深度图像的再现(DIBR)技术来产生任意角度的虚拟视图。与其中多视图序列面临着高效的视图间压缩的挑战的传统三维电视(3DTV)系统相比，基于深度地图的系统可通过传输可被高效编码的仅一个或数个视图以及深度地图而减少带宽的使用。基于深度地图的转换的另一优点在于，深度地图在其用于视图合成之前可由终端用户容易地控制(例如，经由缩放)。其能够产生具有不同量的所感知的深度的自定义虚拟视图。因此，基于深度估计和虚拟视图合成的视频转换随后被视为将在3D图像(例如，3D视频)应用中利用的有前途的框架。应注意，可对其中仅一个视图2D内容可用的更单视场的视频进行深度估计。

图1是说明实例性系统10的框图，其中目的地装置40从源装置20接收图像的第一视图50的深度信息52以及经编码的图像数据54以用于构建第二视图56，以用于显示所述图像的三维版本的目的。在图1的实例中，源装置20包含图像传感器22、深度处理单元24、编码器26和发射器28，而目的地装置40包含图像显示器42、视图合成单元44、解码器44和接收器48。源装置20和/或目的地装置40可包括无线通信装置，例如无线手持机、所谓的蜂窝式或卫星无线电电话，或可经由通信信道传送图片和/或视频信息的任何无线装置，在这种情况下，所述通信信道可包括无线通信信道。可将目的地装置40称作三维显示器装置或三维再现装置，因为目的地装置40包含视图合成单元44和图像显示器42。

关注于根据深度信息计算视差值的本发明的技术不必限于无线应用或设定。举例来说，这些技术可适用于空中电视广播、有线电视发射、卫星电视发射、因特网视频发射、经编码到存储媒体上的经编码的数字视频，或其它情况。因此，通信信道可包括适合于发射经编码的视频和/或图片数据的无线或有线媒体的任何组合。

图像源22可包括：图像传感器阵列，例如数字静态图片相机或数字视频相机；计算机可读存储媒体，其包括一个或一个以上所存储的图像；用于从外部源接收数字图像的接口；处理单元，其例如通过执行视频游戏或其它交互式多媒体源或其它图像数据源而产生数字图像。图像源22可一般对应于所俘获的、预先俘获的和/或计算机产生的图像中的任一者或一者以上的源。在一些实例中，图像源22可对应于蜂窝式电话的相机。一般来说，在本发明中对图像的参考包含静态图片以及视频数据的帧两者。因此，本发明的技术可适用于静态数字图片以及数字视频数据的帧两者。

图像源22将第一视图50提供给深度处理单元24以用于计算图像中的对象的深度图像。深度处理单元24可经配置以自动计算图像中的对象的深度值。举例来说，深度处理单元24可基于亮度信息来计算对象的深度值。在一些实例中，深度处理单元24可经配置以从用户接收深度信息。在一些实例中，图像源22可以不同观点俘获场景的两个视图，且基于两个视图中的对象之间的视差来计算场景中的对象的深度信息。在各种实例中，图像源22可包括标准的二维相机、提供场景的立体视图的二相机系统、俘获场景的多个视图的相机阵列，或俘获一个视图加上深度信息的相机。

虽然图像源22可提供多个视图，但深度处理单元24可基于所述多个视图来计算深度信息，且源装置20可针对场景的每一对视图仅发射一个视图加上深度信息。举例来说，图像源22可包括八相机阵列，其既定产生将从不同角度观看的场景的四对视图。源装置20可计算每一对的深度信息且将每一对的仅一个图像加上所述对的深度信息发射到目的地装置40。因此，在此实例中，不是发射八个视图，源装置20可以位流54的形式发射四个视图加上所述四个视图中的每一者的深度信息。在一些实例中，深度处理单元24可从用户接收图像的深度信息。

深度处理单元24将第一视图50和深度信息52传递到编码器26。深度信息52可包括第一视图50的深度地图图像。深度地图可包括与将显示的区域(例如，块、切片或帧)相关联的每一像素位置的深度值的地图。当第一视图50是数字静态图片时，编码器26可经配置以将第一视图50编码为(例如)联合照片专家组(JPEG)图像。当第一视图50是视频数据的帧时，编码器26可经配置以根据视频译码标准来编码第一视图50，所述视频译码标准例如为运动图片专家组(MPEG)、MPEG-2、国际电信联盟(ITU)H.263、ITU-TH.264/MPEG-4、H.264高级视频译码(AVC)、ITU-T H.265，或其它视频编码标准。编码器26可包含深度信息52以及经编码的图像以形成位流54，位流54包含经编码的图像数据以及深度信息。编码器26将位流54传递到发射器28。

在一些实例中，估计深度地图。当存在一个以上视图时，当一个以上视图可用时，可使用立体匹配来估计深度地图。然而，在2D到3D的转换中，估计深度可更困难。尽管如此，可使用通过各种方法估计的深度地图来用于基于基于深度图像的再现(DIBR)的3D再现。

举例来说，ITU-T H.264/MPEG-4(AVC)标准由ITU-T视频译码专家组(VCEG)与ISO/IEC动画专家组(MPEG)一起制定，作为被称为联合视频小组(JVT)的共同伙伴关系的产物。在一些方面中，本发明中所描述的技术可适用于一般符合H.264标准的装置。H.264标准描述于ITU-T研究组的2005年3月公布的ITU-T推荐H.264，用于通用视听服务的高级视频译码(Advanced Video Coding for generic audiovisual services)中，其在本文中可被称作H.264标准或H.264规范，或H.264/AVC标准或规范。联合视频小组(JVT)继续致力于对H.264/MPEG-4AVC的扩展。

深度处理单元24可以深度地图的形式产生深度信息52。编码器26可经配置以对深度地图进行编码，以作为被发射为位流54的3D内容的部分。此过程可产生一个所俘获视图的一个深度地图或若干所发射视图的若干深度地图。编码器26可接收一个或一个以上视图和深度地图，且用比如可对多个视图进行联合译码的H.264/AVC、MVC或可对深度和纹理进行联合译码的可缩放视频译码(SVC)等视频译码标准对其进行译码。

当第一视图50对应于视频数据的帧时，编码器26可在帧内预测模式或帧间预测模式中对第一视图50进行编码。作为一实例，ITU-T H.264标准支持各种块大小(例如，针对亮度分量的16乘16、8乘8或4乘4，和针对色度分量的8×8)的帧内预测，以及各种块大小(例如，针对亮度分量的16×16、16×8、8×16、8×8、8×4、4×8和4×4，和针对色度分量的对应缩放的大小)的帧间预测。在本发明中，“N×N”和“N乘N”可以可互换地使用，以在垂直和水平尺寸方面指代块的像素尺寸，例如16×16像素或16乘16像素。一般来说，16×16块将具有在垂直方向上的16个像素和在水平方向上的16个像素。同样地，N×N块一般具有在垂直方向上的N个像素和在水平方向上的N个像素，其中N表示可大于16的正整数值。一块中的像素可布置在若干行和若干列中。块还可为N×M，其中N和M是不必相等的整数。

可将小于16×16的块大小称作16乘16宏块的分区。同样地，对于N×N块，小于N×N的块大小可称作N×N块的分区。视频块可包括像素域中的像素数据的块，或(例如)在对表示经译码的视频块与预测性视频块之间的像素差的残余视频块数据应用例如离散余弦变换(DCT)、整数变换、小波变换或概念上类似的变换等变换之后的在变换域中的变换系数的块。在一些情况下，视频块可包括变换域中的经量化的变换系数的块。

较小的视频块可提供较佳的分辨率，且可用于包含较高细节水平的视频帧的定位。一般来说，可将宏块和有时称作子块的各种分区视为视频块。另外，可将切片视为多个视频块，例如若干宏块和/或若干子块。每一切片可为视频帧的可独立解码的单元。或者，帧自身可为可解码单元，或可将帧的其它部分定义为可解码单元。术语“经译码单元”或“译码单元”可指代视频帧的任何可独立解码的单元，例如完整的帧、帧的切片、图片群组(GOP)(还称作序列或子帧)，或根据可适用的译码技术界定的另一可独立解码的单元。

一般来说，宏块和各种子块或分区可全部被视为视频块。另外，可将切片视为一系列视频块，例如若干宏块和/或若干子块或分区。一般来说，宏块可指代界定16乘16像素区域的一组色度和亮度值。亮度块可包括16乘16组值，但可被进一步分割为更小的视频块，例如8乘8块、4乘4块、8乘4块、4乘8块或其它大小。两个不同色度块可界定宏块的色彩，且可各自包括与16乘16像素区域相关联的色彩值的8乘8经子取样块。宏块可包含语义信息以界定应用于宏块的译码模式和/或译码技术。

宏块或其它视频块可被分组为若干可解码单元，例如切片、帧或其它独立单元。每一切片可为视频帧的可独立解码的单元。或者，帧自身可为可解码单元，或可将帧的其它部分定义为可解码单元。在本发明中，术语“经译码单元”指代视频帧的任何可独立解码的单元，例如完整的帧、帧的切片、图片群组(GOP)，或根据可使用的译码技术界定的另一可独立解码的单元

如上所述，图像源22可将相同场景的两个视图提供给深度处理单元24以用于产生深度信息的目的。在此些实例中，编码器26可仅编码所述视图中的一者以及深度信息。一般来说，本发明的技术针对于将图像以及所述图像的深度信息发送到目的地装置，例如目的地装置40，且目的地装置40可经配置以基于所述深度信息来计算所述图像的对象的视差值。仅发送一个图像以及深度信息可减少带宽消耗且/或减少存储空间使用，带宽消耗和/或存储空间使用可原本是由于发送场景的两个经编码视图以用于产生三维图像而引起。

发射器28可将位流54发送到目的地装置40的接收器48。举例来说，发射器28可使用输送层级包封技术(例如，MPEG-2系统技术)来包封位流54。发射器28可包括(例如)网络接口、无线网络接口、射频发射器、发射器/接收器(收发器)或其它发射单元。在其它实例中，源装置20可经配置以将位流54存储到物理媒体，例如光学存储媒体(例如，压缩光盘、数字视频光盘、蓝光光盘)、快闪存储器、磁性媒体或其它存储媒体。在此些实例中，可将存储媒体物理地输送到目的地装置40的位置且由适当的接口单元读取以用于检索数据。在一些实例中，位流54可在被发射器28发射之前由调制器/解码器(MODEM)调制。

在接收位流54且解包封数据之后，且在一些实例中，接收器48可将位流54提供给解码器46(或在一些实例中，提供给对位流进行解调的MODEM)。解码器46对来自位流54的第一视图50以及深度信息52进行解码。举例来说，解码器46可从深度信息52中重新产生第一视图50和第一视图50的深度地图。在对深度地图进行解码之后，可采用视图合成算法来产生尚未被发射的其它视图的纹理。解码器46还可将第一视图50和深度信息52发送到视图合成单元44。视图合成单元44基于第一视图50和深度信息52而产生第二图像。

一般来说，人类视觉系统基于到对象的收敛角度而感知深度。相对接近观看者的对象被感知为更靠近观看者，这是因为观看者的眼睛以比相对远离观看者的对象更大的角度收敛于所述对象上。为了在例如图片和视频等多媒体中模拟三维，向观看者显示两个图像，向观看者的每只眼睛显示一个图像。位于图像内的相同空间位置处的对象将一般被感知为处于与上面正显示图像的屏幕相同的深度。

为了产生深度的幻觉，可沿着水平轴在图像中的每一者中的略微不同的位置处展示对象。两个图像中的对象的位置之间的差异被称作视差。一般来说，为了使对象看起来相对于屏幕更靠近观看者，可使用负视差值，而为了使对象看起来相对于屏幕更远离观看者，可使用正视差值。在一些实例中，具有正或负视差的像素可以更多或更少的分辨率显示，以增加或减小锐度或模糊度，从而进一步产生距焦点的正或负深度的效果。

视图合成可被视为取样问题，其使用经密集取样的视图来以任意观看角度产生视图。然而，在实际应用中，经密集取样的视图所需的存储或发射带宽可较大。因此，已关于基于经稀疏取样的视图及其深度地图的视图合成执行研究。虽然在细节上有所区别，但基于经稀疏取样的视图的那些算法主要是基于3D变形。在3D变形中，给定深度和相机模型，参考视图的像素可首先从2D相机坐标向后投影到世界坐标中的点P。点P可随后被投影到目的地视图(将产生的虚拟视图)。对应于世界坐标中的相同对象的不同投影的两个像素可具有相同的色彩强度。

视图合成单元44可经配置以基于对象的深度值来计算对象(例如，像素、块、像素群组，或块群组)的视差值。视图合成单元44可使用所述视差值从第一视图50产生第二图像56，其在观看者用一只眼睛观看第一视图50且用另一只眼睛观看第二图像56时产生三维效果。视图合成单元44可将第一视图50和第二图像56传递到图像显示器42以用于向用户显示。

图像显示器42可包括立体显示器或自动立体显示器。一般来说，立体显示器通过在观看者佩戴了头戴式单元(例如，护目镜或眼镜)时显示两个图像而模拟三维，所述头戴式单元将一个图像引导到一只眼中且将第二图像引导到另一只眼中。在一些实例中，同时显示每一图像，例如在使用偏光眼镜或滤色眼镜的情况下。在一些实例中，所述图像快速交替，且眼睛或护目镜与显示同步地快速交替快门，以致使将正确的图像展示给仅对应的眼睛。自动立体显示器不使用眼镜，而是可将正确的图像引导到观看者的对应眼睛中。举例来说，自动立体显示器可配备有用以确定观看者的眼睛位于何处的相机以及用于将图像引导到观看者的眼睛的机械和/或电子装置。

如下文更详细地论述，可用相对于观看者在屏幕后方、屏幕处和屏幕前方的深度值来配置视图合成单元44。可用将在位流54的图像数据中表示的对象的深度映射到视差值的函数来配置视图合成单元44。因此，视图合成单元44可执行所述函数中的一者以计算对象的视差值。在基于深度信息52来计算第一视图50的对象的视差值之后，视图合成单元44可从第一视图50和所述视差值产生第二图像56。

可用用于在屏幕前方或后方的最大深度处显示对象的最大视差值来配置视图合成单元44。以此方式，可用零与最大正视差值与负视差值之间的视差范围来配置视图合成单元44。观看者可调整所述配置以修改目的地装置44显示对象的屏幕前方或后方的最大深度。举例来说，目的地装置40可与观看者可操纵的远程控件或其它控制单元通信。远程控件可包括允许观看者控制在其处显示对象的屏幕前方的最大深度和屏幕后方的最大深度的用户接口。以此方式，观看者可能够调整图像显示器42的配置参数以便改善观看体验。

通过用将在屏幕前方或屏幕后方显示的对象的最大视差值进行配置，视图合成单元44可能够使用相对简单的计算基于深度信息52来计算视差值。举例来说，可用将深度值映射到视差值的函数来配置视图合成单元44。所述函数可包括深度与对应的视差范围内的一个视差值之间的线性关系，使得具有收敛深度间隔中的深度值的像素被映射到视差值零，而处于屏幕前方的最大深度的对象被映射到最小(负)视差值，从而展示为在屏幕前方，且处于最大深度的对象(从而展示为在屏幕后方)被映射到屏幕后方的最大(正)视差值。

在现实世界坐标的一个实例中，深度范围可为(例如)[200，1000]，且收敛深度距离可为(例如)400左右。于是屏幕前方的最大深度对应于200，且屏幕后方的最大深度是1000，且收敛深度间隔可为(例如)[395，405]。然而，现实世界坐标中的深度值可能不可用或可能被量化为更小的动态范围，其可为(例如)八位值(从0到255的范围)。在一些实例中，具有从0到255的值的此经量化的深度值可用于当将存储或发射深度地图时或当估计深度地图时的情形中。典型的基于深度图像的再现(DIBR)过程可包含将低动态范围经量化深度地图转换为现实世界深度地图中的地图，之后计算视差。应注意，常规上，较小的经量化深度值对应于现实世界坐标中的较大的深度值。然而，在本发明的技术中，没有必要进行此转换，因此没有必要知道现实世界坐标中的深度范围或从经量化深度值到现实世界坐标中的深度值的转换函数。考虑实例性视差范围[-dis_n，dis_p]，当经量化深度范围包含从d_min(其可为0)到d_max(其可为255)的值时，将深度值d_min映射到dis_p，且将深度值d_max(其可为255)映射到-dis_n。应注意，dis_n在此实例中为正。假设收敛深度地图间隔是[d₀-δ，d₀+δ]，则将此间隔中的深度值映射到视差0。一般来说，在本发明中，短语“深度值”指代较低的动态范围[d_min，d_max]中的值。δ值可被称作容限值，且不需要在每一方向上相同。也就是说，可通过第一容限值δ₁和第二、潜在不同的容限值δ₂修改d₀，使得[d₀-δ₂，d₀+δ₁]可表示可全部被映射到视差值零的深度值范围。

以此方式，目的地装置40可在不使用考虑额外值的更复杂的程序的情况下计算视差值，所述额外值例如为焦距、假设的相机参数和现实世界深度范围值。因此，与依赖于焦距值(其描述从相机到对象的距离)、深度范围(其描述相机与各个对象之间的实际距离)、两个相机之间的距离、观看者与屏幕之间的观看距离，和屏幕宽度以及包含固有和外来参数的相机参数的用于计算视差的常规技术相比，本发明的技术可提供用于(例如)基于所有像素或对象的给定视差范围以及像素的深度(经量化或在较低的动态范围中)来计算任何像素的视差值的相对简单的程序。

图2是说明视图合成单元44的组件的实例性布置的框图。可以硬件、软件、固件或其任何组合来实施视图合成单元44。当以软件和/或固件实施时，目的地装置40可包含用于执行软件的硬件，例如一个或一个以上处理器或处理单元。视图合成单元44的组件中的任一者或全部可在功能上集成。

在图2的实例中，视图合成单元44包含图像输入接口62、深度信息接口64、视差计算单元66、视差范围配置单元72、深度-视差转换数据74、视图产生单元68和图像输出接口70。在一些实例中，图像输入接口62和深度信息接口64可对应于相同的逻辑和/或物理接口。一般来说，图像输入接口62可从位流54接收图像数据的经解码的版本(例如，第一视图50)，而深度信息接口64可接收第一视图50的深度信息52。图像输入接口62可将第一视图50传递到视差计算单元66，且深度信息接口64可将深度信息52传递到视差计算单元66。

视差计算单元66可基于第一视图50的对象和/或像素的深度信息52来计算第一视图50的像素的视差值。视差计算单元66可选择用于基于像素的深度信息来计算第一视图50的像素的视差的函数，例如所述深度信息指示像素将出现在屏幕的短距离内还是屏幕上、屏幕后方还是屏幕前方。深度-视差转换数据74可存储用于基于像素的深度信息来计算像素的视差值的函数的指令，以及将在屏幕前方和屏幕后方的最大深度处显示的像素的最大视差值。

用于计算视差值的函数可包括像素的深度值与对应的视差值之间的线性关系。举例来说，可向屏幕指派深度值d₀。可向用于位流54的具有屏幕前方的最大深度值的对象指派深度值d_max。可向用于位流54的具有屏幕后方的最大深度值的对象指派深度值d_min。也就是说，d_max和d_min可一般描述用于深度信息52的最大深度值。在其中所存储或发射的深度地图的动态范围是八位的实例中，d_max可具有值255且d_min可具有值0。当第一视图50对应于图片时，d_max和d_min可描述图片中的像素的深度的最大值，而当第一视图50对应于视频数据时，d_max和d_min可描述视频中且不一定是第一视图50内的像素的深度的最大值。

出于阐释的目的，关于具有深度值d₀的屏幕来描述本发明的技术。然而，在一些实例中，d₀可替代地仅对应于收敛平面的深度。举例来说，当图像显示器42对应于用户所佩戴的护目镜，其中单独的屏幕用于用户的每一只眼睛时，可向收敛平面指派相对远离屏幕自身的深度值。在任何情况下，应理解，d₀一般表示收敛平面的深度，其可对应于显示器的深度或可基于其它参数。在一些实例中，用户可利用通信地耦合到图像显示器装置42的远程控制装置来控制收敛深度值d₀。举例来说，远程控制装置可包含用户接口，所述用户接口包含允许用户增加或减小收敛深度值的按钮。

深度-视差转换数据74可存储d_max和d_min的值，以及将在屏幕前方和屏幕后方的最大深度处显示的对象的最大视差值。在另一实例中，d_max和d_min可为给定的动态范围可提供的最大或最小值。举例来说，如果动态范围是8位，则可存在255(2⁸-1)与0之间的深度范围。因此，d_max和d_min对于系统可为固定的。视差范围配置单元72可从远程控制装置接收信号以增加或减小最大视差值或最小视差值，其又可增加或减小对所再现的3D图像的深度的感知。除了远程控制装置之外或作为其替代，视差范围配置单元72可提供用户接口，用户可借以调整图像显示器42在其处显示图像的对象的屏幕前方和屏幕后方的视差范围值。举例来说，减小最大视差可使得所感知的3D图像看起来较不在屏幕内(后方)，且减小最小视差(其已经是负的)可使得所感知的3D图像更鼓出屏幕。

深度-视差转换数据74可包含深度值δ，深度值δ控制被映射到零深度且在屏幕上感知且另外对应于具有远离屏幕的相对小的距离的像素的值的相对小的深度间隔。在一些实例中，视差计算单元66可将视差零指派给在屏幕前方或后方具有小于δ的深度值(例如，深度值d₀)的像素。也就是说，在此些实例中，假设x是像素的深度值，如果(d₀-δ)＜＝x＜＝(d₀+δ)，则视差计算单元66可向所述像素指派视差值零。在一些实例中，用户可利用通信地耦合到图像显示器装置42的远程控制装置来控制δ值。举例来说，远程控制装置可包含用户接口，所述用户接口包含允许用户增加(或减小)所述值的按钮，使得在屏幕上感知到更多(或更少)的像素。

深度-视差转换数据74可包含视差计算单元66可执行以用于计算将在屏幕后方显示的对象的视差值的第一函数。可将所述第一函数应用于比收敛深度值d₀+δ大的深度值。第一函数可将收敛深度值与最大深度值之间的范围中的深度值映射到最小视差值-dis_n与0之间的范围中的视差值。所述第一函数可为深度的单调递减函数。将第一函数应用于深度值可产生用于产生将在屏幕前方显示的像素的3D感知的视差值，使得最鼓出的像素具有最小视差值“-dis_n”(其中，在此实例中，dis_n是正值)。再次假设d₀是屏幕的深度，δ是相对小的距离，x是像素的值，则第一函数可包括：

以此方式，f₁(x)可将像素的深度值x映射到-dis_n到0的视差范围内的视差值。在一些实例中，视差范围内的视差值可与d₀+δ与d_max之间的x的值成比例，或另外单调递减。

深度-视差转换数据74还可包含视差计算单元66可执行以用于计算将在屏幕前方显示的对象的视差值的第二函数。可将所述第二函数应用于比收敛深度值d₀-δ小的深度值。所述第二函数可将最小深度值与收敛深度值之间的范围中的深度值映射到0与最大视差值dis_p之间的范围中的视差值。所述第二函数可为深度的单调递减函数。具有给定深度的此函数的结果是产生用于将在屏幕后方显示的像素的3D感知的视差，且最深的像素具有最大视差值“dis_p”。再次假设d₀是屏幕的深度，δ是相对小的距离，x是像素的值，则第二函数可包括：以此方式，f₂(x)可将像素的深度值x映射到0到dis_p的视差范围内的视差值。在一些实例中，视差范围内的视差值可与d₀-δ与d_min之间的x的值成比例，或另外单调递减。

因此，视差计算单元66可使用阶跃函数来计算像素的视差(其中p表示像素，且depth(p)表示与其中x的深度＝depth(p)的像素p相关联的深度值)：

$\mathrm{disparity}\left(p\right)=\left\{\begin{array}{cc}\mathrm{depth}\left(p\right)\∈[d_{\min },d_0-\mathrm{\δ}],& {\mathrm{dis}}_p*\frac{d_0-\mathrm{\δ}-x}{d_0-\mathrm{\δ}-d_{\min }}\\ \mathrm{depth}\left(p\right)\∈[d_0-\mathrm{\δ},d_0+\mathrm{\δ}],& 0\\ \mathrm{depth}\left(p\right)\∈[d_0+\mathrm{\δ},d_{\max }],& -{\mathrm{dis}}_n*\frac{x-d_0-\mathrm{\δ}}{d_{\max }-d_{0-\mathrm{\δ}}}\end{array}\right..$

图像显示器42在其处显示对象的屏幕前方或后方的最大深度没有必要与来自位流54的深度信息52的最大深度相同。图像显示器42在其处显示对象的屏幕前方或后方的最大深度可为可基于最大视差值dis_n和dis_p而配置的。在一些实例中，用户可使用远程控制装置或其它用户接口来配置最大视差值。

应理解，深度值d_min和d_max没有必要与由最大视差值产生的屏幕前方和后方的最大深度相同。而是，d_min和d_max可为预定值，例如，具有从0到255的定义范围。深度处理单元24可将像素的深度值指派为全局深度值。在由视图合成单元44计算出的所得视差值可与特定像素的深度值相关时，在其处显示对象的屏幕前方或后方的最大深度是基于最大视差值，且没有必要是最大深度值d_min和d_max。

视差范围配置单元72可基于(例如)从远程控制装置或其它用户接口接收的信号来修改dis_n和dis_p的值。假定N是二维图像的水平分辨率(即，沿着x轴的像素的数目)。于是，对于值α和β(其可被称作视差调整值)，dis_n＝N*α且dis_p＝N*β。在此实例中，α可为负视差的最大比率(与整个图像宽度相比)，其对应于屏幕外(或前方)的对象的三维感知。在此实例中，β可为正视差的最大比率，其对应于屏幕后方(或内)的对象的三维感知。在一些实例中，可将以下默认值用作开始点：对于α，(5±2)％，且对于β，(8±3)％。

最大视差值可为装置和观看环境相依的，且可为制造参数的部分。也就是说，制造商可在制造时使用以上默认值或更改默认参数。另外，视差范围配置单元72可提供一种机制，用户可借以(例如)使用远程控制装置、用户接口或用于调整目的地装置40的设定的其它机构来调整默认值。

响应于来自用户的用以增加在屏幕前方显示对象的深度的信号，视差范围配置单元72可增加α。同样，响应于来自用户的用以减小在屏幕前方显示对象的深度的信号，视差范围配置单元72可减小α。类似地，响应于来自用户的用以增加在屏幕后方显示对象的深度的信号，视差范围配置单元72可增加β，且响应于来自用户的用以减小在屏幕后方显示对象的深度的信号，视差范围配置单元72可减小β。在增加或减小了α和/或β之后，视差范围配置单元72可重新计算dis_n和/或dis_p，且更新如存储于深度-视差转换数据74中的dis_n和/或dis_p的值。以此方式，用户可在观看图像的同时(例如，在观看图片时或在视频回放期间)调整3D感知，且更具体来说，调整在屏幕前方和/或后方显示对象的所感知深度。

在计算出第一图像50的像素的视差值之后，视差计算单元66可将视差值发送到视图产生单元68。视差计算单元66还可将第一图像50转发到视图产生单元68，或图像输入接口62可将第一图像50转发到视图产生单元68。在一些实例中，可将第一图像50写入到例如图像缓冲器等计算机可读媒体，且由视差计算单元66和视图产生单元68从图像缓冲器检索。

视图产生单元68可基于第一图像50和第一图像50的像素的视差值而产生第二图像56。作为一实例，视图产生单元68可产生第一图像50的副本以作为第二图像56的初始版本。对于第一图像50的具有非零视差值的每一像素，视图产生单元68可将第二图像56内的位置处的与第一图像50的像素偏移的像素的值改变像素的视差值。因此，对于位置(x，y)处的具有视差值d的像素p，视图产生单元68可将位置(x+d，y)处的像素的值改变为像素p的值。视图产生单元68可进一步(例如)使用常规的孔填充技术来改变第二图像56中的位置(x，y)处的像素的值。举例来说，第二图像56中的位置(x，y)处的像素的新值可基于相邻像素来计算。

视图产生单元68可随后将第二视图56发送到图像输出接口70。图像输入接口62或视图产生单元68也可将第一图像50发送到图像输出接口。图像输出接口70可随后将第一图像50和第二图像56输出到图像显示器42。同样，图像显示器42可(例如)同时地或快速连续地显示第一图像50和第二图像56。

图3A到3C是说明基于像素深度的正、零和负视差值的实例的概念图。一般来说，为产生三维效果，例如在屏幕上显示两个图像，且将在屏幕前方或后方显示的对象的像素分别具有正或负的视差值，而将在屏幕深度处显示的对象具有视差值零。在一些实例中，例如当用户佩戴了头戴式护目镜时，“屏幕”的深度可替代地对应于共同深度d₀。

图3A到3C的实例说明其中屏幕82同时地或快速连续地显示左边图像84和右边图像86的实例。图3A说明用于将像素80A描绘为发生在屏幕82的后方(或内)的实例。在图3A的实例中，屏幕82显示左边图像像素88A和右边图像像素90A，其中左边图像像素88A和右边图像像素90A一般对应于相同的对象，且因此可具有类似或等同的像素值。在一些实例中，左边图像像素88A和右边图像像素90A的亮度和色度值可略微不同，以进一步增强三维观看体验，(例如)以考虑在从略微不同的角度观看对象时可发生的亮度或色彩差异的细微变化。

在此实例中，左边图像像素88A的位置在由屏幕82显示时发生在右边图像像素90A的左边。也就是说，在左边图像像素88A与右边图像像素90A之间存在正视差。假设视差值是d，且左边图像像素92A发生在左边图像84中的水平位置x处，其中左边图像像素92A对应于左边图像像素88A，右边图像像素94A发生在右边图像86中的水平位置x+d处，其中右边图像像素94A对应于右边图像像素90A。当用户的左眼聚焦于左边图像像素88A且用户的右眼聚焦于右边图像像素90A时，此可致使观看者的眼睛收敛于相对在屏幕82后方的点处，从而产生像素80A看起来在屏幕82后方的幻觉。

左边图像84可对应于如图1和2中所说明的第一图像50。在其它实例中，右边图像86可对应于第一图像50。为了计算图3A的实例中的正视差值，视图合成单元44可接收左边图像84和左边图像像素92A的指示左边图像像素92A在屏幕82后方的深度位置的深度值。视图合成单元44可复制左边图像84以形成右边图像86，且改变右边图像像素94A的值以匹配或类似左边图像像素92A的值。也就是说，右边图像像素94A可具有与左边图像像素92A相同或类似的亮度和/或色度值。因此，可对应于图像显示器42的屏幕82可大体上同时地或快速连续地显示左边图像像素88A和右边图像像素90A，以产生像素80A发生在屏幕82后方的效果。

图3B说明用于描绘屏幕82的深度处的像素80B的实例。在图3B的实例中，屏幕82在相同的位置显示左边图像像素88B和右边图像像素90B。也就是说，在此实例中，在左边图像像素88B与右边图像像素90B之间存在零视差。假设左边图像84的左边图像像素92B(其对应于如由屏幕82显示的左边图像像素88B)发生在水平位置x处，则右边图像像素94B(其对应于如由屏幕82显示的右边图像像素90B)也发生在右边图像86中的水平位置x处。

视图合成单元44可确定左边图像像素92B的深度值处于等效于屏幕82的深度或在距屏幕82的深度的小距离δ内的深度d₀处。因此，视图合成单元44可向左边图像像素92B指派视差值零。当从左边图像84和视差值构建右边图像86时，视图合成单元44可使右边图像像素94B的值与左边图像像素92B相同。

图3C说明用于描绘屏幕82的前方的像素80C的实例。在图3C的实例中，屏幕82将左边图像像素88C显示到右边图像像素90C的右边。也就是说，在此实例中，在左边图像像素88C与右边图像像素90C之间存在负视差。因此，用户的眼睛可收敛于屏幕82的前方的位置处，其可产生像素80C看起来在屏幕82的前方的幻觉。

视图合成单元44可确定左边图像像素92C的深度值处于在屏幕82的前方的深度处。因此，视图合成单元44可执行将左边图像像素92C的深度映射到负视差值-d的函数。视图合成单元44可随后基于左边图像84和负视差值来构建右边图像86。举例来说，当构建右边图像86时，假设左边图像像素92C具有水平位置x，则视图合成单元44可将右边图像86中的水平位置x-d处的像素(即，右边图像像素94C)的值改变为左边图像像素92C的值。

图4是说明用于使用从源装置接收的深度信息来计算视差值且基于图像的场景的第一视图和所述视差值而产生所述场景的第二视图的实例性方法的流程图。起初，图像源22接收包含场景的第一视图(例如，第一视图50)的原始视频数据(150)。如上文所提及，图像源22可包括(例如)例如相机等图像传感器、产生图像数据(例如，用于视频游戏)的处理单元，或存储所述图像的存储媒体。

深度处理单元24可随后处理所述第一图像以确定图像的像素的深度信息52(152)。所述深度信息可包括深度地图，即，图像中的每一像素的深度值的表示。深度处理单元24可从图像源22或用户接收深度信息，或基于(例如)第一图像的像素的亮度值来计算深度信息。在一些实例中，深度处理单元24可接收场景的两个或两个以上图像且基于视图之间的差异来计算深度信息。

编码器26可随后对第一图像以及深度信息进行编码(154)。在其中由图像源22俘获或产生场景的两个图像的实例中，编码器26可仍在深度处理单元24已计算出所述图像的深度信息之后仅对两个图像中的一者进行编码。发射器28可随后发送(例如，输出)经编码数据(156)。举例来说，发射器28可经由无线电波广播经编码数据，经由网络输出经编码数据，经由卫星或电缆传输来传输经编码数据，或以其它方式输出经编码数据。以此方式，源装置20可使用仅一个图像和深度信息来产生用于产生场景的三维表示的位流，其可在发射器28输出经编码图像数据时减少带宽消耗。

目的地装置40的接收器48可随后接收经编码数据(158)。接收器48可将经编码数据发送到解码器46以进行解码。解码器46可对所接收的数据进行解码以重现第一图像以及第一图像的深度信息，且将第一图像和深度信息发送到视图合成单元44(160)。

视图合成单元44可分析第一图像的深度信息以计算第一图像的像素的视差值(162)。举例来说，对于每一像素，视图合成单元44可确定像素的深度信息是否指示将在屏幕后方、屏幕处或屏幕前方展示像素，且相应地计算所述像素的视差值。下文关于图5更详细地描述用于计算第一图像的像素的视差值的实例性方法。

视图合成单元44可随后基于第一图像和视差值而产生第二图像(164)。举例来说，视图合成单元44可用第一图像的副本开始。随后，对于位置(x，y)处的具有非零视差值d的每一像素p，视图合成单元44可将第二图像中的位置(x+d，y)处的像素的值改变为像素p的值。视图合成单元44还可(例如)基于周围像素的值使用常规的孔填充技术来改变第二图像中的位置(x，y)处的像素的值。在合成第二图像之后，图像显示器42可(例如)同时地或快速连续地显示第一图像和第二图像。

图5是说明用于基于像素的深度信息来计算像素的视差值的实例性方法的流程图。图5的方法可对应于图4的步骤164。视图合成模块44可针对图像中的每一像素重复图5的方法，针对所述图像产生立体对中的第二图像，即，用于产生场景的三维视图的一对图像，其中所述对的两个图像是从略微不同的角度的相同场景的图像。起初，视图合成模块44可确定(例如)如由深度地图图像提供的像素的深度值(180)。

视图合成单元44可随后确定像素的深度值是否小于收敛深度(例如d₀)减去相对小的值δ(182)。如果是(182的“是”分支)，则视图合成单元44可使用将深度值映射到潜在正视差值的范围的函数来计算像素的视差值(184)，范围为从零到最大正视差值，其可为可由用户配置的。举例来说，其中x表示像素的深度值，d_min表示像素的最小可能的深度值，且dis_p表示最大正视差值，视图合成模块可使用公式

来计算像素的视差。

另一方面，如果像素的深度值不小于屏幕的深度减去相对小的值δ(182的“否”分支)，则视图合成模块44可确定像素的深度值是否大于收敛深度(例如d₀)加上相对小的值δ(186)。如果是(186的“是”分支)，则视图合成单元44可使用将深度值映射到潜在负视差值的范围的函数来计算像素的视差值(188)，范围为从零到最大负视差值，其可为可由用户配置的。举例来说，其中x表示像素的深度值，d_max表示像素的最大可能的深度值，且-dis_n表示最大负(或最小)视差值，视图合成模块可使用公式

$f_1\left(x\right)=-{\mathrm{dis}}_n*\frac{x-d_0-\mathrm{\δ}}{d_{\max }-d_0-\mathrm{\δ}}$ 来计算像素的视差。

当像素位于d₀-δ与d₀+δ之间时(186的“否”分支)，视图合成模块44可确定像素的视差值为零(190)。以此方式，目的地装置40可基于可能的正和负视差值的范围以及像素中的每一者的深度值来计算图像的像素的视差值。因此，目的地装置40不需要参考焦距、现实世界中的深度范围、所假设的相机或眼睛的距离，或其它相机参数来计算视差值，且最终，从可同时地或快速连续地显示的场景的第一图像产生场景的第二图像，以呈现所述场景的三维表示。

可大体上通过以下公式来描述两个图像的像素之间的视差：

$\mathrm{\Δu}=h-\frac{f*t_r}{z_w}$

其中Δu是两个像素之间的视差，t_r是俘获相同场景的两个图像的两个相机之间的距离，z_w是像素的深度值，h是与相机的位置和穿过所述相机的平面上的点之间的差相关的移位值，来自如由两个相机俘获的场景的对象的收敛线在所述点处通过，且f是描述距离的焦距，所述收敛线以所述距离与从相机到收敛平面的垂直线(被称作主轴)相交。

移位值h通常用作控制参数，使得可将视差的计算表示为：

$\mathrm{\Δu}=\frac{f*t_r}{z_c}-\frac{f*t_r}{z_w}$

其中z_c表示在其处视差为零的深度。

假设存在最大正视差dis_p和最大负视差dis_n。假定对应的现实世界深度范围为[z_near，Z_far]，且现实世界坐标中的像素的深度为z_w。于是，像素的视差不取决于焦距和相机(或眼睛)距离，因此可如下计算像素的视差：

$\mathrm{\&Delta;u}=\left\{\begin{array}{c}-d{\mathrm{is}}_n*\frac{z_w-z_c}{z_{\mathrm{far}}-z_c}\mathrm{if}(z_w>z_c)\\ {\mathrm{dis}}_p*\frac{z_c-z_w}{z_c-z_{\mathrm{near}}}\mathrm{if}(z_w<z_c)\end{array}\right.$

为对此进行证明，可定义对应于最大负视差的最远像素是：

$-{\mathrm{dis}}_n=\frac{f*t_r}{z_c}-\frac{f*t_r}{z_{\mathrm{far}}}.$

这可能是因为假设z_far描述现实世界中的最大距离。类似地，可定义对应于最大正视差的最近像素为：

${\mathrm{dis}}_p=\frac{f*t_r}{z_c}-\frac{f*t_r}{z_{\mathrm{near}}}.$

再次，这可能是因为可假设z_near描述现实世界中的最小距离。因此，如果z_w大于z_c，则可将负视差计算为

$\mathrm{\&Delta;u}=-{\mathrm{dis}}_n*\frac{z_w-z_c}{z_{\mathrm{far}}-z_c}.$

另一方面，如果z_w小于z_c，则可将正视差计算为：

$\mathrm{\&Delta;u}=d{\mathrm{is}}_p*\frac{z_c-z_w}{z_c-z_{\mathrm{near}}}.$

本发明认识到图像的深度地图可具有误差，且对深度范围[z_near，z_far]的估计可较困难。估计最大视差值dis_n和dis_p可更容易，且假设对象在z_c前方或后方的相对定位。可以不同分辨率俘获场景且在三维变形之后，像素的视差可与分辨率成比例。换句话说，可基于显示器的分辨率N以及比率α和β来计算最大视差值，使得可将最大正视差计算为dis_p＝N*β，且可将最大负视差计算为dis_n＝N*α。

深度估计算法在估计对象之间的相对深度中可比估计z_near和z_far的完全准确的深度范围更准确。而且，在一些记号的转换期间(例如，从运动或模糊度到现实世界深度值)可存在不确定性。因此，实际上，可将用于计算视差的“现实”公式简化为：

$\mathrm{\&Delta;u}=\left\{\begin{array}{cc}-{\mathrm{dis}}_n*g_1\left(d\right),& \mathrm{if}(d<d_0)\\ {\mathrm{dis}}_p*g_2\left(d\right)& \mathrm{if}(d>d_0)\end{array}\right.$

其中d是相对于[z_near，z_far](例如，从0到255)处于小范围中的深度值。

本发明的技术认识到考虑潜在深度值的三个范围而不是单一深度值d₀可更稳固。假设上文所描述的f₁(x)等于-dis_n*g₁(x)，且f₂(x)等于dis_p*g₂(x)，则得到本发明的技术。也就是说，其中p表示像素，且depth(p)表示与像素p相关联的深度值，p的视差可如下计算：

$\mathrm{disparity}\left(p\right)=\left\{\begin{array}{cc}\mathrm{depth}\left(p\right)\&Element;[d_{\min },d_0-\mathrm{\&delta;}],& {\mathrm{dis}}_p*\frac{d_0-\mathrm{\&delta;}-x}{d_0-\mathrm{\&delta;}-d_{\min }}\\ \mathrm{depth}\left(p\right)\&Element;[d_0-\mathrm{\&delta;},d_0+\mathrm{\&delta;}],& 0\\ \mathrm{depth}\left(p\right)\&Element;[d_0+\mathrm{\&delta;},d_{\max }],& -{\mathrm{dis}}_n*\frac{x-d_0-\mathrm{\&delta;}}{d_{\max }-d_{0-\mathrm{\&delta;}}}\end{array}\right..$

在一个或一个以上实例中，所描述的功能可以硬件、软件、固件或其任何组合来实施。如果以软件实施，则可将功能作为计算机可读媒体上的一个或一个以上指令或代码而加以存储或传输。计算机可读媒体可包含计算机可读存储媒体(其对应于例如数据存储媒体等有形媒体)或通信媒体，通信媒体包含促进(例如)根据通信协议将计算机程序从一处传递到另一处的任何媒体。以此方式，计算机可读媒体一般可对应于(1)非暂时性的有形计算机可读存储媒体或(2)例如信号或载波等通信媒体。数据存储媒体可为可由一个或一个以上计算机或一个或一个以上处理器存取以检索指令、代码和/或数据结构来用于实施本发明中所描述的技术的任何可用媒体。举例来说且并非限制，所述计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，快闪存储器，或可用于存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。同样，可恰当地将任何连接称作计算机可读媒体。举例来说，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)或例如红外线、无线电及微波的无线技术从网站、服务器或其它远程源传输软件，则同轴电缆、光纤电缆、双绞线、DSL或例如红外线、无线电及微波的无线技术包含于媒体的定义中。然而，应理解，计算机可读存储媒体和数据存储媒体不包含连接、载波、信号或其它瞬时媒体，而是针对于非瞬态的、有形存储媒体。如本文中所使用，磁盘及光盘包括压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘，其中磁盘通常磁性地重现数据，而光盘使用激光光学地重现数据。以上各者的组合也应包含在计算机可读媒体的范围内。

所述代码可由一个或一个以上处理器执行，例如，一个或一个以上数字信号处理器(DSP)、通用微处理器、专用集成电路(ASIC)、现场可编程逻辑阵列(FPGA)或其它等效的集成或离散的逻辑电路。因此，如本文中所使用的术语“处理器”可指上述结构中的任一者或适合于实施本文中所描述的技术的任一其它结构。另外，在一些方面中，本文中所描述的功能性可提供于经配置以用于编码及解码的专用硬件模块和/或软件模块内，或并入组合式编解码器中。并且，可将所述技术完全实施于一个或一个以上电路或逻辑元件中。

本发明的技术可实施于广泛多种装置或设备中，包含无线手持机、集成电路(IC)或IC组(例如，芯片组)。本发明中描述各种组件、模块或单元来强调经配置以执行所揭示的技术的装置的若干功能性方面，但没有必要需要通过不同的硬件单元来实现。而是，如上文所描述，各种单元可联合合适的软件和/或固件而组合于编解码器硬件单元中或通过互操作的硬件单元的集合(包含如上文所描述的一个或一个以上处理器)来提供。

已描述各种实例。这些和其它实例位于所附权利要求书的范围内。

Claims (46)

1.一种用于产生三维3D图像数据的方法，所述方法包括：

用3D再现装置基于与第一图像的多个像素相关联的深度信息以及所述深度信息所映射到的视差范围来计算所述多个像素的视差值，其中所述视差值描述第二图像的多个像素中的对应者的水平偏移；以及

用所述3D再现装置基于所述第一图像和所述视差值来产生所述第二图像。

2.根据权利要求1所述的方法，其中计算所述多个像素中的一者的所述视差值包括：选择将所述深度信息的深度值映射到所定义的视差范围内的视差值的函数；以及基于所述多个像素中的所述一者的所述深度信息而执行所述选定的视差函数。

3.根据权利要求1所述的方法，其中计算所述多个像素的所述视差值包括针对所述多个像素中的至少一者：

确定所述多个像素中的所述一者的所述深度信息的深度值是否在第一范围、第二范围和第三范围内，所述第一范围包括大于收敛深度值加上第一容限值的深度值，所述第二范围包括小于所述收敛深度值减去第二容限值的深度值，所述第三范围包括在所述收敛深度值加上所述第一容限值与所述收敛深度值减去所述第二容限值之间的深度值；

当所述多个像素中的所述一者的所述深度信息在所述第一范围内时执行第一函数；

当所述多个像素中的所述一者的所述深度信息在所述第二范围内时执行第二函数，以及

当所述多个像素中的所述一者的所述深度信息在所述第三范围内时将所述多个像素中的所述一者的所述视差值设定为等于零。

4.根据权利要求3所述的方法，其中所述视差范围包括最小负视差值-dis_n，且其中所述第一函数包括将所述第一深度范围中的深度值映射到从-dis_n到0的范围中的负视差值的单调递减函数。

5.根据权利要求4所述的方法，其进一步包括根据所接收的视差调整值来修改所述最小负视差值。

6.根据权利要求5所述的方法，其进一步包括从通信地耦合到3D显示器装置的远程控制装置接收所述视差调整值。

7.根据权利要求5所述的方法，其中将所述所接收的视差调整值表达为所述第二图像的宽度的百分比。

8.根据权利要求3所述的方法，其中所述视差范围包括最大正视差值dis_p，且其中所述第二函数包括将所述第二深度范围中的深度值映射到从0到dis_p的范围中的正视差值的单调递减函数。

9.根据权利要求8所述的方法，其进一步包括根据所接收的视差调整值来修改所述最大正视差值。

10.根据权利要求9所述的方法，其进一步包括从通信地耦合到所述3D显示器装置的远程控制装置接收所述视差调整值。

11.根据权利要求9所述的方法，其中将所述所接收的视差调整值表达为所述第二图像的宽度的百分比。

12.根据权利要求3所述的方法，其中所述第一函数包括

其中所述第二函数包括

其中d_min包括最小深度值，其中d_max包括最大深度值，其中d₀包括所述收敛深度值，其中δ₁包括所述第一容限值，其中δ₂包括所述第二容限值，其中x包括所述多个像素中的所述一者的所述深度值，其中-dis_n包括所述视差范围的最小负视差值，且其中dis_p包括所述视差范围的最大正视差值。

13.根据权利要求1所述的方法，其中计算所述视差值包括在不直接使用相机模型、焦距、现实世界深度范围值、从低动态范围深度值到所述现实世界深度值的转换、现实世界收敛距离、观看距离和显示器宽度的情况下计算所述视差值。

14.一种用于产生三维图像数据的设备，所述设备包括视图合成单元，所述视图合成单元经配置以：基于与第一图像的多个像素相关联的深度信息以及所述深度信息所映射到的视差范围来计算所述多个像素的视差值，其中所述视差值描述第二图像的多个像素中的对应者的水平偏移；以及基于所述第一图像和所述视差值来产生所述第二图像。

15.根据权利要求14所述的设备，其中为了计算所述多个像素中的至少一者的所述视差值，所述视图合成单元经配置以确定所述多个像素中的所述一者的所述深度信息的深度值是否在第一范围、第二范围和第三范围内，所述第一范围包括大于收敛深度值加上第一容限值的深度值，所述第二范围包括小于所述收敛深度值减去第二容限值的深度值，所述第三范围包括在所述收敛深度值加上所述第一容限值与所述收敛深度值减去所述第二容限值之间的深度值，当所述多个像素中的所述一者的所述深度信息在所述第一范围内时执行第一函数，当所述多个像素中的所述一者的所述深度信息在所述第二范围内时执行第二函数，且当所述多个像素中的所述一者的所述深度信息在所述第三范围内时将所述多个像素中的所述一者的所述视差值设定为等于零。

16.根据权利要求15所述的设备，其中所述视差范围包括最小负视差值-dis_n，且其中所述第一函数包括将所述第一深度范围中的深度值映射到从-dis_n到0的范围中的负视差值的单调递减函数。

17.根据权利要求16所述的设备，其进一步包括视差范围配置单元，所述视差范围配置单元经配置以根据所接收的视差调整值来修改所述最小负视差值。

18.根据权利要求17所述的设备，其中所述视差范围配置单元经配置以从通信地耦合到所述设备的远程控制装置接收所述视差调整值。

19.根据权利要求17所述的设备，其中所述所接收的视差调整值被表达为所述第二图像的宽度的百分比。

20.根据权利要求15所述的设备，其中所述视差范围包括最大正视差值dis_p，且其中所述第二函数包括将所述第二深度范围中的深度值映射到从0到dis_p的范围中的正视差值的单调递减函数。

21.根据权利要求20所述的设备，其进一步包括视差范围配置单元，所述视差范围配置单元经配置以根据所接收的视差调整值来修改所述最大正视差值。

22.根据权利要求21所述的设备，其中所述视差范围配置单元经配置以从通信地耦合到所述设备的远程控制装置接收所述视差调整值。

23.根据权利要求21所述的设备，其中所述所接收的视差调整值被表达为所述第二图像的宽度的百分比。

24.根据权利要求15所述的设备，其中所述第一函数包括

其中所述第二函数包括

其中d_min包括最小深度值，其中d_max包括最大深度值，其中d₀包括所述收敛深度值，其中δ₁包括所述第一容限值，其中δ₂包括所述第二容限值，其中x包括所述多个像素中的所述一者的所述深度值，其中-dis_n包括所述视差范围的最小负视差值，且其中dis_p包括所述视差范围的最大正视差值。

25.一种用于产生三维3D图像数据的设备，所述设备包括：

用于基于与第一图像的多个像素相关联的深度信息以及所述深度信息所映射到的视差范围来计算所述多个像素的视差值的装置，其中所述视差值描述第二图像的多个像素中的对应者的水平偏移；以及

用于基于所述第一图像和所述视差值来产生所述第二图像的装置。

26.根据权利要求25所述的设备，其中所述用于计算所述多个像素中的至少一者的所述视差值的装置包括：

用于确定所述多个像素中的所述一者的所述深度信息的深度值是否在第一范围、第二范围和第三范围内的装置，所述第一范围包括大于收敛深度值加上第一容限值的深度值，所述第二范围包括小于所述收敛深度值减去第二容限值的深度值，所述第三范围包括在所述收敛深度值加上所述第一容限值与所述收敛深度值减去所述第二容限值之间的深度值；

用于当所述多个像素中的所述一者的所述深度信息在所述第一范围内时执行第一函数的装置；

用于当所述多个像素中的所述一者的所述深度信息在所述第二范围内时执行第二函数的装置；以及

用于当所述多个像素中的所述一者的所述深度信息在所述第三范围内时将所述多个像素中的所述一者的所述视差值设定为等于零的装置。

27.根据权利要求26所述的设备，其中所述视差范围包括最小负视差值-dis_n，且其中所述第一函数包括将所述第一深度范围中的深度值映射到从-dis_n到0的范围中的负视差值的单调递减函数。

28.根据权利要求27所述的设备，其进一步包括用于根据所接收的视差调整值来修改所述最小负视差值的装置。

29.根据权利要求28所述的设备，其进一步包括用于从通信地耦合到所述设备的远程控制装置接收所述视差调整值的装置。

30.根据权利要求28所述的设备，其中所述所接收的视差调整值被表达为所述第二图像的宽度的百分比。

31.根据权利要求26所述的设备，其中所述视差范围包括最大正视差值dis_p，且其中所述第二函数包括将所述第二深度范围中的深度值映射到从0到dis_p的范围中的正视差值的单调递减函数。

32.根据权利要求31所述的设备，其进一步包括用于根据所接收的视差调整值来修改所述最大正视差值的装置。

33.根据权利要求32所述的设备，其进一步包括用于从通信地耦合到所述设备的远程控制装置接收所述视差调整值的装置。

34.根据权利要求32所述的设备，其中所述所接收的视差调整值被表达为所述第二图像的宽度的百分比。

35.根据权利要求26所述的设备，其中，所述第一函数包括

其中所述第二函数包括

其中d_min包括最小深度值，其中d_max包括最大深度值，其中d₀包括所述收敛深度值，其中δ₁包括所述第一容限值，其中δ₂包括所述第二容限值，其中x包括所述多个像素中的所述一者的所述深度值，其中-dis_n包括所述视差范围的最小负视差值，且其中dis_p包括所述视差范围的最大正视差值。

36.一种计算机可读存储媒体，其包括在执行时致使用于产生三维3D图像数据的设备的处理器进行以下操作的指令：

基于与第一图像的多个像素相关联的深度信息以及所述深度信息所映射到的视差范围来计算所述多个像素的视差值，其中所述视差值描述第二图像的多个像素中的对应者的水平偏移；以及

基于所述第一图像和所述视差值来产生所述第二图像。

37.根据权利要求36所述的计算机可读存储媒体，其中所述致使所述处理器计算所述多个像素的所述视差值的指令包括致使所述处理器针对所述多个像素中的至少一者进行以下操作的指令：

确定所述多个像素中的所述一者的所述深度信息的深度值是否在第一范围、第二范围和第三范围内，所述第一范围包括大于收敛深度值加上第一容限值的深度值，所述第二范围包括小于所述收敛深度值加上第二容限值的深度值，所述第三范围包括在所述收敛深度值加上所述第一容限值与所述收敛深度值减去所述第二容限值之间的深度值；

当所述多个像素中的所述一者的所述深度信息在所述第一范围内时执行第一函数；

当所述多个像素中的所述一者的所述深度信息在所述第二范围内时执行第二函数；以及

当所述多个像素中的所述一者的所述深度信息在所述第三范围内时将所述多个像素中的所述一者的所述视差值设定为等于零。

38.根据权利要求37所述的计算机可读存储媒体，其中所述视差范围包括最小负视差值-dis_n，且其中所述第一函数包括将所述第一深度范围中的深度值映射到从-dis_n到0的范围中的负视差值的单调递减函数。

39.根据权利要求38所述的计算机可读存储媒体，其进一步包括致使所述处理器根据所接收的视差调整值来修改所述最小负视差值的指令。

40.根据权利要求39所述的计算机可读存储媒体，其进一步包括致使所述处理器从通信地耦合到所述设备的远程控制装置接收所述视差调整值的指令。

41.根据权利要求39所述的计算机可读存储媒体，其中所述所接收的视差调整值被表达为所述第二图像的宽度的百分比。

42.根据权利要求37所述的计算机可读存储媒体，其中所述视差范围包括最大正视差值dis_p，且其中所述第二函数包括将所述第二深度范围中的深度值映射到从0到dis_p的范围中的正视差值的单调递减函数。

43.根据权利要求42所述的计算机可读存储媒体，其进一步包括致使所述处理器根据所接收的视差调整值来修改所述最大正视差值的指令。

44.根据权利要求43所述的计算机可读存储媒体，其进一步包括致使所述处理器从通信地耦合到所述设备的远程控制装置接收所述视差调整值的指令。

45.根据权利要求43所述的计算机可读存储媒体，其中所述所接收的视差调整值被表达为所述第二图像的宽度的百分比。

46.根据权利要求37所述的计算机可读存储媒体，其中所述第一函数包括 $f_1\left(x\right)=-{\mathrm{dis}}_n*\frac{x-d_0-{\mathrm{\&delta;}}_1}{d_{\max }-d_0-{\mathrm{\&delta;}}_1},$ 其中所述第二函数包括 $f_2\left(x\right)={\mathrm{dis}}_p*\frac{d_0-{\mathrm{\&delta;}}_2-x}{d_0-{\mathrm{\&delta;}}_2-d_{\min }},$ 其中d_min包括最小深度值，其中d_max包括最大深度值，其中d₀包括所述收敛深度值，其中δ₁包括所述第一容限值，其中δ₂包括所述第二容限值，其中x包括所述多个像素中的所述一者的所述深度值，其中-dis_n包括所述视差范围的最小负视差值，且其中dis_p包括所述视差范围的最大正视差值。

Images