CN102484734A

CN102484734A - 根据三维输入格式转换视频数据

Info

Publication number: CN102484734A
Application number: CN2010800377050A
Authority: CN
Inventors: 胡迪特·马蒂内·包萨; 维贾雅拉克希米·R·拉韦恩德拉恩
Original assignee: Qualcomm Inc
Current assignee: Qualcomm Inc
Priority date: 2009-08-06
Filing date: 2010-08-04
Publication date: 2012-05-30
Anticipated expiration: 2030-08-04
Also published as: BR112012002565A2; KR101342781B1; CN102484734B; KR20120054034A; WO2011017473A1; JP2013501475A; US9083958B2; US20110032329A1; JP5475132B2; EP2462747A1

Abstract

大体来说，本发明描述用于根据三维3D输入格式转换视频数据的技术。作为一个实例，包括转换模块、参数发现模块及至少一个接口的设备(例如移动或便携型装置)实施所述技术。所述参数发现模块确定由3D显示装置支持的输入格式。所述参数发现模块接着根据所述所确定的输入格式配置所述转换模块以将二维2D视频数据转换成3D视频数据以便产生所述3D视频数据。所述至少一个接口接收2D视频数据。所述转换模块将所述2D视频数据转换成3D视频数据以使得所述3D视频数据遵照所述所确定的输入格式。以此方式，所述设备实施所述技术以根据所确定的3D输入格式转换视频数据。

Description

根据三维输入格式转换视频数据

本申请案主张2009年8月6日申请的第61/231,931号美国临时申请案的权利。

本专利申请案与以下共同待决的美国专利申请案有关：

与本专利申请案同时申请的美国专利申请案“根据人类视觉系统反馈度量转换视频数据(Transforming Video Data in Accordance with Human Visual System FeedbackMetrics)”，代理人案号为091730，所述申请案已转让给本发明的受让人且以引用的方式明确地并入本文中；

与本专利申请案同时申请的美国专利申请案“根据无线显示协议准备视频数据(Preparing Video Data in Accordance with a Wireless Display Protocol)”，代理人案号为091674U1，所述申请案已转让给本发明的受让人且以引用的方式明确地并入本文中；及

与本专利申请案同时申请的美国专利申请案“根据传输协议封装三维视频数据(Encapsulating Three-Dimensional Video Data in Accordance with Transport Protocols)”，代理人案号为091674U2，所述申请案已转让给本发明的受让人且以引用的方式明确地并入本文中。

技术领域

本发明涉及视频数据处理，且更确切地说，涉及用于显现给观看者的视频数据的递送。

背景技术

视频显示装置显现视频数据以供用户观看。通常，由显示装置显现的视频数据包含预期用于以给定速率(例如，每秒29.97个帧，如国家电视系统委员会(NTSC)标准中所阐述)重放的一系列连续视频帧。因为此视频数据并不含有任何深度信息，所以所述视频数据表征为二维(2D)视频数据。显现此2D视频数据的显示装置常称作“2D显示器”。

当前，正开发三维(3D)显示装置以显现三维(3D)视频数据。这些所谓的“3D显示器”可能需要额外观看附件(例如，快门式眼镜、偏光式眼镜或双色眼镜(例如，具有一个红色透镜及一个绿色透镜的眼镜))以适当地观看所显现的3D视频数据。需要额外观看附件的3D显示装置常称作“戴眼镜式立体3D显示器”。被称作“裸眼式立体3D显示器”的其它3D显示装置能够显现无需任何额外观看附件便可由观看者观看的3D视频数据。

不管是戴眼镜式立体3D显示器还是裸眼式立体3D显示器，不同制造商的3D显示器通常需要遵照供货商或制造商特定输入文件格式的3D视频数据。举例来说，一种所提议的3D视频数据格式包含2D视频数据加上深度信息，且称作“2D+深度”。2D+深度显示装置仅可显现以2D+深度3D视频数据格式提供的3D视频数据。其它类型的3D显示器可能需要呈多视图2D串流格式的3D视频数据。多视图2D串流格式封装多个2D串流，其中所述2D串流各自通过不同捕获元件(例如，相机)同时(理想地，同步)从相同场景获取。由于这些不同且通常专属的3D视频数据格式，来自一家制造商的给定3D显示装置仅可显现根据此制造商的专属3D视频数据格式而格式化的3D视频数据。

发明内容

大体来说，描述用于实现跨平台三维(3D)视频数据重放的技术。术语“平台”大体上指代特定视频显示装置及/或例如音频/视频接收器的任何支持装置的软件及硬件计算架构，及此架构在视频解码及重放方面的限制及功能性。在各种方面中，所述技术可用实现在不同3D视频重放平台上重放的方式将视频数据转换成3D视频数据，而不管所述视频数据是二维(2D)视频数据还是3D视频数据。就此来说，所述技术可在各种方面中促成跨平台3D视频重放。

在一方面中，一种方法包含：通过视频处理装置确定定义由三维(3D)显示装置支持的能力的一个以上参数，其中所述一个以上参数包括由所述3D显示装置支持的输入格式；根据所确定的输入格式配置视频处理装置以将二维(2D)视频数据转换成3D视频数据以便产生所述3D视频数据；接收2D视频数据；及将2D视频数据转换成3D视频数据以使得3D视频数据遵照所确定的输入格式。

在另一方面中，一种设备包含转换模块及参数发现模块，所述参数发现模块确定定义由三维(3D)显示装置支持的能力的一个以上参数，其中所述一个以上参数包括由3D显示装置支持的输入格式；且根据所确定的输入格式配置所述转换模块以将二维(2D)视频数据转换成3D视频数据以便产生所述3D视频数据。所述设备还包含至少一个接口，其用以接收2D视频数据。所述转换模块将2D视频数据转换成3D视频数据以使得3D视频数据遵照所确定的输入格式。

在另一方面中，一种计算机可读存储媒体包含若干指令，所述指令使处理器：确定定义由三维(3D)显示装置支持的能力的一个以上参数，其中所述一个以上参数包括由3D显示装置支持的输入格式；根据所确定的输入格式配置视频处理装置以将二维(2D)视频数据转换成3D视频数据以便产生3D视频数据；接收2D视频数据；及将2D视频数据转换成3D视频数据以使得3D视频数据遵照所确定的输入格式。

在另一方面中，一种设备包含：用于转换视频数据的装置；及用于确定定义由三维(3D)显示装置支持的能力的一个以上参数的装置，其中所述一个以上参数包括由3D显示装置支持的输入格式。所述设备还包含用于根据所确定的输入格式配置转换模块以将二维(2D)视频数据转换成3D视频数据以便产生3D视频数据的装置，及用于接收2D视频数据的装置。所述用于转换视频数据的装置将2D视频数据转换成3D视频数据以使得3D视频数据遵照所确定的输入格式。

在附图及下文描述中阐述所述技术的一个以上方面的细节。所述技术的其它特征、目标及优点将从所述描述及图式及从权利要求书而显而易见。

附图说明

图1为说明系统的框图，在所述系统中，移动装置实施本发明的技术的各种方面以促成跨平台视频数据重放。

图2为更详细地说明图1的移动装置的框图。

图3为更详细地说明图2的移动装置的转换模块及离线处理模块的框图。

图4A及4B为说明装置在实施本发明中所描述的技术的各种方面时的实例操作的流程图。

图5为说明实施本发明中所描述的技术的各种方面的实例装置的框图。

图6为说明移动装置在执行本发明中所描述的技术的各种方面时的实例操作的流程图。

图7为说明三维(3D)视频内容的框图，所述三维(3D)视频内容已根据本发明中所描述的技术的各种方面而格式化。

图8A至8C为说明实例区段的框图，在所述实例区段中，已根据本发明中所描述的技术的各种方面而嵌入元数据。

图9为说明无线显示器(WD)主机单元在执行本发明中所描述的技术的格式化方面时的实例操作的流程图。

图10A至10E为说明各种系统的框图，所述系统实施本发明中所描述的技术的一个以上方面以促成跨平台视频重放。

具体实施方式

本发明是针对促成跨平台三维(3D)视频重放的技术。术语“平台”大体上指代特定视频显示装置及/或例如音频/视频接收器的任何支持装置的软件及硬件计算架构，及此架构在视频解码及重放方面的限制及功能性。二维(2D)显示装置通常提供用以接收、解码并显现根据动画专家组(MPEG)标准第二部分(通常称为“MPEG-2”)格式化的视频数据的平台。能够显现2D视频数据与三维(3D)视频数据两者的其它混合显示装置可提供能够接收、解码并显现根据MPEG-2标准及特定3D视频数据格式(例如，专属制造商特定格式)格式化的视频数据的混合平台。专属格式的实例包括2D+深度格式(其可称作“2D+z”格式，其中“z”代表深度)、2D+深度、遮蔽及全局效果(其中透明度为特定类型的全局效果)及多视图2D串流格式。仅3D显示装置通常提供用以接收、解码并显现根据制造商特定3D格式中的一者格式化的3D视频数据的平台。

所述技术通过实现在若干不同3D视频平台上进行3D视频重放而促成跨平台3D视频重放。当前，没有哪个制造商特定的、专属的或甚至开放源码或其它“自由”3D视频格式得以标准化或得到产业范围的接受。实情为，与这些各种格式中的每一者相关联的制造商正试图在市场中促成此标准化。此外，由于不同格式之间的竞争，这些3D视频格式均不支持跨平台3D视频重放。跨平台3D视频重放大体上指代一个平台重放经格式化以用于不同平台的3D视频数据的能力。因此，以一种格式而格式化的3D视频数据通常无法由提供接收、解码并显现以另一不同格式而格式化的3D视频数据的平台的3D显示装置显示。就此来说，本发明的技术可通过将3D视频数据从一种格式转换成另一格式而促成跨平台3D视频重放。

跨平台3D视频重放还涉及将2D视频数据转换成3D视频数据以用于在3D显示装置上重放。术语“跨平台”因此还可包括2D平台以及3D平台，其中所述技术可包含接收2D视频数据且将此2D视频数据转换成根据由特定3D显示装置或混合2D/3D显示装置支持的3D视频数据格式而格式化的3D视频数据。混合2D/3D显示装置包含能够进行2D视频解码及重放与3D视频解码及重放两者的显示装置。

所述技术可在若干方面中促成跨平台3D视频重放。在一个方面中，所述技术可促进视频显示器询问以根据询问确定由视频显示装置支持的3D视频数据格式。可自动地发生此询问或在没有除用以选择用于询问的一个以上3D显示装置的初始用户输入之外的用户输入的情况下发生此询问。在自动地确定3D显示装置的此3D视频数据格式之后，所述技术可涉及根据所述自动确定的3D视频数据格式自动地(例如，在没有任何用户输入的情况下)配置将2D视频数据变换成3D视频数据的一个以上模块，以便产生3D视频数据。所述经配置的模块接着接收2D视频数据且将此2D视频数据转换或以其它方式变换成遵照显示装置的自动确定的输入格式的3D视频数据。此3D视频数据被发送到3D显示装置，3D显示装置进行解码并显现此3D视频数据以供用户观看。

在另一方面中，所述技术可通过基于所监视的参数而重新配置将视频数据转换成3D视频数据的模块中的一者以上来促成跨平台3D视频重放，所述所监视的参数反映在通过特定3D显示装置重放3D视频数据期间的3D视频数据的3D可视化的品质。可在视频数据的转换期间动态地发生此重新配置。所述模块的重新配置改进3D视频数据的产生，以动态地改良由3D显示装置产生的3D可视化的品质。所述模块的重新配置还可用于降低可接受的3D视频品质的处理复杂性的目的。可通过根据重新配置参数停用所述模块中的一些模块的执行或选择较简单的过程执行相同功能性来降低处理复杂性。较简单的过程可诱发降低的3D视频品质，所述降低的3D视频品质根据用户定义的准则仍应被视为可接受的。降低处理复杂性可降低电力消耗或可加速执行所述模块的功能性。值得注意的是，可近实时地发生或在将3D视频数据串流到3D显示装置的同时发生对参数的监视与对用以将视频数据(2D视频数据或3D视频数据)转换成经格式化以用于特定3D显示装置的3D视频数据的模块的重新配置。

在另一方面中，所述技术可促成提供无线接口的特定类别的3D显示装置进行跨平台3D视频重放。实施所述技术的此方面的装置可包含：用以存储视频数据的第一模块；及确定便携型装置外部的显示装置的一个以上显示参数的无线显示器主机模块。这些显示参数可包含显示装置的显示分辨率、由显示装置支持的文件格式、由显示装置支持的视频数据编码器/解码器技术(所谓的“视频编码解码器”)、由显示装置支持的音频编码解码器、显示装置是否支持3D视频数据重放，及关于显示装置的能力或额外方面的其它参数。实施所述技术的此方面的装置还可包括：第三模块，其基于所确定的显示参数而准备视频数据以产生用于在外部显示装置上重放的视频数据；及无线模块，其将3D视频数据无线地发射到外部显示装置。

值得注意的是，可由便携型装置实施所述技术的各种方面，所述便携型装置包括无线蜂窝式手持机(其常称作蜂窝式或移动电话)。可实施所述技术的各种方面的其它便携型装置包括所谓的“智能电话”、极易便携型计算装置(称作“上网本”)、膝上型计算机、便携型媒体重放器(PMP)，及个人数字助理(PDA)。还可由例如以下各者的大体上非便携型的装置实施所述技术：桌上型计算机、机顶盒(STB)、工作站、视频重放装置(例如，数字视频光盘或DVD重放器)、2D显示装置及3D显示装置。因此，虽然在本发明中关于移动或便携型装置来描述所述技术的各种方面，但可由能够接收视频数据并将视频数据转发到外部显示装置的任何计算装置实施所述技术的各种方面。

图1为说明系统10的框图，在系统10中，移动装置12实施本发明的技术的各种方面以促成跨平台视频数据重放。如图1的实例中所展示，系统10包括源装置14及显示装置16，源装置14与显示装置16两者分别经由无线通信信道13及15与移动装置12通信。源装置14可包括通用多媒体装置，例如个人计算机、工作站、个人数字助理(PDA)、移动电话(包括所谓的“智能电话”)，或包含能够执行软件(且确切地说，多媒体软件)的通用处理器的任何其它类型的装置。源装置14或者可包含专用多媒体装置，例如视频摄录一体机、数字视频光盘(DVD)重放器、电视、机顶盒(STB)、压缩光盘(CD)重放器、数字媒体重放器(例如，所谓的“MP3”重放器或组合MP3/MP4重放器，以及重放其它格式的其它媒体重放器，包括高级音频编码(AAC)、视窗媒体视频(WMV)及波形音频视频(WAV)格式)、数字视频记录器(DVR)、全球定位系统(GPS)装置，或专用于一组一个以上多媒体应用且通常并不实现用户对多媒体软件的加载及执行的控制的任何其它装置。

显示装置16大体上表示能够经由显示器进行视频重放的任何装置。显示装置16可包含电视(TV)显示器，其可取决于显示装置16支持2D视频数据重放、3D视频数据重放还是2D与3D视频数据重放的组合而被称作2D视频显示装置、3D视频显示装置或混合2D/3D视频显示装置。显示装置16或者可包含具有显示器的任何其它装置，例如膝上型计算机、个人媒体重放器(PMP)、桌上型计算机、工作站、PDA，及便携型数字媒体重放器(例如，便携型DVD重放器)。出于说明的目的，假定显示装置16表示与移动装置12无线地通信的无线电视。然而，本发明的技术不应限于无线电视。

源装置14包括存储2D视频内容20及3D视频内容22中的一者以上的存储模块18。存储模块18可包含存储器(易失性或非易失性存储器)，包括随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、闪存、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)，及电可擦除PROM(EEPROM)。存储模块18或者可包含存储装置，例如硬驱动器、光驱、磁带驱动器及磁盘驱动器。在一些例子中，存储模块18可包含一个以上存储器及一个以上存储装置的组合。

2D视频内容20表示根据特定2D视频数据文件格式而格式化的2D视频数据。实例2D视频数据文件格式可包括由动画专家组(MPEG)4第14部分定义的MP4文件格式。MP4文件格式为通常用以存储数字音频及数字视频串流的容器文件格式。其它容器文件格式包含MP4文件格式的简化版本(称作3GP)、高级系统格式(ASF)、高级视频交错(AVI)文件格式、DivX媒体格式(DMF)、增强型视频对象(EVO)文件格式，及快闪视频文件格式。在此方面或其它方面中，文件格式还可指代关于特定传输及/或应用层协议(例如，实时传输协议(RTP)及串流控制发射协议(SCTP))而使用的文件格式。

3D视频内容22表示根据特定3D视频数据文件格式而格式化的经编码的3D视频数据。示范性3D视频数据格式包含2D+深度(其通常称作“2D+z”格式)、2D+深度、遮蔽及全局效果或多视图2D串流文件格式。就此来说，视频数据文件格式大体上指代封装视频数据的标准方式(不管视频数据是否经编码)。因此，视频数据文件格式可定义大体上封装视频数据或其部分以促进视频数据的存储及/或发射的方式。可使用例如以下各者的各种编码解码器来编码视频数据：MPEG-2或任何其它编码解码器，包括国际电信联盟标准化部门(ITU-T)H.264/MPEG-4第10部分高级视频编码(AVC)标准(在下文中称作“H.264/MPEG-4AVC”标准)中所定义的编码解码器。在一些例子中，还可使用称作H.265(或，根据其名称，称作下一代视频编码(NGVC))的编码解码器来编码视频数据，所述编码解码器是由ITU-T视频编码专家组(VCEG)开发。在本发明中使用术语视频内容来指代根据特定视频数据文件格式封装的经编码的视频数据。

虽然为了便于说明而在图1中未展示，但源装置14可包括额外模块，例如用于捕获2D视频内容20及3D视频内容22的视频捕获模块。或者，源装置14可充当用于存储内容20、22的档案库或储存库。在一些例子中，源装置14可经由源装置14内所包括的接口24而无线地接收内容20、22。也就是说，源装置14包括用以与外部装置无线地通信的接口24。在一些例子中，这些外部装置可经由接口24与源装置14介接以将内容20、22存储到存储模块18。

出于说明性目的，显示装置16(如上文所注明，其可表示无线电视显示器)包括接口26、文件格式模块27、视频解码器28及显示器30。接口26(类似于接口24)表示显示装置16外部的装置可用以与显示装置16通信的接口。在此实例中，假定接口24及26中的每一者表示无线接口。文件格式模块27表示实施上文所描述的文件格式中的一者以上的硬件或硬件与软件模块的组合。通常，文件格式模块27执行解封装以移除封装经编码的视频数据的文件格式标头且借此输出经编码的视频数据。

视频解码器28可表示实施用于解码经编码的视频数据的一个以上视频编码解码器的硬件或组合硬件与软件模块。值得注意的是，使用术语“编码解码器”，而不管视频解码器28是否实施给定编码解码器的编码(即，压缩)与解码(即，解压缩)方面两者。因此，可将视频解码器28解释为通过仅实施编码解码器的解压缩方面而实施此编码解码器。就此来说，视频解码器28可实施编码解码器，而不管视频解码器28是实施编码解码器的压缩与解压缩两个方面还是仅实施编码解码器的解压缩方面。

虽然在图1的实例中未展示，但显示装置16还可包括表示实施一个以上音频编码解码器的硬件或硬件与软件的组合的其它模块。在一些例子中，视频模块与音频模块可组合于同一模块中，所述同一模块通常称作音频/视频(A/V)解码器。显示器30可包含任何类型的显示器，包括有机发光二极管(OLED)显示器、发光二极管(LED)显示器、等离子显示器，及阴极射线管(CRT)显示器。

在图1的实例中，移动装置12还包括一个以上接口32，其大体上类似于相应源装置14及显示装置16的接口24及26。移动装置12还包括实施本发明中所描述的技术的一个以上方面的控制单元34。控制单元34可包含一个以上处理器(图1中未展示)，所述一个以上处理器执行存储到例如以下各者的计算机可读存储媒体(在图1中同样未展示)的软件指令(例如，用以定义软件或计算机程序的软件指令)：存储装置(例如，磁盘驱动器或光驱)或存储器(例如，闪存、随机存取存储器，或RAM)，或存储指令(例如，呈计算机程序或其它可执行码的形式)以使可编程处理器执行本发明中所描述的技术的任何其它类型的易失性或非易失性存储器。或者，控制单元34可包含专用硬件，例如一个以上集成电路、一个以上专用集成电路(ASIC)、一个以上专用特殊处理器(ASSP)、一个以上现场可编程门阵列(FPGA)，或用于执行本发明中所描述的技术的专用硬件的上述实例的任何组合。

控制单元34包括转换模块36、参数发现模块38及人类视觉系统(HVS)反馈模块40(“HVS反馈模块40”)。根据本发明中所描述的技术的各种方面，转换模块36表示将2D视频内容20与3D视频内容22中的一者或两者转换成可为显示装置16接受或与显示装置16兼容的视频数据的一个以上可配置硬件模块或一个以上硬件与软件可配置模块的组合。当所得的经转换的视频数据是根据由视频解码器28支持的视频编码解码器来编码且根据由文件格式模块27支持的文件格式来格式化时，视频数据可与显示装置16“兼容”。

根据本发明中所描述的技术的一个以上方面，参数发现模块38表示与显示装置16介接以发现显示装置16的一个以上参数42(包括由显示装置16支持的一个以上文件格式)的一个以上硬件模块，所述一个以上硬件模块中的一些模块可执行软件。这些格式通常包含由显示装置16的文件格式模块27支持的一个以上文件格式。通常，格式42暗示由视频解码器28支持的一个以上类型的编码解码器且因此参数发现模块38还可发现由视频解码器28支持的特定编码解码器。

除文件格式之外，参数42可包括所支持的分辨率、当前分辨率、所支持的对比度、当前对比度、显示器或屏幕大小、由显示装置16支持的音频及视频编码解码器、接口26的列表、当前清晰度、所支持的清晰度、所支持的色温、当前色温、所支持的亮度、当前亮度、所支持的显示格式、当前显示格式、所支持的色彩设定、当前色彩设定、所支持的输入格式、显示器类型、显示器制造商、所支持的深度范围、当前深度范围、会聚平面的所支持的位置、会聚平面的当前位置、所支持的背景对象平滑度、当前背景对象平滑度、所支持的目距配置、当前目距配置、所支持的主导眼配置、当前主导眼配置、所支持的视图数目、当前视图数目、所支持的观看距离、当前观看距离、所支持的观看角度、当前观看角度、3D视频内容在屏幕内的所支持的显示位置、及3D视频内容在屏幕内的当前位置，及与显示装置16及其能力有关的任何其它参数。

在任何情况下，参数发现模块38均发现格式，所述格式可包括文件格式与编码格式或技术(例如，所支持的编码解码器)两者。举例来说，发现称作2D+深度的3D文件格式暗示：视频解码器28支持3D视频编码解码器，所述3D视频编码解码器能够解码根据(例如)MPEG-2标准编码的2D+深度文件格式的经编码的2D视频数据部分，同时还解码2D+深度文件格式的深度部分以呈现3D视频数据以用于经由显示装置30重放。

HVS反馈模块40表示分析关于由显示装置16进行的3D视频数据的显示的定性及定量度量的一个以上硬件模块或硬件与软件模块的组合。根据本发明中所描述的技术的各种方面，HVS反馈模块40可分析定性及定量度量且接着重新配置转换模块36以改良输入视频数据(例如，2D视频内容20或3D视频内容22)到遵照由参数发现模块38发现的输入格式的视频数据的转换。HVS反馈模块40可与显示装置16介接以检索由显示装置16的视频解码器28输出的视频数据44，HVS反馈模块40接着分析所述视频数据44以确定这些定性及定量度量。HVS反馈模块40可经由转换模块36的此重新配置而促成较好品质的3D视频数据重放。

根据本发明中所描述的技术的一个方面，移动装置12自动地确定3D显示装置的3D输入文件格式且将2D视频内容20转换成3D视频数据以便遵照3D输入文件格式。出于说明的目的，假定显示装置16包含能够显现2D视频内容20与3D视频内容22两者的混合2D/3D无线电视。移动装置12的参数发现模块38可经由无线通信信道15与显示装置16介接以询问文件格式模块27，以便确定由文件格式模块27支持以接收3D视频数据的至少一个输入文件格式。如上文所描述，文件格式可包含一个以上3D文件格式(例如，2D+深度或多视图2D串流格式)，以及由视频解码器28实施以解码3D视频数据的一个以上编码解码器(其可通过所确定的文件格式来暗示)。

值得注意的是，显示装置16可实施第一文件格式，而图1中未展示的其它显示装置可实施不同于第一文件格式的多个不同文件格式。所述多个不同文件格式可防止2D视频数据(但更确切地说，3D视频数据)的跨平台重放，这是因为3D视频文件格式尚未得以标准化或大体上未在产业内采用。通过发现显示文件格式且接着将任何输入或源视频数据转换成所发现的文件格式，可克服当试图在接受第二不同文件格式的显示装置上解码并显现以第一文件格式而格式化的3D视频数据时可能出现的跨平台重放问题。

最初，移动装置12的用户或其它操作者可与由用户接口模块(为便于说明，在图1中未展示)显现的用户接口介接，以选择或以其它方式发现显示装置16。用户接口可显现位于移动装置12的给定范围内的或连接到移动装置12同样连接的网络(例如，802.11x无线网络、超宽带(UWB)网络，及/或Bluetooth^TM网络)的装置的列表。操作者可与用户接口介接以选择一装置(例如，显示装置16)，此后用户接口模块向参数发现模块38通知选定的显示装置16。

虽然可以此方式发生手动选择，但参数发现模块38可自动地与列表中的每一装置介接以发现用于列表上的每一装置的参数(例如，文件形式)。用户接口可接着显现所述列表且接收来自操作者或其它用户的选择所述装置中的一者的输入。换句话说，参数发现模块38可响应于用户选择移动装置12可介接的装置的列表上的给定装置或并不等待此选择而自动地发现参数(包括格式)。在没有任何其它用户输入的情况下发生发现的意义上，发现可为“自动的”。参数发现模块38可与显示装置16介接，(例如)询问文件格式模块27且接收由显示装置16支持的格式作为参数42中的一者，而无需任何用户输入。

参数发现模块38经由接口32中的一个适当接口与显示装置16介接，所述适当接口经由通信信道15耦合到显示装置16的接口26。参数发现模块38可实施用以与文件格式模块27通信的询问协议。举例来说，参数发现模块38可实施显示接口协议或标准(例如，高清晰度多媒体接口(HDMI)协议或无线HDMI(WHDMI)协议)的各种方面，所述显示接口协议或标准提供用以确定各种参数的通信信道，所述各种参数可表征为显示装置16的能力及特性。虽然尚未阐述定义WHDMI的特定标准，但期望HDMI的有线版本，如日期为2006年11月10日的标题为“高清晰度多媒体接口规格1.3A版(High-Definition Multimedia Interface Specification Version 1.3A)”的规格(所述规格特此以全文引用的方式并入本文中)中所阐述，存在用以询问或以其它方式确定显示装置16的参数42(包括所支持的文件格式)的显示数据信道(DDC)。

虽然在本发明中关于HDMI及WHDMI来描述所述技术，但所述技术可根据开放标准(例如，非专属标准)以及并非受具体支持或尚未并入到任何标准中的其它规格(专属的或开放的)来实施。举例来说，参数发现模块38可实施移动显示数字接口(MDDI)，其为在由视频电子器件标准协会支持的开放标准中定义的接口。或者，或结合MDDI，参数发现模块38可实施MDDI的无线扩展(称作无线MDDI(WMDDI))。此外，所述技术可关于移动产业处理器接口(MIPI)来实施。就此来说，所述技术因此不应限于任一标准接口(例如，HDMI)，而是可关于…来实施。

在以此方式发现格式42之后，参数发现模块38接着与转换模块36介接以配置转换模块36，如上文所描述，转换模块36表示将2D视频数据与3D视频数据两者转换成遵照所确定的输入格式42的3D视频数据的一个以上模块。参数发现模块38可确定配置数据且将此配置数据加载到转换模块36中以便配置转换模块36，以将视频内容(例如，2D视频内容20)转换成根据输入格式42而格式化的3D视频内容。

上文所描述但为便于说明而在图1中未展示的用户接口还可显现另一装置列表(其可称作“源列表”)以区分此列表与显示器列表(其可表征为“目的地列表”)，所述“源列表”包括视频内容的源。移动装置12可经由接口32发现这些装置，类似于发现目的地列表的装置。作为一个实例，移动装置12经由接口32及通信信道13发现源装置14，其中用户接口显现包括源装置14的源列表。假定操作者选择源装置14，则控制单元34可指示接口32与源装置14介接以确定存储到源装置14的存储模块18的内容20及22。控制单元34的用户接口可接着显现代表所确定的2D视频内容20及3D视频内容22的文件名、图像或其它数据。操作者可选择2D视频内容20或3D视频内容22以用于显示于选定的目的地装置(例如，显示装置16)上。

假定操作者选择2D视频内容20以用于以3D显示于选定的显示装置16上，则转换模块36开始接收2D视频内容20，所述2D视频内容20可以上文所描述的2D文件格式中的一者来格式化且根据第一编码解码器来编码。经配置的转换模块36可动态地(可能实时地或近实时地)将2D视频内容20(其包含经格式化的文件及经编码的视频数据)转换成以遵照自动确定的输入格式42的文件格式编码并格式化的3D视频数据。转换模块36接着经由通信信道15及接口32、26将以遵照自动确定的输入格式42的文件格式编码并格式化的动态产生的3D视频数据(在图1中展示为3D视频内容48)转发到显示装置16。

显示装置16的文件格式模块27接收3D视频内容48，其包含根据由视频解码器28支持的编码解码器编码且接着根据由文件格式模块27支持的3D文件格式而格式化的3D视频数据。文件格式模块27(由于兼容文件格式化)解封装3D视频内容48以产生经编码的3D视频数据50。视频解码器28接着使用适当编码解码器解码经编码的3D视频数据50以产生3D视频数据44，显示器30显现所述3D视频数据44以供观看者(例如，移动装置12的操作者)消耗。

以此方式，所述技术的此方面通过以下操作来促进跨平台3D视频重放：动态地配置转换模块36以从2D视频内容20产生3D视频数据以使得所述3D视频数据遵照由显示装置16支持的格式42。通常，此2D视频内容20可限于2D平台且虽然可假定混合2D/3D显示装置16可利用混合2D/3D平台的2D部分来显现2D视频内容20，但在没有根据本发明中所描述的技术执行的移动装置12的介入或中间转换能力的情况下，观看者将被拒绝3D观看体验。就此来说，本发明的技术使移动装置12能够通过促进2D视频内容20在3D视频重放平台上重放来促成跨平台视频重放。

当转换模块36转换2D视频内容20以产生呈由显示装置16支持的格式的3D视频数据(在图1中展示为3D视频内容48)且将所转换的3D视频内容48转发到显示装置16时，HVS反馈模块40可使用HVS模型确定一个以上度量，所述一个以上度量关于人类视觉系统反映所产生的3D视频内容48的3D可视化的品质。更确切地说，在一些实例中，HVS反馈模块40与显示装置16介接以确定3D视频数据44且使用所述HVS模型分析3D视频数据44以确定所述一个以上度量。

所述一个以上度量可包含通过3D视频数据44描绘的一个以上对象中的每一者的大小及/或深度度量(其中，在一些例子中，深度度量可依据时间来表达)、通过3D视频数据44描绘的一个以上阴影中的每一者的阴影度量、背景对比度度量、清晰度度量、空间频率度量以及广泛各种其它度量，所述度量中的每一者更详细描述于下文中。另外，HVS反馈模块40可与参数发现模块38介接以接收由参数发现模块38确定的一个以上参数，例如所支持的分辨率、当前分辨率、所支持的对比度、当前对比度、显示器或屏幕大小、文件格式或与显示装置16及其能力有关的任何其它参数。HVS反馈模块40可将转换模块38的重新配置至少部分基于这些参数42。

HVS反馈模块40还可存储定义例如以下各者的一个以上用户偏好的用户偏好数据：所要的清晰度、所要的对比度、所要的显示格式、所要的色温、所要的色彩设定、所要的亮度、所要的最大深度范围、会聚平面的所要的位置、所要的背景对象平滑度、所要的目距配置、所要的主导眼配置、所要的视图数目、所要的观看距离、所要的观看角度、3D视频内容在屏幕内的所要的显示位置及分辨率，或与由显示装置(例如，显示装置16)进行的2D或3D视觉显示有关的任何其它偏好。此外，HVS反馈模块40还可至少部分基于这些用户偏好而重新配置转换模块38。也就是说，HVS反馈模块40可包含HVS模型，所述HVS模型是根据用户偏好数据而配置以便产生用以至少部分基于这些用户偏好而重新配置转换模块38的配置数据。

以此方式，当转换模块36当前正转换2D视频内容20(或，在替代例子中，转换3D视频内容22)时，HVS反馈模块40与转换模块36介接，以至少基于经由3D视频数据44的分析而确定的度量来重新配置转换模块36，以改进3D视频内容48的产生。就此来说，HVS反馈模块40可动态地重新配置转换模块36以自动地改进(且很可能改良)3D视频内容48的所感知的视觉品质。如果此改进除基于从3D视频数据44确定的度量外还基于用户偏好数据，则HVS反馈模块40可针对特定用户或逐个用户地自动地重新配置转换模块36以改进3D视频内容48的所感知的品质。因此，所述技术可不仅促进跨平台视频重放，而且促成跨平台视频重放所需的任何转换的动态改进，以潜在地逐个用户地改良观看体验。

在一些例子中，移动装置12经由无线通信媒体与显示装置16介接。在给定了显示装置16表示混合2D/3D无线显示装置的上述假定的情况下，移动装置12与显示装置16无线地介接。当与显示装置16无线地介接时，参数发现模块38可表征为确定显示装置16的一个以上显示参数42的无线显示器(WD)主机。参数发现模块38接着以一方式配置转换模块36以使得转换模块36基于显示参数而准确视频数据以便产生3D视频内容48。

此准确可涉及根据一传输协议格式化(或更具体地说，封装)3D视频数据。所述传输协议定义视频数据区段、音频数据区段及深度数据区段中的每一者在多个包中的一不同包中的封装。在一些例子中，可随后将视频、音频及深度数据存储于单一包内。传输协议模块将用于增强3D视频内容的重放的元数据添加于所述多个包中的一者的标头中的任选的数据字段内。此元数据可提供促进在具有特定能力的装置上重放的提示或其它指示。元数据还可定义用于产生或以其它方式转换3D视频数据以实现在具有特定能力或参数的不同2D或3D显示装置上重放的提示或规格。

执行此准备的传输协议单元可包含实时传输协议(RTP)单元，实时传输协议(RTP)单元包含硬件或硬件与软件的组合，为应用层(且也称为“层7”或“L7”)协议单元。术语“层”指代开放系统互连参考模型(“OSI模型”)内的层。通常，将传输协议视为属于OSI模型的传输层(其也称作“层4”或“L4”)。RTP依赖于称作通用数据报协议(UDP)的传输层协议来使用应用层功能性提供增强的传输协议。在此意义上，虽然事实为RTP驻留于应用层而非传输层，但可将RTP视为传输协议。术语“传输协议”因此不应限于传输层协议，而是可包括OSI模型中提供传输层功能性的任何层的任何协议。

在以上文所描述的方式准备3D视频内容48之后，转换模块36将内容转发到接口32中的一无线接口，所述无线接口将包发射到显示装置16。显示装置16接收包，将所述包解格式化以解封装经编码的音频、经编码的视频及深度数据以及元数据，根据元数据解码经编码的音频及经编码的视频数据以产生音频及增强的视频数据，且经由音频重放模块(图1中未展示)及显示器30显现音频及增强的视频数据以供观看者消耗。视频数据得以“增强”，这是因为：元数据可改良得益于元数据而解码的所得视频数据的解码及重放。

就此来说，所述技术的各种方面促成内聚跨平台视频重放系统。在一个方面中，以上文所描述的方式发现文件格式且使用所述文件格式来配置转换模块36以改良跨平台的重放。在另一方面中，所述技术经由使用HVS模型所确定的动态反馈来促进重放的品质，以便在转换期间改进3D视频重放的品质。在又一方面中，自动地确定参数且使用所述参数来准备供3D显示装置重放的3D视频数据的递送。此准备可涉及将元数据嵌入到用于将3D视频内容无线地发射到显示装置的包中，其中此元数据可定义促进3D视频内容的解码及进一步转换的参数。在一些方面中，可嵌入此元数据以使得其对于并不支持3D视频重放的显示器(例如，仅2D显示装置)来说为显而易见的。

虽然展示为分离式装置，但源装置12及移动装置16可包含并入有源装置12的功能性及移动装置16的功能性的单一装置。在一些例子中，移动装置12可并入有源装置14的功能性。就此来说，所述技术不应限于图1中所展示的实例。

此外，虽然上文关于移动装置12来描述所述技术，但可由能够进行与本发明中所描述的技术一致的视频转换的任何装置实施所述技术。这些装置在本文中大体上可称作“视频处理装置”。此外，就此来说，所述技术不应限于图1中所展示的实例。

图2为更详细地说明图1的移动装置12的实例的框图。在图2的实例中，移动装置12包括多个接口32，例如无线接口32A及有线接口32B。无线接口32A可包含以下接口中的一者以上：无线因特网接口(例如，通过IEEE 802.11x标准套件定义的接口)、Bluetooth^TM无线接口、无线HDMI接口、红外线无线接口，或可用以发生无线通信的任何其它接口。有线接口32B可包括以下接口中的一者以上：通用串行总线(USB)接口、微型USB接口、HDMI接口、复合电缆接口、同轴电缆接口、视频图形阵列接口，或可用以发生有线通信的任何其它接口。

移动装置12还包括视频捕获装置50、本机存储模块52及内部显示器54。视频捕获装置50表示实施用于记录3D视频数据的戴眼镜式立体3D视频相机或用于记录2D视频数据的2D视频相机的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。本机存储模块52表示用于在本机存储数据(包括2D视频数据及3D视频数据，或如果经编码及格式化，则存储经编码及格式化的内容)的硬件或硬件与软件模块的组合。本机存储模块52可包含静态或动态存储器及/或存储装置，例如上文关于控制单元34所列出的存储器及/或存储装置中的任一者。内部显示器54表示显现视频数据及图像数据以供内部显示器54的观看者消耗的硬件或硬件与软件模块的组合。内部显示器54可包含上文关于显示装置16的显示器30所注明的显示器中的任一者。

视频捕获装置50、本机存储模块52及内部显示器54中的每一者耦合到控制单元34，控制单元34已在图2中加以进一步详细说明。在图2的实例中，控制单元34包含转换模块36、参数发现模块38及HVS反馈模块40，其与关于图1所展示的模块相同。然而，这些模块36至40在图2的实例中已进一步被详细展示为包括若干子模块及数据。举例来说，转换模块36包括预处理模块56、2D至3D处理模块58、后处理模块60、呈现模块62及显示格式模块64。

虽然关于图3更详细描了述这些模块中的每一者，但简而言之，预处理模块56表示执行预处理以确定用于执行从一个平台到另一平台的视频数据的变换的信息的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。2D至3D处理模块58表示用于(如名称间接表明)基于由预处理模块56确定的信息执行2D视频数据至3D视频数据的变换的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件，其中此信息可称作“预处理信息”。后处理模块60表示修改或以其它方式调整所产生的3D视频数据(例如，深度图)以改进3D视频重放的品质的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。呈现模块62表示将3D场景模型化、产生额外视图且以其它方式进一步改进3D视频重放的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。显示格式模块64表示根据给定文件格式将所产生且随后改进的3D视频数据格式化的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。

作为另一实例，HVS反馈模块40可包括定性评估模块66及定量评估模块68。定性评估模块66表示对由移动装置12外部的显示装置(例如，外部显示装置16的视频解码器28)解码的3D视频数据44执行定性分析以确定度量70中的一者以上的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件，所述度量70关于人类视觉系统部分地定义3D视频数据44的3D可视化的品质的所感知的品质。定量评估模块68对由转换模块36的各种子模块(例如，后处理模块60、呈现模块62及显示格式模块64)产生的3D视频数据执行定量分析。此分析可导致确定度量70中的额外度量。这些度量70可接着形成用于后续修改或重新配置形成转换模块36的模块56至64中的一者以上以改进由转换模块36产生的3D视频内容48的基础。此改进可依据定性度量70与定量度量70两者引起3D视频数据44的改良的重放。

控制单元34还包括先前关于图1的实例未展示的两个额外模块：离线处理模块72及用户接口模块74。离线处理模块72表示大体上关于属性(例如，照明类型及照明方向、对象反射率、纹理效果及氛围效果)执行图像(或视频帧)的描述符的统计分析及模型化的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。这些描述符可包含遵照定义用于多媒体内容描述符的标准的MPEG-7标准(有时称作多媒体内容描述接口)的描述符。在任何情况下，描述符大体上均可表示定义通过视频数据描绘的视觉特征的描述的数据。通常，描述符描述这些视觉特征的基本特性，例如与这些特征相关联的形状、色彩、纹理或运动。

用户接口模块74表示显现用户接口的一个以上硬件模块或硬件与软件模块的组合，移动装置12的操作者与所述用户接口交互以输入并接收来自移动装置12的数据。通常，用户接口模块74将图形用户接口(GUI)显现给内部显示器54，内部显示器54可将GUI提供给用户。在一些例子中，内部显示器54可包含所谓的“触控式屏幕”，用户可通过所述“触控式屏幕”与内部显示器54交互以输入定义由GUI显现的各种项目的选择的数据。在此意义上，与内部显示器54在图2的实例中与用户接口模块74分离的示范性描绘相反，可将内部显示器54视为用户接口模块74的一部分。

最初，移动装置12的操作者可与由用户接口模块74显现的用户接口介接，以选择一个以上源，所述一个以上源包括操作者希望经由一个以上目的地显示器显示的视频内容。这些源可包括视频捕获装置50及本机存储模块52，以及经由无线接口32A及有线接口32B(“接口32”)以通信方式耦合到移动装置12的源装置，例如图1的实例中所展示的源装置14，其经由无线通信信道13以通信方式耦合到接口32。目的地显示器可包含内部显示器54及以通信方式耦合到接口32的一个以上目的地显示装置，例如图1的实例中所展示的目的地显示装置16，其经由无线通信信道15以通信方式耦合到接口32。

在选择一个以上源之后，操作者还可与此用户接口或由用户接口模块74显现的另一用户接口介接，以选择由选定源存储的特定内容。举例来说，操作者可选择源装置12作为视频内容的源。响应于此，用户接口模块74可与源装置12介接以确定由源装置14存储于存储模块18内的内容20及22。用户接口模块74可接着更新当前用户接口或显现用以显示可用于由目的地重放的内容20、22的另一用户接口。操作者可与所显现的用户接口交互以选择2D视频内容20及3D视频内容22中的一者以上。出于说明的目的，假定操作者选择2D视频内容20。

在选择2D视频内容20之后，操作者可与当前用户接口、先前用户接口或另一用户接口介接，以选择一个以上目的地。此外，出于说明的目的，假定操作者与此目的地用户接口交互以输入选择显示装置16的数据。在选择显示装置16作为由源装置14存储到存储模块18的选定的2D视频内容20的目的地后，用户接口模块74接收指示所述选择的此数据，且指示适当接口32开始接收选定的2D视频内容20并传送经由由转换模块36进行的2D视频内容20的转换而产生的3D视频内容48。用户接口模块74还可与参数发现模块38介接以向参数发现模块38指示选定的目的地，以使得参数发现模块38可根据本发明中所描述的技术与适当目的地介接以确定参数76。

移动装置12的操作者还可与先前用户接口、当前用户接口或可能的由用户接口模块74显现的不同用户接口介接，以输入指定一个以上用户偏好78(“用户偏好78”)的数据。用户偏好78可包括主导眼偏好、对比度偏好、清晰度偏好、色调偏好、色温偏好，或与视频数据的显示有关的任何其它偏好。用户偏好78还可包括音频偏好(例如，环绕声偏好及音量偏好)，且所述技术不应限于仅视频用户偏好。用户接口模块74将这些用户偏好78转发到HVS反馈模块40，所述HVS反馈模块40可根据本发明中所描述的技术在配置或重新配置转换模块36时使用这些偏好78。

在任何情况下，在选择源装置12及目的地显示装置16及潜在的存储到源装置12的内容20及22中的一者以上之后，参数发现模块38可与选定的目的地(例如，显示装置16)介接以确定参数76。参数发现模块76可(例如)经由遵照所注明的HDMI标准的有线接口32与显示装置16介接。使用HDMI标准的各种方面，参数发现模块76可确定参数76，例如由文件格式模块27支持以用于接收3D视频内容的输入文件格式。其它参数76包括上文所注明的与显示器30的各种能力或参数有关的参数，例如所支持的分辨率、当前分辨率、显示大小、所支持的色温、当前色温，或与显示器30及视频解码有关的任何其它参数(包括由视频解码器28支持的编码解码器)。

如下文更详细描述，参数发现模块38还可表征为无线显示器(WD)主机，其代管用以无线地发现这些参数的会话。通常，当实施这些无线显示器主机技术时，参数发现模块38实施称作“无线HDMI”或“WHDMI”的形式的HDMI。

在发现参数76之后，参数发现模块38可与转换模块36的显示格式模块64介接以配置显示格式模块64，以便根据由选定的目的地显示装置16的文件格式模块27支持的文件格式适当地格式化3D视频数据。参数发现模块38可自动地执行参数76(其包括输入文件格式)的发现与显示格式模块64的配置两者。

如上文所注明，术语“自动地”的使用通常指示执行表示为自动地发生的那些动作无需操作者介入。然而，此术语的使用并不意味着间接表明：起始所注明的自动操作可能不需要操作者或用户输入。为了说明，考虑操作者与各种用户接口交互以选择源、内容及装置的上述实例。与用户接口的交互并不减损确定参数76及显示格式模块64的自动性。因为在上述实例中不需要用户提供指定参数发现模块38确定这些参数76且接着配置显示格式模块64的任何输入或数据，所以操作者可能未意识到这些自动操作。就此来说，从操作者的观点来说，因为操作者未主动地指示执行这些操作，所以可将自动操作解释为显而易见地发生。

参数发现模块38可经由应用程序编程接口(API)调用来配置显示格式模块64，参数发现模块38可通过所述应用程序编程接口(API)调用来指定显示装置16的所确定的输入文件格式。在接收2D视频内容20之前，HVS反馈模块40还可与预处理模块56、2D至3D处理模块58、后处理模块60、呈现模块62及显示格式模块64介接，以基于用户偏好78而配置这些模块56至64。举例来说，用户偏好78中的一者可定义优选清晰度，HVS反馈模块40可在配置2D至3D处理模块58时利用所述优选清晰度。HVS反馈模块40可利用优选清晰度作为2D至3D处理模块58计算在清晰图像不连续性下的深度值的准确度的指示。在另一实例中，用户偏好78中的一者可定义会聚平面的优选位置或优选深度范围，HVS反馈模块40可在配置呈现模块62时利用会聚平面的所述优选位置或所述优选深度范围。HVS反馈模块40可利用优选会聚平面位置或深度范围来调整模块62的呈现参数。

在任何情况下，参数发现模块38与HVS反馈模块40两者可配置转换模块36的模块56至64中的一者以上。转换模块36一旦经配置便可接收2D视频内容20，2D视频内容20可包含单视图或多视图2D视频数据。单视图2D视频数据可包含来自单一视频捕获装置的单视图截图。多视图2D视频数据可包含来自多个视频捕获装置的多视图截图。通常，多视图2D视频数据实现所述多个视图中的任一者的重放且观看者通常可在重放期间在所述多个视图之间切换，然而，2D显示装置通常并不将所述多个视图中的两者或两者以上彼此同时地显现。

预处理模块56通常接收2D视频内容20。离线处理模块72并不接收2D视频内容，而是以下文关于图3所描述的方式来支持预处理模块56。简而言之，离线处理模块72通常实施如上文所注明的用以执行统计分析及模型化以产生用于供预处理模块56使用的模型的各种算法。

预处理模块56接收2D视频内容20且确定关于形成2D视频内容20的各种图像或帧的全局信息。此全局信息可与2D视频内容20的单一图像或帧或若干图像或帧有关。举例来说，全局信息可定义氛围效果(例如，指示雨、雪、风等的存在的信息)。预处理模块56还可确定2D视频内容的给定图像或帧的局部信息。用以确定所述局部信息的此局部处理可涉及确定与以下各者有关的信息：边缘的位置及强度、边缘的分类、对象的分段、照明属性的检测，及感兴趣的区域的检测。在预处理并确定全局及局部信息之后，预处理模块56将2D视频内容20及全局及局部信息转发到2D至3D处理模块58。

2D至3D处理模块58处理所接收的2D视频内容20以提取深度信息。2D至3D处理模块58可基于由预处理模块56确定的全局及局部信息而提取深度信息。举例来说，2D至3D处理模块58可从几何线性信息(例如，通过预处理模块56所确定的信息而定义的边缘信息)提取深度信息。2D至3D处理模块58可实施若干深度提取算法以(例如)从以下各者提取深度信息或值：几何结构及运动、聚焦/散焦、着色及阴影，及上文所注明的几何线性信息。2D至3D处理模块58可合并经由这些算法中的一者以上所提取的深度以产生深度图。所述深度图可向2D视频内容20的每一图像或帧的每一像素指派一深度值，借此产生3D视频数据，2D至3D处理模块58将所述3D视频数据转发到后处理模块60。

后处理模块60接收由2D至3D处理模块58产生的此3D视频数据且修改所述3D视频数据以改进深度图。举例来说，后处理模块60可修改深度图，以改良所得的经转换的3D视频内容48在经由显示装置16显示时的可视化的品质。此修改可涉及全局地使深度图平滑或选择性地修改对应于深度图的帧中的感兴趣的特定区域的深度信息。在以此方式改进深度图之后，后处理模块60将经改进的3D视频数据转发到呈现模块62。

呈现模块62接收经改进的3D视频数据且针对需要一个以上视图的情形(例如在显示装置16的所确定的输入格式为多视图串流格式时或显示装置16以其它方式支持多个2D+深度(z)视图时的状况)而模型化3D场景。在此视图呈现之后，呈现模块62将潜在的多视图3D视频数据转发到显示格式模块64，显示格式模块64进行根据由显示装置16支持的经配置的输入文件格式而格式化多视图3D视频数据以产生经转换的3D视频内容48。显示格式模块64接着将经转换的3D视频内容48转发到显示装置16以用于显现给观看者。

当以上文所描述的方式转换2D视频内容20时，HVS反馈模块40与显示装置16介接以检索由显示装置16的视频解码器28输出的3D视频数据44。HVS反馈模块40接着执行经解码的3D视频数据44的定性及定量评估。更具体地说，定性评估模块66执行与经解码的3D视频数据44的可视化的品质有关的定性评估，以确定度量70(可称作“定性度量70”)中的一者以上。此可视化品质还可包括给定观看者在观看3D视频数据44时的舒适度(如通过用户偏好78定义)。为了说明，考虑右眼主导观看者在观看3D视频数据44时喜欢用其右眼。在此状况下，定性评估模块66可分析3D视频数据44以确保右眼串流比左眼串流有利。也就是说，如果观看者为右眼主导，则定性评估模块66可在确定给定帧或图像群组的总度量时相对于左眼串流度量更偏重右眼串流度量。

定量评估模块68可执行3D视频数据44的定量分析以确定度量78中的一者以上(其可称作“定量度量78”)。举例来说，定量评估模块68可评估由后处理模块60、呈现模块62及显示格式模块64中的一者以上产生的3D视频数据的一个以上帧中的对象的深度与大小之间的关系。定量度量78可包括对象的深度与大小之间的此关系作为一个度量。其它定量度量78可包括与基于深度图像的呈现有关的度量，例如，过滤功效度量、可见不连续性度量及内插功效度量。定量度量78还可包括适用于深度的归一化的度量。定量度量78因此可包括与以下各者有关的至少一个度量：通过3D视频数据定义的对象的深度与大小之间的关系、3D视频数据的深度不连续性与平均区域色彩不连续性之间的关系、过滤功效度量、内插功效度量、适用于深度的归一化的度量，及与测量沿着时间的深度的不连续性有关的度量。定量评估模块68可进一步测量由模块60至64产生的视频数据的沿着时间的深度的不连续性，且执行大量其它形式的定量分析。

使用定性评估模块66及/或定量评估模块68，HVS反馈模块40可执行广泛阵列的分析。如上文部分注明，此分析可涉及测量及调整由模块56至64中的一者以上产生或从显示装置16接收作为3D视频数据44的3D视频数据的给定帧或图像中的任何对象的深度与大小之间的关系。所述分析还可涉及测量沿着时间的深度的不连续性、阴影或着色效果、背景对比度及空间频率。

基于这些度量，HVS反馈模块40可接着基于度量70而确定配置数据80且与转换模块36的模块56至64中的一者以上介接，以重新配置这些模块56至64以便改进经转换的3D视频内容48的所感知的视觉品质。除基于度量70而确定配置数据80之外，HVS反馈模块40还可基于参数发现模块38可转发到HVS反馈模块40的参数76而确定配置数据80。此外，HVS反馈模块40可确定或以其它方式定制配置数据80以适应用户偏好78。因此可根据广泛各种度量、参数及偏好来确定配置数据80。

作为一个实例，HVS反馈模块80可定制配置数据80以修正缺乏眼追踪功能性的显示装置的聚焦线索(focus cue)。聚焦线索包含针对不同焦距描述跨越给定帧的图像的明确度的数据。在此实例中，参数76可指示显示装置16缺乏眼追踪功能性。在此情形下，为了修正聚焦线索(其可包含HVS用以解译聚焦的在3D视频内容48中的线索)，HVS反馈模块40可确定用于2D至3D处理模块58及/或呈现模块62的配置数据80，以便约束由2D至3D处理模块58执行的深度提取及/或约束由呈现模块62进行的多视图呈现的深度解译。

HVS反馈模块40可基于指示显示装置16的显示器30的大小的参数76而产生此配置数据80，这是因为聚焦可取决于视野及标准观看距离，视野与标准观看距离两者可根据显示器的大小来导出。聚焦还可取决于眼间隔(其通常经定义为左眼与右眼之间的距离)且用户偏好78可存储标准眼间隔偏好。HVS反馈模块80因此可存取用户偏好78与参数76两者以产生配置数据80，以便修正不具有用以提供上述反馈(例如，实际观看距离、实际眼位置，及实际眼间隔)的眼追踪机构的显示装置30中的聚焦误用线索。

如果可经由显示装置16获得眼追踪，则HVS反馈模块40可经由HVS反馈模块40用以接收3D视频内容44的同一接口接收此反馈。此机构可为耦合到显示装置16的外部装置。或者，此眼追踪机构可集成于显示装置16内。名称“眼追踪”在一些实例中可为误称，这是因为所述机构无需追踪眼移动但可更大体上追踪每一用户的位置，在所述状况下，可导出观看距离及眼位置。

在一些例子中，HVS反馈模块40可产生配置数据80，以按不同方式修正戴眼镜式立体显示器及裸眼式立体显示器的聚焦线索。显示装置16是戴眼镜式立体显示装置(需要例如快门式眼镜的额外观看设备来适当地显现3D视频数据的显示装置)还是裸眼式立体显示装置(不需要额外观看设备来适当地显现3D视频数据的显示装置)可由参数发现模块38来确定且作为参数38中的一者来存储。

考虑称作“体积型显示器”的特定类型的裸眼式立体显示器(其同样可经由参数38中的一者来指示)。体积型显示器可能不能够显现用于多个同时视点(其中每一视点用于一不同观看者)的真实明视野。因此，这些体积型显示器在用作裸眼式立体显示器时通常无法正确地显现视图相依照明(例如，遮蔽、单向反射及反射)。HVS反馈模块40可配置转换模块36的各种模块56至64以校正观看位置，以便改良体积型显示器的立体感知。

戴眼镜式立体显示器与裸眼式立体显示器之间的其它差异可保证不同配置且HVS反馈模块40可基于这些参数78而定制配置数据80。举例来说，在裸眼式立体显示器与戴眼镜式立体显示器之间通常存在深度感知与深度性能之间的差异。HVS反馈模块40可基于这些装置能力或参数差异而以不同方式定制配置数据80。

如上文所注明，HVS反馈模块40可基于显示装置18的不同形状因子(且更特定来说，显示器30的大小)而定制配置数据80以约束聚焦线索。内部显示器54通常具有远小于外部显示装置16的显示器30的形状因子的形状因子，且这些不同形状因子可暗示建置及显示立体图像的方式的差异。此外，形状因子可指示观看观众的潜在的大小，其中较小形状因子可间接表明单一观看者，而较大显示器可间接表明多个观看者。HVS反馈模块40可产生配置数据80以便考虑这些不同形状因子。

具体地说，在一个实例中，HVS反馈模块40可充分利用HVS的已知方面来基于形状因子产生配置数据80。在一个方面中，通过人眼的空间及聚焦分辨率来规定最佳立体像素分布。在给定人眼的此已知限制的情况下，HVS反馈模块40基于显示器的类型(戴眼镜式立体或裸眼式立体，包括此两种类型的3D显示技术的不同子类别)及显示器的大小而确定特定空间及聚焦分辨率。HVS反馈模块40可接着产生用于2D至3D处理模块56的配置数据80以修改深度处理。

HVS反馈模块40还可基于关于显示装置16的观看者的特定视轴线或观看角度而改进或潜在地最佳化如通过度量70中的一者指示的空间频率。此视轴线或观看角度可通过3D视觉数据44来提供，或参数发现模块38可与显示装置16介接以发现作为参数76中的一者的此视轴线或观看角度(因为其与集成于显示装置16内的眼或观看者追踪设备有关)。HVS反馈模块40还可利用指定当前显示分辨率的参数76中的一者以上，这是因为此显示分辨率可影响聚焦线索。HVS反馈模块40可接着基于这些参数76而产生配置数据80。

在另一实例中，HVS反馈模块40可产生配置数据80以改进或潜在地最佳化基于深度图像的呈现(DIBR)。HVS反馈模块40可分析3D视频数据44及由后处理模块60、呈现模块62及显示格式模块64产生的3D视频数据以改进DIBR的各种方面。在一个例子中，HVS反馈模块40分析此视频数据44或由模块60至64中的一者以上产生的视频数据，以确保深度维度的适当过滤，以最小化且可能潜在地消除视觉假影。常常，深度过滤改进涉及特定显示技术或能力，所述特定显示技术或能力同样可由参数发现模块38发现且因此经由参数76中的一者以上而知晓。为了说明，考虑由于未经深度过滤的呈现而产生的可见不连续性潜在地在相减式显示器中大得多，这是因为这些显示器可使来自背光的直接照明可见。HVS反馈模块40因此可产生配置数据80以调整深度过滤，以便考虑不同显示能力。

HVS反馈模块40还可基于与用于填充孔的目的(例如，内插，其可在调整2D视频内容20的分辨率以适应当前分辨率时出现)的过滤有关的度量70而产生配置数据80以改进DIBR的各种方面。过滤可包含高斯过滤或基于边缘的过滤。HVS反馈模块40还可基于与特定文件格式(例如，称作P3D的文件格式)有关的度量70而产生配置数据80以改进DIBR，以便将特定像素的深度值逼零(其中预期在给定图像或帧中发生遮蔽)。

同样，关于改进DIBR，HVS反馈模块40可基于与阴影效果及着色有关的度量70而产生配置数据80，以便使用可见相邻像素增加区域中的阴影效果/着色。HVS反馈模块40还可增大边缘以经由高频增强(HFE)改进DIBR，以最小化由于深度过滤而产生的模糊，此倾向于使边缘不连续性平滑。另外，HVS反馈模块40可通过产生配置数据80来改进DIBR，以促进深度图的动态范围再成形，借此，此配置数据80扩大较高深度值且压缩较低深度值。在一些例子中，HVS反馈模块40可基于给定观看者的HVS的感知力或灵敏度(如通过用户偏好78中的一者定义)而调制扩大及压缩的范围。

还可通过HVS反馈模块40产生配置数据80而发生此DIBR改进，所述配置数据80基于与眼偏好或主导有关的用户偏好78中的一者以上而调整DIBR。为了说明，考虑：针对任一视图，观看者可为左眼主导或右眼主导，且观看者可将此主导作为用户偏好78中的一者来指示。值得注意的是，观看者可经历一经由用户接口显现的测试以确定主导或可仅选择所述主导。在任何情况下，HVS反馈模块40可产生配置数据80，其基于与眼主导、灵敏度或感知力差异有关的用户偏好78中的偏好而调整各种视图，以使得视图在沿着视轴线+/-20度或高达50度的范围内精细以达成高达120色彩像素密度(cpd)的优良立体像素分辨率。在适当的情况下，HVS反馈模块40可产生配置数据80以采用不对称品质，以便改良深度感知，其中此不对称品质表示左眼视图的所感知的品质与右眼视图的所感知的品质不对称或不相等。

在又一实例中，HVS反馈模块40可基于与眼灵敏度有关的用户偏好78以及与内容类型、照度级及其类似者有关的度量70中的一者以上而产生配置数据80以将深度归一化。由HVS反馈模块40进行的深度的归一化还可取决于最大深度，所述最大深度是基于视频数据44及与场景改变、内容类型及构成(例如，如果存在处于无限焦距下的对象)有关的度量70来确定。由HVS反馈模块40进行的深度的归一化除取决于与呈现方法有关的定量度量70外还可取决于参数76(例如，显示器类型)。

在另一实例中，HVS反馈模块40可产生配置数据80以改进3D可视化，以便最小化压力(例如，眼疲劳及恶心)。在一些方面中，HVS反馈模块40可产生配置数据80以最佳化3D可视化，以便最小化压力(例如，眼疲劳及恶心)。HVS反馈模块40可约束深度以最小化压力，基于场景中的对象的类型而执行选择性深度提取，对场景中感兴趣的特定对象执行用于特定深度提取的选择性深度呈现，或仅提取高于特定信赖等级的深度值。以此方式，HVS反馈模块40可基于度量70、参数76及用户偏好78而产生配置数据40，且重新配置转换模块36的一个以上模块56至64以便改进(如果不可能改良或甚至最佳化)2D视频内容20至3D视频内容48的转换。

转换模块36的经重新配置的模块56至64可接着继续根据配置数据80将2D视频内容20转换成3D视频内容48。转换模块36可接着在此动态重新配置之后开始将经改进的3D视频内容48转发到显示装置16，此后，显示装置16便可经由显示器30显现此经改进的3D视频内容48以供一个以上观看者消耗。此反馈机构，在此反馈机构中，HVS反馈模块40可在2D视频内容20至3D视频内容48的整个转换期间继续以便持续地改进此视频数据，或在一些方面中，最佳化此视频数据以用于在由操作者选择的特定平台(例如，显示装置16)上重放。就此来说，HVS反馈模块40可实现通透(从观看者的观点来说)的实时或近实时动态反馈，所述通透的实时或近实时动态反馈以定制3D视频内容48以用于在具体选定的显示装置(例如，显示装置16)上重放给特定观看者的方式改进且潜在地改良(如果并不最佳化)3D视频内容48，如通过用户偏好78定义。下文阐述HVS反馈模块40产生配置数据80且根据配置数据80重新配置转换模块36的模块56至64中的各种模块的实例。HVS反馈模块40还可实现通透(从观看者的观点来说)的实时或近实时动态反馈，所述通透的实时或近实时动态反馈可用以重新配置模块56至64，以使得计算复杂性降低同时保留根据用户偏好的可接受的3D视频品质。

图3为更详细地说明图2的移动装置12的转换模块38及离线处理模块72的框图。如图3的实例中所展示，模块56至62中的每一者包含执行2D或3D视频内容到经转换的3D视频内容48的转换的各种方面的额外单元。举例来说，预处理模块56包含至少三个全局处理单元82A至82C，其在图3的实例中展示为氛围效果检测单元82A(“氛围效果检测单元82A”)、场景改变检测单元82B及相机运动检测单元82C。将这些模块视为全局处理单元，这是因为其全局地分析2D视频内容20的整个帧或多个帧(例如)以检测相应氛围效果、场景改变及相机运动。

预处理模块56还包括局部处理单元84A至84C，其每次处理用于单一帧内的相邻像素的给定区域的输入视频数据20或22(此处理被视为区域化或局部处理)，以分别检测感兴趣的区域(ROI)、边缘及对比度及/或照明。在图3的实例中，将这些局部处理单元84A至84C展示为ROI检测单元84A、边缘检测单元84B及对比度/照明检测单元84C(“对比度/照明检测单元84C”)。ROI检测单元84A表示检测ROI(例如，面部或人体)的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。边缘检测单元84B表示定位边缘并将其分类(例如，将边缘分类为限定实际对象的边界、分类为定义阴影边界，或分类为定义着色效果)的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。此分类还可涉及确定边缘的强度。对比度/照明检测单元84C表示检测照明属性的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。

虽然出于便于说明的目的在图3中未展示，但预处理模块56可包括额外全局或局部处理单元。举例来说，预处理模块56可包括另一局部处理单元，其基于给定图像或帧的色度分量、所述图像或帧的色彩分量或所述图像或帧的色度分量与色彩分量两者而执行对象的分段。本发明中所阐述的技术因此不应限于图3中所展示的实例，而可包括额外全局及局部处理单元。可将由单元82A至82C及84A至84C提取的各种信息转发到2D至3D处理以促进深度提取。

2D至3D处理模块58包括用以执行多帧深度提取技术与单帧深度提取技术两者的若干单元。多帧深度提取单元包括相机模型化单元86A及移动对象模型化单元86B。相机模型化单元86A表示将几何结构及运动模型化(例如，将捕获几何结构及运动的相机模型化)以提取深度值的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。移动对象模型化单元86B表示将独立移动对象的背景分段以提取深度值的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。

单帧提取单元包括透镜模型化单元88A、遮蔽模型化单元88B、照明模型化单元88C及几何模型化单元88D。透镜模型化单元88A表示基于在给定帧或图像中检测到的聚焦及散焦线索而提取深度值的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。遮蔽模型化单元88B表示将给定帧或图像中的各种对象之间的遮蔽模型化或以其它方式检测给定帧或图像中的各种对象之间的遮蔽且基于这些遮蔽提取深度值的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。照明模型化单元88C表示基于所检测的阴影及着色效果而提取单一帧或图像的深度值的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。几何模型化单元88D表示基于单一帧或图像内的几何线性透视图的模型化而提取所述单一帧或图像的深度值的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。

如上文所注明，这些单元86A至86B及88A至88D中的许多单元依赖于由预处理模块56的单元82A至82C及84A至84C提取的信息。举例来说，照明模型化单元88C可将深度的提取基于由对比度/照明检测单元84C及边缘检测单元84B确定的对比度/照明信息。作为另一实例，遮蔽模型化单元88B可使用由边缘检测单元84B检测的边缘信息来将遮蔽模型化。作为又一实例，透镜模型化单元88A可将深度提取基于由边缘检测单元84B确定的边缘信息。作为另一实例，几何模型化单元88D可基于由边缘检测单元84B确定的边缘信息而提取深度值。相机模型化单元86A及移动对象模型化单元86B可基于由氛围效果检测单元82A、场景改变检测单元82B及相机运动检测单元82C确定的信息而提取深度值。以此方式，2D至3D处理模块58可从2D视频内容20与3D视频内容22两者提取深度值。

值得注意的是，针对多视图串流，转换模块36可包括多个2D至3D处理模块(例如，可调用多个2D至3D处理模块)以处理同时从多个捕获系统获取或捕获的不同串流的每一帧。甚至针对单视图串流，转换模块36还可包含借以处理两个或两个以上连续帧或图像的多个2D至3D处理模块。在此单视图串流例子中，所述多个2D至3D处理模块中的每一者将提取特征点及用于这些点的描述符。这些描述符将接着用以设定不同帧中的特征点之间的对应性，其中对应点的位置将与由相机模型化单元86A实施的投影几何相机模型一起使用以提取深度值。

关于其中已通过不同相机单元(每一相机位于一不同空间点处，具有相同或不同的相机参数)同时获取每一视图的多视图串流，2D至3D处理单元58可包括类似于透镜模型化单元88A的多个相机模型化单元。这些透镜模型化单元88A中的每一者处理一不同多视图的帧，其中这些帧中的每一者是同时捕获的。针对单视图串流，2D至3D处理单元58可调用相机模型化单元88A以每次处理所述单视图串流的单一图像或帧。

在使用多帧处理单元86A至86B及单帧处理单元88A至88D中的一者以上确定深度值之后，2D至3D处理模块58可合并来自各种多帧及单帧处理单元86A至86B及88A至88D的深度值或以其它方式整合这些深度值，以针对给定视图串流的每一帧(或，在多视图串流的状况下，针对所述视图串流中的每一者)建立复合深度图。所述深度图向给定帧或图像的每一像素指派一深度值。关于2D+深度文件格式，作为一个实例，将每一帧的深度图表示为灰阶图像，其中所述灰阶图像的每一8位像素值定义帧中的对应像素的深度值。

HVS反馈模块40可产生配置数据80以配置2D至3D处理模块，以便约束由多帧及单帧深度提取处理单元86A至86B及88A至88D中的一者以上进行的深度提取。作为一个实例，HVS反馈模块40可产生配置数据80以配置相机模型化单元86A，以使得用以将相机系统模型化的线性方程式体系通过使用来自其它单元(例如，单元86B及88A至88D)的结果而消除歧义且加速，以约束一组有效对应点。

HVS反馈模块40还可产生配置数据80以影响由多帧及单帧处理单元86A至86B及88A至88D产生的深度图的合并。举例来说，2D至3D处理模块58可使用加权平均合并函数来合并这些深度图，所述加权平均合并函数向所确定或所提取的深度图中的每一者指派一不同权重。HVS反馈模块40可产生配置数据80以修改或配置这些权重以调整所得复合深度图。此调整可改良经转换的3D视频内容48的可视化的品质或以其它方式降低与观看经转换的3D视频内容48相关联的压力。

在以此方式处理2D视频内容20之后，2D至3D处理模块58将2D视频内容20及所产生的一个以上(如在多视图串流的状况下)复合深度图转发到后处理模块60。后处理模块60包括深度感知单元90，其修改所得一个以上深度图以改进经转换的3D视频内容48的可视化的品质。在一些例子中，深度感知单元90修改所得一个以上深度图以改良经转换的3D视频内容48的可视化的品质。深度感知单元90可在代表转换模块36的模块56至64的管线中引入一单元，借此HVS反馈模块40可进行调解以改进深度图。为了说明，深度感知单元90可表示HVS反馈模块40可与之交互以加载配置数据80以使得HVS反馈模块40可在管线中进行调解以执行深度图的后处理的接口。

在一个实例中，HVS反馈模块40可产生用于深度感知单元90的配置数据80，以便配置深度感知单元90以执行以下操作：全局地使深度图跨越多个帧或整个3D视频数据而平滑，及/或选择性地修改由ROI检测单元84A识别的感兴趣的特定区域的深度信息。在另一实例中，HVS反馈模块40可基于配置深度感知单元90以执行以下操作的参数76而产生配置数据80：修改及约束深度值的范围，以使得这些值经定制以用于特定显示器(例如，显示装置16)。在另一实例中，HVS反馈模块40可基于配置深度感知单元90以执行以下操作的度量70而产生配置数据80：动态地修改深度图以促进经转换的3D视频数据的定量改良。

在改进所述一个以上深度图之后，后处理模块60将2D视频内容及所述一个以上经改进的深度图转发到呈现模块62。呈现模块62包括3D模型化单元92、照明模型化单元94(“照明模型化单元94”)及内插单元96。3D模型化单元92、照明模型化单元94及内插单元96中的每一者表示将3D场景的各种方面模型化以便实现从2D视频内容20产生一个以上额外视图的一个以上硬件模块，所述一个以上硬件模块中的一些硬件模块可执行软件。

3D模型化单元92可利用来自后处理模块60的深度图来促进3D场景的产生及一个以上额外视图的后续产生。照明模型化单元94可利用由照明模型化单元88C及/或对比度/照明检测单元84C确定的照明信息来促进3D场景的产生及一个以上额外视图的后续产生。内插单元96可利用2D视频数据的像素信息来促进3D场景的产生及一个以上额外视图的后续产生。就此来说，呈现模块62产生额外视图以便实现从单视图2D视频内容20产生呈多视图串流格式的3D视频内容。

虽然为便于说明而未将显示格式模块64展示为包含类似于模块56至62的额外单元，但显示格式模块64可调用各种单元以根据由参数发现模块38确定的输入文件格式98将从呈现模块62接收的3D视频数据格式化。在一个实例中，显示格式模块64调用色彩交错单元，以按不同色彩分量(在需要时，例如，根据互补色(anaglyph)文件格式)交错不同视图。作为另一实例，显示格式模块62调用空间交错单元以按不同像素位置交错不同视图。当产生多个视图时，显示格式模块64可调用在时间上多路复用各种视图以用于帧切换式显示的多视图单元，所述帧切换式显示可通过配置数据80来指示且经由参数76中的一者而获悉。除显示格式要求之外，HVS反馈模块40还可基于配置显示格式模块64以强调、过滤或大体上修改3D视频串流的度量70及/或用户偏好78而产生配置数据80。

离线处理模块72大体上可关于训练集合的各种属性执行一训练集合的各种帧或图像的特定描述符的统计分析及模型化。所述各种属性可包括照明的类型及方向、对象反射率、纹理及氛围效果。离线处理模块72通过建立供预处理模块56的各种单元82A至82C及84A至84C使用的一个以上模型来提供对预处理模块的支持。

离线处理模块72包括机器学习单元100以执行统计分析及模型化。机器学习单元100可定义且模型化解释因着色而产生的跨越边缘的强度的变化的描述符(作为一个实例)或解释由于阴影造成的跨越边缘的强度的变化的描述符(在另一实例中)。在另一实例中，机器学习单元100可定义且模型化解释在特定照明条件下的场景中的对象的反射率属性的描述符。

机器学习单元100使用训练集合(图3中未展示)离线地将每一描述符的统计行为模型化。此训练集合可由一组图像组成，所述组图像是在影响每一描述符的属性的所有潜在变化下获得。由机器学习单元100在使用训练集合经历训练之后建立的模型因此捕获描述符针对给定情况条件(例如，给定照明方向)为特定值的概率。统计行为的模型接着由预处理模块56的单元在线使用。预处理模块56利用这些模型来确定以下情况的最大似然性：针对从预处理模块56当前正处理的一个以上图像或帧获得的给定描述符的特定值，所述场景的条件为特定条件(例如，特定照明方向)。

可将这些模型不仅扩展到照明相关情景，而且扩展到场景中的氛围效果(霾、雨、雪等)或纹理变化。所述描述符也可为局部的(如果其捕获像素的邻域内的信息)或全局的(如果其捕获整个图像的信息)。所述模型可使用马可夫随机场(Markov randomfield)捕获若干描述符之间的关系的统计行为。就此来说，离线处理模块72可通过产生供预处理模块56使用的模型的机器学习单元100来支持预处理模块56。值得注意的是，机器学习单元100可接收新训练集合，所述新训练集合可实现改良的模型化及后续转换。

图4A及4B为说明移动装置(例如，图2的移动装置12)在实施本发明中所描述的技术的各种方面时的实例操作的流程图。首先参看图4A，移动装置12的控制单元34内所包括的用户接口模块74最初可显现用户接口，移动装置12的用户或其它操作者可与所述用户接口交互以输入定义用户偏好78的数据。用户接口模块74接收定义用户偏好78的此数据且将用户偏好78转发到HVS反馈模块40以用于配置或重新配置转换模块36(102)。

用户接口模块74还可显现同一用户接口或另一用户接口，用户可与所述同一用户接口或另一用户接口交互以选择一个以上源装置及一个以上目的地装置。用户接口模块74可接着接收选择一个以上源装置(例如，图1的实例中所展示的源装置14)及一个以上目的地装置(例如，外部显示装置16)的数据(104)。基于这些选择，用户接口模块74可与无线接口32A及有线接口32B中的各种接口介接，以分别与选定的一个以上源装置(例如，源装置14)及选定的一个以上目的地装置(例如，外部显示装置16)建立通信链路或信道13及15。在确保建立这些信道13及15之后，用户接口模块74可接着与参数发现模块38介接以起始关于显示装置16的能力的参数76的发现。

参数发现模块38以上文所描述的方式经由已建立的通信信道15与显示装置16介接以确定参数76(106)。参数发现模块38可将这些参数76转发到HVS反馈模块40，HVS反馈模块40又可在配置或重新配置转换模块36时使用这些参数76。参数76中的一者可包含由外部显示装置16支持的一个以上输入文件格式以接受2D及/或3D视频内容。参数发现模块38可与转换模块36(且，更具体地说，显示格式模块64)介接以根据所确定的输入文件格式配置显示格式模块64，以格式化经转换的3D视频数据48(108)。或者，HVS反馈模块40可与显示格式模块64介接，以按上文关于参数发现模块38所描述的方式配置显示格式模块64。HVS反馈模块40还可与其它模块56至62介接，以最初基于参数76及用户偏好78而配置转换模块36的这些模块56至62，以便根据用户偏好78定制用于由外部显示装置16显现的3D视频内容48的产生。

转换模块36一旦经配置便经由通信信道13与源装置12介接，以从源装置12检索2D及/或3D视频内容20、22(110)。在接收到(例如)2D视频内容20后，转换模块36即刻将2D视频内容20的视频数据变换成3D视频内容48，所述3D视频内容48是根据所确定的输入文件格式而格式化(112)。转换模块36接着将根据所确定的输入文件格式而格式化的3D视频数据作为3D视频内容48输出，移动装置12将3D视频内容48转发到显示装置16(114、116)。

参看图4B，在接收到3D视频内容48的至少一部分之后，显示装置16通过移除输入文件格式化标头来解封装所接收的3D视频内容48以产生经编码的3D视频数据50。显示装置16接着解码经编码的3D视频数据50以产生3D视频数据44，显示装置16经由显示器30向一个以上观看者显现3D视频数据44以供其消耗。当显现此视频数据44时且当转换模块36将2D视频内容20变换成3D视频内容48时，HVS反馈模块40与显示装置16介接以检索视频数据44(118)。

如上文所描述，HVS反馈模块40(且，更具体地说，HVS反馈模块40的定性评估模块66)分析经解码的视频数据44以确定如上文所描述的定性度量70，其中这些定性度量70描述经解码的视频数据44的可视化的品质(119)。HVS反馈模块40还可使用定量评估模块66来确定定量度量70，定量度量70在定量方面描述经解码的视频数据44的品质。基于这些度量70，HVS反馈模块40重新配置转换模块36的模块56至64以改进经解码的视频数据44的可视化的品质(120)。

HVS反馈模块40还可将模块56至64的此重新配置基于度量70、参数76及用户偏好78中的两者或两者以上的组合。举例来说，在给定与用户的优选对比度等级有关的用户偏好78中的一个特定用户偏好的情况下，HVS反馈模块40可鉴于此优选对比度等级来分析度量78(例如，所感知的对比度等级)，且产生改进3D视频内容48的后续产生的配置数据，以使得视频数据44展现接近(如果不等于)优选对比度等级的对比度等级。HVS反馈模块40还可鉴于参数76来分析度量78以便改进3D视频内容48的产生，以使得从后续视频数据44进行的度量78分析关于通过参数78定义的特定显示能力得以改良。在一些例子中，可以上述方式使用所有度量70、参数76及用户偏好78全部三者以产生3D视频内容48的后续产生，所述3D视频内容48是在给定参数76及用户偏好78的情况下关于度量70而改进。

在以上文所描述的方式重新配置转换模块36之后，转换模块36继续将2D视频内容20变换成3D视频内容48(122)。转换模块36接着输出3D视频内容48，所述3D视频内容48包含根据所确定的输入格式而格式化的3D视频数据(124)。移动装置12将3D视频内容48转发到外部显示装置16(126)。上述过程可用可表征为反复过程的此方式继续，以使得针对反复中的每一者，关于定义视频数据44的可视化的所感知的品质的度量70来改进视频内容48(118至126)。

虽然上文关于HVS反馈模块40分析经解码的3D视频数据来描述，但HVS反馈模块40或者可分析经编码的3D视频数据。此外，显示装置16可包括其自身的类似于HVS反馈模块40的HVS反馈模块，其分析经编码的3D视频数据或经解码的3D视频数据。以此方式，显示装置16可自身分析3D视频数据且将通过其自身的HVS反馈模块确定的一个以上度量转发到HVS反馈模块40，所述HVS反馈模块40可使用这些度量来调整视频数据至3D视频数据的转换。所述技术因此不应限于此方面。

图5为说明实施本发明中所描述的技术的各种方面的实例移动装置128的框图。移动装置128可大体上类似于图1的移动装置12。虽然关于特定装置(例如，移动装置128)来描述所述技术，但所述技术可由任何类型的装置实施，包括上文注明为能够实施关于移动装置12所描述的技术的各种方面的那些其它装置。

类似于图2的实例中所展示的移动装置12，移动装置128包括无线接口32A、有线接口32B、视频捕获模块50、本机存储模块52及用户接口模块74。无线接口32A、有线接口32B、视频捕获模块50及本机存储模块52中的每一者可为视频数据及/或内容的“源”(即，提供视频数据及/或内容)，且由于此原因，其可大体上被称作“源”。这些源可提供视频数据130，所述视频数据130可包含2D视频数据或3D视频数据(其可包括2D视频数据+额外深度信息，或2D视频数据+额外深度及遮蔽区信息，或2D视频数据+深度、遮蔽区及全局效果信息)。

移动装置128还包括图像/视频处理单元132、图像/视频编码器单元134、图像/视频缓冲器单元136、显示处理单元138、内部显示器140、无线显示器(WD)主机单元142，及无线显示接口144。图像/视频处理器单元132表示处理视频数据130以产生3D视频数据146的硬件单元或组合硬件与软件单元。图像/视频编码器单元134表示根据由图像/视频编码器单元134支持的一个以上编码解码器中的一者编码视频数据146以产生经编码的视频数据148的硬件单元或硬件单元与软件单元的组合。虽然展示为编码器，但图像/视频编码器单元134还可执行解码。编码器单元134输出存储到图像/视频缓冲器单元136的经编码的视频数据148，所述图像/视频缓冲器单元136可包含存储器或存储装置(例如，上文所描述的存储器与存储装置两者的实例)。

在一些例子中，移动装置128提供借以在本机在内部显示器140上预览3D视频数据146的预览模式，所述内部显示器140可包含发光二极管(LED)显示器、有机LED(OLED)显示器、阴极射线管显示器、等离子显示器、液晶显示器(LCD)或任何其它类型的显示器。在此预览模式中，图像/视频处理单元132可产生预览视频数据150A、150B(“预览视频数据150”)。预览视频数据150A可包含形成3D视频数据146的右眼透视图的右眼视频数据。预览视频数据150B可包含形成3D视频数据146的左眼透视图的左眼视频数据。当视频捕获装置50包含3D视频捕获装置时，此3D视频捕获装置50可产生右眼视频数据150A与左眼视频数据150B两者，图像/视频处理单元132可将右眼视频数据150A与左眼视频数据150B转发到显示处理单元138。

显示处理单元138表示处理经缓冲的视频数据152以根据由外部显示装置中的一者以上(例如，外部显示装置154A至154N中的一者以上(“外部显示装置154”))支持的输入格式而格式化经缓冲的视频数据152的硬件单元或硬件单元与软件单元的组合。显示处理单元138可将此经格式化的经缓冲的视频数据152作为3D视频内容156输出。显示处理单元138可包括借以确定由外部显示装置154中的一者以上支持的输入文件格式的显示格式接口(DFI)，出于便于说明的目的，在图5中未展示所述显示格式接口(DFI)。

显示处理单元138还可接收预览视频数据150中的一者以上且格式化此预览视频数据150以用于由内部显示器140显现。显示处理单元138可将此经格式化的预览视频数据150A、150B作为预览视频内容158A、158B(“预览视频内容158”)输出，内部显示器140可与将3D视频内容156输出至外部显示装置154中的一者以上同时而将预览视频内容158A、158B中的一者或两者显现给移动装置128的用户。

在内部显示器140支持3D视频内容重放的例子中，预览视频数据150可包含显示处理单元138格式化以用于由内部显示器140显示或显现的3D视频数据。在内部显示器140支持3D视频内容重放与2D视频内容重放两者的例子中，图像/视频处理单元132可基于以下各者而确定将预览视频数据150作为2D视频数据还是作为3D视频数据产生：用户偏好、应用类型(例如，2D视频数据通常对于电子邮件/文本来说优选，而计算机图形(CG)通常呈现为3D视频数据)、操作功率模式、可用电池电力，及通常影响此类型的决策的其它偏好、度量及参数。

图像/视频处理单元132、图像/视频编码器单元134及显示处理单元138可包含以下各者中的一者以上：例如执行存储到计算机可读媒体的一个以上指令的通用处理器(其可称作计算机处理单元或CPU)的处理器、数字信号处理器(DSP)、图形处理单元(GPU)，或任何其它类型的处理器。或者，图像/视频处理单元132可包含专用硬件，例如现场可编程门阵列(FPGA)及专用集成电路(ASIC)。在一些例子中，可将专用硬件与一个以上处理器两者组合以提供本发明中关于单元132、134及138所描述的各种操作。

虽然上文描述根据由外部显示装置154支持的输入文件格式而格式化经缓冲的视频数据152以产生3D视频内容156，但显示处理单元138一般仅支持用于有线接口的文件格式，例如HDMI、DVI及其它有线文件格式。确切地说，考虑到迄今为止尚不存在任何正式或标准化的无线文件格式，显示处理单元138可能不支持无线文件格式。然而，WD主机单元142可支持无线显示文件格式且为这些无线显示器提供接口以便确定外部显示装置154中的一者以上是否支持无线文件格式。WD主机单元142因此可表示提供借以确定由外部显示装置154中的一者以上支持的无线显示格式的接口且接着根据所确定的无线显示格式而格式化经缓冲的3D视频数据152的硬件单元或硬件单元与软件单元的组合。因此，WD主机单元142可通过使移动装置128能够根据由一个以上外部显示装置154支持的无线文件格式无线地发射3D视频内容来促进跨平台重放。

WD主机单元142可(例如)实施上文所描述的WHDMI或WMDDI协议以确定关于包含无线显示器的外部显示装置154中的那些显示装置的能力的无线显示参数，包括所支持的无线文件格式。WD主机单元142可接收来自显示处理单元138的经缓冲的3D视频数据152，根据无线输入文件格式中的一个所确定的无线输入文件格式而格式化或重新格式化(在显示处理单元138最初格式化此数据的状况下)经缓冲的3d视频数据152，且将3D视频内容156传回到显示处理单元138。显示处理单元138将此3D视频内容156转发到无线显示接口144，所述无线显示接口144可包含无线接口32B中的一者，但出于说明的目的而展示为分离的。无线显示接口144接着将此3D视频内容156转发到外部显示装置154中的一者以上。

虽然展示为包括于移动装置128内，但WD主机单元142可驻留于移动装置128外部且经由无线接口32A或有线接口32B中的一者与移动装置128介接。当WD主机单元142位于移动装置128外部时，WD主机单元142可包含类似于无线显示接口144的无线显示接口或促进与WD客户端单元(其更详细描述于下文中)的通信的另一类似接口。在一些例子中，WD主机单元142可包含由显示处理单元138执行以便显示处理单元138执行无线文件格式化的软件模块。就显示处理单元138包括上述例子中用以执行WD主机单元142的硬件来说，可将WD主机单元142视为包括硬件单元与软件单元两者。

在一些例子中，WD主机单元142可识别出选定的目的地装置(例如，外部显示装置154)中的两者支持不同的无线文件格式。在此例子中，WD主机单元142产生根据第一确定的无线文件格式而格式化的第一3D视频内容156及根据第二确定的无线文件格式而格式化的第二3D视频内容156。无线显示接口144接着将第一及第二3D视频内容156转发到外部显示装置154中的适当显示装置。因此，虽然在图5的实例中展示为仅发送单一3D视频内容156，但3D视频内容156可包含第一及第二版本或，更大体来说，3D视频内容156的多个版本，其中每一版本是根据一不同的无线文件格式而格式化。

一种无线格式可包含充分利用例如实时传输协议(RTP)的传输协议来将3D视频内容的视频数据区段、音频数据区段及深度数据区段封装于多个包中的一不同包中的格式。此外，所述格式可充分利用此传输协议来封装对应于遮蔽信息及/或全局效果信息的额外信息区段，如下文关于图8的实例所展示。WD主机单元142包括传输单元158，其实施此传输协议以将3D视频内容156的各种区段封装于多个包中的一不同包中。在将各种区段封装到不同包之后，传输单元158将用于增强3D视频内容156的重放的元数据添加于所述多个包中的一者的标头中的任选数据字段内。此元数据可定义促进额外视图的呈现的参数及促成特定显示器上的重放的参数。元数据还可定义用户偏好，例如所要的对比度、清晰度、色温、2D或3D屏幕分辨率，及2D或3D重放格式(加左右黑边(pillared box)、拉伸、原始状态等)。

在根据涉及传输协议的此文件格式而格式化3D视频数据152之后，WD主机单元142可将所得3D视频内容156转发到无线显示接口144，所述无线显示接口144将所述包发射到外部显示装置154中的一者以上。当无线显示接口144将此内容156发射到外部显示装置154中的两者或两者以上时，所述发射可称作3D视频内容156的“WD多播”。在任何情况下，此发射可与经由内部显示器140进行的预览视频数据150的显示同时发生。通常，将预览视频数据150与3D视频内容156的显现同步。或者，可在由外部显示装置154中的一者以上进行的3D视频内容156的显现之前发生预览视频数据150的显现。

图6为说明移动装置(例如，图5的实例中所展示的移动装置128)在执行本发明中所描述的技术的各种方面时的实例操作的流程图。最初，移动装置128的用户或其它操作者可与由用户接口模块74显现的用户接口交互，以输入选择视频内容的一个以上源及支持无线视频内容递送的外部显示装置154(其可称作“外部无线显示装置”)中的一者以上的数据。用户接口模块74因此接收选择所述一个以上源及外部无线显示装置154中的一者以上的数据(162)。用户接口模块74将外部无线显示装置154中的选定的一者以上的所述选择转发到WD主机单元140。

WD主机单元140接着经由无线显示接口(例如，无线显示接口144)与外部无线显示装置154中的所述选定显示装置介接，以确定定义外部无线显示装置154中的所述选定显示装置的一个以上能力的参数(164)。这些参数可类似于由参数发现模块38发现的参数76。一个实例参数可包括由外部无线显示装置154中的所述选定显示装置支持的无线输入文件格式。

同时，图像/视频处理单元132可接收来自选定源32A、32B、50及52中的一者以上的视频数据130(166)。依据源50(其在图5中展示为“视频捕获装置50”)，视频捕获装置50可包含具有两个图像传感器的立体相机，所述两个图像传感器同时捕获同时入射于所述两个传感器上的图像以提供给定图像(或在视频捕获的状况下，图像系列)的两个视点。

视频捕获装置50可以若干方式来以同步方式捕获视频数据。在第一方式中，使用通过缓冲器进行的快速串行捕获或并列捕获中的任一者经由同一存储器总线接收源自所述两个传感器的数据。在串行捕获的状况下，图像/视频处理单元132考虑在深度提取期间的两个不同视图的串行捕获之间的时间偏移。在第二方式中，经由不同存储器总线接收源自所述两个传感器的数据以避免当在所述两个传感器之间共享单一总线时出现复杂化。在第三方式中，源自所述两个传感器的数据通常呈串流格式且写入到待在嵌入式或外部显示器上预览的显示缓冲器。

在此预览模式中，通常可仅预览所述两个2D视点中的一者，或换句话说，可预览来自所述两个传感器中的一者的数据串流，以节省存储器带宽及/或电力。经由用户接口模块74输入的用户偏好可指示是2D还是3D(例如，一个视点或两个视点被发送到显示处理器)。可针对给定视频记录或图像捕获会话实时地或近实时地键入用户输入或可将用户输入指定为一般偏好。用户偏好还可基于给定应用而指示是以2D来显现数据还是以3D来显现数据，以使得(如上文所描述)2D用于文本、电子邮件及网络浏览且3D用于摄录一体机及媒体播放器。图像/视频处理单元132可基于可用电池电力或电源管理设定(在具有或无用户输入/介入的情况下，无用户输入/介入可称作“自动地”发生)而确定是将视频数据130转换成2D视频数据还是3D视频数据。

在3D预览的状况下(其中，内部显示器140以3D来显现预览视频数据150)，显示处理单元138可接收作为两个分离串流(例如，预览视频数据150A及150B)的两个视点的原始(未经压缩)3D或图像数据。显示处理单元138还可接收直接来自传感器的2D视频数据130及来自图像/视频处理单元132、图像/视频编码器单元134或来自3D经编码图像/视频文件的3D深度信息。显示处理单元138还可接收来自3D编码图像/视频文件(例如，存储到本机存储模块52)的经压缩的3D数据，所述经压缩的3D数据可经由有线接口或无线接口32A、32B而串流到外部显示装置154中的一者。在此状况下，如果启用显示器镜射，则内部显示器140可获得来自传感器/信号处理器的未经压缩但经处理的视频串流。任选地，内部显示器140可仅呈现2D图像(例如，预览视频数据150中的一者)。显示处理单元138还可接收来自视频捕获装置50的单一传感器的2D数据，其中图像/视频处理单元132可包含类似于图2中所展示的转换模块36的2D至3D转换模块58的2D至3D处理模块，其将2D数据变换成3D数据。

在任何情况下，图像/视频处理单元132可将所接收的视频数据130转换成3D视频数据或以其它方式改进3D视频数据以产生3D视频数据146及潜在地预览视频数据150(167)。图像/视频处理单元132接着将此数据转发到3D图像/视频编码器，所述3D图像/视频编码器编码3D视频数据146以输出经编码的3D视频数据148。图像/视频缓冲器单元136缓冲或以其它方式存储经编码的3D视频数据148，且显示处理单元138从图像/视频缓冲器单元136检索经缓冲的视频数据152以用于根据输入文件格式进行格式化。显示处理单元138(如上文所注明)还可接收预览视频数据150，且与经缓冲的3D视频数据152的格式化同时地将此视频数据格式化以用于显示于内部显示器140上。

然而，在给定显示处理单元138可能不支持用于将3D视频数据152递送到外部无线显示器154中的所述选定显示器的无线3D文件格式的情况下，显示处理单元138将数据152转发到WD主机单元142。WD主机单元142接着以上文所描述的方式根据所确定的参数准备3D视频数据152(168)。确切地说，WD主机单元142可根据由外部无线显示装置154中的所述选定显示装置中的一者以上支持的无线3D文件格式而格式化3D视频数据152。

WD主机单元142接着将所准备的3D视频数据转发回到显示处理单元138，所述显示处理单元138将此所准备的3D视频数据(其也可称作“3D视频内容156”)转发到无线显示接口144。无线显示接口144与外部无线显示装置154中的所述选定的一者以上介接，以将此所准备的3D视频数据156无线地发射到外部无线显示装置154中的此一者以上(170)。

或者，如上文所注明，WD主机单元142可与无线显示接口144集成，此后显示处理单元138将经缓冲的3D视频数据152转发(不执行任何格式化)到无线显示接口144。在此例子中，WD主机单元142根据由外部无线显示装置154中的所述选定显示装置支持的所确定的无线文件格式而格式化经缓冲的3D视频数据152。无线显示接口144接着将此所准备的3D视频数据156转发到外部无线显示装置154中的选定显示装置。

图7为说明已根据本发明中所描述的技术的各种方面而格式化的3D视频内容(例如，关于图5的实例所展示的3D视频内容156)的框图。确切地说，WD主机单元142的传输单元158已根据RTP而格式化3D视频内容156。传输单元158接收经缓冲的3D视频数据152，所述经缓冲的3D视频数据152包含若干不同部分172A至172N(“部分172”)。这些部分可包含经缓冲的3D视频数据152的一部分，且可对应于数据152的一帧、一切片、一图像群组、一个以上宏块、一个以上块、一个以上像素值或任何其它部分，而不管是经定义的(例如，通过标头或其它标记定义)还是未经定义的。虽然未展示，但缓冲器单元136还可缓冲音频数据，所述音频数据可与经缓冲的视频数据152一起转发。

部分172中的每一者可包含经缓冲的视频数据152的各种区段，包括视频区段174A至174N(“视频区段174”)与深度区段176A至176N(“深度区段176”)两者，以及经缓冲的音频数据的区段178A至178N(“音频区段178”)。传输单元158为这些部分172中的每一者指派一对应时戳180A至180N(“时戳180”)，其在图7的实例中展示为“TS1”至“TS N”。传输单元158接着将区段174、176及178中的每一者与指派给驻留区段174至178中的每一者的部分172中的对应部分的时戳180中的对应时戳封装。

举例来说，传输单元158将时戳180A“TS 1”指派给驻留区段174A至178A的部分172A。传输单元158接着将区段174A、176A及178A中的每一者与时戳180A“TS 1”封装，从而产生图7的实例中所展示的经封装的区段。此封装可符合RTP。传输单元158还可根据RTP将区段174至178中的每一者与其它标头信息封装，以形成含有区段174至178中的不同区段的包，而且，产生上文所描述的元数据并将元数据嵌入于这些包中的每一者的标头中，此情形关于图8更详细描述于下文中。

关于RTP及根据RTP的包的形成的更多信息可见以下意见请求(RFC)中：日期为1998年1月的题为“MPEG1/MPEG2的RTP有效负载格式(RTP Payload Format forMPEG1/MPEG2 Video)”的RFC 2250；日期为1999年12月的题为“RTP有效负载格式规范作者指导(Guidelines for Writers of RTP Payload Format Specification)”的RFC 2736；日期为2000年11月的题为“MPEG-4音频/视频串流的RTP有效负载格式(RTP PayloadFormat for MPEG-4 Audio/Visual Streams)”的RFC 3016；日期为2003年7月的题为“RTP：实时应用的传输协议(RTP：A transport Protocol for Real-Time Applications)”的RFC3550；日期为2003年11月的题为“用于传输MPEG-4基本串流的RTP有效负载格式(RTPPayload Format for Transport of MPEG-4 Elementary Streams)”的RFC 3640；日期为2005年2月的题为“H.264视频的RTP有效负载格式(RTP Payload Format for H.264 Video)”的RFC 3984；及日期为2009年10月的题为“用于具有MPEG环绕多声道音频的基本串流的RTP有效负载格式(RTP Payload Format for Elementary Streams with MPEGSurround Multi-Channel Audio)”的RFC 5691，所述RFC中的每一者特此以全文引用的方式并入本文中。

以此方式充分利用RTP来产生格式化为RTP串流的3D视频内容156可在以下意义上促进向后兼容：仅2D显示装置可接收此3D视频内容156且仅显现视频区段174而不考虑深度区段176。即，此仅2D显示装置可丢弃深度区段176或以其它方式不辨识深度区段176或仅显现作为视频区段174发送的2D视频数据。就此来说，充分利用RTP的扩展性来递送与仅2D显示装置向后兼容的深度区段176的上述文件格式可通过此向后兼容而促成跨平台3D视频重放。

图8A至8C为说明实例区段181A至181C的框图，在所述实例区段181A至181C中，已根据本发明中所描述的技术的各种方面而嵌入元数据。图8A为说明根据本发明中所描述的技术的各种方面存储深度元数据的实例区段181A的框图。区段181A包括有效负载类型字段182A(“有效负载类型182A”)、深度范围字段182B(“深度范围182B”)、深度分辨率字段182C(“深度分辨率182C”)、相机模型参数字段182D(“相机模型参数182D”)、最佳观看参数字段182E(“最佳观看参数182E”)及压缩类型字段182F(“压缩类型182F”)。

有效负载类型字段182A存储被存储到所述区段的数据的类型(其在此实例中指示深度数据)，所述数据也可称作“有效负载”以区别此数据与封装所述有效负载的标头数据。深度范围字段182B存储针对给定3D视频图像或视频的深度平面的宽度及大小的数据。深度平面的大小可与当前图像的大小相同或小于当前图像的大小。相机模型参数字段182D存储与非固有及固有相机模型参数有关的数据。最佳观看参数字段182E存储针对以下各者的数据：通过观看屏幕的大小及观看距离定义的观看角度，以及会聚平面、上文所注明的深度范围、亮度及若干其它有关参数。压缩类型字段182F存储描述用于视频或音频区段的有效负载中的压缩的类型的数据，其可指示JPEG、H.264或专属压缩算法。

图8B为说明根据本发明中所描述的技术的各种方面存储遮蔽元数据的实例区段181B的框图。区段181B包括有效负载类型字段184A(“有效负载类型184A”)、基线字段184B(“基线184B”)、遮蔽分辨率字段184C(“遮蔽分辨率184C”)及压缩类型字段182D(“压缩类型182D”)。有效负载类型字段184A存储被存储到所述区段的数据的类型(其在此实例中指示遮蔽数据)，所述数据也可称作“有效负载”以区别此数据与封装有效负载的标头数据。基线字段184B存储定义关于第一视图(当前图像已从第一视图获取)的位置而移位的水平距离的数据。遮蔽分辨率字段184C存储定义遮蔽平面的宽度及大小的数据，遮蔽平面的大小可与当前图像的大小相同或小于当前图像的大小。压缩类型184D可大体上类似于压缩类型182F。

图8C为说明根据本发明中所描述的技术的各种方面存储全局效果元数据的实例区段181C的框图。区段181C包括有效负载类型字段186(“有效负载类型186”)及多个参数188A至188N(“参数188”)。有效负载类型字段184A存储被存储到所述区段的数据的类型(其在此实例中指示全局效果数据)，所述数据也可称作“有效负载”以区别此数据与封装有效负载的标头数据。参数188存储对应于全局效果(例如，霾、雨、雪及雾)的数据。参数188中的每一者可与不同类型的全局效果有关且指定给定全局效果的类型、密度、位置及重复。参数188可存储此信息，以按类似于在计算机图形中描述这些全局效果的方式的方式来定义全局效果。

图9为说明无线显示器(WD)主机单元(图5的实例中所展示的WD主机单元142)在执行本发明中所描述的技术的格式化方面时的实例操作的流程图。最初，WD主机单元142可接收来自显示处理单元138的经缓冲的3D视频数据152及音频数据(200)。在接收到3D视频数据后，WD主机单元142的传输单元158即刻确定3D视频数据的视频区段及深度区段202，例如图7的实例的视频区段174及深度区段176(202)。同样，传输单元158确定音频数据的音频区段(例如，音频区段180)(204)。

传输单元158接着确定视频数据152及音频数据的部分172中的每一者的时戳180，如上文所描述(206)。传输单元158将部分172中的相同部分的区段174至178与时戳180中的对应时戳封装以形成包，也如上文所描述(208)。WD主机单元142可以上文所描述的方式确定元数据，此后传输单元158将所确定的元数据嵌入于包的标头中(210、212)。具有嵌入的元数据的所得包可类似于图8的实例中所展示的包。在嵌入元数据之后，传输单元158将包转发到无线装置接口144，所述无线装置接口144接着将包转发到外部无线显示装置154中的选定显示装置(214)。

图10A至10E为说明各种系统216A至216E的框图，所述系统216A至216E实施本发明中所描述的技术的一个以上方面以促成跨平台视频重放。更具体地说，图10A为说明系统216A的框图，所述系统216A包括外部WD主机单元218及外部WD客户端单元222，所述外部WD主机单元218与所述外部WD客户端单元222两者实施本发明中所描述的技术的各种方面。外部WD主机单元218可包含与系统216A的移动装置217介接的装置。移动装置217可类似于图5的移动装置128，但移动装置217不包括类似于移动装置128的WD主机单元142的集成式WD主机单元或内部WD主机单元。外部WD主机单元218可包含所谓的“硬件锁”(dongle)，其经由类似于移动装置128的有线接口32B中的一者的有线接口与移动装置217介接。举例来说，外部WD主机单元218可经由通用系统总线(USB)或微型USB有线接口与移动装置217介接。

外部WD客户端单元222同样包含与系统216A的显示平台223介接的装置。类似于外部WD主机单元218，外部WD客户端222可包含所谓的“硬件锁”，其经由有线接口(例如，USB接口、复合音频/视频(A/V)接口、HDMI接口或任何其它有线接口)与显示平台223介接。

显示平台223可表示与系统216A的3D显示装置228介接的装置，例如数字视频光盘(DVD)播放器、音频/视频接收器、Bluray^TM光盘播放器、多媒体播放器、数字视频记录器(DVR)，或提供用于与3D显示装置228介接的平台的任何其它装置。在一些例子中，显示平台223可包含个人计算机(例如，膝上型计算机或桌上型计算机)，或专用于执行2D至3D变换的装置。3D显示装置228可类似于图5的实例中所展示的外部显示装置154。虽然展示为与3D显示装置228分开，但显示平台223可集成到3D显示装置228中。

如上文所注明，迄今为止尚不存在借以将视频数据无线地转发到显示装置的任何标准化的无线显示协议。在给定标准化的无线显示协议的此缺乏的情况下，大多数显示平台(例如，显示平台223)不支持无线视频数据接收或发射。外部WD主机单元218及外部WD客户端单元222的使用可克服此限制。

为了说明，考虑移动装置217可为2D视频数据221的源，外部WD主机单元218可经由移动装置217与外部WD主机单元218之间的有线连接(上文所注明)接收所述2D视频数据221。外部WD主机单元218可与外部WD客户端单元222建立无线链路220且接着经由无线链路220建立会话。此会话可包含RTP会话。当外部WD主机单元218接收到2D视频数据221时，WD主机单元218根据由外部WD客户端单元222支持的无线显示协议格式化2D视频数据221。举例来说，WD主机单元218可通过根据图7的实例中所展示的文件格式而格式化2D视频数据221来准备2D视频数据218，但以下情况除外：2D视频数据221将不包括任何深度区段，且因此所得的经格式化的数据不包括任何深度包，从而使得每一部分仅具有视频及音频区段。

外部WD主机单元218还可与外部WD客户端单元222介接，以确定定义显示平台223及/或3D显示装置228的能力的参数。外部WD主机单元218可与外部WD客户端单元222介接以请求这些参数。响应于此请求，外部WD客户端单元222可经由有线接口与显示平台223介接，以按上文所描述的方式(例如，使用WHDMI)发现显示平台223的能力。当显示平台223使用(例如)HDMI与3D显示装置228介接时，显示平台223还可能已发现3D显示装置228的参数。显示平台223可接着传回描述显示平台223及3D显示装置228中的一者或两者的能力的参数，外部WD客户端单元222将所述参数转发到外部WD主机单元218。外部WD主机单元218可接着基于这些参数而产生元数据且将此元数据嵌入到各种包的标头中，如上文所描述。

在任何情况下，WD主机单元218经由无线链路220将经格式化的2D视频数据221发射到外部WD客户端单元222。在接收到此经格式化的2D视频数据221后，外部WD客户端单元222即刻可解封装各种区段以重新形成2D视频数据221，而且，提取嵌入于包标头中的元数据。外部WD客户端单元22接着将重新形成的2D视频数据221连同元数据一起转发到显示平台223。

如图10A的实例中所展示，显示平台223包括可类似于图2的2D至3D处理模块58及显示格式模块64的2D至3D处理模块224及显示格式模块226。虽然类似，但2D至3D处理模块224及显示格式模块64可具有的较有限的特性在于：2D至3D处理模块224仅可支持特定3D视频数据(例如，与另一视图相对比的深度)的产生，且显示格式模块226仅可支持特定装置特定3D输入文件格式(例如，与多视图串流相对比的2D+Z)。虽然2D至3D处理模块224与显示格式模块226两者具有较有限的特性，但模块224与226两者可配置达特定程度且可利用经转发的元数据来改良从所接收的2D视频数据221产生3D视频内容227。3D显示装置228接收并显现3D视频内容227。

2D至3D处理模块224可包含(作为一个实例)用于基于硬件或基于软件的媒体播放器的外挂程序或其它软件模块。显示格式模块226还可包含(在一个实例中)用于基于硬件或基于软件的媒体播放器的外挂程序或其它软件模块。显示格式模块226可执行显示格式交错，所述显示格式交错可为多视图显示所需。

如上文所描述，2D至3D处理模块224通过提取深度信息来将2D视频数据221变换成3D视频内容227的3D视频数据。此深度提取可涉及识别来自2D视频数据221的一个以上帧的大型及小型特征且将其分段。深度提取还涉及将2D视频数据221分类成区域，例如背景区域、遮蔽区域及前景区域。一旦经分类，深度提取便基于2D视频数据221中的结构及运动而识别3D模型中的移动对象的方位及位置。深度提取的结果为用于2D视频数据221的2D图像(或帧)中的每一像素的深度值，这是作为用于每一帧的N位位图图像来存储。或者，可产生用于每一区域的深度图且在呈现期间在运作中构成场景。

在采用经2D+深度格式化的3D视频内容227作为输入的戴眼镜式立体显示器的状况下，将深度图中的信息及2D视频数据221格式化成2D+z文件格式以输入到3D显示装置228。如果3D显示装置228的显示输入文件格式为多串流文件格式(其中视频的多个串流或视图封装于单一容器中)，则2D至3D处理模块224可基于2D视频帧及相关联的深度图而产生对应于2D视频数据221的一个以上额外辅助视点(secondaryviewpoint)。显示格式模块226接着取决于所需的观看角度、视图的数目及经定义以用于显示或由用户定义的其它参数(例如，作为元数据)而交错原始2D视频数据或2D视频数据221与辅助视图。

图10B为说明系统216B的框图，所述系统216B包括外部WD主机单元218及内部WD客户端单元230，所述外部WD主机单元218与所述内部WD客户端单元230两者实施本发明中所描述的技术的各种方面。系统216B大体上类似于系统216A，但以下情况除外：显示平台223′包括内部WD客户端单元230(而不是如同图10A中的状况，与外部WD客户端装置介接，在图10A中，显示平台223与外部WD客户端单元222介接)。由于此原因，通过紧接于参考数字“223”之后的单引号来表示显示平台223′。内部WD客户端单元230可以大体上类似于外部WD客户端单元222的方式操作，但经由有线接口与显示平台223′介接。实情为，内部WD客户端装置230集成于显示平台223′内且借此避免在外部与显示平台223′介接。

图10C为说明另一系统216C的框图，所述系统216C包括外部WD主机单元218及外部WD客户端单元222，所述外部WD主机单元218与所述外部WD客户端单元222两者实施本发明中所描述的技术的各种方面。系统216C类似于系统216A，但系统216C的显示平台223″包括深度至多视图(Z至MV)处理模块234。为了指示此差异，通过在参考数字“223”之后的双引号来表示显示平台223″。系统216A与216C之间的另一差异在于：移动装置217输出根据2D+z文件格式而格式化的3D视频数据232。

移动装置217可接收来自上文所描述的所述源中的任一者的2D视频数据且非实时或实时或近实时地执行2D至3D处理。或者，移动装置217可接收3D视频内容且将3D视频内容转换成2D+z格式(如MPEG-C第3部分中所指定)。移动装置217可使用现有文件格式(例如，MP4)封装此3D视频数据232，现有文件格式已加以修改以每一帧载运一额外包以用于深度图(或“z”)信息。用于深度包的封装标头可为文件格式规格中作为信息元素指定以用于用户数据的标头。使用此信息元素可实现与2D视频显示器的向后兼容。此MP4无线显示协议中的深度包可经由时序/同步信息而与对应视频包相关联，或者，经由用于视频包的帧唯一识别信息(例如，序号)同样可用于所述相关联。

在系统216C中，外部WD主机单元218接收3D视频数据232且根据无线显示协议而格式化此数据232，从而产生类似于图7中所展示的3D视频数据的经格式化的3D视频数据232。WD主机单元218可在用于MP4文件的剖析器处截取3D视频数据232且检索视频、音频及深度包。WD主机单元218接着重新封装这些包与RTP标头以形成RTP串流，WD主机单元218经由实时串流协议(RTSP)将所述RTP串流串流到外部WD客户端装置222。可根据上文关于图7的实例所描述的格式化而格式化这些串流。实际上，WD主机单元218修改传输协议(例如，RTP)以载运2D+z 3D视频数据232。

外部WD客户端单元222经由无线链路220接收这些串流，解封装所述串流以重新形成根据2D+z编码而编码的3D视频数据232且将此3D视频数据232转发到Z至MV处理模块234。Z至MV处理模块234通过从3D视频数据232呈现多视图而将3D视频数据232从2D+z编码格式变换成多视图串流编码格式。显示格式模块226接着以上文所描述的方式交错这些多视图以产生3D视频内容236，3D显示装置228接收且显现所述3D视频内容236以供一个以上观看者消耗。

图10D为说明另一系统216D的框图，所述系统216D包括外部WD主机单元218及内部WD客户端单元230，所述外部WD主机单元218与所述内部WD客户端单元230两者实施本发明中所描述的技术的各种方面。如图10D中所展示，系统216D与系统216B的类似之处在于：系统216B与21D两者包括移动装置217、外部WD主机单元218、内部WD客户端单元230及一个以上3D显示装置228。然而，系统216D包括移动多媒体装置237，所述移动多媒体装置237包括内部WD客户端单元230，而在系统216B中，显示平台223′包括内部WD客户端单元230。由于此原因，通过在参考数字“223”之后的三引号来表示显示平台223以识别此差异。

移动多媒体装置237可包括移动多媒体处理器(图10D中未展示)，其包括内部WD客户端单元230及Z至图形处理单元(GPU)处理模块238(“Z至GPU处理模块238”)。所述多媒体处理器可包括GPU。在此意义上，可将WD客户端单元230及Z至GPU处理模块238视为代管于具有GPU的多媒体处理器上。Z至GPU处理模块238执行深度至多视图变换过程，以便将根据2D+z格式而编码的3D视频数据232变换成多视图编码格式。内部WD客户端单元230与外部WD主机单元218可以与上文关于图10B的系统216B中的这些相同单元所描述的方式相同的方式彼此通信，唯一不同在于：所述通信涉及如关于图10C的系统216C所描述的3D视频数据232。

在任何情况下，内部WD客户端单元230接收根据无线显示协议而格式化的经封装的3D视频数据232，且解封装此经封装的3D视频数据232以重新形成3D视频数据232。内部WD客户端单元230将此数据232转发到Z至GPU处理模块238，所述Z至GPU处理模块238将GPU用作借以执行变换过程以产生根据多视图编码格式而格式化的3D视频数据242的通用计算引擎。将GPU用作通用计算引擎可涉及使用OpenCL，其包含用于编写跨越由CPU及GPU组成的异质平台执行的程序的架构。OpenCL包括用于编写在OpenCL装置上执行的函数的语言，加上用以定义且接着控制平台的应用编程接口(API)。

Z至GPU处理模块238可使用GPU执行实时或近实时深度至多视图变换，且借此可实现与接受呈不同格式(例如，2D+z格式及多串流视频格式)的3D内容的异质显示器介接。举例来说，Z至GPU处理模块238可产生根据2D+z格式而格式化的3D视频数据240，3D显示器228A可直接接受所述3D视频数据240，而无需显示平台223″进行介入处理。Z至GPU处理模块238还可产生根据多视图格式而格式化的3D视频数据241，且将此数据241转发到显示平台223″′。显示平台223″′的显示格式模块226可交错来自经多视图格式化的3D视频数据241的串流以产生3D视频数据242，3D显示装置228B可接收且显现所述3D视频数据242。

图10E为说明另一系统216E的框图，所述系统216E执行本发明中所描述的技术的一个以上方面。系统216E可类似于图10D的系统216D，但移动多媒体装置237′包括内部WD客户端单元230及2D至3D处理模块224。为了表示此差异，移动多媒体装置237′包括在参考数字“237”之后的单引号。

在任何情况下，移动装置217可将2D视频内容或3D视频内容244转发到外部WD主机单元218，所述外部WD主机单元218以上文所描述的方式根据无线显示协议封装此内容244且经由无线链路220将经格式化的内容244转发到内部WD客户端单元230。如果所述内容为2D视频内容244，则内部WD客户端单元230可接着将此数据244转发到2D至3D处理单元224以执行实时或近实时2D至3D变换(例如，深度提取)。如果显示器228A、228B中的一者或两者需要，则2D至3D处理模块224可将3D视频数据转发到Z至GPU处理模块238以产生经多视图格式化的3D视频数据，如上文所描述。或者，如果内部WD客户端单元230接收3D视频内容244且显示器228A、228B中的一者或两者需要多视图文件格式，则内部WD客户端单元230可将3D视频内容244转发到Z至GPU处理模块238，所述Z至GPU处理模块238产生根据多视图文件格式而格式化的3D视频数据241。

移动多媒体装置237′可接着将内容240转发到3D显示装置228A，如上文所描述。或者，移动多媒体装置237′可将3D视频数据241转发到显示平台223″′，如上文所描述。显示平台223″′(同样如上文所描述)可使用显示格式模块226交错多个视图且将所得3D视频内容242转发到3D显示装置228B。

在系统216E中，移动装置217可选择经由通过外部WD主机单元218及内部WD客户端单元230实施的无线显示协议来驱动2D或3D视频内容。如上文所注明，WD主机单元218与WD客户端单元230可交换描述与客户端连接的显示器(一个以上，经由镜射)的参数，其中这些参数包括由这些显示器支持的3D内容格式。取决于无线链路220上的可用带宽，WD客户端单元230可执行2D至3D变换过程(而不是移动装置217执行所述过程)。在移动多媒体装置237′内执行变换还可促成更好的用户体验及视觉品质。此外，取决于3D显示器的参数，执行深度至多视图变换过程。另外，移动多媒体装置237′可执行从无线显示协议到显示格式的格式翻译。

在所有系统216A至216E中，各种组件可利用WD主机及客户端单元来使传统上有线的显示器能够变成无线显示器或至少变成可经由无线连接接入。因此，各种内部及外部WD主机及客户端单元可通过将有线显示器变换成无线显示器而促成跨平台3D视频重放。此外，各种WD主机及客户端单元并不强制实行特定3D内容格式，而仅提供借以高效率地无线地发射3D视频数据同时仍实现与仅2D显示装置的向后兼容的无线显示传输协议。就此来说，各种内部及外部WD主机及客户端单元可进一步促成跨平台3D视频重放。

可以硬件、固件或其任何组合实施本文中所描述的技术。在一些例子中，硬件还可执行软件。描述为模块、单元或组件的任何特征可一起实施于集成式逻辑装置中或分离实施为离散但能共同操作的逻辑装置。在一些状况下，各种特征可实施为集成电路装置，例如集成电路芯片或芯片组。如果以软件实施，则可至少部分通过计算机可读媒体来实现所述技术，所述计算机可读媒体包含在执行时使处理器执行上文所描述的方法中的一者以上的指令。

计算机可读媒体可形成计算机程序产品的一部分，其可包括封装材料。计算机可读媒体可包含计算机数据存储媒体，例如随机存取存储器(RAM)、同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、闪存、磁性或光学数据存储媒体及其类似者。另外或替代地，所述技术可至少部分通过计算机可读通信媒体来实现，所述计算机可读通信媒体载运或传达呈指令或数据结构的形式的代码且可由计算机存取、读取及/或执行。

可由以下各者执行代码或指令：一个以上处理器(例如一个以上DSP)、通用微处理器、ASIC、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者或适合于实施本文中所描述的技术的任何其它结构。另外，在一些方面中，本文中所描述的功能性可提供于专用软件模块或硬件模块内。本发明还预期各种集成电路装置中的任一者，所述集成电路装置包括用以实施本发明中所描述的技术中的一者以上的电路。此电路可提供于单一集成电路芯片中或所谓的芯片组中的多个能共同操作的集成电路芯片中。这些集成电路装置可用于各种应用中，其中一些可包括用于无线通信装置(例如，移动电话手持机)中。

已描述本发明的各种实例。这些及其它实例在所附权利要求书的范畴内。

Claims

1.一种方法，其包含：

通过视频处理装置确定定义由三维3D显示装置支持的能力的一个以上参数，其中所述一个以上参数包括由所述3D显示装置支持的输入格式；

根据所述所确定的输入格式配置所述视频处理装置以将二维2D视频数据转换成3D视频数据以便产生所述3D视频数据；

接收2D视频数据；及

将所述2D视频数据转换成3D视频数据以使得所述3D视频数据遵照所述所确定的输入格式。

2.根据权利要求1所述的方法，其中确定一个以上参数包含自动地确定定义由所述3D显示装置支持的所述能力的所述一个以上参数。

3.根据权利要求1所述的方法，其中确定一个以上参数包含根据显示接口协议与所述3D显示装置介接以确定所述一个以上参数。

4.根据权利要求3所述的方法，其中所述显示接口协议包含以下各者中的一者：高清晰度多媒体接口HDMI协议、无线HDMI WHDMI协议、移动显示数字接口MDDI、无线MDDI WMDDI及移动产业处理器接口MIPI。

5.根据权利要求1所述的方法，其进一步包含：

接收遵照并不由所述3D显示装置支持的不同输入格式的额外3D视频数据；及

将遵照所述不同输入格式的所述额外3D视频数据转换成遵照所述所确定的输入文件格式的所述3D视频数据。

6.根据权利要求1所述的方法，其进一步包含基于所述所确定的参数而配置所述视频处理装置以便定义所述2D视频数据的所述转换以供所述3D显示装置重放。

7.根据权利要求1所述的方法，其中所述参数包含以下各者中的至少一者：所支持的对比度、当前对比度、所支持的清晰度、当前清晰度、所支持的色温、当前色温、所支持的亮度、当前亮度、所支持的分辨率、当前分辨率、所支持的显示格式、当前显示格式、所支持的色彩设定、当前色彩设定、所支持的输入格式、显示器类型、显示器制造商、所支持的深度范围、当前深度范围、会聚平面的所支持的位置、所述会聚平面的当前位置、所支持的背景对象平滑度、当前背景对象平滑度、所支持的目距配置、当前目距配置、所支持的主导眼配置、当前主导眼配置、所支持的视图数目、当前视图数目、所支持的观看距离、当前观看距离、所支持的观看角度、当前观看角度、3D视频内容在屏幕内的所支持的显示位置，及所述3D视频内容在所述屏幕内的当前位置。

8.根据权利要求1所述的方法，其进一步包含：

显现第一用户接口，所述第一用户接口接收从多个3D显示装置中选择所述3D显示装置的输入数据；

显现第二用户接口，所述第二用户接口接收选择所述2D视频数据的源的输入数据；

与所述选定的源通信以接收所述2D视频数据；及

与所述选定的3D显示装置通信以自动地确定所述一个以上参数。

9.根据权利要求1所述的方法，其进一步包含：

显现第二用户接口，所述第二用户接口接收选择视频数据的源的输入数据；

与所述选定的源通信以接收所述视频数据；

与所述选定的3D显示装置通信以自动地确定所述一个以上参数；及

将所述视频数据转换成3D视频数据以使得所述3D视频数据遵照所述所确定的输入格式。

10.根据权利要求1所述的方法，其进一步包含：

显现接收定义一个以上用户偏好的输入数据的用户接口，

根据所述所定义的用户偏好配置所述装置以将视频数据转换成3D视频数据以便产生3D视频数据。

11.根据权利要求10所述的方法，其中所述用户偏好包括以下各者中的至少一者：所要的清晰度、所要的对比度、所要的显示格式、所要的色温、所要的色彩设定、所要的亮度、所要的最大深度范围、会聚平面的所要的位置、所要的背景对象平滑度、所要的目距配置、所要的主导眼配置、所要的视图数目、所要的观看距离、所要的观看角度，及所述3D视频内容在所述屏幕内的所要的显示位置及分辨率。

12.根据权利要求10所述的方法，其中显现接收定义一个以上用户偏好的输入数据的用户接口包括显现接收定义全局地适用于任何应用的一个以上全局用户偏好及仅适用于特定的一个以上应用的一个以上应用特定用户偏好的输入数据的用户接口。

13.根据权利要求1所述的方法，其进一步包含与将所述所产生的3D视频数据转发到所述3D显示装置同时将所述所产生的3D视频数据的2D版本或所述所产生的3D视频数据转发到所述装置内所包括的内部显示器，以便以二维或三维预览所述3D视频数据。

14.根据权利要求1所述的方法，其进一步包含：

在转换所述视频数据时，使用人类视觉系统HVS模型确定一个以上度量，所述一个以上度量关于人类视觉系统反映所述所产生的3D视频数据的3D可视化的品质；及

在转换所述视频数据时，基于所述所确定的一个以上度量而重新配置所述视频处理装置以改进所述3D视频数据的所述产生。

15.根据权利要求1所述的方法，其中所述输入格式包含输入发射格式及输入存储格式中的一者以上。

16.根据权利要求14所述的方法，

其中输入发射格式及输入存储格式中的所述一者以上包含2D+深度输入格式、2D+深度、遮蔽及全局效果输入格式以及多视图串流输入格式中的一者以上，且

其中所述2D+深度、遮蔽及全局效果输入格式定义透明度、全局照明模型及氛围效果中的一者以上。

17.根据权利要求1所述的方法，其中所述视频处理装置包含移动蜂窝式电话、移动计算装置、便携型装置及手持机装置中的一者。

18.根据权利要求1所述的方法，其进一步包含将所述所产生的3D视频数据转发到所述3D显示装置。

19.一种设备，其包含：

转换模块；

参数发现模块，其确定定义由三维3D显示装置支持的能力的一个以上参数，其中所述一个以上参数包括由所述3D显示装置支持的输入格式；且根据所述所确定的输入格式配置所述转换模块以将二维2D视频数据转换成3D视频数据以便产生所述3D视频数据；及

用以接收2D视频数据的至少一个接口，

其中所述转换模块将所述2D视频数据转换成3D视频数据以使得所述3D视频数据遵照所述所确定的输入格式。

20.根据权利要求19所述的设备，其中所述参数发现模块自动地确定定义由所述3D显示装置支持的所述能力的所述一个以上参数。

21.根据权利要求19所述的设备，其中所述参数发现模块根据显示接口协议与所述3D显示装置介接以确定所述一个以上参数。

22.根据权利要求21所述的设备，其中所述显示接口协议包含以下各者中的一者：高清晰度多媒体接口HDMI协议、无线HDMI WHDMI协议、移动显示数字接口MDDI、无线MDDI WMDDI及移动产业处理器接口MIPI。

23.根据权利要求19所述的设备，

其中所述至少一个接口接收遵照并不由所述3D显示装置支持的不同输入格式的额外3D视频数据，且

其中所述转换模块将遵照所述不同输入格式的所述额外3D视频数据转换成遵照所述所确定的输入文件格式的所述3D视频数据。

24.根据权利要求19所述的设备，其中所述参数发现模块基于所述所确定的参数而配置所述转换模块以便定义所述2D视频数据的所述转换以供所述3D显示装置重放。

25.根据权利要求19所述的设备，其中所述参数包含以下各者中的至少一者：所支持的对比度、当前对比度、所支持的清晰度、当前清晰度、所支持的色温、当前色温、所支持的亮度、当前亮度、所支持的分辨率、当前分辨率、所支持的显示格式、当前显示格式、所支持的色彩设定、当前色彩设定、所支持的输入格式、显示器类型、显示器制造商、所支持的深度范围、当前深度范围、会聚平面的所支持的位置、所述会聚平面的当前位置、所支持的背景对象平滑度、当前背景对象平滑度、所支持的目距配置、当前目距配置、所支持的主导眼配置、当前主导眼配置、所支持的视图数目、当前视图数目、所支持的观看距离、当前观看距离、所支持的观看角度、当前观看角度、3D视频内容在屏幕内的所支持的显示位置，及所述3D视频内容在所述屏幕内的当前位置。

26.根据权利要求19所述的设备，其进一步包含用户接口模块，其显现接收从多个3D显示装置中选择所述3D显示装置的输入数据的第一用户接口及接收选择所述2D视频数据的源的输入数据的第二用户接口，

其中所述至少一个接口与所述选定的源通信以接收所述2D视频数据且与所述选定的3D显示装置通信以自动地确定所述一个以上参数。

27.根据权利要求19所述的设备，其进一步包含用户接口模块，其显现接收从多个3D显示装置中选择所述3D显示装置的输入数据的第一用户接口及接收选择视频数据的源的输入数据的第二用户接口，

其中所述至少一个接口与所述选定的源通信以接收所述视频数据且与所述选定的3D显示装置通信以自动地确定所述一个以上参数，且

其中所述转换模块将所述视频数据转换成3D视频数据以使得所述3D视频数据遵照所述所确定的输入格式。

28.根据权利要求19所述的设备，其进一步包含：

用户接口模块，其显现接收定义一个以上用户偏好的输入数据的用户接口；及

人类视觉系统HVS反馈模块，其根据所述所定义的用户偏好配置所述转换模块以将视频数据转换成3D视频数据以便产生3D视频数据。

29.根据权利要求28所述的设备，其中所述用户偏好包括以下各者中的至少一者：所要的清晰度、所要的对比度、所要的显示格式、所要的色温、所要的色彩设定、所要的亮度、所要的最大深度范围、会聚平面的所要的位置、所要的背景对象平滑度、所要的目距配置、所要的主导眼配置、所要的视图数目、所要的观看距离、所要的观看角度，及所述3D视频内容在所述屏幕内的所要的显示位置及分辨率。

30.根据权利要求28所述的设备，其中所述用户接口模块显现用户接口，所述用户接口接收定义全局地适用于任何应用的一个以上全局用户偏好及仅适用于特定的一个以上应用的一个以上应用特定用户偏好的输入数据。

31.根据权利要求19所述的设备，其进一步包含内部显示器，所述内部显示器与将所述所产生的3D视频数据转发到所述3D显示装置同时显示所述所产生的3D视频数据的2D版本或所述所产生的3D视频数据以便以二维或三维预览所述3D视频数据。

32.根据权利要求19所述的设备，其进一步包含：

人类视觉系统HVS反馈模块，其在所述转换模块转换所述视频数据时，使用HVS模型确定一个以上度量，所述一个以上度量关于HVS反映所述所产生的3D视频数据的3D可视化的品质；且，在所述转换模块转换所述视频数据时，基于所述所确定的一个以上度量而重新配置所述转换模块以改进所述3D视频数据的所述产生。

33.根据权利要求19所述的设备，其中所述输入格式包含输入发射格式及输入存储格式中的一者以上。

34.根据权利要求33所述的设备，

35.根据权利要求19所述的设备，其中所述设备包含视频处理装置、移动蜂窝式电话、移动计算装置、便携型装置及手持机装置中的一者。

36.根据权利要求19所述的设备，其中所述至少一个接口将所述所产生的3D视频数据转发到所述3D显示装置。

37.一种计算机可读存储媒体，其包含指令，所述指令使处理器：

确定定义由三维3D显示装置支持的能力的一个以上参数，其中所述一个以上参数包括由所述3D显示装置支持的输入格式；

根据所述所确定的输入格式配置视频处理装置以将二维2D视频数据转换成3D视频数据以便产生所述3D视频数据；

接收2D视频数据；及

38.一种设备，其包含：

用于转换视频数据的装置；

用于确定定义由三维3D显示装置支持的能力的一个以上参数的装置，其中所述一个以上参数包括由所述3D显示装置支持的输入格式，

用于根据所述所确定的输入格式配置所述转换模块以将二维2D视频数据转换成3D视频数据以便产生所述3D视频数据的装置；及

用于接收2D视频数据的装置，

其中所述用于转换视频数据的装置将所述2D视频数据转换成3D视频数据以使得所述3D视频数据遵照所述所确定的输入格式。

39.根据权利要求38所述的设备，其中用于确定一个以上参数的装置包含用于自动地确定定义由所述3D显示装置支持的所述能力的所述一个以上参数的装置。

40.根据权利要求38所述的设备，其中所述用于确定的装置包含用于根据显示接口协议与所述3D显示装置介接以确定所述一个以上参数的装置。

41.根据权利要求38所述的设备，

其中用于接收的装置包含用于接收遵照并不由所述3D显示装置支持的不同输入格式的额外3D视频数据的装置，且

其中用于转换的装置包含用于将遵照所述不同输入格式的所述额外3D视频数据转换成遵照所述所确定的输入文件格式的所述3D视频数据的装置。

42.根据权利要求38所述的设备，其进一步包含：

用于显现第一用户接口的装置，所述第一用户接口接收从多个3D显示装置中选择所述3D显示装置的输入数据；

用于显现第二用户接口的装置，所述第二用户接口接收选择所述2D视频数据的源的输入数据，

其中所述用于接收的装置包括用于与所述选定的源通信以接收所述2D视频数据且与所述选定的3D显示装置通信以自动地确定所述一个以上参数的装置。

43.根据权利要求38所述的设备，其进一步包含：

用于显现用户接口的装置，所述用户接口接收定义一个以上用户偏好的输入数据；及

用于根据所述所定义的用户偏好配置所述转换模块以将视频数据转换成3D视频数据以便产生3D视频数据的装置。

44.根据权利要求43所述的设备，其中用于显现的装置包括用于显现用户接口的装置，所述用户接口接收定义全局地适用于任何应用的一个以上全局用户偏好及仅适用于特定的一个以上应用的一个以上应用特定用户偏好的输入数据。

45.根据权利要求38所述的设备，其进一步包含用于与将所述所产生的3D视频数据转发到所述3D显示装置同时显示所述所产生的3D视频数据的2D版本或所述所产生的3D视频数据以便以二维或三维预览所述3D视频数据的装置。

46.根据权利要求38所述的设备，其进一步包含用于在所述转换模块转换所述视频数据时使用HVS模型确定关于HVS反映所述所产生的3D视频数据的3D可视化的品质的一个以上度量且在所述转换模块转换所述视频数据时基于所述所确定的一个以上度量而重新配置所述转换模块以改进所述3D视频数据的所述产生的装置。

47.根据权利要求38所述的设备，其中所述设备包含视频处理装置、移动蜂窝式电话、移动计算装置、便携型装置及手持机装置中的一者。

48.根据权利要求38所述的设备，其进一步包含用于将所述所产生的3D视频数据转发到所述3D显示装置的装置。