CN102474662B - 根据无线显示协议制备视频数据 - Google Patents

根据无线显示协议制备视频数据 Download PDF

Info

Publication number
CN102474662B
CN102474662B CN201080034960.XA CN201080034960A CN102474662B CN 102474662 B CN102474662 B CN 102474662B CN 201080034960 A CN201080034960 A CN 201080034960A CN 102474662 B CN102474662 B CN 102474662B
Authority
CN
China
Prior art keywords
video data
display
module
video
display unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201080034960.XA
Other languages
English (en)
Other versions
CN102474662A (zh
Inventor
维贾雅拉克希米·R·拉韦恩德拉恩
胡迪特·马蒂内·包萨
萨米尔·萨利布·索利曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102474662A publication Critical patent/CN102474662A/zh
Application granted granted Critical
Publication of CN102474662B publication Critical patent/CN102474662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4381—Recovering the multiplex stream from a specific network, e.g. recovering MPEG packets from ATM cells
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44231—Monitoring of peripheral device or external card, e.g. to detect processing problems in a handheld device or the failure of an external recording device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

大体来说，描述用于根据无线显示协议制备视频数据的技术。举例来说，包含用以存储视频数据的模块、无线显示器主机模块及无线接口的便携式装置可实施本发明的所述技术。所述无线显示器主机模块确定所述便携式装置外部的三维3D显示装置的一个或一个以上显示参数，且基于所述所确定的显示参数而制备所述视频数据以产生3D视频数据。所述无线接口接着将所述3D视频数据无线地发射到所述外部3D显示装置。以此方式，便携式装置实施所述技术以根据无线显示协议制备视频数据。

Description

根据无线显示协议制备视频数据
本申请案主张2009年8月6日申请的第61/231,921号美国临时申请案的优先权。
本专利申请案有关于以下共同待决的美国专利申请案：
与本专利申请案同时申请的美国专利申请案“根据人类视觉系统反馈度量变换视频数据(Transforming Video Data in Accordance with Human Visual System FeedbackMetrics)”，所述案的代理人案号为091730，所述案已转让给本受让人且以引用的方式明确地并入本文中；
与本专利申请案同时申请的美国专利申请案“根据三维输入格式变换视频数据(Transforming Video Data in Accordance with Three Dimensional Input Formats)”，所述案的代理人案号为091765，所述案已转让给本受让人且以引用的方式明确地并入本文中；及
与本专利申请案同时申请的美国专利申请案“根据输送协议封装三维视频数据(Encapsulating Three-Dimensional Video Data in Accordance with TransportProtocols)”，所述案的代理人案号为091674U2，所述案已转让给本受让人且以引用的方式明确地并入本文中。
技术领域
本发明涉及视频数据处理，且更特定来说，涉及用于呈现给观看者的视频数据的递送。
背景技术
视频显示装置呈现视频数据以供用户观看。通常，由显示装置呈现的视频数据包含预期用于以给定速率(例如，每秒29.97个帧，如国家电视系统委员会(NTSC)标准中所阐述)重放的一系列连续视频帧。因为此视频数据并不含有任何深度信息，所以所述视频数据特征化为二维(2D)视频数据。呈现此2D视频数据的显示装置常称作“2D显示器”。
当前，正开发三维(3D)显示装置以呈现三维(3D)视频数据。这些所谓的“3D显示器”可能需要额外观看附件(例如，快门式眼镜、偏光式眼镜或双色眼镜(例如，具有一个红色透镜及一个绿色透镜的眼镜))以适当地观看所呈现的3D视频数据。需要额外观看附件的3D显示装置常称作“眼镜式立体3D显示器”。被称作“裸眼式立体3D显示器”的其它3D显示装置能够呈现可由观看者观看的3D视频数据，而无需任何额外观看附件。
不管是眼镜式立体3D显示器还是裸眼式立体3D显示器，不同制造商的3D显示器通常需要遵照供货商或制造商特定的输入文件格式的3D视频数据。举例来说，一种所提议的3D视频数据格式包含2D视频数据加上深度信息，且称作“2D+深度”。“2D+深度”显示装置仅可呈现以“2D+深度”3D视频数据格式提供的3D视频数据。其它类型的3D显示器可需要呈多视图2D串流格式的3D视频数据。多视图2D串流格式封装多个2D串流，其中所述2D串流各自是通过不同俘获元件(例如，相机)同时(理想地，同步)从同一场景获取。由于这些不同且通常专属的3D视频数据格式，来自一个制造商的给定3D显示装置仅可呈现根据此制造商的专属3D视频数据格式而格式化的3D视频数据。
发明内容
大体来说，描述用于实现跨平台三维(3D)视频数据重放的技术。术语“平台”大体上指代特定视频显示装置及/或例如音频/视频接收器等任何支持装置的软件及硬件计算框架结构，及关于视频解码及重放的此框架结构的限制及功能性。在各种方面中，所述技术可以实现在不同3D视频重放平台上重放的方式将视频数据变换成3D视频数据，而不管所述视频数据为二维(2D)视频数据还是3D视频数据。就此来说，所述技术可在各种方面中促成跨平台3D视频重放。
在一个方面中，一种便携式装置包含：用以存储视频数据的模块；无线显示器主机模块，其确定所述便携式装置外部的三维(3D)显示装置的一个或一个以上显示参数，且基于所述所确定的显示参数而制备所述视频数据以产生3D视频数据；及无线接口，其将所述3D视频数据无线地发射到所述外部3D显示装置。
在另一方面中，一种方法包含：通过便携式装置存储视频数据；通过所述便携式装置的无线显示器主机模块确定所述便携式装置外部的三维(3D)显示装置的一个或一个以上显示参数；通过所述无线显示器主机模块基于所述所确定的显示参数而制备所述视频数据以产生3D视频数据；及通过所述便携式装置将所述3D视频数据发射到所述外部3D显示装置。
在另一方面中，一种便携式装置包含：用于存储视频数据的装置；用于确定所述便携式装置外部的三维(3D)显示装置的一个或一个以上显示参数的装置；用于基于所述所确定的显示参数而制备所述视频数据以产生3D视频数据的装置；及用于将所述3D视频数据发射到所述外部3D显示装置的装置。
在另一方面中，一种计算机可读存储媒体包含若干指令，所述指令使处理器：存储视频数据；确定便携式装置外部的三维(3D)显示装置的一个或一个以上显示参数；基于所述所确定的显示参数而制备所述视频数据以产生3D视频数据；且将所述3D视频数据发射到所述外部3D显示装置。
在附图及下文描述中阐述所述技术的一个或一个以上方面的细节。所述技术的其它特征、目标及优点将从所述描述及所述图式及从权利要求书而显而易见。
附图说明
图1为说明一系统的框图，在所述系统中，移动装置实施本发明的技术的各种方面以促成跨平台视频数据重放。
图2为更详细地说明图1的移动装置的框图。
图3为更详细地说明图2的移动装置的变换模块及离线处理模块的框图。
图4A及4B为说明一装置在实施本发明中所描述的技术的各种方面时的实例操作的流程图。
图5为说明实施本发明中所描述的技术的各种方面的实例装置的框图。
图6为说明一移动装置在执行本发明中所描述的技术的各种方面时的实例操作的流程图。
图7为说明三维(3D)视频内容的框图，所述三维(3D)视频内容已根据本发明中所描述的技术的各种方面而格式化。
图8A到8C为说明实例区段的框图，在所述实例区段中，已根据本发明中所描述的技术的各种方面而嵌入元数据。
图9为说明无线显示器(WD)主机单元在执行本发明中所描述的技术的格式化方面时的实例操作的流程图。
图10A到10E为说明各种系统的框图，所述系统实施本发明中所描述的技术的一个或一个以上方面以促成跨平台视频重放。
具体实施方式
本发明是针对促成跨平台三维(3D)视频重放的技术。术语“平台”大体上指代一特定视频显示装置及/或例如音频/视频接收器等任何支持装置的软件及硬件计算框架结构，及关于视频解码及重放的此框架结构的限制及功能性。二维(2D)显示装置通常提供借以接收、解码并呈现根据动画专家组(MPEG)标准第二部分(通常称为“MPEG-2”)格式化的视频数据的平台。能够呈现2D视频数据与三维(3D)视频数据两者的其它混合显示装置可提供能够接收、解码并呈现根据MPEG-2标准及特定3D视频数据格式(例如，专属制造商特定格式)格式化的视频数据的混合平台。专属格式的实例包括“2D+深度”格式(其可称作“2D+z”格式，其中“z”代表深度)、“2D+深度、遮蔽及全局效果”(其中透明度为特定类型的全局效果)及多视图2D串流格式。仅3D显示装置通常提供借以接收、解码并呈现根据制造商特定3D格式中的一者格式化的3D视频数据的平台。
所述技术通过实现在若干不同3D视频平台上进行3D视频重放而促成跨平台3D视频重放。当前，没有一个制造商特定的、专属的或甚至开放源码或其它“自由”3D视频格式得以标准化或得到产业范围接受。实情为，与这些各种格式中的每一者相关联的制造商正试图在市场中促成此标准化。此外，归因于不同格式之间的竞争，这些3D视频格式中没有一者支持跨平台3D视频重放。跨平台3D视频重放大体上指代一个平台重放经格式化以用于不同平台的3D视频数据的能力。因此，以一种格式格式化的3D视频数据通常无法由提供接收、解码并呈现以另一不同格式格式化的3D视频数据的平台的3D显示装置显示。就此来说，本发明的技术可通过将3D视频数据从一种格式变换成另一格式而促成跨平台3D视频重放。
跨平台3D视频重放还涉及将2D视频数据变换成3D视频数据以用于在3D显示装置上重放。术语“跨平台”因此还可包括2D平台以及3D平台，其中所述技术可包含接收2D视频数据且将此2D视频数据变换成根据由特定3D显示装置或混合2D/3D显示装置支持的3D视频数据格式而格式化的3D视频数据。混合2D/3D显示装置包含能够进行2D视频解码及重放与3D视频解码及重放两者的显示装置。
所述技术可在若干方面中促成跨平台3D视频重放。在一个方面中，所述技术可促进视频显示器询问以根据询问确定由视频显示装置支持的3D视频数据格式。可自动地发生此询问，或在无除用以选择用于询问的一个或一个以上3D显示装置的初始用户输入外的用户输入的情况下发生此询问。在自动地确定3D显示装置的此3D视频数据格式之后，所述技术可涉及根据所述自动确定的3D视频数据格式自动地(例如，在无任何用户输入的情况下)配置将2D视频数据转换成3D视频数据的一个或一个以上模块，以便产生3D视频数据。所述经配置的模块接着接收2D视频数据且将此2D视频数据变换或以其它方式转换成遵照显示装置的自动确定的输入格式的3D视频数据。此3D视频数据发送到3D显示装置，所述3D显示装置进行解码并呈现此3D视频数据以供用户观看。
在另一方面中，所述技术可通过基于所监视的参数而重新配置将视频数据变换成3D视频数据的所述模块中的一者或一者以上来促成跨平台3D视频重放，所述所监视的参数反映在通过特定3D显示装置重放3D视频数据期间3D视频数据的3D可视化的质量。可在视频数据的变换期间动态地发生此重新配置。所述模块的重新配置精细化3D视频数据的产生，以动态地改善由3D显示装置产生的3D可视化的质量。所述模块的重新配置还可用于降低可接受的3D视频质量的处理复杂性的目的。可通过根据所述重新配置参数停用所述模块中的一些模块的执行或选择较简单的过程来执行相同功能性来降低处理复杂性。较简单的过程可诱发降低的3D视频质量，所述降低的3D视频质量根据用户定义的准则仍应被视为可接受的。降低处理复杂性可降低电力消耗或可加速执行所述模块的功能性。值得注意的是，可近实时地发生或在将3D视频数据流式传输到3D显示装置的同时发生参数的监视与用以将视频数据(2D视频数据或3D视频数据)变换成经格式化以用于特定3D显示装置的3D视频数据的模块的重新配置。
在另一方面中，所述技术可促成提供无线接口的某一类别的3D显示装置进行跨平台3D视频重放。实施所述技术的此方面的装置可包含：用以存储视频数据的第一模块；及确定便携式装置外部的显示装置的一个或一个以上显示参数的无线显示器主机模块。这些显示参数可包含显示装置的显示分辨率、由显示装置支持的文件格式、由显示装置支持的视频数据编码器/解码器技术(所谓的“视频编解码器”)、由显示装置支持的音频编解码器、显示装置是否支持3D视频数据重放，及关于显示装置的能力或额外方面的其它参数。实施所述技术的此方面的装置还可包括：第三模块，其基于所述所确定的显示参数而制备视频数据以产生用于在外部显示装置上重放的视频数据；及无线模块，其将3D视频数据无线地发射到外部显示装置。
值得注意的是，可由便携式装置实施所述技术的各种方面，所述便携式装置包括无线蜂窝式手持机(其常称作蜂窝式或移动电话)。可实施所述技术的各种方面的其它便携式装置包括所谓的“智能电话”、极易便携式计算装置(称作“迷你笔记型计算机”)、膝上型计算机、便携式媒体播放器(PMP)，及个人数字助理(PDA)。还可由例如以下各者的大体上非便携式的装置实施所述技术：桌上型计算机、机顶盒(STB)、工作站、视频重放装置(例如，数字视频光盘或DVD播放器)、2D显示装置及3D显示装置。因此，虽然在本发明中关于移动或便携式装置来描述所述技术的各种方面，但可由能够接收视频数据并将视频数据转发到外部显示装置的任何计算装置实施所述技术的各种方面。
图1为说明系统10的框图，在系统10中，移动装置12实施本发明的技术的各种方面以促成跨平台视频数据重放。如图1的实例中所展示，系统10包括源装置14及显示装置16，所述源装置14与显示装置16两者分别经由无线通信信道13及15与移动装置12通信。源装置14可包括通用多媒体装置，例如个人计算机、工作站、个人数字助理(PDA)、移动电话(包括所谓的“智能电话”)，或包含能够执行软件(且特定来说，多媒体软件)的通用处理器的任一其它类型的装置。源装置14或者可包含专用多媒体装置，例如视频摄录一体机、数字视频光盘(DVD)播放器、电视机、机顶盒(STB)、压缩光盘(CD)播放器、数字媒体播放器(例如，所谓的“MP3”播放器或组合MP3/MP4播放器，以及播放其它格式的其它媒体播放器，包括高级音频译码(AAC)、Windows媒体视频(WMV)及波形音频视频(WAV)格式)、数字视频记录器(DVR)、全球定位系统(GPS)装置，或专用于一组一个或一个以上多媒体应用且通常并不实现对多媒体软件的加载及执行的用户控制的任一其它装置。
显示装置16大体上表示能够经由显示器进行视频重放的任一装置。显示装置16可包含电视机(TV)显示器，其可取决于显示装置16支持2D视频数据重放、3D视频数据重放还是2D与3D视频数据重放的组合而被称作2D视频显示装置、3D视频显示装置或混合2D/3D视频显示装置。显示装置16或者可包含具有显示器的任一其它装置，例如膝上型计算机、个人媒体播放器(PMP)、桌上型计算机、工作站、PDA，及便携式数字媒体播放器(例如，便携式DVD播放器)。出于说明的目的，假定显示装置16表示与移动装置12无线地通信的无线电视机。然而，本发明的技术不应限于无线电视机。
源装置14包括存储模块18，其存储2D视频内容20及3D视频内容22中的一者或一者以上。存储模块18可包含存储器(易失性或非易失性存储器)，包括随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)、快闪存储器、只读存储器(ROM)、可编程ROM(PROM)、可擦除PROM(EPROM)，及电可擦除PROM(EEPROM)。存储模块18或者可包含存储装置，例如硬盘驱动器、光驱、磁带驱动器及磁盘驱动器。在一些例子中，存储模块18可包含一个或一个以上存储器及一个或一个以上存储装置的组合。
2D视频内容20表示根据特定2D视频数据文件格式而格式化的2D视频数据。实例2D视频数据文件格式可包括由动画专家组(MPEG)4第14部分所定义的MP4文件格式。MP4文件格式是通常用以存储数字音频及数字视频串流的容器文件格式。其它容器文件格式包含MP4文件格式的简化版本(称作3GP)、高级系统格式(ASF)、高级视频交错(AVI)文件格式、DivX媒体格式(DMF)、增强型视频对象(EVO)文件格式，及快闪视频文件格式。在此方面或其它方面中，文件格式还可指代关于特定输送及/或应用层协议(例如，实时输送协议(RTP)及串流控制传输协议(SCTP))而使用的文件格式。
3D视频内容22表示根据特定3D视频数据文件格式而格式化的经译码的3D视频数据。示范性3D视频数据格式包含“2D+深度”(其通常称作“2D+z”格式)、“2D+深度、遮蔽及全局效果”或多视图2D串流文件格式。就此来说，视频数据文件格式大体上指代封装视频数据的标准方式(不管视频数据是否经编码)。因此，视频数据文件格式可定义大体上封装视频数据或其部分以促进视频数据的存储及/或发射的方式。可使用例如以下各者的多种编解码器来编码视频数据：MPEG-2或任一其它编解码器，包括国际电信联盟标准化部门(ITU-T)H.264/MPEG-4第10部分高级视频译码(AVC)标准(在下文中称作“H.264/MPEG-4AVC”标准)中所定义的编解码器。在一些例子中，还可使用称作H.265(或，根据其名称，称作下一代视频译码(NGVC))的编解码器来编码视频数据，所述编解码器是由ITU-T视频译码专家组(VCEG)开发。在本发明中使用术语“视频内容”来指代根据特定视频数据文件格式封装的经译码的视频数据。
虽然为了便于说明而在图1中未展示，但源装置14可包括额外模块，例如用于俘获2D视频内容20及3D视频内容22的视频俘获模块。或者，源装置14可充当用于存储内容20、22的归档存储单元或储集器。在一些例子中，源装置14可经由源装置14内所包括的接口24而无线地接收内容20、22。即，源装置14包括借以与外部装置无线地通信的接口24。在一些例子中，这些外部装置可经由接口24与源装置14介接以将内容20、22存储到存储模块18。
出于说明性目的，显示装置16(如上文所注明，其可表示无线电视机显示器)包括接口26、文件格式模块27、视频解码器28及显示器30。接口26(类似于接口24)表示显示装置16外部的装置可借以与显示装置16通信的接口。在此实例中，假定接口24及26中的每一者表示无线接口。文件格式模块27表示实施上文所描述的文件格式中的一者或一者以上的硬件或硬件与软件模块的组合。通常，文件格式模块27执行解封装以移除封装经译码的视频数据的文件格式标头且借以输出经译码的视频数据。
视频解码器28可表示实施用于解码经译码的视频数据的一个或一个以上视频编解码器的硬件或组合硬件与软件模块。值得注意的是，使用术语“编解码器”，而不管视频解码器28是否实施给定编解码器的编码(即，压缩)与解码(即，解压缩)方面两者。因此，可将视频解码器28解释为通过仅实施编解码器的解压缩方面而实施此编解码器。就此来说，视频解码器28可实施编解码器，而不管视频解码器28是实施编解码器的压缩与解压缩方面两者还是仅实施编解码器的解压缩方面。
虽然在图1的实例中未展示，但显示装置16还可包括表示实施一个或一个以上音频编解码器的硬件或硬件与软件的组合的其它模块。在一些例子中，视频模块与音频模块可组合于同一模块中，所述同一模块通常称作音频/视频(A/V)解码器。显示器30可包含任何类型的显示器，包括有机发光二极管(OLED)显示器、发光二极管(LED)显示器、等离子显示器，及阴极射线管(CRT)显示器。
在图1的实例中，移动装置12还包括一个或一个以上接口32，其大体上类似于相应源装置14及显示装置16的接口24及26。移动装置12还包括实施本发明中所描述的技术的一个或一个以上方面的控制单元34。控制单元34可包含一个或一个以上处理器(图1中未展示)，所述一个或一个以上处理器执行存储到例如以下各者的计算机可读存储媒体(在图1中也未展示)的软件指令(例如，用以定义软件或计算机程序的软件指令)：存储装置(例如，磁盘驱动器或光驱)或存储器(例如，快闪存储器、随机存取存储器，或RAM)，或存储指令(例如，呈计算机程序或其它可执行程序的形式)以使可编程处理器执行本发明中所描述的技术的任一其它类型的易失性或非易失性存储器。或者，控制单元34可包含专用硬件，例如一个或一个以上集成电路、一个或一个以上专用集成电路(ASIC)、一个或一个以上专用特殊处理器(ASSP)、一个或一个以上现场可编程门阵列(FPGA)，或用于执行本发明中所描述的技术的专用硬件的上述实例的任一组合。
控制单元34包括变换模块36、参数发现模块38及人类视觉系统(HVS)反馈模块40(“HVS反馈模块40”)。根据本发明中所描述的技术的各种方面，变换模块36表示将2D视频内容20与3D视频内容22中的一者或两者变换成可为显示装置16接受或与显示装置16兼容的视频数据的一个或一个以上可配置硬件模块或一个或一个以上硬件与软件可配置模块的组合。当所得的经变换的视频数据是根据由视频解码器28支持的视频编解码器来编码且根据由文件格式模块27支持的文件格式来格式化时，视频数据可与显示装置16“兼容”。
根据本发明中所描述的技术的一个或一个以上方面，参数发现模块38表示与显示装置16介接以发现显示装置16的一个或一个以上参数42(包括由显示装置16支持的一个或一个以上文件格式)的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些模块可执行软件。这些格式通常包含由显示装置16的文件格式模块27支持的一个或一个以上文件格式。通常，格式42暗示由视频解码器28支持的一个或一个以上类型的编解码器且因此参数发现模块38还可发现由视频解码器28支持的特定编解码器。
除文件格式外，参数42可包括所支持的分辨率、当前分辨率、所支持的对比度、当前对比度、显示器或屏幕大小、由显示装置16支持的音频及视频编解码器、接口26的列表、当前清晰度、所支持的清晰度、所支持的色温、当前色温、所支持的亮度、当前亮度、所支持的显示格式、当前显示格式、所支持的色彩设定、当前色彩设定、所支持的输入格式、显示器类型、显示器制造商、所支持的深度范围、当前深度范围、会聚平面的所支持的位置、会聚平面的当前位置、所支持的背景对象平滑度、当前背景对象平滑度、所支持的目距配置、当前目距配置、所支持的优势眼配置、当前优势眼配置、所支持的视图数目、当前视图数目、所支持的观看距离、当前观看距离、所支持的观看角度、当前观看角度、在屏幕内的3D视频内容的所支持的显示位置、及在屏幕内的3D视频内容的当前位置，及与显示装置16及其能力有关的任何其它参数。
在任一情况下，参数发现模块38发现格式，所述格式可包括文件格式与译码格式或技术(例如，所支持的编解码器)两者。举例来说，发现称作“2D+深度”的3D文件格式暗示：视频解码器28支持3D视频编解码器，所述3D视频编解码器能够解码根据(例如)MPEG-2标准译码的“2D+深度”文件格式的经译码的2D视频数据部分，同时还解码“2D+深度”文件格式的深度部分以再现3D视频数据以用于经由显示装置30重放。
HVS反馈模块40表示分析关于由显示装置16进行的3D视频数据的显示的定性及定量度量的一个或一个以上硬件模块或硬件与软件模块的组合。根据本发明中所描述的技术的各种方面，HVS反馈模块40可分析定性及定量度量且接着重新配置变换模块36以改善输入视频数据(例如，2D视频内容20或3D视频内容22)到遵照由参数发现模块38发现的输入格式的视频数据的变换。HVS反馈模块40可与显示装置16介接以检索由显示装置16的视频解码器28输出的视频数据44，HVS反馈模块40接着分析所述视频数据44以确定这些定性及定量度量。HVS反馈模块40可经由变换模块36的此重新配置而促成较佳质量的3D视频数据重放。
根据本发明中所描述的技术的一个方面，移动装置12自动地确定3D显示装置的3D输入文件格式且将2D视频内容20变换成3D视频数据以便遵照所述3D输入文件格式。出于说明的目的，假定显示装置16包含能够呈现2D视频内容20与3D视频内容22两者的混合2D/3D无线电视机。移动装置12的参数发现模块38可经由无线通信信道15与显示装置16介接以询问文件格式模块27，以便确定由文件格式模块27支持以接收3D视频数据的至少一个输入文件格式。如上文所描述，文件格式可包含一个或一个以上3D文件格式(例如，“2D+深度”或多视图2D串流格式)，以及由视频解码器28实施以解码3D视频数据的一个或一个以上编解码器(其可通过所确定的文件格式来暗示)。
值得注意的是，显示装置16可实施第一文件格式，而图1中未展示的其它显示装置可实施不同于所述第一文件格式的多个不同文件格式。所述多个不同文件格式可防止2D视频数据(但更特定来说，3D视频数据)的跨平台重放，这是因为3D视频文件格式尚未得以标准化或大体上未在产业内采用。通过发现显示文件格式且接着将任何输入或源视频数据变换成所发现的文件格式可克服当试图在接受第二不同文件格式的显示装置上解码并呈现以第一文件格式格式化的3D视频数据时可能出现的跨平台重放问题。
最初，移动装置12的用户或其它操作者可与由用户接口模块(为便于说明，在图1中未展示)呈现的用户接口介接，以选择或以其它方式发现显示装置16。用户接口可呈现位于移动装置12的给定范围内的或连接到移动装置12同样连接的网络(例如，802.11x无线网络、超宽带(UWB)网络，及/或BluetoothTM网络)的装置的列表。操作者可与用户接口介接以选择装置(例如，显示装置16)，此后用户接口模块向参数发现模块38通知选定的显示装置16。
虽然可以此方式发生手动选择，但参数发现模块38可自动地与列表中的每一装置介接以发现用于列表上的每一装置的参数(例如，文件形式)。用户接口可接着呈现所述列表且接收来自操作者或其它用户的选择所述装置中的一者的输入。换句话说，参数发现模块38可响应于用户选择移动装置12可介接的装置的列表上的给定装置或并不等待此选择而自动地发现参数(包括格式)。在无任何其它用户输入的情况下发生发现的意义上，发现可为“自动的”。参数发现模块38可与显示装置16介接，(例如)询问文件格式模块27且接收由显示装置16支持的格式作为参数42中的一者，而无需任何用户输入。
参数发现模块38经由接口32中的一个适当接口与显示装置16介接，所述适当接口经由通信信道15耦合到显示装置16的接口26。参数发现模块38可实施借以与文件格式模块27通信的询问协议。举例来说，参数发现模块38可实施显示接口协议或标准(例如，高清多媒体接口(HDMI)协议或无线HDMI(WHDMI)协议)的各种方面，所述显示接口协议或标准提供借以确定各种参数的通信信道，所述各种参数可特征化为显示装置16的能力及特性。虽然尚未阐述定义WHDMI的特定标准，但期望HDMI的有线版本，如日期为2006年11月10日的题目为“高清多媒体接口规范1.3A版(High-Definition Multimedia Interface Specification Version1.3A)”的规范(所述规范借此以全文引用的方式并入本文中)中所阐述，存在借以询问或以其它方式确定显示装置16的参数42(包括所支持的文件格式)的显示数据信道(DDC)。
虽然在本发明中关于HDMI及WHDMI来描述所述技术，但所述技术可根据开放标准(例如，非专属标准)以及并非受具体支持或尚未并入到任一标准中的其它规范(专属的或开放的)来实施。举例来说，参数发现模块38可实施移动显示数字接口(MDDI)，其为在由视频电子标准协会支持的开放标准中定义的接口。或者，或结合MDDI，参数发现模块38可实施MDDI的无线扩展(称作无线MDDI(WMDDI))。此外，所述技术可关于移动产业处理器接口(MIPI)来实施。就此来说，所述技术因此不应限于任一个标准接口(例如，HDMI)。
在以此方式发现格式42之后，参数发现模块38接着与变换模块36介接以配置变换模块36，如上文所描述，变换模块36表示将2D视频数据与3D视频数据两者转换成遵照所确定的输入格式42的3D视频数据的一个或一个以上模块。参数发现模块38可确定配置数据且将此配置数据加载到变换模块36中以便配置变换模块36，以将视频内容(例如，2D视频内容20)变换成根据输入格式42格式化的3D视频内容。
上文所描述但为便于说明而在图1中未展示的用户接口还可呈现另一装置列表(其可称作“源列表”)以区分此列表与显示器列表(其可特征化为“目的地列表”)，所述“源列表”包括视频内容的源。移动装置12可经由接口32发现这些装置，类似于发现目的地列表的装置。作为一个实例，移动装置12经由接口32及通信信道13发现源装置14，其中用户接口呈现包括源装置14的源列表。假定操作者选择源装置14，则控制单元34可指示接口32与源装置14介接以确定存储到源装置14的存储模块18的内容20及22。控制单元34的用户接口可接着呈现代表所确定的2D视频内容20及3D视频内容22的文件名、图像或其它数据。操作者可选择2D视频内容20或3D视频内容22以用于显示于选定的目的地装置(例如，显示装置16)上。
假定操作者选择2D视频内容20以用于以3D显示于选定的显示装置16上，则变换模块36开始接收2D视频内容20，所述2D视频内容20可以上文所描述的2D文件格式中的一者来格式化且根据第一编解码器来译码。经配置的变换模块36可动态地(可能实时地或近实时地)将2D视频内容20(其包含经格式化的文件及经译码的视频数据)转换成以遵照自动确定的输入格式42的文件格式译码并格式化的3D视频数据。变换模块36接着经由通信信道15及接口32、26将以遵照自动确定的输入格式42的文件格式译码并格式化的动态产生的3D视频数据(在图1中展示为3D视频内容48)转发到显示装置16。
显示装置16的文件格式模块27接收3D视频内容48，其包含根据由视频解码器28支持的编解码器译码且接着根据由文件格式模块27支持的3D文件格式而格式化的3D视频数据。文件格式模块27(归因于兼容文件格式化)解封装3D视频内容48以产生经译码的3D视频数据50。视频解码器28接着使用适当编解码器解码经译码的3D视频数据50以产生3D视频数据44，显示器30呈现所述3D视频数据44以供观看者(例如，移动装置12的操作者)消耗。
以此方式，所述技术的此方面通过以下操作来促进跨平台3D视频重放：动态地配置变换模块36以从2D视频内容20产生3D视频数据以使得所述3D视频数据遵照由显示装置16支持的格式42。通常，此2D视频内容20可限于2D平台且虽然可假定混合2D/3D显示装置16可利用混合2D/3D平台的2D部分来呈现2D视频内容20，但在无根据本发明中所描述的技术执行的移动装置12的介入或中间变换能力的情况下，观看者将被拒绝3D观看体验。就此来说，本发明的技术使移动装置12能够通过促进2D视频内容20在3D视频重放平台上重放来促成跨平台视频重放。
当变换模块36变换2D视频内容20以产生呈由显示装置16支持的格式的3D视频数据(在图1中展示为3D视频内容48)且将所变换的3D视频内容48转发到显示装置16时，HVS反馈模块40可使用HVS模型确定一个或一个以上度量，所述一个或一个以上度量关于人类视觉系统反映所产生的3D视频内容48的3D可视化的质量。更特定来说，在一些实例中，HVS反馈模块40与显示装置16介接以确定3D视频数据44，且使用所述HVS模型分析3D视频数据44以确定所述一个或一个以上度量。
所述一个或一个以上度量可包含通过3D视频数据44描绘的一个或一个以上对象中的每一者的大小及/或深度度量(其中，在一些例子中，深度度量可随时间而变来表达)、通过3D视频数据44描绘的一个或一个以上阴影中的每一者的阴影度量、背景对比度度量、清晰度度量、空间频率度量以及广泛各种其它度量，所述度量中的每一者更详细描述于下文中。另外，HVS反馈模块40可与参数发现模块38介接以接收由参数发现模块38确定的一个或一个以上参数，例如所支持的分辨率、当前分辨率、所支持的对比度、当前对比度、显示器或屏幕大小、文件格式或与显示装置16及其能力有关的任何其它参数。HVS反馈模块40可使变换模块38的重新配置至少部分地基于这些参数42。
HVS反馈模块40还可存储定义例如以下各者的一个或一个以上用户偏好的用户偏好数据：所要的清晰度、所要的对比度、所要的显示格式、所要的色温、所要的色彩设定、所要的亮度、所要的最大深度范围、会聚平面的所要的位置、所要的背景对象平滑度、所要的目距配置、所要的优势眼配置、所要的视图数目、所要的观看距离、所要的观看角度、在屏幕内的3D视频内容的所要的显示位置及分辨率，或与由显示装置(例如，显示装置16)进行的2D或3D视觉显示有关的任一其它偏好。此外，HVS反馈模块40还可至少部分基于这些用户偏好而重新配置变换模块38。即，HVS反馈模块40可包含HVS模型，所述HVS模型是根据用户偏好数据而配置以便产生用以至少部分基于这些用户偏好而重新配置变换模块38的配置数据。
以此方式，当变换模块36当前正变换2D视频内容20(或，在替代例子中，3D视频内容22)时，HVS反馈模块40与变换模块36介接，以至少基于经由3D视频数据44的分析而确定的度量来重新配置变换模块36，以精细化3D视频内容48的产生。就此来说，HVS反馈模块40可动态地重新配置变换模块36以自动地精细化(且很可能改善)3D视频内容48的所感知的视觉质量。如果此精细化除基于从3D视频数据44确定的度量外还基于用户偏好数据，则HVS反馈模块40可针对特定用户或逐个用户地自动地重新配置变换模块36以精细化3D视频内容48的所感知的质量。因此，所述技术可不仅促进跨平台视频重放，而且促成跨平台视频重放所需的任何变换的动态精细化，以潜在地逐个用户地改善观看体验。
在一些例子中，移动装置12经由无线通信媒体与显示装置16介接。给定显示装置16表示混合2D/3D无线显示装置的上述假定，则移动装置12与显示装置16无线地介接。当与显示装置16无线地介接时，参数发现模块38可特征化为确定显示装置16的一个或一个以上显示参数42的无线显示器(WD)主机。参数发现模块38接着以一方式配置变换模块36以使得变换模块36基于显示参数而制备视频数据以便产生3D视频内容48。
此制备可涉及根据输送协议格式化(或更具体来说，封装)3D视频数据。所述输送协议定义视频数据区段、音频数据区段及深度数据区段中的每一者在多个包中的一不同者中的封装。在一些例子中，可依序地将视频、音频及深度数据存储于单一包内。输送协议模块将用于增强3D视频内容的重放的元数据添加于所述多个包中的一者的标头中的任选数据字段内。此元数据可提供促进在具有特定能力的装置上重放的提示或其它指示。元数据还可定义用于产生或以其它方式变换3D视频数据以实现在具有特定能力或参数的不同2D或3D显示装置上重放的技巧或规范。
执行此制备的输送协议单元可包含实时输送协议(RTP)单元，实时输送协议(RTP)单元包含硬件或硬件与软件的组合，其为应用层(且还称为“层7”或“L7”)协议单元。术语“层”指代开放系统互连参考模型(“OSI模型”)内的层。通常，将输送协议视为属于OSI模型的输送层(其还称作“层4”或“L4”)内。RTP依赖于称作通用数据报协议(UDP)的输送层协议来使用应用层功能性提供增强的输送协议。在此意义上，虽然事实为RTP驻留于应用层而非输送层，但可将RTP视为输送协议。术语“输送协议”因此不应限于输送层协议，而是可包括OSI模型中提供输送层功能性的任一层的任一协议。
在以上文所描述的方式制备3D视频内容48之后，变换模块36将内容转发到接口32中的一个无线接口，所述无线接口将包发射到显示装置16。显示装置16接收包，解格式化所述包以解封装经编码的音频、经编码的视频及深度数据以及元数据，根据元数据解码经编码的音频及经编码的视频数据以产生音频及增强的视频数据，且经由音频重放模块(图1中未展示)及显示器30呈现音频及增强的视频数据以供观看者消耗。视频数据得以“增强”，这是因为：元数据可改善得益于元数据而解码的所得视频数据的解码及重放。
就此来说，所述技术的各种方面促成内聚跨平台视频重放系统。在一个方面中，以上文所描述的方式发现文件格式且使用所述文件格式来配置变换模块36以改善跨平台的重放。在另一方面中，所述技术经由使用HVS模型所确定的动态反馈来促进重放的质量，以便在变换期间精细化3D视频重放的质量。在又一方面中，自动地确定参数且使用所述参数来制备用于由3D显示装置重放的3D视频数据的递送。此制备可涉及将元数据嵌入到用于将3D视频内容无线地发射到显示装置的包中，其中此元数据可定义促进3D视频内容的解码及进一步变换的参数。在一些方面中，可嵌入此元数据以使得其对于并不支持3D视频重放的显示器(例如，仅2D显示装置)来说为透明的。
虽然展示为单独的装置，但源装置12及移动装置16可包含并入有源装置12的功能性及移动装置16的功能性的单一装置。在一些例子中，移动装置12可并入有源装置14的功能性。就此来说，所述技术不应限于图1中所展示的实例。
此外，虽然上文关于移动装置12来描述所述技术，但可由能够进行与本发明中所描述的技术一致的视频变换的任一装置实施所述技术。这些装置在本文中大体上可称作“视频处理装置”。此外，就此来说，所述技术不应限于图1中所展示的实例。
图2为更详细地说明图1的移动装置12的实例的框图。在图2的实例中，移动装置12包括多个接口32，例如无线接口32A及有线接口32B。无线接口32A可包含以下接口中的一者或一者以上：无线因特网接口(例如，通过IEEE802.11x标准套件定义的接口)、BluetoothTM无线接口、无线HDMI接口、红外线无线接口，或可借以发生无线通信的任一其它接口。有线接口32B可包括以下接口中的一者或一者以上：通用串行总线(USB)接口、微型USB接口、HDMI接口、复合电缆接口、同轴电缆接口、视频图形阵列接口，或可借以发生有线通信的任一其它接口。
移动装置12还包括视频俘获装置50、本地存储模块52及内部显示器54。视频俘获装置50表示实施用于记录3D视频数据的眼镜式立体3D视频相机或用于记录2D视频数据的2D视频相机的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。本地存储模块52表示用于在本地存储数据(包括2D视频数据及3D视频数据，或如果经译码及格式化，则包括经译码及格式化的内容)的硬件或硬件与软件模块的组合。本地存储模块52可包含静态或动态存储器及/或存储装置，例如上文关于控制单元34所列出的存储器及/或存储装置中的任一者。内部显示器54表示呈现视频数据及图像数据以供内部显示器54的观看者消耗的硬件或硬件与软件模块的组合。内部显示器54可包含上文关于显示装置16的显示器30所注明的显示器中的任一者。
视频俘获装置50、本地存储模块52及内部显示器54中的每一者耦合到控制单元34，控制单元34已在图2中加以进一步详细说明。在图2的实例中，控制单元34包含变换模块36、参数发现模块38及HVS反馈模块40，其与关于图1所展示者相同。然而，这些模块36到40在图2的实例中被进一步详细展示为包括若干子模块及数据。举例来说，变换模块36包括预处理模块56、2D到3D处理模块58、后处理模块60、再现模块62及显示格式模块64。
虽然关于图3更详细描述这些模块中的每一者，但简要来说，预处理模块56表示执行预处理以确定用于执行从一个平台到另一平台的视频数据转换的信息的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。2D到3D处理模块58表示用于(如名称表明)基于由预处理模块56确定的信息执行2D视频数据到3D视频数据的转换的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件，其中此信息可称作“预处理信息”。后处理模块60表示修改或以其它方式调整所产生的3D视频数据(例如，深度图)以精细化3D视频重放的质量的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。再现模块62表示模型化3D场景、产生额外视图且以其它方式进一步精细化3D视频重放的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。显示格式模块64表示根据给定文件格式将所产生且随后精细化的3D视频数据格式化的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。
作为另一实例，HVS反馈模块40可包括定性评估模块66及定量评估模块68。定性评估模块66表示对由移动装置12外部的显示装置(例如，外部显示装置16的视频解码器28)解码的3D视频数据44执行定性分析以确定度量70中的一者或一者以上的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件，所述度量70关于人类视觉系统部分地定义3D视频数据44的3D可视化的质量的所感知的质量。定量评估模块68对由变换模块36的各种子模块(例如，后处理模块60、再现模块62及显示格式模块64)产生的3D视频数据执行定量分析。此分析可导致确定度量70中的额外度量。这些度量70可接着形成用于后续修改或重新配置形成变换模块36的模块56到64中的一者或一者以上以精细化由变换模块36产生的3D视频内容48的基础。此精细化可依据定性度量70与定量度量70两者引起3D视频数据44的改善的重放。
控制单元34还包括先前关于图1的实例未展示的两个额外模块：离线处理模块72及用户接口模块74。离线处理模块72表示大体上关于属性(例如，照明类型及照明方向、对象反射率、纹理效果及氛围效果)执行图像(或视频帧)的描述符的统计分析及模型化的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。这些描述符可包含遵照定义用于多媒体内容描述符的标准的MPEG-7标准(有时称作多媒体内容描述接口)的描述符。在任何情况下，描述符大体上可表示定义通过视频数据描绘的视觉特征的描述的数据。通常，描述符描述这些视觉特征的基本特性，例如与这些特征相关联的形状、色彩、纹理或运动。
用户接口模块74表示呈现用户接口的一个或一个以上硬件模块或硬件与软件模块的组合，移动装置12的操作者与所述用户接口互动以输入并接收来自移动装置12的数据。通常，用户接口模块74将图形用户接口(GUI)呈现给内部显示器54，内部显示器54可将GUI提供给用户。在一些例子中，内部显示器54可包含所谓的“触控式屏幕”，用户可通过所述“触控式屏幕”与内部显示器54互动以输入定义由GUI呈现的各种项目的选择的数据。在此意义上，与内部显示器54在图2的实例中与用户接口模块74分离的示范性描绘相反，可将内部显示器54视为用户接口模块74的一部分。
最初，移动装置12的操作者可与由用户接口模块74呈现的用户接口介接，以选择一个或一个以上源，所述一个或一个以上源包括操作者希望经由一个或一个以上目的地显示器显示的视频内容。这些源可包括视频俘获装置50及本地存储模块52，以及经由无线接口32A及有线接口32B(“接口32”)以通信方式耦合到移动装置12的源装置，例如图1的实例中所展示的源装置14，其经由无线通信信道13以通信方式耦合到接口32。目的地显示器可包含内部显示器54及以通信方式耦合到接口32的一个或一个以上目的地显示装置，例如图1的实例中所展示的目的地显示装置16，其经由无线通信信道15以通信方式耦合到接口32。
在选择一个或一个以上源之后，操作者还可与此用户接口或由用户接口模块74呈现的另一用户接口介接，以选择由选定源存储的特定内容。举例来说，操作者可选择源装置12作为视频内容的源。响应于此，用户接口模块74可与源装置12介接以确定由源装置14存储于存储模块18内的内容20及22。用户接口模块74可接着更新当前用户接口或呈现借以显示可用于由目的地重放的内容20、22的另一用户接口。操作者可与所呈现的用户接口互动以选择2D视频内容20及3D视频内容22中的一者或一者以上。出于说明的目的，假定操作者选择2D视频内容20。
在选择2D视频内容20之后，操作者可与当前用户接口、先前用户接口或另一用户接口介接，以选择一个或一个以上目的地。此外，出于说明的目的，假定操作者与此目的地用户接口互动以输入选择显示装置16的数据。在选择显示装置16作为由源装置14存储到存储模块18的选定的2D视频内容20的目的地后，用户接口模块74即刻接收指示所述选择的此数据，且指示适当接口32开始接收选定的2D视频内容20并传送经由由变换模块36进行的2D视频内容20的变换而产生的3D视频内容48。用户接口模块74还可与参数发现模块38介接以向参数发现模块38指示选定的目的地，以使得参数发现模块38可根据本发明中所描述的技术与适当目的地介接以确定参数76。
移动装置12的操作者还可与先前用户接口、当前用户接口或可能的由用户接口模块74呈现的不同用户接口介接，以输入指定一个或一个以上用户偏好78(“用户偏好78”)的数据。用户偏好78可包括优势眼偏好、对比度偏好、清晰度偏好、色调偏好、色温偏好，或与视频数据的显示有关的任何其它偏好。用户偏好78还可包括音频偏好(例如，环绕声偏好及音量偏好)，且所述技术不应限于仅视频用户偏好。用户接口模块74将这些用户偏好78转发到HVS反馈模块40，所述HVS反馈模块40可根据本发明中所描述的技术在配置或重新配置变换模块36时使用这些偏好78。
在任何情况下，在选择源装置12及目的地显示装置16及潜在的存储到源装置12的内容20及22中的一者或一者以上之后，参数发现模块38可与选定的目的地(例如，显示装置16)介接以确定参数76。参数发现模块76可(例如)经由遵照所注明的HDMI标准的有线接口32与显示装置16介接。使用HDMI标准的各种方面，参数发现模块76可确定参数76，例如由文件格式模块27支持以用于接收3D视频内容的输入文件格式。其它参数76包括上文所注明的与显示器30的各种能力或参数有关的参数，例如所支持的分辨率、当前分辨率、显示大小、所支持的色温、当前色温，或与显示器30及视频解码有关的任何其它参数(包括由视频解码器28支持的编解码器)。
如下文更详细描述，参数发现模块38还可被特征化为无线显示器(WD)主机，其代管借以无线地发现这些参数的会话。通常，当实施这些无线显示器主机技术时，参数发现模块38实施称作“无线HDMI”或“WHDMI”的形式的HDMI。
在发现参数76之后，参数发现模块38可与变换模块36的显示格式模块64介接以配置显示格式模块64，以便根据由选定的目的地显示装置16的文件格式模块27支持的文件格式适当地格式化3D视频数据。参数发现模块38可自动地执行参数76(其包括输入文件格式)的发现与显示格式模块64的配置两者。
如上文所注明，术语“自动地”的使用通常表明执行表示为自动地发生的那些动作无需操作者介入。然而，此术语的使用并不意味着暗示：起始所注明的自动操作可不需要操作者或用户输入。为了说明，考虑其中操作者与各种用户接口互动以选择源、内容及装置的上述实例。与用户接口的互动并不减损确定参数76及显示格式模块64的自动性。因为在上述实例中不需要用户提供指定参数发现模块38确定这些参数76且接着配置显示格式模块64的任何输入或数据，所以操作者可能不知晓这些自动操作。就此来说，从操作者的观点来说，因为操作者未主动地指示执行这些操作，所以可将自动操作解释为显而易见地发生。
参数发现模块38可经由应用程序编程接口(API)调用来配置显示格式模块64，参数发现模块38可通过所述应用程序编程接口(API)调用来指定显示装置16的所确定的输入文件格式。在接收2D视频内容20之前，HVS反馈模块40还可与预处理模块56、2D到3D处理模块58、后处理模块60、再现模块62及显示格式模块64介接，以基于用户偏好78而配置这些模块56到64。举例来说，用户偏好78中的一者可定义优选清晰度，HVS反馈模块40可在配置2D到3D处理模块58时利用所述优选清晰度。HVS反馈模块40可利用优选清晰度作为2D到3D处理模块58计算在清晰图像不连续性下的深度值的准确度的指示。在另一实例中，用户偏好78中的一者可定义会聚平面的优选位置或优选深度范围，HVS反馈模块40可在配置再现模块62时利用会聚平面的所述优选位置或所述优选深度范围。HVS反馈模块40可利用优选会聚平面位置或深度范围来调整模块62的再现参数。
在任何情况下，参数发现模块38与HVS反馈模块40两者可配置变换模块36的模块56到64中的一者或一者以上。变换模块36一旦经配置便可接收2D视频内容20，2D视频内容20可包含单视图或多视图2D视频数据。单视图2D视频数据可包含来自单一视频俘获装置的单视图拍摄。多视图2D视频数据可包含来自多个视频俘获装置的多视图拍摄。通常，多视图2D视频数据实现所述多个视图中的任一者的重放且观看者通常可在重放期间在所述多个视图之间切换，然而，2D显示装置通常并不将所述多个视图中的两者或两者以上彼此同时地呈现。
预处理模块56通常接收2D视频内容20。离线处理模块72并不接收2D视频内容，而是以下文关于图3所描述的方式来支持预处理模块56。简要来说，离线处理模块72通常实施如上文所注明的借以执行统计分析及模型化以产生用于供预处理模块56使用的模型的各种算法。
预处理模块56接收2D视频内容20且确定关于形成2D视频内容20的各种图像或帧的全局信息。此全局信息可与2D视频内容20的单一图像或帧或若干图像或帧有关。举例来说，全局信息可定义氛围效果(例如，指示雨、雪、风等的存在的信息)。预处理模块56还可确定2D视频内容的给定图像或帧的局部信息。用以确定所述局部信息的此局部处理可涉及确定与以下各者有关的信息：边缘的位置及强度、边缘的分类、对象的分段、照明属性的检测，及感兴趣的区域的检测。在预处理并确定全局及局部信息之后，预处理模块56将2D视频内容20以及全局及局部信息转发到2D到3D处理模块58。
2D到3D处理模块58处理所接收的2D视频内容20以提取深度信息。2D到3D处理模块58可基于由预处理模块56确定的全局及局域信息而提取深度信息。举例来说，2D到3D处理模块58可从几何线性信息(例如，通过预处理模块56所确定的信息而定义的边缘信息)提取深度信息。2D到3D处理模块58可实施若干深度提取算法以(例如)从以下各者提取深度信息或值：几何结构及运动、聚焦/散焦、着色及阴影，及上文所注明的几何线性信息。2D到3D处理模块58可合并经由这些算法中的一者或一者以上所提取的深度以产生深度图。所述深度图可将深度值指派给2D视频内容20的每一图像或帧的每一像素，借以产生3D视频数据，2D到3D处理模块58将所述3D视频数据转发到后处理模块60。
后处理模块60接收由2D到3D处理模块58产生的此3D视频数据且修改所述3D视频数据以精细化深度图。举例来说，后处理模块60可修改深度图，以改善所得的经变换的3D视频内容48在经由显示装置16显示时的可视化的质量。此修改可涉及全局地使深度图平滑或选择性地修改对应于深度图的帧中的感兴趣的特定区域的深度信息。在以此方式精细化深度图之后，后处理模块60将经精细化的3D视频数据转发到再现模块62。
再现模块62接收经精细化的3D视频数据且针对需要一个或一个以上视图的情形(例如在显示装置16的所确定的输入格式为多视图串流格式时或显示装置16以其它方式支持多个“2D+深度(z)”视图时的状况)而模型化3D场景。在此视图再现之后，再现模块62将潜在的多视图3D视频数据转发到显示格式模块64，显示格式模块64进行根据由显示装置16支持的经配置的输入文件格式而格式化多视图3D视频数据以产生经变换的3D视频内容48。显示格式模块64接着将经变换的3D视频内容48转发到显示装置16以用于呈现给观看者。
当以上文所描述的方式变换2D视频内容20时，HVS反馈模块40与显示装置16介接以检索由显示装置16的视频解码器28输出的3D视频数据44。HVS反馈模块40接着执行经解码的3D视频数据44的定性及定量评估。更具体来说，定性评估模块66执行与经解码的3D视频数据44的可视化质量有关的定性评估，以确定度量70(可称作“定性度量70”)中的一者或一者以上。此可视化质量还可包括给定观看者在观看3D视频数据44时的舒适度(如通过用户偏好78定义)。为了说明，考虑右眼优势观看者在观看3D视频数据44时喜欢用其右眼。在此状况下，定性评估模块66可分析3D视频数据44以确保右眼串流比左眼串流有利。即，如果观看者为右眼优势，则定性评估模块66可在确定给定帧或图片群组的总度量时将右眼串流度量高于左眼串流度量而加权。
定量评估模块68可执行3D视频数据44的定量分析以确定度量78(其可称作“定量度量78”)中的一者或一者以上。举例来说，定量评估模块68可评估由后处理模块60、再现模块62及显示格式模块64中的一者或一者以上产生的3D视频数据的一个或一个以上帧中的对象的深度与大小之间的关系。定量度量78可包括对象的深度与大小之间的此关系作为一个度量。其它定量度量78可包括与基于深度图像的再现有关的度量，例如，过滤功效度量、可见不连续性度量及内插功效度量。定量度量78还可包括在深度的正规化中有用的度量。定量度量78因此可包括与以下各者有关的至少一个度量：通过3D视频数据定义的对象的深度与大小之间的关系、3D视频数据的深度不连续性与平均区域色彩不连续性之间的关系、过滤功效度量、内插功效度量、在深度的正规化中有用的度量，及与测量沿着时间的深度不连续性有关的度量。定量评估模块68可进一步测量由模块60到64产生的视频数据的沿着时间的深度不连续性，且执行大量其它形式的定量分析。
使用定性评估模块66及/或定量评估模块68，HVS反馈模块40可执行大量的分析。如上文部分注明，此分析可涉及测量及调整由模块56到64中的一者或一者以上产生或从显示装置16接收作为3D视频数据44的3D视频数据的给定帧或图像中的任一对象的深度与大小之间的关系。所述分析还可涉及测量沿着时间的深度不连续性、阴影或着色效果、背景对比度及空间频率。
基于这些度量，HVS反馈模块40可接着基于度量70而确定配置数据80且与变换模块36的模块56到64中的一者或一者以上介接，以重新配置这些模块56到64以便精细化经变换的3D视频内容48的所感知的视觉质量。除基于度量70而确定配置数据80外，HVS反馈模块40还可基于参数发现模块38可转发到HVS反馈模块40的参数76而确定配置数据80。此外，HVS反馈模块40可确定或以其它方式定制配置数据80以适应用户偏好78。因此可根据广泛多种度量、参数及偏好来确定配置数据80。
作为一个实例，HVS反馈模块80可定制配置数据80以修正缺乏眼追踪功能性的显示装置的聚焦线索。聚焦线索包含针对不同焦距描述跨越给定帧的图像的明确度的数据。在此实例中，参数76可指示显示装置16缺乏眼追踪功能性。在此情形下，为了修正聚焦线索(其可包含HVS借以解译聚焦的在3D视频内容48中的线索)，HVS反馈模块40可确定用于2D到3D处理模块58及/或再现模块62的配置数据80，以便约束由2D到3D处理模块58执行的深度提取及/或约束由再现模块62进行的多视图再现的深度解译。
HVS反馈模块40可基于指示显示装置16的显示器30的大小的参数76而产生此配置数据80，这是因为聚焦可取决于视场及标准观看距离，视场与标准观看距离两者可从显示器的大小来导出。聚焦还可取决于眼间隔(其通常经定义为左眼与右眼之间的距离)且用户偏好78可存储标准眼间隔偏好。HVS反馈模块80因此可存取用户偏好78与参数76两者以产生配置数据80，以便修正不具有借以提供上述反馈(例如，实际观看距离、实际眼位置，及实际眼间隔)的眼追踪机构的显示装置30中的聚焦误用线索。
如果可经由显示装置16利用眼追踪，则HVS反馈模块40可经由HVS反馈模块40借以接收3D视频内容44的同一接口接收此反馈。此机构可为耦合到显示装置16的外部装置。或者，此眼追踪机构可整合于显示装置16内。名称“眼追踪”在一些实例中可为误称，这是因为所述机构无需追踪眼移动但可更大体上追踪每一用户的位置，在所述状况下，可导出观看距离及眼位置。
在一些例子中，HVS反馈模块40可产生配置数据80，以按不同方式修正眼镜式立体显示器及裸眼式立体显示器的聚焦线索。显示装置16为眼镜式立体显示装置(需要例如快门式眼镜等额外观看设备来适当地呈现3D视频数据的显示装置)还是裸眼式立体显示装置(不需要额外观看设备来适当地呈现3D视频数据的显示装置)可由参数发现模块38来确定且作为参数38中的一者来存储。
考虑称作“体积型显示器”的特定类型的裸眼式立体显示器(其再次可经由参数38中的一者来指示)。体积型显示器可能不能够呈现用于多个同时视点(其中每一视点用于一不同观看者)的真实光场。因此，这些体积型显示器在用作裸眼式立体显示器时通常无法正确地呈现视图相依的照明(例如，遮蔽、单向反射及反射)。HVS反馈模块40可配置变换模块36的各种模块56到64以校正观看位置，以便改善体积型显示器的立体感知。
眼镜式立体显示器与裸眼式立体显示器之间的其它差异可担保不同配置且HVS反馈模块40可基于这些参数78而定制配置数据80。举例来说，在裸眼式立体显示器与眼镜式立体显示器之间通常存在深度感知与深度性能之间的差异。HVS反馈模块40可基于这些装置能力或参数差异而以不同方式定制配置数据80。
如上文所注明，HVS反馈模块40可基于显示装置18的不同形状因数(且更特定来说，显示器30的大小)而定制配置数据80以约束聚焦线索。内部显示器54通常具有远小于外部显示装置16的显示器30的形状因数的形状因数，且这些不同形状因数可暗示建置及显示立体图像的方式的差异。此外，形状因数可指示观看观众量的潜在的大小，其中较小形状因数可表明单一观看者，而较大显示器可表明多个观看者。HVS反馈模块40可产生配置数据80以便考虑这些不同形状因数。
具体来说，在一个实例中，HVS反馈模块40可充分利用HVS的已知方面来基于形状因数产生配置数据80。在一个方面中，通过人眼的空间及聚焦分辨率来规定最佳立体像素分布。给定人眼的此已知限制，则HVS反馈模块40基于显示器的类型(眼镜式立体或裸眼式立体，包括此两种类型的3D显示技术的不同子类别)及显示器的大小而确定特定空间及聚焦分辨率。HVS反馈模块40可接着产生用于2D到3D处理模块56的配置数据80以修改深度处理。
HVS反馈模块40还可基于关于显示装置16的观看者的特定视轴线或观看角度而精细化或潜在地最优化如通过度量70中的一者指示的空间频率。此视轴线或观看角度可通过3D视觉数据44来提供，或参数发现模块38可与显示装置16介接以发现作为参数76中的一者的此视轴线或观看角度(因为其与整合于显示装置16内的眼或观看者追踪设备有关)。HVS反馈模块40还可利用指定当前显示分辨率的参数76中的一者或一者以上，这是因为此显示分辨率可影响聚焦线索。HVS反馈模块40可接着基于这些参数76而产生配置数据80。
在另一实例中，HVS反馈模块40可产生配置数据80以精细化或潜在地最优化基于深度图像的再现(DIBR)。HVS反馈模块40可分析3D视频数据44及由后处理模块60、再现模块62及显示格式模块64产生的3D视频数据以精细化DIBR的各种方面。在一个例子中，HVS反馈模块40分析此视频数据44或由模块60到64中的一者或一者以上产生的视频数据，以确保深度维度的适当过滤，以最小化且可能潜在地消除视觉假象。常常，深度过滤精细化涉及特定显示技术或能力，所述特定显示技术或能力再次可由参数发现模块38发现且因此经由参数76中的一者或一者以上而知晓。为了说明，考虑归因于未经深度过滤的再现而产生的可见不连续性潜在地在相减式显示器中大得多，这是因为这些显示器可使来自背光的直接照明可见。HVS反馈模块40因此可产生配置数据80以调整深度过滤，以便考虑不同显示能力。
HVS反馈模块40还可基于与用于填充孔的目的(例如，内插，其可在调整2D视频内容20的分辨率以适应当前分辨率时出现)的过滤有关的度量70而产生配置数据80以精细化DIBR的各种方面。过滤可包含高斯过滤或基于边缘的过滤。HVS反馈模块40还可基于与特定文件格式(例如，称作P3D的文件格式)有关的度量70而产生配置数据80以精细化DIBR，以便使特定像素的深度值强制为零(其中预期在给定图像或帧中发生遮蔽)。
仍关于精细化DIBR，HVS反馈模块40可基于与阴影效果及着色有关的度量70而产生配置数据80，以便使用可见相邻像素增加区域中的阴影效果/着色。HVS反馈模块40还可增大边缘以经由高频增强(HFE)精细化DIBR，以最小化归因于深度过滤而产生的模糊，所述模糊往往使边缘不连续性平滑。另外，HVS反馈模块40可通过产生配置数据80来精细化DIBR，以促进深度图的动态范围再成形，借此此配置数据80扩大较高深度值且压缩较低深度值。在一些例子中，HVS反馈模块40可基于给定观看者的HVS的感知力或灵敏度(如通过用户偏好78中的一者定义)而调制扩大及压缩的范围。
还可通过HVS反馈模块40产生配置数据80而发生此DIBR精细化，所述配置数据80基于与眼偏好或优势有关的用户偏好78中的一者或一者以上而调整DIBR。为了说明，考虑：针对任一视图，观看者可为左眼优势或右眼优势，且观看者可将此优势作为用户偏好78中的一者来指示。值得注意的是，观看者可经历经由用户接口呈现的测试以确定优势或可仅选择所述优势。在任何情况下，HVS反馈模块40可产生配置数据80，其基于与眼优势、灵敏度或感知力差异有关的用户偏好78中的若干偏好而调整各种视图，以使得视图在沿着视轴线+/-20度或高达50度的范围内细化以获得高达120色彩像素密度(cpd)的优良立体像素分辨率。在适当的情况下，HVS反馈模块40可产生配置数据80以采用不对称质量，以便改善深度感知，其中此不对称质量表示左眼视图的所感知质量与右眼视图的所感知质量不对称或不相等。
在又一实例中，HVS反馈模块40可基于与眼灵敏度有关的用户偏好78以及与内容类型、照度级及其类似者有关的度量70中的一者或一者以上而产生配置数据80以正规化深度。由HVS反馈模块40进行的深度的正规化也可取决于最大深度，所述最大深度是基于视频数据44及与场景改变、内容类型及构成(例如，如果存在处于无限焦距下的对象)有关的度量70来确定。由HVS反馈模块40进行的深度的正规化除了取决于与再现方法有关的定量度量70外还可取决于参数76(例如，显示器类型)。
在另一实例中，HVS反馈模块40可产生配置数据80以精细化3D可视化，以便最小化压力(例如，眼疲劳及恶心)。在一些方面中，HVS反馈模块40可产生配置数据80以最优化3D可视化，以便最小化压力(例如，眼疲劳及恶心)。HVS反馈模块40可约束深度以最小化压力，基于场景中的对象的类型而执行选择性深度提取，对场景中感兴趣的特定对象执行用于特定深度提取的选择性深度再现，或仅提取高于特定置信等级的深度值。以此方式，HVS反馈模块40可基于度量70、参数76及用户偏好78而产生配置数据40，且重新配置变换模块36的一个或一个以上模块56到64以便精细化(如果不可能改善或甚至最优化)2D视频内容20到3D视频内容48的变换。
变换模块36的经重新配置的模块56到64可接着继续根据配置数据80将2D视频内容20变换成3D视频内容48。变换模块36可接着在此动态重新配置之后开始将经精细化的3D视频内容48转发到显示装置16，此后，显示装置16便可经由显示器30呈现此经精细化的3D视频内容48以供一个或一个以上观看者消耗。此反馈机构，在此反馈机构中，HVS反馈模块40可在2D视频内容20到3D视频内容48的整个变换期间继续以便持续地精细化此视频数据，或在一些方面中最优化此视频数据，以用于在由操作者选择的特定平台(例如，显示装置16)上重放。就此来说，HVS反馈模块40可实现透明(从观看者的观点来说)的实时或近实时动态反馈，所述透明的实时或近实时动态反馈以定制3D视频内容48以用于在具体选定的显示装置(例如，显示装置16)上重放给特定观看者的方式精细化且潜在地改善(如果并不最优化)3D视频内容48，如通过用户偏好78定义。下文阐述HVS反馈模块40产生配置数据80且根据配置数据80重新配置变换模块36的模块56到64中的各种模块的实例。HVS反馈模块40还可实现透明(从观看者的观点来说)的实时或近实时动态反馈，所述透明的实时或近实时动态反馈可用以重新配置模块56到64，以使得计算复杂性降低同时保留根据用户偏好的可接受的3D视频质量。
图3为更详细地说明图2的移动装置12的变换模块38及离线处理模块72的框图。如图3的实例中所展示，模块56到62中的每一者包含执行2D或3D视频内容到经变换的3D视频内容48的变换的各种方面的额外单元。举例来说，预处理模块56包含至少三个全局处理单元82A到82C，其在图3的实例中展示为氛围效果检测单元82A(“氛围效果检测单元82A”)、场景改变检测单元82B及相机运动检测单元82C。将这些模块视为全局处理单元，这是因为其全局地分析2D视频内容20的整个帧或多个帧(例如)以检测相应的氛围效果、场景改变及相机运动。
预处理模块56还包括局部处理单元84A到84C，其分别每次处理用于单一帧内的相邻像素的给定区域的输入视频数据20或22(此处理被视为局部化或局部处理)，以检测感兴趣的区域(ROI)、边缘及对比度及/或照明。在图3的实例中，将这些局部处理单元84A到84C展示为ROI检测单元84A、边缘检测单元84B及对比度/照明检测单元84C(“对比度/照明检测单元84C”)。ROI检测单元84A表示检测ROI(例如，面部或人体)的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。边缘检测单元84B表示定位边缘并将其分类(例如，将边缘分类为限定实际对象的边界、分类为定义阴影边界，或分类为定义着色效果)的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。此分类还可涉及确定边缘的强度。对比度/照明检测单元84C表示检测照明属性的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。
虽然出于便于说明的目的在图3中未展示，但预处理模块56可包括额外的全局或局部处理单元。举例来说，预处理模块56可包括另一局部处理单元，其基于给定图像或帧的色度分量、所述图像或帧的色彩分量或所述图像或帧的色度分量与色彩分量两者而执行对象的分段。本发明中所阐述的技术因此不应限于图3中所展示的实例，而是可包括额外的全局及局部处理单元。可将由单元82A到82C及84A到84C提取的各种信息转发到2D到3D处理以促进深度提取。
2D到3D处理模块58包括用以执行多帧深度提取技术与单帧深度提取技术两者的若干单元。多帧深度提取单元包括相机模型化单元86A及移动对象模型化单元86B。相机模型化单元86A表示模型化几何结构及运动(例如，模型化俘获几何结构及运动的相机)以提取深度值的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。移动对象模型化单元86B表示将独立移动对象的背景分段以提取深度值的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。
单帧提取单元包括透镜模型化单元88A、遮蔽模型化单元88B、照明模型化单元88C及几何模型化单元88D。透镜模型化单元88A表示基于在给定帧或图像中检测到的聚焦及散焦线索而提取深度值的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。遮蔽模型化单元88B表示将给定帧或图像中的各种对象之间的遮蔽模型化或以其它方式检测给定帧或图像中的各种对象之间的遮蔽且基于这些遮蔽提取深度值的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。照明模型化单元88C表示基于所检测的阴影及着色效果而提取单一帧或图像的深度值的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。几何模型化单元88D表示基于单一帧或图像内的几何线性透视图的模型化而提取所述单一帧或图像的深度值的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。
如上文所注明，这些单元86A到86B及88A到88D中的许多单元依赖于由预处理模块56的单元82A到82C及84A到84C提取的信息。举例来说，照明模型化单元88C可使深度的提取基于由对比度/照明检测单元84C及边缘检测单元84B确定的对比度/照明信息。作为另一实例，遮蔽模型化单元88B可使用由边缘检测单元84B检测到的边缘信息来模型化遮蔽。作为又一实例，透镜模型化单元88A可使深度提取基于由边缘检测单元84B确定的边缘信息。作为另一实例，几何模型化单元88D可基于由边缘检测单元84B确定的边缘信息而提取深度值。相机模型化单元86A及移动对象模型化单元86B可基于由氛围效果检测单元82A、场景改变检测单元82B及相机运动检测单元82C确定的信息而提取深度值。以此方式，2D到3D处理模块58可从2D视频内容20与3D视频内容22两者提取深度值。
值得注意的是，针对多视图串流，变换模块36可包括多个2D到3D处理模块(例如，可调用多个2D到3D处理模块)以处理同时从多个俘获系统获取或俘获的一不同串流的每一帧。甚至针对单视图串流，变换模块36还可包含借以处理两个或两个以上连续帧或图像的多个2D到3D处理模块。在此单视图串流例子中，所述多个2D到3D处理模块中的每一者将提取特征点及用于这些点的描述符。这些描述符将接着用以设定不同帧中的特征点之间的对应性，其中对应点的位置将与由相机模型化单元86A实施的投影几何相机模型一起使用以提取深度值。
关于通过不同相机单元(每一相机位于一不同空间点处，具有相同或不同的相机参数)同时获取每一视图的多视图串流，2D到3D处理单元58可包括类似于透镜模型化单元88A的多个相机模型化单元。这些透镜模型化单元88A中的每一者处理一不同多视图的一帧，其中这些帧中的每一者是同时俘获。针对单视图串流，2D到3D处理单元58可调用相机模型化单元88A以每次处理所述单视图串流的单一图像或帧。
在使用多帧处理单元86A到86B及单帧处理单元88A到88D中的一者或一者以上确定深度值之后，2D到3D处理模块58可合并来自各种多帧及单帧处理单元86A到86B及88A到88D的深度值或以其它方式整合这些深度值，以针对给定视图串流(或，在多视图串流的状况下，针对所述视图串流中的每一者)的每一帧建立复合深度图。所述深度图将深度值指派给给定帧或图像的每一像素。关于“2D+深度”文件格式，作为一个实例，将每一帧的深度图表示为灰阶图像，其中所述灰阶图像的每一8位像素值定义帧中的对应像素的深度值。
HVS反馈模块40可产生配置数据80以配置2D到3D处理模块，以便约束由多帧及单帧深度提取处理单元86A到86B及88A到88D中的一者或一者以上进行的深度提取。作为一个实例，HVS反馈模块40可产生配置数据80以配置相机模型化单元86A，以使得用以模型化相机系统的线性方程式体系通过使用来自其它单元(例如，单元86B及88A到88D)的结果而消除歧义且加速，以约束一组有效对应点。
HVS反馈模块40还可产生配置数据80以影响由多帧及单帧处理单元86A到86B及88A到88D产生的深度图的合并。举例来说，2D到3D处理模块58可使用加权平均合并函数来合并这些深度图，所述加权平均合并函数将不同权重指派给所述所确定或所提取的深度图中的每一者。HVS反馈模块40可产生配置数据80以修改或配置这些权重以调整所得复合深度图。此调整可改善经变换的3D视频内容48的可视化质量，或以其它方式降低与观看经变换的3D视频内容48相关联的压力。
在以此方式处理2D视频内容20之后，2D到3D处理模块58将2D视频内容20及所述所产生的一个或一个以上(如在多视图串流的状况下)复合深度图转发到后处理模块60。后处理模块60包括深度感知单元90，其修改所述所得一个或一个以上深度图以精细化经变换的3D视频内容48的可视化质量。在一些例子中，深度感知单元90修改所述所得一个或一个以上深度图以改善经变换的3D视频内容48的可视化质量。深度感知单元90可在代表变换模块36的模块56到64的管线中引入一单元，借此HVS反馈模块40可进行调解以精细化深度图。为了说明，深度感知单元90可表示HVS反馈模块40可与之互动以加载配置数据80以使得HVS反馈模块40可在所述管线中进行调解以执行深度图的后处理的接口。
在一个实例中，HVS反馈模块40可产生用于深度感知单元90的配置数据80，以便配置深度感知单元90以执行以下操作：全局地使深度图跨越多个帧或整个3D视频数据而平滑，及/或选择性地修改由ROI检测单元84A识别的感兴趣的特定区域的深度信息。在另一实例中，HVS反馈模块40可基于配置深度感知单元90以执行以下操作的参数76而产生配置数据80：修改及约束深度值的范围，以使得这些值经定制以用于特定显示器(例如，显示装置16)。在另一实例中，HVS反馈模块40可基于配置深度感知单元90以执行以下操作的度量70而产生配置数据80：动态地修改深度图以促进经变换的3D视频数据的定量改善。
在精细化所述一个或一个以上深度图之后，后处理模块60将2D视频内容及所述一个或一个以上经精细化的深度图转发到再现模块62。再现模块62包括3D模型化单元92、照明模型化单元94(“照明模型化单元94”)及内插单元96。3D模型化单元92、照明模型化单元94及内插单元96中的每一者表示模型化3D场景的各种方面以便实现从2D视频内容20产生一个或一个以上额外视图的一个或一个以上硬件模块，所述一个或一个以上硬件模块中的一些硬件模块可执行软件。
3D模型化单元92可利用来自后处理模块60的深度图来促进3D场景的产生及一个或一个以上额外视图的后续产生。照明模型化单元94可利用由照明模型化单元88C及/或对比度/照明检测单元84C确定的照明信息来促进3D场景的产生及一个或一个以上额外视图的后续产生。内插单元96可利用2D视频数据的像素信息来促进3D场景的产生及一个或一个以上额外视图的后续产生。就此来说，再现模块62产生额外视图以便实现从单视图2D视频内容20产生呈多视图串流格式的3D视频内容。
虽然为便于说明而未将显示格式模块64展示为包含类似于模块56到62的额外单元，但显示格式模块64可调用各种单元以根据由参数发现模块38确定的输入文件格式98格式化从再现模块62接收的3D视频数据。在一个实例中，显示格式模块64调用色彩交错单元，以按不同色彩分量(在需要时，例如，根据互补色(anaglyph)文件格式)交错不同视图。作为另一实例，显示格式模块62调用空间交错单元以按不同像素位置交错不同视图。当产生多个视图时，显示格式模块64可调用在时间上多路复用各种视图以用于帧切换式显示的多视图单元，所述帧切换式显示可通过配置数据80来指示且经由参数76中的一者而获悉。除显示格式要求外，HVS反馈模块40还可基于配置显示格式模块64以强调、过滤或大体上修改3D视频串流的度量70及/或用户偏好78而产生配置数据80。
离线处理模块72大体上可关于训练集合的各种属性执行训练集合的各种帧或图像的特定描述符的统计分析及模型化。各种属性可包括照明的类型及照明的方向、对象反射率、纹理及氛围效果。离线处理模块72通过建立供预处理模块56的各种单元82A到82C及84A到84C使用的一个或一个以上模型来提供对预处理模块的支持。
离线处理模块72包括机器学习单元100以执行统计分析及模型化。机器学习单元100可定义且模型化一考虑归因于着色而产生的跨越边缘的强度变化的描述符(作为一个实例)或一考虑由阴影造成的跨越边缘的强度变化的描述符(在另一实例中)。在另一实例中，机器学习单元100可定义且模型化一考虑在特定照明条件下的场景中的对象的反射率属性的描述符。
机器学习单元100使用训练集合(图3中未展示)离线地模型化每一描述符的统计行为。此训练集合可由一组图像组成，所述组图像是在影响每一描述符的属性的所有潜在变化下获得。由机器学习单元100在使用训练集合经历训练之后建立的模型因此俘获描述符针对给定情况条件(例如，给定照明方向)为特定值的概率。统计行为的模型接着由预处理模块56的单元在线使用。预处理模块56利用这些模型来确定以下情况的最大似然性：针对从预处理模块56当前正处理的所述一个或一个以上图像或帧获得的给定描述符的特定值，场景的条件为特定条件(例如，特定照明方向)。
可将这些模型不仅扩展到照明相关情况，而且扩展到场景中的氛围效果(霾、雨、雪等)或纹理变化。所述描述符还可为局部的(如果其俘获像素的邻域内的信息)或全局的(如果其俘获整个图像的信息)。所述模型可使用马尔可夫随机场(Markov randomfield)俘获若干描述符之间的关系的统计行为。就此来说，离线处理模块72可通过产生供预处理模块56使用的模型的机器学习单元100来支持预处理模块56。值得注意的是，机器学习单元100可接收新训练集合，所述新训练集合可实现改善的模型化及后续变换。
图4A及4B为说明移动装置(例如，图2的移动装置12)在实施本发明中所描述的技术的各种方面时的实例操作的流程图。首先参看图4A，移动装置12的控制单元34内所包括的用户接口模块74最初可呈现一用户接口，移动装置12的用户或其它操作者可与所述用户接口互动以输入定义用户偏好78的数据。用户接口模块74接收定义用户偏好78的此数据且将用户偏好78转发到HVS反馈模块40以用于配置或重新配置变换模块36(102)。
用户接口模块74还可呈现同一用户接口或另一用户接口，用户可与所述同一用户接口或另一用户接口互动以选择一个或一个以上源装置及一个或一个以上目的地装置。用户接口模块74可接着接收选择一个或一个以上源装置(例如，图1的实例中所展示的源装置14)及一个或一个以上目的地装置(例如，外部显示装置16)的数据(104)。基于这些选择，用户接口模块74可与无线接口32A及有线接口32B中的各种接口介接，以分别与所述选定的一个或一个以上源装置(例如，源装置14)及所述选定的一个或一个以上目的地装置(例如，外部显示装置16)建立通信链路或信道13及15。在确保建立这些信道13及15之后，用户接口模块74可接着与参数发现模块38介接以起始关于显示装置16的能力的参数76的发现。
参数发现模块38以上文所描述的方式经由已建立的通信信道15与显示装置16介接以确定参数76(106)。参数发现模块38可将这些参数76转发到HVS反馈模块40，HVS反馈模块40又可在配置或重新配置变换模块36时使用这些参数76。参数76中的一者可包含由外部显示装置16支持的一个或一个以上输入文件格式以接受2D及/或3D视频内容。参数发现模块38可与变换模块36(且，更具体来说，显示格式模块64)介接以根据所确定的输入文件格式配置显示格式模块64，以格式化经变换的3D视频数据48(108)。或者，HVS反馈模块40可与显示格式模块64介接，以按上文关于参数发现模块38所描述的方式配置显示格式模块64。HVS反馈模块40还可与其它模块56到62介接，以最初基于参数76及用户偏好78而配置变换模块36的这些模块56到62，以便根据用户偏好78定制用于由外部显示装置16呈现的3D视频内容48的产生。
变换模块36一旦经配置便经由通信信道13与源装置12介接，以从源装置12检索2D及/或3D视频内容20、22(110)。在接收到(例如)2D视频内容20后，变换模块36即刻将2D视频内容20的视频数据转换成3D视频内容48，所述3D视频内容48是根据所确定的输入文件格式而格式化(112)。变换模块36接着将根据所确定的输入文件格式而格式化的3D视频数据作为3D视频内容48输出，移动装置12将3D视频内容48转发到显示装置16(114、116)。
参看图4B，在接收到3D视频内容48的至少一部分之后，显示装置16通过移除输入文件格式化标头来解封装所接收的3D视频内容48以产生经译码的3D视频数据50。显示装置16接着解码经译码的3D视频数据50以产生3D视频数据44，显示装置16经由显示器30向一个或一个以上观看者呈现3D视频数据44以供其消耗。当呈现此视频数据44时且当变换模块36将2D视频内容20转换成3D视频内容48时，HVS反馈模块40与显示装置16介接以检索视频数据44(118)。
如上文所描述，HVS反馈模块40(且，更具体来说，HVS反馈模块40的定性评估模块66)分析经解码的视频数据44以确定如上文所描述的定性度量70，其中这些定性度量70描述经解码的视频数据44的可视化质量(119)。HVS反馈模块40还可使用定量评估模块66来确定定量度量70，定量度量70在定量方面描述经解码的视频数据44的质量。基于这些度量70，HVS反馈模块40重新配置变换模块36的模块56到64以精细化经解码的视频数据44的可视化质量(120)。
HVS反馈模块40还可使模块56到64的此重新配置基于度量70、参数76及用户偏好78中的两者或两者以上的组合。举例来说，给定与用户的优选对比度等级有关的用户偏好78中的一个特定用户偏好，则HVS反馈模块40可鉴于此优选对比度等级来分析度量78(例如，所感知的对比度等级)，且产生精细化3D视频内容48的后续产生的配置数据，以使得视频数据44展现接近(如果不等于)所述优选对比度等级的对比度等级。HVS反馈模块40还可鉴于参数76来分析度量78以便精细化3D视频内容48的产生，以使得从后续视频数据44进行的度量78分析关于通过参数78定义的特定显示能力得以改善。在一些例子中，可以上述方式使用度量70、参数76及用户偏好78全部三者以产生3D视频内容48的后续产生，所述3D视频内容48是在给定参数76及用户偏好78的情况下相对于度量70而精细化。
在以上文所描述的方式重新配置变换模块36之后，变换模块36继续将2D视频内容20转换成3D视频内容48(122)。变换模块36接着输出3D视频内容48，所述3D视频内容48包含根据所确定的输入格式而格式化的3D视频数据(124)。移动装置12将3D视频内容48转发到外部显示装置16(126)。上述过程可以可特征化为一反复过程的此方式继续，以使得针对反复中的每一者，相对于定义视频数据44的可视化的所感知质量的度量70来精细化视频内容48(118到126)。
虽然上文关于HVS反馈模块40分析经解码的3D视频数据来描述，但HVS反馈模块40或者可分析经译码的3D视频数据。此外，显示装置16可包括其自身的类似于HVS反馈模块40的HVS反馈模块，其分析经译码的3D视频数据或经解码的3D视频数据。以此方式，显示装置16可自身分析3D视频数据且将通过其自身的HVS反馈模块确定的所述一个或一个以上度量转发到HVS反馈模块40，所述HVS反馈模块40可使用这些度量来调整视频数据到3D视频数据的变换。所述技术因此不应限于此方面。
图5为说明实施本发明中所描述的技术的各种方面的实例移动装置128的框图。移动装置128可大体上类似于图1的移动装置12。虽然关于特定装置(例如，移动装置128)来描述所述技术，但所述技术可由任一类型的装置实施，包括上文注明为能够实施关于移动装置12所描述的技术的各种方面的那些其它装置。
类似于图2的实例中所展示的移动装置12，移动装置128包括无线接口32A、有线接口32B、视频俘获模块50、本地存储模块52及用户接口模块74。无线接口32A、有线接口32B、视频俘获模块50及本地存储模块52中的每一者可为视频数据及/或内容的“源”(即，提供视频数据及/或内容)，且由于此原因，其可大体上被称作“源”。这些源可提供视频数据130，所述视频数据130可包含2D视频数据或3D视频数据(其可包括2D视频数据+额外深度信息，或2D视频数据+额外深度及遮蔽区信息，或2D视频数据+深度、遮蔽区及全局效果信息)。
移动装置128还包括图像/视频处理单元132、图像/视频编码器单元134、图像/视频缓冲器单元136、显示处理单元138、内部显示器140、无线显示器(WD)主机单元142，及无线显示接口144。图像/视频处理器单元132表示处理视频数据130以产生3D视频数据146的硬件单元或组合硬件与软件单元。图像/视频编码器单元134表示根据由图像/视频编码器单元134支持的一个或一个以上编解码器中的一者编码视频数据146以产生经编码的视频数据148的硬件单元或硬件单元与软件单元的组合。虽然展示为编码器，但图像/视频编码器单元134还可执行解码。编码器单元134输出存储到图像/视频缓冲器单元136的经编码的视频数据148，所述图像/视频缓冲器单元136可包含存储器或存储装置(例如，上文所描述的存储器与存储装置两者的实例)。
在一些例子中，移动装置128提供借以在在内部显示器140上本地预览3D视频数据146的预览模式，所述内部显示器140可包含发光二极管(LED)显示器、有机LED(OLED)显示器、阴极射线管显示器、等离子显示器、液晶显示器(LCD)或任一其它类型的显示器。在此预览模式中，图像/视频处理单元132可产生预览视频数据150A、150B(“预览视频数据150”)。预览视频数据150A可包含形成3D视频数据146的右眼透视图的右眼视频数据。预览视频数据150B可包含形成3D视频数据146的左眼透视图的左眼视频数据。当视频俘获装置50包含3D视频俘获装置时，此3D视频俘获装置50可产生右眼视频数据150A与左眼视频数据150B两者，图像/视频处理单元132可将所述右眼视频数据150A与所述左眼视频数据150B转发到显示处理单元138。
显示处理单元138表示处理经缓冲的视频数据152以根据由外部显示装置中的一者或一者以上(例如，外部显示装置154A到154N(“外部显示装置154”)中的一者或一者以上)支持的输入格式而格式化经缓冲的视频数据152的硬件单元或硬件单元与软件单元的组合。显示处理单元138可将此经格式化的经缓冲的视频数据152作为3D视频内容156输出。显示处理单元138可包括借以确定由外部显示装置154中的一者或一者以上支持的输入文件格式的显示格式接口(DFI)，出于便于说明的目的，在图5中未展示所述显示格式接口(DFI)。
显示处理单元138还可接收预览视频数据150中的一者或一者以上且格式化此预览视频数据150以用于由内部显示器140呈现。显示处理单元138可将此经格式化的预览视频数据150A、150B作为预览视频内容158A、158B(“预览视频内容158”)输出，内部显示器140可与将3D视频内容156输出到外部显示装置154中的一者或一者以上同时而将预览视频内容158A、158B中的一者或两者呈现给移动装置128的用户。
在内部显示器140支持3D视频内容重放的例子中，预览视频数据150可包含显示处理单元138进行格式化以用于由内部显示器140显示或呈现的3D视频数据。在内部显示器140支持3D视频内容重放与2D视频内容重放两者的例子中，图像/视频处理单元132可基于以下各者而确定将预览视频数据150作为2D视频数据还是作为3D视频数据产生：用户偏好、应用类型(例如，2D视频数据通常对于电子邮件/文本来说优选，而计算机图形(CG)通常再现为3D视频数据)、操作功率模式、可用电池电力，及通常影响此类型的决策的其它偏好、度量及参数。
图像/视频处理单元132、图像/视频编码器单元134及显示处理单元138可包含以下各者中的一者或一者以上：例如执行存储到计算机可读媒体的一个或一个以上指令的通用处理器(其可称作计算机处理单元或CPU)的处理器、数字信号处理器(DSP)、图形处理单元(GPU)，或任一其它类型的处理器。或者，图像/视频处理单元132可包含专用硬件，例如现场可编程门阵列(FPGA)及专用集成电路(ASIC)。在一些例子中，可将专用硬件与一个或一个以上处理器两者组合以提供本发明中关于单元132、134及138所描述的各种操作。
虽然上文描述根据由外部显示装置154支持的输入文件格式而格式化经缓冲的视频数据152以产生3D视频内容156，但显示处理单元138一股仅支持用于有线接口的文件格式，例如HDMI、DVI及其它有线文件格式。特定来说，考虑到迄今为止尚不存在任何正式或标准化的无线文件格式，显示处理单元138不可支持无线文件格式。然而，WD主机单元142可支持无线显示文件格式且提供到这些无线显示器的接口以便确定外部显示装置154中的一者或一者以上是否支持无线文件格式。WD主机单元142因此可表示提供借以确定由外部显示装置154中的一者或一者以上支持的无线显示格式的接口且接着根据所确定的无线显示格式而格式化经缓冲的3D视频数据152的硬件单元或硬件单元与软件单元的组合。因此，WD主机单元142可通过使移动装置128能够根据由一个或一个以上外部显示装置154支持的无线文件格式无线地发射3D视频内容来促进跨平台重放。
WD主机单元142可(例如)实施上文所描述的WHDMI或WMDDI协议以确定关于外部显示装置154中包含无线显示器的那些显示装置的能力的无线显示参数，包括所支持的无线文件格式。WD主机单元142可接收来自显示处理单元138的经缓冲的3D视频数据152，根据无线输入文件格式中的一个所确定的无线输入文件格式而格式化或重新格式化(在显示处理单元138最初格式化此数据的状况下)经缓冲的3d视频数据152，且将3D视频内容156返回到显示处理单元138。显示处理单元138将此3D视频内容156转发到无线显示接口144，所述无线显示接口144可包含无线接口32B中的一者，但出于说明的目的而展示为分离的。无线显示接口144接着将此3D视频内容156转发到外部显示装置154中的一者或一者以上。
虽然展示为包括于移动装置128内，但WD主机单元142可驻留于移动装置128外部且经由无线接口32A或有线接口32B中的一者与移动装置128介接。当WD主机单元142位于移动装置128外部时，WD主机单元142可包含类似于无线显示接口144的无线显示接口或促进与WD客户端单元(其更详细描述于下文中)的通信的另一类似接口。在一些例子中，WD主机单元142可包含由显示处理单元138执行以便显示处理单元138执行无线文件格式化的软件模块。就显示处理单元138包括上述例子中用以执行WD主机单元142的硬件来说，可将WD主机单元142视为包括硬件单元与软件单元两者。
在一些例子中，WD主机单元142可识别选定的目的地装置(例如，外部显示装置154)中的两者支持不同的无线文件格式。在此例子中，WD主机单元142产生根据第一确定的无线文件格式而格式化的第一3D视频内容156及根据第二确定的无线文件格式而格式化的第二3D视频内容156。无线显示接口144接着将第一及第二3D视频内容156转发到外部显示装置154中的适当者。因此，虽然在图5的实例中展示为仅发送单一3D视频内容156，但3D视频内容156可包含第一及第二版本或，更大体来说，3D视频内容156的多个版本，其中每一版本是根据不同的无线文件格式而格式化。
一种无线格式可包含充分利用例如实时输送协议(RTP)的输送协议来将3D视频内容的视频数据区段、音频数据区段及深度数据区段封装于多个包中的一不同者中的格式。此外，所述格式可充分利用此输送协议来封装对应于遮蔽信息及/或全局效果信息的额外信息区段，如下文关于图8的实例所展示。WD主机单元142包括输送单元158，其实施此输送协议以将3D视频内容156的各种区段封装于多个包中的一不同者中。在将各种区段封装到不同包之后，输送单元158将用于增强3D视频内容156的重放的元数据添加于所述多个包中的一者的标头中的任选数据字段内。此元数据可定义促进额外视图的再现的参数及促成特定显示器上的重放的参数。元数据还可定义用户偏好，例如所要的对比度、清晰度、色温、2D或3D屏幕分辨率，及2D或3D重放格式(加左右黑边(pillared box)、拉伸、原始状态等)。
在根据涉及输送协议的此文件格式而格式化3D视频数据152之后，WD主机单元142可将所得3D视频内容156转发到无线显示接口144，所述无线显示接口144将所述包发射到外部显示装置154中的一者或一者以上。当无线显示接口144将此内容156发射到外部显示装置154中的两者或两者以上时，所述发射可称作3D视频内容156的“WD多播”。在任何情况下，此发射可与经由内部显示器140进行的预览视频数据150的显示同时发生。通常，将预览视频数据150与3D视频内容156的呈现同步。或者，可在由外部显示装置154中的一者或一者以上进行的3D视频内容156的呈现之前发生预览视频数据150的呈现。
图6为说明移动装置(例如，图5的实例中所展示的移动装置128)在执行本发明中所描述的技术的各种方面时的实例操作的流程图。最初，移动装置128的用户或其它操作者可与由用户接口模块74呈现的用户接口互动，以输入选择视频内容的一个或一个以上源及外部显示装置154中支持无线视频内容递送的一者或一者以上(其可称作“外部无线显示装置”)的数据。用户接口模块74因此接收选择所述一个或一个以上源及外部无线显示装置154中的一者或一者以上的数据(162)。用户接口模块74将外部无线显示装置154中的选定的一者或一者以上的所述选择转发到WD主机单元140。
WD主机单元140接着经由无线显示接口(例如，无线显示接口144)与外部无线显示装置154中的所述选定者介接，以确定定义外部无线显示装置154中的所述选定者的一个或一个以上能力的参数(164)。这些参数可类似于由参数发现模块38发现的参数76。一个实例参数可包括由外部无线显示装置154中的所述选定者支持的无线输入文件格式。
同时，图像/视频处理单元132可接收来自选定源32A、32B、50及52中的一者或一者以上的视频数据130(166)。依据源50(其在图5中展示为“视频俘获装置50”)，视频俘获装置50可包含具有两个图像传感器的立体相机，所述两个图像传感器同时俘获同时入射于所述两个传感器上的图像以提供给定图像(或在视频俘获的状况下，图像系列)的两个视点。
视频俘获装置50可以若干方式来以同步方式俘获视频数据。在第一方式中，使用通过缓冲器进行的快速串行俘获或并行俘获中的任一者经由同一存储器总线接收源自所述两个传感器的数据。在串行俘获的状况下，图像/视频处理单元132考虑在深度提取期间的两个不同视图的串行俘获之间的时间偏移。在第二方式中，经由不同存储器总线接收源自所述两个传感器的数据以避免当在所述两个传感器之间共享单一总线时出现复杂化。在第三方式中，源自所述两个传感器的数据通常呈流式传输格式，且写入到显示缓冲器以在嵌入式或外部显示器上预览。
在此预览模式中，通常可仅预览所述两个2D视点中的一者，或换句话说，可预览来自所述两个传感器中的一者的数据串流，以节省存储器带宽及/或电力。经由用户接口模块74输入的用户偏好可指示是2D还是3D(例如，一个视点或两个视点被发送到显示处理器)。可针对给定视频记录或图像俘获会话实时地或近实时地键入用户输入或可将用户输入指定为一股偏好。用户偏好也可基于给定应用而指示是以2D来呈现数据还是以3D来呈现数据，以使得(如上文所描述)2D用于文本、电子邮件及网页浏览且3D用于摄录一体机及媒体播放器。图像/视频处理单元132可基于可用电池电力或电源管理设定(在具有或无用户输入/介入的情况下，无用户输入/介入可称作“自动地”发生)而确定是将视频数据130变换成2D视频数据还是3D视频数据。
在3D预览的状况下(其中，内部显示器140以3D来呈现预览视频数据150)，显示处理单元138可接收作为两个单独串流(例如，预览视频数据150A及150B)的两个视点的原始(未经压缩)3D或图像数据。显示处理单元138还可接收直接来自传感器的2D视频数据130及来自图像/视频处理单元132、图像/视频编码器单元134或来自3D经译码图像/视频文件的3D深度信息。显示处理单元138还可接收来自3D编码图像/视频文件(例如，存储到本地存储模块52)的经压缩的3D数据，所述经压缩的3D数据可经由有线接口或无线接口32A、32B而串流到外部显示装置154中的一者。在此状况下，如果启用显示器镜射，则内部显示器140可获得来自传感器/信号处理器的未经压缩但经处理的视频串流。任选地，内部显示器140可仅再现2D图像(例如，预览视频数据150中的一者)。显示处理单元138还可接收来自视频俘获装置50的单一传感器的2D数据，其中图像/视频处理单元132可包含类似于图2中所展示的变换模块36的2D到3D变换模块58的2D到3D处理模块，其将2D数据转换成3D数据。
在任何情况下，图像/视频处理单元132可将所接收的视频数据130变换成3D视频数据或以其它方式精细化3D视频数据以产生3D视频数据146及潜在的预览视频数据150(167)。图像/视频处理单元132接着将此数据转发到3D图像/视频编码器，所述3D图像/视频编码器编码3D视频数据146以输出经编码的3D视频数据148。图像/视频缓冲器单元136缓冲或以其它方式存储经编码的3D视频数据148，且显示处理单元138从图像/视频缓冲器单元136检索经缓冲的视频数据152以用于根据输入文件格式进行格式化。显示处理单元138(如上文所注明)还可接收预览视频数据150，且与经缓冲的3D视频数据152的格式化同时地将此视频数据格式化以用于显示于内部显示器140上。
然而，给定显示处理单元138可能不支持用于将3D视频数据152递送到外部无线显示器154中的所述选定者的无线3D文件格式，则显示处理单元138将数据152转发到WD主机单元142。WD主机单元142接着以上文所描述的方式根据所确定的参数制备3D视频数据152(168)。特定来说，WD主机单元142可根据由外部无线显示装置154中的所述选定者中的一者或一者以上支持的无线3D文件格式而格式化3D视频数据152。
WD主机单元142接着将所制备的3D视频数据转发回到显示处理单元138，所述显示处理单元138将此所制备的3D视频数据(其还可称作“3D视频内容156”)转发到无线显示接口144。无线显示接口144与外部无线显示装置154中的所述选定的一者或一者以上介接，以将此所制备的3D视频数据156无线地发射到外部无线显示装置154中的此一者或一者以上(170)。
或者，如上文所注明，WD主机单元142可与无线显示接口144整合，此后显示处理单元138将经缓冲的3D视频数据152转发(不执行任何格式化)到无线显示接口144。在此例子中，WD主机单元142根据由外部无线显示装置154中的所述选定者支持的所确定的无线文件格式而格式化经缓冲的3D视频数据152。无线显示接口144接着将此所制备的3D视频数据156转发到外部无线显示装置154中的所述选定者。
图7为说明已根据本发明中所描述的技术的各种方面而格式化的3D视频内容(例如，关于图5的实例所展示的3D视频内容156)的框图。特定来说，WD主机单元142的输送单元158已根据RTP而格式化3D视频内容156。输送单元158接收经缓冲的3D视频数据152，所述经缓冲的3D视频数据152包含若干不同部分172A到172N(“部分172”)。这些部分可包含经缓冲的3D视频数据152的一部分，且可对应于数据152的一帧、一片段、一图片群组、一个或一个以上宏块、一个或一个以上块、一个或一个以上像素值或任一其它部分，而不管是经定义的(例如，通过标头或其它标记定义)还是未经定义的。虽然未展示，但缓冲器单元136还可缓冲音频数据，所述音频数据可与经缓冲的视频数据152一起转发。
部分172中的每一者可包含经缓冲的视频数据152的各种区段，包括视频区段174A到174N(“视频区段174”)与深度区段176A到176N(“深度区段176”)两者，以及经缓冲的音频数据的区段178A到178N(“音频区段178”)。输送单元158为这些部分172中的每一者指派对应时间戳记180A到180N(“时间戳记180”)，其在图7的实例中展示为“TS1”到“TS N”。输送单元158接着将区段174、176及178中的每一者与指派给驻留区段174到178中的每一者的部分172中的对应一者的时间戳记180中的对应一者一起封装。
举例来说，输送单元158将时间戳记180A“TS1”指派给驻留区段174A到178A的部分172A。输送单元158接着将区段174A、176A及178A中的每一者与时间戳记180A“TS1”一起封装，从而产生图7的实例中所展示的经封装的区段。此封装可符合RTP。输送单元158还可根据RTP将区段174到178中的每一者与其它标头信息一起封装，以形成含有区段174到178中的一不同者的包，而且，产生上文所描述的元数据并将元数据嵌入于这些包中的每一者的标头中，此情形关于图8更详细描述于下文中。
关于RTP及根据RTP的包的形成的更多信息可见于以下意见请求(RFC)中：日期为1998年1月的题为“用于MPEG1/MPEG2视频的RTP有效负载格式(RTP PayloadFormat for MPEG1/MPEG2Video)”的RFC2250；日期为1999年12月的题为“RTP有效负载格式规范的作者指南(Guidelines for Writers of RTP Payload FormatSpecification)”的RFC2736；日期为2000年11月的题为“用于MPEG-4音频/视觉串流的RTP有效负载格式(RTP Payload Format for MPEG-4Audio/Visual Streams)”的RFC3016；日期为2003年7月的题为“RTP：用于实时应用的输送协议(RTP：A transportProtocol for Real-Time Applications)”的RFC3550；日期为2003年11月的题为“用于MPEG-4基本串流的输送的RTP有效负载格式(RTP Payload Format for Transport ofMPEG-4Elementary Streams)”的RFC3640；日期为2005年2月的题为“用于H.264视频的RTP有效负载格式(RTP Payload Format for H.264Video)”的RFC3984；及日期为2009年10月的题为“用于具有MPEG环绕多通道音频的基本串流的RTP有效负载格式(RTP Payload Format for Elementary Streams with MPEG Surround Multi-ChannelAudio)”的RFC5691，所述RFC中的每一者以全文引用的方式并入本文中。
以此方式充分利用RTP来产生格式化为RTP串流的3D视频内容156可在以下意义上促进向后兼容性：仅2D显示装置可接收此3D视频内容156且仅呈现视频区段174而不考虑深度区段176。即，此仅2D显示装置可丢弃深度区段176或以其它方式不辨识深度区段176且仅呈现作为视频区段174发送的2D视频数据。就此来说，充分利用RTP的扩展性来递送与仅2D显示装置向后兼容的深度区段176的上述文件格式可通过此向后兼容性而促成跨平台3D视频重放。
图8A到8C为说明实例区段181A到181C的框图，在所述实例区段181A到181C中，已根据本发明中所描述的技术的各种方面而嵌入元数据。图8A为说明根据本发明中所描述的技术的各种方面存储深度元数据的实例区段181A的框图。区段181A包括有效负载类型字段182A(“有效负载类型182A”)、深度范围字段182B(“深度范围182B”)、深度分辨率字段182C(“深度分辨率182C”)、相机模型参数字段182D(“相机模型参数182D”)、最佳观看参数字段182E(“最佳观看参数182E”)及压缩类型字段182F(“压缩类型182F”)。
有效负载类型字段182A存储被存储到所述区段的数据(其在此实例中指示深度数据)的类型，所述数据还可称作“有效负载”以区别此数据与封装所述有效负载的标头数据。深度范围字段182B存储针对给定3D视频图像或视频的深度平面的宽度及大小的数据。深度平面的大小可与当前图像的大小相同或小于当前图像的大小。相机模型参数字段182D存储与非固有及固有相机模型参数有关的数据。最佳观看参数字段182E存储针对以下各者的数据：通过观看屏幕的大小及观看距离定义的观看角度，以及会聚平面、上文所注明的深度范围、亮度及若干其它有关参数。压缩类型字段182F存储描述用于视频或音频区段的有效负载中的压缩的类型的数据，其可指示JPEG、H.264或专属压缩算法。
图8B为说明根据本发明中所描述的技术的各种方面存储遮蔽元数据的实例区段181B的框图。区段181B包括有效负载类型字段184A(“有效负载类型184A”)、基线字段184B(“基线184B”)、遮蔽分辨率字段184C(“遮蔽分辨率184C”)及压缩类型字段182D(“压缩类型182D”)。有效负载类型字段184A存储被存储到所述区段的数据(其在此实例中指示遮蔽数据)的类型，所述数据还可称作“有效负载”以区别此数据与封装所述有效负载的标头数据。基线字段184B存储定义关于第一视图(当前图像已从所述第一视图获取)的位置而移位的水平距离的数据。遮蔽分辨率字段184C存储定义遮蔽平面的宽度及大小的数据，遮蔽平面的大小可与当前图像的大小相同或小于当前图像的大小。压缩类型184D可大体上类似于压缩类型182F。
图8C为说明根据本发明中所描述的技术的各种方面存储全局效果元数据的实例区段181C的框图。区段181C包括有效负载类型字段186(“有效负载类型186”)及多个参数188A到188N(“参数188”)。有效负载类型字段184A存储被存储到所述区段的数据(其在此实例中指示全局效果数据)的类型，所述数据还可称作“有效负载”以区别此数据与封装所述有效负载的标头数据。参数188存储对应于全局效果(例如，霾、雨、雪及烟)的数据。参数188中的每一者可与不同类型的全局效果有关且指定给定全局效果的类型、密度、位置及重复。参数188可存储此信息，以按类似于在计算机图形中描述这些全局效果的方式的方式来定义全局效果。
图9为说明无线显示器(WD)主机单元(图5的实例中所展示的WD主机单元142)在执行本发明中所描述的技术的格式化方面时的实例操作的流程图。最初，WD主机单元142可接收来自显示处理单元138的经缓冲的3D视频数据152及音频数据(200)。在接收到3D视频数据后，WD主机单元142的输送单元158即刻确定3D视频数据的视频区段及深度区段(202)，例如图7的实例的视频区段174及深度区段176(202)。同样，输送单元158确定音频数据的音频区段(例如，音频区段180)(204)。
输送单元158接着确定视频数据152及音频数据的部分172中的每一者的时间戳记180，如上文所描述(206)。输送单元158将部分172中的同一者的区段174到178与时间戳记180中的对应一者一起封装以形成包，也如上文所描述(208)。WD主机单元142可以上文所描述的方式确定元数据，此后输送单元158将所确定的元数据嵌入于所述包的标头中(210、212)。具有嵌入的元数据的所得包可类似于图8的实例中所展示的包。在嵌入元数据之后，输送单元158将所述包转发到无线装置接口144，所述无线装置接口144进行将所述包转发到外部无线显示装置154中的所述选定者(214)。
图10A到10E为说明各种系统216A到216E的框图，所述系统216A到216E实施本发明中所描述的技术的一个或一个以上方面以促成跨平台视频重放。更具体来说，图10A为说明系统216A的框图，所述系统216A包括外部WD主机单元218及外部WD客户端单元222，所述外部WD主机单元218与所述外部WD客户端单元222两者实施本发明中所描述的技术的各种方面。外部WD主机单元218可包含与系统216A的移动装置217介接的装置。移动装置217可类似于图5的移动装置128，但移动装置217不包括类似于移动装置128的WD主机单元142的整合式WD主机单元或内部WD主机单元。外部WD主机单元218可包含所谓的“硬件锁”，其经由类似于移动装置128的有线接口32B中的一者的有线接口与移动装置217介接。举例来说，外部WD主机单元218可经由通用系统总线(USB)或微型USB有线接口与移动装置217介接。
外部WD客户端单元222同样包含与系统216A的显示平台223介接的装置。类似于外部WD主机单元218，外部WD客户端222可包含所谓的“硬件锁”，其经由有线接口(例如，USB接口、复合音频/视频(A/V)接口、HDMI接口或任一其它有线接口)与显示平台223介接。
显示平台223可表示与系统216A的3D显示装置228介接的装置，例如数字视频光盘(DVD)播放器、音频/视频接收器、BlurayTM光盘播放器、多媒体播放器、数字视频记录器(DVR)，或提供用于与3D显示装置228介接的平台的任一其它装置。在一些例子中，显示平台223可包含个人计算机(例如，膝上型计算机或桌上型计算机)，或专用于执行2D到3D转换的装置。3D显示装置228可类似于图5的实例中所展示的外部显示装置154。虽然展示为与3D显示装置228分开，但显示平台223可整合到3D显示装置228中。
如上文所注明，迄今为止尚不存在借以将视频数据无线地转发到显示装置的任何标准化的无线显示协议。给定标准化的无线显示协议的此缺乏，则大多数显示平台(例如，显示平台223)不支持无线视频数据接收或发射。外部WD主机单元218及外部WD客户端单元222的使用可克服此限制。
为了说明，考虑移动装置217可为2D视频数据221的源，外部WD主机单元218可经由移动装置217与外部WD主机单元218之间的有线连接(上文所注明)接收所述2D视频数据221。外部WD主机单元218可与外部WD客户端单元222建立无线链路220且接着经由无线链路220建立会话。此会话可包含RTP会话。当外部WD主机单元218接收到2D视频数据221时，WD主机单元218根据由外部WD客户端单元222支持的无线显示协议格式化2D视频数据221。举例来说，WD主机单元218可通过根据图7的实例中所展示的文件格式而格式化2D视频数据221来制备2D视频数据218，但以下情况除外：2D视频数据221不包括任何深度区段，且因此所得的经格式化的数据不包括任何深度包，从而使得每一部分仅具有视频及音频区段。
外部WD主机单元218还可与外部WD客户端单元222介接，以确定定义显示平台223及/或3D显示装置228的能力的参数。外部WD主机单元218可与外部WD客户端单元222介接以请求这些参数。响应于此请求，外部WD客户端单元222可经由有线接口与显示平台223介接，以按上文所描述的方式(例如，使用WHDMI)发现显示平台223的能力。当显示平台223使用(例如)HDMI与3D显示装置228介接时，显示平台223还可能已发现3D显示装置228的参数。显示平台223可接着返回描述显示平台223及3D显示装置228中的一者或两者的能力的参数，外部WD客户端单元222将所述参数转发到外部WD主机单元218。外部WD主机单元218可接着基于这些参数而产生元数据且将此元数据嵌入到各种包的标头中，如上文所描述。
在任何情况下，WD主机单元218经由无线链路220将经格式化的2D视频数据221发射到外部WD客户端单元222。在接收到此经格式化的2D视频数据221后，外部WD客户端单元222可解封装各种区段以重新形成2D视频数据221，而且，提取嵌入于包标头中的元数据。外部WD客户端单元22接着将重新形成的2D视频数据221连同元数据一起转发到显示平台223。
如图10A的实例中所展示，显示平台223包括可类似于图2的2D到3D处理模块58及显示格式模块64的2D到3D处理模块224及显示格式模块226。虽然类似，但2D到3D处理模块224及显示格式模块64可具有较有限的特性在于：2D到3D处理模块224仅可支持特定3D视频数据(例如，与另一视图相对比的深度)的产生，且显示格式模块226仅可支持特定装置特定3D输入文件格式(例如，与多视图串流相对比的“2D+Z”)。虽然2D到3D处理模块224与显示格式模块226两者具有较有限的特性，但模块224与226两者可配置达特定程度且可利用经转发的元数据来改善从所接收的2D视频数据221产生3D视频内容227。3D显示装置228接收并呈现3D视频内容227。
2D到3D处理模块224可包含(作为一个实例)用于基于硬件或基于软件的媒体播放器的插件程序或其它软件模块。显示格式模块226也可包含(在一个实例中)用于基于硬件或基于软件的媒体播放器的插件程序或其它软件模块。显示格式模块226可执行显示格式交错，所述显示格式交错可为多视图显示所必要的。
如上文所描述，2D到3D处理模块224通过提取深度信息来将2D视频数据221转换成3D视频内容227的3D视频数据。此深度提取可涉及识别来自2D视频数据221的一个或一个以上帧的大型及小型特征且将其分段。深度提取还涉及将2D视频数据221分类成若干区域，例如背景区域、遮蔽区域及前景区域。一旦经分类，深度提取便基于2D视频数据221中的结构及运动而识别3D模型中的移动对象的位置及定位。深度提取的结果为用于2D视频数据221的2D图像(或帧)中的每一像素的深度值，其是作为用于每一帧的N位位图图像来存储。或者，可产生用于每一区域的深度图且在再现期间在运行中构成场景。
在采用经“2D+深度”格式化的3D视频内容227作为输入的眼镜式立体显示器的状况下，将深度图中的信息及2D视频数据221格式化成“2D+z”文件格式以输入到3D显示装置228。如果3D显示装置228的显示输入文件格式为多串流文件格式(其中视频的多个串流或视图封装于单一容器中)，则2D到3D处理模块224可基于2D视频帧及相关联的深度图而产生对应于2D视频数据221的一个或一个以上额外辅助视点(secondary viewpoint)。显示格式模块226接着取决于所需的观看角度、视图的数目及经定义以用于显示或由用户定义的其它参数(例如，作为元数据)而通过辅助视图交错原始2D视频数据或2D视频数据221。
图10B为说明系统216B的框图，所述系统216B包括外部WD主机单元218及内部WD客户端单元230，所述外部WD主机单元218与所述内部WD客户端单元230两者实施本发明中所描述的技术的各种方面。系统216B大体上类似于系统216A，但以下情况除外：显示平台223′包括内部WD客户端单元230(而不是如同图10A中的状况，与外部WD客户端装置介接，在图10A中，显示平台223与外部WD客户端单元222介接)。由于此原因，通过紧接于参考数字“223”之后的一个撇号来表示显示平台223′。内部WD客户端单元230可以大体上类似于外部WD客户端单元222的方式操作，但经由有线接口与显示平台223′介接除外。实情为，内部WD客户端装置230整合于显示平台223′内且借以避免在外部与显示平台223′介接。
图10C为说明另一系统216C的框图，所述系统216C包括外部WD主机单元218及外部WD客户端单元222，所述外部WD主机单元218与所述外部WD客户端单元222两者实施本发明中所描述的技术的各种方面。系统216C类似于系统216A，但系统216C的显示平台223″包括深度到多视图(Z到MV)处理模块234。为了指示此差异，通过在参考数字“223”之后的两个撇号来表示显示平台223″。系统216A与216C之间的另一差异在于：移动装置217输出根据“2D+z”文件格式而格式化的3D视频数据232。
移动装置217可接收来自上文所描述的所述源中的任一者的2D视频数据且非实时或实时或近实时地执行2D到3D处理。或者，移动装置217可接收3D视频内容且将3D视频内容变换成“2D+z”格式(如MPEG-C第3部分中所指定)。移动装置217可使用现有文件格式(例如，MP4)封装此3D视频数据232，所述现有文件格式已经修改以每一帧载运一额外包以用于深度图(或“z”)信息。用于深度包的封装标头可为文件格式规范中作为信息元素而经指定以用于用户数据的标头。使用此信息元素可实现与2D视频显示器的向后兼容性。此MP4无线显示协议中的深度包可经由时序/同步信息而与对应视频包相关联，或者，经由用于视频包的帧唯一识别信息(例如，序号)同样可用于所述相关联。
在系统216C中，外部WD主机单元218接收3D视频数据232且根据无线显示协议而格式化此数据232，从而产生类似于图7中所展示的3D视频数据的经格式化的3D视频数据232。WD主机单元218可在用于MP4文件的剖析器处截取3D视频数据232且检索视频、音频及深度包。WD主机单元218接着重新封装这些包与RTP标头以形成RTP串流，WD主机单元218经由实时流式传输协议(RTSP)将所述RTP串流流式传输到外部WD客户端装置222。可根据上文关于图7的实例所描述的格式化而格式化这些串流。实际上，WD主机单元218修改输送协议(例如，RTP)以载运“2D+z”3D视频数据232。
外部WD客户端单元222经由无线链路220接收这些串流，解封装所述串流以重新形成根据“2D+z”编码而编码的3D视频数据232且将此3D视频数据232转发到Z到MV处理模块234。Z到MV处理模块234通过从3D视频数据232再现多视图而将3D视频数据232从“2D+z”编码格式转换成多视图串流编码格式。显示格式模块226接着以上文所描述的方式交错这些多视图以产生3D视频内容236，3D显示装置228接收且呈现所述3D视频内容236以供一个或一个以上观看者消耗。
图10D为说明另一系统216D的框图，所述系统216D包括外部WD主机单元218及内部WD客户端单元230，所述外部WD主机单元218与所述内部WD客户端单元230两者实施本发明中所描述的技术的各种方面。如图10D中所展示，系统216D类似于系统216B在于：系统216B与21D两者包括移动装置217、外部WD主机单元218、内部WD客户端单元230及一个或一个以上3D显示装置228。然而，系统216D包括移动多媒体装置237，所述移动多媒体装置237包括内部WD客户端单元230，而在系统216B中，显示平台223′包括内部WD客户端单元230。由于此原因，通过在参考数字“223”之后的三个撇号来表示显示平台223以识别此差异。
移动多媒体装置237可包括移动多媒体处理器(图10D中未展示)，其包括内部WD客户端单元230及Z到图形处理单元(GPU)处理模块238(“Z到GPU处理模块238”)。所述多媒体处理器可包括GPU。在此意义上，可将WD客户端单元230及Z到GPU处理模块238视为代管于具有GPU的多媒体处理器上。Z到GPU处理模块238执行深度到多视图转换过程，以便将根据“2D+z”格式编码的3D视频数据232转换成多视图编码格式。内部WD客户端单元230与外部WD主机单元218可以与上文关于图10B的系统216B中的这些相同单元所描述的方式相同的方式彼此通信，唯一不同在于：所述通信涉及如关于图10C的系统216C所描述的3D视频数据232。
在任何情况下，内部WD客户端单元230接收根据无线显示协议而格式化的经封装的3D视频数据232，且解封装此经封装的3D视频数据232以重新形成3D视频数据232。内部WD客户端单元230将此数据232转发到Z到GPU处理模块238，所述Z到GPU处理模块238将GPU用作借以执行转换过程以产生根据多视图编码格式而格式化的3D视频数据242的通用计算引擎。将GPU用作通用计算引擎可涉及使用OpenCL，其包含用于撰写跨越由CPU及GPU组成的异质平台执行的程序的框架结构。OpenCL包括用于撰写在OpenCL装置上执行的函数的语言，加上用以定义且接着控制平台的应用程序设计器接口(API)。
Z到GPU处理模块238可使用GPU执行实时或近实时深度到多视图转换，且借以可实现与接受呈不同格式(例如，“2D+z”格式及多串流视频格式)的3D内容的异质显示器介接。举例来说，Z到GPU处理模块238可产生根据“2D+z”格式而格式化的3D视频数据240，3D显示器228A可直接接受所述3D视频数据240而无需显示平台223″进行介入处理。Z到GPU处理模块238还可产生根据多视图格式而格式化的3D视频数据241，且将此数据241转发到显示平台223″′。显示平台223″′的显示格式模块226可交错来自经多视图格式化的3D视频数据241的串流以产生3D视频数据242，3D显示装置228B可接收且呈现所述3D视频数据242。
图10E为说明另一系统216E的框图，所述系统216E执行本发明中所描述的技术的一个或一个以上方面。系统216E可类似于图10D的系统216D，但移动多媒体装置237′包括内部WD客户端单元230及2D到3D处理模块224除外。为了表示此差异，移动多媒体装置237′包括在参考数字“237”之后的一个撇号。
在任何情况下，移动装置217可将2D视频内容或3D视频内容244转发到外部WD主机单元218，所述外部WD主机单元218以上文所描述的方式根据无线显示协议封装此内容244且经由无线链路220将经格式化的内容244转发到内部WD客户端单元230。如果所述内容为2D视频内容244，则内部WD客户端单元230可接着将此数据244转发到2D到3D处理单元224以执行实时或近实时2D到3D转换(例如，深度提取)。如果显示器228A、228B中的一者或两者需要，则2D到3D处理模块224可将3D视频数据转发到Z到GPU处理模块238以产生经多视图格式化的3D视频数据，如上文所描述。或者，如果内部WD客户端单元230接收3D视频内容244且显示器228A、228B中的一者或两者需要多视图文件格式，则内部WD客户端单元230可将3D视频内容244转发到Z到GPU处理模块238，所述Z到GPU处理模块238产生根据多视图文件格式而格式化的3D视频数据241。
移动多媒体装置237′可接着将内容240转发到3D显示装置228A，如上文所描述。或者，移动多媒体装置237′可将3D视频数据241转发到显示平台223″′，如上文所描述。显示平台223″′(再次如上文所描述)可使用显示格式模块226交错多个视图且将所得3D视频内容242转发到3D显示装置228B。
在系统216E中，移动装置217可选择经由通过外部WD主机单元218及内部WD客户端单元230实施的无线显示协议来驱动2D或3D视频内容。如上文所注明，WD主机单元218与WD客户端单元230可交换描述连接到客户端的显示器(一个或一个以上，经由镜射)的参数，其中这些参数包括由这些显示器支持的3D内容格式。取决于无线链路220上的可用带宽，WD客户端单元230可执行2D到3D转换过程(而不是移动装置217执行所述过程)。在移动多媒体装置237′内执行转换还可促成较佳用户体验及视觉质量。此外，取决于3D显示器的参数，执行深度到多视图转换过程。另外，移动多媒体装置237′可执行从无线显示协议到显示格式的格式转换。
在所有系统216A到216E中，各种组件可利用WD主机及客户端单元来使传统上有线的显示器能够变成无线显示器或至少变成可经由无线连接存取。因此，各种内部及外部WD主机及客户端单元可通过将有线显示器转换成无线显示器而促成跨平台3D视频重放。此外，各种WD主机及客户端单元并不强制实行特定3D内容格式，而是仅提供借以高效率地无线地发射3D视频数据同时仍实现与仅2D显示装置的向后兼容性的无线显示输送协议。就此来说，各种内部及外部WD主机及客户端单元可进一步促成跨平台3D视频重放。
可以硬件、固件或其任一组合实施本文中所描述的技术。在一些例子中，硬件也可执行软件。描述为模块、单元或组件的任何特征可一起实施于整合式逻辑装置中或分离地实施为离散但可互操作的逻辑装置。在一些状况下，各种特征可实施为集成电路装置，例如集成电路芯片或芯片组。如果以软件实施，则可至少部分通过计算机可读媒体来实现所述技术，所述计算机可读媒体包含在执行时使处理器执行上文所描述的方法中的一者或一者以上的指令。
计算机可读媒体可形成计算机程序产品的一部分，其可包括封装材料。计算机可读媒体可包含计算机数据存储媒体，例如随机存取存储器(RAM)、同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪存储器、磁性或光学数据存储媒体及其类似者。另外或其它，所述技术可至少部分通过计算机可读通信媒体来实现，所述计算机可读通信媒体载运或传达呈指令或数据结构的形式的代码且可由计算机存取、读取及/或执行。
可由以下各者执行代码或指令：一个或一个以上处理器(例如一个或一个以上DSP)、通用微处理器、ASIC、现场可编程逻辑阵列(FPGA)或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构中的任一者或适合于实施本文中所描述的技术的任一其它结构。另外，在一些方面中，本文中所描述的功能性可提供于专用软件模块或硬件模块内。本发明还预期多种集成电路装置中的任一者，所述集成电路装置包括用以实施本发明中所描述的技术中的一者或一者以上的电路。此电路可提供于单一集成电路芯片中或所谓的芯片组中的多个可互操作的集成电路芯片中。这些集成电路装置可用于多种应用中，其中一些可包括用于无线通信装置(例如，移动电话手持机)中。
已描述本发明的各种实例。这些及其它实例在所附权利要求书的范围内。

Claims (39)

1.一种便携式装置，其包含：
用以存储视频数据的模块；
无线接口；
无线显示器主机模块，其：
使用无线显示协议通过所述无线接口与所述便携式装置外部的三维3D显示装置无线通信；
基于与所述3D显示装置的无线通信而确定所述3D显示装置的一个或多个显示参数；且
根据所述无线显示协议制备存储的视频数据，以基于确定的显示参数来产生3D视频数据；及
变换模块，其变换所述视频数据以产生所述3D视频数据，其中所述无线接口根据所述无线显示协议将所述3D视频数据无线地发射到所述外部3D显示装置；
呈现用户接口的用户接口模块，所述用户接口接收定义一个或多个用户偏好的输入数据；
人类视觉系统HVS反馈模块，其在所述变换模块变换所述视频数据时，使用HVS模型确定一个或多个度量，所述一个或多个度量关于人类视觉系统反映所产生的3D视频数据的3D可视化质量，其中所述度量包括基于所述一个或多个用户偏好的度量，
其中所述HVS反馈模块基于所述一个或多个度量以及定义的用户偏好来产生配置数据，并基于所述配置数据重新配置所述变换模块，以精细化所述3D视频数据的产生，从而使所述变换模块根据所述定义的用户偏好来产生所述3D视频数据。
2.根据权利要求1所述的便携式装置，其中所述无线显示器主机模块至少部分地通过根据所述显示参数中的一者或一者以上处理所述视频数据及与所述视频数据相关联的元数据中的一者或一者以上来制备所述视频数据。
3.根据权利要求1所述的便携式装置，其中所述存储的视频数据包括二维2D视频数据，
其中所述无线显示器主机模块自动地确定所述显示参数，且其中所述显示参数包括由所述3D显示装置支持的输入格式；且其中所述无线显示器主机模块根据所述自动确定的输入格式配置所述变换模块以使得所述变换模块产生所述3D视频数据。
4.根据权利要求1所述的便携式装置，其中所述无线显示协议包含输送协议，所述输送协议将所述3D视频数据的多个视频数据区段与多个深度数据区段中的每一者封装于多个包中的一不同者中。
5.根据权利要求4所述的便携式装置，
其中所述输送协议包含应用层输送协议，且
其中所述应用层输送协议包含实时输送协议RTP。
6.根据权利要求4所述的便携式装置，其中所述输送协议进一步封装与所述深度数据区段相关联的元数据。
7.根据权利要求1所述的便携式装置，其中所述无线接口将所述3D视频数据无线地发射到耦合到所述外部3D显示装置的无线显示器客户端模块，且其中所述无线显示器主机模块与所述无线显示器客户端模块两者支持无线显示协议。
8.根据权利要求1所述的便携式装置，
其中所述无线显示器主机模块自动地确定所述显示参数，且其中所述显示参数包括由所述3D显示装置支持的输入格式；且其中所述无线显示器主机模块根据所述自动确定的输入格式配置所述变换模块以使得所述变换模块产生所述3D视频数据。
9.根据权利要求8所述的便携式装置，其中所述输入格式包含“2D+深度”输入格式、“2D+深度、遮蔽及全局效果”输入格式及多视图串流输入格式中的一者，且
其中所述“2D+深度、遮蔽及全局效果”输入格式定义透明度、全局照明模型及氛围效果中的一者或一者以上。
10.根据权利要求8所述的便携式装置，其中所述用户接口模块呈现用户接口，所述用户接口接收从多个3D显示装置中选择所述3D显示装置的输入数据，其中所述无线接口根据所述无线显示协议与所选定的3D显示装置无线地通信以自动地确定所述显示参数。
11.根据权利要求1所述的便携式装置，其中在产生所述3D视频数据时，所述无线接口将所述3D视频数据发射到所述3D显示装置。
12.根据权利要求1所述的便携式装置，其中所述便携式装置包含移动蜂窝式电话、移动计算装置、便携式装置及手持机装置中的一者。
13.根据权利要求1所述的便携式装置，其中所述制备包含3D模型化、照明模型化和所述视频数据的内插中的至少一者。
14.一种处理视频数据的方法，其包含：
通过便携式装置存储视频数据；
使用无线显示协议与所述便携式装置外部的三维3D显示装置无线通信；
通过所述便携式装置的无线显示器主机模块，基于与所述3D显示装置的无线通信而确定所述3D显示装置的一个或多个显示参数；
通过所述无线显示器主机模块根据所述无线显示协议制备所述视频数据，以基于确定的显示参数来产生3D视频数据；
通过变换模块变换所述视频数据以产生所述3D视频数据；及
通过所述便携式装置，根据所述无线显示协议将所述3D视频数据发射到所述外部3D显示装置；
呈现用户接口，所述用户接口接收定义一个或多个用户偏好的输入数据；
通过人类视觉系统HVS反馈模块，在所述变换模块变换所述视频数据时，使用HVS模型确定一个或多个度量，所述一个或多个度量关于人类视觉系统反映所产生的3D视频数据的3D可视化质量，其中所述度量包括基于所述一个或多个用户偏好的度量；
通过所述HVS反馈模块基于所述一个或多个度量以及定义的用户偏好来产生配置数据；并
通过所述HVS反馈模块基于所述配置数据重新配置所述变换模块，以精细化所述3D视频数据的产生，从而使所述变换模块根据所述定义的用户偏好来产生所述3D视频数据。
15.根据权利要求14所述的方法，其中制备所述视频数据包含根据所述显示参数中的一者或一者以上处理所述视频数据及与所述视频数据相关联的元数据中的一者或一者以上。
16.根据权利要求14所述的方法，其中存储的视频数据包括二维2D视频数据，
其中确定所述一个或多个显示参数包含自动地确定所述一个或多个显示参数，且
其中所述显示参数包括由所述3D显示装置支持的输入格式，且
其中所述方法进一步包含根据所述自动确定的输入格式配置所述变换模块以使得所述变换模块产生所述3D视频数据。
17.根据权利要求14所述的方法，其中所述无线显示协议包含输送协议，所述输送协议将所述3D视频数据的多个视频数据区段与多个深度数据区段中的每一者封装于多个包中的一不同者中。
18.根据权利要求17所述的方法，
其中所述输送协议包含应用层输送协议，且
其中所述应用层输送协议包含实时输送协议RTP。
19.根据权利要求17所述的方法，其中所述输送协议进一步封装与所述深度数据区段相关联的元数据。
20.根据权利要求14所述的方法，其中发射所述3D视频数据包含将所述3D视频数据无线地发射到耦合到所述外部3D显示装置的无线显示器客户端模块，且其中所述无线显示器主机模块与所述无线显示器客户端模块两者支持无线显示协议。
21.根据权利要求14所述的方法，
其中确定所述一个或多个显示参数包含自动地确定所述一个或多个显示参数，且
其中所述显示参数包括由所述3D显示装置支持的输入格式，且
所述方法进一步包含根据所述自动确定的输入格式配置所述变换模块以使得所述变换模块产生所述3D视频数据。
22.根据权利要求21所述的方法，其中所述输入格式包含“2D+深度”输入格式、“2D+深度、遮蔽及全局效果”输入格式及多视图串流输入格式中的一者，且
其中所述“2D+深度、遮蔽及全局效果”输入格式定义透明度、全局照明模型及氛围效果中的一者或一者以上。
23.根据权利要求21所述的方法，其进一步包含：
呈现第一用户接口，所述第一用户接口接收从多个3D显示装置中选择所述3D显示装置的输入数据；及
与所选定的3D显示装置无线地通信以自动地确定所述显示参数。
24.根据权利要求14所述的方法，其中发射所述3D视频数据包含在产生所述3D视频数据时，将所述3D视频数据发射到所述3D显示装置。
25.根据权利要求14所述的方法，其中所述便携式装置包含移动蜂窝式电话、移动计算装置、便携式装置及手持机装置中的一者。
26.根据权利要求14所述的方法，其中所述制备包含3D模型化、照明模型化和所述视频数据的内插中的至少一者。
27.一种便携式装置，其包含：
用于存储视频数据的装置；
用于使用无线显示协议与所述便携式装置外部的三维3D显示装置无线通信的装置；
用于基于与所述3D显示装置的无线通信而确定所述3D显示装置的一个或多个显示参数的装置；
用于根据所述无线显示协议制备所述视频数据，以基于确定的显示参数来产生3D视频数据的装置；
用于变换所述视频数据以产生所述3D视频数据的装置；
用于根据所述无线显示协议将所述3D视频数据发射到所述外部3D显示装置的装置；
用于呈现用户接口的装置，所述用户接口接收定义一个或多个用户偏好的输入数据；
用于在变换所述视频数据时，使用人类视觉系统HVS模型确定一个或多个度量的装置，所述一个或多个度量关于人类视觉系统反映所产生的3D视频数据的3D可视化质量，其中所述度量包括基于所述一个或多个用户偏好的度量；
用于基于所述一个或多个度量以及定义的用户偏好来产生配置数据的装置；及
用于基于所述配置数据重新配置所述用于变换的装置，以精细化所述3D视频数据的产生，从而根据所述定义的用户偏好来产生所述3D视频数据的装置。
28.根据权利要求27所述的便携式装置，其中所述用于制备所述视频数据的装置包含用于根据所述显示参数中的一者或一者以上处理所述视频数据及与所述视频数据相关联的元数据中的一者或一者以上的装置。
29.根据权利要求27所述的便携式装置，其中存储的视频数据包括二维2D视频数据，其中用于变换的装置包含用于将所述2D视频数据变换成所述3D视频数据的装置，
其中所述用于确定所述一个或多个显示参数的装置包含用于自动地确定所述一个或多个显示参数的装置，且
其中所述显示参数包括由所述3D显示装置支持的输入格式，且
所述便携式装置进一步包含用于根据所述自动确定的输入格式配置所述用于变换的装置以使得所述用于变换的装置产生所述3D视频数据的装置。
30.根据权利要求27所述的便携式装置，其中所述无线显示协议包含输送协议，所述输送协议将所述3D视频数据的多个视频数据区段与多个深度数据区段中的每一者封装于多个包中的一不同者中。
31.根据权利要求30所述的便携式装置，
其中所述输送协议包含应用层输送协议，且
其中所述应用层输送协议包含实时输送协议RTP。
32.根据权利要求30所述的便携式装置，其中所述输送协议进一步封装与所述深度数据区段相关联的元数据。
33.根据权利要求27所述的便携式装置，其中所述用于发射所述3D视频数据的装置包含用于将所述3D视频数据无线地发射到耦合到所述外部3D显示装置的无线显示器客户端模块的装置，且其中无线显示器主机模块与所述无线显示器客户端模块两者支持无线显示协议。
34.根据权利要求27所述的便携式装置，其进一步包含：
其中所述用于确定所述一个或多个显示参数的装置包含用于自动地确定所述一个或多个显示参数的装置，且
其中所述显示参数包括由所述3D显示装置支持的输入格式；及
用于根据所述自动确定的输入格式配置用于变换的装置以使得用于变换的装置产生所述3D视频数据的装置。
35.根据权利要求34所述的便携式装置，其中所述输入格式包含“2D+深度”输入格式、“2D+深度、遮蔽及全局效果”输入格式及多视图串流输入格式中的一者，且
其中所述“2D+深度、遮蔽及全局效果”输入格式定义透明度、全局照明模型及氛围效果中的一者或一者以上。
36.根据权利要求34所述的便携式装置，其进一步包含：
用于呈现第一用户接口的装置，所述第一用户接口接收从多个3D显示装置中选择所述3D显示装置的输入数据；及
用于与所选定的3D显示装置无线地通信以自动地确定所述显示参数的装置。
37.根据权利要求27所述的便携式装置，其中所述用于发射所述3D视频数据的装置包含用于在产生所述3D视频数据时将所述3D视频数据发射到所述3D显示装置的装置。
38.根据权利要求27所述的便携式装置，其中所述便携式装置包含移动蜂窝式电话、移动计算装置、便携式装置及手持机装置中的一者。
39.根据权利要求27所述的便携式装置，其中所述用于制备的装置包含以下各者中的至少一者：用于3D模型化的装置；用于照明模型化的装置；以及用于内插所述视频数据的装置。
CN201080034960.XA 2009-08-06 2010-08-04 根据无线显示协议制备视频数据 Active CN102474662B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US23192109P 2009-08-06 2009-08-06
US61/231,921 2009-08-06
US12/779,661 US9131279B2 (en) 2009-08-06 2010-05-13 Preparing video data in accordance with a wireless display protocol
US12/779,661 2010-05-13
PCT/US2010/044469 WO2011017470A1 (en) 2009-08-06 2010-08-04 Preparing video data in accordance with a wireless display protocol

Publications (2)

Publication Number Publication Date
CN102474662A CN102474662A (zh) 2012-05-23
CN102474662B true CN102474662B (zh) 2015-07-08

Family

ID=43534527

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201080034960.XA Active CN102474662B (zh) 2009-08-06 2010-08-04 根据无线显示协议制备视频数据
CN201080034957.8A Expired - Fee Related CN102474661B (zh) 2009-08-06 2010-08-04 根据输送协议封装三维视频数据

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201080034957.8A Expired - Fee Related CN102474661B (zh) 2009-08-06 2010-08-04 根据输送协议封装三维视频数据

Country Status (7)

Country Link
US (2) US9131279B2 (zh)
EP (2) EP2462741A1 (zh)
JP (2) JP5571188B2 (zh)
KR (2) KR101331334B1 (zh)
CN (2) CN102474662B (zh)
BR (2) BR112012002261A2 (zh)
WO (2) WO2011017470A1 (zh)

Families Citing this family (108)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
CN101911124B (zh) * 2007-12-26 2013-10-23 皇家飞利浦电子股份有限公司 用于覆盖图形对象的图像处理器
US8180891B1 (en) 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
US9154942B2 (en) 2008-11-26 2015-10-06 Free Stream Media Corp. Zero configuration communication between a browser and a networked media device
US9026668B2 (en) 2012-05-26 2015-05-05 Free Stream Media Corp. Real-time and retargeted advertising on multiple screens of a user watching television
US9961388B2 (en) 2008-11-26 2018-05-01 David Harrison Exposure of public internet protocol addresses in an advertising exchange server to improve relevancy of advertisements
US9519772B2 (en) 2008-11-26 2016-12-13 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10880340B2 (en) 2008-11-26 2020-12-29 Free Stream Media Corp. Relevancy improvement through targeting of information based on data gathered from a networked device associated with a security sandbox of a client device
US10977693B2 (en) 2008-11-26 2021-04-13 Free Stream Media Corp. Association of content identifier of audio-visual data with additional data through capture infrastructure
US10419541B2 (en) 2008-11-26 2019-09-17 Free Stream Media Corp. Remotely control devices over a network without authentication or registration
US9386356B2 (en) 2008-11-26 2016-07-05 Free Stream Media Corp. Targeting with television audience data across multiple screens
US10631068B2 (en) 2008-11-26 2020-04-21 Free Stream Media Corp. Content exposure attribution based on renderings of related content across multiple devices
US10334324B2 (en) 2008-11-26 2019-06-25 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9986279B2 (en) 2008-11-26 2018-05-29 Free Stream Media Corp. Discovery, access control, and communication with networked services
US10567823B2 (en) 2008-11-26 2020-02-18 Free Stream Media Corp. Relevant advertisement generation based on a user operating a client device communicatively coupled with a networked media device
US9131279B2 (en) * 2009-08-06 2015-09-08 Qualcomm Incorporated Preparing video data in accordance with a wireless display protocol
US20110085023A1 (en) * 2009-10-13 2011-04-14 Samir Hulyalkar Method And System For Communicating 3D Video Via A Wireless Communication Link
KR101234495B1 (ko) * 2009-10-19 2013-02-18 한국전자통신연구원 화상회의 시스템을 위한 단말, 중계 노드 및 스트림 처리 방법
US8711204B2 (en) * 2009-11-11 2014-04-29 Disney Enterprises, Inc. Stereoscopic editing for video production, post-production and display adaptation
US9445072B2 (en) 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US10095953B2 (en) 2009-11-11 2018-10-09 Disney Enterprises, Inc. Depth modification for display applications
US8773430B2 (en) * 2009-12-09 2014-07-08 Thomson Licensing Method for distinguishing a 3D image from a 2D image and for identifying the presence of a 3D image format by feature correspondence determination
JP2011142585A (ja) * 2010-01-08 2011-07-21 Sony Corp 画像処理装置、情報記録媒体、および画像処理方法、並びにプログラム
US9398289B2 (en) * 2010-02-09 2016-07-19 Samsung Electronics Co., Ltd. Method and apparatus for converting an overlay area into a 3D image
US9164621B2 (en) * 2010-03-18 2015-10-20 Fujifilm Corporation Stereoscopic display apparatus and stereoscopic shooting apparatus, dominant eye judging method and dominant eye judging program for use therein, and recording medium
CN102860019B (zh) * 2010-04-28 2015-07-29 富士胶片株式会社 立体图像再生装置及方法、立体摄像装置、立体显示器装置
US9686673B2 (en) * 2010-05-18 2017-06-20 Electric Mirror, Llc Apparatuses and methods for streaming audio and video
US10462651B1 (en) * 2010-05-18 2019-10-29 Electric Mirror, Llc Apparatuses and methods for streaming audio and video
KR20110139497A (ko) * 2010-06-23 2011-12-29 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 방법
US20120005610A1 (en) * 2010-06-30 2012-01-05 Dirk Michael Schulze Methods, apparatus, systems and computer readable mediums for use in transfering information to and/or from user devices
KR101329506B1 (ko) * 2010-08-12 2013-11-13 엘지디스플레이 주식회사 영상표시장치
KR20120023431A (ko) * 2010-09-03 2012-03-13 삼성전자주식회사 깊이 조정이 가능한 2차원/3차원 영상 변환 방법 및 그 장치
US9035939B2 (en) * 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
WO2012060182A1 (ja) * 2010-11-05 2012-05-10 富士フイルム株式会社 画像処理装置、画像処理プログラム、画像処理方法、及び記憶媒体
US9224240B2 (en) * 2010-11-23 2015-12-29 Siemens Medical Solutions Usa, Inc. Depth-based information layering in medical diagnostic ultrasound
US9386294B2 (en) * 2011-01-05 2016-07-05 Google Technology Holdings LLC Method and apparatus for 3DTV image adjustment
KR101763944B1 (ko) * 2011-02-18 2017-08-01 엘지디스플레이 주식회사 영상표시장치
US20120212575A1 (en) * 2011-02-23 2012-08-23 Broadcom Corporation Gateway/stb interacting with cloud server that performs high end video processing
US8988512B2 (en) * 2011-04-14 2015-03-24 Mediatek Inc. Method for adjusting playback of multimedia content according to detection result of user status and related apparatus thereof
EP2709056B1 (en) 2011-05-11 2021-02-24 I-cubed Research Center Inc. Image processing device, image processing method, and recording medium that has recorded program
EP2525581A3 (en) * 2011-05-17 2013-10-23 Samsung Electronics Co., Ltd. Apparatus and Method for Converting 2D Content into 3D Content, and Computer-Readable Storage Medium Thereof
US9420259B2 (en) * 2011-05-24 2016-08-16 Comcast Cable Communications, Llc Dynamic distribution of three-dimensional content
US10007330B2 (en) 2011-06-21 2018-06-26 Microsoft Technology Licensing, Llc Region of interest segmentation
KR20130005153A (ko) * 2011-07-05 2013-01-15 삼성전자주식회사 3ｄ 영상변환장치, 그 구현방법 및 그 저장매체
JP5328852B2 (ja) * 2011-07-25 2013-10-30 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理方法、プログラム及び情報記憶媒体
US20130031589A1 (en) * 2011-07-27 2013-01-31 Xavier Casanova Multiple resolution scannable video
WO2013026048A2 (en) * 2011-08-18 2013-02-21 Utherverse Digital, Inc. Systems and methods of virtual world interaction
KR101680186B1 (ko) * 2011-08-30 2016-11-28 삼성전자주식회사 영상 촬영 장치 및 그 제어 방법
CN102325259A (zh) * 2011-09-09 2012-01-18 青岛海信数字多媒体技术国家重点实验室有限公司 多视点视频中虚拟视点合成方法及装置
US20130201305A1 (en) * 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
KR101918040B1 (ko) * 2012-02-20 2019-01-29 삼성전자주식회사 스크린 미러링 방법 및 그 장치
CN102629188A (zh) * 2012-03-19 2012-08-08 绍兴县鉴湖中学 一种无线hdmi显示器
WO2013143113A1 (en) * 2012-03-30 2013-10-03 Intel Corporation Techniques for media quality control
EP4198926A1 (en) 2012-05-10 2023-06-21 President And Fellows Of Harvard College Method and apparatus for automatically discovering, characterizing, classifying and semi-automatically labeling animal behavior and quantitative phenotyping of behaviors in animals
US8738826B2 (en) 2012-06-08 2014-05-27 Apple Inc. System and method for display mirroring
KR20150032253A (ko) * 2012-07-09 2015-03-25 엘지전자 주식회사 인핸스드 3d 오디오/비디오 처리 장치 및 방법
US20140115484A1 (en) * 2012-10-19 2014-04-24 Electronics And Telecommunications Research Institute Apparatus and method for providing n-screen service using depth-based visual object groupings
CN102970556B (zh) * 2012-12-03 2014-12-03 深圳市维尚视界立体显示技术有限公司 3dv 视频封装、播放方法及其系统
US9071866B2 (en) 2012-12-04 2015-06-30 Untethered, Llc Wireless video/audio signal transmitter/receiver
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
CN102984483B (zh) * 2012-12-18 2016-08-03 上海晨思电子科技有限公司 一种三维用户界面显示系统及方法
US9652192B2 (en) * 2013-01-25 2017-05-16 Qualcomm Incorporated Connectionless transport for user input control for wireless display devices
KR102029055B1 (ko) * 2013-02-08 2019-10-07 삼성전자주식회사 고차원 데이터의 시각화 방법 및 장치
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9483111B2 (en) 2013-03-14 2016-11-01 Intel Corporation Techniques to improve viewing comfort for three-dimensional content
US9571812B2 (en) 2013-04-12 2017-02-14 Disney Enterprises, Inc. Signaling warp maps using a high efficiency video coding (HEVC) extension for 3D video coding
CN105144768B (zh) * 2013-04-26 2019-05-21 英特尔Ip公司 频谱共享情境中的共享频谱重新分配
US20140355683A1 (en) * 2013-05-31 2014-12-04 Altera Corporation Data Encoding for Attenuating Image Encoders
US9264661B2 (en) 2013-06-07 2016-02-16 Apple Inc. Adaptive post-processing for mobile video calling system
EP2816761A1 (en) * 2013-06-17 2014-12-24 Thomson Licensing Wifi display compatible network gateway
TW201503668A (zh) * 2013-07-04 2015-01-16 Novatek Microelectronics Corp 影像顯示系統與其方法
CN104281425A (zh) * 2013-07-08 2015-01-14 联咏科技股份有限公司 图像显示系统与其方法
WO2015019656A1 (ja) * 2013-08-06 2015-02-12 株式会社ソニー・コンピュータエンタテインメント ３次元画像生成装置、３次元画像生成方法、プログラム及び情報記憶媒体
CN104427323B (zh) 2013-08-23 2016-08-10 鸿富锦精密工业（深圳）有限公司 基于深度的三维图像处理方法
US10212022B2 (en) * 2013-09-13 2019-02-19 Microsoft Technology Licensing, Llc Enhanced network virtualization using metadata in encapsulation header
US10373282B2 (en) 2013-11-18 2019-08-06 Samsung Electronics Co., Ltd. Method and system for controlling display parameters through multiple pipelines
US9423853B2 (en) * 2013-12-10 2016-08-23 Qualcomm Incorporated System and method for balanced user experience in a multimedia conferencing community
US9818174B2 (en) * 2014-09-24 2017-11-14 Microsoft Technology Licensing, Llc Streamlined handling of monitor topology changes
US10334223B2 (en) * 2015-01-30 2019-06-25 Qualcomm Incorporated System and method for multi-view video in wireless devices
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10341632B2 (en) * 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
CN105304067B (zh) * 2015-09-24 2017-11-28 武汉精测电子技术股份有限公司 一种发送mipi模组单幅画面控制代码的方法
JP7034069B2 (ja) 2015-10-14 2022-03-11 プレジデント・アンド・フェロウズ・オブ・ハーバード・カレッジ 動物行動の自動分類
US10909691B2 (en) 2016-03-18 2021-02-02 President And Fellows Of Harvard College Automatically classifying animal behavior
US10475186B2 (en) * 2016-06-23 2019-11-12 Intel Corportation Segmentation of objects in videos using color and depth information
US10637874B2 (en) 2016-09-01 2020-04-28 Cylance Inc. Container file analysis using machine learning model
US10503901B2 (en) 2016-09-01 2019-12-10 Cylance Inc. Training a machine learning model for container file analysis
US10489589B2 (en) * 2016-11-21 2019-11-26 Cylance Inc. Anomaly based malware detection
US10440086B2 (en) * 2016-11-28 2019-10-08 Microsoft Technology Licensing, Llc Reading multiplexed device streams
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
BR112019025471A2 (pt) * 2017-06-09 2020-06-23 Sony Semiconductor Solutions Corporation Dispositivo de transmissão de figura, e, dispositivo de recepção de figura
US10432944B2 (en) 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
CN109640069A (zh) * 2018-12-29 2019-04-16 未来科技（襄阳）有限公司 裸眼3d图像的显示方法及系统
US11736748B2 (en) * 2020-12-16 2023-08-22 Tencent America LLC Reference of neural network model for adaptation of 2D video for streaming to heterogeneous client end-points
US11985381B2 (en) * 2022-01-10 2024-05-14 Tencent America LLC Mapping architecture of immersive technologies media format (ITMF) specification with rendering engines
US11917269B2 (en) * 2022-01-11 2024-02-27 Tencent America LLC Multidimensional metadata for parallel processing of segmented media data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1682539A (zh) * 2002-07-16 2005-10-12 韩国电子通信研究院 用于适配2d和3d立体视频信号的装置和方法

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU5720698A (en) 1996-12-27 1998-07-31 Chequemate International Inc. System and method for synthesizing three-dimensional video from a two-dimensio nal video source
JP4056154B2 (ja) * 1997-12-30 2008-03-05 三星電子株式会社 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
US6600788B1 (en) * 1999-09-10 2003-07-29 Xilinx, Inc. Narrow-band filter including sigma-delta modulator implemented in a programmable logic device
JP2001211465A (ja) 1999-11-15 2001-08-03 Hit Design:Kk ３次元画像表示方法およびそれを用いた３次元画像表示装置
JP2001236525A (ja) * 2000-02-23 2001-08-31 Sony Corp 情報処理装置および方法、情報処理システム、並びに記録媒体
US6590513B2 (en) * 2001-06-29 2003-07-08 Texas Instruments Incorporated Data acquisition system using predictive conversion
JP2003101690A (ja) 2001-09-21 2003-04-04 Yamaguchi Technology Licensing Organization Ltd 画像処理方法及びデジタルカメラ並びに記録媒体
JP4093833B2 (ja) * 2002-09-25 2008-06-04 シャープ株式会社 電子機器
JP4160563B2 (ja) * 2002-12-03 2008-10-01 韓國電子通信研究院 映像コンテンツの適応変換装置及びその方法
JP2004236264A (ja) 2003-02-03 2004-08-19 Tatsuo Shima 画像情報提供装置
JPWO2004084560A1 (ja) 2003-03-20 2006-06-29 富田　誠次郎 立体映像撮影表示システム
GB2402006B (en) * 2003-05-23 2005-08-10 Motorola Inc Analog to digital converter
WO2005011126A1 (en) * 2003-07-24 2005-02-03 Koninklijke Philips Electronics N.V. Noise-shaping device and method with improved lossless compression and good audio quality for high fidelity audio
JP2005073049A (ja) 2003-08-26 2005-03-17 Sharp Corp 立体映像再生装置および立体映像再生方法
KR100580632B1 (ko) * 2003-12-05 2006-05-16 삼성전자주식회사 2차원과 3차원 영상을 선택적으로 표시할 수 있는디스플레이
US8161388B2 (en) * 2004-01-21 2012-04-17 Rodriguez Arturo A Interactive discovery of display device characteristics
US20050207486A1 (en) 2004-03-18 2005-09-22 Sony Corporation Three dimensional acquisition and visualization system for personal electronic devices
US20050212984A1 (en) * 2004-03-26 2005-09-29 Yi-Chun Wu Dual-mode display system for 2D and 3D viewing
WO2006042706A1 (de) * 2004-10-15 2006-04-27 X3D Technologies Gmbh Verfahren zur erzeugung räumlich darstellbarer bilder und anordnung zur räumlich wahrnehmbaren darstellung solcher bilder
DE102005041249A1 (de) 2005-08-29 2007-03-01 X3D Technologies Gmbh Verfahren zur Erzeugung räumlich darstellbarer Bilder
JP2006135747A (ja) 2004-11-08 2006-05-25 Canon Inc 三次元画像変換装置ならびに制御方法
JP2006140553A (ja) 2004-11-10 2006-06-01 Canon Inc 立体画像生成プログラム、立体画像生成装置および立体画像生成方法
JP2006191357A (ja) 2005-01-06 2006-07-20 Victor Co Of Japan Ltd 再生装置および再生プログラム
JP2006238121A (ja) 2005-02-25 2006-09-07 Canon Inc 情報処理装置
US7756866B2 (en) * 2005-08-17 2010-07-13 Oracle International Corporation Method and apparatus for organizing digital images with embedded metadata
JP2009509398A (ja) 2005-09-16 2009-03-05 ステレオグラフィックス コーポレイション 立体視フォーマット・コンバータ
WO2007063478A2 (en) * 2005-12-02 2007-06-07 Koninklijke Philips Electronics N.V. Stereoscopic image display method and apparatus, method for generating 3d image data from a 2d image data input and an apparatus for generating 3d image data from a 2d image data input
US7518503B2 (en) * 2005-12-14 2009-04-14 Sony Ericsson Mobile Communications Ab Portable A/V relay device
EP1826981B1 (en) 2006-02-22 2016-07-06 Alcatel Lucent Interactive multimedia broadcasting system with dedicated advertisement channel
KR101137347B1 (ko) * 2006-05-11 2012-04-19 엘지전자 주식회사 이동통신 단말기 및 그 단말기를 이용한 이미지 표출 방법
CN100558167C (zh) 2006-10-16 2009-11-04 华为技术有限公司 多媒体视频通信方法及系统
JP2008278032A (ja) 2007-04-26 2008-11-13 New Japan Radio Co Ltd アナログ・ディジタル変換回路及びディジタル・アナログ変換回路
US20090006471A1 (en) * 2007-06-29 2009-01-01 Microsoft Corporation Exposing Specific Metadata in Digital Images
KR101167246B1 (ko) * 2007-07-23 2012-07-23 삼성전자주식회사 ３차원 콘텐츠 재생 장치 및 그 제어 방법
US8667144B2 (en) * 2007-07-25 2014-03-04 Qualcomm Incorporated Wireless architecture for traditional wire based protocol
CN101197770A (zh) 2007-10-09 2008-06-11 深圳市丕微科技企业有限公司 一种借助于网络实现多媒体数据传输的方法
JP2009100071A (ja) 2007-10-15 2009-05-07 Victor Co Of Japan Ltd 多視点画像復号方法、多視点画像復号装置及び多視点画像復号プログラム
EP2063647A1 (en) * 2007-11-24 2009-05-27 Barco NV Calibration of a 3-dimensional display
EP2063648A1 (en) * 2007-11-24 2009-05-27 Barco NV Sensory unit for a 3-dimensional display
JP4991515B2 (ja) 2007-12-25 2012-08-01 キヤノン株式会社 画像処理システム、画像処理システムの制御方法及びコンピュータプログラム
KR20100105877A (ko) 2008-01-11 2010-09-30 톰슨 라이센싱 비디오 및 깊이 코딩
US20090290645A1 (en) * 2008-05-21 2009-11-26 Broadcast International, Inc. System and Method for Using Coded Data From a Video Source to Compress a Media Signal
EP2389665A1 (en) * 2009-01-20 2011-11-30 Koninklijke Philips Electronics N.V. Method and system for transmitting over a video interface and for compositing 3d video and 3d overlays
US9131279B2 (en) * 2009-08-06 2015-09-08 Qualcomm Incorporated Preparing video data in accordance with a wireless display protocol

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1682539A (zh) * 2002-07-16 2005-10-12 韩国电子通信研究院 用于适配2d和3d立体视频信号的装置和方法

Also Published As

Publication number Publication date
KR101331334B1 (ko) 2013-11-20
JP2013501474A (ja) 2013-01-10
CN102474661A (zh) 2012-05-23
US9131279B2 (en) 2015-09-08
WO2011017472A1 (en) 2011-02-10
JP2013501473A (ja) 2013-01-10
US20110032334A1 (en) 2011-02-10
US20110032338A1 (en) 2011-02-10
BR112012002558A2 (pt) 2016-05-24
BR112012002261A2 (pt) 2016-06-14
CN102474662A (zh) 2012-05-23
CN102474661B (zh) 2015-11-25
EP2462739B1 (en) 2015-09-23
EP2462739A1 (en) 2012-06-13
JP5571188B2 (ja) 2014-08-13
JP5596146B2 (ja) 2014-09-24
US8878912B2 (en) 2014-11-04
KR101311622B1 (ko) 2013-09-26
WO2011017470A1 (en) 2011-02-10
KR20120054045A (ko) 2012-05-29
KR20120054617A (ko) 2012-05-30
EP2462741A1 (en) 2012-06-13

Similar Documents

Publication Publication Date Title
CN102474662B (zh) 根据无线显示协议制备视频数据
CN102484734B (zh) 根据三维输入格式转换视频数据
CN102474639B (zh) 根据人类视觉系统反馈度量变换视频数据
EP3497940B1 (en) Method and apparatus for transmitting and reproducing content in virtual reality system
CN103004214B (zh) 用于三维视频的基于视觉的质量度量
CN102300109B (zh) 输出音频信号的显示装置和方法
KR101438385B1 (ko) 주문형 비디오 컨텐트 버전들을 포함하는 비디오 데이터를 인코딩, 분배 및 디스플레이하는 방법
MX2013010423A (es) Aparato de procesamiento de imagenes y metodo de procesamiento de imagenes.
WO2022224112A1 (en) Inherited geometry patches
US20220345681A1 (en) Method and apparatus for encoding, transmitting and decoding volumetric video
CN113301427A (zh) 数据处理方法、装置、电子设备和存储介质
WO2023198426A1 (en) Dynamic block decimation in v-pcc decoder

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant