CN103650515A - 无线3d流式传输服务器 - Google Patents

无线3d流式传输服务器 Download PDF

Info

Publication number
CN103650515A
CN103650515A CN201280034958.1A CN201280034958A CN103650515A CN 103650515 A CN103650515 A CN 103650515A CN 201280034958 A CN201280034958 A CN 201280034958A CN 103650515 A CN103650515 A CN 103650515A
Authority
CN
China
Prior art keywords
media content
stream transmission
image
session
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280034958.1A
Other languages
English (en)
Other versions
CN103650515B (zh
Inventor
S·V·谢特
V·R·拉韦恩德朗
J·马丁内斯包萨
P·K·巴米迪帕蒂
X·罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103650515A publication Critical patent/CN103650515A/zh
Application granted granted Critical
Publication of CN103650515B publication Critical patent/CN103650515B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4358—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen for generating different versions, e.g. for different peripheral devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种装置、系统、方法以及计算机程序产品，用于将3D内容从无线设备流式传输至远程3D显示器以便在较大的屏幕上观看3D内容。在一些方面，无线流式传输服务器可以以特定格式对3D影片内容进行编码，其中每一个图像帧包括与深度信息的互补帧并排链接的2D视图。2D视图和深度信息的结合能够由客户端显示器进行处理以生成表示3D视图的立体图像。

Description

无线3D流式传输服务器
技术领域
本公开内容一般涉及无线通信，更具体地说，涉及3D图像的无线流式传输（streaming）。
背景技术
3D影片（motion picture）正变得日益普及，其结果是，3D内容的可获得性正快速地增长。传统2D内容的诸多观看者会希望将其内容转换为3D内容。此外，移动设备（诸如无线用户设备（UE））的诸多用户会希望随身携带该内容，使得在外出时可享受3D内容并且与同事、朋友、家人和商业伙伴分享3D内容。
然而，如果3D内容存储在UE上，UE通常包括很小的显示屏，则这使得用户在UE上观看3D电影不那么的令人享受。此外，当前极少有电话可用于具有3D显示器或支持3D呈现。
因此，在本领域内存在对涉及3D内容的用户体验和移动性的持续改善的推动。
发明内容
本公开内容的一些方面为用户设备（UE）提供了有效的方式来将3D内容流式传输到远程3D显示器以便在较大的屏幕上观看3D电影。因此，UE变成了无线3D流式传输服务器，而远程显示器变成了用于3D影片的客户端。
在本公开内容的一个方面，流式传输服务器可以以特定格式对3D影片内容进行编码，其中每个图像帧包括与深度信息的互补帧并排链接的2D视图。2D视图和深度信息的结合能够由客户端显示器进行处理以生成表示3D视图的立体图像。
包括并排的2D视图和深度信息的链接帧可以被无线地从流式传输服务器流式传输到客户端。使用上述的编码，用于流式传输的所需带宽相对于立体图像的流式传输有所减少，因为深度信息可以被视为单色图像，其中与每个像素相关联的深度由单个数字表示。
该格式的特征在于深度信息可以简单地被删截，并且2D图像可以被显示。例如，在早期的（legacy）2D客户端显示器中，可忽略深度信息。
另一个特征在于在远程客户端3D显示器正在显示3D图像的同时无线流式传输服务器（UE）可在它的本地显示器上显示与半个链接帧相对应的2D电影。
在本公开内容的另一个方面，包括并排格式的链接帧可以使用会话描述协议（SDP）的扩展进行编码。以这一方式，可保持对符合SDP的早期设备的后向兼容性，因为即使帧的深度信息部分在那里它们也无法感知到，并且会正常地显示2D图像部分。
在本公开内容的另一个方面，SDP被进一步扩展以提供关于流式传输内容实际上是3D内容的指示。因此，附加的信息元被包括在SDP流中以指示流是3D的。
在本公开内容的方面，从流式传输服务器流式传输媒体内容的方法包括：在所述流式传输服务器处提供三维（3D）媒体内容；在所述流式传输服务器与流式传输客户端之间建立流式传输会话；以及在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示。
在本公开内容的另一个方面，流式传输服务器包括：文件解析器，其被配置为从内容源中提取3D媒体内容；多媒体消息传送服务模块，其被配置为建立与流式传输客户端的流式传输会话；以及无线发射机，其被配置为在所述流式传输会话上向所述流式传输客户端流式传输所述3D媒体内容。
在本公开内容的另一个方面，无线通信的方法包括：在无线流式传输会话上从流式传输服务器接收媒体内容，所述媒体内容包括二维（2D）图像和对应的深度图；基于所述2D图像和所述深度图来合成三维（3D）图像；以及在显示器上呈现所述3D图像。
在本公开内容的另一个方面，流式传输客户端包括：无线接收机，其被配置为从流式传输服务器接收包括三维（3D）媒体内容的流，所述3D媒体内容包括二维（2D）图像和对应的深度图；3D过滤器，其用于分离所述2D图像和所述对应的深度图；基于深度图像的呈现（DIBR）模块，其用于基于所述2D图像和所述对应的深度图来生成立体图像；以及显示驱动器，其用于在显示器上呈现所述立体图像。
在本公开内容的另一个方面，用于从流式传输服务器流式传输媒体内容的装置包括：用于在所述流式传输服务器处提供三维（3D）媒体内容的单元；用于在所述流式传输服务器与流式传输客户端之间建立流式传输会话的单元；以及用于在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示的单元。
在本公开内容的另一个方面，用于无线通信的装置包括：用于在无线流式传输会话上从流式传输服务器接收媒体内容的单元，所述媒体内容包括二维（2D）图像和对应的深度图；用于基于所述2D图像和所述深度图来合成三维（3D）图像的单元；以及用于在显示器上呈现所述3D图像的单元。
在本公开内容的另一个方面，计算机程序产品包括计算机可读介质，所述计算机可读介质具有：用于在流式传输服务器处提供三维（3D）媒体内容的代码；用于在所述流式传输服务器和流式传输客户端之间建立流式传输会话的代码；以及用于在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示的代码。
在本公开内容的另一个方面，计算机程序产品包括计算机可读介质，所述计算机可读介质具有：用于在无线流式传输会话上从流式传输服务器接收媒体内容的代码，所述媒体内容包括二维（2D）图像和对应的深度图；用于基于所述2D图像和所述深度图来合成三维（3D）图像的代码；以及用于在显示器上呈现所述3D图像的代码。
在本公开内容的另一个方面，用于从流式传输服务器流式传输媒体内容的装置包括处理器和耦接到所述处理器的存储器，其中所述处理器被配置为：在所述流式传输服务器处提供三维（3D）媒体内容；在所述流式传输服务器与流式传输客户端之间建立流式传输会话；以及在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示。
在本公开内容的另一个方面，用于无线通信的装置包括处理器和耦接到所述处理器的存储器，
其中所述处理器被配置为：在无线流式传输会话上从流式传输服务器接收媒体内容，所述媒体内容包括二维（2D）图像和对应的深度图；基于所述2D图像和所述深度图来合成三维（3D）图像；以及在显示器上呈现所述3D图像。
附图说明
图1是示出了使用处理系统的装置的硬件实现的例子的概念图。
图2A-图2C是示出了分别用于生成链接的2D+深度文件、流式传输链接的2D+深度文件、以及接收并将链接的2D+深度文件显示为3D图像的示例性装置的简化框图。
图3是示出了根据本公开内容的方面的链接的2D+深度帧的一个例子的图。
图4A-图4C是示出了分别用于生成分离的2D+深度文件、流式传输分离的2D+深度文件、以及接收分离的2D+深度文件并显示3D图像的示例性装置的简化框图。
图5是示出了根据本公开内容的方面的流式传输服务器的特定实现的进一步细节的框图。
图6是示出了根据本公开内容的方面的流式传输客户端的特定实现的进一步细节的框图。
图7是示出了根据本公开内容的方面的用于从流式传输服务器流式传输媒体内容的过程的流程图。
图8是示出了根据本公开内容的方面的用于无线通信的过程的流程图。
具体实施方式
以下结合附图而给出的详细说明旨在作为对各种配置的说明，而非旨在表示可以在其中实施本文所描述的构思的仅有的配置。详细的说明包括具体的细节，以便提供对各种构思的透彻理解。然而，对本领域技术人员来说显而易见的是，可以不用这些具体细节来实施这些构思。在一些实例中，以框图形式示出公知的结构和组件以便避免使这些构思模糊不清。
现在将参照各种装置和方法来呈现电信系统的若干方面。这些装置和方法将在以下详细的说明中进行描述并在附图中通过各种框、模块、组件、电路、步骤、过程、算法等（统称为“要素”）予以示出。这些要素可使用电子硬件、计算机软件或其任意组合来实现。究竟这些要素是实现为硬件还是软件取决于特定的应用和施加到整体系统上的设计约束。
举例而言，要素或者要素的任何部分或者要素的任意组合可以用包括一个或多个处理器的“处理系统”来实现。处理器的例子包括微处理器、微控制器、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、可编程逻辑器件（PLD）、状态机、门控逻辑、分立硬件电路和被配置为执行贯穿本公开内容所描述的各种功能的其它适当的硬件。处理系统中的一个或多个处理器可以执行软件。无论是称作为软件、固件、中间件、微代码、硬件描述语言或是其它，软件应广义地理解为表示指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行程序、执行线程、过程、函数等。软件可驻留在计算机可读介质上。计算机可读介质可以是非暂时性计算机可读介质。非暂时性计算机可读介质包括，举例而言，磁存储设备（例如，硬盘、软盘、磁条）、光盘（例如压缩光盘（CD）、数字多功能光盘（DVD））、智能卡、闪存设备（例如，卡、棒、钥匙式驱动器）、随机存取存储器（RAM）、只读存储器（ROM）、可编程ROM（PROM）、可擦除PROM（EPROM）、电可擦除PROM（EEPROM）、寄存器、可移动磁盘、以及用于存储由计算机可访问和读取的软件和/或指令的任何其它适当的介质。计算机可读介质可驻留在处理系统中、在处理系统外部或分布于包括处理系统的多个实体中。计算机可读介质可以体现在计算机程序产品中。举例而言，计算机程序产品可以包括封装材料中的计算机可读介质。本领域技术人员应当认识到，如何最佳地实现贯穿于本公开内容呈现的所描述的功能取决于特定应用和施加在整个系统上的整体设计约束。
图1是示出了使用处理系统114的装置100的硬件实现的例子的概念图。在该例子中，处理系统114可以用通常由总线102表示的总线架构来实现。取决于处理系统114的具体应用和整体设计约束，总线102可以包括任意数量的互连总线和桥接器。总线102将各种电路连接在一起，所述各种电路包括通常由处理器104表示的一个或多个处理器和通常由计算机可读介质106表示的计算机可读介质。总线102还可以连接各种其它电路，诸如定时源、外设、电压调节器和电源管理电路，这些在本领域中是公知的，因此将不再深入进行描述。总线接口108提供了总线102与收发机110之间的接口。收发机110提供了用于在传输介质上与各种其它装置通信的方式。取决于装置的特征，还可以提供用户接口112（例如，键盘、显示器、扬声器、麦克风、操纵杆）。
处理器104负责管理总线102和常规的处理，这包括执行存储在计算机可读介质106上的软件。软件在由处理器104执行时使处理系统114执行以下所描述的用于任何特定装置的各种功能。计算机可读介质106还可用于存储在执行软件时由处理器104操作的数据。
在本公开内容中，对二维（2D）和三维（3D）图像进行了广泛地讨论。这里，图像可以指单一的静止图像、或指适用于作为影片按顺序进行观看的多个图像。
根据原始的2D内容来合成3D图像通常可以使用两个替代选择中的一个来实现。第一，合成的3D内容可以包括与对应的深度图链接的2D视图。第二，合成的3D内容可以包括两个视图，即具有左视图和右视图的立体图像。立体内容可经处理以生成链接的2D+深度图图像。
将以下所讨论的本公开内容的各个方面应用到用于合成的3D内容的替代选择或用于合成的3D内容的任何其它适当的选择。尽管以下详述的具体实现着重于第一选择，即2D视图和对应的深度图，但利用本领域普通技术人员可轻易实现的些许变化，可实现使用立体图像的3D流式传输。
在合成的3D流中，2D图像可以被并排地或从上至下地与深度信息相链接，并且链接帧可以一起被压缩和/或编码用于传输。另一方面，2D图像和对应的深度图可被提供作为两个压缩文件或两个流，例如在单一容器文件内用于传输。在具有适当的处理能力的系统中，可使用这些方案的即时（on-the-fly）变型。当然，为减少编码器所需的处理资源，并且为减少流的传输所需的带宽，可以以降低的帧速率对影片进行编码。
提供3D图像作为链接的2D+深度帧并且对这些帧一起进行编码以便被存储在单一的容器文件（例如MP4文件）内会减少同步立体位流的需求。此外，即使在传输出错的情况下，当使用2D+深度帧时可以较容易与流重新同步。此外，在用户将2D+深度信息存储在链接帧中时，可能不需要留意2D图像与对应的深度信息之间的配对，并且该单一文件可被用于3D回放以及通过简单地删截深度信息用于2D回放。然而，将信息链接在一起可以对2D图像和深度图之间的位速率分配提供有限的控制。
图2A是根据本公开内容的一些方面，用于合成包含被链接在一起（例如并排）的2D图像和深度图的文件的装置的简化框图。如图2中所示出的，视频源302可以将2D或立体图像提供给深度估计器304。这里，深度估计器304可以根据2D或3D图像来生成深度估计（Z）。该深度估计随后可以通过方框306并排地与2D图像（或在立体视频源的情况下两个视图中的一个）链接成单一的压缩文件。这里，压缩文件可使用符合标准的容器格式（诸如MP4）来生成，使得可以使用常规的软件和硬件组件来播放并且流式传输具有极少变化（如果有变化的话）的该文件的内容。例如，常规设备的变化可能包括将文件标识为2D+深度源。
在本公开内容的一些方面，该处理可在移动设备上完成，或者可以被输出到在另一个系统上执行。此外，该处理可以被离线地完成，即在内容的流式传输之前，或者说可以被实时地或即时地执行。
图3是对链接的2D+深度图像帧的举例说明，它可以由图2A的装置生成。在所示出的例子中，左手侧的图像302是2D图像，而右手侧的图像304是对应于2D图像的深度图。深度信息包括单色的灰阶值。在该方面，为了最佳效率应当使用适当的压缩设置以用于对帧的压缩。例如，如果使用符合H.264的编码器，则链接帧可以通过将深度图的模式限制为仅帧内来进行编码，并且深度图可以使用较低的QP值来进行编码以提高它的质量。
移动设备可以被用作为流式传输源（例如服务器），用于将内容流式传输到远程客户端，远程客户端具有3D显示器或比移动设备上可用的显示器更大的显示器。图2B是根据本公开内容的一些方面的用于流式传输2D+Z内容的流式传输服务器的简化框图。方框208是2D+Z文件源，其可以是由图2A中的方框206生成的2D+Z压缩文件。2D+Z文件源208可以将2D+Z文件提供给文件解析器210。这里，文件解析器210可以从压缩文件中提取媒体和元数据。视频分接（tap-out）方框212可以将解析的内容传送给传出视频流方框218，以便使用适当的通信接口将其流式传输到远程客户端。此外，视频分接方框212可以将解析的内容传送给本地视频解码器214，本地视频解码器214可以本地地对视频进行解码并且将解码的内容提供给视频呈现器216。因此，视频呈现器216可以在本地显示器上呈现待显示的视频内容。在本公开内容的一些方面，本地解码、呈现以及视频内容的显示可以被省略或禁用。
基于存储在文件中的信息，流式传输服务器可以向远程客户端设备发送关于内容的格式（例如，内容为2D+Z，并且处于并排格式）的指示。例如，可以使用会话描述协议（SDP）向客户端提供指示。
在SDP中，每个媒体源通常被描述为“轨（track）”。轨的属性（强制或可选的）可以用SDP属性行来描述。在本公开内容的一个方面，在流式传输2D+Z内容时，流式传输服务器可以将可选的属性添加到SDP描述。这里，由于具有2D显示的媒体播放器会忽略可选的属性，因此媒体播放器不会将链接帧视为与常规的2D帧有任何不同。然而，对于知晓2D+Z格式的符合3D的播放器来说，可对该属性进行解析使得客户端可确定内容是处于2D+Z格式并且着手进一步的处理（例如解码和呈现）。
图2C是示出了根据本公开内容的一些方面用于接收2D+Z流并显示3D内容的流式传输客户端的简化框图。方框220表示传入视频流，其可以由来自图2B中所示出的流式传输服务器的传出视频流方框218提供。传入视频流220可以包括链接的2D+Z内容和对应的元数据，元数据描述了内容正处于2D+Z格式。可以将传入视频流220提供给视频解码器222，视频解码器222可以因此对传入流进行解码并将解码的数据流传送给2D+深度帧提取器224。帧提取器224可将2D帧和深度帧分离开，并且可以因此将分离的帧传送给3D视图合成器226，3D视图合成器226使用深度信息和2D信息来生成3D图像。
在本公开内容的方面，基于所提取的2D帧和深度帧的3D图像的合成可以根据基于深度图像的呈现（DIBR）。这里，虚拟视图是通过将设置（setup）建模为具有相同相机参数的位移传感器立体像对并且将2D图像的点投影到由虚拟视图根据模型和点的深度而限定的平面上来生成的。DIBR的额外细节对于本领域技术人员来说是已知的，并且在本公开内容中被省略。
如上文所描述的，在本公开内容的另一个方面，2D图像和它对应的深度图可以被提供作为一对的两个压缩的和/或编码的文件或者两个流，而不是使用链接的2D+Z格式。在一些例子中，可在单一的容器文件（例如MP4容器文件）内提供两个文件以用于传输。
分开地对2D图像和深度图进行编码可以提供增强的灵活性和效率。这里，由于图像序列类似于任何常规的视频片段，因此可使用标准的H.264编码选项对2D图像部分进行编码。至于深度图，可适当地修改编码设置以利用它可以仅包含灰度值的事实。这些编码器设置中的一些包括增加用于深度图的色度分量的QP值，以及定期插入内（I）帧。本领域普通技术人员应当了解附加的设置用于优化深度图的编码。此外，分开地对2D图像和深度图进行编码可以提供改善的速率控制以满足潜在的网络带宽限制，并且在深度图流出现差错或完全受损的情况下，相对简单地回退至2D回放。然而，尽管简单，与链接帧不同的是，分开的2D图像和深度图文件可能需要同步以用于3D视频的适当回放。此外，对于给定的2D图像文件来说，可能需要某种形式的识别机制来识别所对应的深度图。
根据本公开内容的一些方面，图4A是用于对分别包含2D图像和深度图的两个文件进行合成的装置400A的简化框图。这里，2D或3D视频源402将视频信息提供给深度估计方框404，深度估计方框404从而根据相应的视频产生深度图并且生成两个分开的文件，即2D文件406和深度（Z）文件408。2D文件406和Z文件408可以是压缩文件。可以使用适当的机制对相应的2D文件406和Z文件408进行配对，例如使用命名规则来关联对应的文件，或者将配对信息嵌入于文件自身。在本公开内容的方面，2D文件406和Z文件408可以被存储在一个容器中，例如通过将不同的视频对象存储在MP4容器文件中。在本公开内容的另一个方面，2D文件406和Z文件408可以被存储在两者之间具有通过如上文描述的文件名或对象ID方式的关联性的分开的文件容器中。
图4B是根据本公开内容的一些方面的用于流式传输2D图像文件和深度图文件的流式传输服务器400B的简化框图。使用该方案，流式传输服务器可以建立两个并行的过程：一个用于处理具有2D内容的文件，而另一个用于处理深度（Z）内容。此外流式传输服务器可以向请求方客户端通知相应的待发送视频流。这里，2D文件源410可以是由图4A中所示出的2D+Z合成输出的2D文件406。此外，Z文件源422可以是由图4A中所示出的2D+Z合成输出的Z文件408。来自2D文件源410的2D文件被输入到第一文件解析模块412以解析存储在2D文件中的2D内容并且将解析的2D内容传送给第一视频分接方框414。类似地，来自Z文件源422的Z文件被输入到第二文件解析模块424以解析存储在Z文件中的深度内容并且将解析的深度内容传送给第二视频分接方框424。如果流式传输服务器中的本地显示器支持2D视频显示，则第一视频分接方框414可以分流内容并且将它发送给用于对解析的2D视频内容进行解码的本地视频解码器416。视频解码器416随后可以将解码的视频内容传送给用于呈现和显示2D视频内容的视频呈现器418。如果流式传输服务器中的本地显示器支持3D视频显示，则第二分接方框424可以类似地分流深度内容以用于本地3D解码和呈现（未示出）。视频分接方框414和424可以对应地将相应的解析的内容转发到传出视频流式传输模块420和426，传出视频流式传输模块420和426随后可以向远程客户端发送相应的视频流。
在本公开内容的进一步的方面，对应的或相关联的2D+Z数据（例如，通过帧编号或序列编号字段相关联）可以在同一个实时流式传输协议（RTSP）会话的不同的实时传输协议（RTP）端口上进行流式传输。在另一个方面，可以首先初始化2D文件的路径，以及取决于客户端是否请求它，随后可以是Z文件的路径。
图4C是示出了根据本公开内容的一些方面的用于接收2D图像流和深度流并且显示3D内容的流式传输客户端的简化框图。这里，在接收到包括2D图像流的第一传入视频流428和包括深度流的第二传入视频流438后，将相应的视频流输入到用于解码2D图像流的第一视频解码器430和用于解码深度流的第二视频解码器440。将相应的解码的帧提供给2D帧处理器432和深度帧处理器442，处理器432和处理器442处理相应的解码的帧并且同步相应的2D帧和深度帧以将它们传送给用于生成3D视图的3D视图合成器434。3D视图合成器434随后生成3D视图并且将它发送给用于显示3D视图的3D显示器436。
在根据本公开内容的一些方面的另一个实现中，从流式传输服务器向流式传输客户端流式传输包含两个视频流（即，一个用于2D内容而另一个用于Z内容）的单一的容器文件。这里，在流式传输服务器处，单一的解析器模块对两个视频流进行馈送，两个视频流从而被发送给流式传输客户端。
回到图2B，其示出了用于流式传输链接的2D+Z内容的流式传输服务器，图5是示出了根据本公开内容的方面的流式传输服务器的特定实现的进一步细节的框图。也就是说，所示出的例子示出了使用微软视窗媒体播放器502的实现，微软视窗媒体播放器502使用了DirectShow多媒体框架。在所示出的例子和以下相关联的讨论中，假定流式传输的内容是在流式传输服务器上正被本地回放的相同内容。然而，在本公开内容的一个方面，用户可以独立于本地正被播放的内容、选择对流式传输服务器来说可得到的任何内容用于流式传输。
在图5中，媒体播放器应用502与包括2D+Z文件源504、多媒体适配器和解析器506、分接过滤器508、解码过滤器514和视频呈现器516的媒体路径进行通信。在一个例子中，流式传输服务器的用户可以调用媒体播放器502来播放包含2D+Z内容的文件（例如来自2D+Z文件源504）。媒体播放器502随后可以建立使用各种过滤器组件的DirectShow过滤器图（filter graph），如所示出的。解析器506可以从2D+Z内容中提取元数据信息，并且将元数据传送给分接过滤器508，分接过滤器508可以将元数据分流给多媒体消息传送服务（MMS）应用510。这里，MMS应用510可以使得流式传输服务器能够充当RTSP流式传输服务器。也就是说，当远程流式传输客户端和流式传输服务器之间建立了RTSP会话时，MMS应用510可以将所采集的元数据信息作为SDP描述发送给WiFi模块512，WiFi模块512随后可以向流式传输客户端发送该信息。该描述可以包括关于要被流式传输的内容包括2D+Z图像内容的指示，使得流式传输客户端可以将流作为3D流进行处理。例如，可以通过在SDP中提供用以指示内容包括2D+Z内容的附加字段来包括指示。例如，指示可被包括在SDP描述中作为：
a=DepthZ:0x280,0x1E0
解析器506还可以从2D+Z文件中提取视频和音频内容，并将视频内容转发到分接过滤器508。分接过滤器508还可以将解析的2D+Z内容提供给RTP服务器510，其从而被提供给WiFi收发机512以便被流式传输到流式传输客户端。分接过滤器508还可以将解析的信息提供给解码过滤器514。当内容附加地包括音频信息时，可以将该音频内容对应地转发到相应的音频解码过滤器（未示出）作为并行的流。视频呈现器516随后可以呈现要被本地地呈现在流式传输服务器上的来自解码过滤器514的解码内容。
现在回到图2C，其示出了用于接收2D+Z流并且显示3D内容的流式传输客户端，图6是示出了根据本公开内容的方面的流式传输客户端的特定实现的进一步细节的框图。也就是说，所示出的例子示出了使用微软视窗媒体播放器602的实现，微软视窗媒体播放器602使用了DirectShow多媒体框架。
在图6中，媒体播放器应用602建立过滤器图来接收并且处理所接收的2D+Z内容，过滤器图包括RTSP/RTP过滤器606、解码过滤器608和MMS-3D过滤器（CSC）610。流式传输服务器还包括WiFi模块602、基于深度信息的呈现（DIBR）模块612和3D显示驱动器614。
在一个例子中，流式传输客户端在WiFi模块602处接收从流式传输服务器发送的流，这包括2D+Z内容和被包括在SDP信息中的元数据。RTSP/RTP过滤器604从WiFi模块601接收内容并将它路由给解码过滤器608，使得解码过滤器608可以对内容进行解码并且将经解码的内容提供给MMS-3D过滤器610。这里，MMS-3D过滤器610可以使用SDP信息来从解码的帧中分离视频和深度部分，并且将它们传送给DIBR模块612作为分别表示2D图像流和对应的深度信息的两个帧。DIBR模块612可以使用该信息来生成包括左视图和右视图的立体图像，左视图和右视图从而被提供给3D显示驱动器614。3D显示驱动器614随后可以呈现这两个视图来显示3D图像。
图7是示出了根据本公开内容的某些方面的用于从流式传输服务器流式传输媒体内容的过程700的流程图。在本公开内容的各个方面，所示出的过程可以由图1中示出的处理系统114、图2A和图2B或者图4A和图4B中示出的流式传输服务器、或用于流式传输媒体内容的任何适当的装置来执行。在所示出的过程中，在框702，在流式传输服务器处提供3D媒体内容。这里，3D媒体内容可以包括立体图像、或2D图像和对应的深度帧。在框704，过程确定流式传输服务器是否将回放媒体内容的本地副本。如果是的话，则在框706，流式传输服务器可以呈现媒体内容用于本地回放。过程随后移动到框708，其中，如果3D媒体内容是立体内容并且缺少深度帧，则过程可以基于立体图像来合成深度帧。在框710，可以将深度帧与对应的2D图像相链接。在框712，过程可以提取与媒体内容相对应的元数据，元数据指示媒体内容包括3D内容。在框714，过程在流式传输服务器与流式传输客户端之间建立流式传输会话，在框716，过程在流式传输会话上向流式传输客户端发送媒体内容和相关联的元数据。
图8是示出了根据本公开内容的某些方面的用于无线通信的过程800的流程图。在本公开内容的各个方面，所示出的过程可以由图1中示出的处理系统114、图2C、图4C、图5或图6中示出的流式传输客户端、或用于接收媒体内容的任何适当的装置来执行。在所示出的过程中，在框802，流式传输客户端可以在无线流式传输会话上从流式传输服务器接收媒体内容和相关联的元数据，媒体内容包括2D图像和对应的深度图。在框804，过程可以将链接的图像+深度帧分离成分开的2D图像和对应的深度图。在框806，过程基于2D图像和深度图来合成3D图像。在框808，过程可以使用基于深度信息的呈现来生成表示3D图像的立体图像，在框810，过程可以呈现3D图像。
现在参考图1、图2A-图2B和图4A-图4B，在一个配置下，用于从流式传输服务器流式传输媒体内容的装置100可以包括：用于在所述流式传输服务器处提供三维（3D）媒体内容的单元；用于在所述流式传输服务器与流式传输客户端之间建立流式传输会话的单元；用于在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示的单元；用于在所述流式传输服务器处呈现所述媒体内容用于本地回放的单元；用于基于所述3D媒体内容来呈现二维（2D）图像的单元；用于提取关于所述媒体内容的信息以适用于指示所述媒体内容包括3D内容的单元；用于在所述流式传输会话上向所述流式传输客户端发送关于所述媒体内容的信息的单元；用于在所述媒体内容的会话描述协议（SDP）描述中提供信息元的单元；用于根据所述2D图像帧来合成所述深度帧的单元；用于根据表示立体图像的一对2D图像来合成所述深度帧的单元；和/或用于使用所述一对2D图像中的一个作为所述2D图像帧的单元。在本公开内容的一些方面，上述的单元可以是被配置为执行由上述单元所列举的功能的处理系统114。如前文所描述的，处理系统114可以包括视频源202/402、深度估计器204/404、文件源208/410/422、文件解析模块210/412/424、视频分接212/414/424、视频解码器214/416、视频呈现器216/418、和/或传出视频流方框218/420/426。因此，在一个配置下，上述的单元可以是被配置为执行由上述单元所列举的功能的视频源202/402、深度估计器204/404、文件源208/410/422、文件解析模块210/412/424、视频分接212/414/424、视频解码器214/416、视频呈现器216/418、和/或传出视频流方框218/420/426。
现在参考图1、图2C、图4C和图6，在另一个配置下，用于无线通信的装置100可以包括：用于在无线流式传输会话上从流式传输服务器接收媒体内容的单元，所述媒体内容包括二维（2D）图像和对应的深度图；用于基于所述2D图像和所述深度图来合成三维（3D）图像的单元；用于在显示器上呈现所述3D图像的单元；用于从所述流式传输服务器接收关于所述媒体内容的信息的单元；用于将所述链接帧分离成所述2D图像和所述对应的深度图的单元；和/或用于使用基于深度信息的呈现（DIBR）来生成表示所述3D图像的立体图像的单元。在本公开内容的一些方面，上述的单元可以是被配置为执行由上述单元所列举的功能的处理系统114。如前文所描述的，处理系统114可以包括媒体播放器602、视频解码器222/430/440、2D和深度帧提取器224、2D帧处理器432、深度帧处理器442、3D视图合成器226/434、3D显示器436、WiFi604、过滤器606、解码过滤器608、MMS-3D过滤器610、DIBR模块612、和/或3D显示驱动器614。因此，在一个配置下，上述的单元可以是被配置为执行由上述单元所列举的功能的媒体播放器602、视频解码器222/430/440、2D和深度帧提取器224、2D帧处理器432、深度帧处理器442、3D视图合成器226/434、3D显示器436、WiFi604、过滤器606、解码过滤器608、MMS-3D过滤器610、DIBR模块612、和/或3D显示驱动器614。
应当明白，公开的过程中的步骤的特定次序或层次是对示例性方法的举例说明。基于设计偏好，应当明白，可以对这些过程中步骤的特定次序或层次进行重新排列。所附方法权利要求以示例性次序给出了各种步骤的要素，并不意味着要限于所给出的特定次序或层次。
提供前面的描述以使本领域任何技术人员能够实施本文描述的各个方面。对这些方面的各种修改对于本领域技术人员都将是显而易见的，并且本文定义的通用原理可以应用于其它方面。因此，权利要求书并不旨在限于本文示出的方面，而是与符合书面权利要求书的整个范围相一致，其中，除非特别说明，否则以单数形式提及要素并不旨在表示“一个且唯一一个”，而是表示“一个或多个”。除非另外特别说明，否则术语“一些”是指一个或多个。与贯穿本公开内容描述的各个方面的要素等效的全部结构和功能（其对于本领域普通技术人员而言是公知的或即将公知的）通过引用方式明确并入本文，并且旨在被权利要求所涵盖。此外，本文公开的内容并不是要奉献给公众的，不管这种公开内容是否明确记载在权利要求中。除非明确地使用短语“用于……的单元”来叙述元素或者在方法权利要求的情况下使用短语“用于……的步骤”来叙述元素，否则不应依据35U.S.C.§112第6段的规定来解释任何权利要求的要素。

Claims (87)

1.一种从流式传输服务器流式传输媒体内容的方法，包括：
在所述流式传输服务器处提供三维（3D）媒体内容；
在所述流式传输服务器与流式传输客户端之间建立流式传输会话；以及
在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示。
2.根据权利要求1所述的方法，还包括：在所述流式传输服务器处呈现所述媒体内容用于本地回放。
3.根据权利要求2所述的方法，其中，所述呈现包括基于所述3D媒体内容来呈现二维（2D）图像。
4.根据权利要求1所述的方法，还包括：提取关于所述媒体内容的信息，以适用于指示所述媒体内容包括3D内容。
5.根据权利要求4所述的方法，其中，所述信息包括与所述媒体内容相关联的元数据。
6.根据权利要求4所述的方法，其中，所述信息适用于指示所述3D媒体内容包括二维（2D）图像和对应的深度图。
7.根据权利要求4所述的方法，还包括：在所述流式传输会话上向所述流式传输客户端发送关于所述媒体内容的信息。
8.根据权利要求7所述的方法，其中，所述发送关于所述媒体内容的信息包括在所述媒体内容的会话描述协议（SDP）描述中提供信息元。
9.根据权利要求1所述的方法，其中，所述流式传输会话包括实时流式传输协议（RTSP）会话。
10.根据权利要求1所述的方法，其中，所述3D媒体内容包括二维（2D）图像帧和对应的深度帧。
11.根据权利要求10所述的方法，还包括：根据所述2D图像帧来合成所述深度帧。
12.根据权利要求10所述的方法，还包括：
根据表示立体图像的一对2D图像来合成所述深度帧；以及
使用所述一对2D图像中的一个图像作为所述2D图像帧。
13.根据权利要求10所述的方法，还包括：将所述2D图像帧与所述深度帧相链接（710）以提供链接的2D+Z帧。
14.一种流式传输服务器，包括：
文件解析器，其被配置为从内容源中提取3D媒体内容；
多媒体消息传送服务模块，其被配置为建立与流式传输客户端的流式传输会话；以及
无线发射机，其被配置为在所述流式传输会话上向所述流式传输客户端流式传输所述3D媒体内容。
15.根据权利要求13所述的流式传输服务器，还包括：存储器，其中所述内容源包括所述存储器。
16.根据权利要求13所述的流式传输服务器，其中，所述多媒体消息传送服务模块被配置为建立与所述流式传输客户端的实时流式传输协议（RTSP）会话。
17.根据权利要求13所述的流式传输服务器，其中，所述文件解析器还被配置为从所述内容源中提取与所述3D媒体内容相对应的元数据。
18.根据权利要求17所述的流式传输服务器，其中，所述多媒体消息传送服务模块还被配置为在所述流式传输会话上向所述流式传输客户端发送所述元数据。
19.根据权利要求13所述的流式传输服务器，还包括：
显示设备；以及
分接模块，其被配置为将所述3D媒体内容分流给所述显示设备。
20.一种无线通信的方法，包括：
在无线流式传输会话上从流式传输服务器接收媒体内容，所述媒体内容包括二维（2D）图像和对应的深度图；
基于所述2D图像和所述深度图来合成三维（3D）图像；以及
在显示器上呈现所述3D图像。
21.根据权利要求20所述的方法，其中，所述无线流式传输会话包括实时流式传输协议（RTSP）会话。
22.根据权利要求20所述的方法，还包括：从所述流式传输服务器接收关于所述媒体内容的信息。
23.根据权利要求22所述的方法，其中，所述信息包括元数据，所述元数据适用于指示所述媒体内容包括3D内容。
24.根据权利要求20所述的方法，其中，2D图像和所对应的深度图被链接成链接帧。
25.根据权利要求24所述的方法，还包括：将所述链接帧分离成所述2D图像和所述对应的深度图。
26.根据权利要求20所述的方法，其中，所述合成包括使用基于深度信息的呈现（DIBR）来生成表示所述3D图像的立体图像。
27.一种流式传输客户端，包括：
无线接收机，其被配置为从流式传输服务器接收包括三维（3D）媒体内容的流，所述3D媒体内容包括二维（2D）图像和对应的深度图；
3D过滤器，其用于分离所述2D图像和所述对应的深度图；
基于深度图像的呈现（DIBR）模块，其用于基于所述2D图像和所述对应的深度图来生成立体图像；以及
显示驱动器，其用于在显示器上呈现所述立体图像。
28.一种用于从流式传输服务器流式传输媒体内容的装置，包括：
用于在所述流式传输服务器处提供三维（3D）媒体内容的单元；
用于在所述流式传输服务器与流式传输客户端之间建立流式传输会话的单元；以及
用于在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示的单元。
29.根据权利要求28所述的装置，还包括：用于在所述流式传输服务器处呈现所述媒体内容用于本地回放的单元。
30.根据权利要求29所述的装置，其中，所述用于呈现的单元包括用于基于所述3D媒体内容来呈现二维（2D）图像的单元。
31.根据权利要求28所述的装置，还包括：用于提取关于所述媒体内容的信息，以适用于指示所述媒体内容包括3D内容的单元。
32.根据权利要求31所述的装置，其中，所述信息包括与所述媒体内容相关联的元数据。
33.根据权利要求31所述的装置，其中，所述信息适用于指示所述3D媒体内容包括二维（2D）图像和对应的深度图。
34.根据权利要求31所述的装置，还包括：用于在所述流式传输会话上向所述流式传输客户端发送关于所述媒体内容的信息的单元。
35.根据权利要求34所述的装置，其中，所述用于发送关于所述媒体内容的信息的单元包括用于在所述媒体内容的会话描述协议（SDP）描述中提供信息元的单元。
36.根据权利要求28所述的装置，其中，所述流式传输会话包括实时流式传输协议（RTSP）会话。
37.根据权利要求28所述的装置，其中，所述3D媒体内容包括二维（2D）图像帧和对应的深度帧。
38.根据权利要求37所述的装置，还包括：用于根据所述2D图像帧来合成所述深度帧的单元。
39.根据权利要求37所述的装置，还包括：
用于根据表示立体图像的一对2D图像来合成所述深度帧的单元；以及
用于使用所述一对2D图像中的一个图像作为所述2D图像帧的单元。
40.根据权利要求37所述的装置，其中，将所述2D图像帧与所述深度帧相链接以提供链接的2D+Z帧。
41.一种用于无线通信的装置，包括：
用于在无线流式传输会话上从流式传输服务器接收媒体内容的单元，所述媒体内容包括二维（2D）图像和对应的深度图；
用于基于所述2D图像和所述深度图来合成三维（3D）图像的单元；以及
用于在显示器上呈现所述3D图像的单元。
42.根据权利要求41所述的装置，其中，所述无线流式传输会话包括实时流式传输协议（RTSP）会话。
43.根据权利要求41所述的装置，还包括：用于从所述流式传输服务器接收关于所述媒体内容的信息的单元。
44.根据权利要求43所述的装置，其中，所述信息包括元数据，所述元数据适用于指示所述媒体内容包括3D内容。
45.根据权利要求41所述的装置，其中，2D图像和所对应的深度图被链接成链接帧。
46.根据权利要求45所述的装置，还包括：用于将所述链接帧分离成所述2D图像和所述对应的深度图的单元。
47.根据权利要求41所述的装置，其中，所述用于合成的单元包括用于使用基于深度信息的呈现（DIBR）来生成表示所述3D图像的立体图像的单元。
48.一种计算机程序产品，包括：
计算机可读介质，其包括：
用于在流式传输服务器处提供三维（3D）媒体内容的代码；
用于在所述流式传输服务器和流式传输客户端之间建立流式传输
会话的代码；以及
用于在所述流式传输会话上向所述流式传输客户端发送所述媒体
内容，以用于3D图像的远程呈现和显示的代码。
49.根据权利要求48所述的计算机程序产品，其中，所述计算机可读介质还包括用于在所述流式传输服务器处呈现所述媒体内容用于本地回放的代码。
50.根据权利要求49所述的计算机程序产品，其中，所述用于呈现的代码包括用于基于所述3D媒体内容来呈现二维（2D）图像的代码。
51.根据权利要求48所述的计算机程序产品，其中，所述计算机可读介质还包括用于提取关于所述媒体内容的信息，以适用于指示所述媒体内容包括3D内容的代码。
52.根据权利要求51所述的计算机程序产品，其中，所述信息包括与所述媒体内容相关联的元数据。
53.根据权利要求51所述的计算机程序产品，其中，所述信息适用于指示所述3D媒体内容包括二维（2D）图像和对应的深度图。
54.根据权利要求51所述的计算机程序产品，其中，所述计算机可读介质还包括用于在所述流式传输会话上向所述流式传输客户端发送关于所述媒体内容的信息的代码。
55.根据权利要求54所述的计算机程序产品，其中，所述用于发送关于所述媒体内容的信息的代码包括用于在所述媒体内容的会话描述协议（SDP）描述中提供信息元的代码。
56.根据权利要求48所述的计算机程序产品，其中，所述流式传输会话包括实时流式传输协议（RTSP）会话。
57.根据权利要求48所述的计算机程序产品，其中，所述3D媒体内容包括二维（2D）图像帧和对应的深度帧。
58.根据权利要求57所述的计算机程序产品，其中，所述计算机可读介质还包括用于根据所述2D图象帧来合成所述深度帧的代码。
59.根据权利要求57所述的计算机程序产品，其中，所述计算机可读介质还包括：
用于根据表示立体图像的一对2D图像来合成所述深度帧的代码；以及
用于使用所述一对2D图像中的一个图像作为所述2D图像帧的代码。
60.根据权利要求57所述的计算机程序产品，其中，将所述2D图象帧与所述深度帧相链接以提供链接的2D+Z帧。
61.一种计算机程序产品，包括：
计算机可读介质，其包括：
用于在无线流式传输会话上从流式传输服务器接收媒体内容的代码，所述媒体内容包括二维（2D）图像和对应的深度图；
用于基于所述2D图像和所述深度图来合成三维（3D）图像的代码；以及
用于在显示器上呈现所述3D图像的代码。
62.根据权利要求61所述的计算机程序产品，其中，所述无线流式传输会话包括实时流式传输协议（RTSP）会话。
63.根据权利要求61所述的计算机程序产品，其中，所述计算机可读介质还包括用于从所述流式传输服务器接收关于所述媒体内容的信息的代码。
64.根据权利要求63所述的计算机程序产品，其中，所述信息包括元数据，所述元数据适用于指示所述媒体内容包括3D内容。
65.根据权利要求61所述的计算机程序产品，其中，2D图像和所对应的深度图被链接成链接帧。
66.根据权利要求65所述的计算机程序产品，其中，所述计算机可读介质还包括用于将所述链接帧分离成所述2D图像和所述对应的深度图的代码。
67.根据权利要求61所述的计算机程序产品，其中，所述用于合成的代码包括用于使用基于深度信息的呈现（DIBR）来生成表示所述3D图像的立体图像的代码。
68.一种用于从流式传输服务器流式传输媒体内容的装置，包括：
处理器和耦接到所述处理器的存储器，其中所述处理器被配置为：
在所述流式传输服务器处提供三维（3D）媒体内容；
在所述流式传输服务器与流式传输客户端之间建立流式传输会话；以及
在所述流式传输会话上向所述流式传输客户端发送所述媒体内容，以用于3D图像的远程呈现和显示。
69.根据权利要求68所述的装置，其中，所述处理系统还被配置为在所述流式传输服务器处呈现所述媒体内容用于本地回放。
70.根据权利要求69所述的装置，其中，所述呈现包括基于所述3D媒体内容来呈现二维（2D）图像。
71.根据权利要求68所述的装置，其中，所述处理系统还被配置为提取关于所述媒体内容的信息，以适用于指示所述媒体内容包括3D内容。
72.根据权利要求71所述的装置，其中，所述信息包括与所述媒体内容相关联的元数据。
73.根据权利要求71所述的装置，其中，所述信息适用于指示所述3D媒体内容包括二维（2D）图像和对应的深度图。
74.根据权利要求71所述的装置，其中，所述处理系统还被配置为在所述流式传输会话上向所述流式传输客户端发送关于所述媒体内容的信息。
75.根据权利要求74所述的装置，其中，所述发送关于所述媒体内容的信息包括在所述媒体内容的会话描述协议（SDP）描述中提供信息元。
76.根据权利要求68所述的装置，其中，所述流式传输会话包括实时流式传输协议（RTSP）会话。
77.根据权利要求68所述的装置，其中，所述3D媒体内容包括二维（2D）图像帧和对应的深度帧。
78.根据权利要求77所述的装置，其中，所述处理系统还被配置为根据所述2D图像帧来合成所述深度帧。
79.根据权利要求77所述的装置，其中，所述处理系统还被配置为：
根据表示立体图像的一对2D图像来合成所述深度帧；以及
使用所述一对2D图像中的一个图像作为所述2D图像帧。
80.根据权利要求77所述的装置，其中，将所述2D图像帧与所述深度帧相链接以提供链接的2D+Z帧。
81.一种用于无线通信的装置，包括：
处理器和耦接到所述处理器的存储器，其中所述处理器被配置为：
在无线流式传输会话上从流式传输服务器接收媒体内容，所述媒体内容包括二维（2D）图像和对应的深度图；
基于所述2D图像和所述深度图来合成三维（3D）图像；以及
在显示器上呈现所述3D图像。
82.根据权利要求81所述的装置，其中，所述无线流式传输会话包括实时流式传输协议（RTSP）会话。
83.根据权利要求81所述的装置，其中，所述处理器还被配置为从所述流式传输服务器接收关于所述媒体内容的信息。
84.根据权利要求83所述的装置，其中，所述信息包括元数据，所述元数据适用于指示所述媒体内容包括3D内容。
85.根据权利要求81所述的装置，其中，2D图像和所对应的深度图被链接成链接帧。
86.根据权利要求85所述的装置，其中，所述处理器还被配置为将所述链接帧分离成所述2D图像和所述对应的深度图。
87.根据权利要求81所述的装置，其中，所述合成包括使用基于深度信息的呈现（DIBR）来生成表示所述3D图像的立体图像。
CN201280034958.1A 2011-07-14 2012-07-13 无线3d 流式传输服务器 Expired - Fee Related CN103650515B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/182,645 2011-07-14
US13/182,645 US9351028B2 (en) 2011-07-14 2011-07-14 Wireless 3D streaming server
PCT/US2012/046806 WO2013010148A1 (en) 2011-07-14 2012-07-13 Wireless 3d streaming server

Publications (2)

Publication Number Publication Date
CN103650515A true CN103650515A (zh) 2014-03-19
CN103650515B CN103650515B (zh) 2017-02-15

Family

ID=46727568

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280034958.1A Expired - Fee Related CN103650515B (zh) 2011-07-14 2012-07-13 无线3d 流式传输服务器

Country Status (6)

Country Link
US (1) US9351028B2 (zh)
EP (1) EP2732633A1 (zh)
JP (1) JP2014523207A (zh)
KR (1) KR101575138B1 (zh)
CN (1) CN103650515B (zh)
WO (1) WO2013010148A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168482A (zh) * 2014-06-27 2014-11-26 中安消技术有限公司 一种视频编解码方法及装置
CN107258085A (zh) * 2015-02-26 2017-10-17 高通股份有限公司 针对广播自适应比特率流式传输的延时补偿
CN108353157A (zh) * 2015-11-11 2018-07-31 索尼公司 编码设备和编码方法以及解码设备和解码方法
CN109963135A (zh) * 2017-12-22 2019-07-02 宁波盈芯信息科技有限公司 一种基于rgb-d的深度网络摄像装置及方法
US10795831B2 (en) 2015-01-21 2020-10-06 Sony Corporation Information processing device, communication system, information processing method
CN112514396A (zh) * 2018-08-02 2021-03-16 索尼公司 图像处理设备和图像处理方法

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9159189B2 (en) 2012-01-13 2015-10-13 Gtech Canada Ulc Mobile gaming device carrying out uninterrupted game despite communications link disruption
US9536378B2 (en) 2012-01-13 2017-01-03 Igt Canada Solutions Ulc Systems and methods for recommending games to registered players using distributed storage
US9280867B2 (en) 2012-01-13 2016-03-08 Igt Canada Solutions Ulc Systems and methods for adjusting 3D gaming images for mobile gaming
US9558625B2 (en) 2012-01-13 2017-01-31 Igt Canada Solutions Ulc Systems and methods for recommending games to anonymous players using distributed storage
US9295908B2 (en) 2012-01-13 2016-03-29 Igt Canada Solutions Ulc Systems and methods for remote gaming using game recommender
US9269222B2 (en) 2012-01-13 2016-02-23 Igt Canada Solutions Ulc Remote gaming system using separate terminal to set up remote play with a gaming terminal
US9129489B2 (en) 2012-01-13 2015-09-08 Gtech Canada Ulc Remote gaming method where venue's system suggests different games to remote player using a mobile gaming device
US9079098B2 (en) 2012-01-13 2015-07-14 Gtech Canada Ulc Automated discovery of gaming preferences
US9011240B2 (en) 2012-01-13 2015-04-21 Spielo International Canada Ulc Remote gaming system allowing adjustment of original 3D images for a mobile gaming device
US9123200B2 (en) 2012-01-13 2015-09-01 Gtech Canada Ulc Remote gaming using game recommender system and generic mobile gaming device
US9208641B2 (en) 2012-01-13 2015-12-08 Igt Canada Solutions Ulc Remote gaming method allowing temporary inactivation without terminating playing session due to game inactivity
GB201201230D0 (en) * 2012-01-25 2012-03-07 Univ Delft Tech Adaptive multi-dimensional data decomposition
US20130257851A1 (en) * 2012-04-01 2013-10-03 Chao-Hua Lee Pipeline web-based process for 3d animation
WO2014023330A1 (en) * 2012-08-06 2014-02-13 Huawei Technologies Co., Ltd. Method for providing a multimedia message service
US9754442B2 (en) 2012-09-18 2017-09-05 Igt Canada Solutions Ulc 3D enhanced gaming machine with foreground and background game surfaces
US9454879B2 (en) 2012-09-18 2016-09-27 Igt Canada Solutions Ulc Enhancements to game components in gaming systems
CN104903328B (zh) 2012-12-21 2018-03-30 默克专利有限公司 用于有机电致发光器件的材料
CA2861289A1 (en) 2012-12-28 2014-06-28 Gtech Canada Ulc Multi-faceted game component and gaming surface in a 3d enhanced gaming machine
WO2015135181A1 (zh) * 2014-03-13 2015-09-17 华为技术有限公司 一种图像处理方法、虚拟机及虚拟机系统
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US9713982B2 (en) * 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
US9824524B2 (en) 2014-05-30 2017-11-21 Igt Canada Solutions Ulc Three dimensional enhancements to game components in gaming systems
US10347073B2 (en) 2014-05-30 2019-07-09 Igt Canada Solutions Ulc Systems and methods for three dimensional games in gaming systems
US9870617B2 (en) 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US9894342B2 (en) 2015-11-25 2018-02-13 Red Hat Israel, Ltd. Flicker-free remoting support for server-rendered stereoscopic imaging
GB2550342B (en) * 2016-05-12 2018-07-04 Gordon Murray Design Ltd Vehicle seat back
US10735707B2 (en) 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
US20200168045A1 (en) 2018-11-28 2020-05-28 Igt Dynamic game flow modification in electronic wagering games

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377257B1 (en) * 1999-10-04 2002-04-23 International Business Machines Corporation Methods and apparatus for delivering 3D graphics in a networked environment
CN1711786A (zh) * 2002-11-14 2005-12-21 诺基亚公司 多媒体消息接发服务中媒体内容的流式传输
EP1677474A1 (en) * 2004-12-31 2006-07-05 LG Electronics, Inc. Method and device for multimedia messaging service
US20110032329A1 (en) * 2009-08-06 2011-02-10 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
GB9613039D0 (en) * 1996-06-21 1996-08-28 Philips Electronics Nv Image data compression for interactive applications
MY124160A (en) * 1997-12-05 2006-06-30 Dynamic Digital Depth Res Pty Improved image conversion and encoding techniques
JP2000078611A (ja) 1998-08-31 2000-03-14 Toshiba Corp 立体映像受信装置及び立体映像システム
FR2795046B1 (fr) 1999-06-21 2001-09-07 Rb3I Procede de conditionnement d'objet a l'aide de feuilles thermo-plastiques
AUPQ416699A0 (en) * 1999-11-19 1999-12-16 Dynamic Digital Depth Research Pty Ltd Depth map compression technique
US7028025B2 (en) * 2000-05-26 2006-04-11 Citrix Sytems, Inc. Method and system for efficiently reducing graphical display data for transmission over a low bandwidth transport protocol mechanism
US8386557B2 (en) * 2000-06-16 2013-02-26 Enfora, Inc. Method for supporting a personal wireless network
US20010054060A1 (en) * 2000-06-16 2001-12-20 Fillebrown Lisa A. Personal wireless network
KR100441604B1 (ko) * 2002-03-19 2004-07-23 삼성전자주식회사 멀티미디어 스트리밍 서비스를 위한 패킷 전송장치 및 그방법
US6956566B2 (en) 2002-05-23 2005-10-18 Hewlett-Packard Development Company, L.P. Streaming of images with depth for three-dimensional graphics
US7082572B2 (en) 2002-12-30 2006-07-25 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for interactive map-based analysis of digital video content
US7173635B2 (en) 2003-03-25 2007-02-06 Nvidia Corporation Remote graphical user interface support using a graphics processing unit
US8737219B2 (en) * 2004-01-30 2014-05-27 Hewlett-Packard Development Company, L.P. Methods and systems that use information about data packets to determine an order for sending the data packets
US7523491B2 (en) * 2005-01-03 2009-04-21 Nokia Corporation System, apparatus, and method for accessing mobile servers
KR100819259B1 (ko) 2006-02-01 2008-04-03 삼성전자주식회사 휴대 방송 시스템에서의 통지 메시지 송수신 방법 및 장치
US8217940B2 (en) * 2007-07-23 2012-07-10 Disney Enterprises, Inc. Directable lighting method and apparatus
US8553028B1 (en) * 2007-10-29 2013-10-08 Julian Michael Urbach Efficiently implementing and displaying independent 3-dimensional interactive viewports of a virtual world on multiple client devices
BRPI0822032A2 (pt) * 2007-12-20 2015-07-21 Koninkl Philips Electronics Nv Método de codificação de imagem que permite renderização estereoscópica, portador de dados, codificador de imagem, decodificador de imagem, e, produto de programa de computador
US8456517B2 (en) * 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
JP5338166B2 (ja) 2008-07-16 2013-11-13 ソニー株式会社 送信装置、立体画像データ送信方法、受信装置および立体画像データ受信方法
US8165558B2 (en) 2008-09-08 2012-04-24 Celio Technology Corporation Client device for cellular telephone as server
US8572271B2 (en) 2009-01-29 2013-10-29 Qualcomm Incorporated Multimedia management system for seamless multimedia content mobility
JP6159507B2 (ja) * 2009-02-19 2017-07-05 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ３ｄ映像フォーマット
JPWO2010098134A1 (ja) * 2009-02-27 2012-08-30 パナソニック株式会社 記録媒体、再生装置、及び集積回路
US20100309287A1 (en) * 2009-03-20 2010-12-09 Rodriguez Tony F 3D Data Representation, Conveyance, and Use
US9397773B2 (en) 2009-04-10 2016-07-19 Qualcomm Incorporated Methods and apparatus for enabling context sensitive interaction with distributed content
JP5367814B2 (ja) * 2009-05-14 2013-12-11 パナソニック株式会社 映像データの伝送方法
US8537200B2 (en) 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US8610758B2 (en) * 2009-12-15 2013-12-17 Himax Technologies Limited Depth map generation for a video conversion system
CN102334339A (zh) * 2009-12-28 2012-01-25 松下电器产业株式会社 显示装置和方法、记录介质、发送装置和方法、以及再现装置和方法
GB201004449D0 (en) * 2010-02-22 2010-05-05 Corbett Sean Data accelerator
CN104365104B (zh) * 2012-04-16 2018-11-06 三星电子株式会社 用于多视点视频编码和解码的方法和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6377257B1 (en) * 1999-10-04 2002-04-23 International Business Machines Corporation Methods and apparatus for delivering 3D graphics in a networked environment
CN1711786A (zh) * 2002-11-14 2005-12-21 诺基亚公司 多媒体消息接发服务中媒体内容的流式传输
EP1677474A1 (en) * 2004-12-31 2006-07-05 LG Electronics, Inc. Method and device for multimedia messaging service
US20110032329A1 (en) * 2009-08-06 2011-02-10 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104168482A (zh) * 2014-06-27 2014-11-26 中安消技术有限公司 一种视频编解码方法及装置
US10795831B2 (en) 2015-01-21 2020-10-06 Sony Corporation Information processing device, communication system, information processing method
CN107258085A (zh) * 2015-02-26 2017-10-17 高通股份有限公司 针对广播自适应比特率流式传输的延时补偿
CN107258085B (zh) * 2015-02-26 2020-06-05 高通股份有限公司 针对广播自适应比特率流式传输的延时补偿
CN108353157A (zh) * 2015-11-11 2018-07-31 索尼公司 编码设备和编码方法以及解码设备和解码方法
CN108353157B (zh) * 2015-11-11 2021-06-08 索尼公司 编码设备和编码方法以及解码设备和解码方法
CN113286137A (zh) * 2015-11-11 2021-08-20 索尼公司 编码设备和编码方法以及解码设备和解码方法
US11716487B2 (en) 2015-11-11 2023-08-01 Sony Corporation Encoding apparatus and encoding method, decoding apparatus and decoding method
CN113286137B (zh) * 2015-11-11 2024-02-02 索尼公司 编码设备和编码方法以及解码设备和解码方法
CN109963135A (zh) * 2017-12-22 2019-07-02 宁波盈芯信息科技有限公司 一种基于rgb-d的深度网络摄像装置及方法
CN112514396A (zh) * 2018-08-02 2021-03-16 索尼公司 图像处理设备和图像处理方法

Also Published As

Publication number Publication date
WO2013010148A1 (en) 2013-01-17
EP2732633A1 (en) 2014-05-21
JP2014523207A (ja) 2014-09-08
CN103650515B (zh) 2017-02-15
US9351028B2 (en) 2016-05-24
US20130019024A1 (en) 2013-01-17
KR20140036323A (ko) 2014-03-25
KR101575138B1 (ko) 2015-12-08

Similar Documents

Publication Publication Date Title
CN103650515A (zh) 无线3d流式传输服务器
EP3459247B1 (en) Most-interested region in an image
CN103369467B (zh) 在通信网络中信号传递三维视频信息
CN102648629B (zh) 补充处理信息的提供
KR100556826B1 (ko) Ｍｐｅｇ-4 기반의 양안식 3차원 동영상을 서비스하기 위한 인터넷 방송 시스템 및 그 방법
KR100747550B1 (ko) Ｄｍｂ 기반의 3차원 입체영상 서비스 제공 방법과, ｄｍｂ기반의 3차원 입체영상 서비스를 위한 복호화 장치 및 그방법
KR100658222B1 (ko) 3차원 디지털 멀티미디어 방송 시스템
JP2016029816A (ja) 送信装置、送信方法、受信装置および受信方法
EP3095247B1 (en) Robust live operation of dash
JP7028398B2 (ja) デジタルビデオをコード化およびデコードするための方法、ならびに関係するコード化およびデコードデバイス
JP2005533433A (ja) ２次元および３次元立体ビデオ信号の適応変換装置およびその方法
KR100703715B1 (ko) 다시점 3차원 동영상 송수신 시스템
CN113287323A (zh) 用于流媒体数据的多解码器接口
CN106489270B (zh) 信息处理装置和方法
EP2654305A2 (en) Signaling method for a stereoscopic video service and apparatus using the method
KR20120118616A (ko) 예약녹화된 방송을 출력하는 장치 및 그 제어 방법
KR20080099109A (ko) 방송 서비스 방법 및 그 장치
Kurutepe et al. A standards-based, flexible, end-to-end multi-view video streaming architecture
KR20200024168A (ko) 강화된 영역별 패킹 및 뷰포트 독립적 hevc 미디어 프로파일
JP2020005201A (ja) 送信装置及び受信装置
KR20240007142A (ko) 5g 네트워크들을 통한 확장 현실 데이터의 분할 렌더링
KR101603976B1 (ko) 동영상 파일 결합 방법 및 그 장치
KR100979445B1 (ko) Ｄｍｂ 기반의 3차원 데이터 서비스 제공 방법과 그 수신 방법
US20240080477A1 (en) Method, An Apparatus and A Computer Program Product For Streaming Volumetric Video Content
EP2183924A2 (en) Method of generating contents information and apparatus for managing contents using the contents information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170215

Termination date: 20180713