CN104221367A - 用于生成和接收立体-2d反向兼容视频流的系统及其方法 - Google Patents

用于生成和接收立体-2d反向兼容视频流的系统及其方法 Download PDF

Info

Publication number
CN104221367A
CN104221367A CN201280072178.6A CN201280072178A CN104221367A CN 104221367 A CN104221367 A CN 104221367A CN 201280072178 A CN201280072178 A CN 201280072178A CN 104221367 A CN104221367 A CN 104221367A
Authority
CN
China
Prior art keywords
data
sequence
signal
image sequence
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280072178.6A
Other languages
English (en)
Inventor
鲁伊斯·罗德里格斯·埃塞基耶尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Naxos Finance SA
Original Assignee
Naxos Finance SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Naxos Finance SA filed Critical Naxos Finance SA
Publication of CN104221367A publication Critical patent/CN104221367A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及用于生成和接收立体-2D反向兼容视频流的系统(1；1’)，所述系统(1；1’)包括：第一接收装置(10；10’)，特别是包括非立体解码器的第一接收装置，用于接收适于在可视化装置(2；2’)上显示的第一图像序列(L；L’)；关联至所述第一接收装置(10；10’)的第一存储装置(11；11’)，用于存储所述第一图像序列(L；L’)；第二接收装置(20；20’)，用于接收数据信号(R；R’)，该数据信号(R；R’)包括能够以第二图像序列(R；R’)来转换并且与所述第一图像序列(L；L’)一起使得能够重构立体视频流的信息；关联至所述第二接收装置(20；20’)的第二存储装置(21；21’)，用于存储与所述第二序列(R；R’)相关的所述数据信号，所述第一序列(L；L’)和所述数据信号(R；R’)包括多个数据包(DP)，每个数据包(DP)至少包括报头(H)和包括音频/视频数据的有效载荷(P)。本发明的特征在于每个数据包(DP)的所述报头(H)包括第一数据字段(DF1)和至少第二数据字段(DF2)，该第一数据字段包括标识内容的服务的第一信息，该第二数据字段包括标识节目开始时间和/或节目名称的第二信息。此外，本发明的特征在于，所述系统(1；1’)包括同步装置(30；30’)，用于基于所述第一数据字段(DF1)和所述至少第二数据字段(DF2)将所述第一记录装置(12；12’)存储的所述第一图像序列(L；L’)的每个数据包(DP)与所述第二记录装置(22；22’)存储的与所述第二序列(R；R’)相关的所述数据信号的每个数据包(DP)进行组合，以生成表示适于在所述可视化装置(2；2’)上显示的3D图像的复合序列(LR；L’R’)。

Description

用于生成和接收立体-2D反向兼容视频流的系统及其方法
本发明涉及根据权利要求1的前序部分的一种用于生成和接收立体-2D反向兼容视频流的系统。
本发明还涉及一种用于生成和接收立体-2D反向兼容视频流的方法。
在本说明书中，“立体-2D反向兼容视频流”实质上是指如下视频流：当在3D接收和可视化装置中被适当处理时，其产生观看者感知是三维的图像序列，而当在常规2D接收装置(MPEG 2或MPEG 4)中被处理时，其使得观看者能够在关联至所述接收装置的整个屏幕上观看完整的2D图像。
因此，根据本发明的系统和方法使得具有常规的非立体解码器或者电视机或可视化装置的用户能够即使图像以3D格式被传送也能对该图像进行2D显示，同时使得用户能够在他/她具有立体显示设备的情况下观看3D内容。
近年来，电影制作领域非常关注立体3D内容的制作并且向其投入了巨大的资源，特别是在新数字技术可利用的新制作工具的刺激下。
所关注的3D现在正延伸至家用，即用于在电视机、膝上型计算机或类似的可视化装置上显示图像。例如，一些付费电视运营商已经开始播放3D节目。
呈现立体视频内容的常见方法包括分别显示预期针对右眼和左眼的两个独立视频流，这两个独立视频流然后被大脑重编成三维对象。
在该框架中，必须在制作过程期间采取许多措施以便减少内容传输和完成所需的码率。
然后，压缩包括复合帧(composite frame)的立体视频流以便在将其分发在广播网络、IP网络或海量存储介质上之前减小其传送码率。
目前最常用于分发视频内容的压缩技术为由MPEG 2标准和MPEG4标准(或H.264/AVC标准)定义的压缩技术；具体地，在市场上目前可用的高清电视机都配备有支持高达1080p格式的格式解码的H.264/AVC解码器。
各种服务提供商(尤其是公共服务广播公司)关注的最重要需求之一是立体信号的反向兼容性。
实际上，期望3D内容可以由2D和3D电视机以及监视器二者来显示，并且该结果可以通过同时播放一个节目的2D版本和3D版本二者来实现；当然，被称为同时联播的该选项涉及浪费带宽，这是服务提供商宁愿回避的一件事情。
在本领域中，用于生成反向兼容立体流的一些技术是公知的。
这些技术之一涉及所谓的“深度图”的应用，如例如在美国专利申请第US 2002/0048395号和第US 2004/0101043号所描述的那样。
另一种反向兼容立体流编码技术为例如被称为“多视点”的技术。
这两种技术的共同特征是如下事实：将立体视频流压缩成基本层(2D基本流)外加传送第二视图的增强层。
编码流的语法确保2D视频也可以由老一代解码器解码，只要它们符合MPEG2或H.264/AVC标准即可，这样创建了反向兼容性。不幸的是，增强层所需的带宽类似于2D基本流所需的带宽，从而呈现与同时联播传输几乎相同的缺点。
因此，在本领域中公知的技术未以有效的方式使得具有常规(符合MPEG2或MPEG4标准)的非立体解码器或电视机或可视化装置的用户能够即使图像以3D格式被传送也能对图像进行2D显示，同时使得用户能够在他/她具有立体显示设备的情况下观看3D内容。
此外，在本领域中已提出如下系统，该系统包括：
-第一接收装置，特别是包括非立体解码器的第一接收装置，用于接收适于在可视化装置上显示的第一图像序列；
-第二接收装置，用于接收数据信号，该数据信号包括能够以第二图像序列来转换、与所述第一图像序列一起使得能够重构立体视频流的信息。
所述已知系统的缺点在于如下事实：其未包括适于使所述第一图像序列和第二序列同步以恰当地重构立体视频流的装置。
实际上，必须使所述第一图像序列和第二图像序列正确地同步以便适当地显示立体视频流，即必须使第一图像序列中的每幅图像与第二图像序列中的对应图像正确地同步并且耦合；如果这未发生，则在来自所述第一图像序列和第二图像序列的图像的组合的小差别(仅一帧偏移)足以使人眼察觉所得到的图像质量差并且未感知到所得到的图像是立体的。
在该框架中，本发明的目的是克服上述缺点并且提供用于生成和接收立体-2D反向兼容视频流的系统和方法。
具体地，本发明的目的在于指出如下有效的系统和方法：其用于使得具有常规的非立体可视化装置(即，仅配备了MPEG 2或MPEG 4标准的解码器和电视机)的用户即使图像以3D格式被传送也能够对这些图像进行2D显示，同时使得用户能够在他/她具有立体显示设备的情况下观看3D内容。
本发明的另一目的是指出如下用于生成和接收立体-2D反向兼容视频流的系统和方法：其包括在3D传输的情况下适于使第一图像序列和第二图像序列正确地同步以恰当地重构立体视频流的装置。
本发明的又一目的在于提供如下系统和方法：其适于在接收侧重建可以由播送器以针对2D视图的常规方式分发的3D视频流，而无需使用用于第二立体视图的附加带宽，而第二视图是通过与第一传输信道不同的另外的传输通道提供的。
这些目的是由本发明通过结合所附权利要求中阐述的特征的、用于生成和接收立体-2D反向兼容视频流的系统和方法来实现的，其被规定为本说明书的一个组成部分。
根据作为非限制性示例提供的以下详细描述和附图，本发明的其他目的、特征和优点将变得明显。
图1示出了根据本发明的、用于生成和接收立体和2D反向兼容视频流的系统的第一实施例的框图；
图2示出了根据本发明的系统和方法的数据包；以及
图3示出了根据本发明的用于生成和接收立体和2D反向兼容视频流的系统的第二实施例的框图。
在图1中，附图标记1表示根据本发明的、用于生成和接收立体-2D反向兼容视频流的系统的第一实施例。
所述系统1包括第一接收装置10，特别地包括非立体解码器，该第一接收装置10用于接收适于在3D可视化装置2上显示的第一图像序列L。
具体地，所述非立体解码器符合MPEG 2(或者甚至MPEG 4)标准，并且所述第一图像序列L可以包括2D视频流或立体视频流的2D内容。
此外，所述系统1包括：
-关联至所述第一接收装置10的第一存储装置11，用于特别是逐帧地存储所述第一图像序列L；
-第二接收装置20，用于接收数据信号R，该数据信号R包括能够以第二图像序列来转换、与所述第一图像序列L一起使得能够重构立体视频流的信息；所述第二接收装置20因此重构与图像序列R相关的第二视频流；
-关联至所述第二接收装置20的第二存储装置21，用于特别是逐帧地存储与所述第二序列R相关的所述数据信号。
所述第一序列L和所述数据信号R包括多个数据包DP，每个数据包DP均与视频帧相关并且至少包括报头H和包括音频/视频数据的有效载荷P；在这方面，必须注意的是，图2涉及根据本发明的数据包DP的示例性实施例。
根据本发明，每个数据包DP的所述报头H包括第一数据字段DF1和至少第二数据字段DF2，该第一数据字段DF1包括标识内容的服务(例如，电视一台(Das Erste)、ZDF、RTL等)的第一信息，该第二数据字段DF2包括标识节目开始日期和时间以及/或者节目名称和计时器的第二信息。使得计时器数据自节目开始以后对自相关节目开始以来的秒的一小部分(例如每秒25帧或50帧)、秒、分和时进行计数。以此方式，完全地标识立体图像的每一帧。
关于在相关帧的确切时刻可以如何布置数据字段DF1和DF2的示例如下：
-DF1：电视一台
-DF2：开始时间：07:03:2012-20:15-20(帧)45(秒)10(分)1(小时)或“Die Nonne und der Kommissar-Verflucht”20(帧)45(秒)10(分)1(小时)。
此外，根据本发明，所述系统1包括：同步装置30，用于基于所述第一数据字段DF1和所述至少第二数据字段DF2而将所述第一存储装置11存储的所述第一图像序列L的每个数据包DP与所述第二存储装置21存储的所述数据信号R的每个数据包DP进行组合，以便生成表示适于在所述3D可视化装置2上显示的3D图像的复合序列LR。
必须指出的是，根据本发明，所述第二数据字段DF2不必是具有完全准确的日计时的计时器，因为与节目开始时间相关的所述信息(同样地如与内容的服务相关的所述信息)仅需要包含如下数据或信息：该数据或信息用于使得同步装置30能够明确地标识来自所述第一序列L和来自所述数据信号R的同一视频流的帧，以便正确地生成表示3D图像的复合图像序列LR。
在优选实施例中，每个数据包DP的所述报头H还包括第三数据字段DF3，该第三数据字段DF3包括标识数据包编号(即，每一帧)的第三信息。因此，自某一视频节目开始以后，对每个字段从0开始直到所述视频节目的最后帧编号进行编号。
很显然，所述第三数据字段DF3利于所述同步装置30在将所述第一存储装置11存储的所述第一图像序列L的每个数据包DP与所述第二存储装置21存储的所述数据信号R的每个数据包DP进行组合中的工作，以便生成表示适于在所述可视化装置2上显示的3D图像的复合图像序列LR。
优选地，所述第一图像序列L包括预期针对左眼的视频流；此外，所述数据信号R可以包括预期针对右眼的视频流。
因此，很显然，根据本发明的系统1使得能够使所述第一图像序列L与从数据信号R获得的所述第二序列R正确地同步以恰当地提供并显示立体视频流。
实际上，第一图像序列L的每个数据包DP均正确地被标识并且与数据信号R的对应数据包DP同步和耦合；因此，由于本发明的特有配置，用户察觉不到来自所述两个不同源的图像的任何差异，并且他/她可以正确地感知到所得到的图像是立体的并且具有良好质量。
此外，根据本发明的系统1使得具有常规的非立体解码器(即符合MPEG 2或MPEG 4标准的解码器)但具有3D显示设备的用户不仅能够在可视化装置上以2D的形式显示图像，而且能够以3D或立体形式显示从L和R两个图像流获得的图像。
实际上，所述第一接收装置10接收例如预期针对左眼的第一图像序列L，并且所述第二接收装置20接收数据信号R，例如预期针对右眼的第二图像序列。然后，所述第一存储装置11存储所述第一图像序列L并且所述第二存储装置21存储与所述第二序列R相关的所述数据信号R；此后，所述同步装置30将第一图像序列L与所述第二序列R进行混合以便生成表示要显示在所述可视化装置2上的3D图像的复合图像序列LR。
然而，很显然的是，根据本发明的系统1还可以用于对图像进行2D显示，原因在于所述同步装置30可以向所述可视化装置2仅发送第一图像序列L或由数据信号R得到的图像。
由此可见，根据本发明的系统1是通用的，原因是其使得可视化装置2具有多种不同用途，尤其在用户仅可利用常规的2D接收装置(MPEG2或MPEG4)时，其允许观看者在关联至所述接收装置的整个屏幕上观看完整的2D图像。
很显然，对于根据本发明的方法和系统，还能够在不使用系统1的情况下用简单的MPEG TV接收器接收和观看以MPEG 2或MPEG 4格式播放的部分。
此外，必须指出的是，根据本发明的系统1可以是与可视化装置2(例如，电视机)分离的机顶盒，或者其可以内置在可视化装置2本身中。
在一个优选实施例中，所述第二接收装置20包括能够接收互联网信号(例如，来自路由器、Wi-Fi接入点等)的装置。
此外，所述第一存储装置11包括第一缓冲存储器12(图1中未示出)，并且所述第二存储装置21包括第二缓冲存储器22(图1中未示出)，以分别存储所述第一图像序列L和所述数据信号R。
所述系统1还可以包括提取装置40，该提取装置40用于使在所述可视化装置2上显示的3D图像恰当地可视化。
特别地，所述提取装置40可以包括专用眼镜，该专用眼镜包括同步的LCD快门、偏光器、滤色器或者适于选择性地阻断复合序列LR中的所述第一图像序列L或所述第二序列R的类似装置；该配置使得能够使在所述可视化装置2上显示的3D图像恰当地可视化。
因此，所述提取装置40优选地与同步装置30相关联，以使提取装置40的快门速度与从所述同步装置30赋予的混合速度同步。
特别地，所述提取装置40通过控制线路41与同步装置30相关联。
此外，根据本发明的系统1可以包括电子节目指南(在本领域中也被称为“EPG”)，该电子节目指南允许选择包括要被下载作为第一图像序列L和作为与所述第二序列R相关的数据信号的音频/视频数据的内容以便自动地开始所述内容的下载，具体地借助于键(例如，通过按压远程控制器的键和/或通过启动所述EPG的键)。在这种情况下，系统1的所述EPG可以有利地包括适于提供完成下载所需的时间的特征。明显的是，通过设置例如EPG节目安排工具，可以在3D节目实际开始之前的几小时或几天开始下载，使得当播放第一序列L时，接收器(根据互联网连接速度全部地或部分地)下载了另一序列R，并且3D再现极佳地实行。
图3示出了根据本发明的用于生成和接收立体-兼容视频流的方法和系统的第二实施例的框图。
在图3所示的实施例中，通过添加单引号(’)使用与图1相同的附图标记。
图3所示的系统1’包括：
-第一接收装置10’，特别地包括非立体解码器，该第一接收装置10’用于接收适于在可视化装置2’上显示的第一图像序列L’；
-关联至所述第一接收装置10’的第一存储装置11’，用于存储所述第一图像序列L’；
-第二接收装置20’，用于接收与所述第二序列R’相关的数据信号，所述数据信号包括与所述第一图像序列L’一起使得能够重构立体视频流的信息；
-关联至所述第二接收装置20’的第二存储装置21’，用于存储与所述第二序列R’相关的所述数据信号；
-同步装置30’，用于基于所述第一数据字段DF1和所述至少第二数据字段DF2以及/或者DF3，将所述第一记录装置12’存储的所述第一图像序列L’的每个数据包DP与所述第二记录装置22’存储的与所述第二序列R’相关的所述数据信号的每个数据包DP进行组合，以便生成表示适于在所述可视化装置2’上显示的3D图像的复合图像序列L’R’。
在图3所示的实施例中，所述第一存储装置包括固态存储器M’的至少第一部分12’，所述第一部分12’适于存储所述第一图像序列L’；此外，所述第二存储装置包括所述固态存储器M’的至少第二部分22’，所述第二部分22’适于存储与所述第二序列R’相关的所述数据信号。显而易见的是，所述第一部分12’和所述第二部分22’也可以由两个分离的固态存储器M’构成(在附图中未示出)。
在所述第二接收装置20’包括能够接收互联网信号的装置的情况下，提供固态存储器M’是特别有用的；实际上，在该情况下，可能存在以足够快的比特率接收与所述数据信号R’相关的信号的问题。尤其存储器的所述第二部分22’的大小可以是几十千兆字节以存储数小时的完整娱乐节目。利用256千兆字节的硬盘，因此可以存储几十个事件。
特别地，必须强调的是，同样在图3所示的实施例中，为了在所述可视化装置2’上恰当地显示3D图像，需要如针对图1所示的实施例所描述的那样使所述第一图像序列L’和所述第二序列R’适当地同步。实际上，两个信号的错误同步(即使所述错误同步涉及单个帧)危及并且损害所得到的3D图像的效率。
因此，根据本发明，所述第一图像序列L’和与所述第二序列R’相关的所述数据信号分别存储在固态存储器M’的所述至少第一部分12’和第二部分22’达预定时段，所述预定时段基本上取决于互联网比特率。
实际上，如果互联网比特率足够高，所述时段可以是几秒钟或几分钟。相反，如果互联网比特率低，则所述时段可以具有几分钟的持续时间或与数据信号R、R’的整个下载相对应的持续时间。
因此，由于提供了固态存储器M’，同步装置30’具有足够的时间来接收所下载的所述数据信号R’并且如先前参照图1的实施例所描述的那样使所述第一图像序列L’和第二序列R’适当地同步。
根据本发明，用于生成和接收立体-兼容视频流的方法包括以下步骤：a)借助于第一接收装置10、10’，特别是包括非立体解码器的第一接收装置，接收适于在可视化装置2、2’上显示的第一图像序列L、L’。
b)将所述第一图像序列L、L’存储在关联至所述第一接收装置10、10’的第一存储装置11、11’中；
c)借助于第二接收装置20、20’来接收数据信号R、R’，所述数据信号R、R’包括能够以第二图像序列R，R’来转换、与所述第一图像序列L、L’一起使得能够重构立体视频流；
d)将与所述第二序列R，R'相关的所述数据信号存储在关联至所述第二接收装置20、20’的第二存储装置21、21’中，
其中，所述第一序列L、L’和与所述第二序列R、R’相关的所述数据信号包括多个数据包DP，每个数据包DP均至少包括报头H和包括音频/视频数据的有效载荷P。
根据本发明，所述方法还包括如下步骤e)：借助于同步装置30、30’将所述第一序列L、L’和与所述第二序列R、R’相关的所述数据信号进行组合，所述同步装置30、30’适于生成表示适于在所述可视化装置2、2’上显示的3D图像的复合序列LR、L’R’，所述组合步骤e)是基于每个数据包DP的所述报头H的第一数据字段DF1和每个数据包DP的所述报头H的至少第二数据字段DF2来执行的，所述第一数据字段DF1包括标识内容的服务(例如，RAI1、RAI2、LA7等)的第一信息，所述第二数据字段DF2包括标识节目开始时间和/或节目名称的第二信息。在优选的实施例中，特别地，所述步骤e)还可以基于每个数据包DP的所述报头H的第三数据字段DF3来执行，所述第三数据字段DF3包括标识数据包编号的第三信息。
此外，根据本发明的方法：
-接收数据信号R、R’的所述步骤c)可以借助于互联网信号接收装置来执行；
-所述步骤b)可以由适于存储所述第一图像序列L的第一缓冲存储器12执行，或者由适于存储所述第一图像序列L’的固态存储器M’的至少第一部分12’执行。
-所述步骤d)可以由适于存储与所述第二序列R相关的所述数据信号的第二缓冲存储器22执行，或者由所述固态存储器M’的至少第二部分22’执行，所述第二部分22’适于存储所述第二数据信号R’。
根据本发明的方法还可以包括如下步骤f)：借助于提取装置40、40’使在所述可视化装置2、2’上显示的3D图像可视化，特别地，所述可视化步骤f)是通过如下方式来执行的：将所述提取装置40、40’与所述同步装置30、30’相关联以使所述提取装置40、40’的快门速度与从所述同步装置30、30’赋予的混合速度同步。
此外，根据本发明的方法可以包括如下步骤g)：从电子节目指南(“EPG”)中选择包括要通过互联网下载的且要被接收作为第一图像序列L、L’和作为与所述第二序列R、R’相关的数据信号的音频/视频数据的内容，以便自动地开始所述内容中与所述第二序列R、R’相关的下载，具体地借助于键(例如，通过按压远程控制器的键和/或通过启动所述EPG的键)。
有利地，所述步骤g)可以由系统1、1’以提供完成下载所需的时间的方式来执行。
根据上述描述，根据本发明的用于生成立体-兼容视频流的系统和方法提供的优点是明显的。
特别地，第一优点在于如下事实：根据本发明的系统1、1’使得所述第一图像序列L、L’和与所述第二序列R、R’相关的所述数据信号能够正确地同步以便恰当地显示立体视频流，原因是第一图像序列L、L’的每个数据包DP与所述数据信号R、R’的对应数据包DP正确地同步并且耦合。
因此，由于本发明的特有配置，用户察觉不到来自所述两个不同源的图像的任何差异，并且他能够察觉到所得到的复合图像为立体的并且具有良好质量。
此外，系统1、1’使得具有常规的非立体接收器(即符合MPEG 2或MPEG 4标准的解码器)的用户能够允许观看者在关联至所述接收装置的整个屏幕上观看完整的2D图像，即使该图像是以3D格式传送的，同时允许用户在他/她具有立体显示设备的情况下观看3D内容。
根据本发明的系统和方法的又一优点在于如下事实：其允许重建可以由播送器分发的视频流而不浪费带宽，特别是使用2D流所需的基本上相同的带宽。实际上，由于根据本发明的系统和方法，播送器处于单独地播放预期针对左眼的第一视频流和预期针对右眼的第二视频流的位置，并且该选项使得能够避免浪费带宽。
根据本发明的系统和方法的又一优点在于如下事实：系统1、1’是通用的，原因是它使得可视化装置2、2’具有多种不同用途。实际上，根据本发明的系统1、1’也可以用于以2D的形式显示图像，原因是所述同步装置30、30’可以向所述可视化装置2、2’仅发送第一图像序列L、L’或者由数据信号R、R’得到的图像。
因此，根据本发明的系统和方法允许显示2D图像和具有良好质量的3D图像二者。
本文通过示例描述的系统和方法可以在不背离本发明构思的新颖性精神的情况下经受许多可能的变型；同样显而易见的是，在本发明的实际实现中，所示的细节可以具有不同的装置或由其他技术性等同元件来替换以及提供不同顺序的步骤。
因此，可以很容易地理解，本发明并不限于上述系统和方法，而是可以在不背离如所附权利要求中清楚指明的发明构思的情况下经受许多修改、改进或等同部件和元件的替换。

Claims (17)

1.一种用于生成和接收立体-2D反向兼容视频流的系统(1；1’)，所述系统(1；1’)包括：
-第一接收装置(10；10’)，特别是包括非立体解码器的第一接收装置，所述第一接收装置(10；10’)用于接收适于在可视化装置(2；2’)上显示的第一图像序列(L；L’)；
-关联至所述第一接收装置(10；10’)的第一存储装置(11；11’)，用于存储所述第一图像序列(L；L’)；
-第二接收装置(20；20’)，用于接收数据信号(R；R’)，所述数据信号(R；R’)包括能够以第二图像序列(R；R’)来转换并且与所述第一图像序列(L；L’)一起使得能够重构立体视频流的信息；
-关联至所述第二接收装置(20；20’)的第二存储装置(21；21’)，用于存储与所述第二序列(R；R’)相关的所述数据信号，
所述第一序列(L；L’)和与所述第二序列(R；R’)相关的所述数据信号包括多个数据包(DP)，每个数据包(DP)均至少包括报头(H)和包括音频/视频数据的有效载荷(P)，
其特征在于，
每个数据包(DP)的所述报头(H)包括第一数据字段(DF1)和至少第二数据字段(DF2)，所述第一数据字段(DF1)包括标识内容的服务的第一信息，所述第二数据字段(DF2)包括标识节目开始时间和/或节目名称的第二信息，
并且其特征在于，
所述系统(1；1’)包括同步装置(30；30’)，所述同步装置(30；30’)用于基于所述第一数据字段(DF1)和所述至少第二数据字段(DF2)，将所述第一记录装置(12；12’)存储的所述第一图像序列(L；L’)的每个数据包(DP)与所述第二记录装置(22；22’)存储的与所述第二序列(R；R’)相关的所述数据信号的每个数据包(DP)进行组合，以便生成表示适于在所述可视化装置(2；2’)上显示的3D图像的复合序列(LR；L’R’)。
2.根据权利要求1所述的系统(1；1’)，其特征在于，每个数据包(DP)的所述报头(H)还包括第三数据字段(DF3)，所述第三数据字段(DF3)包括标识数据包编号的第三信息。
3.根据权利要求1所述的系统(1；1’)，其特征在于，所述第二接收装置(20；20’)包括能够接收互联网信号的装置。
4.根据前述权利要求中的一项或多项所述的系统(1；1’)，其特征在于，所述第一存储装置(12；12’)包括第一缓冲存储器(12)并且所述第二存储装置(22；22’)包括第二缓冲存储器(22)，以分别存储所述第一图像序列(L)和与所述第二序列(R)相关的所述数据信号。
5.根据前述权利要求1至3中的一项或多项所述的系统(1；1’)，其特征在于，所述第一存储装置(12；12’)包括固态存储器(M’)的至少第一部分(12’)，所述第一部分(12’)适于存储所述第一图像序列(L’)。
6.根据权利要求5所述的系统(1；1’)，其特征在于，所述第二存储装置(22；22’)包括所述固态存储器(M’)的至少第二部分(22’)，所述第二部分(22’)适于存储与所述第二图像序列(R’)相关的所述数据信号。
7.根据前述权利要求中的一项或多项所述的系统(1；1’)，其特征在于，所述系统(1；1’)包括提取装置(40；40’)，所述提取装置(40；40’)用于使所述可视化装置(2；2’)上显示的3D图像恰当地可视化，特别地，所述提取装置(40；40’)与所述同步装置(30；30’)相关联以使所述提取装置(40；40’)的快门速度与从所述同步装置(30；30’)赋予的混合速度同步。
8.根据前述权利要求中的一项或多项所述的系统(1；1’)，其特征在于，所述系统(1；1’)包括电子节目指南，所述电子节目指南使得能够选择包括要通过互联网下载的并且要被接收作为第一图像序列L，L’和作为与所述第二序列R,R’相关的数据信号的音频/视频数据的内容，以便自动地开始所述内容的下载，特别是借助于键。
9.根据权利要求8所述的系统(1；1’)，其特征在于，所述系统1的所述电子节目指南包括适于提供完成所述下载所需的时间的特征。
10.一种用于生成和接收立体-2D反向兼容视频流的方法，所述方法包括以下步骤：
a)借助于第一接收装置(10；10’)，特别是包括非立体解码器的第一接收装置，接收适于在可视化装置(2；2’)上显示的第一图像序列(L；L’)；
b)将所述第一图像序列(L；L’)存储在关联至所述第一接收装置(10；10’)的第一存储装置(11；11’)中；
c)借助于第二接收装置(20；20’)来接收数据信号(R；R’)，所述数据信号(R；R’)包括能够以第二图像序列(R；R’)来转换并且与所述第一图像序列(L；L’)一起使得能够重构立体视频流的信息；
d)将与所述第二序列(R；R’)相关的所述数据信号存储在关联至所述第二接收装置(20；20’)的第二存储装置(21；21’)中，
所述第一序列(L；L’)和与所述第二序列(R；R’)相关的所述数据信号包括多个数据包(DP)，每个数据包(DP)均至少包括报头(H)和包括音频/视频数据的有效载荷(P)，
所述方法的特征在于，其还包括步骤e)：借助于同步装置(30；30’)将所述第一图像序列(L；L’)和与所述第二序列(R；R’)相关的所述数据信号进行组合，所述同步装置(30；30’)适于生成表示适于在所述可视化装置(2；2’)上显示的3D图像的复合序列(LR；L’R’)，所述组合步骤e)基于每个数据包(DP)的所述报头(H)的第一数据字段(DF1)和每个数据包(DP)的所述报头(H)的至少第二数据字段(DF2)来执行，所述第一数据字段(DF1)包括标识内容的服务的第一信息，所述第二数据字段(DF2)包括标识节目开始时间和/或节目名称的第二信息。
11.根据权利要求10所述的方法，其特征在于，所述步骤e)还基于每个数据包(DP)的所述报头(H)的第三数据字段(DF3)来执行，所述第三数据字段(DF3)包括标识数据包编号的第三信息。
12.根据权利要求10所述的方法，其特征在于，所述步骤c)是借助于互联网信号接收装置来执行的。
13.根据前述权利要求10至12中的一项或多项所述的方法，其特征在于，所述步骤b)由适于存储所述第一图像序列(L)的第一缓冲存储器(12)执行或者由固态存储器(M’)的至少第一部分(12’)执行，所述第一部分(12’)适于存储所述第一图像序列(L’)。
14.根据前述权利要求10至13中的一项或多项所述的方法，其特征在于，所述步骤d)由适于存储所述数据信号(R)的第二缓冲存储器(22)执行或者由所述固态存储器(M’)的至少第二部分(22’)执行，所述第二部分(22’)适于存储与所述第二序列(R’)相关的所述数据信号。
15.根据前述权利要求10至14中的一项或多项所述的方法，其特征在于，还包括步骤f)：借助于提取装置(40；40’)使所述可视化装置(2；2’)上显示的所述3D图像可视化，特别地，所述步骤f)是通过如下方式来执行的：将所述提取装置(40；40’)与所述同步装置(30；30’)相关联以使所述提取装置(40；40’)的快门速度与从所述同步装置(30；30’)赋予的混合速度同步。
16.根据前述权利要求10至15中的一项或多项所述的方法，其特征在于，还包括步骤g)：从电子节目指南选择包括要通过互联网下载的并且要被接收作为第一图像序列(L；L’)和作为与所述第二序列(R；R’)相关的数据信号的音频/视频数据的内容，以便自动地开始所述内容的下载，特别是借助于键。
17.根据前述权利要求16所述的方法，其特征在于，所述步骤g)是通过所述系统(1,1’)提供完成所述下载所需的时间来执行的。
CN201280072178.6A 2012-04-04 2012-04-04 用于生成和接收立体-2d反向兼容视频流的系统及其方法 Pending CN104221367A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2012/056117 WO2013149655A1 (en) 2012-04-04 2012-04-04 System for generating and receiving a stereoscopic-2d backward compatible video stream, and method thereof

Publications (1)

Publication Number Publication Date
CN104221367A true CN104221367A (zh) 2014-12-17

Family

ID=45952528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280072178.6A Pending CN104221367A (zh) 2012-04-04 2012-04-04 用于生成和接收立体-2d反向兼容视频流的系统及其方法

Country Status (4)

Country Link
US (1) US20150085071A1 (zh)
EP (1) EP2834973A1 (zh)
CN (1) CN104221367A (zh)
WO (1) WO2013149655A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505398A (zh) * 2019-07-16 2019-11-26 北京三快在线科技有限公司 一种图像处理方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150004318A (ko) * 2012-04-23 2015-01-12 엘지전자 주식회사 3ｄ 서비스를 위한 신호 처리 장치 및 방법
KR20150057149A (ko) * 2013-11-18 2015-05-28 한국전자통신연구원 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
GB2542637A (en) * 2015-09-28 2017-03-29 Esaturnus Nv Ultra low latency UHD and 3D networked video communication applicable to gigabit ethernet

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954606A (zh) * 2004-05-21 2007-04-25 韩国电子通信研究院 通过使用三维立体视频附加数据来发送/接收三维立体数字广播信号的装置和方法
CN101212678A (zh) * 2006-12-31 2008-07-02 联想(北京)有限公司 基于p2p网络的视频通信方法
WO2009018553A1 (en) * 2007-08-01 2009-02-05 The Directv Group, Inc. On-demand system interfaces and features
CN101682719A (zh) * 2008-01-17 2010-03-24 松下电器产业株式会社 记录有3d影像的记录介质、记录3d影像的记录装置以及再现3d影像的再现装置和再现方法
CN101743750A (zh) * 2007-05-14 2010-06-16 三星电子株式会社 用于编码和解码多视角图像的方法和装置
WO2011093677A2 (en) * 2010-01-28 2011-08-04 Samsung Electronics Co., Ltd. Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
WO2011136622A2 (en) * 2010-04-30 2011-11-03 Lg Electronics Inc. An apparatus of processing an image and a method of processing thereof
WO2012002690A2 (ko) * 2010-06-27 2012-01-05 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
WO2012023789A2 (ko) * 2010-08-17 2012-02-23 엘지전자 주식회사 디지털 방송 신호 수신 장치 및 방법

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5661518A (en) * 1994-11-03 1997-08-26 Synthonics Incorporated Methods and apparatus for the creation and transmission of 3-dimensional images
JP2004505393A (ja) 2000-08-09 2004-02-19 ダイナミック　ディジタル　デプス　リサーチ　プロプライエタリー　リミテッド イメージ変換および符号化技術
US7486680B1 (en) * 2002-03-21 2009-02-03 Ji Zhang Packet schedule timestamp for a compressed bitstream
AU2002952873A0 (en) 2002-11-25 2002-12-12 Dynamic Digital Depth Research Pty Ltd Image encoding system
US20060085826A1 (en) * 2004-10-18 2006-04-20 Funk James M Aggregated program guide for download and view video on demand service
US8973036B2 (en) * 2007-12-04 2015-03-03 Qualcomm Incorporated Mapping mobile device electronic program guide to content
KR101472332B1 (ko) * 2008-04-15 2014-12-15 삼성전자주식회사 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
KR101500440B1 (ko) * 2008-10-17 2015-03-09 삼성전자 주식회사 영상처리장치 및 영상처리방법
KR20120015443A (ko) * 2009-04-13 2012-02-21 리얼디 인크. 향상된 해상도의 스테레오스코픽 비디오의 엔코딩, 디코딩 및 배포
JP5428697B2 (ja) * 2009-09-16 2014-02-26 ソニー株式会社 受信装置、受信方法、送信装置およびコンピュータプログラム
CN102224731A (zh) * 2009-09-22 2011-10-19 松下电器产业株式会社 图像编码装置、图像解码装置、图像编码方法及图像解码方法
JP5585047B2 (ja) * 2009-10-28 2014-09-10 ソニー株式会社 ストリーム受信装置、ストリーム受信方法、ストリーム送信装置、ストリーム送信方法及びコンピュータプログラム
US8988495B2 (en) * 2009-11-03 2015-03-24 Lg Eletronics Inc. Image display apparatus, method for controlling the image display apparatus, and image display system
US20110149032A1 (en) * 2009-12-17 2011-06-23 Silicon Image, Inc. Transmission and handling of three-dimensional video content
IT1401731B1 (it) * 2010-06-28 2013-08-02 Sisvel Technology Srl Metodo per la decodifica 2d-compatibile di flussi video stereoscopici
FR2963528B1 (fr) * 2010-07-29 2012-08-24 Television Francaise 1 Telediffusion d'une video stereoscopique
EP2432218B1 (en) * 2010-09-20 2016-04-20 EchoStar Technologies L.L.C. Methods of displaying an electronic program guide
US20120076204A1 (en) * 2010-09-23 2012-03-29 Qualcomm Incorporated Method and apparatus for scalable multimedia broadcast using a multi-carrier communication system
KR20120031790A (ko) * 2010-09-27 2012-04-04 삼성전자주식회사 영상처리장치, 컨텐츠 제공서버 및 그들의 제어방법
US8537201B2 (en) * 2010-10-18 2013-09-17 Silicon Image, Inc. Combining video data streams of differing dimensionality for concurrent display
US8600220B2 (en) * 2012-04-02 2013-12-03 JBF Interlude 2009 Ltd—Israel Systems and methods for loading more than one video content at a time

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954606A (zh) * 2004-05-21 2007-04-25 韩国电子通信研究院 通过使用三维立体视频附加数据来发送/接收三维立体数字广播信号的装置和方法
CN101212678A (zh) * 2006-12-31 2008-07-02 联想(北京)有限公司 基于p2p网络的视频通信方法
CN101743750A (zh) * 2007-05-14 2010-06-16 三星电子株式会社 用于编码和解码多视角图像的方法和装置
WO2009018553A1 (en) * 2007-08-01 2009-02-05 The Directv Group, Inc. On-demand system interfaces and features
CN101682719A (zh) * 2008-01-17 2010-03-24 松下电器产业株式会社 记录有3d影像的记录介质、记录3d影像的记录装置以及再现3d影像的再现装置和再现方法
WO2011093677A2 (en) * 2010-01-28 2011-08-04 Samsung Electronics Co., Ltd. Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
WO2011136622A2 (en) * 2010-04-30 2011-11-03 Lg Electronics Inc. An apparatus of processing an image and a method of processing thereof
WO2012002690A2 (ko) * 2010-06-27 2012-01-05 엘지전자 주식회사 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
WO2012023789A2 (ko) * 2010-08-17 2012-02-23 엘지전자 주식회사 디지털 방송 신호 수신 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110505398A (zh) * 2019-07-16 2019-11-26 北京三快在线科技有限公司 一种图像处理方法、装置、电子设备及存储介质
CN110505398B (zh) * 2019-07-16 2021-03-02 北京三快在线科技有限公司 一种图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2013149655A1 (en) 2013-10-10
EP2834973A1 (en) 2015-02-11
US20150085071A1 (en) 2015-03-26

Similar Documents

Publication Publication Date Title
JP5543504B2 (ja) デジタル放送基盤の三次元静止映像サービス方法及び装置
KR100972792B1 (ko) 스테레오스코픽 영상을 동기화하는 장치 및 방법과 이를 이용한 스테레오스코픽 영상 제공 장치 및 방법
US9516294B2 (en) Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using same
US9055280B2 (en) Method and apparatus for transmitting digital broadcasting stream using linking information about multi-view video stream, and method and apparatus for receiving the same
US9578298B2 (en) Method for decoding 2D-compatible stereoscopic video flows
KR101889459B1 (ko) 입체영상-호환 비디오 스트림을 생성하고 재구성하기 위한 방법, 및 관련 코딩 및 디코딩 디바이스들
JP2012039340A (ja) 受信装置および受信方法
KR20120065943A (ko) 스테레오스코픽 비디오 서비스 위한 시그널링 방법 및 이러한 방법을 사용하는 장치
KR20150004318A (ko) 3ｄ 서비스를 위한 신호 처리 장치 및 방법
CN104221367A (zh) 用于生成和接收立体-2d反向兼容视频流的系统及其方法
KR20130128101A (ko) 3ｄｔｖ 다중화 방법 및 그 장치
KR20140000136A (ko) 화상 데이터 송신 장치, 화상 데이터 송신 방법, 화상 데이터 수신 장치 및 화상 데이터 수신 방법
JP2015156677A (ja) 受信装置および受信方法
JP2012049932A (ja) 受信装置
JP5684415B2 (ja) デジタル放送信号受信装置およびデジタル放送信号受信方法
JP5952454B2 (ja) 受信装置および受信方法
JP5559605B2 (ja) 受信装置および受信方法
KR101203483B1 (ko) 3차원 입체방송의 전송방법 및 그 수신기
JP2015136153A (ja) 受信装置、受信方法、および送受信方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20141217