CN102984548A - 3d立体视频编码传输方法及装置 - Google Patents

3d立体视频编码传输方法及装置 Download PDF

Info

Publication number
CN102984548A
CN102984548A CN2011102608501A CN201110260850A CN102984548A CN 102984548 A CN102984548 A CN 102984548A CN 2011102608501 A CN2011102608501 A CN 2011102608501A CN 201110260850 A CN201110260850 A CN 201110260850A CN 102984548 A CN102984548 A CN 102984548A
Authority
CN
China
Prior art keywords
frame
video
video flowing
encode stream
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102608501A
Other languages
English (en)
Other versions
CN102984548B (zh
Inventor
田康
郭晓岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201110260850.1A priority Critical patent/CN102984548B/zh
Priority to PCT/CN2012/081005 priority patent/WO2013034073A1/zh
Publication of CN102984548A publication Critical patent/CN102984548A/zh
Application granted granted Critical
Publication of CN102984548B publication Critical patent/CN102984548B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了3D立体视频编码传输方法及装置。方法包括：对立体视频源采集的第一路视频流的各帧组，对第一帧进行帧内编码，对后续帧进行P帧编码，得到第一路视频编码流；对立体视频源采集的第二路视频流的各帧组，对对应的第一、二路视频流帧进行运动估计，得到该帧的运动矢量和图像残差，对第一帧的图像残差进行P帧编码，对后续每帧的图像残差进行B帧编码，在编码后的每帧中保存该帧的所述运动矢量，得到第二路视频编码流；将第一、二路视频编码流封装入多媒体广播信道帧的同一复用子帧中，在第一路视频编码流的扩展信息保留位上存储第二路视频编码流的视频流编号，将信道帧广播出去。本发明实现了通过多媒体广播信道提供3D立体视频业务。

Description

3D立体视频编码传输方法及装置
技术领域
本发明涉及3D立体视频技术领域，具体涉及3D立体视频编码传输方法及装置、3D立体视频解码播放装置。
背景技术
3D视频内容随着3D电影的热播受到了人们的广泛关注，各种3D终端产品也随之推出，目前市场上已经出现了支持3D显示的移动终端产品。如何通过这些终端产品提供新型业务服务，提升用户体验将是运营商亟待解决的课题。
对比一般2D视频，3D立体视频通常包含两路视频流，分别对应于人类的左眼和右眼的视像结果。当两路视频流被解码后，通过立体显示装置和方案，如基于偏振的3D电影的方案、基于光栅的裸眼3D显示屏方案等为人们展示3D立体视频效果。
目前对于3D立体视频的编码方案主要有：1)独立编码，两路视频流被独立编码；2)双拼编码，两路视频中的对称图像各取一半，双拼成为一路视频进行编码；3)联合编码，一路视频对于另外一路进行运动估计运算，然后对残差帧重新编码；4)深度编码，由一路视频帧与其对应的立体深度信息进行编码。这些编码方案最终被复用组织成为标准视频流，如动态图像专家组(MPEG，Moving Pictures Experts Group)2、H.264多视频编码(MVC，multi-view video coding)系统码流格式，通过基于广播如：数字视频广播(DVB，Digital Video Broadcasting)或者IP技术方案进行传输。
如何通过多媒体广播技术提供3D立体视频业务，尚属一个创新领域，并无现成的相关标准技术方案。
发明内容
本发明提供3D立体视频编码传输方法及装置，以及3D立体视频解码播放方法，以实现通过多媒体广播提供3D立体视频业务。
本发明的技术方案是这样实现的：
一种3D立体视频编码传输方法，该方法包括：
对于立体视频源采集的第一路视频流的每个帧组，对第一帧进行帧内编码，对后续每帧，以该路视频流的前一编码帧为参考帧进行P帧编码，得到第一路视频编码流；
对于立体视频源采集的第二路视频流的每个帧组，对每帧与第一路视频流的对应帧进行运动估计，得到该帧的运动矢量，同时得到该帧的图像残差，对第一帧的图像残差，以第一路视频流的对应编码I帧为参考帧进行P帧编码，对后续每帧的图像残差，以第一路视频流的对应编码P帧和第二路视频流的前一编码帧为参考帧进行B帧编码，在编码后的每帧中保存该帧的所述运动矢量，得到第二路视频编码流；
将第一、二路视频编码流封装入多媒体广播信道帧针对同一节目的同一复用子帧中，并在该信道帧中设置该复用子帧包含3D立体视频节目服务指示，同时在第一路视频编码流的扩展信息保留位上存储第二路视频编码流的视频流编号，将信道帧广播出去。
所述方法进一步包括：
当终端接收到信道帧时，对于任一复用子帧，若检测到信道帧中设置了该复用子帧包含3D立体视频节目服务指示，在该复用子帧的第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编号，同时读取第一、二路视频编码流，采用每一路视频编码流的解码参数集，对该路视频编码流进行解码，分别得到原始第一路视频流和原始第二路视频流的图像残差；根据第二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二路视频流，将原始第一、二路视频流以3D立体视频方式显示。
所述将第一路视频编码流和第二路视频编码流封装入多媒体广播信道帧针对同一节目的同一复用子帧中进一步包括：在封装第二路视频编码流时，不封装解码参数集。
所述方法进一步包括：
当终端接收到信道帧时，对于任一复用子帧，若检测到信道帧中设置了该复用子帧包含3D立体视频节目服务指示，在该复用子帧的第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编号，同时读取第一、二路视频编码流，并采用第一路视频编码流的解码参数集，同时对该两视频编码流进行解码，分别得到原始第一路视频流和原始第二路视频流的图像残差；根据第二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二路视频流，将原始第一、二路视频流以3D立体视频方式显示。
所述终端接收到信道帧之后进一步包括：
终端判断自身是否支持3D立体视频节目，若否，则对任一复用子帧，只对该复用子帧中包含解码参数集的视频流进行解码，并将解码后的视频流以2D视频方式显示。
所述终端接收到信道帧之后进一步包括：
对于任一复用子帧，若检测到信道帧中未设置该复用子帧包含3D立体视频节目服务指示，则只对该复用子帧中包含解码参数集的视频流进行解码，并将解码后的视频流以2D视频方式显示。
所述多媒体广播信道帧为中国移动多媒体广播CMMB帧。
一种3D立体视频编码传输装置，包括：
编码模块：对于立体视频源采集的第一路视频流的每个帧组，对第一帧进行帧内编码，对后续每帧，以该路视频流的前一编码帧为参考帧进行P帧编码，得到第一路视频编码流；对于立体视频源采集的第二路视频流的每个帧组，对每帧与第一路视频流的对应帧进行运动估计，得到该帧的运动矢量，同时得到该帧的图像残差，对第一帧的图像残差，以第一路视频流的对应编码I帧为参考帧进行P帧编码，对后续每帧的图像残差，以第一路视频流的对应编码P帧和第二路视频流的前一编码帧为参考帧进行B帧编码，在编码后的每帧中保存该帧的所述运动矢量，得到第二路视频编码流；将第一、二路视频编码流输出到封装模块；
封装模块：将第一、二路视频编码流封装入多媒体广播信道帧针对同一节目的同一复用子帧中，在信道帧中设置该复用子帧包含3D立体视频节目服务指示，同时在第一路视频编码流的扩展信息保留位上存储第二路视频编码流的视频流编号，将CMMB信道帧广播出去。
所述封装模块进一步用于，在封装第二路视频编码流时，不封装解码参数集。
一种3D立体视频解码播放装置，包括：
解码模块：当接收到多媒体广播信道帧时，对于任一复用子帧，若检测到信道帧中设置了该复用子帧包含3D立体视频节目服务指示，在该复用子帧的第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编号，同时读取第一、二路视频编码流，采用每一路视频编码流的解码参数集，对该路视频编码流进行解码，分别得到原始第一路视频流和原始第二路视频流的图像残差；根据第二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二路视频流；
3D视频播放模块：将解码模块输出的原始第一、二路视频流以3D立体视频方式显示。
一种3D立体视频解码播放装置，包括：
解码模块：当接收到多媒体广播信道帧时，对于任一复用子帧，若检测到信道帧中设置了该复用子帧包含3D立体视频节目服务指示，在该复用子帧的第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编号，同时读取第一、二路视频编码流，并采用第一路视频编码流的解码参数集，同时对该两视频编码流进行解码，分别得到原始第一路视频流和原始第二路视频流的图像残差；根据第二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二路视频流；
3D视频播放模块：将解码模块输出的原始第一、二路视频流以3D立体视频方式显示。
所述解码模块进一步用于，当接收到多媒体广播信道帧时，判断本终端是否支持3D立体视频节目，若否，则对任一复用子帧，只对该复用子帧中包含解码参数集的视频流进行解码，并将解码后的视频流发送给2D视频播放模块。
所述解码模块进一步用于，对于任一复用子帧，若检测到信道帧中未设置该复用子帧包含3D立体视频节目服务指示，则只对该复用子帧中包含解码参数集的视频流进行解码，并将解码后的视频流发送给2D视频播放模块。
与现有技术相比，本发明实现了通过多媒体广播提供3D立体视频业务，且提高了3D立体视频编码效率，且该编码方法能广泛兼容现有终端的视频编码方案，降低了对终端的解码要求。
附图说明
图1为本发明实施例提供的基于CMMB的3D立体视频编码方法流程图；
图2给出了图1所示实施例提供的编码方法的示意图；
图3为本发明实施例提供的基于CMMB的3D立体视频传输方法流程图；
图4给出了CMMB广播信道帧的组成示意图；
图5为本发明实施例提供的基于CMMB的3D立体视频解码播放方法流程图；
图6为本发明实施例提供的基于CMMB的3D立体视频编码传输装置的组成图；
图7为本发明实施例提供的基于CMMB的3D立体视频解码播放装置的组成图。
具体实施方式
下面结合附图及具体实施例对本发明再作进一步详细的说明。
图1为本发明实施例提供的基于CMMB的3D立体视频编码方法流程图，如图1所示，其具体步骤如下：
步骤101：立体视频源采集分别对应于左眼和右眼的左路和右路视频流。
步骤102：对于左路视频流的每个图像帧组，对第一帧进行帧内编码，得到I帧，对后续每帧，以该路视频流的前一编码帧为参考帧进行P帧编码，分别得到P帧。
对于目前CMMB系统，本步骤中，对左路视频流编码后得到的码流为H.264 base line profile码流。这种码流在终端无需特殊处理，可以按照解码规范被正常解码播放。
步骤103：对于右路视频流的每个图像帧组，对于每一帧，首先采用预设运动估计算法，对该帧与左路视频流中对应帧进行运动估计，得到该两帧的运动向量，根据该运动向量计算该帧与左路视频流中对应帧的图像残差，对第一帧的图像残差，以左路视频流的对应编码I帧为参考帧进行P帧编码，得到P帧，并在该P帧中保存该第一帧的运动向量；对后续每帧的图像残差，以左路视频流的对应编码P帧和右路视频流的前一编码帧为参考帧，进行B帧编码，分别得到B帧，并在每个B帧中保存该帧的运动向量。
本步骤中的对应帧指的是，左路视频流的第m个帧组的第n帧与右路视频流的第m个帧组的第n帧对应。
运动估计的基本过程为：将对应的左路视频帧和右路视频帧分别划分为相同数目的宏块，对于右路视频帧的每个宏块，在左路视频帧中查找与该宏块最匹配的宏块，计算该两宏块间的运动矢量，对于对应的左、右路视频帧中最匹配的两宏块，计算该两宏块间的残差。这样，对于每个右路视频帧都会得到多个残差，对一右路视频帧的所有残差进行编码，即得到本步骤中的P帧或B帧。
图2给出了图1所示实施例提供的编码方法的示意图。
对3D立体视频原始码流编码后，就可对编码后得到的3D立体视频编码流进行封装、传输了。本发明实施例中，对3D立体视频编码流采用CMMB系统中的复用帧进行封装。
图3为本发明实施例提供的基于CMMB的3D立体视频传输方法流程图，如图3所示，其具体步骤如下：
步骤301：确定封装3D立体视频编码流的复用子帧号，在复用帧标识(MF_ID，Multiplex Frame Identifier)为0的复用帧的控制信息中设置该复用子帧包含3D立体视频节目服务指示。
在CMMB系统中以复用帧作为广播信道中基础的信息组织单元，广播信道帧中通过时分包含了多个复用帧。
图4给出了广播信道帧的组成，如图4所示，每个复用帧包含复用帧头、复用帧净荷和填充三个部分。其中复用帧头包括：起始码、帧头长度、协议版本号、复用帧标示、复用子帧数、每个子帧长度以及子帧参数等信息。每个复用帧由MF_ID唯一标示，其中MF_ID为0的复用帧用于承载控制信息，其它复用帧用于承载业务，即视频、音频和数据等业务信息。控制信息通过各种控制信息表来指示不同控制类型。控制信息表中包含了：1)网络信息表(NIT)；2)持续业务复用配置表(CMCT)；3)持续业务配置表(CSCT)；4)短时间业务复用配置表(SMCT)；5)短时间业务配置表(SSCT)；6)ESG基本描述表；7)紧急广播等。其中，3)持续业务配置表(CSCT)的扩展字段用于设置各个复用子帧包含的视频节目服务类型，例如：若要将3D立体视频编码流放入复用子帧2，则在CSCT中设置复用子帧2包含3D立体视频节目服务指示。
1个复用帧的复用帧净荷中包含一个或多个复用子帧，同一业务的视频流、音频流和数据流封装在同一复用子帧中。
本实施例中，左路和右路视频编码流由于属于同一业务，因此同时复用在一个复用子帧中，当然该复用子帧中也包含了该业务的音频流和数据流。
步骤302：将左路视频编码流和右路视频编码流封装入该复用子帧中，且在左路视频编码流的扩展信息保留位上存储右路视频编码流的视频流编号。
每个复用子帧由子帧头、视频段、音频段和数据段等部分组成。子帧头包括：头长度、起始播放时间、视频段长度、音频段长度、数据段长度、扩展区参数等信息。视频段包含视频段头和多个视频单元，其中视频段头描述了每个视频单元的参数，如视频单元长度、图像帧类型、视频流编号等。视频段中可以包含多个视频流。本步骤的复用子帧中包含两个视频流：左路视频编码流和右路视频编码流，它们分别具有各自的视频流编号。
对于左路视频编码流采用现有的视频流复用方式进行封装，并扩展其视频流扩展信息保留位，用于存储右路视频编码流的视频流编号，以便将左路视频编码流和右路视频编码流关联起来。对于右路视频编码流在封装时，不封装视频解码参数表，其它封装方式与现有的视频流复用封装方式相同。
步骤303：将封装好的广播信道帧通过广播发射设备发送给终端。
图5为本发明实施例提供的基于CMMB的3D立体视频解码播放方法流程图，如图5所示，其具体步骤如下：
步骤501：终端接收广播发射设备发来的广播信道帧。
步骤502：终端判断自身是否支持3D立体视频节目，若是，执行步骤503；否则，执行步骤506。
步骤503：对于每个复用子帧，终端检测MF_ID为0的复用帧的控制信息中是否设置了该复用子帧包含3D立体视频节目服务指示，若是，执行步骤504；否则，执行步骤506。
步骤504：终端检测到该复用子帧的第一视频流的视频流扩展信息保留位存储了关联的视频流编号时，则同时读取第一视频流与该视频流编号对应的第二视频流，并采用第一视频流的解码参数集，同时对该两视频流分别进行解码，分别得到原始左路视频流和原始右路视频流的图像残差；且对于该原始右路视频流的各帧的图像残差，根据右路视频编码流中的P帧或B帧中的运动向量以及该帧对应的原始左路视频帧，采用预设运动补偿算法对该帧的图像残差进行运动补偿，得到原始右路视频流。
运动补偿为运动估计的逆过程。
步骤505：终端将原始左路视频流和原始右路视频流以3D立体视频方式显示，本流程结束。
步骤506：终端对具有解码参数集的视频流进行解码，得到原始视频流，以2D视频方式显示原始视频流。
由于复用子帧中的右路视频编码流没有解码参数集，因此，对于不支持3D立体视频节目的终端来说，会由于读取不到该视频流的解码参数集，而放弃对该视频流的解码，从而自然可以进行正常的2D视频解码播放。
图6为本发明实施例提供的3D立体视频编码传输装置，如图6所示，其主要包括：编码模块61和封装模块62，其中：
编码模块61：接收立体视频源发来的第一和第二路视频流，对于立体视频源采集的第一路视频流的每个帧组，对第一帧进行帧内编码，对后续每帧进行帧间编码，得到第一路视频编码流；对于立体视频源采集的第二路视频流的每个帧组，对每帧与第一路视频流的对应帧进行运动估计，得到该帧的运动矢量，同时得到该帧的图像残差，对第一帧的图像残差进行帧内编码，对后续每帧的图像残差进行帧间编码，在编码后的每帧中保存该帧的所述运动矢量，得到第二路视频编码流；将第一、二路视频编码流输出到封装模块62。
封装模块62：将编码模块61输出的第一路视频编码流和第二路视频编码流封装入CMMB广播信道帧的同一复用子帧中，在复用帧0中设置该复用子帧包含3D立体视频节目服务指示，同时在第一路视频编码流的扩展信息保留位上存储第二路视频编码流的视频流编号，将广播信道帧广播出去。
封装模块62进一步用于，在封装第二路视频编码流时，不封装解码参数集。
图7为本发明实施例提供的3D立体视频解码播放装置的组成图，如图7所示，其主要包括：解码模块71和3D视频播放模块72，其中：
解码模块71：当从广播信道上接收到广播信道帧时，对于任一复用子帧，若检测到复用帧0中设置了该复用子帧包含3D立体视频节目服务指示，在该复用子帧的第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编号，同时读取第一、二路视频编码流，并采用第一路视频编码流的解码参数集，同时对该两视频编码流进行解码，分别得到原始第一路视频流和原始第二路视频流的图像残差；根据第二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二路视频流；将原始第一、二路视频流输出到3D视频播放模块72。
3D视频播放模块72：将解码模块71输出的原始第一、二路视频流以3D立体视频方式显示。
解码模块71进一步用于，当接收到广播信道帧时，判断本终端是否支持3D立体视频节目，若否，则对任一复用子帧，只对该复用子帧中包含解码参数集的视频流进行解码，并将解码后的视频流发送给2D视频播放模块。
解码模块71进一步用于，对于任一复用子帧，若检测到复用帧0中未设置该复用子帧包含3D立体视频节目服务指示，则只对该复用子帧中包含解码参数集的视频流进行解码，并将解码后的视频流发送给2D视频播放模块。
以下给出本发明另一实施例提供的3D立体视频解码播放装置的组成，其主要包括：解码模块和3D视频播放模块，其中：
解码模块：当从广播信道上接收到广播信道帧时，对于任一复用子帧，若检测到复用帧0中设置了该复用子帧包含3D立体视频节目服务指示，在该复用子帧的第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编号，同时读取第一、二路视频编码流，采用每一路视频编码流的解码参数集，对该路视频编码流进行解码，分别得到原始第一路视频流和原始第二路视频流的图像残差；根据第二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二路视频流；将原始第一、二路视频流输出到3D视频播放模块。
3D视频播放模块：将解码模块输出的原始第一、二路视频流以3D立体视频方式显示。
本发明实施例针对的多媒体广播标准为CMMB，在实际应用中，本发明也可以应用到其它多媒体广播标准中。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (13)

1.一种3D立体视频编码传输方法，其特征在于，该方法包括：
对于立体视频源采集的第一路视频流的每个帧组，对第一帧进行帧内编码，对后续每帧，以该路视频流的前一编码帧为参考帧进行P帧编码，得到第一路视频编码流；
对于立体视频源采集的第二路视频流的每个帧组，对每帧与第一路视频流的对应帧进行运动估计，得到该帧的运动矢量，同时得到该帧的图像残差，对第一帧的图像残差，以第一路视频流的对应编码I帧为参考帧进行P帧编码，对后续每帧的图像残差，以第一路视频流的对应编码P帧和第二路视频流的前一编码帧为参考帧进行B帧编码，在编码后的每帧中保存该帧的所述运动矢量，得到第二路视频编码流；
将第一、二路视频编码流封装入多媒体广播信道帧针对同一节目的同一复用子帧中，并在该信道帧中设置该复用子帧包含3D立体视频节目服务指示，同时在第一路视频编码流的扩展信息保留位上存储第二路视频编码流的视频流编号，将信道帧广播出去。
2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
当终端接收到信道帧时，对于任一复用子帧，若检测到信道帧中设置了该复用子帧包含3D立体视频节目服务指示，在该复用子帧的第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编号，同时读取第一、二路视频编码流，采用每一路视频编码流的解码参数集，对该路视频编码流进行解码，分别得到原始第一路视频流和原始第二路视频流的图像残差；根据第二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二路视频流，将原始第一、二路视频流以3D立体视频方式显示。
3.根据权利要求1所述的方法，其特征在于，所述将第一路视频编码流和第二路视频编码流封装入多媒体广播信道帧针对同一节目的同一复用子帧中进一步包括：在封装第二路视频编码流时，不封装解码参数集。
4.根据权利要求3所述的方法，其特征在于，所述方法进一步包括：
当终端接收到信道帧时，对于任一复用子帧，若检测到信道帧中设置了该复用子帧包含3D立体视频节目服务指示，在该复用子帧的第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编号，同时读取第一、二路视频编码流，并采用第一路视频编码流的解码参数集，同时对该两视频编码流进行解码，分别得到原始第一路视频流和原始第二路视频流的图像残差；根据第二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二路视频流，将原始第一、二路视频流以3D立体视频方式显示。
5.根据权利要求3所述的方法，其特征在于，所述终端接收到信道帧之后进一步包括：
终端判断自身是否支持3D立体视频节目，若否，则对任一复用子帧，只对该复用子帧中包含解码参数集的视频流进行解码，并将解码后的视频流以2D视频方式显示。
6.根据权利要求3所述的方法，其特征在于，所述终端接收到信道帧之后进一步包括：
对于任一复用子帧，若检测到信道帧中未设置该复用子帧包含3D立体视频节目服务指示，则只对该复用子帧中包含解码参数集的视频流进行解码，并将解码后的视频流以2D视频方式显示。
7.根据权利要求1至6任一所述的方法，其特征在于，所述多媒体广播信道帧为中国移动多媒体广播CMMB帧。
8.一种3D立体视频编码传输装置，其特征在于，包括：
编码模块：对于立体视频源采集的第一路视频流的每个帧组，对第一帧进行帧内编码，对后续每帧，以该路视频流的前一编码帧为参考帧进行P帧编码，得到第一路视频编码流；对于立体视频源采集的第二路视频流的每个帧组，对每帧与第一路视频流的对应帧进行运动估计，得到该帧的运动矢量，同时得到该帧的图像残差，对第一帧的图像残差，以第一路视频流的对应编码I帧为参考帧进行P帧编码，对后续每帧的图像残差，以第一路视频流的对应编码P帧和第二路视频流的前一编码帧为参考帧进行B帧编码，在编码后的每帧中保存该帧的所述运动矢量，得到第二路视频编码流；将第一、二路视频编码流输出到封装模块；
封装模块：将第一、二路视频编码流封装入多媒体广播信道帧针对同一节目的同一复用子帧中，在信道帧中设置该复用子帧包含3D立体视频节目服务指示，同时在第一路视频编码流的扩展信息保留位上存储第二路视频编码流的视频流编号，将CMMB信道帧广播出去。
9.根据权利要求8所述的装置，其特征在于，所述封装模块进一步用于，在封装第二路视频编码流时，不封装解码参数集。
10.一种3D立体视频解码播放装置，其特征在于，包括：
解码模块：当接收到多媒体广播信道帧时，对于任一复用子帧，若检测到信道帧中设置了该复用子帧包含3D立体视频节目服务指示，在该复用子帧的第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编号，同时读取第一、二路视频编码流，采用每一路视频编码流的解码参数集，对该路视频编码流进行解码，分别得到原始第一路视频流和原始第二路视频流的图像残差；根据第二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二路视频流；
3D视频播放模块：将解码模块输出的原始第一、二路视频流以3D立体视频方式显示。
11.一种3D立体视频解码播放装置，其特征在于，包括：
解码模块：当接收到多媒体广播信道帧时，对于任一复用子帧，若检测到信道帧中设置了该复用子帧包含3D立体视频节目服务指示，在该复用子帧的第一路视频编码流的扩展信息保留位上读取到第二路视频编码流的视频流编号，同时读取第一、二路视频编码流，并采用第一路视频编码流的解码参数集，同时对该两视频编码流进行解码，分别得到原始第一路视频流和原始第二路视频流的图像残差；根据第二路视频编码流中保存的各帧的运动矢量，并结合原始第一路视频流对原始第二路视频流的图像残差进行运动补偿，得到原始第二路视频流；
3D视频播放模块：将解码模块输出的原始第一、二路视频流以3D立体视频方式显示。
12.根据权利要求11所述的装置，其特征在于，所述解码模块进一步用于，当接收到多媒体广播信道帧时，判断本终端是否支持3D立体视频节目，若否，则对任一复用子帧，只对该复用子帧中包含解码参数集的视频流进行解码，并将解码后的视频流发送给2D视频播放模块。
13.根据权利要求11所述的装置，其特征在于，所述解码模块进一步用于，对于任一复用子帧，若检测到信道帧中未设置该复用子帧包含3D立体视频节目服务指示，则只对该复用子帧中包含解码参数集的视频流进行解码，并将解码后的视频流发送给2D视频播放模块。
CN201110260850.1A 2011-09-05 2011-09-05 3d立体视频编码传输方法及装置 Active CN102984548B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201110260850.1A CN102984548B (zh) 2011-09-05 2011-09-05 3d立体视频编码传输方法及装置
PCT/CN2012/081005 WO2013034073A1 (zh) 2011-09-05 2012-09-05 3d立体视频编码传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110260850.1A CN102984548B (zh) 2011-09-05 2011-09-05 3d立体视频编码传输方法及装置

Publications (2)

Publication Number Publication Date
CN102984548A true CN102984548A (zh) 2013-03-20
CN102984548B CN102984548B (zh) 2014-12-31

Family

ID=47831527

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110260850.1A Active CN102984548B (zh) 2011-09-05 2011-09-05 3d立体视频编码传输方法及装置

Country Status (2)

Country Link
CN (1) CN102984548B (zh)
WO (1) WO2013034073A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284191A (zh) * 2013-07-03 2015-01-14 乐金电子(中国)研究开发中心有限公司 视频编解码方法及视频编解码器
WO2015051719A1 (en) * 2013-10-11 2015-04-16 Huawei Technologies Co., Ltd. System and method for real-time traffic delivery
CN106358033A (zh) * 2016-08-25 2017-01-25 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN113141494A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 3d图像处理方法、装置和3d显示终端
WO2023273535A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 视频码流的处理方法、介质、程序产品和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1226786A (zh) * 1997-11-07 1999-08-25 通用仪器公司 用于立体视频编码的视图偏移估算
CN101729892A (zh) * 2009-11-27 2010-06-09 宁波大学 一种非对称立体视频编码方法
US20110010739A1 (en) * 2009-07-07 2011-01-13 Electronics And Telecommunications Research Institute Method and apparatus for transmitting/receiving stereoscopic video in digital broadcasting system
CN102098542A (zh) * 2010-12-15 2011-06-15 中兴通讯股份有限公司 一种多媒体数据传输的方法、系统和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110960A (zh) * 2007-08-02 2008-01-23 北京创毅视讯科技有限公司 一种多媒体广播数据传输方法、装置及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1226786A (zh) * 1997-11-07 1999-08-25 通用仪器公司 用于立体视频编码的视图偏移估算
US20110010739A1 (en) * 2009-07-07 2011-01-13 Electronics And Telecommunications Research Institute Method and apparatus for transmitting/receiving stereoscopic video in digital broadcasting system
CN101729892A (zh) * 2009-11-27 2010-06-09 宁波大学 一种非对称立体视频编码方法
CN102098542A (zh) * 2010-12-15 2011-06-15 中兴通讯股份有限公司 一种多媒体数据传输的方法、系统和装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284191A (zh) * 2013-07-03 2015-01-14 乐金电子(中国)研究开发中心有限公司 视频编解码方法及视频编解码器
CN104284191B (zh) * 2013-07-03 2018-12-18 乐金电子(中国)研究开发中心有限公司 视频编解码方法及视频编解码器
WO2015051719A1 (en) * 2013-10-11 2015-04-16 Huawei Technologies Co., Ltd. System and method for real-time traffic delivery
US9537779B2 (en) 2013-10-11 2017-01-03 Huawei Technologies Co., Ltd. System and method for real-time traffic delivery
CN109068187A (zh) * 2013-10-11 2018-12-21 华为技术有限公司 实时流量传送系统和方法
US10193813B2 (en) 2013-10-11 2019-01-29 Huawei Technologies Co., Ltd. System and method for real-time traffic delivery
CN106358033A (zh) * 2016-08-25 2017-01-25 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN106358033B (zh) * 2016-08-25 2018-06-19 北京字节跳动科技有限公司 一种全景视频关键帧编码方法和装置
CN113141494A (zh) * 2020-01-20 2021-07-20 北京芯海视界三维科技有限公司 3d图像处理方法、装置和3d显示终端
WO2021147754A1 (zh) * 2020-01-20 2021-07-29 北京芯海视界三维科技有限公司 3d图像处理方法、装置和3d显示终端
WO2023273535A1 (zh) * 2021-06-30 2023-01-05 华为技术有限公司 视频码流的处理方法、介质、程序产品和电子设备

Also Published As

Publication number Publication date
CN102984548B (zh) 2014-12-31
WO2013034073A1 (zh) 2013-03-14

Similar Documents

Publication Publication Date Title
CN101068367B (zh) 用于改变编解码器的方法和装置
US9380288B2 (en) System and method for transmitting/receiving three dimensional video based on digital broadcasting
KR101639358B1 (ko) 실시간으로 전송되는 기준 영상과 별도로 전송되는 부가 영상 및 콘텐츠를 연동하여 3ｄ 서비스를 제공하기 위한 전송 장치 및 방법, 및 수신 장치 및 방법
KR101372376B1 (ko) 디지털 방송 시스템의 스테레오스코픽 비디오 수신 방법
CN103024444B (zh) 用于信道切换的系统及方法
US8289998B2 (en) Method and apparatus for generating three (3)-dimensional image data stream, and method and apparatus for receiving three (3)-dimensional image data stream
JP5238069B2 (ja) トランスポート・データストリーム内で参照するフレキシブル・サブストリーム
KR100574186B1 (ko) 부호화 스트림 스플라이싱 장치 및 방법과 부호화 스트림 생성 장치 및 방법과 편집 장치 및 방법 및 편집 시스템
CN101453639A (zh) 支持roi区域的多路视频流的编码、解码方法和系统
MX2012008818A (es) Metodo y aparato para transmitir flujo de difusion digital usando informacion de enlace acerca de flujo de video multivistas y metodo y aparato para su recepcion.
JP2012505569A (ja) 多視点メディアデータ
JP2011519216A5 (zh)
RU2678149C2 (ru) Устройство кодирования, способ кодирования, передающее устройство, устройство декодирования, способ декодирования и приёмное устройство
CN102870419B (zh) 三维图像数据编码方法和装置以及解码方法和装置
CN102984548B (zh) 3d立体视频编码传输方法及装置
WO2007067020A1 (en) System and method for transmitting/receiving three dimensional video based on digital broadcasting
CN102630040A (zh) 利用带宽优化的快速频道改变伴流解决方案
BRPI0205954B1 (pt) Método de codificação de imagem, método de decodificação de imagem e aparelhos para os mesmos
JP2020182221A (ja) 受信装置、受信方法、送信装置および送信方法
US20140125762A1 (en) Transmission device, transmission method, reception apparatus, and reception method
WO2012169204A1 (ja) 送信装置、受信装置、送信方法及び受信方法
JP2018201159A (ja) 映像処理方法、映像処理システム及び映像送信装置
JP2012525067A (ja) ハードウェア・タイムスタンプなしでビデオ・フレームを同期すること
KR20140035065A (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
CN105657448B (zh) 一种编码视频流的转发方法、装置及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant