CN108616748A - 一种码流及其封装方法、解码方法及装置 - Google Patents

一种码流及其封装方法、解码方法及装置 Download PDF

Info

Publication number
CN108616748A
CN108616748A CN201710008143.0A CN201710008143A CN108616748A CN 108616748 A CN108616748 A CN 108616748A CN 201710008143 A CN201710008143 A CN 201710008143A CN 108616748 A CN108616748 A CN 108616748A
Authority
CN
China
Prior art keywords
hevc
data
code stream
texture maps
viewpoint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710008143.0A
Other languages
English (en)
Inventor
王斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ke Tong Huanyu (beijing) Technology Co Ltd
Original Assignee
Ke Tong Huanyu (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ke Tong Huanyu (beijing) Technology Co Ltd filed Critical Ke Tong Huanyu (beijing) Technology Co Ltd
Priority to CN201710008143.0A priority Critical patent/CN108616748A/zh
Publication of CN108616748A publication Critical patent/CN108616748A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明实施例公开了一种码流的封装方法,包括:依次进行时间帧内每个视点图像数据的封装,其中,每一个视点图像数据的封装步骤包括:获得该视点的纹理图的HEVC码流;将编码后的所述视点的辅助数据的码流封装到所述纹理图的HEVC码流的自定义NAL中,辅助数据为与相应视点的纹理图进行视点合成的数据信息。该方法具有良好的兼容性和扩展性,利于3D显示产业化的进展。

Description

一种码流及其封装方法、解码方法及装置
技术领域
本发明涉及3D视频传输领域,尤其涉及一种码流及其封装方法、解码方法及装置。
背景技术
随着3D(Three Dimension,三维)显示技术的发展,裸眼3D成为显示技术发展的趋势和热点。裸眼3D显示技术中利用了人眼的视差原理,用户可以不佩戴眼镜,直接观看屏幕而获得立体感知,摆脱了对眼镜的依赖,给用户带来了更好的视觉体验。
在裸眼3D显示技术体系中,将原始的图像数据经过编码、码流传输和解码之后,在3D显示设备上显示3D图像,原始的图像数据来源于拍摄的电视节目,目前,存在多种数据结构的图像数据,而且编码及传输方式各不相同,兼容性及扩展性差,影响3D显示产业化的进展。
发明内容
本发明提供了一种码流及其封装方法、解码方法及装置,以提高不同数据结构的图像数据应用时的兼容性及扩展性。
本发明提供了一种码流的封装方法,包括:
依次进行时间帧内每个视点图像数据的封装,其中,每一个视点图像数据的封装步骤包括:
获得该视点的纹理图的HEVC码流;
将编码后的所述视点的辅助数据的码流封装到所述纹理图的HEVC码流的自定义NAL中,辅助数据为与相应视点的纹理图进行视点合成的数据信息。
可选地,依次进行时间帧内每个视点图像数据的封装之前,还包括:进行辅助数据相关的扩展参数集的编码;则,首个时间帧内的视点图像封装的步骤或者每一个视点图像数据的封装步骤还包括:将扩展参数集封装到首个纹理图的HEVC码流的自定义NAL中。
可选地,进行每个或部分时间帧内每个视点图像数据的封装的步骤还包括:
进行所述时间帧的辅助数据相关的扩展参数集的编码,并将所述扩展参数集封装到所述时间帧中的首个纹理图的HEVC码流的自定义NAL中。
可选地,对于每一个视点图像的封装步骤还包括:将扩展信息数据封装到所述纹理图的HEVC码流的SEI的自定义部分中。
可选地,辅助数据为多个,将编码后的所述视点的辅助数据的码流封装到所述纹理图的HEVC码流的自定义NAL中的步骤为:将编码后的辅助数据的多个码流分别封装到所述纹理图的HEVC码流的不同的自定义NAL中。
可选地,辅助数据为多个,将编码后的所述视点的辅助数据的码流封装到所述纹理图的HEVC码流的自定义NAL中的步骤为:将编码后的辅助数据的多个码流封装到所述纹理图的HEVC码流的一个自定义NAL中,不同的辅助数据的码流之间设置间隔标识符。
可选地,将编码后的所述视点的辅助数据的码流封装到所述纹理图的HEVC码流的自定义NAL中,还包括:遍历编码后的所述视点的辅助数据的码流,将所述辅助数据的码流中存在的与自定义NAL的起始符相同的数据中插入区别标识符。
可选地,获得该视点的纹理图的HEVC码流包括:通过3D HEVC编码获得该视点的纹理图的HEVC码流和深度图的HEVC码流,辅助数据包括除深度图之外的数据信息。
可选地,获得该视点的纹理图的HEVC码流包括:通过HEVC或3D HEVC获得该视点的纹理图的HEVC码流,辅助数据中至少包括深度图的数据信息。
此外,本发明还提供了一种码流,依次按照时间帧排列,每个时间帧内对应每个视点图像的码流包括:
视点的纹理图的HEVC码流,在所述纹理图的HEVC码流的自定义NAL中封装有所述视点的编码后的辅助数据,辅助数据为与相应视点的纹理图进行视点合成的数据信息。
可选地,还包括:封装到首个时间帧内的首个纹理图的HEVC码流的自定义的NAL中辅助数据相关的扩展参数集。
可选地,还包括:封装到每个或部分时间帧中首个纹理图的HEVC码流的自定义NAL中、与所述时间帧的辅助数据相关的扩展参数集。
可选地,时间帧内对应每个视点图像的码流还包括:封装到所述纹理图的HEVC码流的SEI的自定义部分中的扩展信息数据。
可选地,辅助数据为多个,时间帧内对应每个视点图像的码流中,编码后的辅助数据的码流分别封装到所述纹理图的HEVC码流的不同的自定义NAL中。
可选地,辅助数据为多个,时间帧内对应每个视点图像的码流中,编码后的辅助数据的码流分别封装到所述纹理图的HEVC码流的一个自定义NAL中,不同的辅助数据的码流之间设置间隔标识符。
可选地,所述辅助数据的码流中、与自定义NAL的起始符相同的数据中插入区别标识符。
可选地,时间帧内对应每个视点图像的码流还包括:与该视点的纹理图相对应的深度图的HEVC码流,辅助数据包括除深度图之外的数据信息。
可选地,时间帧内对应每个视点图像的码流仅包括纹理图的HEVC码流,辅助数据至少包括深度图的数据信息。
此外,本发明还提供了一种解码方法,将收到的包含上述任一码流的数据包进行解码。
此外,本发明又提供了一种解码装置,用于将包含上述任一码流的数据包进行解码。
本发明实施例提供的码流及其封装方法、解码方法及装置,对用于视点合成的纹理图和辅助数据的3D数据信息进行封装,在封装时,将编码后的辅助数据封装到纹理图的HEVC码流的自定义的NAL中,这种方式中,充分考虑了现有的3D显示技术体系,在现有的2D图像的HEVC编码的基础上,将所需要的辅助数据进行编码后,封装到HEVC码流的自定义的NAL中,与现有的视频节目及编码系统具有良好的兼容性,即使合成的数据不断变化和增多,仍可以获得统一格式的码流,具有良好的兼容性和扩展性,利于3D显示产业化的进展。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的码流封装方法的流程示意图;
图2为根据本发明一实施例提供的HEVC码流的数据结构示意图;
图3为根据本发明另一实施例提供的HEVC码流的数据结构示意图;
图4为根据本发明一实施例的码流的数据结构示意图;
图5为根据本发明另一实施例的码流的数据结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参考图1所示,本发明提出了一种码流的封装方法,包括:
依次进行时间帧内每个视点图像的封装,其中,每一个视点图像的封装步骤包括:
S01,获得视点的纹理图的HEVC码流;
S02,将编码后的所述视点的辅助数据的码流封装到所述HEVC码流的自定义NAL中,辅助数据为与相应视点的纹理图进行视点合成的数据信息。
在本发明中,时间帧是指不同视点在同一时刻图像的集合,每个时间帧内可以包括一路或多路视点的图像数据,例如可以仅包括左路视点、右路视点,也可以包括左路和右路两路视点,或者更多路视频,多路视点是在一个时间点拍摄到的一组视频数据,这一组视频数据的拍摄角度各不相同。在该方法中,依次进行时间帧内每个视点图像数据的封装,也就是说,将一个时间帧中的每个视点的图像数据封装之后,进行下一个时间帧中各视点的图像数据的封装,依次进行,直到完成所有时间帧的图像数据的封装。
在本发明中,一个视点的图像数据包括纹理图和辅助数据,纹理图即2D图像数据,辅助数据为与相应视点的纹理图进行视点合成的数据信息,例如可以为深度图、形状图或遮挡图等中的一种或多种,在封装过程中,这些图像数据都是编码后的数据,其中,深度图主要用于表明纹理图中的图像间的前后位置关系,形状图主要用于表明纹理图中的图像的轮廓信息,遮挡图主要用于表明纹路图中的图像间的遮挡关系,这些辅助数据仅为示例,在具体的应用中,根据需要还可以是其他的相关数据,在解码时,这些数据与纹理图进行视点合成,以获得3D效果的图像显示。
为了更好地理解本发明,首先对HEVC((High Efficiency Video Coding)编码进行说明,HEVC即高效视频编码是一种高效率的视频压缩标准,HEVC标准是进行2D纹理图的编码,3D HEVC标准是HEVC标准的扩展,除了纹理图的编码,还可以进行纹理图及深度图的编码。
参考图2所示,为3D HEVC编码后获得的包含有纹理图以及深度图的HEVC码流的数据结构的示意图,在该码流的头部为参数集,该参数集中包含了VPS,SPS和PPS,在每一个时间帧内,即第1帧、第2帧等等,依次包含有左路纹理图、左路深度图、右路纹理图和右路深度图的HEVC码流,分别由Layer0 Viewid0、Layer1 Viewid0、Layer2 Viewid1、Layer3Viewid1来标识,在纹理图的HEVC码流的数据结构中包含前SEI(SupplementalEnhancement Information,补充的增强信息)、图像数据(slice)、后SEI(Suffix SEI)和自定义NAL(Network Abstract Layer,网络抽象层),自定义的NAL为多个。
参考图3所示,3D HEVC码流可以是仅包括纹理图的HEVC码流,码流的头部也为参数集,该参数集中包含了VPS,SPS和PPS,在每一个时间帧内,依次包含有左路纹理图和右路纹理图的HEVC码流,其数据结构同上述的纹理图的HEVC码流的数据结构。
为了更好的理解本发明的技术方案,以下将以双视点视频数据为例对本发明实施例的码流的封装方法进行详细的说明,双视点是指包含左路视图和右路视图这两路视点。
可以理解的是,在进行时间帧内的每个视点图像数据进行封装之前,需要进行参数的编码,在本发明实施例中,可以采用现有的HEVC标准或3D HEVC标准进行参数的编码,首先,获得参数集,参数集包括VPS,SPS和PPS。
而对于和辅助数据相关的参数,本发明中称作扩展参数,可以另外编码成扩展参数集,而保持原有HEVC编码生成的参数集,这样,可以更好地与原有的3D编码系统兼容同时可以更好地扩展参数的设置,增强系统的兼容性和扩展性。扩展参数集中包含有与辅助信息相关的设置参数,这些参数用于解码及视点合成,例如,是否存在深度图、形状图或遮挡图这些辅助数据的信息,深度图的宽度、高度信息,视点个数信息,每个视点是否都有不同的形状图或遮挡图等信息。根据不同的需要,扩展参数集可以在码流开始之前编码,在参数集之前或之后进行都可以。
而后,依次进行时间帧内每个视点图像数据的封装,也就是说,完成一帧中所有视点的封装后,进行后一帧的封装。在双视点的实施例中,对于每一时间帧,依次封装左路视点的码流和右路视点的码流之后,完成一时间帧码流的封装,而后,则进行下一时间帧码流的封装。
对于每一个视点图像数据的封装,具体包括以下步骤:首先,获得该视点的纹理图的HEVC码流;而后将编码后的所述视点的辅助数据的码流封装到所述纹理图的HEVC码流的自定义NAL中,辅助数据为与相应视点的纹理图进行视点合成的数据信息。
在本发明实施例中,可以通过HEVC标准编码来获得视点的纹理图的HEVC码流,也可以通过3D HEVC标准编码来获得纹理图的HEVC码流。在一些实施例中,可以通过HEVC标准获得3D HEVC标准编码来获得仅包含纹理图的HEVC码流,参考图4所示,编码后的辅助数据的码流都可以封装到纹理图的HEVC码流的自定义的NAL中,辅助数据例如为深度图、形状图或遮挡图等中的一种或多种。
在另一些实施例中,参考图5所示,可以通过3D HEVC编码后获得的码流包含纹理图的HEVC码流和深度图的HEVC码流,除深度图之外的其他辅助数据的码流可以封装到HEVC码流的自定义的NAL中,辅助数据例如为形状图或遮挡图等中的一种或多种。
对于扩展参数集,在本发明的一些优选实施例中,若对于所有的时间帧内的辅助数据,都具有相同的扩展参数设置,为了便于描述,记做辅助数据相关的扩展参数集,则可以将编码后辅助数据相关的扩展参数集封装到首个时间帧的首个纹理图的HEVC码流的自定义NAL中,参考图4所示,如封装到第1帧中的标识为Layer0 View id 0的纹理图的HEVC码流的自定义NAL中。在该实施例中,扩展参数集仅需编码和封装一次。根据不同的解码或其他需求,还可以将编码后的辅助数据相关的扩展参数集封装到每个时间帧的首个纹理图的HEVC码流的自定义NAL中,参考图4所示,如封装到第1帧、第2帧等所有时间帧的标识为Layer0 View id 0的纹理图的HEVC码流的自定义NAL中。
在另一些实施例中,若不同的时间帧具有不同的辅助数据的扩展参数的设置,即每一帧或部分帧需要携带不同的扩展参数时,为了便于描述,记做所述时间帧的辅助数据相关的扩展参数集,可以在该时间帧内的视点进行封装时,进行该帧的扩展参数的编码,将编码后的扩展参数集封装到该帧内的首个视点的纹理图的HEVC码流的自定义NAL中。参考图4所示,例如,在第1帧进行码流封装时,进行第1帧的辅助数据相关的扩展参数的编码,并将该第1帧的扩展参数集封装到的标识为Layer0 View id 0的纹理图的HEVC码流的自定义NAL中;同样地,在第2帧进行码流封装时,进行第2帧的扩展参数的编码,并将该第2帧的扩展参数集封装到的标识为Layer0 View id 0的纹理图的HEVC码流的自定义NAL中,若有需要,其他帧也可以进行该扩展参数集的封装,此处仅为示例,本发明并不限于此。在该实施例中,根据需要,可以进行不同的扩展参数集编码和封装,灵活性和扩展性好。
此外,还可以进一步地封装扩展信息数据,这些扩展信息数据可以是一些元数据,例如与拍摄数据相关的数据,可以将扩展信息数据封装到每个视点的纹理图的HEVC码流的SEI的自定义部分,这样,根据具体的需要,可以在码流中封装更多类型的元数据,易于实现且扩展性好。
对于辅助数据,可以是一种或多种,可以采用合适的编码方法进行编码生成辅助数据的码流,辅助数据为多种时,分别采用合适的编码方法生成各自的码流。
对于每一时间帧的辅助数据的码流都是放入相应视点的纹理图的自定义的NAL中,对于纹理图的HEVC码流为经过HEVC编码的码流,其通常由layer id来标识,则将辅助数据的码流封装入同一时间帧的layer id中的纹理图的自定义NAL中,参考图5所示,例如,在第1帧中,左路视点的辅助数据的码流封装到layer 01的自定义NAL中,右路视点辅助数据的码流封装到layer02的自定义NAL中。
在辅助数据为多个时,在一些实施例中,可以将编码后的辅助数据的多个码流分别封装到相应的纹理图的HEVC码流的不同的自定义NAL中,这样,分别使用不同的自定义NAL封装辅助数据的码流,便于解码时码流的提取。例如,在一个具体的实施例中,采用3DHEVC编码获得纹理图的HEVC码流,在该码流中type为48-63的NAL为自定义类型,若辅助数据中包含深度图、形状图和遮挡图,则可以将扩展参数集写入type为48的NAL中,将深度图、形状图和遮挡图分别封装入type为49、50、51的NAL中。
在另一些实施例中,还可以将编码后的辅助数据的多个码流封装到相应的纹理图的HEVC码流的一个自定义NAL中,不同的辅助数据的码流之间设置间隔标识符,间隔标识符用于将不同的辅助数据的码流分隔开,便于解码时提取出不同的辅助数据的码流。
在将辅助数据的码流封装到所述HEVC码流的自定义NAL中时,遍历编码后的所述视点的辅助数据的码流,将所述辅助数据的码流中存在与NAL的起始符相同的数据中插入区别标识符,例如NAL的起始符为0x000001,则在遍历辅助数据的码流时若存在与起始符0x000001相同的数据,则在辅助数据的码流中的与起始符相同的数据中插入区别标识符,区别标识符例如为0x03,避免将真实的数据当作NAL的起始符,在解码时,将区别标识符丢弃,即可获得原数据。
在本发明中,对每个时间帧中的每个视点的码流依次进行封装,即完成一时间帧的码流的封装,进而进行下一时间帧码流的封装,从而获得封装后的码流。本发明中,获得的码流为ES码流(Elementary Steams,原始流),根据需要,可以将上述获得的码流进行分组、打包等操作,获得用于数据的传输和解码的码流,例如PS流(节目流)或TS流(传输流)等。
以上对本发明的码流的封装方法进行了详细的描述,在该方法中,对用于视点合成的纹理图和辅助数据的3D数据信息进行封装,在封装时,将编码后的辅助数据封装到纹理图的HEVC码流的自定义的NAL中,这种方式中,充分考虑了现有的3D显示技术体系,在现有的2D图像的HEVC编码的基础上,将所需要的辅助数据进行编码后,封装到HEVC码流的自定义的NAL中,与现有的视频节目及编码系统具有良好的兼容性,即使合成的数据不断变化和增多,仍可以获得统一格式的码流,具有良好的兼容性和扩展性,利于3D显示产业化的进展。
此外,本发明还提供了通过上述的封装方法获得的码流,参考图4和图5所示,所述码流包括:
依次按照时间帧排列,时间帧内对应每个视点图像的码流包括:
视点的纹理图的HEVC码流,在所述纹理图的HEVC码流的自定义NAL中封装有所述视点的编码后的辅助数据,辅助数据为与相应视点的纹理图进行视点合成的数据信息。
更优地,还包括:封装到首个时间帧内的首个纹理图的HEVC码流的自定义的NAL中辅助数据相关的扩展参数集。
更优地,还包括:封装到每个或部分时间帧中首个纹理图的HEVC码流的自定义NAL中、与所述时间帧的辅助数据相关的扩展参数集。
更优地,时间帧内对应每个视点图像的码流还包括:封装到所述纹理图的HEVC码流的SEI的自定义部分中的扩展信息数据。
更优地,辅助数据为多个,时间帧内对应每个视点图像的码流中,编码后的辅助数据的码流分别封装到所述纹理图的HEVC码流的不同的自定义NAL中。
更优地,辅助数据为多个,时间帧内对应每个视点图像的码流中,编码后的辅助数据的码流分别封装到所述纹理图的HEVC码流的一个自定义NAL中,不同的辅助数据的码流之间设置间隔标识符。
更优地,所述辅助数据的码流中、与自定义NAL的起始符相同的数据中插入区别标识符。
更优地,时间帧内对应每个视点图像的码流还包括:与该视点的纹理图相对应的深度图的HEVC码流,辅助数据包括除深度图之外的数据信息。
更优地,时间帧内对应每个视点图像的码流仅包括纹理图的HEVC码流,辅助数据至少包括深度图的数据信息。
上述的码流为ES码流,基于这些码流,通过分组、打包等操作,可以获得包含ES码流的用于数据的传输和解码的数据包,例如PS流(节目流)或TS流(传输流)等。
此外,本发明还提供了一种解码方法以及解码装置,在解码方法中,将包含上述码流的数据包进行解码。解码装置用于将包含上述码流的数据包进行解码。
上述说明示出并描述了本申请的若干优选实施例,但如前所述,应当理解本申请并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述发明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本申请的精神和范围,则都应在本申请所附权利要求的保护范围内。

Claims (20)

1.一种码流的封装方法,其特征在于,包括:
依次进行时间帧内每个视点图像数据的封装,其中,每一个视点图像数据的封装步骤包括:
获得该视点的纹理图的HEVC码流;
将编码后的所述视点的辅助数据的码流封装到所述纹理图的HEVC码流的自定义NAL中,辅助数据为与相应视点的纹理图进行视点合成的数据信息。
2.根据权利要求1所述的封装方法,其特征在于,依次进行时间帧内每个视点图像数据的封装之前,还包括:进行辅助数据相关的扩展参数集的编码;则,首个时间帧内的视点图像封装的步骤或者每一个视点图像数据的封装步骤还包括:将扩展参数集封装到首个纹理图的HEVC码流的自定义NAL中。
3.根据权利要求1所述的封装方法,其特征在于,进行每个或部分时间帧内每个视点图像数据的封装的步骤还包括:
进行所述时间帧的辅助数据相关的扩展参数集的编码,并将所述扩展参数集封装到所述时间帧中的首个纹理图的HEVC码流的自定义NAL中。
4.根据权利要求1所述的封装方法,其特征在于,对于每一个视点图像的封装步骤还包括:将扩展信息数据封装到所述纹理图的HEVC码流的SEI的自定义部分中。
5.根据权利要求1所述的封装方法,其特征在于,辅助数据为多个,将编码后的所述视点的辅助数据的码流封装到所述纹理图的HEVC码流的自定义NAL中的步骤为:将编码后的辅助数据的多个码流分别封装到所述纹理图的HEVC码流的不同的自定义NAL中。
6.根据权利要求1所述的封装方法,其特征在于,辅助数据为多个,将编码后的所述视点的辅助数据的码流封装到所述纹理图的HEVC码流的自定义NAL中的步骤为:将编码后的辅助数据的多个码流封装到所述纹理图的HEVC码流的一个自定义NAL中,不同的辅助数据的码流之间设置间隔标识符。
7.根据权利要求1-6中任一项所述的封装方法,其特征在于,将编码后的所述视点的辅助数据的码流封装到所述纹理图的HEVC码流的自定义NAL中,还包括:遍历编码后的所述视点的辅助数据的码流,将所述辅助数据的码流中存在的与自定义NAL的起始符相同的数据中插入区别标识符。
8.根据权利要求1-6中任一项所述的封装方法,其特征在于,获得该视点的纹理图的HEVC码流包括:通过3D HEVC编码获得该视点的纹理图的HEVC码流和深度图的HEVC码流,辅助数据包括除深度图之外的数据信息。
9.根据权利要求1-6中任一项所述的封装方法,其特征在于,获得该视点的纹理图的HEVC码流包括:通过HEVC或3D HEVC获得该视点的纹理图的HEVC码流,辅助数据中至少包括深度图的数据信息。
10.一种码流,其特征在于,依次按照时间帧排列,每个时间帧内对应每个视点图像的码流包括:
视点的纹理图的HEVC码流,在所述纹理图的HEVC码流的自定义NAL中封装有所述视点的编码后的辅助数据,辅助数据为与相应视点的纹理图进行视点合成的数据信息。
11.根据权利要求10所述的码流,其特征在于,还包括:封装到首个时间帧内的首个纹理图的HEVC码流的自定义的NAL中辅助数据相关的扩展参数集。
12.根据权利要求10所述的码流,其特征在于,还包括:封装到每个或部分时间帧中首个纹理图的HEVC码流的自定义NAL中、与所述时间帧的辅助数据相关的扩展参数集。
13.根据权利要求10所述的码流,其特征在于,时间帧内对应每个视点图像的码流还包括:封装到所述纹理图的HEVC码流的SEI的自定义部分中的扩展信息数据。
14.根据权利要求10所述的码流,其特征在于,辅助数据为多个,时间帧内对应每个视点图像的码流中,编码后的辅助数据的码流分别封装到所述纹理图的HEVC码流的不同的自定义NAL中。
15.根据权利要求10所述的码流,其特征在于,辅助数据为多个,时间帧内对应每个视点图像的码流中,编码后的辅助数据的码流分别封装到所述纹理图的HEVC码流的一个自定义NAL中,不同的辅助数据的码流之间设置间隔标识符。
16.根据权利要求10-15中任一项所述的码流,其特征在于,所述辅助数据的码流中、与自定义NAL的起始符相同的数据中插入区别标识符。
17.根据权利要求10-16中任一项所述的码流,其特征在于,时间帧内对应每个视点图像的码流还包括:与该视点的纹理图相对应的深度图的HEVC码流,辅助数据包括除深度图之外的数据信息。
18.根据权利要求10-16中任一项所述的码流,时间帧内对应每个视点图像的码流仅包括纹理图的HEVC码流,辅助数据至少包括深度图的数据信息。
19.一种解码方法,其特征在于,将接收到的包含如权利要求10-18中任一项所述的码流的数据包进行解码。
20.一种解码装置,其特征在于,用于将包含如权利要求10-18中任一项所述的码流的数据包进行解码。
CN201710008143.0A 2017-01-06 2017-01-06 一种码流及其封装方法、解码方法及装置 Pending CN108616748A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710008143.0A CN108616748A (zh) 2017-01-06 2017-01-06 一种码流及其封装方法、解码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710008143.0A CN108616748A (zh) 2017-01-06 2017-01-06 一种码流及其封装方法、解码方法及装置

Publications (1)

Publication Number Publication Date
CN108616748A true CN108616748A (zh) 2018-10-02

Family

ID=63657916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710008143.0A Pending CN108616748A (zh) 2017-01-06 2017-01-06 一种码流及其封装方法、解码方法及装置

Country Status (1)

Country Link
CN (1) CN108616748A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071116A (zh) * 2020-07-31 2022-02-18 阿里巴巴集团控股有限公司 视频处理方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158733A (zh) * 2011-01-28 2011-08-17 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
CN102484700A (zh) * 2009-05-01 2012-05-30 汤姆森特许公司 3d视频编码格式
CN103493483A (zh) * 2011-03-10 2014-01-01 高通股份有限公司 译码多视图视频加深度内容
CN104067615A (zh) * 2012-01-31 2014-09-24 索尼公司 编码装置和编码方法以及解码装置和解码方法
CN104205819A (zh) * 2012-02-01 2014-12-10 诺基亚公司 用于视频编码的方法和装置
CN104429085A (zh) * 2012-07-10 2015-03-18 高通股份有限公司 译码用于视频译码的随机存取图片
CN104541508A (zh) * 2012-08-10 2015-04-22 Lg电子株式会社 收发用于3d图像的图像分量的方法和装置
US20150110118A1 (en) * 2013-10-22 2015-04-23 Canon Kabushiki Kaisha Method of processing disordered frame portion data units
CN104620587A (zh) * 2012-07-06 2015-05-13 三星电子株式会社 用于对多层视频进行编码的方法和设备以及用于对多层视频进行解码的方法和设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102484700A (zh) * 2009-05-01 2012-05-30 汤姆森特许公司 3d视频编码格式
CN102158733A (zh) * 2011-01-28 2011-08-17 华为技术有限公司 辅助视频补充信息承载方法、处理方法、装置与系统
CN103493483A (zh) * 2011-03-10 2014-01-01 高通股份有限公司 译码多视图视频加深度内容
CN104067615A (zh) * 2012-01-31 2014-09-24 索尼公司 编码装置和编码方法以及解码装置和解码方法
CN104205819A (zh) * 2012-02-01 2014-12-10 诺基亚公司 用于视频编码的方法和装置
CN104620587A (zh) * 2012-07-06 2015-05-13 三星电子株式会社 用于对多层视频进行编码的方法和设备以及用于对多层视频进行解码的方法和设备
CN104429085A (zh) * 2012-07-10 2015-03-18 高通股份有限公司 译码用于视频译码的随机存取图片
CN104541508A (zh) * 2012-08-10 2015-04-22 Lg电子株式会社 收发用于3d图像的图像分量的方法和装置
US20150110118A1 (en) * 2013-10-22 2015-04-23 Canon Kabushiki Kaisha Method of processing disordered frame portion data units

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071116A (zh) * 2020-07-31 2022-02-18 阿里巴巴集团控股有限公司 视频处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
US11575869B2 (en) Overlay processing method in 360 video system, and device thereof
CN104811685B (zh) 3d图像信号处理方法和用于实现该方法的图像显示器
US8743178B2 (en) Multi-view video format control
KR101671021B1 (ko) 스테레오스코픽 영상 데이터 전송 장치 및 방법
KR101626486B1 (ko) 방송 수신기 및 비디오 데이터 처리 방법
EP3821608A1 (en) Method and apparatus for storage and signaling of compressed point clouds
KR101657123B1 (ko) 방송 수신기 및 3d 자막 데이터 처리 방법
CN103404140B (zh) 指示比特流子集的方法和设备
CN103202021B (zh) 编码装置、解码装置、再现装置、编码方法及解码方法
CN103262549B (zh) 用于接收数字广播信号的设备和方法
WO2020070379A1 (en) Method and apparatus for storage and signaling of compressed point clouds
CN102158733B (zh) 辅助视频补充信息承载方法、处理方法、装置与系统
KR102278848B1 (ko) 다중 뷰포인트 기반 360 비디오 처리 방법 및 그 장치
KR101858090B1 (ko) 2d-호환성 스테레오스코픽 비디오 플로우들을 디코딩하기 위한 방법
US9872041B2 (en) Method and apparatus for transceiving image component for 3D image
TWI539790B (zh) 用於產生及重建一視訊串流之裝置、方法與軟體產品
CN103416069A (zh) 发送设备、发送方法、接收设备以及接收方法
CN110035331A (zh) 一种媒体信息的处理方法及装置
WO2023202095A1 (zh) 点云媒体的编解码方法、装置、电子设备和存储介质
KR100576544B1 (ko) 엠펙-4 객체기술자 정보 및 구조를 이용한 3차원 동영상처리 장치 및 그 방법
CN108696471A (zh) 基于avs2的码流封装方法、码流、解码方法及装置
CH706886A2 (it) Metodo per la generazione, trasmissione e ricezione di immagini stereoscopiche e relativi dispositivi.
CN104769943B (zh) 在多视图3dtv服务中处理边缘违反现象的方法和装置
WO2021209044A1 (zh) 多媒体数据收发方法、系统、处理器和播放器
CN108616748A (zh) 一种码流及其封装方法、解码方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181002

RJ01 Rejection of invention patent application after publication