CN101878649A - 扩展avc标准以与视频并行地对高分辨率数字静止图片编码 - Google Patents

扩展avc标准以与视频并行地对高分辨率数字静止图片编码 Download PDF

Info

Publication number
CN101878649A
CN101878649A CN200880117985.9A CN200880117985A CN101878649A CN 101878649 A CN101878649 A CN 101878649A CN 200880117985 A CN200880117985 A CN 200880117985A CN 101878649 A CN101878649 A CN 101878649A
Authority
CN
China
Prior art keywords
video
frame
video flowing
encoded
residual information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880117985.9A
Other languages
English (en)
Inventor
艾利·塔巴塔拜
穆罕默德·祖拜尔·维沙拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Electronics Inc
Original Assignee
Sony Corp
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Electronics Inc filed Critical Sony Corp
Publication of CN101878649A publication Critical patent/CN101878649A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

被配置为在并行模式中操作的编解码器扩展了当前的AVC标准，以便提供如下支持：与较低分辨率视频的AVC编码并行地对高分辨率静止图像图片进行编码和存储。并行模式编解码器是根据经修改的AVC标准来配置的，并且能够捕获AVC视频流，同时以相对于视频流的随机间隔来捕获高分辨率静止图像。被存储为增强层的残差信息用来在解码器侧利用经上采样且经解码的较低分辨率视频生成一个或多个高分辨率静止图像图片。基本层运载较低分辨率视频。增强层和基本层作为多层流从发送侧上的编码器被并行地发送到接收侧上的解码器。为了运载增强信息，AVC标准被扩展为包括用于SEI消息定义、序列参数组以及新NAL单元的(一个或多个)数据字段。

Description

扩展AVC标准以与视频并行地对高分辨率数字静止图片编码
技术领域
本发明涉及视频编码领域。更具体地，本发明涉及AVC编码以及扩展当前AVC标准以支持在集成并行模式(parallel mode)中将高分辨率数字静止图片与传统地被编码的AVC视频流一起进行编码和存储的领域。
背景技术
术语“编解码器”是指“压缩器/解压缩器”、“编码器/解码器”或者“压缩/解压缩算法”，其描述了能够对数据流或信号执行变换的设备或算法或专用计算机程序。编解码器对数据流或信号编码以供传输、存储或加密，并且对其解码以供观看或编辑。例如，数字摄像机将模拟信号转换为数字信号，数字信号随后经过视频压缩器以用于数字传输或存储。接收设备随后经由视频解压缩器来对接收到的信号解压缩，并且解压缩后的数字信号被转换为模拟信号以供显示。可以对音频信号执行类似处理。存在多种标准编解码器制式(scheme)。一些制式主要用来使文件传送时间最小化，并且被应用在因特网上。其它制式旨在使可以存储在给定量的盘空间中或CD-ROM上的数据最小化。每种编解码器制式可由不同的程序、处理或硬件来实现。
数字图像是作为数字值(称为图像元素或像素)的有限集合的二维图像的表示。通常，像素作为光栅图像或光栅地图(raster map)被存储在计算机存储器中，光栅图像或光栅地图是整数的二维阵列。这些值通常以压缩形式被发送或存储。
数字图像可通过多种输入设备和技术来创建，这些输入设备和技术例如是数字相机和摄录像机、扫描仪、坐标测量机器、地震剖析、机载雷达等等。数字图像也可以从诸如数学函数或三维几何模型之类的任意非图像数据来合成，三维几何模型是计算机图形的主要子域。数字图像处理领域是对对数字图像执行图像处理的算法的研究和使用。图像编解码器包括这些算法以执行数字图像处理。
取决于图像格式而将不同的图像编解码器用来观看图像。可以简单地利用web浏览器观看GIF、JPEG和PNG图像，这是因为它们是标准的因特网图像格式。SVG格式目前被广泛用在web中，并且是标准的W3C格式。其它程序提供了幻灯片应用，以按照自动地一个接一个地顺序来观看图像。
静止图像具有与视频不同的特性。例如，纵横比和颜色不同。因此，与视频不同地来处理静止图像，从而需要用于静止图像的静止图像编解码器，以及与静止图像编解码器不同的用于视频的视频编解码器。
视频编解码器是使得能够将数字压缩技术用于数字视频数据的设备或软件模块。视频序列由多个通常称为帧的图片(数字图像)构成。随后的帧非常类似，因此，包含从一帧到下一帧的大量冗余。在视频数据通过信道被高效地发送或者被存储在存储器中之前，视频数据被压缩以节省带宽和存储器二者。视频压缩的目的是移除帧内的(空间冗余)以及帧之间(时间冗余)的冗余，以获得较好的压缩比。在视频质量、对其进行表示所需的数据量(也称为比特速率)、编码和解码算法的复杂度、针对数据丢失和差错的其健壮性、编辑的容易度、随机访问、端到端延时以及多个其它因素之间存在复杂的平衡。
典型的数字视频编解码器设计开始于将输入视频从RGB色彩格式转换为YCbCr色彩格式，并且通常随后进行色度欠采样(sub-sampling)以产生采样网格图案。转换为YCbCr色彩格式通过使色彩信号去相关并且将在感知上更为重要的亮度(luma)信号与在感知上不太重要的色度信号相分离，来提高压缩率。
一定量的空间和时间下采样(down-sampling)也可以用来在基本编码处理之前减小原始数据速率。下采样是减小信号的采样速率的处理。其通常被实现来减小数据速率或数据的大小。下采样因子通常是大于1的整数或有理分数。随后利用频率变换来变换该数据以进一步使空间数据去相关。一种这样的变换是离散余弦变换(DCT)。变换的输出随后被量化，并且加密编码被应用于量化后的值。一些编码器可以在称为n步(n-pass)编码(例如2步编码)的多步骤处理中压缩视频，这通常是较慢的处理，但是潜在地提供了较好质量的压缩。
解码处理实质上包括：执行对编码处理中的各个阶段的反转(inversion)。不能被精确反转的一个阶段是量化阶段。在此，尽最大努力近似的反转被执行。该部分的处理通常称为“反量化”或“逆量化”，尽管量化在本质上是不可反转的处理。
可以在PC上并且在消费电子设备中容易地实现多种编解码器。通常在同一产品中多个编解码器可用，从而避免了由于兼容性原因而需要选择单个占主导地位的编解码器。
一些广泛使用的视频编解码器包括但不限于H.261、MPEG-1 Part 2、MPEG-2 Part 2、H.263、MPEG-4 Part 2、MPEG-4 Part 10/AVC、DivX、XviD、3ivx、Sorenson 3以及Windows Media Video(MWV)。
H.261主要用在较早的视频会议和视频电话产品中。H.261是第一个实用数字视频压缩标准。实质上，所有后续的标准视频编解码器设计都是基于它的。其包括如下这些建立好的概念，例如YCbCr色彩表示、4∶2∶0采样格式、8比特样本精度、16×16的宏块、分块运动补偿、8×8分块离散余弦变换、Z字形系数扫描、标量量化、游程+值符号映射，以及可变长度编码。H.261仅支持逐行扫描视频。
MPEG-1 Part 2用于视频CD(VCD)，并且偶尔用于在线视频。质量大体上比得上VHS的质量。如果源视频质量较好并且比特速率足够高，则VCD可以看起来比VHS好，但是，VCD因此需要高的比特速率。VCD具有针对任何数字视频/音频系统的最高兼容性，因为世界上几乎每台计算机都可以播放这种编解码器。根据技术设计，MPEG-1相对于H.261的最重大增强是半像素(half-pel)和双向预测运动补偿支持。MPEG-1仅支持逐行扫描视频。
MPEG-2 Part 2与H.262是共同文本标准，并且用在DVD上以及大多数数字视频广播和线缆分发系统中。当用在标准DVD上时，MPEG-2 Part2提供了良好的图片质量并且支持宽屏。根据技术设计，相比于MPEG-1，MPEG-2的最重要的增强是添加了对隔行扫描视频的支持。MPEG-2被认为是老化的编解码器，但是具有可观的市场接受度和非常大的安装基数。
H.263主要用于视频会议、视频电话和因特网视频。H.263代表了针对逐行扫描视频的标准化压缩能力的前进中的重要的一步。尤其是在低的比特速率时，H.263可以提供对达到给定保真度所需的比特速率的显著提高。
MPEG-4 Part 2是可以用于因特网、广播和存储介质的MPEG标准。MPEG-4 Part 2相对于MPEG-2和第一版H.263提供了经改善的质量。其超越现有编解码器标准的主要技术特征包括面向对象的编码特征。MPEG-4 Part 2还通过包含在H.263中开发的能力并且通过添加诸如四分之一像素运动补偿之类的新能力，来包括对压缩能力的一些增强。与MPEG-2相同，其支持逐行扫描视频和隔行扫描视频。
MPEG-4 Part 10是技术上与ITU-T的H.264平行的标准，并且通常也称为AVC。MPEG-4 Part 10包括压缩能力方面的多个重大进步，并且其近来被用到许多公司产品中。
DivX、XviD和3ivx是基本上利用了MPEG-4 Part 2视频编解码器的具有*.avi、*.mp4、*.ogm或*.mkv文件容器格式的视频编解码器包。Sorenson 3是通常由苹果公司的QuickTime使用的编解码器，基本上是H.264的原型。在web上找到的许多QuickTime电影预告片使用了这种编解码器。WMV(Windows Media Video)是微软公司的视频编解码器设计系列，包括WMV 7、WMV 8和WMV 9。WMV可被看作是MPEG-4编解码器设计版本。
MPEG编解码器用于对运动影像和关联音频的一般性编码。MPEG视频编解码器创建了通常由三类经编码数据帧的序列组成的压缩视频比特流。这三类数据帧被称为帧内编码帧(intra frame)(称为I-帧或I-图片)、双向预测帧(称为B-帧或B-图片)以及前向预测帧(称为P-帧或P-图片)。这三类帧可以按称为GOP(图片组)结构的指定顺序进行排列。I-帧包含重建图片所需的所有信息。I-帧被编码为未经运动补偿的正常图像。另一方面，P-帧使用来自在前帧的信息并且B-帧使用来自在前帧、后续帧或两者的信息，来重建图片。具体地，P-帧是从前一I-帧或紧邻的在前P-帧预测出的。
也可以从紧邻的后续帧来预测帧。为了使后续帧以这种方式被利用，必须在预测帧之前对后续帧编码。因此，编码顺序不一定与实际的帧显示顺序相匹配。这些帧通常是从两个方向来预测的，例如，从紧邻的在前I-帧或P-帧或者紧随预测帧之后的P-帧来预测。这些双向预测的帧被称作B-帧。
存在许多可能的GOP结构。常见GOP结构为15帧长，并且具有序列I_BB_P_BB_P_BB_P_BB_P_BB_。类似的12帧序列也是常见的。I-帧针对空间冗余编码，P-帧和B-帧针对时间冗余编码。由于视频流中的相邻帧通常密切相关，因此P-帧可能是I-帧大小的10％，并且B-帧是其大小的2％。但是，在帧可被压缩的大小与对这种压缩帧编码所需的处理时间和资源之间存在折衷。GOP结构中的I、P和B-帧的比率是由视频流的性质以及对输出流的带宽约束来确定的，尽管编码时间也可能是个问题。在具有有限的计算资源的现场传输和实时环境中尤其是这样，因为包含许多B-帧的流可能要比仅有I-帧的文件花费更长的时间来编码。
B-帧和P-帧需要较少的比特来存储图片数据，因为它们通常包含针对当前帧与在前帧、后续帧或在前帧和后续帧两者之间的差别的差别比特。B-帧和P-帧因此用来减少跨越帧包含的冗余信息。进行操作的解码器接收经编码的B-帧或经编码的P-帧，并且利用在前帧或后续帧来重建原始帧。该处理比独立地重建每个原始帧更容易，并且在连续帧基本上类似时，产生更平滑的场景转变，这是因为帧的差别较小。
每个视频图像被分离为一个亮度(Y)信道和两个色度信道(也称为色差信号Cb和Cr)。亮度和色度阵列的多块被组织成为“宏块”，宏块是帧内的基本编码单元。
在I-帧的情况中，实际图像数据经过编码处理。但是，P-帧和B-帧首先经受“运动补偿”处理。“运动补偿”是一种根据前一帧的每个宏块移动的位置来描述连续帧之间的差别的方式。这种技术通常用来减少用于视频压缩的视频序列的时间冗余。P-帧或B-帧中的每个宏块被与前一或下一图像中与其紧密相关的区域相关联，该区域例如是编码器利用通过称为“运动估计”的处理获得的“运动向量”而选择的。将当前宏块映射到参考帧中的其相关区域的运动向量被编码，并且随后，使得两个区域之间的差别经过编码处理。
传统视频编解码器使用运动补偿预测来高效地编码原始输入视频流。从先前帧中的移位了的宏块来预测当前帧中的宏块。原始宏块与其预测之间的差别被压缩，并与位移(运动)向量一起被发送。这种技术称为帧间编码(inter-coding)，其是用在MPEG标准中的方法。
MPEG编码器的输出比特速率可以是恒定的或可变的，其中，最大比特速率由回放媒体确定。为了获得恒定的比特速率，迭代地改变量化的阶次(degree)，以实现输出比特速率需求。当对流进行解码时，增加量化导致了可见的失真。宏块边缘处的不连续随着比特速率的减小变得更明显。
AVC(H.264)标准支持比特速率远低于先前的标准需要的比特速率的质量视频。这种功能允许该标准被应用于极宽种类的视频应用并且在广泛种类的网络和系统上表现良好。虽然MPEG视频编码标准指定一般编码方法和语法用于创建合理的MPEG视频比特流，然而，当前的标准不提供如下支持：将随机捕获的高分辨率静止图像与经编码视频数据一起进行编码和存储。
发明内容
被配置为在并行模式中操作的编解码器扩展了当前的AVC标准，以便提供如下支持：与较低分辨率视频的AVC编码并行地对高分辨率静止图像图片进行编码和存储。根据经修改的AVC标准来配置并行模式编解码器。编解码器能够捕获AVC视频流，同时以相对于视频流的随机间隔来捕获高分辨率静止图像。被存储为增强层的残差信息用来在解码器侧利用经上采样且经解码的较低分辨率视频生成一个或多个高分辨率静止图像图片。基本层运载较低分辨率视频。增强层和基本层作为多层流从发送侧上的编码器被并行地发送到接收侧上的解码器。
为了运载增强信息，AVC标准被扩展为包括用于SEI消息定义、序列参数组以及新NAL单元的(一个或多个)数据字段。在一个实施例中，经修改的序列参数组定义了新的配置属性(profile)，该配置属性传达(signal)高分辨率静止图像与AVC视频并行存在。新的NAL单元通过利用存储残差信息的所保留NAL单元类型来定义新的数字静止图像模式NAL。
在一个方面中，描述了一种对数据编码的方法。该方法包括：捕获数据的视频流，其中，视频流包括数据的多个连续视频帧；对数据的视频流编码以形成经编码视频流；捕获一个或多个静止图像，其中，每个静止图像是以相对于视频流的随机时间间隔捕获的；确定与每个所捕获静止图像相关联的残差信息分组，其中，第一残差信息分组是第一所捕获原始静止图像与视频流中与第一所捕获静止图像相对应的第一经解码且经上采样的视频帧之间的差别；对与每个所捕获静止图像相关联的残差信息分组编码以形成经编码残差流；以及将经编码视频流和经编码残差流作为多层传输来并行地发送。确定第一残差信息分组可以包括：上采样第一经解码视频帧，并且确定第一所捕获原始静止图像与经解码且经上采样的第一视频帧之间的差别。该方法还可以包括：定义包括了新的配置属性指示符的经修改序列参数组，其中，新的配置属性指示符包括静止图像标志，当静止图像标志为真时则传达一个或多个静止图像参数，并且其中，每个静止图像参数定义静止图像的特性，例如图像高度和图像宽度中的一个或多个。该方法还可以包括：定义新的NAL单元类型以存储与每个所捕获静止图像相关联的残差信息分组。该方法还可以包括：接收多层传输；对经编码视频流解码以形成多个连续视频帧；对经编码残差流解码以形成与每个所捕获静止图像相关联的残差信息分组；对与每个残差信息分组相对应的每个经解码视频帧进行上采样；以及将适当的残差信息分组添加到各自相对应的经上采样且经解码的视频帧，以形成一个或多个高分辨率静止图像。每个静止图像可以包括高分辨率静止图像。每个视频帧可以包括低分辨率视频帧。视频流的帧率可以独立于残差信息分组的帧率。残差信息分组可以根据采用了AVC标准的帧内编码工具的经修改AVC标准来编码。
在另一方面中，描述了一种对数据编码的系统。该系统包括：视频捕获模块，用来捕获数据的视频流，其中，视频流包括数据的多个连续视频帧；静止图像捕获模块，用来捕获一个或多个静止图像，其中，每个静止图像是以相对于视频流的随机时间间隔捕获的；处理模块，用来确定在第一所捕获静止图像与视频流中与第一所捕获静止图像相对应的第一经解码且经上采样的视频帧之间的差别，从而生成与每个所捕获静止图像相关联的残差信息分组；编码器，用来对数据的视频流编码以形成经编码视频流，并且对与每个所捕获静止图像相关联的残差信息分组编码以形成经编码残差流；以及输出模块，用来将经编码视频流和经编码残差流作为多层传输来并行地发送。编码器可以包括上采样模块，该上采样模块对第一经解码视频帧进行上采样，以使得残差信息分组包括在第一所捕获静止图像与经上采样且经解码的第一视频帧之间的差别。处理模块还可以被配置为定义包括了新的配置属性指示符的经修改序列参数组，其中，新的配置属性指示符包括静止图像标志，当静止图像标志为真时则传达一个或多个静止图像参数，并且其中，每个静止图像参数定义静止图像的特性，例如图像高度和图像宽度中的一个或多个。处理模块还可以被配置为定义NAL单元类型以存储与每个所捕获静止图像相关联的残差信息分组。每个静止图像可以包括高分辨率静止图像。每个视频帧可以包括低分辨率视频帧。视频流的帧率可以独立于残差信息分组的帧率。残差信息分组可以根据采用了AVC标准的帧内编码工具的经修改AVC标准来编码。
在又一方面中，描述了一种对数据解码的系统。该系统包括：接收器，用来并行地接收作为多层传输的经编码视频流和经编码残差流；解码器，用来对经编码视频流解码从而形成包括多个连续视频帧的数据的视频流，并且对经编码残差流解码从而形成一个或多个残差信息分组，其中，第一残差信息分组与视频流中的第一经解码且经上采样的视频帧相关联；以及处理模块，用来将第一残差信息分组添加到第一经解码且经上采样的视频帧以生成第一静止图像，其中，每个静止图像是以相对于视频流的随机时间间隔生成的。解码器可以包括上采样模块，该上采样模块对第一视频帧进行上采样，以使得第一静止图像是通过将第一残差信息分组添加到经解码且经上采样的第一视频帧中生成的。解码器从经修改序列参数组中读取到新配置属性和静止图像标志的存在，静止图像标志传达一个或多个静止图像参数，并且处理模块还被配置为读取一个或多个静止图像参数，其中，每个静止图像参数定义静止图像的特性，例如图像高度和图像宽度中的一个或多个。每个静止图像可以包括高分辨率静止图像。每个视频帧可以包括低分辨率视频帧。视频流的帧率可以独立于残差信息分组的帧率。残差信息分组可以根据采用了AVC标准的帧内编码工具的经修改AVC标准来编码。
在又一方面中，描述了一种对数据编码和解码的系统。该系统包括：视频捕获模块，用来捕获数据的第一视频流，其中，第一视频流包括数据的多个连续视频帧；静止图像捕获模块，用来捕获一个或多个静止图像，其中，每个静止图像是以相对于第一视频流的随机时间间隔捕获的；处理模块，用来确定在第一所捕获静止图像与第一视频流中与第一所捕获静止图像相对应的第一经解码且经上采样的视频帧之间的差别，从而生成与每个所捕获静止图像相关联的残差信息分组；编码器，用来对数据的第一视频流编码以形成第一经编码视频流，并且对与每个所捕获静止图像相关联的残差信息分组编码以形成第一经编码残差流；收发器，用来将第一经编码视频流和第一经编码残差流作为第一多层传输来并行地发送，并且并行地接收第二经编码视频流和第二经编码残差流作为第二多层传输；以及解码器，用来对第二经编码视频流解码从而形成包括多个连续视频帧的数据的第二视频流，并且对第二经编码残差流解码从而形成一个或多个残差信息分组，其中，第二残差信息分组与第二视频流中的第二经解码且经上采样的视频帧相关联；其中，处理模块还被配置为将第二残差信息分组添加到第二经解码且经上采样的视频帧中以生成高分辨率静止图像。
附图说明
图1图示出了利用经修改AVC标准来存储高分辨率静止图像的并行模式。
图2图示出了被配置为在顺序模式(sequential mode)中操作的示例性成像系统的框图。
图3图示出了图2的编码器的示例性处理流程。
图4图示出了图2的解码器的示例性处理流程。
关于若干附图来描述并行模式编解码器的实施例。在适当的情况下，并且仅当在多于一个附图中公开并示出了相同的元件时，将相同标号用来表示这些相同的元件。
具体实施方式
图1图示出了利用经修改的AVC标准来与传统上被编码的AVC视频并行地存储高分辨率静止图像的并行模式。AVC格式化视频流10包括一连串视频帧。增强残差流20包括与以随机间隔捕获的一个或多个高分辨率静止图像30相对应的残差信息。对于各个高分辨率静止图像31、32、33、34和35，在增强残差流20中存在相对应的残差信息21、22、23、24和25。虽然在图1中示出了五个高分辨率静止图像，然而，将明白，可以捕获多于或少于五个高分辨率静止图像。残差信息是原始高分辨率静止图像与相对应的经解码的经上采样的低分辨率视频帧之间的差别。
经修改的AVC标准使得每个高分辨率静止图像能够以任何随机间隔被捕获。换言之，残差信息(残差信息21-25)的帧率不必与AVC视频流10的帧率相匹配，尽管在一些情形中帧率相等。与要求以相对于视频流的固定速率生成残差信息的传统编解码器相反，根据经修改AVC标准配置的并行模式编解码器不受这种要求的阻碍。利用并行模式编解码器发送的残差信息的帧率与视频流的帧率相独立。
图2图示出了被配置为在并行模式中操作的示例性成像系统40的框图。成像系统40包括图像捕获模块42、编解码器48、处理模块54、存储器56和输入/输出(I/O)接口58。I/O接口58包括用于发送和接收数据的用户接口和网络接口。存储器56是任何传统类型的数据存储介质(集成的或可移除的)。编解码器48包括编码器50和解码器52。图像捕获模块42包括用于捕获低分辨率视频的视频捕获模块44和用于捕获高分辨率静止图像的静止图像捕获模块46。
图3图示出了图2的编码器的示例性处理流程。该编码器将高分辨率静止图像与较低分辨率视频流的AVC编码并行地进行编码。由诸如视频流10(图1)之类的连续帧构成的低分辨率输入视频流被捕获。根据AVC标准对低分辨率视频流编码。在任何随机的时刻，高分辨率静止图像被捕获，例如，高分辨率静止图像31-35(图1)中的一个或多个。还可以在其它时刻捕获其它静止图像。一旦高分辨率静止图像被捕获，则基于原始高分辨率静止图像与低分辨率AVC视频流中的在时间上对应于高分辨率静止图像被捕获的时刻的经上采样经解码形式的特定视频帧之间的差别，来确定相对应的残差信息。利用修改版本的AVC标准(其采用AVC的帧内编码工具)来对与每个高分辨率静止图像相对应的残差信息编码。与所捕获的高分辨率静止图像相关联的残差信息被包含在新的NAL单元中。用于各个高分辨率静止图像的经编码残差信息形成了增强残差流，例如增强残差流20(图1)。经编码的低分辨率视频帧从诸如AVC视频流10(图1)之类的AVC视频流被发送。增强残差流的帧率独立于AVC视频流的帧率。增强残差流和AVC视频流被相加以形成多层编码数据流，其作为多层传输从编码器被发送给解码器。
在解码器侧，大致相反的操作被执行，其中，残差信息被添加到相对应的经上采样经解码的视频帧。图4图示出了图2的解码器的示例性处理流程。该解码器接收从编码器发送来的多层编码的数据流(图4)。增强残差流从AVC视频流中被分离。根据AVC解码来对基本层AVC视频流解码，从而形成低分辨率视频流。
在增强残差流内对用于各个高分辨率静止图像的残差信息进行区分，通过NAL单元类型来传达各个高分辨率静止图像的存在。根据采用了帧内编码工具的经修改AVC标准来对用于各个高分辨率静止图像的经编码残差信息进行解码。对于由经解码的增强残差流表示的每个高分辨率静止图像，经解码视频流中相对应的视频帧被上采样。经上采样的基本层被添加到相对应的经解码残差信息中，以形成高分辨率静止图像。
编码器和解码器二者处的上采样操作基本上类似。作为示例，对于具有上采样因子贰(2)的水平和垂直分辨率，如AVC中所指定的用于半像素运动估计的上采样滤波器是一种候选方案。此外，上采样因子不限于贰(2)的幂，而还可以是分数。
为了修改现有的AVC标准以支持这种对高分辨率静止图像的随机捕获，现有AVC标准被扩展为使能(enable)在随机时间间隔处的增强信息并且将该增强信息传达给解码器。序列参数组定义了特定时刻处的视频流的特性。
经修改的AVC标准包括经修改的序列参数组(SPS)RBSP语法。在一个实施例中，经修改的序列参数组通过定义新的配置属性指示符来传达流中存在高分辨率静止图像。新配置属性的存在传达相对应的标志，当该标志为真信号时，表明高分辨率静止图像的宽度和高度被定义。下面是示例性的经修改SPS RBSP语法：
seq_parameter_set_rbsp(){
       profile_idc
       constraint_set0_flag
       constraint_set1_flag
       constraint_set2_flag
       constraint_set3_flag
reserved_zero_4bits/*equal to 0*/
level_idc
seq_parameter_set_id
if(profile_idc＝＝′NNN′){//new un-used 8-bit integer for profile indicator
for parallel
     mode
     still_picture_parallel_present_flag
}
if(profile_idc＝＝100‖profile_idc＝＝110‖
       profile_idc＝＝122‖profile_idc＝＝144‖
       profile_idc＝＝83)){
       chroma_format_idc
       if(chroma_format_idc＝＝3)
            residual_colour_transform_flag
       bit_depth_luma_minus8
       bit_depth_chroma_minus8
       qpprime_y_zero_transform_byPass_flag
       seq_scaling_matrix_present flag
       if(seq_scaling_matrix_present_flag)
              for(i＝0；i＜8；i++){
                     seq_scaling_list_present_flag[i]
                     if(seq_scaling_list_present_flag[i])
                           if(i＜6)
                               scaling_list(ScalingList4x4[i]，16，
                                  UseDefaultScalingMatrix4x4Flag[i])
                        else
                               scaling list(ScalingList8x8[i-6]，64，
                                 UseDefaultScalingMatrix8x8Flag[i-6])
          }
}
log2_max_frame_num_minus4
pic_order_cnt_type
if(pic_order_cnt_type＝＝0)
     log2_max_pic_order_cnt_lsb_minus4
else if(pic_order_cnt_type＝＝1){
     delta_pic_order_always_zero_flag
     offset_for_non_ref_pic
     offset_for_top_to_bottom_field
     num_ref_frames_in_pic_order_cnt_cycle
     for(1＝0；i＜num_ref_frames_in_pic_order_cnt_cycle；i++)
     offset_for_ref_frame[i]
}
num_ref_frames
gaps_in_frame__num_value_allowed_flag
pic_Width_in_mbs_minusl
pic_height_in_map_units_minusl
if(still_picture_parallel_present_flag){
     still_pic_width_in_mbs_minusl
     still_pic_height_in_map_units_minusl
}
frame_mbs_only_flag
if(！frame_mbs_only_flag)
      mb_adaptive_frame_field_flag
direct_8x8_inference_flag
frame_cropping_flag
if(frame_cropping_flag){
     frame_crop_left_offset
     frame_crop_right_offset
     frame_crop_top_offset
     frame_crop_bottom_offset
}
vui_parameters_present_flag
if(vui_parameters_present_flag)
     vui_pammeters()
rbsp_trailing_bits()}
加上1的参数“still_pic_width_in_mbs_minusl”表示以宏块为单位的每个经解码高分辨率静止图片的宽度。加上1的参数“still_pic_height_in_map_units_minusl”表示高分辨率静止图片的经解码帧的切片组映射单元(slice group map unit)的高度。
经修改的AVC标准还包括用于增强层信息的经修改NAL单元语法。为了支持这种经修改NAL单元语法，所保留的NAL单元类型之一被用来存储用于高分辨率静止图像图片的增强层信息。
经修改的AVC标准还包括用于传达访问单元中高分辨率静止图像图片“残差信息”的存在的SEI消息定义。用于高分辨率静止图像图片的残差信息被存储为新的NAL单元类型中的“增强层信息”，如上所述。
在解码器被指示来仅从编码视频流中解析/显示高分辨率静止图像图片的情况中，解码器解析所有访问单元中的所有NAL单元头部，以判断访问单元是否包含增强NAL单元类型。为了实现此一目的，SEI消息类型被定义，如果该SEI消息类型存在于访问单元中，则传达用于该特定静止图像图片的增强层信息的存在。由于SEI消息在访问单元中的主要编码图片之前出现，因此，解码器预先被传达了关于访问单元中高分辨率静止图像图片的存在。
经修改的AVC标准包括高分辨率静止图像图片SEI消息语法。下面是示例性高分辨率静止图像图片SEI消息语法：
hiresolution_picture_presence(payloadSize){
       hiresolution_picture_present_flag
}
当参数“hiresolution_picrure_present_flag”等于1时，这表明访问单元中存在高分辨率静止图像图片。
将明白，上面用来定义经修改序列参数组以及SEI消息定义的语法是用于示例性目的的，并且替代语法也可以用来定义经修改序列参数组和SEI消息定义。
已根据包括了细节的具体实施例描述了本发明，以辅助对本发明的构造和操作的原理的理解。这里，对具体实施例及其细节的这些引用不旨在将所附权利要求的范围局限于此。本领域技术人员将清楚，在不脱离本发明的精神和范围的情况下，可以对被选择用于图示说明的实施例作出修改。

Claims (25)

1.一种对数据编码的方法，该方法包括：
a.捕获数据的视频流，其中，所述视频流包括数据的多个连续视频帧；
b.对所述数据的视频流编码以形成经编码视频流；
c.捕获一个或多个静止图像，其中，每个静止图像是以相对于所述视频流的随机时间间隔捕获的；
d.确定与每个所捕获静止图像相关联的残差信息分组，其中，第一残差信息分组是第一所捕获原始静止图像与所述视频流中与第一所捕获静止图像相对应的第一经解码且经上采样的视频帧之间的差别；
e.对与每个所捕获静止图像相关联的残差信息分组编码以形成经编码残差流；以及
f.将经编码视频流和经编码残差流作为多层传输来并行地发送。
2.如权利要求1所述的方法，其中，确定所述第一残差信息分组包括：对第一经解码视频帧进行上采样，并且确定所述第一所捕获原始静止图像与经解码且经上采样的第一视频帧之间的差别。
3.如权利要求1所述的方法，还包括：定义包括了新的配置属性指示符的经修改序列参数组，其中，所述新的配置属性指示符包括静止图像标志，当所述静止图像标志为真时则传达一个或多个静止图像参数，并且其中，每个静止图像参数定义静止图像的特性，例如图像高度和图像宽度中的一个或多个。
4.如权利要求1所述的方法，还包括：定义新的NAL单元类型以存储与每个所捕获静止图像相关联的残差信息分组。
5.如权利要求1所述的方法，还包括：
a.接收所述多层传输；
b.对所述经编码视频流解码以形成多个连续视频帧；
c.对所述经编码残差流解码以形成与每个所捕获静止图像相关联的残差信息分组；
d.对与每个残差信息分组相对应的每个经解码视频帧进行上采样；以及
e.将适当的残差信息分组添加到各自相对应的经上采样且经解码的视频帧，以形成一个或多个高分辨率静止图像。
6.如权利要求1所述的方法，其中，每个静止图像包括高分辨率静止图像。
7.如权利要求1所述的方法，其中，每个视频帧包括低分辨率视频帧。
8.如权利要求1所述的方法，其中，所述视频流的帧率独立于所述残差信息分组的帧率。
9.如权利要求1所述的方法，其中，所述残差信息分组是根据采用了AVC标准的帧内编码工具的经修改AVC标准来编码的。
10.一种对数据编码的系统，包括：
a.视频捕获模块，用来捕获数据的视频流，其中，所述视频流包括数据的多个连续视频帧；
b.静止图像捕获模块，用来捕获一个或多个静止图像，其中，每个静止图像是以相对于所述视频流的随机时间间隔捕获的；
c.处理模块，用来确定在第一所捕获静止图像与所述视频流中与第一所捕获静止图像相对应的第一经解码且经上采样的视频帧之间的差别，从而生成与每个所捕获静止图像相关联的残差信息分组；
d.编码器，用来对所述数据的视频流编码以形成经编码视频流，并且对与每个所捕获静止图像相关联的所述残差信息分组编码以形成经编码残差流；以及
e.输出模块，用来将经编码视频流和经编码残差流作为多层传输来并行地发送。
11.如权利要求10所述的系统，其中，所述编码器包括上采样模块，所述上采样模块对第一经解码视频帧进行上采样，以使得所述残差信息分组包括在第一所捕获静止图像与经上采样且经解码的第一视频帧之间的差别。
12.如权利要求10所述的系统，其中，所述处理模块还被配置为定义包括了新的配置属性指示符的经修改序列参数组，其中，所述新的配置属性指示符包括静止图像标志，当所述静止图像标志为真时则传达一个或多个静止图像参数，并且其中，每个静止图像参数定义静止图像的特性，例如图像高度和图像宽度中的一个或多个。
13.如权利要求10所述的系统，其中，所述处理模块还被配置为定义NAL单元类型以存储与每个所捕获静止图像相关联的残差信息分组。
14.如权利要求10所述的系统，其中，每个静止图像包括高分辨率静止图像。
15.如权利要求10所述的系统，其中，每个视频帧包括低分辨率视频帧。
16.如权利要求10所述的系统，其中，所述视频流的帧率独立于所述残差信息分组的帧率。
17.如权利要求10所述的系统，其中，所述残差信息分组是根据采用了AVC标准的帧内编码工具的经修改AVC标准来编码的。
18.一种对数据解码的系统，包括：
a.接收器，用来并行地接收作为多层传输的经编码视频流和经编码残差流；
b.解码器，用来对所述经编码视频流解码从而形成包括多个连续视频帧的数据的视频流，并且对所述经编码残差流解码从而形成一个或多个残差信息分组，其中，第一残差信息分组与视频流中的第一经解码且经上采样的视频帧相关联；以及
c.处理模块，用来将所述第一残差信息分组添加到所述第一经解码且经上采样的视频帧以生成第一静止图像，其中，每个静止图像是以相对于所述视频流的随机时间间隔生成的。
19.如权利要求18所述的系统，其中，所述解码器包括上采样模块，所述上采样模块对第一视频帧进行上采样，以使得第一静止图像是通过将所述第一残差信息分组添加到经解码且经上采样的第一视频帧中生成的。
20.如权利要求18所述的系统，其中，所述解码器从经修改序列参数组中读取到新配置属性和静止图像标志的存在，所述静止图像标志传达一个或多个静止图像参数，并且所述处理模块还被配置为读取所述一个或多个静止图像参数，其中，每个静止图像参数定义静止图像的特性，例如图像高度和图像宽度中的一个或多个。
21.如权利要求18所述的系统，其中，每个静止图像包括高分辨率静止图像。
22.如权利要求18所述的系统，其中，每个视频帧包括低分辨率视频帧。
23.如权利要求18所述的系统，其中，所述视频流的帧率独立于所述残差信息分组的帧率。
24.如权利要求18所述的系统，其中，所述残差信息分组是根据采用了AVC标准的帧内编码工具的经修改AVC标准来编码的。
25.一种对数据编码和解码的系统，该系统包括：
a.视频捕获模块，用来捕获数据的第一视频流，其中，所述第一视频流包括数据的多个连续视频帧；
b.静止图像捕获模块，用来捕获一个或多个静止图像，其中，每个静止图像是以相对于所述第一视频流的随机时间间隔捕获的；
c.处理模块，用来确定在第一所捕获静止图像与所述第一视频流中与第一所捕获静止图像相对应的第一经解码且经上采样的视频帧之间的差别，从而生成与每个所捕获静止图像相关联的残差信息分组；
d.编码器，用来对所述数据的第一视频流编码以形成第一经编码视频流，并且对与每个所捕获静止图像相关联的所述残差信息分组编码以形成第一经编码残差流；
e.收发器，用来将所述第一经编码视频流和所述第一经编码残差流作为第一多层传输来并行地发送，并且并行地接收第二经编码视频流和第二经编码残差流作为第二多层传输；以及
f.解码器，用来对所述第二经编码视频流解码从而形成包括多个连续视频帧的数据的第二视频流，并且对所述第二经编码残差流解码从而形成一个或多个残差信息分组，其中，第二残差信息分组与第二视频流中的第二经解码且经上采样的视频帧相关联；
其中，处理模块还被配置为将所述第二残差信息分组添加到所述第二经解码且经上采样的视频帧中以生成高分辨率静止图像。
CN200880117985.9A 2007-12-04 2008-11-07 扩展avc标准以与视频并行地对高分辨率数字静止图片编码 Pending CN101878649A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/999,297 2007-12-04
US11/999,297 US20090141809A1 (en) 2007-12-04 2007-12-04 Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in parallel with video
PCT/US2008/012657 WO2009073077A1 (en) 2007-12-04 2008-11-07 An extension to the avc standard to support the encoding and storage of high resolution digital still pictures in parallel with video

Publications (1)

Publication Number Publication Date
CN101878649A true CN101878649A (zh) 2010-11-03

Family

ID=40675685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880117985.9A Pending CN101878649A (zh) 2007-12-04 2008-11-07 扩展avc标准以与视频并行地对高分辨率数字静止图片编码

Country Status (4)

Country Link
US (1) US20090141809A1 (zh)
JP (1) JP2011505781A (zh)
CN (1) CN101878649A (zh)
WO (1) WO2009073077A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102801980A (zh) * 2012-08-09 2012-11-28 芯原微电子(北京)有限公司 一种用于可伸缩视频编码的解码装置和方法
CN105519118A (zh) * 2013-07-11 2016-04-20 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
CN109952577A (zh) * 2016-06-30 2019-06-28 索尼互动娱乐股份有限公司 通过下采样/上采样与增强信息对数字帧进行编码/解码
CN110915221A (zh) * 2017-07-20 2020-03-24 索尼公司 发送装置、发送方法、接收装置、以及接收方法
CN111247803A (zh) * 2017-10-20 2020-06-05 交互数字Vc控股公司 立体全向帧打包
CN111819855A (zh) * 2018-03-21 2020-10-23 华为技术有限公司 视频码流中的取消标志指示
CN111989920A (zh) * 2018-02-20 2020-11-24 弗劳恩霍夫应用研究促进协会 支持变化的分辨率和/或有效地处理区域级打包的图片/视频编码
CN112887737A (zh) * 2014-01-03 2021-06-01 艾锐势有限责任公司 用于hevc扩展处理的条件解析扩展语法
CN112889282A (zh) * 2018-10-19 2021-06-01 三星电子株式会社 用于对图像执行人工智能编码和人工智能解码的方法和设备
CN113785580A (zh) * 2019-03-20 2021-12-10 V-诺瓦国际有限公司 用于视频编码器的速率控制
CN115442628A (zh) * 2012-06-29 2022-12-06 Ge视频压缩有限责任公司 视频数据流、编码器、编码视频内容的方法以及解码器
US11876985B2 (en) 2012-04-13 2024-01-16 Ge Video Compression, Llc Scalable data stream and network entity

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090217338A1 (en) * 2008-02-25 2009-08-27 Broadcom Corporation Reception verification/non-reception verification of base/enhancement video layers
US8539092B2 (en) * 2008-07-09 2013-09-17 Apple Inc. Video streaming using multiple channels
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
KR20100123075A (ko) * 2009-05-14 2010-11-24 삼성전자주식회사 화상통화 시스템에서 스케일러빌리티 기법을 지원하기 위한 장치 및 방법
US8548062B2 (en) * 2010-07-16 2013-10-01 Sharp Laboratories Of America, Inc. System for low resolution power reduction with deblocking flag
EP2609744A4 (en) * 2010-08-26 2017-07-19 NXP USA, Inc. Video processing system and method for parallel processing of video data
GB2492397A (en) * 2011-06-30 2013-01-02 Canon Kk Encoding and decoding residual image data using probabilistic models
US10944994B2 (en) * 2011-06-30 2021-03-09 Telefonaktiebolaget Lm Ericsson (Publ) Indicating bit stream subsets
US9451284B2 (en) 2011-10-10 2016-09-20 Qualcomm Incorporated Efficient signaling of reference picture sets
US9503497B2 (en) * 2011-12-10 2016-11-22 LogMeln, Inc. Optimizing transfer to a remote access client of a high definition (HD) host screen image
EA201492098A1 (ru) * 2012-05-14 2015-04-30 Лука Россато Кодирование и декодирование на основании смешивания последовательностей выборок с течением времени
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
BR112015011914A2 (pt) * 2012-11-30 2017-07-11 Sony Corp dispositivo e método de processamento de imagem
CN105580369B (zh) * 2013-03-11 2019-04-26 杜比实验室特许公司 使用分层编码对多格式高动态范围视频进行编解码的方法、装置及系统
US9094667B1 (en) * 2013-10-31 2015-07-28 Electronic Arts Inc. Encoding of computer-generated video content
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
CN112073721B (zh) * 2020-10-10 2024-02-27 绍兴文理学院 一种高效率的非i帧图像编解码方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095783B1 (en) * 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
US6937273B1 (en) * 1997-05-28 2005-08-30 Eastman Kodak Company Integrated motion-still capture system with indexing capability
US6665453B2 (en) * 1999-03-16 2003-12-16 Intel Corporation Multi-resolution support for video images
US7383288B2 (en) * 2001-01-11 2008-06-03 Attune Systems, Inc. Metadata based file switch and switched file system
GB2372165A (en) * 2001-02-10 2002-08-14 Hewlett Packard Co A method of selectively storing images
US6961083B2 (en) * 2001-12-21 2005-11-01 Hewlett-Packard Development Company, L.P. Concurrent dual pipeline for acquisition, processing and transmission of digital video and high resolution digital still photographs
AU2003241143A1 (en) * 2002-06-25 2004-01-06 Quix Technologies Ltd. Image processing using probabilistic local behavior assumptions
EP1554883A1 (en) * 2002-10-15 2005-07-20 Koninklijke Philips Electronics N.V. System and method for transmitting scalable coded video over an ip network
US6937723B2 (en) * 2002-10-25 2005-08-30 Avaya Technology Corp. Echo detection and monitoring
JP2005203905A (ja) * 2004-01-13 2005-07-28 Sony Corp 画像符号化装置、画像符号化方法並びに画像符号化プログラム
US20050235047A1 (en) * 2004-04-16 2005-10-20 Qiang Li Method and apparatus for a large scale distributed multimedia streaming system and its media content distribution
US9208824B2 (en) * 2004-05-18 2015-12-08 Broadcom Corporation Index table generation in PVR applications for AVC video streams
US7792190B2 (en) * 2004-09-09 2010-09-07 Media Tek Singapore Pte Ltd. Inserting a high resolution still image into a lower resolution video stream
KR100679031B1 (ko) * 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
DE102005001287A1 (de) * 2005-01-11 2006-07-20 Siemens Ag Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten
US7876833B2 (en) * 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US7705889B2 (en) * 2007-06-15 2010-04-27 Sony Corporation Shutter time compensation

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11876985B2 (en) 2012-04-13 2024-01-16 Ge Video Compression, Llc Scalable data stream and network entity
US11856229B2 (en) 2012-06-29 2023-12-26 Ge Video Compression, Llc Video data stream concept
US11956472B2 (en) 2012-06-29 2024-04-09 Ge Video Compression, Llc Video data stream concept
CN115442628A (zh) * 2012-06-29 2022-12-06 Ge视频压缩有限责任公司 视频数据流、编码器、编码视频内容的方法以及解码器
CN102801980B (zh) * 2012-08-09 2016-01-20 芯原微电子(北京)有限公司 一种用于可伸缩视频编码的解码装置和方法
CN102801980A (zh) * 2012-08-09 2012-11-28 芯原微电子(北京)有限公司 一种用于可伸缩视频编码的解码装置和方法
CN105519118A (zh) * 2013-07-11 2016-04-20 诺基亚技术有限公司 用于视频编码和解码的装置、方法和计算机程序
CN112887737A (zh) * 2014-01-03 2021-06-01 艾锐势有限责任公司 用于hevc扩展处理的条件解析扩展语法
CN112887737B (zh) * 2014-01-03 2024-04-02 康普英国有限公司 用于hevc扩展处理的条件解析扩展语法
CN109952577A (zh) * 2016-06-30 2019-06-28 索尼互动娱乐股份有限公司 通过下采样/上采样与增强信息对数字帧进行编码/解码
CN110915221A (zh) * 2017-07-20 2020-03-24 索尼公司 发送装置、发送方法、接收装置、以及接收方法
US11245929B2 (en) 2017-07-20 2022-02-08 Saturn Licensing Llc Transmission device, transmission method, reception device, and reception method
CN110915221B (zh) * 2017-07-20 2022-06-07 索尼公司 发送装置、发送方法、接收装置、以及接收方法
US11736732B2 (en) 2017-07-20 2023-08-22 Saturn Licensing Llc Transmission device, transmission method, reception de-vice, and reception method
CN111247803A (zh) * 2017-10-20 2020-06-05 交互数字Vc控股公司 立体全向帧打包
CN111989920A (zh) * 2018-02-20 2020-11-24 弗劳恩霍夫应用研究促进协会 支持变化的分辨率和/或有效地处理区域级打包的图片/视频编码
CN111819855B (zh) * 2018-03-21 2023-08-22 华为技术有限公司 视频码流中的取消标志指示
US11706398B2 (en) 2018-03-21 2023-07-18 Huawei Technologies Co., Ltd. Signaling a cancel flag in a video bitstream
CN111819855A (zh) * 2018-03-21 2020-10-23 华为技术有限公司 视频码流中的取消标志指示
CN112889282A (zh) * 2018-10-19 2021-06-01 三星电子株式会社 用于对图像执行人工智能编码和人工智能解码的方法和设备
CN112889282B (zh) * 2018-10-19 2024-06-04 三星电子株式会社 用于对图像执行人工智能编码和人工智能解码的方法和设备
CN113785580A (zh) * 2019-03-20 2021-12-10 V-诺瓦国际有限公司 用于视频编码器的速率控制

Also Published As

Publication number Publication date
US20090141809A1 (en) 2009-06-04
WO2009073077A1 (en) 2009-06-11
JP2011505781A (ja) 2011-02-24

Similar Documents

Publication Publication Date Title
CN101889447B (zh) 扩展avc标准以与视频串行地对高分辨率数字静止画面编码
CN101878649A (zh) 扩展avc标准以与视频并行地对高分辨率数字静止图片编码
US7613344B2 (en) System and method for encoding and decoding an image using bitstream map and recording medium thereof
CN101690163B (zh) 快门时间补偿
TWI587708B (zh) 用於視訊寫碼之交錯視訊資料之指示
TWI407796B (zh) An image signal decoding apparatus, an image signal decoding method, an image signal coding apparatus, an image signal coding method, and a program
US8675731B2 (en) Encoder and method
RU2559691C2 (ru) Способ декодирования, декодер, программный продукт, программное приложение для мобильного устройства беспроводной связи и электронный потребительский продукт
TW200400767A (en) Method and apparatus for transcoding compressed video bitstreams
CN1633812A (zh) 视频图片的全局运动补偿
CN103843342A (zh) 图像解码方法及使用其的装置
CN114223199A (zh) 用于视频编解码的方法和设备
JP2023508736A (ja) ビデオ符号化およびビデオ復号のための方法、装置、およびコンピュータプログラム製品
JP7434620B2 (ja) 符号化ビデオストリームにおけるレイヤ間のアライメントのための方法、コンピュータシステム、及びコンピュータプログラム
Haskell et al. Mpeg video compression basics
CN115380306A (zh) 视频编解码的方法和装置
CN101888545B (zh) 一种低码率信源压缩编码方法
JP7322178B2 (ja) マルチレイヤ化映像ストリームにおけるサブレイヤ番号の指示のための方法、装置、及びコンピュータプログラム
CN116325759A (zh) 用于处理媒体文件的方法及其设备
CN114762339A (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
CN113545060A (zh) 视频编码中的空瓦片编码
RU2773642C1 (ru) Сигнализация для передискретизации опорного изображения
EP4266689A1 (en) Method and device for generating/receiving media file including nal unit information, and method for transmitting media file
RU2804871C2 (ru) Способ и устройство предсказания изображений
JP2024061578A (ja) 動画像符号化におけるダウンサンプリングオフセット情報をシグナリングするシステム及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20101103