CN101889447B - 扩展avc标准以与视频串行地对高分辨率数字静止画面编码 - Google Patents

扩展avc标准以与视频串行地对高分辨率数字静止画面编码 Download PDF

Info

Publication number
CN101889447B
CN101889447B CN200880119418.7A CN200880119418A CN101889447B CN 101889447 B CN101889447 B CN 101889447B CN 200880119418 A CN200880119418 A CN 200880119418A CN 101889447 B CN101889447 B CN 101889447B
Authority
CN
China
Prior art keywords
video
rest image
frame
image
rest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200880119418.7A
Other languages
English (en)
Other versions
CN101889447A (zh
Inventor
艾利·塔巴塔拜
穆罕默德·祖拜尔·维沙拉姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Electronics Inc
Original Assignee
Sony Corp
Sony Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Electronics Inc filed Critical Sony Corp
Publication of CN101889447A publication Critical patent/CN101889447A/zh
Application granted granted Critical
Publication of CN101889447B publication Critical patent/CN101889447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

编解码器扩展AVC标准，以便提供如下支持：在较低分辨率视频的AVC编码中对高分辨率静止图像画面进行编码。该编解码器能够捕获AVC视频流，同时相对于视频流以随机间隔捕获高分辨率静止图像。每个所捕获高分辨率静止图像被嵌入在视频流内作为单层比特流。每个被嵌入的高分辨率静止图像传达或者迫使经编码视频序列中的新GOP的开始。AVC标准被扩展为包括用于序列参数集的新语法。在一个实施例中，经修改序列参数集定义新的配置属性，该新的配置属性传达与AVC视频串联的高分辨率静止图像的存在。

Description

扩展AVC标准以与视频串行地对高分辨率数字静止画面编码
技术领域
本发明涉及视频编码领域。更具体地，本发明涉及AVC编码以及扩展当前AVC标准以支持在集成串行模式(series mode)中将高分辨率数字静止画面与传统地被编码的AVC视频流一起进行编码和存储的领域。
背景技术
术语“编解码器”是指“压缩器/解压缩器”、“编码器/解码器”或者“压缩/解压缩算法”，其描述了能够对数据流或信号执行变换的设备或算法或专用计算机程序。编解码器对数据流或信号编码以供传输、存储或加密，并且对其解码以供观看或编辑。例如，数字摄像机将模拟信号转换为数字信号，数字信号随后经过视频压缩器以用于数字传输或存储。接收设备随后经由视频解压缩器来对接收到的信号解压缩，并且解压缩后的数字信号被转换为模拟信号以供显示。可以对音频信号执行类似处理。存在多种标准编解码器制式。一些制式主要用来使文件传送时间最小化，并且被应用在因特网上。其它制式旨在使可以存储在给定量的盘空间中或CD-ROM上的数据最小化。每种编解码器制式可由不同的程序、处理或硬件来应对。数字图像是作为有限组的数字值(称为像元或像素)的二维图像的表示。通常，像素作为光栅图像或光栅地图(taster map)被存储在计算机存储器中，光栅图像或光栅地图是二维阵列的整数。这些值通常以压缩形式被发送或存储。
数字图像可通过多种输入设备和技术来创建，这些输入设备和技术例如是数字相机和摄录像机、扫描仪、坐标测量机器、地震剖析、机载雷达等等。数字图像也可以从诸如数学函数或三维几何模型之类的任意非图像数据来合成，三维几何模型是计算机图形的主要子域。数字图像处理领域是对对数字图像执行图像处理的算法的研究和使用。图像编解码器包括这些算法以执行数字图像处理。
取决于图像格式而将不同的图像编解码器用来观看图像。可以简单地利用web浏览器观看GIF、JPEG和PNG图像，这是因为它们是标准的因特网图像格式。SVG格式目前被广泛用在web中，并且是标准的W3C格式。其它程序提供了幻灯片应用，以按照自动地一个接一个地顺序来观看图像。
静止图像具有与视频不同的特性。例如，纵横比和颜色不同。因此，与视频不同地来处理静止图像，从而需要用于静止图像的静止图像编解码器，以及与静止图像编解码器不同的用于视频的视频编解码器。
视频编解码器是使得能够将数字压缩技术用于数字视频数据的设备或软件模块。视频序列由多个通常称为帧的画面(数字图像)构成。随后的帧非常类似，因此，包含从一帧到下一帧的大量冗余。在视频数据通过信道被高效地发送或者被存储在存储器中之前，视频数据被压缩以节省带宽和存储器。视频压缩的目的是移除帧内的(空间冗余)以及帧之间(时间冗余)的冗余，以获得较好的压缩比。在视频质量、表示数据所需的数据量(也称为比特速率)、编码和解码算法的复杂度、针对数据丢失和差错的其健壮性、编辑的容易度、随机访问、端到端延时以及多个其它因素之间存在复杂的平衡。
典型的数字视频编解码器设计开始于将输入视频从RGB色彩格式转换为YCbCr色彩格式，并且通常随后进行色度抽点采样(sub-sampling)以产生采样网格图案。转换为YCbCr色彩格式通过使色彩信号去相关并且将可用较低分辨率表示的、在感知上不太重要的亮度(luma)信号与在感知上较重要的色度信号相分离，来提高压缩率。
一定量的空间和时间下采样(down-sampling)也可以用来在基本编码处理之前减小原始数据速率。下采样是减小信号的采样速率的处理。其通常被实现来减小数据速率或数据的大小。下采样因子通常是大于1的整数或有理分数。随后利用频率变换来变换该数据以进一步使空间数据去相关。一种这样的变换是离散余弦变换(DCT)。变换的输出随后被量化，并且熵编码被应用于量化后的值。一些编码器可以在称为n遍(n-pass)编码，例如2遍编码的多步骤处理中压缩视频，这通常是较慢的处理，但是潜在地提供了较好的质量压缩。
解码处理实质上包括：执行对编码处理中的各个阶段的反转(inversion)。不能被精确反转的一个阶段是量化阶段。在此，尽最大努力近似的反转被执行。该部分的处理通常称为“反量化”或“逆量化”，尽管量化在本质上是不可反转的处理。
可以在PC上并且在消费电子设备中容易地实现多种编解码器。通常可在同一产品中获得多个编解码器，从而避免了由于兼容性原因而需要选择单个占主导地位的编解码器。
一些广泛使用的视频编解码器包括但不限于H.261、MPEG-1Part 2、MPEG-2Part 2、H.263、MPEG-4Part 2、MPEG-4Part 10/AVC、DivX、XviD、3ivx、Sorenson 3以及Windows Media Video(WMV)。
H.261主要用在较早的视频会议和视频电话产品中。H.261是第一个实用数字视频压缩标准。实质上，所有后续的标准视频编解码器设计都是基于它的。其包括如下这些建立好的概念，例如YCbCr色彩表示、4∶2∶0采样格式、8比特采样精度、16×16个宏块、分块运动压缩、8×8分块离散余弦变换、Z字型系数扫描、缩放量化、运行+值符号映射，以及可变长度编码。H.261仅支持逐行扫描视频。
MPEG-1Part 2用于视频CD(VCD)，并且偶尔用于在线视频。质量大体上比得上VHS的质量。如果源视频质量较好并且比特速率足够高，则VCD可以看起起来比VHS好，但是，VCD因此需要高的比特速率。VCD具有针对任何数字视频/音频系统的最高兼容性，因为世界上几乎每台计算机都可以播放这种编解码器。根据技术设计，MPEG-1相对于H.261的最重大增强是半像素(half-pel)和双向预测运动压缩支持。MPEG-1仅支持逐行扫描视频。
MPEG-2Part 2是与H.262的同文标准，并且用在DVD上以及大多数数字视频广播和有线电视分发系统中。当用在标准DVD上时，MPEG-2Part 2提供了良好的画面质量并且支持宽屏。根据技术设计，与MPEG-1有关的对MPEG-2的最重要的增强是添加了对隔行扫描视频的支持。MPEG-2被认为是老化的编解码器，但是具有可观的市场接受度和非常大的安装基数。
H.263主要用于视频会议、视频电话和因特网视频。H.263代表了针对逐行扫描视频的标准化压缩能力的前进中的重要的一步。尤其是在低的比特速率时，H.263可以提供对达到给定保真度所需的比特速率的显著提高。
MPEG-4Part 2是可以用于因特网、广播和存储介质的MPEG标准。MPEG-4Part 2相对于MPEG-2和第一版H.263提供了经改善的质量。其超越现有编解码器标准的主要技术特征包括面向对象的编码特征。MPEG-4Part 2还通过包含在H.263中开发的能力并且通过添加诸如四分之一像素运动压缩之类的新能力，来包括对压缩能力的一些增强。与MPEG-2相同，其支持逐行扫描视频和隔行扫描视频。
MPEG-4Part 10是技术上与ITU-T的H.264平行的标准，并且通常也称为AVC。MPEG-4Part 10包括压缩能力方面的多个重大进步，并且其近来被用到多个公司产品中。
DivX、XviD和3ivx是本质上利用了MPEG-4Part 2视频编解码器的具有*.avi、*.mp4、*.ogm或*.mkv文件容器格式的视频编解码器套装。Sorenson 3是通常由苹果公司的QuickTime使用的编解码器，本质上是H.264的原型。在web上找到的许多QuickTime电影预告片使用了这种编解码器。WMV(Windows Media Video)是微软公司的视频编解码器设计系列，包括WMV 7、WMV 8和WMV 9。WMV可被看作是MPEG-4编解码器设计的一种版本。
MPEG编解码器用于对运动影像和关联音频的一般性编码。MPEG视频编解码器创建了通常由三类经编码数据帧的序列组成的压缩视频比特流。这三类数据帧被称为帧内编码帧(intra frame)(称为I-帧或I-画面)、双向预测帧(称为B-帧或B-画面)以及前向预测帧(称为P-帧或P-画面)。这三类帧可以按称为GOP(画面组)结构的指定顺序进行排列。I-帧包含重建画面所需的所有信息。I-帧被编码为未经运动压缩的正常图像。另一方面，P-帧使用来自在前帧的信息并且B-帧使用来自在前帧、后续帧或两者的信息，来重建画面。具体地，P-帧是从前一I-帧或紧邻的在前P-帧预测出的。
也可以从紧邻的后续帧来预测帧。为了使后续帧以这种方式被利用，必须在预测帧之前对后续帧编码。因此，编码顺序不一定与实际的帧显示顺序相匹配。这些帧通常是从两个方向来预测的，例如，从紧邻的在前I-帧或P-帧或者紧随预测帧之后的P-帧来预测。
存在许多可能的GOP结构。常见GOP结构为15帧长，并且具有序列I_BB_P_BB_P_BB_P_BB_P_BB_。类似的12帧序列也是常见的。I-帧针对空间冗余编码，P-帧和B-帧针对时间冗余编码。由于视频流中的相邻帧通常被密切相关，因此P-帧可能是I-帧大小的10％，并且B-帧是其大小的2％。但是，在帧可被压缩的大小与对这种压缩帧编码所需的处理时间和资源之间存在折衷。GOP结构中的I、P和B-帧的比率是由视频流的性质以及对输出流的带宽约束来确定的，尽管编码时间也可能是个问题。在具有有限的计算资源的现场传输和实时环境中尤其是这样，因为包含许多B-帧的流可能要比仅有I-帧的文件花费更长的时间来编码。
B-帧和P-帧需要较少的比特来存储画面数据，因为它们通常包含针对当前帧与在前帧、后续帧或在前帧和后续帧两者之间的差别的差别比特。B-帧和P-帧因此用来减少跨越帧包含的冗余信息。进行操作的解码器接收经编码的B-帧或经编码的P-帧，并且利用在前帧或后续帧来重建原始帧。该处理比独立地重建每个原始帧更容易，并且在连续帧基本上类似时，产生更平滑的场景转变，这是因为帧的差别较小。
每个视频图像被分离为一个亮度(Y)信道和两个色度信道(也称为色差信号Cb和Cr)。亮度和色度阵列的多块被组织成为“宏块”，宏块是帧内的基本编码单元。
在I-帧的情况中，实际图像数据经过编码处理。但是，P-帧和B-帧首先经受“运动压缩”处理。“运动压缩”是一种根据前一帧的每个宏块移动的位置来描述连续帧之间的差别的方式。这种技术通常用来减少用于视频压缩的视频序列的时间冗余。P-帧或B-帧中的每个宏块被与前一或下一图像中与其紧密相关的区域相关联，该区域例如是编码器利用通过称为“运动估计”的处理获得的“运动向量”而选择的。将当前宏块映射到参考帧中的其相关区域的运动向量被编码，并且随后，使得两个区域之间的差别经过编码处理。
传统视频编解码器使用运动补偿预测来高效地编码原始输入视频流。从先前帧中的位移宏块(displaced macroblock)来预测当前帧中的宏块。原始宏块与其预测之间的差别被压缩，并与位移(运动)向量一起被发送。这种技术称为帧间编码(inter-coding)，其是用在MPEG标准中的方法。
MPEG编码器的输出比特速率可以是恒定的或可变的，其中，最大比特速率由回放媒体确定。为了获得恒定的比特速率，迭代地改变量化的阶次，以实现输出比特速率需求。当对流进行解码时，增加量化导致了可见的失真。宏块边缘处的不连续随着比特速率的减小变得更明显。
AVC(H.264)标准支持比特速率远低于先前标准所需的比特速率的质量视频。这种功能允许该标准被应用于极宽种类的视频应用，并且在广泛种类的网络和系统上表现良好。虽然MPEG视频编码标准指定一般编码方法和语法以用于创建合理的MPEG视频比特流，然而，当前的标准不提供如下支持：将随机捕获的高分辨率静止图像与经编码视频数据一起进行编码和存储。
发明内容
被配置为在循序模式(sequential mode)中操作的编解码器扩展了当前的AVC标准，以便提供如下支持：在较低分辨率视频的AVC编码内对高分辨率静止图像画面进行编码。根据经修改的AVC标准来配置循序模式编解码器。编解码器能够捕获AVC视频流，同时相对于视频流以随机间隔来捕获高分辨率静止图像。每个所捕获高分辨率静止图像被嵌入在视频流内。包括所嵌入的高分辨率静止图像的视频流被编码为单层比特流。每个被嵌入的高分辨率静止图像传达(signal)或迫使经编码视频序列中的新的GOP的开始。单层比特流从发送侧上的编码器被发送给接收侧上的解码器。
为了将所嵌入高分辨率静止图像包括在视频流中，AVC标准被扩展以包括用于序列参数集的新语法。在一个实施例中，经修改序列参数集定义了新的配置属性(profile)，该配置属性传达与AVC视频串联的高分辨率静止图像的存在。
在一个方面，描述了一种对数据编码的方法。该方法包括：捕获视频流的数据，其中，视频流包括多个连续视频帧的数据；捕获一个或多个静止图像，其中，每个静止图像是相对于视频流以随机时间间隔捕获的；顺序地将每个静止图像嵌入视频帧内，由此形成组合数据流；通过利用经修改序列参数集中的新的配置属性定义来传达高分辨率静止图像的存在；对组合数据流编码；以及将经编码的组合数据流作为单层传输进行发送。该方法还可以包括：对每个所捕获高分辨率静止图像进行下采样，并且存储每个静止图像的下采样版本以用作视频流中的后续帧的基准图像。该方法还可以包括：将与每个所捕获静止图像相关联的图像特性转换为视频特性，以使得每个静止图像的下采样版本与视频的特性相匹配。对组合数据流编码可以包括：根据每个静止图像的下采样版本来对视频帧编码。每个被嵌入静止图像可以指示新的GOP。每个静止图像可以被随机地嵌入在组合数据流内。每个GOP的大小可以是可变的。组合数据流可以根据经修改AVC标准被编码。该方法还可以包括：接收单层传输；通过经修改序列参数集的存在来检测每个所嵌入静止图像的出现；对每个检测到的静止图像解码；以及对每个视频帧解码。该方法还可以包括：下采样每个经解码的静止图像，并且存储每个静止图像的下采样版本。该方法还可以包括：将与每个经解码静止图像相关联的图像特性转换为视频特性，以使得每个静止图像的下采样版本与视频流的特性相匹配。对每个视频帧解码可以包括：如果静止图像被用作预测的基准，则根据每个静止图像的下采样版本来对每个视频帧解码。每个静止图像可以包括高分辨率静止图像。每个视频帧可以包括低分辨率视频帧。视频流的帧率可以独立于一个或多个静止图像的帧率。
在另一方面，描述了一种对数据编码的系统。该系统包括：视频捕获模块，用来捕获视频流的数据，其中，视频流包括多个连续视频帧的数据；静止图像捕获模块，用来捕获一个或多个静止图像，其中，每个静止图像是相对于视频流以随机时间间隔捕获的；处理模块，用来将每个所捕获静止图像嵌入视频流内，并且设置经修改序列参数集以传达每个静止图像的存在，由此生成组合数据流；编码器，用来对组合数据流编码，由此形成经编码的组合数据流；以及发送器，用来将经编码的组合数据流作为单层传输进行发送。编码器可以包括：对每个静止图像进行下采样的下采样模块，以及存储每个静止图像的下采样版本的缓冲器。编码器可以被配置为将与每个所捕获静止图像相关联的图像特性转换为视频特性，以使得每个静止图像的下采样版本与视频的特性相匹配。编码器可以被配置为通过根据每个静止图像的下采样版本来对视频帧编码，从而对组合数据流编码。处理模块可以被配置为定义经修改序列参数集，并且在静止图像每次出现时将参数集添加到视频流中，以传达静止图像的存在以及新GOP的开始。处理模块还可以被配置为定义一个或多个静止图像参数，其中，每个静止图像参数定义静止图像的特性，例如图像高度和图像宽度中的一个或多个。每个被嵌入静止图像可以指示新的GOP。每个静止图像可以被随机地嵌入在组合数据流内。每个GOP的大小可以是可变的。组合数据流可以根据经修改AVC标准被编码。每个静止图像可以包括高分辨率静止图像。每个视频帧可以包括低分辨率视频帧。视频流的帧率可以独立于一个或多个静止图像的帧率。
在又一方面，描述了一种对数据解码的系统。该系统包括：接收器，用来接收作为单层传输的经编码数据流，其中，经编码数据流包括被嵌入多个视频帧内的一个或多个静止图像；处理模块，用来通过解析经修改序列参数集的内容来检测被嵌入静止图像的存在；以及解码器，用来对嵌入在经编码数据流中的每个静止图像解码并且对每个经编码的视频帧解码，以形成视频流的数据，其中，每个静止图像是相对于视频流以随机时间间隔被解码的。解码器可以包括：对每个静止图像进行下采样的下采样模块，以及存储每个静止图像的下采样版本的缓冲器。解码器可以被配置为将与每个经解码静止图像相关联的图像特性转换为视频特性，以使得每个静止图像的下采样版本与视频流的特性相匹配。解码器可以被配置为在静止图像被用作基准时，通过根据每个静止图像的下采样版本来对每个适当的视频帧解码，从而对每个经编码的视频帧解码。处理模块可以被配置为检测一个或多个静止图像参数，其中，每个静止图像参数定义静止图像的特性，例如图像高度和图像宽度中的一个或多个。每个被嵌入静止图像可以指示新的GOP。每个静止图像可以被随机地嵌入在经编码数据流内。每个GOP的大小可以是可变的。经编码数据流可以根据经修改AVC标准被编码。每个静止图像可以包括高分辨率静止图像。每个视频帧可以包括低分辨率视频帧。视频流的帧率可以独立于一个或多个静止图像的帧率。
在又一方面，描述了一种对数据编码和解码的系统。该系统包括：视频捕获模块，用来捕获第一视频流的数据，其中，第一视频流包括多个连续视频帧的数据；静止图像捕获模块，用来捕获一个或多个静止图像，其中，每个静止图像是相对于第一视频流以随机时间间隔捕获的；处理模块，用来将每个所捕获静止图像嵌入第一视频流的视频帧内，并且设置序列参数集以传达静止图像的存在，由此生成第一数据流；编码器，用来对第一数据流编码，由此形成第一经编码数据流；收发器，用来将第一经编码数据流作为第一单层传输进行发送，并且接收作为第二单层传输的第二经编码数据流；以及解码器，用来对被嵌入第二经编码数据流内的每个静止图像解码，并且对第二经编码数据流内的每个经编码视频帧解码，以形成第二视频流的数据。编码器可以包括：对每个静止图像进行下采样的下采样模块以及存储每个静止图像的下采样版本的缓冲器。解码器可以包括：对每个静止图像进行下采样的下采样模块以及存储每个静止图像的下采样版本的缓冲器。
附图说明
图1图示出了利用经修改AVC标准将高分辨率静止图像嵌入在视频流内的循序模式。
图2图示出了被配置为在循序模式中操作的示例性成像系统的框图。
图3图示出了来自图2的编码器的示例性框图。
图4图示出了与较低分辨率视频流的AVC编码串行地对高分辨率静止图像编码的方法。
图5图示出了对单层数据流解码以形成高分辨率静止图像的方法。
相对于若干附图来描述循序模式编解码器的实施例。在适当的情况下，并且仅当等同的元件在多于一个附图中被公开并示出时，用相同标号表示这些等同的元件。
具体实施方式
亦称为单层方法的循序模式方法支持将静止图像编码特征添加到AVC中。与经AVC格式化的视频流中的相邻P-画面、B-画面或I-画面相比，AVC标准被扩展为支持以更高的空间分辨率来对高分辨率静止图像编码。该方法被称为循序方法，这是因为高分辨率静止图像被嵌入在视频流内以形成单层。循序方法使得高分辨率静止图像能够以随机间隔被捕获，并且随后被嵌入在视频流中。在此意义上来说，包括被随机地嵌入在AVC视频流内的一个或多个高分辨率静止图像的单层数据流变成了一系列可变大小的GOP。
在利用循序模式捕获视频并且利用AVC进行编码时，当用户需要较高分辨率静止图像时，在经编码视频序列中传达新的GOP或S-I(静止图像)画面的开始。这种“S-I画面”具有比正常视频序列高得多的空间分辨率。此时，S-I画面可以独立地被编码，由此提供随机访问能力。S-I画面还包括图像特性而非视频特性，其中，特性可以是指色彩映射的差异。静止图像具有与视频不同的特性，例如不同的纵横比和色彩。因此，S-I画面通常包括与关联于视频流的I-画面、P-画面或B-画面不同的特性。与高分辨率静止图像相关联的S-I画面不同于与视频流相关联的I-画面。存在这样的情况，其中，S-I画面的随机性使得特定S-I画面与视频流的GOP对齐。在此情况的一个实施例中，S-I画面取代单层数据流中的I-画面。由于捕获高分辨率静止图像的随机性，S-I画面与视频流的GOP的对齐频率发生变化，并且可能根本不发生。
图1图示出了利用经修改AVC标准来存储高分辨率静止图像的循序模式。修改后AVC格式化的数据流10包括被嵌入在AVC格式化视频帧内的高分辨率静止图像。如本领域公知的，AVC格式化的视频帧包括P-画面、B-画面和I-画面。每个高分辨率静止图像被表示为S-I画面，S-I画面被随机地散布在视频帧内。AVC视频流是根据所确定的GOP来配置的，其中，每个I-画面表示新GOP的开始。在经修改AVC数据流中，每个S-I画面也表示新GOP的开始。由于可以以任何随机的时刻来捕获高分辨率静止图像，因此，相应的S-I画面可被嵌入在经修改AVC视频流内的任何随机位置处。因此，经修改AVC数据流内的每个GOP在大小方面是可变的。
图1中的经修改AVC数据流10图示出了包括I-画面18和20的示例性的一系列视频帧，以及包括S-I画面12、14和16的高分辨率静止图像。每个S-I画面和每个I-画面标记了新GOP的开始。参考经修改的AVC数据流10，GOP 22被对齐为在S-I画面12处开始，GOP 24被对齐为在S-I画面14处开始，GOP 26被对齐为在I画面18处开始，GOP 28被对齐为在S-I画面16处开始，GOP 30被对齐为在I画面20处开始。
由于高分辨率静止图像是以随机间隔捕获的，因此，存在S-I画面与I-画面对齐的情况。在此情况的一个实施例中，I-画面被S-I画面取代。高分辨率静止图像被配置为S-I画面。S-I画面被嵌入在视频流的I-画面、P-画面和B-画面内。根据AVC标准，P-画面和B-画面可从I-画面来预测。但是，在I-画面被S-I画面取代的情况中，或者当S-I画面传达新GOP的开始时，S-I画面被用作预测后续的P-画面和B-画面的起始点或基准。由于S-I画面比相邻的P和B画面的分辨率高，因此，S-I画面被下采样为视频的分辨率。另外，由S-I画面定义的图像特性必须被转换为将用于预测P-画面和B-画面的适当视频特性。基本地，如果高分辨率静止图像将被用作对视频编码的基准，则高分辨率静止图像被下采样，并且图像特性被转换为视频特性，以恰当地针对视频而非静止图像进行格式化。
经修改AVC标准使得每个高分辨率静止图像能够以任何随机间隔被捕获。换言之，不必使S-I画面的帧率与AVC视频流的帧率相匹配或者是其倍数，尽管在一些情形中帧率相等。与需要相对于视频流以固定速率生成残差信息的传统编解码器相比，根据修改后AVC标准配置的循序模式编解码器不受这种要求的阻碍。利用循序模式编解码器发送的高分辨率静止图像为随机帧率，或者为与视频流的帧率相独立的帧率。
图2图示出了被配置为在循序模式中操作的示例性成像系统40的框图。成像系统40包括图像捕获模块42、编解码器48、处理模块54、存储器56以及输入/输出(I/O)接口58。I/O接口58包括用于发送和接收数据的用户接口和网络接口。存储器56是任何传统类型的数据存储介质(集成的或可移除的)。编解码器48包括编码器50和解码器52。图像捕获模块42包括用于捕获低分辨率视频的视频捕获模块44以及用于捕获高分辨率静止图像的静止图像捕获模块46。
图3图示出了来自图2的编码器50的示例性框图。编码器50包括运动估计(ME)模块60、运动补偿(MC)模块62、比较器64、变换模块66、量化模块68、VLC/CABAC模块70、逆量化模块72、逆变换模块74、下采样模块76、高分辨率静止图像选择开关78以及帧缓冲器80。在编码器侧，如图3所示，对高分辨率静止图像，即S-I画面的编码被标志，并且与帧内编码模式(intra mode)(I-画面)中对高分辨率视频的编码类似地对其编码。关键差别在于：该编码器将S-I画面的下采样版本存储在帧缓冲器80中以用作后续较低分辨率P-画面和B-画面的基准画面。当高分辨率静止图像存在时，向开关78发送信号。响应于该信号，进行到下采样模块76的开关连接，以使得当前帧(其是S-I画面)的下采样版本被发送给帧缓冲器80。为了使编码器的复杂度最小化，以应对对视频编码和静止图像编码两者的实时需求的方式来设计对I-画面的编码。
在解码器侧，如果诸如摄录像机(camcorder)之类的图像显示设备处于数字静止图像模式，则高分辨率静止图像，即S-I画面被访问、解码并显示。在视频模式中，经解码的高分辨率静止图像的下采样版本被显示并存储在帧缓冲器中以进一步用于P-画面和B-画面的基准。与编码器侧类似地，以应对对较高分辨率I-画面的实时解码的方式来设计解码器。在一些实施例中，除了下面的以外解码器与编码器50类似地被配置：解码器不包括运动估计模块，并且通过经修改序列参数集来传达高分辨率静止图像的存在，经修改序列参数集出现在GOP开始处或者强制性地存在于GOP开始处，如果该GOP开始于S-I画面的话。解码器的处理流程与编码器的处理流程相反。
图4图示出了与较低分辨率视频流的AVC编码串行地对高分辨率静止图像编码的方法。在步骤100，输入视频流被捕获。在步骤110，高分辨率静止图像在任何随机的时刻被捕获。可以在其它时刻捕获其它静止图像。在步骤120，每个所捕获的高分辨率静止图像被嵌入在视频流内，由此形成包括所嵌入的高分辨率静止图像以及输入视频流的视频帧的经组合数据流。每个高分辨率静止图像在与高分辨率静止图像被捕获的时刻相对应的点处被嵌入视频流内。在步骤130，高分辨率静止图像的存在是通过经修改序列参数集来传达的，经修改序列参数集出现在GOP开始处或者强制性地存在于GOP开始处，如果该GOP开始于S-I画面的话。
在此实施例中，每个高分辨率静止图像被用作用于对视频流中的P-画面和B-画面进行编码的预测基准。然而，高分辨率静止图像的分辨率太高而不能用于此目的。在步骤140，每个高分辨率静止图像被下采样，并且高分辨率静止图像的下采样版本被存储在缓冲器中。在步骤150，对经组合的数据流编码，其中，高分辨率静止图像的下采样版本被用作用于对经组合数据流中的适当P-画面和B-画面进行编码的预测基准。在步骤160，经编码的组合数据流作为单层传输从编码器被发送给解码器。
图5图示出了对单层数据流解码以形成高分辨率静止图像的方法。在步骤200，解码器接收在步骤160(图4)处发送的单层经编码的组合数据流。在步骤210，经修改序列参数集(SPS)的存在通过利用新的配置属性定义来指示所接收的组合数据流中S-I画面的存在，从而检测组合数据流中的所嵌入的高分辨率静止图像。对于检测到的每个这样的SPS，在步骤220，对相对应的高分辨率静止图像解码。在步骤230，每个经解码的高分辨率静止图像被下采样。在步骤240，高分辨率静止图像的下采样版本被存储在缓冲器中。在步骤250，具有组合数据流的视频帧被解码。在一个实施例中，高分辨率静止图像的下采样版本被用作用于对适当P-画面和B-画面编码的预测基准。
为了修改现有的AVC标准以支持对高分辨率静止图像的随机捕获，现有的AVC标准被扩展为使得高分辨率静止图像能够以随机时间间隔被包括到视频帧的串行流中，并且向解码器传达高分辨率静止图像被包括在视频流中。序列参数集定义特定时刻的视频流的特性。
经修改AVC标准包括经修改的序列参数集(SPS)RBSP语法。在一个实施例中，经修改序列参数集通过定义新的配置属性指示符并且设置相对应的标志来传达诸如高分辨率静止图像的宽度和高度之类的图像特性，从而传达I.高分辨率静止图像的存在。下面是示例性的经修改SPS RBSP语法：
seq_parameter_set_rbsp(){
    profile_idc
    constraint_set0_flag
    constraint_set1_flag
    constraint_set2_flag
    constraint_set3_flag
    reserved_zero_4bits/*equal to 0*/
    level_idc
    seq_parameter_set_id
    if(profile idc＝＝′NNN′){//用于对循序模式的配置属性指示符的新的未
    使用8位整数
           intra_still_picture_present_flag
    }
    if(profile_idc＝＝100||profile_idc＝＝110||
         profile_idc＝＝122||profilejdc＝＝144||
         profile_idc＝＝83)){
         chroma_format_idc
         if(chroma_format_idc＝＝3)
              residual_colour_transform_flag
         bit_depth_luma_minus8
         bit_depth_chroma_minus8
         qpprime_y_zero_transform_bypass_flag
         seq_scaling_matrix_present flag
         if(seq_scaling_rnatrix_present_flag)
              for(i＝0；i＜8；i++){
         seq_scaling_list present_flag[i]
         if(seq_scaling_list_present_flag[i])
              if(i＜6)
                    scaling_list(ScalingList4x4[i]，16，
                         UseDefaultScalingMatrix4x4Flag[i])
              else scaling list(ScalingList8x8[i-6]，64，
                         UseDefaultScalingMatrix8x8Flag[i-6])
            }
 }
 log2_max_frame_num_minus4
 pic_order_cnt_type
 if(pic_order_cnt_type＝＝0)
      log2_max_pic_order_cnt_lsb_minus4
else if(pic_order_cnt_type＝＝1){
      delta_pic_order_always_zero_flag
      offset_for_non_ref_pic
      offset_for_top_to_bottom_field
      num_ref_frames_in_pic_order_cnt_cycle
      for(1＝0；i＜num_ref_frames_in_pic_order_cnt_cycle；i++)
             offset_for_ref_frame[i]
  }
  num_ref_frames
  gaps_in_frame_num_value_allowed_flag
  pic_width_in_mbs_minusl
  pic_height_in_map_units_minusl
  if(intra_still_picture_present_flag){
        still_pic_width_in_mbs_minusl
        still_pic_height_in_map_units_minusl
  }
  frame_mbs_only_flag
  if(！frame_mbs_only_flag)
        mb_adaptive_firame_field_flag
        direct_8x8_inference_flag
  fiame_cropping_flag
    if(frame_cropping_flag){
    frame_crop_left_offset
    frame_crop_right_offset
    frame_crop_top_offset
    frame_crop_bottom_offset
    }
    vui_parameters_present_flag
    if(vui_parameters_present_flag)
           vui_pammeters()
    rbsp_trailing_bits()
}
参数“still_pic_width_in_mbs_minusl”加上1表示以宏块为单位的每个经解码高分辨率静止画面的宽度。参数
“still_pic_height_in_map_units_minusl”加上1表示高分辨率静止画面的经解码帧的分片群组映射单元(slice group map unit)的高度。
将明白，上面用来定义经修改序列参数集的语法是用于示例性目的的，并且备选语法也可用来定义经修改序列参数集。
已根据包括了细节的具体实施例描述了本发明，以辅助对本发明的构造和操作的原理的理解。这里，对具体实施例及其细节的这些引用不旨在将所附权利要求的范围局限于此。本领域技术人员将清楚，在不脱离本发明的精神和范围的情况下，可以对被选择用于图示说明的实施例作出修改。

Claims (45)

1.一种对数据编码的方法，该方法包括：
a.捕获视频流的数据，其中，所述视频流包括多个连续视频帧的数据；
b.捕获一个或多个静止图像，其中，每个静止图像是相对于所述视频流以随机时间间隔捕获的；
c.顺序地将每个静止图像嵌入所述视频帧内，由此形成组合数据流；
d.通过利用经修改序列参数集中的新的配置属性定义来传达高分辨率静止图像的存在；
e.对所述组合数据流编码；以及
f.将经编码的组合数据流作为单层传输进行发送，
其中，所述视频流是AVC视频流。
2.如权利要求1所述的方法，还包括：对每个所捕获高分辨率静止图像进行下采样，并且存储每个静止图像的下采样版本以用作所述视频流中的后续帧的基准图像。
3.如权利要求2所述的方法，还包括：将与每个所捕获静止图像相关联的图像特性转换为视频特性，以使得每个静止图像的下采样版本与视频的特性相匹配。
4.如权利要求3所述的方法，其中，对组合数据流编码包括：根据每个静止图像的下采样版本来对所述视频帧编码。
5.如权利要求1所述的方法，其中，每个被嵌入静止图像指示新的GOP。
6.如权利要求5所述的方法，其中，每个静止图像被随机地嵌入在所述组合数据流内。
7.如权利要求6所述的方法，其中，每个GOP的大小是可变的。
8.如权利要求1所述的方法，其中，所述组合数据流是根据经修改AVC标准被编码的。
9.如权利要求1所述的方法，还包括：
a.接收作为单层传输的经编码的组合数据流；
b.通过经修改序列参数集的存在来检测每个所嵌入静止图像的出现；
c.对每个检测到的静止图像解码；以及
d.对每个视频帧解码。
10.如权利要求9所述的方法，还包括：下采样每个经解码的静止图像，并且存储每个静止图像的下采样版本。
11.如权利要求10所述的方法，还包括：将与每个经解码静止图像相关联的图像特性转换为视频特性，以使得每个静止图像的下采样版本与所述视频流的特性相匹配。
12.如权利要求11所述的方法，其中，对每个视频帧解码包括：如果静止图像被用作预测的基准，则根据每个静止图像的下采样版本来对每个视频帧解码。
13.如权利要求1所述的方法，其中，每个静止图像包括高分辨率静止图像。
14.如权利要求1所述的方法，其中，每个视频帧包括低分辨率视频帧。
15.如权利要求1所述的方法，其中，所述视频流的帧率独立于所述一个或多个静止图像的帧率。
16.一种对数据编码的系统，包括：
a.视频捕获模块，用来捕获视频流的数据，其中，所述视频流包括多个连续视频帧的数据；
b.静止图像捕获模块，用来捕获一个或多个静止图像，其中，每个静止图像是相对于所述视频流以随机时间间隔捕获的；
c.处理模块，用来将每个所捕获静止图像嵌入所述视频帧内，并且设置经修改序列参数集以传达每个静止图像的存在，由此生成组合数据流；
d.编码器，用来对所述组合数据流编码，由此形成经编码的组合数据流；以及
e.发送器，用来将经编码的组合数据流作为单层传输进行发送，
其中，所述视频流是AVC视频流。
17.如权利要求16所述的系统，其中，所述编码器包括：对每个静止图像进行下采样的下采样模块，以及存储每个静止图像的下采样版本的缓冲器。
18.如权利要求17所述的系统，其中，所述编码器被配置为将与每个所捕获静止图像相关联的图像特性转换为视频特性，以使得每个静止图像的下采样版本与视频的特性相匹配。
19.如权利要求18所述的系统，其中，所述编码器被配置为通过根据每个静止图像的下采样版本来对所述视频帧编码，从而对所述组合数据流编码。
20.如权利要求16所述的系统，其中，所述处理模块被配置为定义经修改序列参数集，并且在静止图像每次出现时将参数集添加到所述视频流中，以传达静止图像的存在以及新GOP的开始。
21.如权利要求20所述的系统，其中，所述处理模块还被配置为定义一个或多个静止图像参数，其中，每个静止图像参数定义静止图像的特性。
22.如权利要求21所述的系统，其中，所述静止图像的特性是图像高度和图像宽度中的一个或多个。
23.如权利要求16所述的系统，其中，每个被嵌入静止图像指示新的GOP。
24.如权利要求23所述的系统，其中，每个静止图像被随机地嵌入在所述组合数据流内。
25.如权利要求24所述的系统，其中，每个GOP的大小是可变的。
26.如权利要求16所述的系统，其中，所述组合数据流是根据经修改AVC标准被编码的。
27.如权利要求16所述的系统，其中，每个静止图像包括高分辨率静止图像。
28.如权利要求16所述的系统，其中，每个视频帧包括低分辨率视频帧。
29.如权利要求16所述的系统，其中，所述视频流的帧率独立于所述一个或多个静止图像的帧率。
30.一种对数据解码的系统，包括：
a.接收器，用来接收作为单层传输的经编码数据流，其中，所述经编码数据流包括被嵌入多个视频帧内的一个或多个静止图像；
b.处理模块，用来通过解析经修改序列参数集的内容来检测被嵌入静止图像的存在；以及
c.解码器，用来对嵌入在经编码数据流中的每个静止图像解码并且对每个经编码的视频帧解码，以形成视频流的数据，其中，每个静止图像是相对于所述视频流以随机时间间隔被解码的，
其中，所述视频流是AVC视频流。
31.如权利要求30所述的系统，其中，所述解码器包括：对每个静止图像进行下采样的下采样模块，以及存储每个静止图像的下采样版本的缓冲器。
32.如权利要求31所述的系统，其中，所述解码器被配置为将与每个经解码静止图像相关联的图像特性转换为视频特性，以使得每个静止图像的下采样版本与所述视频流的特性相匹配。
33.如权利要求32所述的系统，其中，所述解码器被配置为在静止图像被用作基准时，通过根据每个静止图像的下采样版本来对每个适当的视频帧解码，从而对每个经编码的视频帧解码。
34.如权利要求30所述的系统，其中，所述处理模块被配置为检测一个或多个静止图像参数，其中，每个静止图像参数定义静止图像的特性。
35.如权利要求34所述的系统，其中，所述静止图像的特性是图像高度和图像宽度中的一个或多个。
36.如权利要求30所述的系统，其中，每个被嵌入静止图像指示新的GOP。
37.如权利要求36所述的系统，其中，每个静止图像被随机地嵌入在所述经编码数据流内。
38.如权利要求37所述的系统，其中，每个GOP的大小是可变的。
39.如权利要求30所述的系统，其中，所述经编码数据流是根据经修改AVC标准被编码的。
40.如权利要求30所述的系统，其中，每个静止图像包括高分辨率静止图像。
41.如权利要求30所述的系统，其中，每个视频帧包括低分辨率视频帧。
42.如权利要求30所述的系统，其中，所述视频流的帧率独立于所述一个或多个静止图像的帧率。
43.一种对数据编码和解码的系统，该系统包括：
a.视频捕获模块，用来捕获第一视频流的数据，其中，所述第一视频流包括多个连续视频帧的数据；
b.静止图像捕获模块，用来捕获一个或多个静止图像，其中，每个静止图像是相对于所述第一视频流以随机时间间隔捕获的；
c.处理模块，用来将每个所捕获静止图像嵌入所述第一视频流的视频帧内，并且设置序列参数集以传达静止图像的存在，由此生成第一数据流；
d.编码器，用来对所述第一数据流编码，由此形成第一经编码数据流；
e.收发器，用来将所述第一经编码数据流作为第一单层传输进行发送，并且接收作为第二单层传输的第二经编码数据流；以及
f.解码器，用来对被嵌入所述第二经编码数据流内的每个静止图像解码，并且对所述第二经编码数据流内的每个经编码视频帧解码，以形成第二视频流的数据，
其中，所述视频流是AVC视频流。
44.如权利要求43所述的系统，其中，所述编码器包括：对每个静止图像进行下采样的下采样模块以及存储每个静止图像的下采样版本的缓冲器。
45.如权利要求43所述的系统，其中，所述解码器包括：对每个静止图像进行下采样的下采样模块以及存储每个静止图像的下采样版本的缓冲器。
CN200880119418.7A 2007-12-04 2008-11-07 扩展avc标准以与视频串行地对高分辨率数字静止画面编码 Active CN101889447B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/999,377 2007-12-04
US11/999,377 US8170097B2 (en) 2007-12-04 2007-12-04 Extension to the AVC standard to support the encoding and storage of high resolution digital still pictures in series with video
PCT/US2008/012628 WO2009073075A1 (en) 2007-12-04 2008-11-07 Extension of the avc standard to encode high resolution digital still pictures in series with video

Publications (2)

Publication Number Publication Date
CN101889447A CN101889447A (zh) 2010-11-17
CN101889447B true CN101889447B (zh) 2013-01-23

Family

ID=40675686

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880119418.7A Active CN101889447B (zh) 2007-12-04 2008-11-07 扩展avc标准以与视频串行地对高分辨率数字静止画面编码

Country Status (4)

Country Link
US (1) US8170097B2 (zh)
JP (1) JP2011505780A (zh)
CN (1) CN101889447B (zh)
WO (1) WO2009073075A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5369105B2 (ja) * 2007-09-14 2013-12-18 ヤフー！ インコーポレイテッド オンラインでシェアされる放送番組のクリップの番組情報を回復するための技術
US8199813B2 (en) * 2007-12-18 2012-06-12 GE Inspection Technologies Method for embedding frames of high quality image data in a streaming video
US20090316775A1 (en) * 2008-06-20 2009-12-24 Chia-Yun Cheng Video encoding and decoding method and system thereof
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
KR101064883B1 (ko) * 2009-10-06 2011-09-16 한국과학기술원 왜곡 측정 방법
EP2553925A4 (en) * 2010-04-02 2013-11-13 Ericsson Telefon Ab L M METHODS, APPARATUSES, AND COMPUTER PROGRAM PRODUCTS FOR PASSING TRANSIT VIDEO PLAYBACK CONTENT
CN102223524B (zh) * 2010-04-13 2013-08-07 中兴通讯股份有限公司 一种三维小波视频编码帧分组方法及装置
US8990574B1 (en) 2010-10-06 2015-03-24 Prima Cinema, Inc. Secure device authentication protocol
US8843752B1 (en) 2011-01-24 2014-09-23 Prima Cimema, Inc. Multi-factor device authentication
CN103391472A (zh) * 2012-05-09 2013-11-13 腾讯科技（深圳）有限公司 视频分辨率获取方法及系统
MX341203B (es) * 2012-05-14 2016-08-11 Rossato Luca Descomposicion de datos residuales durante la codificacion, decodificacion y reconstruccion de señal en jerarquia escalonada.
EP2670139A1 (en) * 2012-06-01 2013-12-04 Alcatel Lucent Method and apparatus for encoding a video stream having a transparency information channel
MX354814B (es) * 2012-09-28 2018-03-22 Sharp Kk Dispositivo de decodificacion de imagenes.
JP2014103613A (ja) * 2012-11-22 2014-06-05 Jvc Kenwood Corp 画像処理装置、画像処理方法、画像処理プログラム
BR112015011913A2 (pt) * 2012-11-30 2017-07-11 Sony Corp dispositivo de processamento de imagem, e, método de processamento de imagem
TWI676389B (zh) 2013-07-15 2019-11-01 美商內數位Ｖｃ專利控股股份有限公司 至少一種色彩轉換之編碼方法和編碼器、解碼器、顯示裝置、編碼視訊訊號、電腦程式製品及處理器可讀式媒體
US10382752B2 (en) * 2013-10-15 2019-08-13 Sony Corporation Image processing device and method
US9094667B1 (en) * 2013-10-31 2015-07-28 Electronic Arts Inc. Encoding of computer-generated video content
JP6501127B2 (ja) * 2014-06-30 2019-04-17 ソニー株式会社 情報処理装置および方法
JP6481457B2 (ja) * 2015-03-26 2019-03-13 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、及び動画像復号方法
CA3002977C (en) 2015-11-04 2019-01-08 Screening Room Media, Inc. Digital content delivery system
EP3185556A1 (en) * 2015-12-21 2017-06-28 Thomson Licensing Method and apparatus for combined adaptive resolution and internal bit-depth increase coding
US10452819B2 (en) 2017-03-20 2019-10-22 Screening Room Media, Inc. Digital credential system
US10863088B2 (en) * 2018-06-25 2020-12-08 Canon Kabushiki Kaisha Image capturing apparatus and control method for capturing still images without interrupting video recordings
WO2020028998A1 (en) * 2018-08-06 2020-02-13 Huawei Technologies Co., Ltd. Method and device for coding image data, and method and device for decoding image data
US11418814B2 (en) * 2020-05-22 2022-08-16 Tencent America LLC Constraint on syntax elements for still picture profiles

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665453B2 (en) * 1999-03-16 2003-12-16 Intel Corporation Multi-resolution support for video images
CN1739294A (zh) * 2003-01-17 2006-02-22 松下电器产业株式会社 图像编码方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095783B1 (en) * 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
US6937273B1 (en) 1997-05-28 2005-08-30 Eastman Kodak Company Integrated motion-still capture system with indexing capability
US7383288B2 (en) 2001-01-11 2008-06-03 Attune Systems, Inc. Metadata based file switch and switched file system
GB2372165A (en) 2001-02-10 2002-08-14 Hewlett Packard Co A method of selectively storing images
US6961083B2 (en) 2001-12-21 2005-11-01 Hewlett-Packard Development Company, L.P. Concurrent dual pipeline for acquisition, processing and transmission of digital video and high resolution digital still photographs
US7474794B2 (en) 2002-06-25 2009-01-06 Quix Technologies Ltd. Image processing using probabilistic local behavior assumptions
EP1554883A1 (en) 2002-10-15 2005-07-20 Koninklijke Philips Electronics N.V. System and method for transmitting scalable coded video over an ip network
US6937723B2 (en) 2002-10-25 2005-08-30 Avaya Technology Corp. Echo detection and monitoring
JP2005203905A (ja) 2004-01-13 2005-07-28 Sony Corp 画像符号化装置、画像符号化方法並びに画像符号化プログラム
US20050235047A1 (en) 2004-04-16 2005-10-20 Qiang Li Method and apparatus for a large scale distributed multimedia streaming system and its media content distribution
US9208824B2 (en) 2004-05-18 2015-12-08 Broadcom Corporation Index table generation in PVR applications for AVC video streams
US7792190B2 (en) * 2004-09-09 2010-09-07 Media Tek Singapore Pte Ltd. Inserting a high resolution still image into a lower resolution video stream
KR100679031B1 (ko) 2004-12-03 2007-02-05 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
DE102005001287A1 (de) 2005-01-11 2006-07-20 Siemens Ag Verfahren und Vorrichtung zur Verarbeitung von skalierbaren Daten
US7876833B2 (en) 2005-04-11 2011-01-25 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive up-scaling for spatially scalable coding
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US7705889B2 (en) * 2007-06-15 2010-04-27 Sony Corporation Shutter time compensation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6665453B2 (en) * 1999-03-16 2003-12-16 Intel Corporation Multi-resolution support for video images
CN1739294A (zh) * 2003-01-17 2006-02-22 松下电器产业株式会社 图像编码方法

Also Published As

Publication number Publication date
JP2011505780A (ja) 2011-02-24
WO2009073075A1 (en) 2009-06-11
US20090141810A1 (en) 2009-06-04
CN101889447A (zh) 2010-11-17
US8170097B2 (en) 2012-05-01

Similar Documents

Publication Publication Date Title
CN101889447B (zh) 扩展avc标准以与视频串行地对高分辨率数字静止画面编码
CN101878649A (zh) 扩展avc标准以与视频并行地对高分辨率数字静止图片编码
RU2697726C1 (ru) Способ и устройство предсказания изображений
CN101690163B (zh) 快门时间补偿
US7613344B2 (en) System and method for encoding and decoding an image using bitstream map and recording medium thereof
TWI587708B (zh) 用於視訊寫碼之交錯視訊資料之指示
RU2573257C2 (ru) Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования сигнала изображения и программа
US8675731B2 (en) Encoder and method
RU2559691C2 (ru) Способ декодирования, декодер, программный продукт, программное приложение для мобильного устройства беспроводной связи и электронный потребительский продукт
KR101147744B1 (ko) 비디오 트랜스 코딩 방법 및 장치와 이를 이용한 ｐｖｒ
TW201444341A (zh) 用於視訊寫碼中之隨機存取之視訊緩衝操作
TWI610557B (zh) 用於處理及編碼視訊資料之方法、器件及裝置以及電腦可讀儲存媒體
JP7434620B2 (ja) 符号化ビデオストリームにおけるレイヤ間のアライメントのための方法、コンピュータシステム、及びコンピュータプログラム
US8243798B2 (en) Methods and apparatus for scalable video bitstreams
KR20160109617A (ko) 디지털 비디오의 디코딩 장치
CN101888545B (zh) 一种低码率信源压缩编码方法
KR20230023708A (ko) 영상/비디오 코딩 시스템에서 상위 레벨 신택스를 처리하는 방법 및 장치
CN113545060A (zh) 视频编码中的空瓦片编码
RU2804871C2 (ru) Способ и устройство предсказания изображений
KR20230027156A (ko) 서브레이어 레벨 정보에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
KR20230024341A (ko) 최대 시간 식별자에 기반하여 서브 비트스트림 추출과정을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체
KR20230124964A (ko) 레이어 정보를 포함하는 미디어 파일 생성/수신 방법,장치 및 미디어 파일 전송 방법
Ohm et al. MPEG video compression advances
Heising et al. Internet Still Image and Video Formats.
KR20010037712A (ko) Ｈｄ급 비디오 디코더를 이용한 ｓｄ급 영상의 2화면 디스플레이 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant