CN113228662A - 用于可伸缩视频编码与传输的方法、设备、计算机程序和计算机可读介质 - Google Patents
用于可伸缩视频编码与传输的方法、设备、计算机程序和计算机可读介质 Download PDFInfo
- Publication number
- CN113228662A CN113228662A CN201980085847.5A CN201980085847A CN113228662A CN 113228662 A CN113228662 A CN 113228662A CN 201980085847 A CN201980085847 A CN 201980085847A CN 113228662 A CN113228662 A CN 113228662A
- Authority
- CN
- China
- Prior art keywords
- payload
- data
- configuration data
- configuration
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 82
- 238000004590 computer program Methods 0.000 title claims description 9
- 230000005540 biological transmission Effects 0.000 title description 11
- 238000012545 processing Methods 0.000 claims abstract description 88
- 239000013589 supplement Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 description 19
- 238000012937 correction Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 2
- 230000000153 supplemental effect Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
基于图像在第一质量水平下的第一表示和第二表示获得残差数据。所述第二表示基于所述图像在较低的第二质量水平下的表示。所述残差数据能够被解码器用于使用所述第二表示来重构所述第一表示。生成并输出包括报头部(310)和有效载荷部(320)的配置消息(300),以由所述解码器进行处理。所述有效载荷部(320)包括与所述残差数据的处理有关的所获得的配置数据(350)。所述报头部(310)包括:(i)消息类型参数(312),所述消息类型参数指定配置消息类型并指示所述有效载荷部(320)的给定有效载荷格式,具有所述有效载荷格式的有效载荷部(320)的格式大小是预定的或者能够从所述有效载荷部的内容确定;以及(ii)有效载荷大小参数(314),所述有效载荷大小参数指定所述有效载荷部(320)的实际大小。
Description
技术领域
本发明涉及方法、设备、计算机程序和计算机可读介质。特别但非排他地,本发明涉及用于处理配置信息的方法、设备、计算机程序和计算机可读介质,所述配置信息涉及可用于重构图像在相对较高质量水平下的表示的残差数据。
背景技术
信号的压缩和解压缩是许多已知系统中的考虑因素。许多类型的信号,例如视频,可以被压缩和编码以例如通过数据通信网络进行传输。当对这样的信号进行解码时,可能希望提高信号的质量水平和/或恢复原始信号中包含的尽可能多的信息。
一些已知的系统利用可伸缩编码技术。可伸缩编码涉及对信号以及信息进行编码,以允许例如根据解码器的能力和可用带宽重构一种或多种不同的质量水平下的信号。
关于可伸缩编码系统中的信号重构,有一些考虑因素。一个这样的考虑因素是存储、使用和/或传输的信息量。信息量可以例如根据所重构信号的期望质量水平、重构时使用的信息的性质和/或配置这种信息的方式而变化。另一个考虑因素是解码器可靠地处理接收到的信息的能力。可能影响解码器可靠性的一个因素是解码器处理错误和/或处理解码器接收到的出乎意料的、修改的和/或无法识别的信息的能力。
发明内容
本发明的各个方面在所附权利要求书中阐述。
另外的特征和优点将从下面仅举例来说给出的、参考附图进行的优选实施方案的描述中变得显而易见。
附图说明
图1示出了根据本发明的实施方案的信号处理系统的示例的示意性框图;
图2A和图2B示出了根据本发明的实施方案的信号处理系统的另一示例的示意性框图;
图3示出了根据本发明的实施方案的配置消息的示例的示意图;
图4是描绘根据本发明的实施方案的方法的示例的流程图;
图5示出了根据本发明的实施方案的配置消息的另一个示例的示意图;
图6是描绘根据本发明的实施方案的方法的另一示例的流程图;且
图7示出了根据本发明的实施方案的设备的示例的示意性框图。
具体实施方式
参考图1,示出了信号处理系统100的示例。信号处理系统100用于处理信号。信号类型的示例包括但不限于视频信号、图像信号、音频信号、体积信号(诸如在医学、科学或全息成像中使用的那些信号)、或其他多维信号。
信号处理系统100包括第一设备102和第二设备104。第一设备102和第二设备104可以具有客户端-服务器关系,其中第一设备102执行服务器装置的功能,并且第二设备104执行客户端装置的功能。信号处理系统100可以包括至少一个附加设备(未示出)。第一设备102和/或第二设备104可以包括一个或多个部件。一个或多个部件可以以硬件和/或软件实现。一个或多个部件可以在信号处理系统100中位于同一位置或可以彼此远离。设备类型的示例包括但不限于计算机化的装置、手持式或膝上型计算机、平板计算机、移动装置、游戏控制台、智能电视、机顶盒、增强和/或虚拟现实耳机等。
第一设备102经由数据通信网络106通信地耦合到第二设备104。数据通信网络106的示例包括但不限于互联网、局域网(LAN)和广域网(WAN)。第一设备102和/或第二设备104可以具有与数据通信网络106的有线和/或无线连接。
第一设备102包括编码器108。编码器108被配置为对包括在信号中的数据进行编码,所述数据在下文中被称为“信号数据”。例如,在信号是视频信号的情况下,编码器108被配置为编码视频数据。视频数据包括多个图像或帧的序列。编码器108除了编码信号数据之外还可以执行一个或多个其他功能。编码器108可以以各种不同的方式体现。例如,编码器108可以体现为硬件和/或软件。
尽管在该示例中,第一设备102包括编码器108,但是在其他示例中,第一设备102与编码器108分离。在这样的示例中,第一设备102通信地耦合到编码器108。第一设备102可以体现为一个或多个软件功能和/或硬件模块。
第二设备104包括解码器110。解码器110被配置为解码信号数据。解码器110除了解码信号数据之外还可以执行一个或多个其他功能。解码器110可以以各种不同的方式体现。例如,解码器110可以体现为硬件和/或软件。
尽管在该示例中,第二设备104包括解码器110,但是在其他示例中,第二设备104与解码器110分离。在这样的示例中,第二设备104通信地耦合到解码器110。第二设备104可以体现为一个或多个软件功能和/或硬件模块。
编码器108对信号数据进行编码,并且经由数据通信网络106将编码后的信号数据传输至解码器110。解码器110对接收到的编码后的信号数据进行解码,并生成解码后的信号数据。解码器110可以输出解码后的信号数据或使用解码后的信号数据导出的数据。例如,解码器110可以输出这样的数据以在与第二设备104相关联的一个或多个显示装置上显示。
在本文描述的一些示例中,编码器108将信号在给定质量水平下的表示和信息传输到解码器110,解码器110可以使用该信息来重构信号在一种或多种更高质量水平下的表示。这样的信息可以被称为“重构数据”。在一些示例中,表示的“重构”涉及获得并非原始表示的精确副本的表示。所述表示与原始表示相同的程度可能取决于各种因素,包括但不限于量化水平。信号在给定质量水平下的表示可以被认为是给定质量水平下信号中包括的数据的再现、版本或描绘。在一些示例中,重构数据被包括在由编码器108编码并且被传输到解码器110的信号数据中。例如,重构数据可以呈元数据的形式。在一些示例中,重构数据与信号数据被分开编码和传输。
解码器110用于重构信号在一种或多种更高质量水平下的表示的信息可以包括残差数据,如下文更详细地描述。残差数据是重构数据的示例。解码器110用于重构信号在一种或多种更高质量水平下的表示的信息还可以包括与残差数据的处理有关的配置数据。配置数据可以指示残差数据已被编码器108处理的方式和/或残差数据要被解码器110处理的方式。配置数据可以例如以元数据的形式用信号发送到解码器110。
参考图2A和图2B,示意性地示出了信号处理系统200的示例。信号处理系统200包括具有编码器的第一设备202和具有解码器的第二设备204。在第一设备202和第二设备204中的每一个中,在两种逻辑水平上示出了项目。这两种水平由虚线分隔。最高的第一水平上的项目与相对较高质量水平下的数据有关。最低的第二水平上的项目与相对较低质量水平下的数据有关。相对较高和相对较低的质量水平与具有多种质量水平的分层层次结构有关。在一些示例中,分层层次结构包括多于两种质量水平。在这样的示例中,第一设备202和第二设备204可以包括多于两种不同的水平。可能存在图2A和图2B中所描绘的水平之上和/或之下的一种或多种其他水平。
首先参考图2A,第一设备202获得图像在相对较高质量水平下的第一表示206。给定图像的表示是包括在图像中的数据的表示。图像可以是视频的给定帧。图像在相对较高质量水平下的第一表示206在下文中将被称为“输入数据”,因为在该示例中,它是作为输入被提供给第一设备202中的编码器的数据。第一设备202可以接收输入数据206。例如,第一设备202可以从至少一个其他设备接收输入数据206。第一设备202可以被配置为接收输入数据206的连续部分,例如,视频的连续帧,并对每个连续帧执行本文所述的操作。例如,视频可以包括帧F1、F2、......、FT,并且第一设备202可以依次处理这些帧中的每一个。
第一设备202基于输入数据206导出数据212。在该示例中,基于输入数据206的数据212是图像在相对较低质量水平下的表示212。在该示例中,数据212通过对输入数据206执行下采样操作来导出,并且因此在下文中将被称为“下采样数据”。在其他示例中,数据212通过对输入数据206执行除下采样操作之外的操作来导出。
在该示例中,在相对较低质量水平下处理下采样数据212以生成处理后的数据213。在其他示例中,不在相对较低质量水平下处理下采样数据212。这样,第一设备202可以生成相对较低质量水平下的数据,其中相对较低质量水平下的数据包括下采样数据212或处理后的数据213。
在一些示例中,生成处理后的数据213涉及对下采样数据212进行编码。对下采样数据212进行编码会产生相对较低质量水平下的经编码图像。第一设备202可以输出经编码图像,例如以用于传输到第二设备204。例如形成经编码视频的一系列经编码图像,作为用于传输到第二设备204的输出,可以被称为“基本”流。不在第一设备202中产生,而是可以通过与第一设备202分离的编码装置来产生经编码图像。经编码图像可以是H.264编码视频的一部分。生成处理后的数据213可以例如包括生成视频的连续帧,作为诸如H.264视频编码器的单独的编码装置的输出。与由单独的编码装置生成的任何中间数据对照,用于生成处理后的数据213的中间数据集可以包括这种编码器的输出。
生成相对较低质量水平下的处理后的数据213可以进一步涉及对相对较低质量水平下的经编码图像进行解码。如将在下面变得显而易见的,可以执行解码操作以模仿在第二设备204处的解码操作。对经编码图像进行解码会产生相对较低质量水平下的经解码图像。在一些示例中,第一设备202对相对较低质量水平下的经编码图像进行解码,以产生相对较低质量水平下的经解码图像。在其他示例中,第一设备202例如从与第一设备202分离的编码和/或解码装置接收相对较低质量水平下的经解码图像。可以使用H.264解码器对经编码图像进行解码。由单独的解码装置进行的解码可以包括:将诸如被配置为传输到远程解码装置的经编码数据流的经编码视频输入到与第一设备202一起实现的单独的黑盒解码器中,以生成视频的连续经解码帧。因此,处理后的数据213可以包括通过复杂的非线性编码和解码过程生成的视频数据帧,其中编码和解码过程可能涉及根据诸如H.264的特定编码标准对时空相关性进行建模。然而,因为将任何编码器的输出馈送到对应的解码器,所以从第一设备202有效地隐藏了这种复杂性。
在示例中,生成相对较低质量水平下的处理后的数据213还涉及基于下采样数据212与第一设备202所获得的经解码图像之间的比较,例如基于下采样数据212与经解码图像之间的差异,来获得校正数据。校正数据可以用于校正在对下采样数据212进行编码和解码时引入的错误。在一些示例中,第一设备202输出校正数据以及编码信号,所述校正数据例如用于传输到第二设备204。这允许接收者校正在对下采样数据212进行编码和解码时引入的错误。该校正数据也可以被称为“第一增强”流。由于校正数据可以是基于下采样数据212与经解码图像之间的差异,因此可以将其视为残差数据的形式(例如,与下文稍后所述的另一组残差数据不同)。
在一些示例中,生成相对较低质量水平下的处理后的数据213还涉及使用校正数据来校正经解码图像。例如,作为用于传输的输出的校正数据可以被放置成适合于与经解码图像组合的形式,然后被添加到经解码图像。这可以在逐帧的基础上执行。在其他示例中,第一设备202使用下采样数据212,而不是使用校正数据来校正经解码图像。例如,在某些情况下,可以仅使用编码然后解码的数据,而在其他情况下,可以用其他处理代替编码和解码。
在一些示例中,生成处理后的数据213涉及执行除上述编码、解码、获得和校正动作以外的一个或多个操作。
第一设备202基于相对较低质量水平下的数据来获得数据214。如上所述,相对较低质量水平下的数据可以包括处理后的数据213或下采样数据212,其中下采样数据212不以较低水平处理。如上所述,在某些情况下,处理后的数据213可以包括使用校正数据校正的经重构视频流(例如,来自编码-解码操作)。在图2A和图2B的示例中,数据214是图像在相对较高质量水平下的第二表示,图像在相对较高质量水平下的第一表示是输入数据206。相对较高质量水平下的第二表示可以被认为是图像在相对较高质量水平下的初始或预测表示。在该示例中,第一设备202通过对相对较低质量水平下的数据执行上采样操作来导出数据214。数据214在下文中将被称为“上采样数据”。然而,在其他示例中,例如在不通过对输入数据206进行下采样来导出数据212的情况下,可以使用一个或多个其他操作来导出数据214。应当注意,对相对较高和相对较低质量水平的引用可以对应于对第一和第二质量水平的引用,其中第二质量水平高于第一质量水平。如本文所述,在某些情况下,质量水平可以对应于不同的空间分辨率。
使用输入数据206和上采样数据214来获得残差数据216。残差数据216与图像相关联。残差数据216可以呈一组残差元素的形式。一组残差元素216中的残差元素可以与输入数据206中的相应图像元素相关联。图像元素的示例是像素。
在该示例中,通过从输入数据206中的对应图像元素的值中减去上采样数据214中的图像元素的值来获得给定的残差元素。这样,残差数据216可与上采样数据214结合使用以重构输入数据206。残差数据216还可以被称为“重构数据”或“增强数据”。在一种情况下,残差数据216可以形成“第二增强”流的一部分。
第一设备202获得与残差数据216的处理有关的配置数据。配置数据指示残差数据216已被第一设备202处理和/或生成的方式和/或残差数据216要被第二设备204处理的方式。配置数据可以包括一组配置参数。配置数据可用于控制第二设备204使用残差数据216处理数据和/或重构输入数据206的方式。配置数据可以与残差数据216的一个或多个特性有关。不同的配置数据可能导致对残差数据216和/或使用残差数据216执行不同的处理。因此,配置数据可用于使用残差数据216重构输入数据206。
在该示例中,第一设备202将基于下采样数据212的数据、基于残差数据216的数据以及配置数据传输到第二设备204,以使第二设备204能够重构输入数据206。
现在转到图2B,第二设备204接收基于下采样数据212(例如从下采样数据212导出)的数据220。第二设备204还接收基于残差数据216的数据。例如,第二设备204可以接收“基本”流(数据220)、“第一增强流”(任何校正数据)和“第二增强流”(残差数据216)。第二设备204还接收与残差数据216的处理有关的配置数据。基于下采样数据212的数据220可以是下采样数据212本身、处理后的数据213或从下采样数据212或处理后的数据213导出的数据。基于残差数据216的数据可以是残差数据216本身或从残差数据216导出的数据。
在一些示例中,接收到的数据220包括处理后的数据213,所述处理后的数据可以包括相对较低质量水平下的经编码图像和/或校正数据。在一些示例中,例如在第一设备202已处理下采样数据212以生成处理后的数据213的情况下,第二设备204处理接收到的数据220以生成处理后的数据222。由第二设备204进行的这种处理可以包括对经编码图像(例如,形成“基本”经编码视频流的一部分的经编码图像)进行解码,以产生相对较低质量水平下的经解码图像。在一些示例中,由第二设备204进行的处理包括使用获得的校正数据来校正经解码图像。因此,处理后的数据222可以包括第一或相对较低的质量水平下的校正数据帧。在一些示例中,相对较低质量水平下的经编码图像由与第二设备204分离的解码装置解码。可以使用H.264解码器对相对较低质量水平下的经编码图像进行解码。
在其他示例中,接收到的数据220包括下采样数据212,并且不包括处理后的数据213。在一些这样的示例中,第二设备204不处理接收到的数据220以生成处理后的数据222。
第二设备204使用相对较低质量水平下的数据来导出上采样数据214。如上所述,相对较低质量水平下的数据可以包括处理后的数据222或接收到的数据220,其中第二设备204不处理相对较低质量水平下的接收到的数据220。上采样数据214是图像在相对较高质量水平下的初步表示。可以通过对相对较低质量水平下的数据执行上采样操作来导出上采样数据214。
第二设备204获得残差数据216。残差数据216可与上采样数据214一起使用以重构输入数据206。残差数据216指示输入数据206与上采样数据214之间的比较。
第二设备204还获得与残差数据216的处理有关的配置数据。配置数据可被第二设备204用来重构输入数据206。例如,配置数据可以指示与残差数据216有关的特性或属性,所述特性或属性影响残差数据216将要使用和/或处理的方式或究竟是否将要使用残差数据216。在一些示例中,配置数据包括残差数据216。
关于这种配置数据的使用,有一些考虑因素。一个这样的考虑因素是生成、存储、传输和/或处理的信息量。使用的信息越多,处理这样的信息可能涉及的资源量就越大。这样的资源的示例包括传输资源、存储资源和处理资源。相比于一些已知的技术,本文所描述的示例允许使用相对少量的信息。这可以减少经由数据通信网络106传输的数据量。在数据与高质量视频数据有关的情况下,在已知系统中传输的信息量可能特别高的情况下,节省可能是特别有意义的。
与这种配置数据的使用有关的另一个考虑因素是适应不同类型的解码装置的能力。例如,给定的编码器可以将信息传输到多个解码器,每个解码器具有诸如处理和/或存储能力的不同特性。期望在图像重构中使用配置数据与用于执行重构的解码器装置的类型和/或能力无关。相比于一些已知技术,本文所描述的示例使得具有不同操作特性的不同类型的解码器能够可靠地处理配置数据。
与这种配置数据的使用有关的另一个考虑因素是在解码器处为了处理配置数据而涉及的处理量和/或处理复杂性。相比于一些已知技术,本文所描述的示例减少了解码器为了获得和/或处理配置数据而执行的处理量。
错误处理也是一个考虑因素。例如,解码器在处理配置数据时处理潜在错误的能力可能是解码器可靠性的一个因素。相比于一些已知技术,本文所描述的示例允许解码器处理潜在错误以及意外或无法识别的数据的接收。这可以有效地增加解码器的可靠性。
参照图3,示意性地示出了配置消息300的示例。设备(例如包括编码器108的第一设备102)生成配置消息300并输出配置消息300,以供其他设备(例如包括解码器110的第二设备104)处理。
配置消息300包括报头部310和有效载荷部320。有效载荷部320包括配置数据350。配置数据350与残差数据(例如如上所述的残差数据216)的处理有关。在一些示例中,配置消息300为整数个字节长。
报头部310包括消息类型参数312。消息类型参数312指定配置消息300的消息类型。由消息类型参数312指定的消息类型可以指示将要处理配置消息300的方式。示例消息类型是图像集配置消息。图像集配置消息可以对应于一组图像中的多个图像。另一示例消息类型是图像配置消息。图像配置消息可以仅对应于一组图像中的给定图像。另一示例消息类型是经编码数据消息。经编码数据消息可以被布置成包括用于给定图像的经编码残差数据。另一示例消息类型是编码器元数据消息。编码器元数据消息可以包括与一个或多个编码器特性有关的元数据。另一示例消息类型是解码器控制消息。解码器控制消息可以包括用于控制解码器的指令。
消息类型参数312指示有效载荷部320具有给定有效载荷格式。可以基于配置消息300的消息类型来确定有效载荷部320的有效载荷格式。有效载荷格式可以定义包括在有效载荷部320中的配置数据350的一组配置参数。在一些示例中,有效载荷部320的有效载荷格式定义特定处理逻辑,所述特定处理逻辑指定将要处理有效载荷部320的内容的方式。有效载荷部320具有格式大小。有效载荷部320的格式大小对应于有效载荷部320的有效载荷格式。具有给定有效载荷格式的有效载荷部的格式大小是预定的,或者可以从有效载荷部的内容确定。例如,可以基于由有效载荷格式定义的各个配置参数的组合大小来确定格式大小。格式大小可以被认为是有效载荷部320的可能大小或建议大小。
报头部310还包括有效载荷大小参数314。有效载荷大小参数314指定有效载荷部320的实际大小。有效载荷部320的实际大小可以是整数个字节。
在一些示例中,有效载荷大小参数314的值存储在固定长度元素中。存储有效载荷大小参数314的值的固定长度元素可以包括报头部310的给定字节中的预定位数。例如,有效载荷大小参数314的值可以存储在包括单字节报头部中的三个位的固定长度元素中。
在一些示例中,有效载荷大小参数314包括对有效载荷大小查找表的引用,所述有效载荷大小查找表存储有效载荷部320的实际大小的可能值。例如,有效载荷大小参数314可以包括可用于从有效载荷大小查找表中获得有效载荷部320的实际大小的值。
在一些示例中,有效载荷大小参数314的值存储在可变长度元素中。例如,当有效载荷部310的实际大小不是在有效载荷大小查找表中指定的值中的一个时,可能是这种情况。由有效载荷大小参数314指定的有效载荷部310的实际大小可以具有可变的位长度。可变长度元素包括整数个字节。在一些示例中,可变长度元素的至少一个字节具有一个或多个预定位,所述一个或多个预定位被布置成指示可变长度元素是否包括除至少一个给定字节之外的一个或多个额外字节。例如,可变长度元素的给定字节可以包含被布置成存储有效载荷大小参数314的七个位,以及用于指示可变长度元素中继给定字节之后是否还有另外字节的一个位。这样,不管有效载荷大小参数314的位长度如何,都可以使用可变长度元素来表示有效载荷大小参数314。可变长度元素包括可用于存储有效载荷大小参数314的值的最小字节数。
在一些示例中,数据存储在固定长度元素中,这指示有效载荷大小参数314的值存储在可变长度元素中。例如,如果确定有效载荷大小参数314的值是预定值集合中的一个,则所述值可以存储在固定长度元素中,并且/或者固定长度元素可以包括对有效载荷大小查找表的引用。另一方面,如果确定有效载荷大小参数314的值不是预定值集合中的一个,则可以使用可变长度元素来存储所述值,并且固定长度元素可以被布置成例如经由包含在固定长度元素中的标志来指示可变长度元素正被用于存储所述值。
在该示例中,报头部310仅包含消息类型参数312和有效载荷大小参数314。在其他示例中,报头部310包括一个或多个其他参数。在一些示例中,报头部310为一个字节长。例如,消息类型参数312可以由五个位表示,并且有效载荷大小参数314可以由单字节报头部310的其余三个位表示。在其他示例中,例如在可变长度元素用于表示有效载荷部320的实际大小的情况下,报头部310包括多于一个字节。
有效载荷部320的实际大小可以与有效载荷部320的格式大小相同或不同。不管实际大小和格式大小是否相同,指定实际大小的有效载荷大小参数314都包括在配置消息300的报头部310中。
当可以从消息类型参数312推断出有效载荷部320的可能大小(即格式大小)时,包括指定有效载荷部320的实际大小的有效载荷大小参数314可能看起来效率低下和/或信息重复,尤其是当格式大小和实际大小相同时。与不包括有效载荷大小参数314的情况相比,在配置消息300中包括这样的参数涉及使用更大量数据用于配置消息300。然而,与不使用有效载荷大小参数314的情况相比,在配置消息300中包括这样的参数有助于解码器110的更有效和可靠的处理和/或改进的错误处理,如下文将更详细描述的。
参考图4,示出了处理配置数据的方法400的示例。方法400可以由包括解码器的设备(诸如上述第二设备104)执行。
在一些示例中,接收到残差数据。在该示例中,接收到的残差数据是上述残差数据216。可以从诸如编码器108的编码器接收残差数据216。残差数据216可用于使用图像在分层层次结构中的相对较高质量水平下的第二表示214来重构图像在相对较高质量水平下的第一表示206。第二表示214是基于图像在分层层次结构中的相对较低质量水平下的表示222。在一些示例中,从编码器108接收可用于导出相对较低质量水平下的表示222的数据。
在项目410处,接收配置消息。在该示例中,接收到的配置消息是上述配置消息300。可以从编码器108接收配置消息300。
在项目420处,使用消息类型参数312和有效载荷大小参数314来处理接收到的配置消息300。处理配置消息300以获得存储在配置消息300的有效载荷部320中的配置数据350。
在一些示例中,处理配置消息300包括解析配置消息300的报头部310以获得消息类型参数312和有效载荷大小参数312。基于有效载荷大小参数314,确定有效载荷部320的实际大小。基于消息类型参数312,确定配置消息300的消息类型。可以根据所确定的消息类型和有效载荷部320的所确定的实际大小来处理配置消息300。
处理配置消息300可以包括解析有效载荷部320以获得配置数据350。在一些示例中,处理配置消息300包括跟踪在解析有效载荷部320时已经读取的配置消息300的字节数。如果在解析有效载荷部320时读取的字节数与有效载荷大小参数314所指定的有效载荷部320的实际大小之间确定存在差异,则解码器110可以检测到读取不足(under-read)的发生。在处理配置消息时,读取不足可能是错误的潜在来源。
在一些示例中,有效载荷大小参数314用于确定下一配置消息的开始。下一配置消息可以是解码器110接收到的配置消息序列中相对于配置消息300的下一连续配置消息。配置消息序列可以形成配置数据的一部分。配置消息300和下一配置消息可以对应于相同图像或不同图像。例如,配置消息300可以对应于图像序列中的第一图像,而下一配置消息可以对应于图像序列中不同的第二图像。
在一些示例中,处理配置消息300包括丢弃有效载荷部320的至少一部分内容。可以使用有效载荷大小参数314来丢弃有效载荷部320的至少一部分内容。例如,解码器110可以跳到下一配置消息,下一配置消息的开始已经使用有效载荷大小参数314来确定,而不处理有效载荷部320的至少一部分内容。
因此,使用有效载荷大小参数314使得解码器110能够以有效的方式处理可能的读取不足。使用有效载荷大小参数314来定位下一消息的开始还使得解码器110能够与包括多个配置消息的字节流保持正确对齐或同步。例如,即使在不通知解码器110的情况下,给定配置消息的内容和/或格式无法识别、出乎意料和/或已经更新,解码器110仍能够定位下一配置消息的开始,并且因此与字节流保持同步。此外,如果字节流变得畸形,则解码器110能够检测何时将发生过度读取并相应地做出响应。例如,解码器110可以中止当前配置消息的处理,并且将字节流重置到下一配置消息的开始的确定位置。因此,与不使用有效载荷大小参数314的情况相比,使用这样的参数来处理配置消息300提高了解码器110的可靠性和/或适应性,因为解码器110能够处理已经修改的和/或无法识别和/或出乎意料的配置消息。解码器110还能够处理潜在的读取不足和过度读取,而不会失去与字节流的同步,从而提高了解码器110处理潜在错误的能力。
在一些示例中,处理配置消息300包括解析有效载荷部320的第一内容。第一内容对应于有效载荷部320的格式大小。第一内容可以包括配置数据350。第一内容可以包括第一组配置参数。处理配置消息300还可以包括使用有效载荷大小参数314来丢弃有效载荷部320的其余内容。有效载荷部320的其余内容包括有效载荷部320中未包括在第一内容中的内容。其余内容包括其他配置数据。其余内容可以包括另一组配置参数。可以通过检测有效载荷部320的格式大小与实际大小之间的差异来确定其余内容的存在。换句话说,如果确定实际大小大于格式大小,则确定有效载荷部320中存在除了基于格式大小而预期的内容之外的额外内容。
在项目430处,使用获得的配置数据350来重构第一表示206。可以根据获得的配置数据350通过使用残差数据216来重构第一表示206。
参照图5,示意性地示出了配置消息500的示例。设备(例如包括编码器108的第一设备102)可以生成配置消息500并输出配置消息500,以供其他设备(例如包括解码器110的第二设备104)处理。图5所示的某些项目与图3所示的项目相似。因此,相似的项目使用了对应的附图标记(增加了200)。
配置消息500包括报头部510和有效载荷部520。报头部510包括消息类型参数512。消息类型参数512指定配置消息500的消息类型。消息类型指示将要处理配置消息500的方式。报头部510还包括有效载荷大小参数514。有效载荷大小参数514指定有效载荷部520的实际大小。
在该示例中,有效载荷部520包括第一有效载荷部分522。第一有效载荷部分522包括与残差数据216的处理有关的第一配置数据552。有效载荷部520还包括第二有效载荷部分524。在该示例中,第二有效载荷部分524相对于第一有效载荷部分522随后布置在有效载荷部520中。相对于第一有效载荷部分522随后布置第二有效载荷部分524可以使得能够在接收、处理和/或解析第二有效载荷部分524之前由解码器110接收、处理和/或解析第一有效载荷部分522。第二有效载荷部分524包括与残差数据216的处理有关的第二配置数据554。
第一有效载荷部分522和第二有效载荷部分524一起形成配置消息500的有效载荷部520。因此,有效载荷大小参数514指示第一有效载荷部分522和第二有效载荷部分524的总大小。
在一些示例中,第一有效载荷部分522包括所有第一配置数据552。在一些示例中,第二有效载荷部分524包括所有第二配置数据554。这样,第一配置数据552和第二配置数据554可以存储在配置消息500的有效载荷部520的单独部分中。相对于第二配置数据554将第一配置数据552存储在有效载荷部520的单独部分中有助于解码器对有效载荷部520的内容进行有效处理,特别是对于被配置为不使用和/或不处理第一配置数据552和第二配置数据554中的一个的解码器。
在一些示例中,报头部510不指定第一有效载荷部分522的大小和/或第二有效载荷部分524的大小。在一些示例中,可以基于由消息类型参数512指示的格式大小来确定第一有效载荷部分522的大小。这样,由消息类型参数512指示的格式大小可以反映第一有效载荷部分522的内容,但不反映第二有效载荷部分524的内容。
第一配置数据552和第二配置数据554中的一个或两个可用于使用残差数据216来重构输入数据206。在一些示例中,第二配置数据554包括补充配置数据。补充配置数据被布置成补充第一配置数据552。
第一配置数据552与第一组一个或多个解码器有关。第一组一个或多个解码器具有第一操作特性。操作特性的一个示例是处理能力。第二配置数据554与第二组一个或多个解码器有关。第二组一个或多个解码器具有第二操作特性。配置消息500被传输到的解码器110可以包括在第一组或第二组中。生成配置消息500的编码器108可能不知道解码器110包括在哪一组解码器中。编码器108可以将配置消息500传输到两组解码器中的多个解码器。
在一些示例中,第一操作特性对应于第一版本,根据所述第一版本,配置第一组一个或多个解码器以进行操作,并且第二操作特性对应于不同的第二版本,根据所述不同的第二版本,配置第二组一个或多个解码器以进行操作。第二版本可以是相对于第一版本的较高版本。第一版本和第二版本可以是语法框架的不同版本,所述语法框架定义将要处理配置消息的方式并且/或者定义此类配置消息的内容。因此,当语法从第一版本更新为第二版本时,第二配置数据554被添加到包含来自第一版本的第一配置数据552的配置消息中。第二配置数据554可以例如被附加到第一配置数据552。
与生成新的消息类型的情况相比,将第二配置数据554添加到现有消息类型的配置消息中而不是生成新的消息类型来容纳第二配置数据554减少了存储、传输和/或处理的数据量。通过修改现有消息类型的配置而不是定义新消息类型,可以减少用于传达所有相关配置数据的配置消息的总数。每个配置消息具有对应的报头,所述报头例如可以为至少一个字节长。因此,通过减少配置消息的总数,可以减少存储、传输和/或处理的数据量。
在一些示例中,解码器110不能同时处理第一有效载荷部分522和第二有效载荷部分524。在一种情况下,编码器108可能已经经历了更新,根据所述更新,第二配置数据554包括在配置消息500中,但是解码器110可能没有经历这种更新。换句话说,编码器108和解码器110可以根据语法的不同版本进行操作。在这样的示例中,由编码器108所解释的与由解码器110所解释的有效载荷部520的格式大小可能存在差异。例如,由于解码器110不知道额外内容和更新后的有效载荷格式,并且正在根据先前版本进行操作,因此根据编码器108的格式大小与根据解码器110的格式大小不同,所述编码器知道有效载荷部520的额外内容和版本更新之后的更新后的有效载荷格式。对于编码器108,格式大小等于更新后的有效载荷部520的实际大小,但是对于解码器110则不是这样。因此,仅格式大小可能是有效载荷部520的实际大小的不可靠指标。因此,包括指定有效载荷部520的实际大小的有效载荷大小参数514有助于解码器110的更可靠处理,如下面更详细地描述的。
参考图6,示出了用于处理配置数据的方法600的示例。方法600可以由包括解码器的设备(诸如上述第二设备104)执行。
在项目610处,接收配置消息500。
在项目620处,处理配置消息500以获得第一配置数据552和第二配置数据554中的一个或两个。
在一些示例中,例如,如果解码器110在第一组解码器中,则第一有效载荷部分522被解码器110解析,而第二有效载荷部分524不被解码器110解析。解析第一有效载荷部分522而不解析第二有效载荷部分524使得解码器110能够获得第一配置数据552而不是第二配置数据554。在一些示例中,例如,如果解码器110在第二组解码器中,则第二有效载荷部分524被解码器110解析,而第一有效载荷部分522不被解码器110解析。解析第二有效载荷部分524而不解析第一有效载荷部分522使得解码器110能够获得第二配置数据554而不是第一配置数据552。在一些示例中,例如,如果解码器110在第二组解码器中,则第一有效载荷部分522和第二有效载荷部分524都被解析以获得第一配置数据552和第二配置数据554两者。
有效载荷大小参数514可以用于确定下一配置消息的开始。在一些示例中,例如,如果解码器110在第一组解码器中,则第二有效载荷部分524的内容被丢弃。第二有效载荷部分524的内容包括第二配置数据554。可以通过使用在有效载荷大小参数514中指定的有效载荷部520的总大小来丢弃第二有效载荷部分524的内容。例如,解码器110可以读取第一有效载荷部分522的内容,然后向前跳到下一配置消息,所述配置消息的开始已经使用有效载荷大小参数514进行定位,而没有读取第二有效载荷部分524的内容。
使用有效载荷大小参数514来定位下一消息的开始使得解码器110能够与包括多个配置消息的字节流保持同步。因此,解码器110可以处理配置消息500并定位下一配置消息的开始,而不管解码器110是在第一组解码器还是第二组解码器中。
在项目630处,重构图像在相对较高质量水平下的第一表示206。使用在项目620处获得的第一配置数据552和第二配置数据554中的一个或两个来重构第一表示206。在解码器110获得第一配置数据552和第二配置数据554两者的情况下,使用第一配置数据552和第二配置数据554两者来重构图像的第一表示206。在解码器110处理第一有效载荷部分522和第二有效载荷部分524中的一个而不处理第一有效载荷部分522和第二有效载荷部分524中的另一个的情况下,可以使用获得的第一配置数据552和第二配置数据554中的一个来重构图像的第一表示206。这样,使用配置消息500来重构第一表示206可以与解码器的类型无关并且/或者与解码器110被配置为根据其操作的版本号无关。
在一些示例中,对配置消息500执行逐字节处理。在逐字节处理中,数据是在逐字节基础上处理的。以逐字节方式处理配置数据可能比以逐位方式处理配置数据更有效。逐位处理可能涉及跟踪给定字节中的哪个位是将要读取或写入的下一个位。当表示给定参数的一组位跨越字节边界时,可以执行附加处理以读取该组位并获得给定参数。在执行逐字节处理的情况下,可以减少这种处理。在一些示例中,与逐位方式相比,当以逐字节方式处理数据时,可以减少执行周期数。
在一些示例中,配置数据被写入存储器。与以逐位方式处理配置数据的情况相比,如果以逐字节方式处理配置数据,则在将配置数据存储在存储器中和/或从存储器检索配置数据时可能涉及较少的处理。可寻址存储器的最小单元可以包含一个字节。这样,信息可以以逐字节方式存储在存储器中。因此,如果将配置数据打包到字节序列中,则在将配置数据存储在存储器中和/或从存储器检索配置数据时可能涉及较少的步骤。通过将配置数据以逐字节形式提供给存储器,还可以减少用于将配置数据打包到可寻址存储器单元中的填充量。
此外,如果将配置数据布置到字节序列中,则可以更有效地执行配置数据经由诸如互联网的网络的传输。数据可以经由传输控制协议(TCP)在互联网上传输。TCP在协议栈的传输层中运行。TCP从流中获得数据,将数据打包到TCP片段中,并使用互联网模块(例如互联网协议(IP))将每个TCP片段经由互联网传输到接收者。数据流可以从存储器获得。TCP片段可以包括整数个字节。这样,如果TCP从逐字节流而不是从逐位流获得将被打包到TCP片段中的数据,则可能涉及较少的处理。通过将数据以逐字节形式提供给TCP,还可以减少用于将数据打包到TCP片段中的填充量。
参考图7,示出了设备700的示例的示意性框图。
在示例中,设备700包括编码器。在另一示例中,设备700包括解码器。
设备700的示例包括但不限于移动计算机、个人计算机系统、无线装置、基站、电话装置、桌上型计算机、膝上型计算机、上网本、笔记型计算机、大型计算机系统、手持式计算机、工作站、网络计算机、应用服务器、存储装置、诸如相机的消费型电子装置、摄像机、移动装置、视频游戏控制台、手持式视频游戏装置、或大体来说任何类型的计算或电子装置。
在该示例中,设备700包括被配置为处理信息和/或指令的一个或多个处理器701。一个或多个处理器701可以包括中央处理单元(CPU)。一个或多个处理器701与总线702耦合。一个或多个处理器701执行的操作可以由硬件和/或软件执行。一个或多个处理器701可包括多个位于同一位置的处理器或多个位于不同位置的处理器。
在该示例中,设备700包括被配置为为一个或多个处理器701存储信息和/或指令的计算机可用易失性存储器703。计算机可用易失性存储器703与总线702耦合。计算机可用易失性存储器703可以包括随机存取存储器(RAM)。
在该示例中,设备700包括被配置为为一个或多个处理器701存储信息和/或指令的计算机可用非易失性存储器704。计算机可用非易失性存储器704与总线702耦合。计算机可用非易失性存储器704可以包括只读存储器(ROM)。
在该示例中,设备700包括被配置为存储信息和/或指令的一个或多个数据存储单元705。一个或多个数据存储单元705与总线702耦合。一个或多个数据存储单元705可以例如包括磁盘或光盘以及磁盘驱动器或固态驱动器(SSD)。
在该示例中,设备700包括被配置为将信息传送给一个或多个处理器701和/或从一个或多个处理器701传送信息的一个或多个输入/输出(I/O)装置706。一个或多个I/O装置706与总线702耦合。一个或多个I/O装置706可以包括至少一个网络接口。所述至少一个网络接口可以使得设备700能够经由一个或多个数据通信网络进行通信。数据通信网络的示例包括但不限于互联网和局域网(LAN)。一个或多个I/O装置706可以使得用户能够经由一个或多个输入装置(未示出)向设备700提供输入。一个或多个输入装置可以包括例如遥控器、一个或多个物理按钮等。一个或多个I/O装置706可以使得信息能够经由一个或多个输出装置(未示出)提供给用户。一个或多个输出装置可以例如包括显示屏。
描绘了设备700的各种其他实体。例如,当存在时,操作系统707、数据信号处理模块708、一个或多个其他模块709以及数据710被示出为驻留在计算机可用易失性存储器703、计算机可用非易失性存储器704和一个或多个数据存储单元705中的一者中或者它们的组合中。数据信号处理模块708可以通过存储在计算机可用非易失性存储器704内的存储器位置、一个或多个数据存储单元705内的计算机可读存储介质和/或其他有形的计算机可读存储介质中的计算机程序代码来实现。有形的计算机可读存储介质的示例包括但不限于光学介质(例如,CD-ROM、DVD-ROM或蓝光)、闪存卡、软盘或硬盘或者能够存储计算机可读指令或作为专用集成电路(ASIC)的任何其他介质,所述计算机可读指令诸如至少一个ROM或RAM或可编程ROM(PROM)芯片中的固件或微代码。
设备700因此可以包括数据信号处理模块708,其可以由一个或多个处理器701执行。数据信号处理模块708可以被配置为包括用以实现本文描述的至少一些操作的指令。在操作期间,一个或多个处理器701启动、运行、执行、解释或以其他方式执行信号处理模块708中的指令。
尽管本文参考附图描述的示例的至少一些方面包括在处理系统或处理器中执行的计算机过程,但是本文描述的示例还扩展到计算机程序,例如载体上或载体中的适于将示例付诸实践的计算机程序。载体可以是能够承载程序的任何实体或装置。
应该理解,设备700可以包括与图7所描绘的部件相比更多、更少和/或不同的部件。
设备700可以位于单个位置或可以分布在多个位置。这样的位置可以是本地或远程的。
本文描述的技术可以以软件或硬件来实现,或者可以使用软件和硬件的组合来实现。所述技术可包括将设备配置为执行和/或支持本文描述的任何或全部技术。
应当理解,关于任一个实施方案所描述的任何特征都可以单独使用,或者与所描述的其他特征结合使用,并且还可以与任何其他实施方案的一个或多个特征结合使用,或者与任何其他实施方案的任何组合结合使用。此外,在不脱离所附权利要求限定的本发明的范围的情况下,还可以采用上面未描述的等效物和修改。
Claims (39)
1.一种处理配置数据的方法,所述方法包括:
基于图像在具有多种质量水平的分层层次结构中的第一质量水平下的第一表示和所述图像在所述第一质量水平下的第二表示来获得残差数据,所述第二表示基于所述图像在所述分层层次结构中的较低的第二质量水平下的表示,所述残差数据能够被解码器用来使用所述第二表示重构所述第一表示;
获得与所述残差数据的处理有关的配置数据,所述配置数据能够被所述解码器用来重构所述图像的所述第一表示;
生成包括报头部和有效载荷部的配置消息,所述有效载荷部包括所述配置数据,所述报头部包括:
消息类型参数,所述消息类型参数指定所述配置消息的消息类型并指示所述有效载荷部具有给定有效载荷格式,其中具有所述有效载荷格式的有效载荷部的格式大小是预定的或者能够从所述有效载荷部的内容确定;和
有效载荷大小参数,所述有效载荷大小参数指定所述有效载荷部的实际大小;以及
输出所述配置消息以供所述解码器处理,以使得所述解码器能够使用所述配置数据重构所述第一表示。
2.根据权利要求1的方法,其中所述格式大小和所述实际大小相同。
3.根据权利要求1的方法,其中所述格式大小和所述实际大小不同。
4.根据权利要求1至3中任一项所述的方法,其中由所述消息类型参数指定的所述消息类型指示将要处理所述配置消息的方式。
5.根据权利要求1至4中任一项所述的方法,其中所述配置消息为整数个字节长。
6.根据权利要求1至5中任一项所述的方法,其中所述有效载荷部的所述实际大小是整数个字节。
7.根据权利要求1至6中任一项所述的方法,其中所述有效载荷大小参数的值被存储在固定长度元素中。
8.根据权利要求7所述的方法,其中所述有效载荷大小参数的所述值被存储在包括单字节报头部中的三个位的所述固定长度元素中。
9.根据权利要求7或权利要求8所述的方法,其中所述有效载荷大小参数包括对有效载荷大小查找表的引用,所述有效载荷大小查找表存储所述有效载荷部的所述实际大小的可能值。
10.根据权利要求9所述的方法,其中所述值能够用于从所述有效载荷大小查找表中获得所述有效载荷部的所述实际大小。
11.根据权利要求1至6中任一项所述的方法,
其中所述有效载荷大小参数的值具有可变的位长度,并且
其中所述有效载荷大小参数的所述值被存储在包括整数个字节的可变长度元素中。
12.根据权利要求11所述的方法,其中所述可变长度元素包括具有一个或多个预定位的至少一个给定字节,所述一个或多个预定位被布置成指示所述可变长度元素是否包括除所述至少一个给定字节之外的一个或多个额外字节。
13.根据权利要求11或权利要求12所述的方法,其中所述值不是在有效载荷大小查找表中指定的多个值中的一个。
14.根据权利要求1至13中任一项所述的方法,其中所述报头部仅包含所述消息类型参数和所述有效载荷大小参数。
15.一种处理配置数据的方法,所述方法包括:
接收包括报头部和有效载荷部的配置消息,所述有效载荷部包括与残差数据的处理有关的配置数据,所述残差数据能够用于使用图像在具有多种质量水平的分层层次结构中的第一质量水平下的第二表示来重构所述图像在所述第一质量水平下的第一表示,所述第二表示基于所述图像在所述分层层次结构中的较低的第二质量水平下的表示,所述报头部包括:
消息类型参数,所述消息类型参数指定所述配置消息的消息类型并指示所述有效载荷部具有给定有效载荷格式,其中具有所述有效载荷格式的有效载荷部的格式大小是预定的或者能够从所述有效载荷部的内容确定;和
有效载荷大小参数,所述有效载荷大小参数指定所述有效载荷部的实际大小;
使用所述消息类型参数和所述有效载荷大小参数处理所述配置消息,以获得所述配置数据;以及
使用所获得的配置数据重构所述第一表示。
16.根据权利要求15所述的方法,其中所述处理所述配置消息包括:
基于所述有效载荷大小参数确定所述有效载荷部的所述实际大小;
基于所述消息类型参数确定所述消息的所述消息类型;以及
根据所确定的消息类型和所述有效载荷部的所确定的实际大小来处理所述配置消息。
17.根据权利要求15或权利要求16所述的方法,其中所述格式大小和所述实际大小相同。
18.根据权利要求15或权利要求16所述的方法,其中所述格式大小和所述实际大小不同。
19.根据权利要求15至18中任一项所述的方法,所述方法包括:
接收所述残差数据;以及
根据所述配置数据使用所述残差数据来重构所述第一表示。
20.一种处理配置数据的方法,所述方法包括:
基于图像在具有多种质量水平的分层层次结构中的第一质量水平下的第一表示和所述图像在所述第一质量水平下的第二表示来获得残差数据,所述第二表示基于所述图像在所述分层层次结构中的较低的第二质量水平下的表示,所述残差数据能够被解码器用来使用所述第二表示重构所述第一表示;
获得与所述残差数据的处理有关的第一配置数据和第二配置数据,所述第一配置数据与具有第一操作特性的第一组一个或多个解码器有关,并且所述第二配置数据与具有第二操作特性的第二组一个或多个解码器有关;
产生包括报头部和有效载荷部的配置消息,所述有效载荷部包括第一有效载荷部分和随后的第二有效载荷部分,所述第一有效载荷部分包括所述第一配置数据并且所述第二有效载荷部分包括所述第二配置数据,所述报头部包括指示所述第一有效载荷部分和所述第二有效载荷部分的总大小的有效载荷大小参数;以及
输出所述配置消息以供所述解码器处理,以使得所述解码器能够使用所述第一配置数据和所述第二配置数据中的一个或两个来重构所述第一表示。
21.根据权利要求20所述的方法,其中所述报头部不指定所述第一有效载荷部分的大小。
22.根据权利要求20或权利要求21所述的方法,其中所述第一有效载荷部分包括所有所述第一配置数据,并且所述第二有效载荷部分包括所有所述第二配置数据。
23.根据权利要求20至22中任一项所述的方法,其中所述第二配置数据是被布置成补充所述第一配置数据的补充配置数据。
24.根据权利要求20至23中任一项所述的方法,其中所述第一操作特性对应于第一版本,根据所述第一版本,配置所述第一组一个或多个解码器以进行操作,并且所述第二操作特性对应于不同的第二版本,根据所述不同的第二版本,配置所述第二组一个或多个解码器以进行操作。
25.根据权利要求24所述的方法,其中所述第二版本是相对于所述第一版本的较高版本。
26.根据权利要求20至25中任一项所述的方法,其中所述第一操作特性与所述第一组一个或多个解码器的处理能力有关,并且所述第二操作特性与所述第二组一个或多个解码器的处理能力有关。
27.根据权利要求20至26中任一项所述的方法,其中所述报头部包括消息类型参数,所述消息类型参数指定所述配置消息的消息类型,所述消息类型指示将要处理所述配置消息的方式。
28.根据权利要求27所述的方法,其中所述消息类型参数指示所述有效载荷部具有给定有效载荷格式,其中具有所述有效载荷格式的有效载荷部的格式大小是预定的或者能够从所述有效载荷部的内容确定。
29.根据权利要求28所述的方法,其中所述格式大小与所述第一有效载荷部分和所述第二有效载荷部分的所述总大小相同。
30.根据权利要求20至29中任一项所述的方法,所述方法包括对所述配置数据执行逐字节处理。
31.一种处理配置数据的方法,所述方法包括:
接收包括报头部和有效载荷部的配置消息,所述有效载荷部包括第一有效载荷部分和随后的第二有效载荷部分,所述第一有效载荷部分包括第一配置数据并且所述第二有效载荷部分包括第二配置数据,所述第一配置数据和所述第二配置数据与残差数据的处理有关,所述残差数据能够用于使用图像在具有多种质量水平的分层层次结构中的第一质量水平下的第二表示来重构所述图像在所述第一质量水平下的第一表示,所述第二表示基于所述图像在所述分层层次结构中的较低的第二质量水平下的表示,所述第一配置数据与具有第一操作特性的第一组解码器有关并且所述第二配置数据与具有第二操作特征的第二组解码器有关,其中所述报头部包括指示所述第一有效载荷部分和所述第二有效载荷部分的总大小的有效载荷大小参数;
处理所述配置消息以获得所述第一配置数据和所述第二配置数据中的一个或两个;以及
使用所述第一配置数据和所述第二配置数据中的所述一个或两个来重构所述第一表示。
32.根据权利要求31所述的方法,所述方法包括:
处理所述第一有效载荷部分和所述第二有效载荷部分,以分别获得所述第一配置数据和所述第二配置数据;以及
使用所述第一配置数据和所述第二配置数据来重构所述第一表示。
33.根据权利要求31所述的方法,所述方法包括:
处理所述第一有效载荷部分而不处理所述第二有效载荷部分,以获得所述第一配置数据而没有获得所述第二配置数据;以及
使用所述第一配置数据而不使用所述第二配置数据来重构所述第一表示。
34.根据权利要求33所述的方法,所述方法包括丢弃所述第二有效载荷部分的内容。
35.根据权利要求31至34中任一项所述的方法,所述方法包括使用所述有效载荷大小参数来确定下一配置消息的开始。
36.根据权利要求31至35中任一项所述的方法,其中所述报头部包括消息类型参数,所述消息类型参数指定所述配置消息的消息类型并指示所述有效载荷部具有给定有效载荷格式,其中具有所述有效载荷格式的有效载荷部的格式大小是预定的或者能够从所述有效载荷部的内容确定。
37.一种设备,所述设备被配置为执行权利要求1至36中任一项所述的方法。
38.一种包括指令的计算机程序,所述指令在被执行时使设备执行权利要求1至36中任一项所述的方法。
39.一种计算机可读介质,其包括权利要求38所述的计算机程序。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB1817781.6A GB201817781D0 (en) | 2018-10-31 | 2018-10-31 | Mehods, apparatuses, computer programs and computer-readable media |
GB1817781.6 | 2018-10-31 | ||
PCT/GB2019/053067 WO2020089615A1 (en) | 2018-10-31 | 2019-10-30 | Methods, apparatuses, computer programs and computer-readable media for scalable video coding and transmission |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113228662A true CN113228662A (zh) | 2021-08-06 |
Family
ID=64655663
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980085847.5A Pending CN113228662A (zh) | 2018-10-31 | 2019-10-30 | 用于可伸缩视频编码与传输的方法、设备、计算机程序和计算机可读介质 |
Country Status (12)
Country | Link |
---|---|
US (2) | US11496757B2 (zh) |
EP (1) | EP3874752A1 (zh) |
JP (1) | JP7421552B2 (zh) |
KR (1) | KR20210146879A (zh) |
CN (1) | CN113228662A (zh) |
AU (1) | AU2019370804B2 (zh) |
BR (1) | BR112021008173A2 (zh) |
CA (1) | CA3118185A1 (zh) |
EA (1) | EA202191197A1 (zh) |
GB (1) | GB201817781D0 (zh) |
MX (1) | MX2021005065A (zh) |
WO (1) | WO2020089615A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB202205928D0 (en) | 2022-04-22 | 2022-06-08 | V Nova Int Ltd | Methods, bitstreams, apparatuses, computer programs and computer-readable media |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020141409A1 (en) * | 2001-01-30 | 2002-10-03 | Gee-Kung Chang | Optical layer multicasting |
US20080008131A1 (en) * | 2006-06-14 | 2008-01-10 | Interdigital Technology Corporation | Efficient media independent handover protocol operation enhancements |
US20090175353A1 (en) * | 2007-01-12 | 2009-07-09 | University-Industry Cooperation Group Of Kyng Hee University | Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, qos control algorithm and apparatus for ipv6 label switching using the format |
US20120200565A1 (en) * | 2010-08-23 | 2012-08-09 | Sony Corporation | 3d-image-data transmission device, 3d-image-data transmission method, 3d-image-data reception device, and 3d-image-data reception method |
CN103780954A (zh) * | 2012-10-22 | 2014-05-07 | 上海贝尔股份有限公司 | 一种组合使用流媒体裁剪技术和显性拥塞通知技术的方法 |
US20150208095A1 (en) * | 2012-06-29 | 2015-07-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Video data stream concept |
US20150264404A1 (en) * | 2014-03-17 | 2015-09-17 | Nokia Technologies Oy | Method and apparatus for video coding and decoding |
US20150271498A1 (en) * | 2014-03-24 | 2015-09-24 | Qualcomm Incorporated | Generic use of hevc sei messages for multi-layer codecs |
US20150302543A1 (en) * | 2014-01-31 | 2015-10-22 | Digimarc Corporation | Methods for encoding, decoding and interpreting auxiliary data in media signals |
US20150304665A1 (en) * | 2014-01-07 | 2015-10-22 | Nokia Corporation | Method and apparatus for video coding and decoding |
CN105144720A (zh) * | 2013-01-04 | 2015-12-09 | Ge视频压缩有限责任公司 | 高效可伸缩编码概念 |
US20160065980A1 (en) * | 2013-04-05 | 2016-03-03 | Samsung Electronics Co., Ltd. | Video stream encoding method according to a layer identifier expansion and an apparatus thereof, and a video stream decoding method according to a layer identifier expansion and an apparatus thereof |
EP3131296A1 (en) * | 2015-08-13 | 2017-02-15 | Thomson Licensing | Color remapping information payload size compression |
US9723091B1 (en) * | 2012-11-09 | 2017-08-01 | Noble Systems Corporation | Variable length protocol using serialized payload with compression support |
CN107896332A (zh) * | 2012-01-03 | 2018-04-10 | 杜比实验室特许公司 | 用于生成高动态范围图像的解码器、方法以及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5155449B2 (ja) | 2008-07-26 | 2013-03-06 | トムソン ライセンシング | スケーラブルビデオコーディング(svc)を使用する高速チャネル変更アプリケーションのためのリアルタイムトランスポートプロトコル(rtp)パケット化方法 |
KR101893833B1 (ko) * | 2012-02-01 | 2018-09-03 | 삼성전자주식회사 | 방송 시스템에서 패킷 송수신 방법 및 장치 |
WO2016204481A1 (ko) * | 2015-06-16 | 2016-12-22 | 엘지전자 주식회사 | 미디어 데이터 전송 장치, 미디어 데이터 수신 장치, 미디어 데이터 전송 방법, 및 미디어 데이터 수신 방법 |
-
2018
- 2018-10-31 GB GBGB1817781.6A patent/GB201817781D0/en not_active Ceased
-
2019
- 2019-10-30 WO PCT/GB2019/053067 patent/WO2020089615A1/en unknown
- 2019-10-30 CN CN201980085847.5A patent/CN113228662A/zh active Pending
- 2019-10-30 KR KR1020217016144A patent/KR20210146879A/ko unknown
- 2019-10-30 CA CA3118185A patent/CA3118185A1/en active Pending
- 2019-10-30 MX MX2021005065A patent/MX2021005065A/es unknown
- 2019-10-30 EA EA202191197A patent/EA202191197A1/ru unknown
- 2019-10-30 BR BR112021008173-9A patent/BR112021008173A2/pt unknown
- 2019-10-30 AU AU2019370804A patent/AU2019370804B2/en active Active
- 2019-10-30 JP JP2021524323A patent/JP7421552B2/ja active Active
- 2019-10-30 EP EP19816386.7A patent/EP3874752A1/en active Pending
- 2019-10-30 US US17/290,472 patent/US11496757B2/en active Active
-
2022
- 2022-11-07 US US18/053,291 patent/US11889093B2/en active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020141409A1 (en) * | 2001-01-30 | 2002-10-03 | Gee-Kung Chang | Optical layer multicasting |
US20080008131A1 (en) * | 2006-06-14 | 2008-01-10 | Interdigital Technology Corporation | Efficient media independent handover protocol operation enhancements |
US20090175353A1 (en) * | 2007-01-12 | 2009-07-09 | University-Industry Cooperation Group Of Kyng Hee University | Packet format of network abstraction layer unit, and algorithm and apparatus for video encoding and decoding using the format, qos control algorithm and apparatus for ipv6 label switching using the format |
US20120200565A1 (en) * | 2010-08-23 | 2012-08-09 | Sony Corporation | 3d-image-data transmission device, 3d-image-data transmission method, 3d-image-data reception device, and 3d-image-data reception method |
CN107896332A (zh) * | 2012-01-03 | 2018-04-10 | 杜比实验室特许公司 | 用于生成高动态范围图像的解码器、方法以及存储介质 |
US20150208095A1 (en) * | 2012-06-29 | 2015-07-23 | Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. | Video data stream concept |
CN103780954A (zh) * | 2012-10-22 | 2014-05-07 | 上海贝尔股份有限公司 | 一种组合使用流媒体裁剪技术和显性拥塞通知技术的方法 |
US9723091B1 (en) * | 2012-11-09 | 2017-08-01 | Noble Systems Corporation | Variable length protocol using serialized payload with compression support |
CN105144720A (zh) * | 2013-01-04 | 2015-12-09 | Ge视频压缩有限责任公司 | 高效可伸缩编码概念 |
US20160065980A1 (en) * | 2013-04-05 | 2016-03-03 | Samsung Electronics Co., Ltd. | Video stream encoding method according to a layer identifier expansion and an apparatus thereof, and a video stream decoding method according to a layer identifier expansion and an apparatus thereof |
US20150304665A1 (en) * | 2014-01-07 | 2015-10-22 | Nokia Corporation | Method and apparatus for video coding and decoding |
US20150302543A1 (en) * | 2014-01-31 | 2015-10-22 | Digimarc Corporation | Methods for encoding, decoding and interpreting auxiliary data in media signals |
US20150264404A1 (en) * | 2014-03-17 | 2015-09-17 | Nokia Technologies Oy | Method and apparatus for video coding and decoding |
US20150271498A1 (en) * | 2014-03-24 | 2015-09-24 | Qualcomm Incorporated | Generic use of hevc sei messages for multi-layer codecs |
EP3131296A1 (en) * | 2015-08-13 | 2017-02-15 | Thomson Licensing | Color remapping information payload size compression |
Non-Patent Citations (1)
Title |
---|
LIE LIN PANG等: "Data embedding in scalable coded video", 《 2017 ASIA-PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE (APSIPA ASC),KUALA LUMPUR, MALAYSIA,12-15 DECEMBER 2017》, 15 December 2017 (2017-12-15) * |
Also Published As
Publication number | Publication date |
---|---|
US20230232024A1 (en) | 2023-07-20 |
BR112021008173A2 (pt) | 2021-08-03 |
JP2022507027A (ja) | 2022-01-18 |
AU2019370804B2 (en) | 2023-08-03 |
WO2020089615A1 (en) | 2020-05-07 |
US11496757B2 (en) | 2022-11-08 |
EA202191197A1 (ru) | 2021-07-26 |
KR20210146879A (ko) | 2021-12-06 |
EP3874752A1 (en) | 2021-09-08 |
MX2021005065A (es) | 2021-07-02 |
GB201817781D0 (en) | 2018-12-19 |
AU2019370804A1 (en) | 2021-06-10 |
US11889093B2 (en) | 2024-01-30 |
CA3118185A1 (en) | 2020-05-07 |
JP7421552B2 (ja) | 2024-01-24 |
US20210409735A1 (en) | 2021-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113228664B (zh) | 用于可伸缩图像编码的方法、设备、计算机程序和计算机可读介质 | |
US20150264099A1 (en) | Systems and methods for constraining a bitstream | |
US20240048738A1 (en) | Methods, apparatuses, computer programs and computer-readable media for processing configuration data | |
US11889093B2 (en) | Methods, apparatuses, computer programs and computer-readable media for scalable video coding and transmission | |
US11831886B2 (en) | Methods, apparatuses, computer programs and computer-readable media for processing configuration data | |
EA045133B1 (ru) | Способ, устройство и машиночитаемый носитель, содержащий компьютерную программу для формирования конфигурационного сообщения для обеспечения возможности декодеру восстанавливать первое представление изображения с первым уровнем качества с помощью данных конфигурации | |
WO2023203353A1 (en) | Methods, bitstreams, apparatuses, computer programs and computer-readable media | |
JP2023550940A (ja) | クライアントデバイス上でビデオストリームを復号化すること | |
EA047124B1 (ru) | Способ, устройство и машиночитаемый носитель, содержащий команды обработки информации о конфигурации для обработки остаточных данных при обработке изображений | |
US20230239508A1 (en) | Methods and apparatus to identify a video decoding error |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |