CN108432251B - 比特流变换设备、比特流变换方法、分发系统、分发方法以及计算机可读存储介质 - Google Patents

比特流变换设备、比特流变换方法、分发系统、分发方法以及计算机可读存储介质 Download PDF

Info

Publication number
CN108432251B
CN108432251B CN201680076379.1A CN201680076379A CN108432251B CN 108432251 B CN108432251 B CN 108432251B CN 201680076379 A CN201680076379 A CN 201680076379A CN 108432251 B CN108432251 B CN 108432251B
Authority
CN
China
Prior art keywords
unit
bitstream
syntax
resolution
bit stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680076379.1A
Other languages
English (en)
Other versions
CN108432251A (zh
Inventor
河村圭
内藤整
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KDDI Corp
Original Assignee
KDDI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KDDI Corp filed Critical KDDI Corp
Publication of CN108432251A publication Critical patent/CN108432251A/zh
Application granted granted Critical
Publication of CN108432251B publication Critical patent/CN108432251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Abstract

一种比特流变换设备，包括：语法分析单元，分析与定义了解码处理所涉及的具有指定最小尺寸的动画图像数据相对应的比特流的语法以及伴随该比特流的伴随比特流的语法；高级语法变换单元，将作为语法分析单元的分析结果的高级语法变换为新高级语法，该新高级语法包括的分辨率低于高级语法包括的分辨率；单元变换单元，将作为语法分析单元的分析结果的并且与比特流中的最小尺寸单元相关联的信息变换为与伴随比特流中对应的单元相关联的信息；以及语法合成单元，根据语法将来自高级语法变换单元的新高级语法以及由单元变换单元变换之后的信息进行合成，并生成新比特流。

Description

比特流变换设备、比特流变换方法、分发系统、分发方法以及 计算机可读存储介质
技术领域
本发明涉及比特流变换设备、比特流变换方法、分发系统、分发方法以及计算机可读存储介质。
背景技术
已经提出了使用帧内预测(intra-frame prediction)、帧间预测(inter-frameprediction)、残差变换和熵编码的动画图像编码方案(例如，参考非专利文献1)。此外，已经提出了被称为可扩展编码方案的用于编码设备/解码设备的扩展方法(例如，参考非专利文献1)。
近年来，诸如4K视频和8K视频的高分辨率视频已经开始分发。在视频分发服务中，以15Mbps至35Mbps对4K视频进行分发。同时，假定以90Mbps至110Mbps进行8K视频广播服务。迄今为止，对于HD视频(2K视频)，通过HEVC(高效视频编码)可以实现约3Mbps至6Mbps的实际质量。
设想这样的视频在进行流式传输和存储时，相对于2K视频，4K/8K视频需要10倍或更多的容量。特别地，由于单独存储4K视频和8K视频时存在存储成本，所以通过非专利文献1中描述的可扩展编码技术来降低容量有很大的益处。
引用列表
非专利文献
[非专利文献1]ITU-T H.265 High Efficiency Video Coding.
发明内容
技术问题
然而，在传统的HEVC可扩展编码/解码技术中，编码设备和解码设备配置具有多个环路，因此处理量较大。
针对这样的问题而做出本发明，其目的在于提供一种技术，通过该技术可以在实现可扩展性的同时抑制编码设备或解码设备中的处理量的增加。
技术方案
本发明的一方面涉及一种比特流变换设备。该比特流变换设备包括：语法分析单元，分析与定义了解码处理所涉及的单元的最小尺寸的动画图像数据相对应的比特流的语法以及伴随该比特流的伴随比特流的语法；高级语法变换单元，将作为语法分析单元的分析结果而获得的高级语法变换为新高级语法，该新高级语法包括的分辨率低于高级语法包括的分辨率；单元变换单元，将作为语法分析单元的分析结果而获得的、并且与比特流中的最小尺寸单元相关联的信息变换为与伴随比特流中对应的单元相关联的信息；以及语法合成单元，根据语法将来自高级语法变换单元的新高级语法和在单元变换单元中变换之后的信息进行合成，并生成新比特流。
本发明的另一方面为动画图像编码设备。该动画图像编码设备包括：变换量化单元，针对被分割成多个块的待编码图像，以块为单位，对该图像和预测图像之间的差值信号进行变换和量化，并生成第一等级值(变换系数)；编码单元，对由变换量化单元生成的第一等级值进行熵编码，并生成比特流；以及下采样单元，从尺寸比最小尺寸大的块生成分辨率低于图像分辨率的最小尺寸块。变换量化单元通过对由下采样单元生成的块的差值信号进行变换和量化来生成第二等级值。编码单元对由变换量化单元生成的第二等级值进行熵编码，并生成伴随比特流。
另外，上述配置元件和配置元件的替代物的任何组合以及本发明在设备、方法、系统、计算机程序、存储计算机程序的存储介质或类似物之间的描述可以是本发明的实施例。
发明的效果
借助于本发明，可以在实现可扩展性的同时抑制编码设备或解码设备中的处理量的增加。从以下参照附图的描述中，本发明的其他特征和优点将变得显而易见。
附图说明
图1为示出了根据一实施例的分发系统的配置的示意图。
图2为示出了图1的动画图像编码设备的功能和配置的框图。
图3为示出了比特流和伴随比特流的结构的示例的示意图。
图4为示出了图1的BS变换设备的功能和配置的框图。
图5为用于描述图1的BS变换设备中的变换处理的示意图。
图6为示出了图1的动画图像解码设备的功能和配置的框图。
图7为示出了在图1的动画图像编码设备中生成比特流的处理顺序的流程图。
图8为示出了在图1的动画图像编码设备中生成伴随比特流的处理顺序的流程图。
图9为示出了在图1的BS变换设备中的处理顺序的流程图。
图10为示出了根据一对比例的可扩展编码设备的功能和配置的框图。
图11为示出了根据一对比例的可扩展解码设备的功能和配置的框图。
具体实施方式
以下，在附图中对相同或等同的配置元件、部件、程序和信号赋予相同的附图标记，适当省略重复的说明。此外，在附图中省略了对描述不重要的组件的部分。
在实施例中，通过使用在H.265和ISO/IEC 23008-2HEVC中定义各种变换尺寸的特征来实现语法的可扩展性。考虑在将8K变换为4K等的情况下将分辨率改变为1/2的情况。为了能够用HEVC-兼容解码器解码经变换的比特流，比特流必须满足H.265的限制。具体地，在HEVC中，CU(Coding Unit，编码单元)尺寸、PU(Prediction Unit，预测单元)尺寸和TU(Transform Unit，变换单元)尺寸分别被限制为8(像素，以下相同)×8至64×64、4×4至32×32和4×4至32×32。因此，当CU尺寸小于16×16(具体地，8×8)时，在编码侧生成对应于图像被缩小并且CU尺寸被设置为8×8时的比特流作为伴随比特流(accompanyingbitstream)。类似地，当PU尺寸/TU尺寸小于8×8(具体地，4×4)时，图像被缩小，在编码侧生成对应于PU尺寸/TU尺寸被设置为4×4时的伴随比特流。
同时，当使得CU尺寸为16×16或更大且PU尺寸为8×8或更大时，没有特别的变化，并且当TU的尺寸是8×8或更大时，只有低频分量等级值被重新编码。此外，PU运动矢量精度统一为1/4。
这样做的结果是，通过将伴随比特流(overhead)附加到例如8K的高分辨率视频，可以仅从比特流生成可由HEVC-兼容解码器解码的低分辨率视频的比特流。
注意，分辨率的变化不限于1/2，它通常可以是2(-n)(n是自然数)。此外，伴随比特流因为其伴随着比特流而称为伴随比特流，但是它也可以被称为辅助比特流(supplementary bitstream,complementary bitsream)，并且被附加到比特流的比特流可以被称为附加比特流(additioanl bitstream)。
图1是示出了根据一实施例的分发系统100的配置的示意图。分发系统100是在分发4K视频、8K视频等高分辨率视频的视频分发服务中使用的系统。例如，视频分发服务可以是VOD(视频点播)。分发系统100经由例如因特网的网络106连接到诸如安装在用户站点的机顶盒、个人计算机等的动画图像解码设备102。动画图像解码设备102连接到诸如电视接收器、监视器等的显示设备104。动画图像解码设备102是HEVC-兼容解码器。
注意，视频分发服务中的分发系统仅仅是一个示例，并且对于已经接触到本说明书的本领域的普通技术人员来说将清楚的是，可以将根据本实施例的技术构思应用于包括动画图像编码器或解码器的任何系统或服务。
分发系统100经由网络106从用户接收他或她希望观看的指定的动画图像内容。分发系统100通过对指定的动画图像内容数据进行编码来生成比特流。分发系统100经由网络106将生成的比特流传输到作为请求源的用户的动画图像解码设备102。动画图像解码设备102对接收到的比特流进行解码以生成动画图像数据，并将其传输到显示设备104。显示设备104处理接收到的动画图像数据，并输出指定的动画图像内容。
分发系统100包括动画图像DB(数据库)108、动画图像编码设备110、动画图像存储服务器101、BS(比特流)变换设备112、选择单元114以及输出控制设备116。动画图像DB108保存诸如4K视频、8K视频的高分辨率动画图像数据。动画图像编码设备110从动画图像DB108获得与指定动画图像内容相对应的动画图像数据，对获得的动画图像数据进行编码，并生比特流BS和伴随它的伴随比特流ABS。比特流BS相当于通过使用传统HEVC-兼容编码器对获得的动画图像数据进行编码而获得的比特流。因此，可以通过例如动画图像解码设备102的HEVC-兼容解码器来解码比特流BS。同时，伴随比特流ABS对应于通过对所获得的动画图像数据的一部分进行下采样而获得的数据。因此，不可以通过动画图像解码设备102仅对伴随比特流ABS进行解码。动画图像存储服务器101存储由动画图像编码设备110生成的比特流BS和伴随比特流ABS。
BS变换设备112将包括高分辨率视频的比特流BS和伴随它的伴随比特流ABS变换为低分辨率视频的新比特流NBS。BS变换设备112获得存储在动画图像存储服务器101中的比特流BS和伴随比特流ABS。BS变换设备112在语法等级范围内处理所获得的比特流BS和伴随比特流ABS，并生成与动画图像数据相对应的新比特流NBS，对应于新比特流NBS的动画图像的分辨率低于对应于比特流BS的动画图像数据的分辨率。例如，当比特流BS对应于8K动画图像数据时，新比特流NBS对应于4K动画图像数据。新比特流NBS可以由动画图像解码设备102解码。
在下文中，将给出对于从动画图像DB108获得并输入到动画图像编码设备110中的动画图像数据的分辨率是8K、以及对应于新比特流NBS的动画图像数据的分辨率是4K的情况，具体为使分辨率为1/2的情况的描述。对于已经接触到本发明的本技术领域的普通技术人员而言，如何将本实施例中描述的配置扩展到使得分辨率为2(-n)的情况是显而易见的。
选择单元114从由BS变换设备112生成的新比特流NBS和存储在动画图像存储服务器101中的比特流BS中选择一个，并且经由网络106将选择的比特流传输到动画图像解码设备102。
输出控制设备116控制选择单元114。当用户指定他或她希望观看的动画图像内容时，其考虑显示设备104的显示能力来指定分辨率。输出控制设备116经由网络106获得指定的分辨率。输出控制设备116控制选择单元114，使得从选择单元114输出所获得的分辨率的动画图像数据。例如，如果指定的分辨率是8K，则输出控制设备116使选择单元114选择比特流BS，并且如果指定的分辨率是4K，则使其选择新比特流NBS。这样做的结果是，当存在来自用户的请求即需要4K分辨率(8K和4K中的较低者)时，选择单元114选择由BS变换设备112生成的新比特流NBS。
图2是示出了图1的动画图像编码设备110的功能和配置的框图。此处所示的各个方框可以通过具有例如计算机的CPU和机械设备的元件的硬件来实现，也可以由计算机程序或类似物在软件中实现，但这里示出了通过它们之间的协作而实现的功能块。因此，已经接触到本说明书的本领域的普通技术人员将理解的是，可以通过组合硬件和软件以各种形式来实现这些功能块。实现动画图像编码设备110的计算机程序可以存储在非临时性计算机可读存储介质中，或者可以经由网络分发。
动画图像编码设备110包括帧缓冲器202、环路滤波器204、帧间预测单元206、帧内预测单元208、变换/量化单元210、熵编码单元212、逆量化/逆变换单元214、下采样单元216、减法单元218、加法单元220和块分割单元222。
块分割单元222将包括来自动画图像DB108的动画图像数据的待编码图像(具体地，帧)分割成多个块。存在各种尺寸的块，并且多个块具有四叉树结构。在块分割单元222中分割图像块与HEVC分割图像块一致。具体而言，处理尺寸最大的CTU(Coding Tree Unit，编码树单元)的尺寸是64×64，并且存在由于将其重复分割为四而得到尺寸32×32、16×16和8×8。块分割单元222将处理目标块输出到减法单元218、帧间预测单元206和帧内预测单元208。
另外，CTU、CU、PU和TU为单元，基于这些单元，执行动画图像编码设备110中的编码处理和动画图像解码设备102中的解码处理，并将它们各自的最小尺寸定义为8×8、8×8、4×4和4×4。
前一帧的图像数据从帧缓冲器202输入到帧间预测单元206。帧间预测单元206基于前一帧，根据帧间预测来输出针对处理目标块的预测块。将与处理目标帧具有相同帧的已经处理过的块的图像数据从加法单元220输入到帧内预测单元208。帧内预测单元208基于与处理目标块具有相同帧的另一个块，输出处理目标块的预测块。帧间预测单元206的输出还是帧内预测单元208的输出被输出到减法单元218，这取决于帧间预测还是帧内预测被应用于处理目标块。
减法单元218生成块单元编码目标图像与帧内预测图像或帧间预测图像之间的差值(残差)信号。减法单元218输出指示处理目标块与帧间预测单元206或帧内预测单元208输出的预测块之间的差值的差值信号。变换/量化单元210以块为单位变换(例如，正交变换)并量化差值信号，从而生成第一等级值。变换/量化单元210将生成的第一等级值输出到熵编码单元212和逆量化/逆变换单元214。熵编码单元212对由变换/量化单元210生成的第一等级值和边信息(未示出)进行熵编码，并生成比特流BS。注意，边信息是在解码设备中使用的像素值的重建所需的信息，并且包括指示诸如使用帧内预测还是帧间预测的预测模式、运动矢量、量化参数和块尺寸的相关信息。
逆量化/逆变换单元214通过执行与变换/量化单元210中的处理相反的处理来生成差值信号。加法单元220通过将逆量化/逆变换单元214输出的差值信号和帧间预测单元206或帧内预测单元208输出的预测块相加来生成处理目标块，并将其输出到帧内预测单元208和环路滤波器204。环路滤波器204生成与该帧对应的局部解码图像并将其输出到帧缓冲器202。将该局部解码图像用于在帧间预测单元206中的帧间预测。
下采样单元216从尺寸大于最小尺寸的变换块生成分辨率(具体地，4K)低于待编码的图像的分辨率(具体地，8K)的最小尺寸的变换块。下采样单元216以变换块为单位获得从减法单元218输出的帧内/帧间预测差值信号。下采样单元216指定所获得的帧内/帧间预测差值信号的变换块的尺寸。下采样单元216在指定尺寸大于最小尺寸(4×4)的情况下将变换块减小到最小尺寸，并输出减小到最小尺寸的变换块。例如，只有当指定尺寸是8×8并且其变换块被分割成4×4时，下采样单元216才输出这样的变换块作为减小到4×4的变换块。或者，下采样单元216可通过收集由8×8变换块的四叉树分割生成的四个4×4变换块来重建8×8块。下采样单元216可以将重建的8×8块减小到4×4。从下采样单元216输出的4×4变换块等同于待编码图像的分辨率降低到4K时的最小尺寸变换块。
变换/量化单元210通过获得由下采样单元216生成的最小尺寸的变换块并将所获得的变换块进行变换和量化来生成第二等级值。熵编码单元212对由变换/量化单元210生成的第二等级值进行熵编码并生成伴随比特流ABS。此外，熵编码单元212将等级值和帧内预测模式(未示出)作为输入，并输出比特流BS或伴随比特流ABS。由此，对缩小的4×4块进行编码。比特流BS对应于分辨率为8K的编码目标图像，并且伴随该比特流BS的伴随比特流ABS包括与使得编码目标图像的分辨率为1/2的4K图像的最小尺寸CU、PU和TU有关的信息。
图3是示出了比特流BS和伴随比特流ABS的结构的示例的示意图。伴随比特流ABS伴随比特流BS。伴随比特流ABS可以具有用于标识伴随比特流ABS的头部302。动画图像编码设备110可以将比特流BS和伴随比特流ABS共同输出为一个比特流。
比特流BS包括除视频编码层(video coding layer)(例如，VUI(Video UsabilityInformation，视频可用性信息)、SPS(Sequence Parameter Set，序列参数集)、PPS(Picture Parameter Set，图片参数集)及类似物，被称为高级语法)、片头、CU信息、PU信息和TU信息之外的信息。假设片头包括在高级语法中。与块分割和帧内预测模式相关的信息存储在CU信息中。与运动矢量相关的信息存储在PU信息中。等级值存储在TU信息中。伴随比特流ABS具有与比特流BS相似的配置。
图4是示出了图1的BS变换设备112的功能和配置的框图。此处所示的各方框可以通过具有例如计算机的CPU和机械设备的元件的硬件来实现，也可以由计算机程序或类似物在软件中实现，但这里示出通过它们之间的协作而实现的功能块。因此，已经接触到本说明书的本领域的普通技术人员将理解的是，可以通过组合硬件和软件以各种形式来实现这些功能块。实现BS变换设备112的计算机程序可以存储在非临时性计算机可读存储介质中，或者可以经由网络分发。
BS变换设备112包括语法分析单元(Parser)402、单元变换单元404，高级语法变换单元(High Level Syntax Converter)406和语法合成单元(Synthesis)408。语法分析单元402分析存储在动画图像存储服务器101中的比特流BS的语法和伴随比特流ABS的语法。语法分析单元402包括BS分析单元410和ABS分析单元412。BS分析单元410获得比特流BS，分析比特流BS的语法，并将比特流BS分解为高级语法、CU信息、PU信息和TU信息。BS分析单元410将在分析结果中获得的高级语法、CU信息、PU信息和TU信息输出到高级语法变换单元406、CU变换单元414、PU变换单元416和TU变换单元418。ABS分析单元412获得伴随比特流ABS，并分析伴随比特流ABS的语法。ABS分析单元412将分析结果中获得的CU信息、PU信息和TU信息分别输出到CU变换单元414、PU变换单元416和TU变换单元418。
高级语法变换单元406获得从BS分析单元410输出的高级语法，并且将所获得的高级语法变换为新高级语法，该新高级语法包括的分辨率低于该高级语法包括的分辨率。例如，高级语法变换单元406使通过将包括在所获得的高级语法(具体地，8K)中的分辨率除以2而获得的分辨率(具体地，4K)包括在新高级语法中。由此，在高级语法变换单元406中改变了高级语法的分辨率。
单元变换单元404包括CU变换单元414、PU变换单元416和TU变换单元418。CU变换单元414从BS分析单元410获得比特流BS中的CU信息。CU变换单元414从ABS分析单元412获得伴随比特流ABS中的CU信息。CU变换单元414将与所获得的比特流BS中的CU信息中的最小尺寸(8×8)CU相关联的CU信息变换为与所获得的伴随比特流ABS中对应的最小尺寸CU相关联的CU信息。例如，CU变换单元414在块尺寸是最小CU尺寸时丢弃源自比特流BS中的CU信息，取而代之地输出源自伴随比特流ABS的CU信息。CU变换单元414在块尺寸不是最小CU尺寸的情况下按原样输出源自比特流BS的CU信息。
PU变换单元416从BS分析单元410获得比特流BS中的PU信息。PU变换单元416从ABS分析单元412获得伴随比特流ABS中的PU信息。PU变换单元416将与所获得的比特流BS中的PU信息中的最小尺寸(4×4)PU相关联的PU信息变换为与所获得的伴随比特流ABS中对应的最小尺寸PU相关联的PU信息。例如，PU变换单元416在块尺寸为最小PU尺寸时丢弃源自比特流BS中的PU信息，取而代之地输出源自于伴随比特流ABS的PU信息。PU变换单元416通过使得与尺寸大于比特流BS中最小尺寸的PU相关联的运动矢量的精度(或尺寸)为1/2来以根据4K的精度进行变换。此时，PU变换单元416在以1/2的精度重建运动矢量之后，对PU信息进行重新编码并输出。
TU变换单元418从BS分析单元410获得比特流BS中的TU信息。TU变换单元418从ABS分析单元412获得伴随比特流ABS中的TU信息。TU变换单元418将与所获得的比特流BS中的TU信息中的最小尺寸(4×4)TU相关联的TU信息变换为与所获得的伴随比特流ABS中对应的最小尺寸TU相关联的TU信息。例如，TU变换单元418在块尺寸为最小TU尺寸时丢弃源自比特流BS中的TU信息，取而代之地输出源自于伴随比特流ABS的TU信息。
TU变换单元418通过从与不是最小TU尺寸的块尺寸(具体为大于最小TU尺寸的尺寸)的TU相关联的等级值的集合中提取低频分量，来生成根据4K分辨率的等级值的集合。TU变换单元418在块尺寸不是最小TU尺寸的情况下重建等级值矩阵以改变块尺寸，仅提取构成低频分量的等级值，并且输出TU信息。例如，TU变换单元418重建等级值矩阵以使块尺寸减半，提取各行各列的低频的一半，使等级值的数量为1/4，并输出TU信息。
语法合成单元408根据语法对来自高级语法变换单元406的新高级语法、以及在CU变换单元414、PU变换单元416和TU变换单元418分别变换之后的CU信息、PU信息和TU信息进行合成，并生成新比特流NBS。
图5是用于描述图1的BS变换设备112中的变换处理的示意图。8K图像的16×16部分被分割成8×8TU1、TU2和TU3以及4×4TU4、TU5、TU6和TU7。将分别与这些TU1至TU7相关联的等级值进行编码，并存储在比特流BS的TU信息中。此外，通过将根据本实施例的下采样应用于前述的16×16部分来生成4×4TU8。TU4、TU5、TU6和TU7整体对应于TU8。将与TU8相关联的等级值进行编码，并存储在伴随比特流ABS的TU信息中。
在TU变换单元418中，对于尺寸(8×8)大于最小TU尺寸(4×4)的TU1，提取TU1的低频分量，并生成4×4TU9。类似地，在TU变换单元418中，分别生成T2至TU10以及TU3至TU11。最小TU尺寸(4×4)的TU4、TU5、TU6和TU7被TU变换单元418丢弃，并替换为源自于伴随比特流ABS的TU8。将分别与这些TU9、TU10、TU11和TU8相关联的等级值进行编码，并存储在新比特流NBS的TU信息中。
图6是示出了图1的动画图像解码设备102的功能和配置的框图。此处所示的各方框可以通过具有例如计算机的CPU和机械设备的元件的硬件来实现，也可以由计算机程序或类似物在软件中实现，但这里示出的是通过它们之间的协作而实现的功能块。因此，已经接触到本说明书的本领域的普通技术人员将理解的是，可以通过组合硬件和软件以各种形式来实现这些功能块。
动画图像解码设备102包括熵解码单元602、逆量化/逆变换单元604、加法单元606、帧间预测单元608、帧内预测单元610、帧缓冲器612和环路滤波器614。动画图像解码设备102按照与由动画图像编码设备110执行的过程相反的顺序，从比特流BS和新比特流NBS获得输出动画图像数据。
熵解码单元602经由网络106从分发系统100接收比特流BS或新比特流NBS。熵解码单元602对接收到的比特流进行熵解码，并且重新获得等级值和边信息。注意，用于从比特流获得边信息和等级值的处理被称为解析(parse)处理。通过使用由此获得的边信息和等级值来重建像素值被称为解码处理。
逆量化/逆变换单元604以块为单位对等级值进行逆量化和逆变换并生成差值信号。加法单元606根据与由逆量化/逆变换单元604生成的差值信号相对应的块由帧内预测还是由帧间预测，将帧间预测单元608或帧内预测单元610输出的该块的预测图像与该块的差值信号相加，并且再现该块。加法单元606将再现的块输出到帧内预测单元610和环路滤波器614。通过使用再现的块，帧内预测单元610执行帧内预测并生成帧内预测图像。环路滤波器614例如是去块滤波器。当环路滤波器614接收到一个帧内的所有块时，它生成对应于该帧的局部解码图像，并将其输出到帧缓冲器612。局部解码图像用于帧间预测单元608中的帧间预测，并且同时作为输出动画图像数据输出到显示设备104。
以下描述根据前述配置的动画图像编码设备110和BS变换设备112的操作。
图7是示出了在图1的动画图像编码设备110中生成比特流BS的过程顺序的流程图。动画图像编码设备110获得待编码图像(步骤S702)。动画图像编码设备110将获得的待编码图像分割为多个块(步骤S704)。动画图像编码设备110以分割的块为单位计算待编码图像与预测图像之间的差值，并生成差值信号(步骤S706)。动画图像编码设备110在对差值信号执行正交变换之后，基于预定量化参数，以块为单位执行量化(步骤S708)。动画图像编码设备110对作为量化结果而获得的第一等级值进行熵编码，并生成比特流BS(步骤S710)。动画图像编码设备110输出生成的比特流BS(步骤S712)。
图8是示出了在图1的动画图像编码设备110中生成伴随比特流ABS的过程顺序的流程图。动画图像编码设备110获得尺寸大于最小尺寸的块(步骤S802)。动画图像编码设备110对获得的块进行下采样，并生成分辨率为待编码图像的分辨率的1/2的最小尺寸块(步骤S804)。动画图像编码设备110在对针对所生成的最小尺寸块的差值信号执行正交变换之后，基于预定量化参数执行量化(步骤S806)。动画图像编码设备110对作为量化结果而获得的第二等级值进行熵编码，并生成伴随比特流ABS(步骤S808)。动画图像编码设备110将生成的伴随比特流ABS附加到比特流BS并输出(步骤S810)。
图9是示出了图1的BS变换设备112中的处理顺序的流程图。BS变换设备112从动画图像存储服务器101获得比特流BS和伴随比特流ABS(步骤S902)。BS变换设备112分析所获得的比特流BS的语法和伴随比特流ABS的语法(步骤S904)。BS变换设备112根据语法分析来变换从比特流BS提取的高级语法，使得分辨率变为1/2，并获得新高级语法(步骤S906)。BS变换设备112将与比特流BS中的最小尺寸CU、PU和TU相关联的CU信息、PU信息和TU信息替换为与伴随比特流ABS中相应的最小尺寸CU、PU和TU相关联的CU信息、PU信息和TU信息(步骤S908)。BS变换设备112根据语法对新高级语法以及替换后的CU信息、PU信息和TU信息进行合成，并生成新比特流NBS(步骤S910)。
通过根据本实施例的分发系统100，可以实现减少信号处理中的处理量的可扩展编码方案。例如，可以通过将伴随比特流附加到编码侧的高分辨率视频来生成低分辨率视频的比特流。由此，不需要对低分辨率视频进行单独编码。因为不需要准备用于改变在解码侧接收的视频的分辨率的设备或电路，所以可以简化设备配置。
将参照对比例描述本实施例的效果。对比例涉及可扩展编码方案(例如，参考非专利文献1)。这是一种对被称为基本层的基本视频和扩展视频进行编码/解码的方法，其中将被称为增强层的扩展部分附加到基本视频并扩展了各种元素。作为各种元素的有帧速率、分辨率、位深度、色域等。对比例涉及空间可扩展性，特别是分辨率的可扩展性。
图10是示出了根据一对比例的可扩展编码设备130的功能和配置的框图。下采样单元132将输入图像作为输入，并输出分辨率被设置为1/2的图像。与普通编码设备类似地对分辨率为1/2的视频进行编码。层间参考图像生成单元134将解码的图像作为输入，并将2倍放大的图像输出到帧缓冲器136。这样做的结果是，可以在增强层编码中使用基本层图像作为参考图像，并且提高了相对于单独编码每个图像的编码效率。
图11是示出了根据一对比例的可扩展解码设备140的功能和配置的框图。仅解码基本层的情况与传统解码设备相同。同时，当解码直到增强层时，层间预测图像被附加到增强层的参考图像缓冲器142。
从图10和图11中所示的电路配置可以清楚地看出，在根据对比例的可扩展编码/解码方案中，需要多个编码环路/解码环路(例如，用于低分辨率和高分辨率)。因此，信号处理所需的存储器带宽和处理量与所有层的像素数的总和成比例地增加。与此相反，在根据本实施例的方案中，在高分辨率视频比特流(例如，8K视频)的语法处理中生成低分辨率视频比特流(例如4K视频)。因此，高分辨率视频和低分辨率视频都可以由单回路解码设备解码，并且可以减少存储器带宽和处理量。而且，可以降低功耗。
此外，在根据本实施例的方案中，由于分辨率在语法等级上发生改变，因此与分辨率在信号等级上发生改变的情况相比，可以减少处理量。
上述实施例中的数据库的示例是硬盘和半导体存储器。此外，基于本说明书中的描述，已经接触到本说明书的本领域的普通技术人员将理解的是，可以通过未用图形示出的CPU、已安装的应用程序的模块、系统程序的模块、暂时存储从硬盘读出的数据的内容的半导体存储器或类似物来实现每个单元。
在此总结了根据本实施例的分发系统100的配置和操作的描述。本领域的普通技术人员将理解，本实施例仅仅是一个示例，并且在配置元件和过程的每个组合中可以有不同的变化，并且这样的变化在本发明的范围内。
在本实施例中，描述了作为编码侧的分发系统100包括BS变换设备112的情况，但是对此没有限制，并且BS变换设备可以设置在解码侧。例如，用户站点提供的BS变换设备可以通过网络106接收8K视频比特流和伴随比特流，并且在语法处理中生成4K视频比特流。
注意，本发明不限于上述实施方式，并且可以在不偏离本发明的精神和范围的情况下进行各种修改或改变。因此，附上以下权利要求以公开本发明的范围。
本申请要求2015年12月28日提交的日本专利申请第2015-256488号的优先权，在此引用其全部内容。

Claims (14)

1.一种比特流变换设备，包括：
语法分析单元，分析与定义了解码处理所涉及的单元的最小尺寸的动画图像数据相对应的比特流的语法以及伴随所述比特流的伴随比特流的语法；
高级语法变换单元，将作为所述语法分析单元的分析结果而获得的高级语法变换为新高级语法，该新高级语法包括的分辨率低于所述高级语法包括的分辨率；
单元变换单元，将作为所述语法分析单元的分析结果而获得的、并且与所述比特流中的最小尺寸单元相关联的信息变换为与所述伴随比特流中对应的单元相关联的信息；以及
语法合成单元，根据语法将来自所述高级语法变换单元的所述新高级语法以及在所述单元变换单元中变换之后的信息进行合成，并生成新比特流。
2.根据权利要求1所述的比特流变换设备，其中，所述高级语法变换单元使通过将包括在作为所述语法分析单元的分析结果而获得的高级语法中的分辨率除以2的n次幂而获得的分辨率包括在所述新高级语法中，其中n是自然数。
3.根据权利要求1所述的比特流变换设备，其中，所述单元变换单元丢弃与所述比特流中最小尺寸单元相关联的信息，取而代之地输出与所述伴随比特流中相应的单元相关联的信息。
4.根据权利要求1所述的比特流变换设备，其中，所述单元包括编码单元。
5.根据权利要求1所述的比特流变换设备，其中
所述单元包括预测单元，
所述单元变换单元将与尺寸大于所述比特流中最小尺寸的预测单元相关联的运动矢量的精度变换成与低分辨率相应的精度。
6.根据权利要求1所述的比特流变换设备，其中
所述单元包括变换单元，
所述单元变换单元将与尺寸大于所述比特流中最小尺寸的变换单元相关联的一组等级值变换成与低分辨率相应的一组等级值。
7.根据权利要求6所述的比特流变换设备，其中所述单元变换单元通过从与尺寸大于所述比特流中最小尺寸的变换单元相关联的一组等级值中提取低频分量来生成与低分辨率相应的一组等级值。
8.根据权利要求1所述的比特流变换设备，其中，可以由预定的解码设备对所述比特流进行解码，但不可以由所述预定的解码设备仅对所述伴随比特流进行解码。
9.一种分发系统，包括：
根据权利要求1所述的比特流变换设备，以及
选择单元，当存在需要低分辨率的请求时，选择由所述比特流变换设备生成的新比特流。
10.一种比特流变换方法，包括：
分析与定义了解码处理所涉及的单元的最小尺寸的动画图像数据相对应的比特流的语法以及伴随所述比特流的伴随比特流的语法；
将作为分析结果而获得的高级语法变换为新高级语法，该新高级语法包括的分辨率低于所述高级语法包括的分辨率；
将作为分析结果而获得的、并且与所述比特流中的最小尺寸单元相关联的信息变换为与所述伴随比特流中对应的单元相关联的信息；以及
根据语法将所述新高级语法以及变换之后的信息进行合成，并生成新比特流。
11.一种计算机可读存储介质，包括使计算机作为根据权利要求1所述的比特流变换设备而发挥功能的程序。
12.一种分发系统，包括：
根据权利要求1所述的比特流变换设备；
动画图像编码设备，其包括：
变换量化单元，对于被分割为多个块的待编码图像，以块为单位，对所述图像与预测图像之间的差值信号进行变换和量化，并生成第一等级值；
编码单元，对由所述变换量化单元生成的第一等级值进行熵编码，并生成比特流；以及
下采样单元，从尺寸大于最小尺寸的块生成分辨率低于所述图像的分辨率的最小尺寸块，其中
所述变换量化单元通过对由所述下采样单元生成的块的差值信号进行变换和量化来生成第二等级值，并且
所述编码单元对由所述变换量化单元生成的第二等级值进行熵编码，并生成伴随比特流；以及
选择单元，当存在需要低分辨率的请求时，选择由所述比特流变换设备生成的新比特流，当存在需要高分辨率的请求时，选择由所述动画图像编码设备生成的比特流。
13.一种分发方法，包括：
对于被分割为多个块的待编码图像，以块为单位对所述图像与预测图像之间的差值信号进行变换和量化，并生成第一等级值；
对生成的第一等级值进行熵编码，并生成比特流；
从尺寸大于最小尺寸的块生成分辨率低于所述图像的分辨率的最小尺寸块；
对生成的块的差值信号进行变换和量化，并生成第二等级值；
对生成的第二等级值进行熵编码，并生成伴随比特流；
分析与定义了解码处理所涉及的单元的最小尺寸的动画图像数据相对应的比特流的语法以及伴随所述比特流的伴随比特流的语法；
将作为分析结果而获得的高级语法变换为新高级语法，该新高级语法包括的分辨率低于所述高级语法包括的分辨率；
将作为分析结果而获得的、并且与所述比特流中的最小尺寸单元相关联的信息变换为与所述伴随比特流中对应的单元相关联的信息；
根据语法将所述新高级语法以及变换之后的信息进行合成，并生成新比特流；
当存在需要低分辨率的请求时，选择所述新比特流，当存在需要高分辨率的请求时，选择所述比特流。
14.一种计算机可读存储介质，包括使计算机作为根据权利要求12所述的分发系统而发挥功能的程序。
CN201680076379.1A 2015-12-28 2016-07-05 比特流变换设备、比特流变换方法、分发系统、分发方法以及计算机可读存储介质 Active CN108432251B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-256488 2015-12-28
JP2015256488A JP6566864B2 (ja) 2015-12-28 2015-12-28 ビットストリーム変換装置、ビットストリーム変換方法、配信システム及びコンピュータ可読記録媒体
PCT/JP2016/069861 WO2017115482A1 (ja) 2015-12-28 2016-07-05 ビットストリーム変換装置、ビットストリーム変換方法、配信システム、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体

Publications (2)

Publication Number Publication Date
CN108432251A CN108432251A (zh) 2018-08-21
CN108432251B true CN108432251B (zh) 2022-03-08

Family

ID=59225574

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680076379.1A Active CN108432251B (zh) 2015-12-28 2016-07-05 比特流变换设备、比特流变换方法、分发系统、分发方法以及计算机可读存储介质

Country Status (5)

Country Link
US (1) US10757448B2 (zh)
EP (1) EP3399751B1 (zh)
JP (1) JP6566864B2 (zh)
CN (1) CN108432251B (zh)
WO (1) WO2017115482A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6566865B2 (ja) * 2015-12-28 2019-08-28 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366283A (zh) * 2006-01-11 2009-02-11 高通股份有限公司 具有精细粒度空间可缩放性的视频编码
CN103518374A (zh) * 2011-06-10 2014-01-15 联发科技股份有限公司 可伸缩视频编码方法及其装置
CN103813172A (zh) * 2009-11-11 2014-05-21 联发科技股份有限公司 视讯译码装置及存储器分配方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3466032B2 (ja) * 1996-10-24 2003-11-10 富士通株式会社 動画像符号化装置および復号化装置
CN1939067B (zh) * 2004-04-02 2011-07-20 汤姆森许可贸易公司 用于复杂度可伸缩视频编码器的方法和设备
EP1662800A1 (en) * 2004-11-30 2006-05-31 Humax Co., Ltd. Image down-sampling transcoding method and device
US8619856B2 (en) * 2008-10-03 2013-12-31 Qualcomm Incorporated Video coding with large macroblocks
WO2013109026A1 (ko) * 2012-01-18 2013-07-25 엘지전자 주식회사 엔트로피 부호화/복호화 방법 및 그 장치
WO2015033510A1 (ja) 2013-09-09 2015-03-12 日本電気株式会社 映像符号化装置、映像符号化方法及びプログラム
JP2015076765A (ja) * 2013-10-09 2015-04-20 キヤノン株式会社 画像処理装置及びその制御方法、並びに、コンピュータプログラム
US20150264404A1 (en) * 2014-03-17 2015-09-17 Nokia Technologies Oy Method and apparatus for video coding and decoding
JP6150134B2 (ja) 2014-03-24 2017-06-21 ソニー株式会社 画像符号化装置および方法、画像復号装置および方法、プログラム、並びに記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101366283A (zh) * 2006-01-11 2009-02-11 高通股份有限公司 具有精细粒度空间可缩放性的视频编码
CN103813172A (zh) * 2009-11-11 2014-05-21 联发科技股份有限公司 视讯译码装置及存储器分配方法
CN103518374A (zh) * 2011-06-10 2014-01-15 联发科技股份有限公司 可伸缩视频编码方法及其装置

Also Published As

Publication number Publication date
US20180302652A1 (en) 2018-10-18
JP6566864B2 (ja) 2019-08-28
EP3399751A1 (en) 2018-11-07
US10757448B2 (en) 2020-08-25
WO2017115482A1 (ja) 2017-07-06
EP3399751A4 (en) 2019-01-02
CN108432251A (zh) 2018-08-21
EP3399751B1 (en) 2023-09-06
JP2017120978A (ja) 2017-07-06

Similar Documents

Publication Publication Date Title
KR102127370B1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
US10931945B2 (en) Method and device for processing prediction information for encoding or decoding an image
JP2016533696A (ja) ビデオコーディングにおける並列処理の指示
US20070177664A1 (en) Entropy encoding/decoding method and apparatus
US9961353B2 (en) Method and device for decoding a scalable stream representative of an image sequence and corresponding coding method and device
US20180302650A1 (en) Moving image decoding apparatus, moving image decoding method, moving image encoding apparatus, moving image encoding method and computer-readable storage medium
KR20140121355A (ko) 영상 부호화/복호화 방법 및 장치
US20240064299A1 (en) Video decoding method and apparatus using the same
US20170078697A1 (en) Depth image prediction mode transmission method and apparatus for encoding and decoding inter-layer video
JP2023158204A (ja) 変換スキップ及びパレットコーディング関連情報のシグナリングベースの映像又はビデオコーディング
KR102480472B1 (ko) Cabac에 기반한 엔트로피 코딩 방법 및 그 장치
KR102226893B1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2013145021A1 (ja) 画像復号方法及び画像復号装置
KR20140043240A (ko) 영상 부호화/복호화 방법 및 장치
CN108432251B (zh) 比特流变换设备、比特流变换方法、分发系统、分发方法以及计算机可读存储介质
KR102284107B1 (ko) 영상을 부호화/복호화하기 위한 파라미터 세트 생성 방법 및 장치
KR102356481B1 (ko) 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
KR101685556B1 (ko) 영상 부호화/복호화 방법 및 장치
CN114762339A (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
JP2017073598A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN115442608A (zh) 图像编码/解码方法及发送数据的方法
US20150010083A1 (en) Video decoding method and apparatus using the same
EP3852369A1 (en) Conversion device, decoding device, conversion method and decoding method
CN114762335A (zh) 基于变换跳过和调色板编码相关数据的图像或视频编码
CN115428460A (zh) 图像编码系统中残差编码的图像解码方法及用于其的设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant