CN101622881A - 图像编码和图像解码的方法及装置 - Google Patents

图像编码和图像解码的方法及装置 Download PDF

Info

Publication number
CN101622881A
CN101622881A CN200880006627A CN200880006627A CN101622881A CN 101622881 A CN101622881 A CN 101622881A CN 200880006627 A CN200880006627 A CN 200880006627A CN 200880006627 A CN200880006627 A CN 200880006627A CN 101622881 A CN101622881 A CN 101622881A
Authority
CN
China
Prior art keywords
modulation
quantization
matrix
parameter
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880006627A
Other languages
English (en)
Inventor
谷泽昭行
中条健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN101622881A publication Critical patent/CN101622881A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供一种图像编码装置，具有：预测器，对输入图像信号进行预测而生成预测图像信号；减法器，取所述输入图像信号与所述预测图像信号之差而生成预测残差信号；变换器，对所述预测残差信号进行变换而生成变换系数；调制部，对量化矩阵进行调制，获得调制量化矩阵；量化器，使用所述调制量化矩阵对所述变换系数进行量化而生成量化变换系数；以及编码器，对所述量化变换系数和调制索引进行编码而生成编码数据。

Description

图像编码和图像解码的方法及装置
技术领域
本发明涉及用于运动图像或静止图像的图像编码和图像解码的方法及装置。
背景技术
近年来，使编码效率大幅提高的图像编码方法由ITU-T和ISO/IEC共同建议作为ITU-T Rec.H.264以及ISO/IEC 14496-10(以下称为H.264)。ISO/IEC MPEG-1，2和4，ITU-T H.261以及H.263这样的编码方式使用8×8块的二维DCT进行压缩。与此相对，由于H.264中使用4×4块的二维整数正交变换，因此无需考虑IDCT失配，能够实现基于16位寄存器的运算。
而且，在H.264高端类(High Profile)中，作为用于面向如HDTV尺寸(size)的高分辨图像的主观画质改善的一种工具，对于正交变换系数的量化处理引入了量化矩阵(参考J.Lu，“Proposal ofquantization weighting for H.264/MPEG-4AVC Professional Profiles”，JVT of ISO/IEC MPEG & ITU-T VCEG，JVT-K029，March.2004(文献1))。量化矩阵是通过利用人的视觉特性进行频域中的量化系数的加权来提高主观画质的工具，也被利用于ISO/IEC MPEG-2，4等中。H.264中所使用的量化矩阵能够以序列(sequence)、图片(picture)或条带(slice)单位进行切换，但无法以更小的处理块单位进行变更。
另一方面，例如由日本特开2006-262004号公报(JP-A 2006-262004(KOKAI))提出了能够以宏块单位切换量化矩阵的技术。但是，在JP-A 2006-262004中仅进行量化矩阵可否利用的切换，不可能实现考虑了编码对象图像的局部性的量化处理的最优化。
为了进行编码量控制，例如由日本特开2003-189308号公报(JP-A 2003-189308(KOKAI))提出了利用来自前图像的编码量的变化量来变更量化矩阵的方式。但是，在JP-A 2003-189308中也与文献1同样也不可能实现量化块单位的量化处理的最优化。
发明内容
本发明的目的在于在进行运动图像或静止图像的编码时，能够进行利用了图像的局部性的量化处理的最优化从而实现高编码效率。
根据本发明的一个观点，提供一种图像编码方法，包括：对输入图像信号进行预测而生成预测图像信号；取所述输入图像信号与所述预测图像信号之差而生成预测残差信号；对所述预测残差信号进行变换而生成变换系数；对(a)量化矩阵、(b)控制用于量化的运算精度的控制参数、(c)表示量化粗度的量化参数、以及(d)将表示量化粗度的量化参数与量化尺度对应起来的表之中的任意一个进行调制，获得与量化相关的调制结果；使用所述调制结果对所述变换系数进行量化而生成量化变换系数；以及对所述量化变换系数和与所述调制相关的索引进行编码而生成编码数据。
根据本发明的其他观点，提供一种图像解码方法，包括：对包括量化变换系数和与调制相关的索引的编码数据进行解码；根据所述索引对(a)量化矩阵、(b)控制用于量化的运算精度的控制参数、(c)表示量化粗度的量化参数、以及(d)将表示量化粗度的量化参数与量化尺度对应起来的表之中的任意一个进行调制，获得与量化相关的调制结果；使用所述调制结果对所述量化变换系数进行逆量化而生成逆量化变换系数；对所述逆量化变换系数进行逆变换而生成预测残差信号；使用解码图像信号进行预测而生成预测图像信号；以及通过将所述预测图像信号与所述预测残差信号相加而生成解码图像信号。
附图说明
图1是表示第一实施方式的图像编码装置的框图。
图2是表示编码帧内的编码顺序的图。
图3是表示量化块尺寸的图。
图4A是表示4×4像素块的图。
图4B是表示8×8像素块的图。
图5A是表示4×4像素块的频率位置的图。
图5B是表示8×8像素块的频率位置的图。
图6是表示图1中的量化矩阵调制部的框图。
图7是表示图6中的调制矩阵设定部的框图。
图8是表示调制矩阵的调制模型的一例的图。
图9是表示调制矩阵的调制模型的另一例的图。
图10是表示图6中的调制量化矩阵生成部的框图。
图11A是对编码条带的条带量化矩阵进行说明的图。
图11B是对编码条带的块量化矩阵进行说明的图。
图11C是对块量化矩阵与调制矩阵以及调制量化矩阵的关系进行说明的图。
图11D是对编码条带的调制量化矩阵进行说明的图。
图12是表示第一实施方式中的编码处理的过程的流程图。
图13是第一实施方式中的语法(syntax)结构的概要图。
图14是表示第一实施方式中的序列参数集语法的数据结构的一例的图。
图15是表示第一实施方式中的图像参数集语法的数据结构的一例的图。
图16是表示第一实施方式中的条带头语法的数据结构的一例的图。
图17是表示第一实施方式中的宏块头语法的数据结构的一例的图。
图18是表示第一实施方式中的宏块头语法的数据结构的一例的图。
图19是表示第一实施方式中的条带头语法的数据结构的一例的图。
图20是表示第一实施方式中的语法元素的语义(semantics)的图。
图21是表示第二实施方式的图像编码装置的框图。
图22是表示第三实施方式的图像编码装置的框图。
图23是表示第四实施方式的图像编码装置的框图。
图24是表示第四实施方式中的精度调制索引与量化参数变动值以及量化尺度变动值的关系的图。
图25是表示第四实施方式中的序列参数集语法的数据结构的一例的图。
图26是表示第四实施方式中的图片参数集语法的数据结构的一例的图。
图27是表示第四实施方式中的条带头语法的数据结构的一例的图。
图28是表示第四实施方式中的宏块头语法的数据结构的一例的图。
图29是表示一实施方式的条带头语法的数据结构的一例的图。
图30是表示第五实施方式的图像解码装置的框图。
图31是表示第六实施方式的图像解码装置的框图。
图32是表示第七实施方式的图像解码装置的框图。
图33是表示第八实施方式的图像解码装置的框图。
具体实施方式
下面参照附图对本发明的实施方式进行说明。
<图像编码装置>
首先，对图像编码相关的第一至第四实施方式进行描述。
(第一实施方式)
参考图1，本发明的第一实施方式的图像编码装置中，运动图像或静止图像的输入图像信号120被分割为小像素块单位、例如宏块单位，输入到编码单元100。这里，宏块作为编码处理的基本的处理块尺寸(size)。下面将输入图像信号120的编码对象宏块简单称为对象块。
在编码单元100中，准备有块尺寸或预测图像信号的生成方法不同的多个预测模式。预测图像信号的生成方法具体而言大致分为仅在编码对象的帧内生成预测图像的帧内预测，以及使用时间上不同的多个参考帧进行预测的帧间预测。本实施方式中，为了简单说明，如图2所示假设从左上向右下进行编码处理。
宏块典型地例如是图3所示的16×16像素块。但是，宏块也可以是32×32像素块单位，还可以是8×8像素块单位。另外，宏块的形状未必是正方格子。
对编码单元100进行说明。通过由减法器101取输入图像信号120与来自预测器102的预测图像信号121之差，生成预测残差信号122。预测残差信号122被输入到模式判定部103以及变换器104中。后面会对模式判定部103进行说明。在变换器104中，通过对预测残差信号122实施例如离散余弦变换(DCT)这样的正交变换，生成变换系数123。变换器104中的变换也可以使用离散正弦变换、小波变换、或独立成分分析等方法。
从变换器104输出的变换系数123被输入到量化器105中。在量化器105中，例如根据由编码控制部113提供的量化参数与由后述的量化矩阵调制部110生成的调制量化矩阵133对变换系数123进行量化，生成量化变换系数124。
量化变换系数124被输入到逆量化器106以及熵编码器111中。后面会对熵编码器111进行说明。在逆量化器106中，对于量化变换系数124，例如通过根据从编码控制部113提供的量化参数与调制量化矩阵133实施逆量化，生成逆量化变换系数125。
对于来自逆量化器106的逆量化变换系数125，在逆变换器107中实施与变换器104的变换相反的变换、例如实施反离散余弦变换(IDCT)这样的逆正交变换。通过该逆正交变换，再生与预测残差信号122相同的信号(称为解码预测残差信号)126。解码预测残差信号126被输入到加法器108中。在加法器108中，通过将解码预测残差信号126与来自预测器102的预测图像信号121相加，生成局部解码信号127。局部解码信号127作为参考图像信号被存储在参考存储器109中。被存储在参考存储器109中的参考图像信号在利用预测器102进行预测时被参考。
在预测器102中，利用被存储在参考存储器107中的参考图像信号的像素(已编码参考像素)，进行帧间预测或帧内预测。其结果，通过预测器102生成对于对象块可选择的所有预测图像信号121。但是，关于像H.264的帧内预测、例如图4A所示的4×4像素块尺寸预测或图4B所示的8×8像素块尺寸预测那样，如果不在对象块内作成局部解码信号则无法进行接下来的预测这样的预测模式来说，也可以在预测器102的内部进行变换/量化以及逆量化/逆变换。
作为预测器102中的预测模式的例子，对帧间预测进行说明。利用帧间预测来预测对象块时，使用被存储在参考存储器109中的多个已编码参考像素进行块匹配。在块匹配中，计算作为原图像的输入图像信号120的对象块的像素与多个参考像素之间的偏移量。利用该偏移量预测的图像之中与原图像之差小的图像作为预测图像信号121从预测器102输出。该偏移量以整数像素精度或分数像素精度计算，表示该偏移量的信息作为运动矢量信息128被附加到预测模式信息129中。
由预测器102生成的预测图像信号121、以及所述预测残差信号122被输入到模式判定部103中。在模式判定部103中，根据输入图像信号120、预测图像信号121、预测残差信号122、表示在预测器102中使用的预测模式的模式信息129、以及后述的调制索引132，进行最佳的预测模式的选择(将其称为模式判定)。
进一步具体说明，模式判定部103进行使用了下式所示的代价(cost)的模式判定。设与预测模式信息129相关的编码量为OH、调制索引132的编码量为INDEX、输入图像信号120与局部解码信号127之间的差分绝对值和为SAD，则模式判定部103使用以下的模式判定式。
K＝SAD+λ×(OH+INDEX)                               (1)
这里，K表示代价，λ表示常数。λ根据量化尺度或量化参数的值确定。基于如此获得的代价K，进行模式判定。即，赋予代价K为最小的值的模式被选择为最佳的预测模式。
在模式判定部103中，代替式(1)，也可以仅使用(a)预测模式信息129、仅使用(b)调制索引132、仅使用(c)SAD、或者仅使用(d)预测残差信号122的绝对和来进行模式判定，也可以利用对这些(a)(b)(c)以及(d)的任何一个实施哈达玛(Hadamard)变换而得到的值，或者与其近似的值。进而，在模式判定部103中也可以使用输入图像信号120的活动性(activity)建立代价，还可以利用量化尺度或量化参数建立代价函数。
另外，作为另一例，也可以准备临时编码单元，在模式判定部103中通过临时编码单元，使用实际对在某预测模式下生成的预测残差信号122进行了编码时的编码量、以及输入图像信号120与局部解码信号127之间的平方误差来进行模式判定。此时的模式判定式如下所示。
J＝D+λ×R        (2)
这里，J为编码代价，D为表示输入图像信号120与局部解码图像116之间的平方误差的编码失真。另一方面，R表示通过临时编码估计的编码量。
使用式(2)的编码代价J时，由于每个预测模式都需要临时编码与局部解码处理，因此电路规模或运算量增大。相反，由于使用更正确的编码量与编码失真，因此能够维持高编码效率。代替式(2)，也可以仅使用R、或仅使用D算出代价，也可以使用与R近似的值或与D近似的值建立代价函数。下面使用式(2)所示的编码代价J进行说明。
从模式判定部103输出的预测模式信息129(包括运动矢量信息)被输入到熵编码器111中。熵编码器111中，对于量化变换系数124、预测模式信息129、量化矩阵131以及调制矩阵132等信息，进行熵编码，例如进行霍夫曼(Huffman)编码或算术编码等，生成编码数据。
由熵编码器111生成的编码数据从编码单元100输出，经过复用暂时存储在输出缓冲器112中。被存储在输出缓冲器112中的编码数据根据编码控制部113管理的输出定时，作为编码比特流130向图像编码装置的外部输出。编码比特流130被发送到未图示的存储系统(存储介质)或者传输系统(通信网络)中。
(关于量化矩阵调制部110)
在量化矩阵调制部110中，对由编码控制部113提供的量化矩阵131，通过根据来自模式判定部103的调制索引132实施调制，生成调制量化矩阵133。调制量化矩阵133被提供到量化器105以及逆量化器106，用于量化以及逆量化。
进一步具体说明，根据调制量化矩阵133在量化器105进行的量化用下式表示。
Y(i，j)＝(X(i，j)×MQM(i，j，idx)+f)/Qstep          (3)
这里，Y表示量化变换系数124，X表示量化前的变换系数123。f为控制量化中的舍入/舍去的化整偏置(rounding offset)。Qstep表示量化尺度(也称为量化步长、或量化幅度)。Qstep的值大时进行粗量化，小时进行细量化。Qstep根据量化参数而变更。(i，j)以xy坐标表示量化器105中的量化块内的频率成分位置。(i，j)根据量化块是图5A所示的4×4像素块，还是图5B所示的8×8像素块等而不同。
一般而言，变换块尺寸与量化块尺寸一致。本实施方式中，具有多个块尺寸的变换量化块尺寸。变换量化块尺寸被设定作为不同的预测模式，作为不同的预测模式而由模式判定部103判断。
式(3)中的MQM表示调制量化矩阵133，idx表示调制索引132。调制索引132是与由量化矩阵调制部110进行的量化矩阵131的调制相关的索引。关于调制索引132，后面会详细说明。
当分离变换系数123的符号时，式(3)变形为如下所示。
Y(i，j)＝sign(X(i，j))×(abs(X(i，j))×MQM(i，j，idx)+f)/Qstep      (4)
这里，sign(X)为返回X的符号的函数，表示变换系数123的符号。abs(X)为返回X的绝对值的函数。
为了使运算简单化，以2的幂乘设计量化尺度Qstep时，式(3)变形为如下所示。
Y(i，j)＝sign(X(i，j))×(abs(X(i，j))×MQM(i，j，idx)+f)＞＞Qbit    (5)
这里，Qbit表示以2的幂乘设计的量化尺度。
此时，可以用位移(bit shift)来置换除法，能够减少除法所需要的处理量。
为了尽可能控制运算精度，也可按每个频率成分变更运算精度。此时，式(3)变形为如下所示。
Y(i，j)＝sign(X(i，j)×(abs(X(i，j))×MQM(i，j，idx)×LS(i，j)+f)＞＞Qbit
                                                                     (6)
这里，LS为用于按每个频率成分调整量化处理的运算精度的运算精度控制参数。即，LS用于在进行量化处理时按每个频率位置改变运算的尺度，被称为级别尺度(LevelScale)或规范调整(normAdjust)等。运算精度控制参数LS利用变换系数的高频成分(图5A以及图5B各自的右下的区域)发生绝对值大的值的概率低的性质。为了在量化与逆量化中使运算的尺度对应，需要设计LS与后述的ILS。
接下来，对从量化矩阵调制部110输出的调制量化矩阵133进行说明。被调制前的量化矩阵131是能够按变换系数123的每个频率成分改变量化粗度的矩阵。下式示出与4×4像素块对应的量化矩阵131的例子。
QM ( i , j ) = 16 20 24 28 20 24 28 32 24 28 32 36 28 32 36 40 - - - ( 7 )
图5A与式(7)的频率成分(i，j)一一对应，越是右下的值表示与越高频成分对应的矩阵值。例如，频率位置(0，3)的矩阵值为28。量化矩阵131与调制量化矩阵133的关系用下式表示。
MQM(i，j，idx)＝(QM(i，j)+MP(idx))                    (8)
这里，QM表示量化矩阵131，MQM表示调制量化矩阵133。MP表示示出调制强度的调制参数。此时，调制索引132指示如式(8)所示的调制方法(通过调制参数的相加来对量化矩阵进行调制的方法)和调制参数MP。此外，调制索引132也可以是描述了这种调制方法的表的编号。
式(8)中示出了通过将量化矩阵QM与调制参数MP相加来调制QM的例子，但另外，在QM与MP之间也可以进行减法、乘法、除法或位移等来调制QM。
另一方面，对于量化矩阵QM，按每个频率成分进行不同的调制时，使用下式。
MQM(i，j，idx)＝(QM(i，j)+MM(i，j，idx))                    (9)
这里，MM表示调制矩阵。此时，调制索引132指示如式(9)所示的调制方法(通过调制矩阵的相加来对量化矩阵进行调制的方法)和调制矩阵MM。此外，调制索引132也可以是描述了这种调制方法的表的编号。
这里，示出了通过将量化矩阵QM与调制矩阵MM相加来调制QM的例子，但另外，在QM与MM之间也可以进行减法、乘法、除法或位移等来调制QM。这与如下意思同样，即式(8)与式(9)的调制矩阵MM的所有成分取相同的值。
式(10)示出对于4×4尺寸的量化块的调制矩阵MM的例子。调制矩阵MM也与量化矩阵QM同样，与图5A所示的频率位置的关系一一对应。
MM ( i , j ) = 0 1 2 3 1 2 3 4 2 3 4 5 3 4 5 6 - - - ( 10 )
当量化矩阵QM对于频率成分为固定值时，也可以使用下式代替式(10)。
MQM(i，j，idx)＝(QM+MM(i，j，idx))                     (11)
这里，QM表示QM(i，j)的所有成分取相同的值。
调制参数MP以及调制矩阵MM是为了对量化矩阵QM实施调制而引入的。在不进行QM的调制时，或MP为0、或MM的所有成分为0时，与如下意思同样，即MQM用下式算出。
MQM(i，j，idx)＝(QM(i，j))                             (12)
在不进行量化矩阵QM的调制时，将下式所示的调制矩阵MM代入到式(9)也能获得与式(12)相同的结果。
MM Init ( i , j ) = 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 - - - ( 13 )
如此，在量化器105中进行使用了调制量化矩阵133(MM)的量化。这里，从编码控制部113对量化矩阵调制部110提供量化矩阵131作为输入参数，但也可以不对量化矩阵调制部110提供量化矩阵131。此时，在量化矩阵调制部110中设定有预先决定的初始量化矩阵、例如下式所示的矩阵QMInt(i，j)。
QM Init ( i , j ) = 16 16 16 16 16 16 16 16 16 16 16 16 16 16 16 16 - - - ( 14 )
式(14)中示出初始量化矩阵QMInt(i，j)的所有的值为16的例子，但也可以是其他值，还可以按每个频率成分设定不同的值。只要设定在图像编码装置与图像解码装置之间预先决定的相同的初始量化矩阵即可。
量化与逆量化所需的量化参数在编码控制部113中设定。由量化器105以及逆量化器106利用的量化参数一一对应。从量化器105输出的量化变换系数124与调制量化矩阵133都被输入到逆量化器106中。在逆量化器106中，对由量化器105提供的量化变换系数124，使用调制量化矩阵133与量化参数进行逆量化。与式(3)的量化对应的逆量化用下式表示。
X′(i，j)＝(Y(i，j)×MQM(i，j，idx)×Qstep    (15)
这里，Y表示量化变换系数124，X’表示逆量化变换系数125。MQM表示量化时利用的调制量化矩阵132。
与式(4)的量化对应的逆量化用下式表示。
X′(i，j)＝sign(Y(i，j))×(abs(Y(i，j))×MQM(i，j，idx))×Qstep    (16)
这里，sign(Y)是返回Y的符号的函数。
为了使运算简单化，设Qstep为2的幂乘时，与式(5)对应的逆量化用下式表示。
X′(i，j)＝sign(Y(i，j))×(abs(Y(i，j))×MQM(i，j，idx))＜＜Qbit    (17)
根据式(17)，可以用位移置换乘法，能够减少乘法所需要的处理量。
另一方面，为了控制运算精度，按每个频率成分变更运算精度，与式(6)对应的逆量化用下式表示。
X′(i，j)＝sign(Y(i，j))×(abs(Y(i，j))×MQM(i，j，idx)×ILS(i，j))＜＜Qbit
                                                                    (18)
这里，ILS为用于按每个频率成分调整逆量化处理的运算精度的运算精度控制参数。ILS是在进行逆量化处理时为了按每个频率位置改变运算的尺度而使用，被称为级别尺度(LevelScale)或规范调整(normAdjust)等。作为ILS，使用与在量化中利用的运算精度控制参数对应的值。下式表示H.264高端类的逆量化(误差信号4×4像素块)。即，在H.264中为了以较少的运算量实现16位的运算精度，进行下式所示的逆量化。
X′(i，j)＝sign(Y(i，j))×(abs(Y(i，j))×ILS(m，i，j))＜＜(QP/6)        (19)
这里，级别尺度ILS(m，i，j)是由式(20)定义的值，QP是取从0到51的值的量化参数。
ILS(m，i，j)＝QM(i，j)×Norm(m，i，j)                                   (20)
这里，Norm(m，i，j)是由式(5)表示的尺度调整参数，各要素由式(6)表示。
Norm ( m , i , j ) = v m , 0 for ( i , j ) = { ( 0,0 ) , ( 0,2 ) , ( 2,0 ) , ( 2,2 ) } v m , 1 for ( i , j ) = { ( 1,1 ) , ( 1,3 ) , ( 3,1 ) , ( 3,3 ) } v m , 2 otherwise ; - - - ( 21 )
v mn = 10 16 13 11 18 14 13 20 16 14 23 18 16 25 20 18 29 23 - - - ( 22 )
对于逆量化器106也由编码控制部113设定在量化器105中量化时利用的量化参数。据此，量化器105以及逆量化器106双方必然利用相同的量化参数。进一步，在量化器105以及逆量化器106中利用相同的调制量化矩阵133。
将图1中的减法器101→变换器104→量化器105→逆量化器106→逆变换器107→加法器108→参考存储器109的环称为编码环。当对于在对象块中可选择的一个预测模式、一个调制索引以及一个块尺寸的组合进行处理时，巡回编码环。这里所称的组合具体而言例如是指：内部预测模式、调制索引0以及8x8块尺寸的组合；外部预测模式、调制索引0以及4x4块尺寸的组合等。对于对象块，多次进行这样的编码环的处理，取得的所有组合结束时，输入下一块的输入图像信号120，进行下一个编码。
编码控制部113通过进行发生编码量的反馈控制、量化特性控制以及模式判定控制等，进行整个编码处理的控制，如进行发生编码量的控制的速率控制、预测器102的控制、外部输入参数的控制等。编码控制部113还进行输入缓冲器112的控制，具有在适当的定时使编码比特流130输出到外部的功能。
编码单元100以及编码控制部113的处理也能够通过硬件实现，还能够使用计算机通过软件(程序)实现。
(量化矩阵调制部110的具体例)
接下来，说明量化矩阵调制部110的具体例。如图6所示，量化矩阵调制部110具有调制矩阵设定部201与调制量化矩阵生成部202。从图1中的模式判定部103输出的调制索引132被输入到调制矩阵设定部201中。从图1中的编码控制部113作为输入参数而设定的、或者预先保持的量化矩阵131被输入到调制量化矩阵生成部202中。
在调制矩阵设定部201中，对于调制量化矩阵生成部202设定与调制索引132对应的调制矩阵134。在调制量化矩阵生成部202中，通过使用调制矩阵134对量化矩阵131实施调制，生成调制量化矩阵133。生成的调制量化矩阵133从量化矩阵调制部110输出。
(调制矩阵设定部201)
如图7所示，调制矩阵设定部201具有切换器301、生成方法或调制参数不同的调制矩阵生成部302、303以及304。切换器301按照输入进来的调制索引132的值进行切换，具有使调制矩阵生成部302、303以及304中的某一个运行的功能。例如，当调制索引132为idx＝0时，切换器301使调制矩阵生成部302动作。同样地，当idx＝1时，切换器301使调制矩阵生成部303动作，当idx＝N-1时使调制矩阵生成部304动作。利用动作的调制矩阵生成部生成调制矩阵134。对于调制量化矩阵生成部202设定所生成的调制矩阵134。
说明调制矩阵134的具体的生成方法。这里，示出用于生成调制矩阵134的两个生成模型。以下将调制矩阵134的生成方法称为调制模型。用下式定义如式(24)以及式(25)所示的调制矩阵134的成分的、与第一行第一列的成分起的距离作为市街区距离(city blockdistance)。
r＝|i+j|                                           (23)
例如，在图5A中位于(i，j)＝(3，3)的频率成分的距离为6。另一方面，在如图5B所示的8×8块的情况下，位于(i，j)＝(3，7)的频率成分的距离为10。
在如本实施方式的调制矩阵134被加到量化矩阵131的例子中，量化矩阵131以及调制矩阵134的各频率成分一一对应。也就是r的值(调制矩阵134的矩阵值)越大，对越高频率成分进行调制，r越小则对越低频率成分进行调制。下面对于用于调制量化矩阵131的调制模型进行说明。
图8是由线性函数定义的调制模型，用下式表示。
MM(i，j)＝a×r                                 (24)
式(24)中的a为控制调制的强度的参数。以后将该参数a称为调制控制参数。调制控制参数a取正值时在图8中的第一象限具有值，取负值时在第四象限具有值。据此调制控制参数a越具有大的值，越对于高频成分施加强的调制。
图9是使用线性函数与正弦函数时的调制模型，用下式表示。
MM(i，j)＝a×r+b×sin(c×r)                  (25)
式(25)中的b、c与a同样地是调制控制参数。正弦函数是对于线性函数加上偏斜度的项。调制控制参数c是控制正弦函数变化的周期的参数。调制控制参数b是控制偏斜度的强度的参数。
这里，作为调制模型示出了使用线性函数模型或正弦函数模型的例子，但作为调制模型的其他例子也可以使用对数模型、自相关函数模型、比例/反比例模型、N次函数(N≥1)模型、或者包括高斯函数或拉普拉斯函数的广义高斯函数模型等。使用任何模型时，重要的是与在图像编码装置中利用的调制相同的调制在图像解码装置中也能够利用，这可以通过在图像编码装置中利用调制索引132指示调制模型来实现。
为了方便，使调制矩阵生成部302、303以及304分别与索引0、索引1以及索引N-1对应。但也可以与索引数N的值相应地准备调制矩阵生成部，对于索引的不同值也可以利用相同的调制矩阵生成部。例如，表1至表3示出对于调制索引132的调制模型与调制控制参数的组合例。
表1
  调制索引编号(N＝4)   调制模型   参数a   参数b   参数c
  0   N/A   N/A   N/A
  1   式(24)   -2   N/A   N/A
  2   式(24)   2   N/A   N/A
  3   式(24)   4   N/A   N/A
  ...   ...   ...   ...   ...
表2
  调制索引编号(N＝8)   调制模型   参数a   参数b   参数c
  0   N/A   N/A   N/A
  1   式(24)   -2   N/A   N/A
  2   式(24)   -1   N/A   N/A
  3   式(24)   1   N/A   N/A
  4   式(24)   2   N/A   N/A
  5   式(25)   -1   2   π/4
  6   式(25)   1   2   π/4
  7   式(25)   1   2   π/4
  ...   ...   ...   ...   ...
表3
  调制索引值   调制模型   参数a   参数b   参数c
  ...   ...   ...   ...   ...
  -3   式(24)   -3   N/A   N/A
  -2   式(24)   -2   N/A   N/A
  -1   式(24)   -1   N/A   N/A
  0   式(24)   0   N/A   N/A
  1   式(24)   1   N/A   N/A
  2   式(24)   2   N/A   N/A
  3   式(24)   3   N/A   N/A
  ...   ...   ...   ...   ...
在表1至表3中，用N/A示出的记号意味着在当前规定的调制模式下不利用对象参数。索引0表示不进行调制的情况，即利用式(12)的情况。
表1是用2比特(如N＝4)规定调制索引时的调制模型与调制控制参数的组合例。此时，由于仅利用式(24)所示的调制模型，所以图7中的调制矩阵生成部只要一个即可。按照调制索引，读取预先设定的调制控制参数a，生成调制矩阵。
表2示出用3比特(如N＝8)规定调制索引，且使用多个调制模型时的例子。此时，利用式(24)以及式(25)的两个调制模型。与表1同样，按照预先决定的调制控制参数生成调制矩阵。
如表1所示，在使用仅用一个调制控制参数表现的调制模型时，也可以将调制索引的值与调制控制参数直接对应。此时的例子如表3所示。在表1以及表2的对应中，根据预先制定的表生成调制矩阵，与此相对，在表3的情况下可以直接变更量化矩阵的调制的强度。即，无需预先设定，而可以根据需要直接设定大的值来生成调制矩阵。
(调制量化矩阵生成部202)
如图10所示，调制量化矩阵生成部202具有算术运算器501。算术运算器401可以进行加法以及减法、乘法、除法以及位移等基本运算。另外，组合这些基本运算，也可以进行矩阵的加法、减法、乘法以及除法等。
在算术运算器401中，输入来自调制矩阵设定部203的调制矩阵与来自编码控制部113的量化矩阵131，对量化矩阵131实施调制。在本实施方式中，通过如式(9)所示的调制矩阵(MM)的加法来调制量化矩阵131，生成调制量化矩阵133。生成的调制量化矩阵133从调制量化矩阵生成部202输出。
接下来，使用图11A、图11B、图11C以及图11D对量化矩阵的调制进行说明。图11A示出在如式(12)那样不利用调制矩阵时，分配给各个宏块的量化矩阵。此时，由于对于编码条带的所有宏块适用相同的量化矩阵131，所以在图11A中将量化矩阵记载为条带量化矩阵。
另一方面，图11B示出使用两个调制矩阵时(N＝2)的例子。另外，图11D示出使用图11C所示的四个调制矩阵时(N＝4)的例子。图11C示出由调制矩阵设定部203对量化矩阵131设定的四个调制矩阵203。在调制量化矩阵生成部202中通过进行基于如式(9)所示的调制矩阵(MM)的加法的调制，如图11B以及图11D所示可以在编码条带内的局部区域生成特性不同的量化矩阵(称为块量化矩阵)。据此，能够在编码条带内的局部区域适用不同的量化矩阵。
(编码处理步骤)
接下来，使用图12对本实施方式中的图像编码的处理过程进行说明。当运动图像信号被输入到图像编码装置中时，读入一张编码对象的运动图像帧(步骤S001)，读入的运动图像帧被分割为多个宏块，宏块单位的输入图像信号120被输入到编码单元100中(步骤S002)。此时，在模式判定部103中进行预测模式：mode与调制索引132：index的初始化以及编码代价：min_cost的初始化(步骤S003)。
接下来，在预测器102中使用输入图像信号120，生成对于对象块可选择的一个模式中的预测图像信号121(步骤S004)。虽然在图12中省略了，但接下来取输入图像信号120与生成的预测图像信号121的差分，生成预测残差信号122。生成的预测残差信号122通过变换器104被正交变换(步骤S006的前半部)。通过该正交变换生成的变换系数123被输入到量化器105中。
另一方面，按照由模式判定部103选择的调制索引132：index的值设定调制矩阵(步骤S005)。由量化矩阵调制部110使用设定的调制矩阵生成调制量化矩阵132，由量化器105使用调制量化矩阵132进行变换系数123的量化(步骤S006的后半部)。这里进行编码失真D与编码量R的计算，使用式(3)计算编码代价：cost(步骤S007)。
模式判定部103判别计算出的编码代价：cost是否小于最小代价：min_cost(步骤S008)。当cost小于最小代价min_cost时(S008的结果为YES时)，用cost更新min_cost，并且将此时的预测模式作为best_mode保持，进一步将此时的调制索引132：index作为best_index保持(步骤S009)。同时，将预测图像信号121暂时保持在内部存储器中(步骤S010)。
另一方面，当cost大于最小代价min_cost时(S008的结果为NO时)，增加调制索引132：index，判定增加后的index是否是调制索引132的最后(步骤S011)。当index大于调制索引132的最后的编号IMAX时(S011的结果为YES时)，best_index的信息被送到熵编码器111中。另一方面，当index小于IMAX时(S011的结果为NO时)，使用更新的调制索引index再次执行所述编码环的处理。
在步骤S010的结果为YES时，接下来增加预测模式：mode，判定增加后的mode是否是预测模式的最后(步骤S012)。当mode大于预测模式的最后的编号MMAX时(S012的结果为YES时)，best_mode的预测模式信息以及量化的变换系数123被送到熵编码器111中，进行变换系数111与已经确定的调制索引132的熵编码(步骤S013)。另一方面，当mode小于MMAX时(S012的结果为NO时)，对于用下一个mode所示的预测模式进行所述编码环的处理。
在进行best_mode以及best_index下的编码时，量化变换系数124被输入到逆量化器106中，基于与量化时利用的调制索引相同的best_index进行逆量化(步骤S014的前半部)。进而，被逆量化的变换系数125被输入到逆变换器107中，进行逆变换(步骤S014的后半部)。将再生的预测残差信号126与由模式判定部103提供的best_mode的预测图像信号124进行相加，由此生成的解码图像信号127被保存在参考存储器109中(步骤S015)。
这里，进行1帧的编码处理是否结束的判定(步骤S016)。处理完成时(S016的结果为YES时)，输入下一帧的图像信号，进行编码处理。另一方面，1帧的编码处理未完成时(S016的结果为NO时)，输入下一对象块的图像信号，继续编码处理。
(语法的编码方法)
接下来，对本实施方式所使用的语法的编码方法进行说明。图13示出本实施方式所使用的语法的结构的概要。语法主要由三个部分组成。在高级语法501中，装入条带以上的上位层的语法信息。在条带级语法502中，明确记载每个条带所需要的信息，在宏块级语法503中，明确记载每个宏块所需要的量化参数的变更值或模式信息等。
语法501至503由更详细的语法构成。高级语法501包括序列参数集语法504和图片参数集语法505等序列级以及图片级的语法。条带级语法502包括条带头语法506以及条带数据语法507等。宏块级语法503包括宏块层语法508以及宏块预测(prediction)语法509等。
本实施方式中所需要的语法信息是序列参数集语法504、图片参数集语法505、条带头语法506以及宏块层语法508，下面对这些各语法504至506进行说明。
图14的序列参数集语法内所示的seq_moduletaed_quantization_matrix_flag是表示是否针对每个序列变更可否利用量化矩阵的调制、即量化器105是否使用调制量化矩阵133进行量化(是否使用调制前的量化131进行量化)的标志。当该标志seq_moduletaed_quantization_matrix_flag为TRUE时，能够以序列单位切换是否利用量化矩阵的调制。另一方面，当该标志seq_moduletaed_quantization_matrix_flag为FALSE时，在序列内不能使用量化矩阵的调制。
图15的图片参数集语法内所示的pic_moduletaed_quantization_matrix_flag是表示是否针对每个图片变更可否利用量化矩阵的调制的标志。当该标志pic_moduletaed_quantization_matrix_flag为时，能够以图片单位切换是否利用量化矩阵的调制。另一方面，当该标志pic_moduletaed_quantization_matrix_flag为FALSE时，在图片内不能使用量化矩阵的调制。
图16的条带头语法内所示的slice_moduletaed_quantization_matrix_flag是表示是否针对每个条带变更可否利用量化矩阵的调制的标志。当该标志slice_moduletaed_quantization_matrix_flag为TRUE时，能够以条带单位切换是否利用量化矩阵的调制。另一方面，当该标志slice_moduletaed_quantization_matrix_flag为FALSE时，在条带内不能使用量化矩阵的调制。
图17的宏块层语法内所示的modulation_index表示调制索引。语法中的coded_block_pattern是表示在该块中是否发生变换系数的索引。当该索引coded_block_pattern为0时，由于在该宏块内不发生变换系数，所以解码时无需进行逆量化。此时，由于没有必要发送与量化矩阵相关的信息，所以不发送modulation_index。
另一方面，语法中的mode是表示预测模式的索引。当该索引mode选择skip模式时，该块同样不发送变换系数。因此，不发送modulation_index。CurrentModulatedQuantizationMatrixFlag在seq_moduletaed_quantization_matrix_flag、pic_moduletaed_quantization_matrix_flag以及slice_moduletaed_quantization_matrix_flag中的至少一个标志为TRUE时变为TRUE，不满足上述条件时取FALSE。当该标志CurrentModulatedQuantizationMatrixFlag为FALSE时，不发送modulation_index，对于调制索引132设定与0对应的值。关于modulation_index，如表1以及表2所示，预先持有针对每个索引决定了调制模型与调制控制参数的表。
也可以将图17所示的macroblock_data语法变更为图18所示的语法。在图18的语法中，代替图17的语法中的modulation_index发送modulation_strength。如前所述，关于modulation_index预先持有决定了调制模型与调制控制参数的表。另一方面，modulation_strength是调制模型被固定，直接发送其调制控制参数的值。即，图18的语法与表3说明的方式对应。此时，用于发送modulation_strength的发送编码量普遍增大，相反用于变更量化矩阵的调制强度的自由度提高，所以能够实现更灵活的量化。因此，考虑编码量与解码图像的平衡，选择图17的语法与图18的语法的任意一个即可。
图18中的CurrentModulatedQuantizationMatrixFlag在seq_moduletaed_quantization_matrix_flag、pic_moduletaed quantization_matrix_flag以及slice_moduletaed_quantization_matrix_flag中的至少一个标志为TRUE时变为TRUE，不满足上述条件时取FALSE。当该标志CurrentModulatedQuantizationMatrixFlag为FALSE时，不发送modulation_strength，对于调制索引132设定与0对应的值。
进一步作为其他例子，也可以将图16所示的条带头语法变为如图19所示的语法。图19的语法与图16的语法的差别点在于：当slice_moduletaed_quantization_matrix_flag为TRUE时，追加发送slice_modulation_length、slice_modulation_model以及slice_modulation_type这三个索引。
图20中示出对这些语法元素的语义的例子。slice_modulation_length表示调制索引132的最大值。例如，当该slice_modulation_length为2时，意味着能够利用N＝4种调制矩阵。slice_modulation_model表示利用的调制模型。例如，当该slice_modulation_model为0时意味着利用式(19)，为1时意味着分配与式(20)对应的调制模型。slice_modulation_type规定对量化矩阵的调制矩阵的调制运算方法。例如，当该slice_modulation_type为0时意味着进行基于加法的调制，为4时意味着进行基于位移的调制。
如以上说明所示，在第一实施方式中对量化矩阵进行调制，使用调制量化矩阵对变换系数进行量化/逆量化，对表示量化变换系数与量化矩阵的调制方法的调制索引进行熵编码。因此，与以往技术相比较能够维持更高的编码效率，并且实现不增加解码侧的运算代价的编码。即，能够按照对象块的内容等进行合适的编码。
(第二实施方式)
量化器105以及逆量化器106进行与式(6)以及式(18)对应的量化/逆量化时，代替如第一实施方式那样对量化矩阵进行调制，也可以对控制量化/逆量化时的运算精度的运算精度控制参数进行调制。此时，式(6)以及式(18)分别变更为如下。
Y(i，j)＝sign(X(i，j))×(abs(X(i，j))×QM(i，j)×MLS(i，j，idx)+f)＞＞Qbit
                                                                        (26)
X′(i，j)＝sign(Y(i，j))×(abs(Y(i，j))×QM(i，j)×IMLS(i，j，idx))＜＜Qbit
                                                                        (27)
这里，MLS以及IMLS是被调制的运算精度控制参数，用下式表示。
MLS(i j，idx)＝(LS(i，j)+MM(i，j，idx))                                 (28)
IMLS(i，j，idx)＝(ILS(i，j)+MM(i，j，idx))                              (29)
如此对运算精度控制参数LS以及ILS进行调制的情况，与通过进行调制矩阵的值的调整来对量化矩阵进行调制的情况大致同等。利用式(26)以及式(27)时，使用加法、减法、乘法、除法以及位移等调制运算精度控制参数LS以及ILS即可。
图21示出第二实施方式的图像编码装置，图1所示的第一实施方式的图像编码装置中的量化矩阵调制部110被置换为运算精度控制参数调制部140。
在运算精度控制参数调制部140中，从编码控制部113提供与式(28)中的LS或式(29)中的ILS相当的运算精度控制参数141，另外从模式判定部103提供与式(26)至(29)中的idx相当的、表示调制方法的调制索引142。在运算精度控制参数调制部140中，根据由调制索引142示出的调制方法对运算精度控制参数141实施调制，生成与式(28)的MLS或式(29)的MILS相当的、被调制的运算精度控制参数(称为调制控制参数)143。
调制控制参数143被提供到量化器105以及逆量化器106。在量化器105以及逆量化器106中，根据调制控制参数143进行变换系数123的量化以及量化变换系数124的逆量化。
如此根据第二实施方式，通过进行与第一实施方式中的量化矩阵的调制同等的处理、即控制量化/逆量化时的运算精度的运算精度控制参数的调制，从而能够获得与第一实施方式同样的效果。
(第三实施方式)
量化器105以及逆量化器106进行与式(4)以及式(16)对应的量化/逆量化时，代替如第一实施方式那样对量化矩阵进行调制，也可以对量化参数进行调制。此时，式(4)以及式(16)分别变更为如下。
Y(i，j) ＝sign(X(i，j))×(abs(X(i，j))×QM(i，j)×LS(i，j)+f)/(QPstep(i，j，idx))
                                                                            (30)
X′(i，j)＝sign(Y(i，j))×(abs(Y(i，j))×QM(i，j)×ILS(i，j))×(QPstep(i，j，idx))
                                                                            (31)
这里，QPstep是调制量化参数，用下式表示。
QPstep(i，j，idx)＝(Qstep+MM(i，j，idx))                                    (32)
这里，Qstep是量化参数。
如此对量化参数Qstep进行调制，与对量化矩阵进行调制具有同样意思。对于式(5)与式(17)、式(6)与式(18)这样的量化/逆量化，也可以通过调整运算精度控制参数来对量化参数进行调制。
图22示出第三实施方式的图像编码装置，图1所示的第一实施方式的图像编码装置中的量化矩阵调制部110被置换为量化参数调制部150。
在量化参数调制部150中，从编码控制部113提供与式(32)中的Qstep相当的量化参数151，另外从模式判定部103提供与式(30)至(31)中的idx相当的、表示调制方法的调制索引152。在量化参数调制部150中，根据由调制索引152示出的调制方法对量化参数151实施调制，生成与式(30)至(32)的QPstep相当的调制量化参数(称为调制量化参数)153。
调制量化参数153被提供到量化器105以及逆量化器106。在量化器105以及逆量化器106中，根据调制量化参数153进行变换系数123的量化以及量化变换系数124的逆量化。
如此根据第三实施方式，通过进行与第一实施方式中的量化矩阵的调制同等的处理、即量化/逆量化时的量化参数的调制，从而能够获得与第一实施方式同样的效果。
(第四实施方式)
图23示出本发明的第四实施方式的图像编码装置，图1所示的第一实施方式的图像编码装置中的量化矩阵调制部110被置换为量化尺度表调制部160。
在量化尺度表调制部160中，从编码控制部113提供后述的量化尺度表161，另外从模式判定部103提供表示调制方法的调制索引162。在量化尺度表调制部160中，根据由调制索引162示出的调制方法对量化尺度表161实施调制，生成调制量化尺度表163。
调制量化尺度表163被提供到量化器105以及逆量化器106。量化器105以及逆量化器106中，根据调制量化尺度表163进行变换系数123的量化以及量化变换系数124的逆量化。
具体说明的话，量化尺度表调制部160具有以下功能：设定由用于决定量化粗度的量化参数控制的量化尺度的变更幅度。此时，由量化器105进行的量化以及由逆量化器106进行的逆量化用下式表示。
Y(i，j)＝(X(i，j)×QM(i，j)×LS(i，j)+f)/QTstep(qp，Tidx)                   (33)
X′(i，j)＝sign(Y(i，j))×(abs(Y(i，j))×QM(i，j)×ILS(i，j))×QTstep(qp，Tidx)
                                                                            (34)
这里，QTstep表示量化尺度，根据该值的大小控制量化粗度。另一方面，qp表示量化参数，根据qp导出决定的量化尺度。Tidx表示对量化尺度表的调制索引162。这里，当变更qp时量化尺度变化，量化粗度也变化。
在H.264这样的以往的运动图像编码方式中，按照量化参数的值导出固定的量化尺度。本实施方式中通过调制索引162，能够在变更了量化参数时变更量化尺度的幅度。
图24示出量化参数与量化尺度的关系。本实施方式中，将如此使量化参数与量化尺度对应起来的表称为量化尺度表。图24中所示的圆圈表示量化参数qp(QP±i；i＝1，2，...)。即，QP是基准的量化参数(称为基准参数)，量化参数qp表示来自QP的变化。另一方面，圆圈间的距离表示量化尺度Δ。
图24(a)示出与调制索引162为Tidx＝0时对应的、不变更量化尺度的精度时(不进行量化尺度表的调制时)的量化尺度表的例子。根据图24(a)，将量化参数qp从基准参数QP起变更了时，量化尺度Δ与量化参数相应地线性变化。这种量化参数的变更如公知那样例如与输出缓冲器112的缓冲量相应地进行。
另一方面，图24(b)是调制索引162为Tidx＝1时的例子，在该例子中，qp增减到±1时的量化尺度Δ扩大至大约2倍。另外，图24(c)是调制索引162为Tidx＝2时的例子，在该例子中，qp增减到±1时的量化尺度Δ削减至一半。另外，图24(d)是调制索引162为Tidx＝3时的例子，在该例子中，qp增减到±2时的量化尺度削减至一半。这里，对量化尺度表进行调制意味着：根据调制索引162使图24(a)所示的基准的量化尺度表变化为如图24(b)(c)以及(d)那样。此时，例如，图24(a)相当于被输入到量化尺度表调制部160中的量化尺度表161，图24(b)(c)以及(d)相当于调制量化尺度表163。
表4中示出与调制索引162：Tidx对应的量化参数的变动值、以及此时的量化尺度的变动值。根据表4，根据提供的qp决定与对象块对应的量化尺度的变更幅度，设定QTstep。将该表信息称为精度调制信息603。如此，通过变更调制索引162，能够以宏块单位变更量化尺度的精度。
表4
Figure G2008800066270D00271
接下来，对本实施方式中的语法进行说明。语法结构与在第一实施方式中说明的图13相同，所以省略说明。
图25的序列参数集语法内所示的seq_moduletaed_quantization_precision_flag是表示是否针对每个序列变更可否利用量化精度的调制的标志。当该标志seq_moduletaed_quantization_precision_flag为TRUE时，能够以序列单位切换是否进行与量化参数对应的量化尺度的精度调制。另一方面，当该标志seq_moduletaed_quantization_precision_flag为FALSE时，在序列内不能使用与量化参数对应的量化尺度的精度调制。
图26的图片参数集语法内所示的pic_moduletaed_quantization_precision_flag是表示是否针对每个图片变更可否利用量化精度的调制的标志。当该标志pic_moduletaed_quantization_precision_flag为TRUE时，能够以图片单位切换是否进行与量化参数对应的量化尺度的精度调制。另一方面，当该标志pic_moduletaed_quantization_precision_flag为FALSE时，在图片内不能使用与量化参数对应的量化尺度的精度调制。
图27的条带头语法内所示的slice_moduletaed_quantization_precision_flag是表示是否针对每个条带变更可否利用量化精度的调制的标志。当该标志slice_moduletaed_quantization_precision_flag为TRUE时，能够以条带单位切换是否进行与量化参数对应的量化尺度的精度调制。另一方面，当该标志slice_moduletaed_quantization_precision_flag为FALSE时，在条带内不能使用与量化参数对应的量化尺度的精度调制。
图28的宏块层语法内所示的precision_modulation_index表示精度调制索引。coded_block_pattern是表示在该块中是否发生变换系数的索引。当该索引coded_block_pattern为0时，由于在该宏块内不发生变换系数，所以解码时无需进行逆量化。此时，由于没有必要发送与量化处理相关的信息，所以不发送precision_modulation_index。
另一方面，mode是表示预测模式的索引。当该索引mode选择skip模式时，该块同样不发送变换系数。因此，不发送precision_modulation_index。
图28中所示的mb_qp_delta表示量化参数的变动值。在H.264这样的以往的运动图像编码方式中为以下语法：对在该宏块的一个之前进行编码的宏块(称为前宏块)的量化参数与该宏块的量化参数的差分值进行编码。mb_qp_delta表示该差分值。当量化参数不变化时，由于该宏块的量化精度不变更，所以mb_qp_delta＝0时不发送precision_modulation_index。
CurrentModulatedQuantizationPrecisionFlag在seq_moduletaed_quantization_precision_flag、pic_moduletaed_quantization_precision_flag以及slice_moduletaed_quantization_precision_flag中的至少一个标志为TRUE时变为TRUE，不满足上述条件时取FALSE。当该标志CurrentModulatedQuantizationPrecisionFlag为FALSE时，不发送precision_modulation_index，内部的调制索引被设定为Tidx＝0。precision_modulation_index如表4所示预先持有针对每个索引决定了量化参数变动值与量化尺度变动值的表。
也可以将图27所示的条带头语法变为如图29所示的语法。根据图29的语法，不是改变可否利用量化精度的调制，而是能够以条带级改变与量化参数对应的量化尺度的调制索引。slice_precision_modulation_index表示与量化参数对应的量化尺度的调制索引。如果想要以更细的宏块级调制精度时，用图28所示的宏块头语法覆盖即可。
这里，CurrentModulatedQuantizationPrecisionFlag在作为条带头之上的语法元素的seq_moduletaed_quantization_precision_flag以及pic_moduletaed_quantization_precision_flag中的至少一个为TRUE时变为TRUE，不满足上述条件时取FALSE。当该标志CurrentModulatedQuantizationPrecisionFlag取FALSE时，不发送slice_precision_modulation_index，内部的调制索引被设定为Tidx＝0。
如以上说明所示，在第四实施方式中，使用可变更量化精度的调制索引，设定适于变换系数的量化精度，对量化参数进行量化/逆量化，对表示量化变换系数与量化精度的调制方法的调制索引进行熵编码。因此，与第一至第三实施方式同样地，能够维持高编码效率，并且实现不增加解码侧的运算代价的编码。即，能够按照对象块的内容等进行合适的编码。
此外，如在第一实施方式中说明那样，在选择的模式下进行编码时，解码图像信号的生成仅就选择的模式进行即可，并不一定在用于预测模式判定的环内执行。
(第一至第四实施方式的变形例)
(1)在第一实施方式中，示出了对于对象块的所有组合重复对编码环进行临时编码的例子。但是，为了使运算处理简单化，可以仅就预先容易选择的预测模式、调制索引以及块尺寸等进行临时编码，省略难以选择的、对象块的组合的处理。通过进行这样的选择性的临时编码，能够抑制编码效率的下降，另外抑制临时编码所需的处理量。
(2)在第一实施方式中，示出了根据如表1至表3所示的调制模型与调制控制参数的组合表，生成调制矩阵的例子。但是，如表1以及表2那样利用的调制矩阵被预先固定时，也可以预先在内部存储器中保持调制矩阵。此时，由于能够省略针对每个宏块生成调制矩阵的处理，所以能够削减运算代价。
(3)在第一实施方式中，说明了为了对量化矩阵进行调制而将量化矩阵与调制矩阵相加的情况。另一方面，在量化矩阵与调制矩阵之间也可以使用减法、乘法、除法或位移对量化矩阵实施调制。另外，也可以组合这些运算进行量化矩阵的调制。
同样地，在第二实施方式中，在运算精度控制参数与调制矩阵之间不仅使用加法，还可以使用减法、乘法、除法或位移对运算精度控制参数实施调制。
同样地，在第三实施方式中，在量化参数与调制矩阵之间不仅使用加法，还可以使用减法、乘法、除法或位移对量化参数实施调制。
(4)在第一实施方式中，为了生成调制矩阵而使用基于市街区距离的生成模型。作为表示频率成分的距离的参数r，不仅是市街区距离，从包括市街区距离、欧几里德(Euclidean)距离等的明可夫斯基(Minkowski)距离之中使用至少一个即可。
(5)在第一至第四实施方式中，对将处理对象帧分割为16×16像素尺寸等短形块，如图2所示从画面左上的块向右下按顺序进行编码的情况进行了说明，但编码顺序并不限于此。例如，也可以从右下向左上按顺序进行编码，还可以从画面中央起呈螺旋状地按顺序进行编码。另外，也可以从右上向左下按顺序进行编码，还可以从画面的周边部向中心部按顺序进行编码。
(6)在第一至第四实施方式中，将量化块尺寸设为4×4像素块、8×8像素块进行了说明，但不需要将对象块设为均匀的块形状，也可以是16×8像素块、8×16像素块、8×4像素块、4×8像素块等块尺寸。另外，在一个宏块内也不需要取均匀的块尺寸，也可以使各自不同尺寸的块混合存在。此时，当分割数增加时，用于编码分割信息的编码量增加，但考虑变换系数的编码量与局部解码图像的平衡，来选择块尺寸即可。
(7)在第一至第四实施方式中示出了变换块尺寸与量化块尺寸相同时的例子，但块尺寸各自不同也能够实现。如上所述，此时也考虑编码量与局部解码图像的平衡，来选择块尺寸的组合即可。
<图像解码装置>
接下来，对图像解码相关的第五至第八实施方式进行描述。
(第五实施方式)
图30示出与使用图1至图20说明的第一实施方式的图像编码装置对应的、第五实施方式的图像解码装置。从图1所示的图像编码装置送出，经过存储系统或传输系统发送来的编码比特流620被暂时存储到输入缓冲器601中。复用的编码数据从输入缓冲器601输入到解码单元600中。
在解码单元600中，编码数据被输入到熵解码器602中。在熵解码器602中，根据第一实施方式中以图13至图20说明的语法，针对每一帧进行基于语法解析的解读。即，在熵解码器602中，根据图13所示的语法结构，对于高级语法、条带级语法以及宏块级语法的每一个，依次进行各语法的代码串的熵解码，解读出量化变换系数621、量化矩阵631、调制索引632、量化参数以及预测模式信息627(包括运动矢量信息)等。
量化变换系数621被输入到逆量化器603中。量化矩阵631以及调制索引632被输入到量化矩阵调制部610中。在量化矩阵调制部610中，使用由调制索引632示出的调制方法来对量化矩阵632进行调制，生成调制量化矩阵633。调制量化矩阵633被提供到逆量化器603。
在逆量化器603中，根据调制量化矩阵633对量化变换系数621实施逆量化。这里需要的与量化相关的参数(例如量化参数等)从熵解码器602被设定到解码控制部609中，在逆量化时读入。
逆量化后的变换系数622被输入到逆变换器604中。在逆变换器604中，对逆量化后的变换系数622进行与图1的图像编码装置中的变换器104中的变换相反的变换、例如IDCT这样的逆正交变换，生成解码预测残差信号623。这里，对逆正交变换的例子进行了说明，但在图1所示的图像编码装置内的变换器104中进行了小波变换或独立成分分析等时，在逆变换器604中进行小波逆变换或逆独立成分分析等。
解码预测残差信号623通过加法器605与来自预测器607的预测图像信号624相加，生成解码图像信号625。解码图像信号625被存储在参考存储器606中的同时，从参考存储器606读出并从解码单元600输出。从解码单元600输出的解码图像信号被暂时存储在输出缓冲器608中后，根据解码控制部609管理的输出定时作为再生图像信号628输出。
由熵解码器602解读出的预测模式信息627被输入到预测器607中。另一方面，从存储有已经解码结束的解码图像信号的参考存储器606中读出的参考图像信号626也被输入到预测器607中。在预测器607中，通过基于预测模式信息627(包括运动矢量信息)进行帧间预测或帧内预测，生成预测图像信号624。预测图像信号642被输入到加法器605中。
解码控制部609进行整个解码处理的控制，包括对输入缓冲器601以及输出缓冲器608的输出定时的控制、解码定时的控制以及参考存储器606的管理。
解码单元600以及解码控制部609的处理也能够通过硬件实现，还能够使用计算机通过软件(程序)实现。
本实施方式中的逆量化器603的处理与图1的图像编码装置中的逆量化器106的处理同样。即，在逆量化器603中，对由熵解码器602解读出的变换系数713，使用调制量化矩阵118与量化参数进行逆量化。这里，逆量化的一例如式(15)所示。另一方面，也可以是考虑了变换系数的符号的式(16)那样的逆量化。为了使运算简单化，还可以是以2的幂乘设计Qstep的式(17)那样的逆量化。为了控制运算精度而针对每个频率成分变更运算精度时，也可以进行如式(18)所示的逆量化。
另一方面，量化矩阵调制部610与图1的图像编码装置中的量化矩阵调制部110同样地，例如图6所示通过调制矩阵设定部201与调制量化矩阵生成部202来实现。调制矩阵设定部201例如图7所示包括切换器301、以及调制矩阵生成部302、303和304。调制量化矩阵生成部202例如图10所示使用算术运算器来实现。量化矩阵调制部610的动作与图1的图像编码装置中的量化矩阵调制部110的动作完全相同。
(第六实施方式)
当逆量化器603进行与式(18)对应的逆量化时，代替如第五实施方式那样对量化矩阵进行调制，也可以对控制逆量化时的运算精度的运算精度控制参数进行调制。此时，式(18)变更为式(27)，另外式(27)中的IMLS用式(29)表示。
图31示出与图21所示的第二实施方式的图像编码装置对应的、第六实施方式的图像解码装置。在图31的图像解码装置中，图30所示的第五实施方式的图像解码装置中的量化矩阵调制部610被置换为运算精度控制参数调制部640。
与式(29)中的ILS相当的运算精度控制参数641从解码控制部609被提供到运算精度控制参数调制部640，另外，与式(27)(29)中的idx相当的索引(表示调制方法的索引)642从熵解码器602被提供到运算精度控制参数调制部640。在运算精度控制参数调制部640中，根据由索引642示出的调制方法对运算精度控制参数641实施调制。由此在运算精度控制参数调制部640中，生成与式(29)的MILS相当的、被调制的运算精度控制参数(称为调制控制参数)643。调制控制参数643被提供到逆量化器603。在逆量化器603中，根据调制控制参数643进行量化变换系数621的逆量化。
(第七实施方式)
当逆量化器603进行与式(16)对应的逆量化时，代替如第五实施方式那样对量化矩阵进行调制，也可以对量化参数进行调制。此时，式(16)变更为式(31)，另外式(31)中的调制量化参数QPstep用式(32)表示。
图32示出与图22所示的第三实施方式的图像编码装置对应的、第七实施方式的图像解码装置。在图32的图像解码装置中，图30所示的第五实施方式的图像解码装置中的量化矩阵调制部610被置换为量化参数调制部650。
与式(32)中的Qstep相当的量化参数651从解码控制部609被提供到量化参数调制部650，另外，与式(31)(32)中的idx相当的索引(表示调制方法的索引)652从熵解码器602被提供到量化参数调制部650。在量化参数调制部650中，根据由索引652示出的调制方法对量化参数651实施调制，生成与式(31)的QPstep相当的、调制量化参数653。调制量化参数653被提供到逆量化器603。在逆量化器603中，根据调制量化参数653进行量化变换系数621的逆量化。
(第八实施方式)
图33示出与图23所示的第四实施方式的图像编码装置对应的、第八实施方式的图像解码装置。在图33的图像解码装置中，图30所示的第五实施方式的图像解码装置中的量化矩阵调制部610被置换为量化尺度表调制部660。
由熵解码器602解读出的量化尺度表661以及表示调制方法的索引662被提供到量化尺度表调制部660。在量化尺度表调制部660中，根据由索引662示出的调制方法对量化尺度表661实施调制，生成调制量化尺度表663。调制量化尺度表663被提供到逆量化器603。在逆量化器603中，根据调制量化尺度表663进行量化变换系数621的逆量化。
量化尺度表调制部660与第四实施方式中的量化尺度表调制部160完全相同，所以省略说明。另外，本实施方式中的编码数据的语法结构如图13以及图25至图29中的说明，所以省略说明。
上述各实施方式的图像编码装置以及图像解码装置例如将通用的计算机装置用作基本硬件也能够实现。此时，也可以通过将上述程序预先安装到计算机装置中，或者存储在CD-ROM等存储介质中，或通过网络发布上述程序，将该程序酌情安装到计算机装置中来实现。
此外，本发明并不限定于上述实施方式本身，可以在实施阶段在不脱离其主旨的范围内对结构要素进行变形而具体化。另外，通过上述实施方式所公开的多个结构要素的适当组合，可以形成各种发明。例如，也可以从实施方式所示的全部结构要素中删除几个结构要素。进一步还可以适当组合跨越不同的实施方式的结构要素。
产业上的可利用性
本发明能够利用于运动图像或静止图像的高效率压缩编码/解码技术。

Claims (22)

1.一种图像编码方法，其中，包括如下步骤：
对输入图像信号进行预测而生成预测图像信号；
取所述输入图像信号与所述预测图像信号之差而生成预测残差信号；
对所述预测残差信号进行变换而生成变换系数；
对(a)量化矩阵、(b)控制用于量化的运算精度的控制参数、(c)表示量化粗度的量化参数、以及(d)将表示量化粗度的量化参数与量化尺度对应起来的表之中的任意一个进行调制，获得与量化相关的调制结果；
使用所述调制结果对所述变换系数进行量化而生成量化变换系数；以及
对所述量化变换系数和与所述调制相关的索引进行编码而生成编码数据。
2.一种图像编码装置，其中，包括：
预测器，对输入图像信号进行预测而生成预测图像信号；
减法器，取所述输入图像信号与所述预测图像信号之差而生成预测残差信号；
变换器，对所述预测残差信号进行变换而生成变换系数；
调制部，对(a)量化矩阵、(b)控制用于量化的运算精度的控制参数、(c)表示量化粗度的量化参数、以及(d)将表示量化粗度的量化参数与量化尺度对应起来的表之中的任意一个进行调制，获得与量化相关的调制结果；
量化器，使用所述调制结果对所述变换系数进行量化而生成量化变换系数；以及
编码器，对所述量化变换系数和与所述调制相关的索引进行编码而生成编码数据。
3.根据权利要求2所述的图像编码装置，其中，所述调制部使用调制矩阵来进行所述调制，该调制矩阵具有对数模型、自相关函数模型、比例/反比例模型、N次函数(N≥1)模型、包括高斯分布或拉普拉斯分布的广义高斯函数模型、以及三角函数模型之中的至少一个。
4.根据权利要求2所述的图像编码装置，其中，所述调制部使用所述量化矩阵、所述控制参数、所述量化参数、以及所述表之中的任何一个与调制矩阵之间的加法、减法、乘法、除法以及位移中的至少一个来进行所述调制。
5.根据权利要求4所述的图像编码装置，其中，所述调制矩阵具有对数模型、自相关函数模型、比例/反比例模型、N次函数(N≥1)模型、包括高斯分布或拉普拉斯分布的广义高斯函数模型、以及三角函数模型中的至少一个。
6.根据权利要求3所述的图像编码装置，其中，所述调制矩阵具有使用包括市街区距离以及欧几里德距离的明可夫斯基距离中的一个来计算的频率成分。
7.根据权利要求4所述的图像编码装置，其中，所述调制矩阵具有使用包括市街区距离以及欧几里德距离的明可夫斯基距离中的一个来计算的频率成分。
8.根据权利要求2所述的图像编码装置，其中，所述编码器构成为：针对所述输入图像信号的每个编码序列、每个图片、每个编码条带或每个块，所述量化器将表示是否使用所述调制结果进行所述量化的标志附加到所述编码数据中。
9.根据权利要求2所述的图像编码装置，其中，所述量化器以具有不同尺寸的块单位进行所述量化。
10.根据权利要求2所述的图像编码装置，其中，与所述调制相关的索引是表示(a)调制方法、(b)调制强度、(c)调制矩阵、(d)调制模型、以及(e)描述了所述调制方法的表的编号之中的至少一个的索引。
11.一种图像解码方法，其中，包括如下步骤：
对包括量化变换系数和与调制相关的索引的编码数据进行解码；
根据所述索引，对(a)量化矩阵、(b)控制用于量化的运算精度的控制参数、(c)表示量化粗度的量化参数、以及(d)将表示量化粗度的量化参数与量化尺度对应起来的表之中的任意一个进行调制，获得与量化相关的调制结果；
使用所述调制结果对所述量化变换系数进行逆量化而生成逆量化变换系数；
对所述逆量化变换系数进行逆变换而生成预测残差信号；
使用解码图像信号进行预测而生成预测图像信号；
通过将所述预测图像信号与所述预测残差信号相加而生成解码图像信号。
12.一种图像解码装置，其中，包括：
解码器，对包括量化变换系数和与调制相关的索引的编码数据进行解码；
调制部，根据与所述变换相关的信息，对(a)量化矩阵、(b)控制用于量化的运算精度的控制参数、(c)表示量化粗度的量化参数、以及(d)将表示量化粗度的量化参数与量化尺度对应起来的表之中的任意一个进行调制，获得与量化相关的调制结果；
逆量化器，使用所述调制结果对所述量化变换系数进行逆量化而生成逆量化变换系数；
逆变换器，对所述逆量化变换系数进行逆变换而生成预测残差信号；
预测器，使用解码图像信号进行预测而生成预测图像信号；
加法器，通过将所述预测图像信号与所述预测残差信号相加而生成解码图像信号。
13.根据权利要求12所述的图像解码装置，其中，所述调制部使用调制矩阵来进行所述调制，该调制矩阵具有对数模型、自相关函数模型、比例/反比例模型、N次函数(N≥1)模型、包括高斯分布或拉普拉斯分布的广义高斯函数模型、以及三角函数模型中的至少一个。
14.根据权利要求12所述的图像解码装置，其中，所述调制部使用所述量化矩阵、所述控制参数、所述量化参数、以及所述表中的任何一个与调制矩阵之间的加法、减法、乘法、除法以及位移中的至少一个来进行所述调制。
15.根据权利要求13所述的图像解码装置，其中，所述调制矩阵具有对数模型、自相关函数模型、比例/反比例模型、N次函数(N≥1)模型、包括高斯分布或拉普拉斯分布的广义高斯函数模型、以及三角函数模型中的至少一个。
16.根据权利要求14所述的图像解码装置，其中，所述调制矩阵具有使用包括市街区距离以及欧几里德距离的明可夫斯基距离中的一个来计算的频率成分。
17.根据权利要求15所述的图像解码装置，其中，所述调制矩阵具有使用包括市街区距离以及欧几里德距离的明可夫斯基距离中的一个来计算的频率成分。
18.根据权利要求12所述的图像解码装置，其中，所述编码数据包括表示所述量化变换系数是否根据与量化相关的调制结果而被量化的标志，所述与量化相关的调制结果是针对每个编码序列、每个图片、每个编码条带或每个块，对(a)量化矩阵、(b)控制用于量化的运算精度的控制参数、(c)表示量化粗度的量化参数、以及(d)将表示量化粗度的量化参数与量化尺度对应起来的表之中的任意一个进行调制而得到的，
所述调制部构成为根据该标志进行所述调制。
19.根据权利要求12所述的图像解码装置，其中，所述逆量化器以具有不同尺寸的块单位进行所述逆量化。
20.根据权利要求12所述的图像解码装置，其中，与所述调制相关的索引是表示(a)调制方法、(b)调制强度、(c)调制矩阵、(d)调制模型、以及(e)描述了所述调制方法的表的编号之中的至少一个的索引。
21.一种计算机可读存储介质，其中，存储带来由计算机执行的步骤的动作的计算机程序的命令，该步骤包括：
对输入图像信号进行预测而生成预测图像信号；
取所述输入图像信号与所述预测图像信号之差而生成预测残差信号；
对所述预测残差信号进行变换而生成变换系数；
对(a)量化矩阵、(b)控制用于量化的运算精度的控制参数、(c)表示量化粗度的量化参数、以及(d)将表示量化粗度的量化参数与量化尺度对应起来的表之中的任意一个进行调制，获得与量化相关的调制结果；
使用所述调制结果对所述变换系数进行量化而生成量化变换系数；以及
对所述量化变换系数和与所述调制相关的索引进行编码而生成编码数据。
22.一种计算机可读存储介质，其中，存储带来由计算机执行的步骤的动作的计算机程序的命令，该步骤包括：
对包括量化变换系数和与调制相关的索引的编码数据进行解码；
根据与所述变换相关的信息，对(a)量化矩阵、(b)控制用于量化的运算精度的控制参数、(c)表示量化粗度的量化参数、以及(d)将表示量化粗度的量化参数与量化尺度对应起来的表之中的任意一个进行调制，获得与量化相关的调制结果；
使用所述调制结果对所述量化变换系数进行逆量化而生成逆量化变换系数；
对所述逆量化变换系数进行逆变换而生成预测残差信号；
使用解码图像信号进行预测而生成预测图像信号；
通过将所述预测图像信号与所述预测残差信号相加而生成解码图像信号。
CN200880006627A 2007-04-16 2008-03-18 图像编码和图像解码的方法及装置 Pending CN101622881A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007106899 2007-04-16
JP106899/2007 2007-04-16

Publications (1)

Publication Number Publication Date
CN101622881A true CN101622881A (zh) 2010-01-06

Family

ID=39925355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880006627A Pending CN101622881A (zh) 2007-04-16 2008-03-18 图像编码和图像解码的方法及装置

Country Status (13)

Country Link
US (1) US20100086028A1 (zh)
EP (1) EP2136566A4 (zh)
JP (1) JPWO2008132890A1 (zh)
KR (1) KR20090115176A (zh)
CN (1) CN101622881A (zh)
AU (1) AU2008245277A1 (zh)
BR (1) BRPI0809255A2 (zh)
CA (1) CA2680140A1 (zh)
MX (1) MX2009009947A (zh)
RU (1) RU2009135396A (zh)
TW (1) TW200850013A (zh)
WO (1) WO2008132890A1 (zh)
ZA (1) ZA200906254B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447896A (zh) * 2010-09-30 2012-05-09 华为技术有限公司 图像残差块的处理方法、装置和系统
CN103329529A (zh) * 2011-01-24 2013-09-25 高通股份有限公司 用于高效视频译码(hevc)中的经译码单元的信令量化参数改变
CN103765788A (zh) * 2011-08-23 2014-04-30 联发科技（新加坡）私人有限公司 在视频编码中依据量化矩阵处理变换区块的方法与系统
CN104429073A (zh) * 2012-09-06 2015-03-18 松下电器（美国）知识产权公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
CN105791842A (zh) * 2010-12-09 2016-07-20 索尼公司 图像处理装置和图像处理方法
CN107483945A (zh) * 2011-11-08 2017-12-15 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN108769678A (zh) * 2011-11-07 2018-11-06 佳能株式会社 图像编码设备
CN109644269A (zh) * 2016-08-24 2019-04-16 索尼公司 图像处理设备、图像处理方法和程序

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8045612B1 (en) 2007-01-19 2011-10-25 Marvell International Ltd. Fast inverse integer transform for video decoding
MX2009009947A (es) * 2007-04-16 2009-09-24 Toshiba Kk Metodo y dispositivo de codificacion de imagenes y de descodificacion de imagenes.
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
KR101452859B1 (ko) 2009-08-13 2014-10-23 삼성전자주식회사 움직임 벡터를 부호화 및 복호화하는 방법 및 장치
CN102045560B (zh) * 2009-10-23 2013-08-07 华为技术有限公司 一种视频编解码方法及设备
AU2010312983B2 (en) * 2009-10-30 2015-10-29 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
KR101751559B1 (ko) * 2009-10-30 2017-06-27 선 페이턴트 트러스트 복호방법, 복호장치, 부호화 방법 및 부호화 장치
TW201143448A (en) * 2009-10-30 2011-12-01 Panasonic Corp Image encoding method, image decoding method, image encoding device and image decoding device
JP5299328B2 (ja) * 2010-03-17 2013-09-25 富士通株式会社 画像処理装置および画像処理方法
CN102215391B (zh) * 2010-04-09 2013-08-28 华为技术有限公司 视频数据编码、解码方法及装置、变换处理方法及装置
WO2011142279A1 (ja) 2010-05-13 2011-11-17 シャープ株式会社 符号化装置、復号装置、およびデータ構造
CN102281435B (zh) * 2010-06-11 2013-10-02 华为技术有限公司 编码方法、解码方法、编码装置、解码装置及编解码系统
WO2012050832A1 (en) 2010-09-28 2012-04-19 Google Inc. Systems and methods utilizing efficient video compression techniques for providing static image data
US8965139B2 (en) 2010-09-29 2015-02-24 Panasonic Intellectual Property Corporation Of America Image decoding method, image coding method, image decoding apparatus, image coding apparatus and integrated circuit for generating a code stream with a hierarchical code structure
US9749630B2 (en) * 2010-09-30 2017-08-29 Sun Patent Trust Image decoding method, image coding method, image decoding apparatus, image coding apparatus, program, and integrated circuit
US9532059B2 (en) 2010-10-05 2016-12-27 Google Technology Holdings LLC Method and apparatus for spatial scalability for video coding
WO2012148841A1 (en) 2011-04-29 2012-11-01 Google Inc. Method and apparatus for detecting memory access faults
US9641840B2 (en) * 2011-05-20 2017-05-02 Sony Corporation Processing device and image processing method for encoding and decoding image
US8989256B2 (en) 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
US9854275B2 (en) * 2011-06-25 2017-12-26 Qualcomm Incorporated Quantization in video coding
KR101965388B1 (ko) 2011-11-04 2019-04-04 주식회사 골드피크이노베이션즈 양자화 계수 부/복호화 방법 및 이러한 방법을 사용하는 장치
KR20130050149A (ko) 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
CN107580230B (zh) 2012-01-20 2021-08-20 韩国电子通信研究院 视频解码方法和视频编码方法
US20130188691A1 (en) * 2012-01-20 2013-07-25 Sony Corporation Quantization matrix design for hevc standard
MX353742B (es) * 2012-01-30 2018-01-26 Samsung Electronics Co Ltd Método y aparato de codificación y decodificación de video de base de unidad de datos jerárquica que comprende la predicción del parámetro de cuantificación.
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
TWI519133B (zh) * 2012-02-29 2016-01-21 新力股份有限公司 影像處理裝置及方法
US20130272390A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated Uniform granularity for quantization matrix in video coding
US9185429B1 (en) 2012-04-30 2015-11-10 Google Inc. Video encoding and decoding using un-equal error protection
US9113164B1 (en) 2012-05-15 2015-08-18 Google Inc. Constant bit rate control using implicit quantization values
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9510019B2 (en) 2012-08-09 2016-11-29 Google Inc. Two-step quantization and coding method and apparatus
US9332276B1 (en) 2012-08-09 2016-05-03 Google Inc. Variable-sized super block based direct prediction mode
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
US9253483B2 (en) * 2012-09-25 2016-02-02 Google Technology Holdings LLC Signaling of scaling list
US9826229B2 (en) 2012-09-29 2017-11-21 Google Technology Holdings LLC Scan pattern determination from base layer pixel information for scalable extension
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9756346B2 (en) 2012-10-08 2017-09-05 Google Inc. Edge-selective intra coding
US9407915B2 (en) 2012-10-08 2016-08-02 Google Inc. Lossless video coding with sub-frame level optimal quantization values
US9350988B1 (en) 2012-11-20 2016-05-24 Google Inc. Prediction mode-based block ordering in video coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
US9681128B1 (en) 2013-01-31 2017-06-13 Google Inc. Adaptive pre-transform scanning patterns for video and image compression
JP6200220B2 (ja) * 2013-06-24 2017-09-20 日本放送協会 画像処理装置、符号化装置、復号装置、及びプログラム
US9247251B1 (en) 2013-07-26 2016-01-26 Google Inc. Right-edge extension for quad-tree intra-prediction
CN105580368B (zh) * 2013-09-30 2018-10-19 日本放送协会 图像编码装置和方法以及图像解码装置和方法
WO2017135661A1 (ko) * 2016-02-01 2017-08-10 엘지전자 주식회사 그래프 기반 분리 가능한 변환 (graph-based separable transform)을 이용하여 비디오 신호를 인코딩 / 디코딩하는 방법 및 장치
US10154288B2 (en) * 2016-03-02 2018-12-11 MatrixView, Inc. Apparatus and method to improve image or video quality or encoding performance by enhancing discrete cosine transform coefficients
TWI761551B (zh) 2017-07-13 2022-04-21 美商松下電器（美國）知識產權公司 編碼裝置、編碼方法、解碼裝置及解碼方法
RU2762873C2 (ru) * 2017-12-15 2021-12-23 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ кодирования изображений на основе преобразования и устройство для этого
US11109053B2 (en) * 2018-03-05 2021-08-31 Panasonic Intellectual Property Corporation Of America Encoding method, decoding method, encoder, and decoder
CN116320411A (zh) 2018-03-29 2023-06-23 日本放送协会 图像编码装置、图像解码装置以及程序
GB2619640B (en) * 2019-07-05 2024-06-05 V Nova Int Ltd Quantization of residuals in video coding
JP2022544950A (ja) * 2019-08-14 2022-10-24 インターデジタル ヴイシー ホールディングス フランス，エスエーエス ビデオエンコードおよびデコードに対する量子化マトリックス予測
EP4118823A1 (en) * 2020-03-12 2023-01-18 InterDigital VC Holdings France Method and apparatus for video encoding and decoding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0903042B1 (en) * 1997-02-08 2002-05-29 Matsushita Electric Industrial Co., Ltd. Quantization matrix for still and moving picture coding
US5995150A (en) * 1998-02-20 1999-11-30 Winbond Electronics Corporation America Dual compressed video bitstream camera for universal serial bus connection
JP4560694B2 (ja) * 2000-04-05 2010-10-13 ソニー株式会社 符号化装置及びその方法
US7617096B2 (en) * 2001-08-16 2009-11-10 Broadcom Corporation Robust quantization and inverse quantization using illegal space
US7647223B2 (en) * 2001-08-16 2010-01-12 Broadcom Corporation Robust composite quantization with sub-quantizers and inverse sub-quantizers using illegal space
JP4254147B2 (ja) * 2001-11-30 2009-04-15 ソニー株式会社 画像情報符号化方法及び装置、並びにプログラム及び記録媒体
JP3948266B2 (ja) 2001-12-14 2007-07-25 日本ビクター株式会社 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法
GB2393060B (en) * 2002-09-12 2006-01-25 Snell & Wilcox Ltd Manipulation of video compression
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化／復号化方法及び装置
TWI262660B (en) * 2003-11-19 2006-09-21 Inst Information Industry Video transcoder adaptively reducing frame rate
US8116374B2 (en) * 2004-05-07 2012-02-14 Broadcom Corporation Method and system for generating a transform size syntax element for video decoding
JP4146444B2 (ja) 2005-03-16 2008-09-10 株式会社東芝 動画像符号化の方法及び装置
KR101035754B1 (ko) * 2006-02-13 2011-05-20 가부시끼가이샤 도시바 동화상 부호화/복호화 방법 및 장치
MX2009009947A (es) * 2007-04-16 2009-09-24 Toshiba Kk Metodo y dispositivo de codificacion de imagenes y de descodificacion de imagenes.
KR101436505B1 (ko) * 2008-01-03 2014-09-02 삼성전자주식회사 메모리 장치
KR101378365B1 (ko) * 2008-03-12 2014-03-28 삼성전자주식회사 하이브리드 메모리 데이터 검출 장치 및 방법
KR101425020B1 (ko) * 2008-03-17 2014-08-04 삼성전자주식회사 메모리 장치 및 데이터 판정 방법

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102447896B (zh) * 2010-09-30 2013-10-09 华为技术有限公司 图像残差块的处理方法、装置和系统
CN102447896A (zh) * 2010-09-30 2012-05-09 华为技术有限公司 图像残差块的处理方法、装置和系统
CN105791842A (zh) * 2010-12-09 2016-07-20 索尼公司 图像处理装置和图像处理方法
CN105915908A (zh) * 2010-12-09 2016-08-31 索尼公司 图像处理装置和图像处理方法
CN103329529A (zh) * 2011-01-24 2013-09-25 高通股份有限公司 用于高效视频译码(hevc)中的经译码单元的信令量化参数改变
CN103329529B (zh) * 2011-01-24 2016-11-02 高通股份有限公司 用于高效视频译码(hevc)中的经译码单元的信令量化参数改变
US10218977B2 (en) 2011-08-23 2019-02-26 Hfi Innovation Inc. Method and system of transform block processing according to quantization matrix in video coding
CN103765788A (zh) * 2011-08-23 2014-04-30 联发科技（新加坡）私人有限公司 在视频编码中依据量化矩阵处理变换区块的方法与系统
CN103765788B (zh) * 2011-08-23 2015-08-05 联发科技（新加坡）私人有限公司 在视频编码中依据量化矩阵处理变换区块的方法与系统
US9560347B2 (en) 2011-08-23 2017-01-31 Hfi Innovation Inc. Method and system of transform block processing according to quantization matrix in video coding
US10750192B2 (en) 2011-11-07 2020-08-18 Canon Kabushiki Kaisha Image coding apparatus, image coding method, image decoding apparatus, image decoding method, and storage medium
CN108769678A (zh) * 2011-11-07 2018-11-06 佳能株式会社 图像编码设备
CN108769678B (zh) * 2011-11-07 2021-01-12 佳能株式会社 图像编码设备
CN107483945A (zh) * 2011-11-08 2017-12-15 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN107483945B (zh) * 2011-11-08 2021-05-14 株式会社Kt 利用解码装置对视频信号进行解码的方法
CN104429073B (zh) * 2012-09-06 2018-01-19 太阳专利托管公司 图像编码方法/解码方法及装置、图像编解码装置
CN104429073A (zh) * 2012-09-06 2015-03-18 松下电器（美国）知识产权公司 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编解码装置
CN109644269A (zh) * 2016-08-24 2019-04-16 索尼公司 图像处理设备、图像处理方法和程序
CN109644269B (zh) * 2016-08-24 2022-02-11 索尼公司 图像处理设备、图像处理方法和存储介质
US11722698B2 (en) 2016-08-24 2023-08-08 Sony Corporation Image processing apparatus and image processing method

Also Published As

Publication number Publication date
RU2009135396A (ru) 2011-04-10
EP2136566A1 (en) 2009-12-23
US20100086028A1 (en) 2010-04-08
JPWO2008132890A1 (ja) 2010-07-22
CA2680140A1 (en) 2008-11-06
BRPI0809255A2 (pt) 2014-09-23
EP2136566A4 (en) 2012-07-18
TW200850013A (en) 2008-12-16
KR20090115176A (ko) 2009-11-04
AU2008245277A1 (en) 2008-11-06
ZA200906254B (en) 2010-05-26
WO2008132890A1 (ja) 2008-11-06
MX2009009947A (es) 2009-09-24

Similar Documents

Publication Publication Date Title
CN101622881A (zh) 图像编码和图像解码的方法及装置
CN103118252B (zh) 运动图像编码装置以及运动图像译码装置
CN101401435A (zh) 运动图像编码/译码方法、装置以及程序
CN101911702B (zh) 针对支持cabac的视频编码过程而量化视频块的系数的方法和装置
CN100579234C (zh) 图像编码/解码方法及其装置
CN101361370B (zh) 图像编码/图像解码方法以及图像编码/图像解码装置
CN104811714B (zh) 使用平面表达的增强帧内预测编码
CN101502124B (zh) 图像编码和解码的方法以及装置
TWI496438B (zh) Image coding apparatus, method and program, and image decoding apparatus, method and program
CN105103550B (zh) 用于视频编码的帧内速率控制方法和设备
CN102835111B (zh) 使用先前块的运动矢量作为当前块的运动矢量来对图像进行编码/解码的方法和设备
CN101047859B (zh) 图像编码装置和图像解码装置
CN103299637A (zh) 运动图像编码装置、运动图像译码装置、运动图像编码方法以及运动图像译码方法
CN102057680A (zh) 运动图像编码/解码方法和装置
CN103797800A (zh) 推导参考模式值以及编码和解码表示预测模式的信息
CN105306939A (zh) 用于对视频进行解码的方法和装置
CN101653003A (zh) 用于混合视频编码的量化
CN101953166A (zh) 被划分为像素块的图像或图像序列的编码和解码
CN101971632A (zh) 自适应滤波
CN106791832A (zh) 编码设备、解码设备、编码方法和解码方法
CN102939719A (zh) 用于在二进制熵编码和解码中减少源的方法和设备
CN102282850A (zh) 运动图像编码方法以及运动图像解码方法
CN107846593B (zh) 一种率失真优化方法及装置
CN106464880A (zh) 用于减少高效率视频编码中的计算负荷的方法和设备
CN102007770B (zh) 切分成线性形式的像素分区的图像或图像序列的编码和解码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20100106