CN118018735A - 图像编码设备、图像解码设备和控制方法 - Google Patents

图像编码设备、图像解码设备和控制方法 Download PDF

Info

Publication number
CN118018735A
CN118018735A CN202410242408.3A CN202410242408A CN118018735A CN 118018735 A CN118018735 A CN 118018735A CN 202410242408 A CN202410242408 A CN 202410242408A CN 118018735 A CN118018735 A CN 118018735A
Authority
CN
China
Prior art keywords
prediction
image
quantization matrix
unit
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410242408.3A
Other languages
English (en)
Inventor
志摩真悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN118018735A publication Critical patent/CN118018735A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及图像编码设备、图像解码设备和控制方法，其使得即使对于使用帧内预测像素和帧间预测像素这两者的新预测方法中的误差也能够使用量化矩阵来进行量化，并使得能够提高主观图像质量。图像编码设备对图像进行编码并包括：预测单元，用于针对作为图像中的编码对象的具有预定大小的关注块，根据通过帧内预测处理获得的帧内预测图像和通过帧间预测处理获得的帧间预测图像这两者来生成预测图像，并获得作为关注块和预测图像之间的差的预测误差；变换单元，用于对预测单元获得的预测误差进行频率变换；量化单元，用于使用量化矩阵对变换单元获得的变换系数进行量化；以及编码单元，用于对利用量化单元的量化后的变换系数进行熵编码。

Description

图像编码设备、图像解码设备和控制方法
(本申请是申请日为2019年10月25日、申请号为2019800831650、发明名称为“图像编码设备、图像解码设备、控制方法和存储介质”的申请的分案申请。)
技术领域
本发明涉及图像编码设备和图像解码设备及其控制方法和程序。
背景技术
作为用于运动图像压缩记录的编码方法，已知有HEVC(高效率视频编码)编码方法(以下称为HEVC)。在HEVC中，为了提高编码效率，采用大小大于传统宏块(16个像素×16个像素)的基本块。具有大的大小的基本块被称为CTU(编码树单元)，并且其大小最大为64个像素×64个像素。CTU被进一步分割为各自是用以进行预测或变换的单位的子块。
此外，HEVC使用基于频率分量来向被称为量化矩阵的、正交变换之后的系数(以下称为正交变换系数)添加权重的处理。通过进一步减少劣化对人类视觉不明显的高频分量的数据，可以在维持图像质量的同时使压缩效率变高。专利文献1公开了对这样的量化矩阵进行编码的技术。
近年来，已发起了用以实现作为HEVC的替代的更高效率的编码方法的国际标准化的活动。在ISO/IEC和ITU-T之间建立了JVET(联合视频专家组)，并且已推动了VVC(通用视频编码)编码方法(以下称为VVC)的标准化。为了提高编码效率，除了传统的帧内预测和帧间预测之外，还研究了使用帧内预测像素和帧间预测像素这两者的新预测方法(以下称为加权帧内/帧间预测)。
现有技术文献
专利文献
专利文献1：日本特开2013-38758
发明内容
发明要解决的问题
同样在VVC中，与HEVC一样，研究了量化矩阵的引入。然而，HEVC中的量化矩阵基于诸如帧内预测或帧间预测等的传统预测方法，并且不对应于作为新预测方法的加权帧内/帧间预测。由于该原因，不能对加权帧内/帧间预测的误差进行根据频率分量的量化控制，并且不能提高主观图像质量。
本发明是考虑到上述问题而作出的，并且提供使得能够使用与加权帧内/帧间预测相对应的量化矩阵来进行量化处理、并且提高主观图像质量的技术。
用于解决问题的方案
为了解决该问题，例如，根据本发明的图像编码设备具有以下结构。即，提供了：一种图像编码设备，用于对图像进行编码，所述图像编码设备包括：预测部件，用于针对作为图像中的编码对象的具有预定大小的关注块，根据通过帧内预测处理所获得的帧内预测图像和通过帧间预测处理所获得的帧间预测图像这两者来生成预测图像，并且获得作为所述关注块和所述预测图像之间的差的预测误差；变换部件，用于对所述预测部件所获得的预测误差进行频率变换；量化部件，用于使用量化矩阵来对所述变换部件所获得的变换系数进行量化；以及编码部件，用于对利用所述量化部件的量化之后的变换系数进行熵编码。
发明的效果
根据本发明，即使对于使用帧内预测像素和帧间预测像素这两者的新预测方法中的误差，也可以使用量化矩阵来进行量化，并且可以提高主观图像质量。
通过以下结合附图所进行的说明，本发明的其它特征和优点将变得明显。注意，在整个附图中，相同的附图标记表示相同或相似的组件。
附图说明
包含在说明书中并构成说明书一部分的附图示出了本发明的实施例，并和说明书一起用来解释本发明的原理。
图1是示出根据第一实施例的图像编码设备的结构的框图；
图2是示出根据第二实施例的图像解码设备的结构的框图；
图3是示出根据第一实施例的图像编码设备的图像编码处理的流程图；
图4是示出根据第二实施例的图像解码设备的图像解码处理的流程图；
图5是示出可用作图像编码设备或解码设备的计算机的硬件结构的示例的框图；
图6A是示出第一实施例所生成的位流结构的示例的图；
图6B是示出第一实施例所生成的位流结构的示例的图；
图7A是示出该实施例中所使用的子块分割的示例的图；
图7B是示出该实施例中所使用的子块分割的示例的图；
图7C是示出该实施例中所使用的子块分割的示例的图；
图7D是示出该实施例中所使用的子块分割的示例的图；
图7E是示出该实施例中所使用的子块分割的示例的图；
图7F是示出该实施例中所使用的子块分割的示例的图；
图8A是示出该实施例中所使用的量化矩阵的示例的图；
图8B是示出该实施例中所使用的量化矩阵的示例的图；
图8C是示出该实施例中所使用的量化矩阵的示例的图；
图9是示出量化矩阵的元素的扫描方法的图；
图10A是示出量化矩阵的差值矩阵的图；
图10B是示出量化矩阵的差值矩阵的图；
图10C是示出量化矩阵的差值矩阵的图；
图11A是示出量化矩阵所用的编码表的示例的图；以及
图11B是示出量化矩阵所用的编码表的示例的图。
具体实施例
现在将参考附图来详细说明根据本发明的实施例。注意，以下要说明的实施例仅仅是示例，并且本发明不限于所例示的结构。例如，在以下的说明中，使用诸如“基本块”和“子块”等的术语。然而，这些实施例可以应用于图像编码技术中被称为“块”和“单元”的各种处理单元。
[第一实施例]
图1是示出根据第一实施例的图像编码设备的结构的框图。图像编码设备包括控制单元150，该控制单元150被配置为控制以下要说明的构成元件并且进行整个设备的控制。控制单元150包括CPU、存储该CPU所要执行的程序以及各种参数等的ROM、以及用作CPU的工作区的RAM。注意，可以将ROM或另一非易失性存储装置中所存储的OS(操作系统)、程序和参数加载到RAM中，并且之后，可以在OS的控制下执行这些程序。
另外，图像编码设备包括输入端子101、块分割单元102、量化矩阵保持单元103、预测单元104、变换/量化单元105、逆量化/逆变换单元106、图像再生单元107、帧存储器108、环内滤波单元109、编码单元110、合成编码单元111、输出端子112和量化矩阵编码单元113。
在上述结构中，将图像数据(例如，30帧/秒)从图像生成源(未示出)供给至该设备的输入端子101。注意，尽管图像生成源可以是任何类型，但作为简单示例，可以使用摄像单元或摄像机、或者存储编码对象图像数据的硬盘或存储介质。
块分割单元102将经由输入端子101输入的一帧的图像数据分割成多个基本块，并且将各基本块的图像数据供给至后续阶段的预测单元104。
量化矩阵保持单元103保持量化处理中所要使用的多个量化矩阵。生成要保持的量化矩阵的方法不受特别限制。用户可以输入量化矩阵，可以根据输入图像的特性计算量化矩阵，或者可以使用预先指定为初始值的量化矩阵。在本实施例中，生成并保持与图8A～8C所示的8×8个像素的三个类型的正交变换(频率变换)相对应的二维量化矩阵800～802。
预测单元104对各基本块的图像数据进行子块分割，并且以子块为单位进行作为帧中的预测的帧内预测或作为帧之间的预测的帧间预测，由此生成预测图像数据。此外，预测单元104根据子块的图像数据和预测图像数据计算预测误差数据，并且输出该预测误差数据。预测单元104还输出预测所需的信息(例如，子块分割、预测模式和运动矢量等的信息)以及预测误差。以下将预测所需的信息称为预测信息。
变换/量化单元105以子块为单位对从预测单元104供给的预测误差数据进行正交变换(频率变换)，由此获得变换系数。然后，变换/量化单元105使用量化矩阵保持单元103所保持的相应量化矩阵来对关注子块的变换系数进行量化(以下将量化之后的变换系数简称为“量化系数”)。
逆量化/逆变换单元106使用量化矩阵保持单元103所保持的相应量化矩阵来对从变换/量化单元105输入的量化系数进行逆量化，由此再生(导出)变换系数。逆量化/逆变换单元106还对变换系数进行逆正交变换，由此再生预测误差数据。
图像再生单元107基于从预测单元104输入的预测信息来适当地参考帧存储器108，由此生成预测图像数据。图像再生单元107根据所生成的预测图像数据和来自逆量化/逆变换单元106的预测误差数据来生成再生图像数据，并且将该再生图像数据再次输出至帧存储器108。
环内滤波单元109对帧存储器108中所存储的来自图像再生单元107的再生图像数据进行诸如解块滤波或样本自适应偏移等的环内滤波处理，并且将滤波处理之后的图像数据再次存储在帧存储器108中。
编码单元110对从变换/量化单元105输入的量化系数和从预测单元104输入的预测信息进行编码，由此生成并输出编码数据。
量化矩阵编码单元113对从量化矩阵保持单元103输入的量化矩阵进行编码，由此生成并输出量化矩阵的编码数据。
合成编码单元111使用作为来自量化矩阵编码单元113的输出的量化矩阵的编码数据来生成头编码数据。此外，合成编码单元111通过将从编码单元110输入的图像的编码数据与所生成的头编码数据进行合成来形成位流，并且将该位流经由输出端子112输出到外部。
注意，输出目的地不受特别限制，并且可以是诸如记录介质等的存储装置或者网络上的文件服务器。
以下将更详细地说明根据本实施例的图像编码设备的图像编码操作。
首先，量化矩阵保持单元103生成量化矩阵。量化矩阵是根据要编码的子块的大小或预测方法的类型所生成的。在本实施例中，生成具有与图7A所示的8×8个像素的基本块700相对应的8×8个像素的大小的量化矩阵。然而，要生成的量化矩阵不限于此，并且可以生成具有与子块的形状相对应的4×8个像素、8×4个像素或4×4个像素的大小的量化矩阵。确定量化矩阵的各元素的方法不受特别限制。例如，可以使用预定的初始值，或者可以单独地设置元素。可选地，可以根据图像的特性来生成元素。
量化矩阵保持单元103保持如此生成的量化矩阵。在图8A～8C中，附图标记800～802表示根据实施例的量化矩阵保持单元103所生成并保持的量化矩阵。图8A所示的量化矩阵800表示帧内预测所使用的量化矩阵。图8B所示的量化矩阵801表示帧间预测所使用的量化矩阵。图8C所示的量化矩阵802表示与加权帧内/帧间预测相对应的量化矩阵。如图8A～8C所示，量化矩阵800～802各自由8×8个元素(量化步长值)构成。在本实施例中，图8A～8C所示的三个类型的量化矩阵800～802是以二维形状保持的。然而，量化矩阵中的元素当然不限于这些。也可以根据子块的大小或者根据编码对象是亮度块还是色差块来针对相同的预测方法保持多个量化矩阵。通常，量化矩阵根据人类的视觉特性来实现量化处理。因而，如图8A～8C所示，与量化矩阵800～802各自的左上角部分相对应的DC分量所用的元素小，并且与右下部分相对应的AC分量所用的元素大。
量化矩阵编码单元113从量化矩阵保持单元103顺次读出以二维形状存储的量化矩阵800～802，通过扫描这些元素来计算差，并且将这些差按一维矩阵布置。在本实施例中，将图9所示的扫描方法用于图8A～8C所示的量化矩阵800～802，并且按扫描顺序计算各元素和紧前元素之间的差。例如，通过图9所示的扫描方法来扫描图8C所示的8×8个像素的量化矩阵802。接着位于左上角的第一个元素“8”，扫描紧挨着地位于该元素下方的元素“11”，并且计算出差“+3”。为了对量化矩阵802的第一个元素(在本实施例中为“8”)进行编码，计算与预定初始值(例如，“8”)的差。然而，该值当然不限于此，并且可以使用与任意值的差或者第一个元素自身的值。
如上所述，在本实施例中，根据图8A～8C所示的量化矩阵800～802，使用图9所示的扫描方法来生成图10A～10C所示的一维差分矩阵1000～1002。量化矩阵编码单元113进一步对差分矩阵1000～1002进行编码，由此生成量化矩阵编码数据。在本实施中，使用图11A所示的编码表来进行编码。然而，编码表不限于此，并且例如，可以使用图11B所示的编码表。将如此生成的量化矩阵编码数据输出至后续阶段的合成编码单元111。
返回参考图1，合成编码单元111对图像数据的编码所需的头信息进行编码，并且将量化矩阵800～802的编码数据进行合成。接着将说明图像数据的编码。
块分割单元102将从输入端子101输入的一帧的图像数据分割成多个基本块，并且将各基本块的图像数据供给至预测单元104。在本实施例中，如上所述，基本块的大小是8×8个像素。
预测单元104对从块分割单元102输入的基本块的图像数据执行预测处理。更具体地，预测单元104确定将基本块分割成更精细的子块的子块分割方法，并且以子块为单位来确定诸如帧内预测、帧间预测或加权帧内/帧间预测等的预测模式。
图7A～7F示出子块分割图案的示例。图7A～7F各自中的指示外侧的粗框的附图标记700表示在本实施例中具有8×8个像素的大小的基本块。粗框中的各矩形表示四个子块。图7A示出基本块＝子块的示例。图7B示出传统的正方形子块分割的示例，并且将8×8个像素的基本块700分割成各自具有4×4个像素的大小的子块。另一方面，图7C～7F示出矩形子块分割的示例。图7C示出将基本块700分割成各自具有4×8个像素的大小的两个纵长子块的示例。图7D示出将基本块700分割成各自具有8×4个像素的大小的两个横长子块的示例。图7E和图7F示出将基本块700按1:2:1的比分割成三个矩形子块。如上所述，不仅使用正方形子块而且使用矩形子块来进行编码处理。
在本实施例中，如上所述，仅使用不对8×8个像素的基本块进行分割的方法(图7A)。然而，子块分割方法不限于此。可以使用如图7B所示的四叉树分割、如图7E或图7F所示的三叉树分割、或者如图7C或7D所示的二叉树分割。如果使用除图7A所示的子块分割以外的子块分割，则量化矩阵保持单元103生成与要使用的子块相对应的量化矩阵。所生成的量化矩阵由量化矩阵编码单元113进行编码。
将重新说明本实施例中所使用的预测方法。在本实施例中，使用三个类型的预测方法，即帧内预测、帧间预测和加权帧内/帧间预测。在帧内预测中，使用在空间上位于编码对象块周围的编码像素，生成编码对象块的预测像素，并且还生成表示诸如水平预测、垂直预测或DC预测等的帧内预测方法的帧内预测模式。在帧间预测中，使用与编码对象块在时间上不同的帧的编码像素，生成编码对象块的预测像素，并且还生成表示要参考的帧以及运动矢量等的运动信息。
在加权帧内/帧间预测中，通过获得通过上述帧内预测所生成的像素值和通过上述帧间预测所生成的像素值的加权平均来生成编码对象块的预测像素。例如，使用下式来进行计算：
p[x][y]＝{w×pinter[x][y]+(8-w)×pintra[x][y]}>>3...(1)
(“>>”表示向右的位移位)。
在等式(1)中，p[x][y]是通过对作为编码对象的关注块中的坐标(x,y)进行加权帧内/帧间预测所得到的预测像素。此外，pinter[x][y]表示针对关注块中的坐标(x,y)的帧间预测图像中的像素值。另外，pintra[x][y]表示针对关注块中的坐标(x,y)的帧内预测图像中的像素值。w表示针对帧间预测的像素值和帧内预测的像素值的权重值。在本实施例中，在w＝4时，针对帧间预测的像素值和帧内预测的像素值的权重变得相等。换句话说，如果w>4，则针对帧间预测的像素值的权重增大。如果w<4，则针对帧内预测的像素值的权重增大。在加权帧内/帧间预测中，以这种方式生成编码对象块的预测像素，并且还生成用于生成预测像素的帧内预测模式和运动信息。
预测单元104根据所确定的预测模式和编码像素来生成编码对象子块的预测图像数据。然后，预测单元104通过计算编码对象子块的图像数据和所生成的预测图像数据之间的差来生成预测误差数据，并且将所生成的预测误差数据供给至变换/量化单元105。预测单元104还将诸如子块分割、预测模式(表示使用帧内预测、帧间预测和加权帧内/帧间预测中的哪个预测的信息)和矢量数据等的预测信息供给至编码单元110和图像再生单元107。
变换/量化单元105对所输入的预测误差数据进行正交变换/量化，由此生成量化系数。更具体地，变换/量化单元105执行与预测误差数据的大小相对应的正交变换处理，由此生成正交变换系数。接着，变换/量化单元105根据预测模式来选择量化矩阵保持单元103中所存储的量化矩阵，并且使用所选择的量化矩阵来对正交变换系数进行量化，由此生成量化系数。在本实施例中，将图8A所示的量化矩阵800用于经过了通过帧内预测的预测处理的子块。此外，将图8B所示的量化矩阵801用于经过了帧间预测的子块。将图8C所示的量化矩阵802用于经过了加权帧内/帧间预测的子块。然而，要使用的量化矩阵不限于这些。然后，变换/量化单元105将所生成的量化系数供给至编码单元110和逆量化/逆变换单元106。
逆量化/逆变换单元106使用量化矩阵保持单元103中所存储的量化矩阵来对所输入的子块的量化系数进行逆量化，由此再生变换系数。逆量化/逆变换单元106还对再生的变换系数进行逆正交变换，由此再生预测误差数据。对于逆量化处理，与变换/量化单元105一样，使用与编码对象块的预测模式相对应的量化矩阵。更具体地，使用与变换/量化单元105所使用的量化矩阵相同的量化矩阵。然后，逆量化/逆变换单元106将再生的预测误差数据供给至图像再生单元107。
图像再生单元107基于从预测单元104输入的预测信息来适当地参考帧存储器108，由此再生预测图像数据。然后，图像再生单元107通过将再生的预测图像和从逆量化/逆变换单元106输入的预测误差数据相加来再生子块的图像数据，并且将该图像数据存储在帧存储器108中。
环内滤波单元109从帧存储器108读出再生的图像数据，并且进行诸如解块滤波等的环内滤波处理。然后，环内滤波单元109将经过了滤波处理的图像数据再次存储在帧存储器108中。
编码单元110以子块为单位对变换/量化单元105所生成的量化系数和从预测单元104输入的预测信息进行熵编码，由此生成编码数据。熵编码的方法不受特别限制，并且可以使用Golomb编码、算术编码或霍夫曼编码等。所生成的编码数据被供给至合成编码单元111。
合成编码单元111通过将从编码单元110输入的编码数据等与上述的头的编码数据一起复用来形成位流。最后，该位流从输出端子112被输出到外部。
图6A示出在第一实施例中输出的位流的数据结构的示例。序列头包括由各元素的编码数据构成的量化矩阵的编码数据。然而，要编码的位置不限于此，并且可以将数据编码在图片头部或另一头部中。如果在一个序列中要改变量化矩阵，则可以通过重新对量化矩阵进行编码来更新该量化矩阵。此时，可以重写所有的量化矩阵，或者可以通过指定与要重写的量化矩阵相对应的量化矩阵的预测模式来改变这些量化矩阵中的一些量化矩阵。
以下将参考图3的流程图来说明利用根据第一实施例的图像编码设备的一帧的编码处理的处理过程。注意，以下说明中的各步骤的处理由其主体在控制单元150的控制下执行。
首先，在图像的编码之前，在步骤S301中，量化矩阵保持单元103生成二维量化矩阵并保持这些二维量化矩阵。根据本实施例的量化矩阵保持单元103生成与图8A～8C所示的8×8个像素的子块相对应、并且与包括帧内预测、帧间预测和加权帧内/帧间预测的预测方法相对应的量化矩阵800～802，并且保持这些量化矩阵800～802。
在步骤S302中，量化矩阵编码单元113扫描在步骤S301中生成并保持的量化矩阵800～802以计算元素之间的差，并且生成一维差分矩阵。根据本实施例的量化矩阵编码单元113根据图8A～8C所示的量化矩阵800～802、使用图9所示的扫描方法来生成图10A～10C所示的差分矩阵1000～1002。量化矩阵编码单元113还通过参考图11A(或图11B)所示的编码表来从所生成的差分矩阵1000～1002生成二进制代码，由此生成编码数据。
在步骤S303中，合成编码单元111生成图像数据的编码所需的头信息以及所生成的量化矩阵800～802的编码数据，并且输出该头信息。
在步骤S304中，块分割单元102将各帧的输入图像分割成基本块。在步骤S305中，预测单元104将在步骤S304中生成的各基本块的图像数据分割成一个或多个子块，对各子块执行预测处理，并且生成预测图像数据以及诸如子块分割信息和预测模式等的预测信息。在本实施例中，使用三个类型的预测方法，即帧内预测、帧间预测和加权帧内/帧间预测。此外，预测单元104计算作为所输入的图像数据和预测图像数据之间的差的预测误差数据。
注意，利用预测单元104的处理的详细示例如下。预测单元104通过参考要编码的关注子块所属于的相同帧的编码区域来对该关注子块的图像数据进行帧内预测处理，由此生成帧内预测图像数据Pintra[x][y]。此外，预测单元104通过参考与要编码的关注子块所属于的帧不同的已编码帧(例如，紧前帧)来进行帧间预测处理，由此生成帧间预测图像数据Pinter[x][y]。然后，基于上述等式(1)来生成加权帧内/帧间预测图像数据P[x][y]。预测单元104获得三个预测图像数据与关注子块的像素值之间的差数据的平方和(或绝对值和)，并且将平方和最小的预测图像数据的预测模式确定为关注子块的预测模式。在本实施例中，根据帧内预测模式、运动矢量的大小和关注子块的位置等来唯一地计算权重值w。然而，权重值w的计算方法不限于此。例如，预测单元104设置w＝0、1、...、8，并且在这些情况下获得九个预测图像数据。预测单元104可以获得九个预测图像数据的平方和(或绝对值和)以及关注子块的像素值之间的差数据，并且可以判断出平方和最小的“w”。在这种情况下，如果w＝0，则预测单元104根据等式(1)确定为应通过帧内预测编码对关注子块进行编码。如果w＝8，则预测单元104根据等式(1)确定为应通过帧间预测编码对关注子块进行编码。如果w在从1到7的范围内，则预测单元104确定为应通过加权帧内/帧间预测编码对关注子块进行编码。在这种情况下，也可以在后续阶段的步骤S309中对所确定的值w进行编码。
在步骤S306中，变换/量化单元105对在步骤S305中计算出的预测误差数据进行正交变换，由此生成变换系数。此外，变换/量化单元105基于预测信息来选择在步骤S301中生成并保持的量化矩阵其中之一，并且使用所选择的量化矩阵来进行量化，由此生成量化系数。在本实施例中，将图8A所示的量化矩阵800用于使用帧内预测的子块，将图8B所示的量化矩阵801用于使用帧间预测的子块，并且将图8C所示的量化矩阵802用于使用加权帧内/帧间预测的子块。
在步骤S307中，逆量化/逆变换单元106使用在步骤S301中生成并保持的量化矩阵来对在步骤S305中生成的量化系数进行逆量化，由此再生变换系数。逆量化/逆变换单元106还对变换系数进行逆正交变换，由此再生预测误差数据。在该步骤中，使用与步骤S306中所使用的量化矩阵相同的量化矩阵来进行逆量化处理。
在步骤S308中，图像再生单元107基于在步骤S305中生成的预测信息来再生预测图像数据。图像再生单元107还根据再生的预测图像数据和在步骤S307中生成的预测误差数据来再生子块的图像数据。
在步骤S309中，编码单元110对在步骤S305中生成的预测信息和在步骤S306中生成的量化系数进行编码，由此生成编码数据。编码单元110还生成包括其它编码数据的位流。
在步骤S310中，控制单元150判断帧中的所有基本块的编码是否结束。如果编码结束，则处理进入步骤S311。否则，处理返回到步骤S305以进行作为对象的下一基本块的编码。
在步骤S311中，环内滤波单元109对在步骤S308中再生的图像数据进行环内滤波处理以生成经过了滤波处理的图像，并且该处理结束。
在上述处理中，为了对运动图像的第二帧和后续帧进行编码，重复步骤S304～S311，直到输入要编码的最后帧为止。
利用上述的结构和操作，特别是在步骤S306中，对于使用加权帧内/帧间预测的子块，进行使用专用于该子块的量化矩阵的量化处理。这使得可以针对各频率分量控制量化并且提高主观图像质量。
注意，在本实施例中，针对包括帧内预测、帧间预测和加权帧内/帧间预测的三个类型的预测方法单独定义量化矩阵，并且对所有这三个类型的量化矩阵进行编码。然而，可以共用这些量化矩阵中的一些量化矩阵。
例如，与使用帧内预测的子块一样，可以使用图8A所示的量化矩阵800来对使用加权帧内/帧间预测的子块进行量化，并且可以省略图8C所示的量化矩阵802的编码。这样可以在减少与图8C所示的量化矩阵802相对应的代码量的同时，减轻由于诸如由帧内预测引起的块失真等的误差而发生的图像质量劣化。
类似地，与使用帧间预测的子块一样，可以使用图8B所示的量化矩阵801来对使用加权帧内/帧间预测的子块进行量化，并且可以省略图8C所示的量化矩阵802的编码。这样可以在减少与图8C所示的量化矩阵802相对应的代码量的同时，减轻由于诸如由帧间预测引起的不平滑运动等的误差而发生的图像质量劣化。
可选地，在上述等式(1)中，可以根据表示帧内预测像素值和帧间预测像素值的权重的权重值w的值来自适应地确定针对使用加权帧内/帧间预测的子块所要使用的量化矩阵。例如，如果差最小的权重值w的值是预定值(例如，中心值4)或更大，则可以将图8B所示的量化矩阵801用于使用加权帧内/帧间预测的子块，并且如果该值较小，则可以使用图8A所示的量化矩阵800。这使得可以在减轻权重较大的预测方法的图像质量劣化的同时，减少与省略了编码的图8C所示的量化矩阵相对应的代码量。可选地，可以根据权重值w的值来新生成针对使用加权帧内/帧间预测的子块所要使用的量化矩阵。例如，可以使用下式来进行计算：
QM[x][y]＝{w×QMinter[x][y]+(8-w)×QMintra[x][y]}>>3...(2)
在上述等式(2)中，QM[x][y]是所计算出的使用加权帧内/帧间预测的子块所使用的量化矩阵的坐标(x,y)处的元素(量化步长值)。QMinter[x][y]是帧间预测的子块所使用的量化矩阵的坐标(x,y)处的元素。类似地，QMintra[x][y]是帧内预测所用的量化矩阵的坐标(x,y)处的元素。这使得可以在减少与省略了编码的图8C所示的量化矩阵802相对应的代码量的同时，根据权重值w来进行适当的量化控制并且提高主观图像质量。
此外，在本实施例中，使用加权帧内/帧间预测的子块所用的量化矩阵是唯一地确定的。然而，可以通过引入标识符来选择量化矩阵。例如，在图6B中，可以通过新引入量化矩阵编码方法信息代码来选择使用加权帧内/帧间预测的子块所用的量化矩阵编码。例如，如果量化矩阵编码方法信息代码指示0，则将使用帧内预测的子块所用的量化矩阵800(图8A)用于使用加权帧内/帧间预测的子块。如果量化矩阵编码方法信息码指示1，则将使用帧间预测的子块所用的量化矩阵801(图8B)用于使用加权帧内/帧间预测的子块。另一方面，如果量化矩阵编码方法信息码指示2，则将单独编码的量化矩阵802(图8C)用于使用加权帧内/帧间预测的子块。因此，可以选择性地实现量化矩阵代码量减少和针对使用加权帧内/帧间预测的子块的独特量化控制。
[第二实施例]
在第二实施例中，将说明用于对根据第一实施例的图像编码设备所生成的编码数据进行解码的图像解码设备。图2是示出图像解码设备的结构的框图。
图像解码设备包括控制单元250，该控制单元250被配置为控制以下要说明的构成元件并进行整个设备的控制。控制单元250包括CPU、存储该CPU所要执行的程序以及各种参数等的ROM、以及用作CPU的工作区的RAM。注意，可以将ROM或其它非易失性存储装置中所存储的OS(操作系统)、程序和参数加载到RAM中，并且之后，可以在OS的控制下执行这些程序。
另外，图像解码设备包括输入端子201、解复用/解码单元202、解码单元203、逆量化/逆变换单元204、图像再生单元205、帧存储器206、环内滤波单元207、输出端子208和量化矩阵解码单元209。
以下将说明上述图像解码设备的结构中的图像解码设备的结构和操作。注意，图像解码设备被配置为以帧为单位输入上述图像编码设备所生成的位流。
解复用/解码单元202经由输入端子201输入编码位流，从该位流解复用关于解码处理的信息和关于系数的编码数据，并且对存在于位流的头部中的编码数据进行解码。根据本实施例的解复用/解码单元202从编码位流解复用量化矩阵的编码数据，并且将该编码数据供给至量化矩阵解码单元209。解复用/解码单元202还从编码位流解复用图像数据的编码数据，并且将该编码数据供给至解码单元203。简言之，解复用/解码单元202进行与图1所示的合成编码单元111的操作相反的操作。
量化矩阵解码单元209对来自解复用/解码单元202的量化矩阵的编码数据进行解码，并且再生并保持量化矩阵800～802。
解码单元203对从解复用/解码单元202输入的编码数据进行解码，并且再生量化系数和预测信息。
与图1所示的逆量化/逆变换单元106一样，逆量化/逆变换单元204使用再生的量化矩阵800～802来对量化系数进行逆量化，由此获得变换系数。逆量化/逆变换单元204还进行逆正交变换，由此再生预测误差数据。
图像再生单元205基于所输入的预测信息来适当地参考帧存储器206，由此生成预测图像数据。图像再生单元205通过将逆量化/逆变换单元204所再生的预测误差数据与预测图像数据进行相加来生成图像数据，并且将该图像数据存储在帧存储器206中。
与图1所示的环内滤波单元109一样，环内滤波单元207对帧存储器206中所存储的再生图像进行诸如解块滤波等的环内滤波处理，并且将经过了滤波处理的图像数据再次存储在帧存储器206中。然后，输出端子208将再生的图像数据输出至外部设备(例如，显示设备)。
接着，将更详细地说明图2所示的图像解码设备的各构成元件的操作。
在第二实施例中，以帧为单位输入在第一实施例中生成的位流。
经由输入端子201输入的一帧的位流被供给至解复用/解码单元202。解复用/解码单元202从该位流解复用关于解码处理的信息和关于系数的编码数据，并且对存在于该位流的头部中的编码数据进行解码。更具体地，解复用/解码单元202对量化矩阵的编码数据进行再生。根据本实施例的解复用/解码单元202首先从图6A所示的位流的序列头提取图8A～8C所示的量化矩阵800～802的编码数据，并且将该编码数据供给至量化矩阵解码单元209。接着，解复用/解码单元202再生图片数据的基本块的各子块的编码数据，并且将该编码数据供给至解码单元203。
首先，量化矩阵解码单元209对所输入的量化矩阵编码数据进行解码，由此再生图10A～10C所示的一维差分矩阵1000～1002。在本实施例中，与第一实施例一样，使用图11A(或图11B)所示的编码表来进行解码。然而，编码表不限于此，并且可以使用任何其它编码表，只要使用与第一实施例中一样的编码表即可。此外，量化矩阵解码单元209反向扫描再生的一维差分矩阵，由此再生二维量化矩阵。这里，进行与根据第一实施例的量化矩阵编码单元113的操作相反的操作。也就是说，根据本实施例的量化矩阵解码单元209使用图9所示的扫描方法来从图10A～10C所示的差分矩阵1000～1002再生图8A～8C所示的三个类型的量化矩阵800～802，并且保持这些量化矩阵。
解码单元203对编码数据进行解码，由此再生量化系数和预测信息。然后，解码单元203将再生的量化系数供给至逆量化/逆变换单元204，并且将再生的预测信息供给至图像再生单元205。
逆量化/逆变换单元204选择量化矩阵解码单元209所再生的量化矩阵800～802其中之一。然后，逆量化/逆变换单元204使用所选择的量化矩阵来对所输入的量化系数进行逆量化，由此生成正交变换系数。逆量化/逆变换单元204进一步执行逆正交变换以再生预测误差数据，并且将再生的预测信息供给至图像再生单元205。根据基于由解码单元203再生的预测信息所确定的解码对象块的预测模式，根据本实施例的逆量化/逆变换单元204确定在逆量化处理中要使用的量化矩阵。也就是说，针对使用帧内预测的子块选择图8A所示的量化矩阵800，针对使用帧间预测的子块选择图8B所示的量化矩阵801，并且针对使用加权帧内/帧间预测的子块选择图8C所示的量化矩阵802。然而，要使用的量化矩阵不限于这些，并且可以使用与根据第一实施例的变换/量化单元105和逆量化/逆变换单元106所使用的量化矩阵相同的量化矩阵。
图像再生单元205基于从解码单元203输入的预测信息来适当地参考帧存储器206，由此再生预测图像数据。在本实施例中，与根据第一实施例的预测单元104一样，使用三个类型的预测方法，即帧内预测、帧间预测和加权帧内/帧间预测。详细的预测处理与根据第一实施例的预测单元104的预测处理相同，并且将省略对该预测处理的说明。图像再生单元205通过将从逆量化/逆变换单元204输入的预测误差数据与预测图像数据相加来再生图像数据，并且将该图像数据存储在帧存储器206中。所存储的图像数据是在解码另一子块时的预测参考候选。
与图1所示的环内滤波单元109一样，环内滤波单元207从帧存储器206读出再生的图像数据，并且进行诸如解块滤波等的环内滤波处理。然后，环内滤波单元207将经过了滤波处理的图像数据再次存储在帧存储器206中。
帧存储器206中所存储的再生图像最终从输出端子208被输出到外部。
以下将参考图4的流程图来说明利用根据第二实施例的图像解码设备的一帧的解码处理的处理过程。注意，以下说明中的各步骤的处理由其主体在控制单元250的控制下执行。
首先，在步骤S401中，解复用/解码单元202从位流解复用关于解码处理的信息和关于系数的编码数据，并且解码头部中的编码数据。更具体地，再生量化矩阵的编码数据。
在步骤S402中，量化矩阵解码单元209对在步骤S401中再生的量化矩阵的编码数据进行解码，由此再生图10A～10C所示的一维差分矩阵1000～1002。此外，量化矩阵解码单元209反向扫描再生的一维差分矩阵1000～1002，由此再生并保持二维量化矩阵800～802。
也就是说，在本实施例中，量化矩阵解码部209使用图9所示的扫描方法来从图10A～10C所示的差分矩阵1000～1002再生图8A～8C所示的三个类型的量化矩阵800～802，并且保持这些量化矩阵。
在步骤S403中，解码单元203对在步骤S401中解复用的编码数据进行解码，由此再生量化系数和预测信息。
在步骤S404中，逆量化/逆变换单元204通过使用在步骤S402中再生的量化矩阵800～802其中之一对量化系数进行逆量化来获得变换系数。逆量化/逆变换单元204进一步进行逆正交变换以再生预测误差数据。根据本实施例的逆量化/逆变换单元204根据基于在步骤S403中再生的预测信息所确定的预测模式来确定要使用的量化矩阵。也就是所，将图8A所示的量化矩阵800用于使用帧内预测的子块。此外，将图8B所示的量化矩阵801用于使用帧间预测的子块。将图8C所示的量化矩阵802用于使用加权帧内/帧间预测的子块。然而，要使用的量化矩阵不限于这些，并且可以使用与在第一实施例的步骤S306和S307中使用的量化矩阵相同的量化矩阵。
在步骤S405中，图像再生单元205根据在步骤S403中生成的预测信息来再生预测图像数据。与第一实施例的步骤S305一样，根据本实施例的图像再生单元205使用三个类型的预测方法，即帧内预测、帧间预测和加权帧内/帧间预测。图像再生单元205还通过将在步骤S404中生成的预测误差数据与再生的预测图像数据相加来再生图像数据。
在步骤S406中，控制单元250判断帧中的所有基本块的解码是否结束。如果解码结束，则处理进入步骤S407。否则，处理返回到步骤S403以将下一个基本块设置为解码对象。
在步骤S407中，环内滤波单元207对在步骤S405中再生的图像数据进行环内滤波处理以生成经过了滤波处理的图像，并且该处理结束。
利用上述的结构和操作，即使对于在第一实施例中生成的使用加权帧内/帧间预测的子块，也可以针对各频率分量控制量化并且对主观图像质量有所提高的位流进行解码。
注意，在本实施例中，针对包括帧内预测、帧间预测和加权帧内/帧间预测的三个类型的预测方法单独定义量化矩阵，并且对所有这三个类型的量化矩阵进行解码。然而，可以共用这些量化矩阵中的一些量化矩阵。
例如，与使用帧内预测的子块一样，可以使用图8A所示的量化矩阵800来对使用加权帧内/帧间预测的子块进行逆量化，并且可以省略图8C所示的量化矩阵802的解码。这使得可以在减少与图8C所示的量化矩阵相对应的代码量的同时，对由于诸如由帧内预测引起的块失真等的误差而发生的图像质量劣化减轻的位流进行解码。
类似地，与使用帧间预测的子块一样，可以使用图8B所示的量化矩阵801来对使用加权帧内/帧间预测的子块进行逆量化，并且可以省略图8C所示的量化矩阵的解码。这使得可以在减少与图8C所示的量化矩阵802相对应的代码量的同时，对由于诸如由帧间预测引起的不平滑运动等的误差而发生的图像质量劣化减轻的位流进行解码。
可选地，在上述等式(1)中，可以根据表示帧内预测像素值和帧间预测像素值的权重的权重值w的值来自适应地确定针对使用加权帧内/帧间预测的子块所要使用的量化矩阵。例如，如果值w是预定值(例如，中心值4)或更大，则可以将图8B所示的量化矩阵801用于使用加权帧内/帧间预测的子块，并且如果该值较小，则可以使用图8A所示的量化矩阵800。这使得可以在减轻权重较大的预测方法的图像质量劣化的同时，对与省略了编码的图8C所示的量化矩阵802相对应的代码量减少的位流进行解码。可选地，与上述等式(2)一样，可以根据权重值w的值来新生成针对使用加权帧内/帧间预测的子块所要使用的量化矩阵。这使得可以在减少与省略了编码的图8C所示的量化矩阵802相对应的代码量的同时，根据权重值w来进行适当的量化控制并对主观图像质量有所提高的位流进行解码。
此外，在本实施例中，针对使用加权帧内/帧间预测的子块的量化矩阵是唯一地确定的。然而，可以通过引入标识符来选择量化矩阵。例如，在图6B中，可以通过新引入量化矩阵编码方法信息代码来选择针对使用加权帧内/帧间预测的子块的量化矩阵编码。例如，如果量化矩阵编码方法信息代码指示0，则将针对使用帧内预测的子块的量化矩阵800(图8A)用于使用加权帧内/帧间预测的子块。如果量化矩阵编码方法信息代码指示1，则将针对使用帧间预测的子块的量化矩阵801(图8B)用于使用加权帧内/帧间预测的子块。另一方面，如果量化矩阵编码方法信息代码指示2，则将单独编码的量化矩阵802(图8C)用于使用加权帧内/帧间预测的子块。因此，可以对选择性地实现量化矩阵代码量减少和针对使用加权帧内/帧间预测的子块的独特量化控制的位流进行解码。
[第三实施例]
在上述实施例中，假定图1和图2所示的处理单元由硬件构成进行了说明。然而，由图1和图2所示的处理单元进行的处理可以由计算机程序配置成。
图5是示出根据上述实施例的可用作图像显示设备的计算机的硬件结构的示例的框图。
CPU 501使用RAM 502或ROM 503中所存储的计算机程序和数据来控制整个计算机，并且将上述处理作为根据上述实施例的图像处理设备所要进行的处理来执行。即，CPU501用作图1和图2所示的处理单元。
RAM 502具有用于临时存储从外部存储装置506加载的计算机程序和数据以及经由I/F(接口)507从外部获取到的数据的区域。RAM 502还具有由CPU 501用于执行各种处理的工作区。即，RAM 502例如可以被分配作为帧存储器、或者可以适当地提供各种其它区域。
ROM 503存储计算机的设置数据、以及引导程序等。操作单元504由键盘或鼠标等构成。通过对操作单元504进行操作，计算机的用户可以将各种指令输入到CPU 501。显示单元505显示利用CPU 501的处理的结果。显示单元505例如由液晶显示器构成。
外部存储装置506是由硬盘驱动器表示的大容量信息存储装置。OS(操作系统)和被配置为使得CPU 501实现图1和图2所示的单元的功能的计算机程序存储在外部存储装置506中。作为处理对象的图像数据也可以存储在外部存储装置506中。
外部存储装置506中所存储的计算机程序和数据在CPU 501的控制下被适当地加载到RAM 502中并且由CPU 501处理。诸如LAN或因特网等的网络或者诸如投影设备或显示设备等的另一设备可以连接至I/F 507。计算机可以经由I/F 507获取或发送各种信息。附图标记508表示连接上述单元的总线。
在上述结构中，在设备通电时，CPU 501执行ROM 503中的引导程序，将外部存储装置506中所存储的OS加载到RAM 502中，并且激活OS。结果，设备可以经由接口507进行通信，并且用作信息处理设备。当CPU 501在OS的控制下将关于图像编码的(与图3相对应的)应用从外部存储装置506加载到RAM 502中并执行该应用时，CPU 501用作图1所示的各种处理单元，并且设备用作图像编码设备。另一方面，当CPU 501将关于图像解码的(与图4相对应的)应用从外部存储装置506加载到RAM 502中并执行该应用时，CPU 501用作图2所示的各种处理单元，并且设备用作图像解码设备。
(其它实施例)
本发明可以通过以下处理来实现：将用于实现上述实施例的一个或多个功能的程序经由网络或存储介质供给至系统或设备，并且使得该系统或设备的计算机中的一个或多个处理器读出并执行该程序。本发明也可以由用于实现一个或多个功能的电路(例如，ASIC)来实现。
本发明不限于上述实施例，并且可以在本发明的精神和范围内进行各种改变和修改。因此，为了向公众告知本发明的范围，添加了所附权利要求。
本申请要求2018年12月17日提交的日本专利申请2018-235912的优先权，其通过引用而被包含于此。

Claims (4)

1.一种图像编码设备，用于对图像进行编码，包括：
预测单元，其被配置为针对要编码的对象块通过帧内预测、帧间预测以及使用帧内预测和帧间预测这两者的预测其中之一来生成预测图像，并且获得作为所述对象块和所述预测图像之间的差的预测误差；
变换单元，其被配置为对所述预测单元所获得的预测误差进行频率变换，以导出变换系数；
量化单元，其被配置为使用量化矩阵来对所述变换单元所获得的变换系数进行量化，其中所述量化矩阵的大小为8×8；以及
编码单元，其被配置为对所述量化单元所获得的量化变换系数进行熵编码，
其中，在所述预测单元通过用于获得来自通过帧内预测所获得的帧内预测图像和通过帧间预测所获得的帧间预测图像的加权平均的值的所述预测来生成所述预测图像的情况下，所述量化单元使用帧间预测所用的预定量化矩阵作为要用于对所述变换系数进行量化的量化矩阵，以及
其中，在所述预测单元通过帧内预测来生成所述预测图像的情况下，所述量化单元使用帧内预测所用的预定量化矩阵作为要用于对所述量化变换系数进行量化的量化矩阵。
2.一种用于对图像进行编码的控制方法，包括：
针对要编码的对象块通过帧内预测、帧间预测以及使用帧内预测和帧间预测这两者的预测其中之一来生成预测图像；
获得作为所述对象块和所述预测图像之间的差的预测误差；
对所述预测误差进行频率变换，以导出变换系数；
使用量化矩阵来对所述变换系数进行量化，其中所述量化矩阵的大小为8×8；以及
对在所述量化中获得的量化变换系数进行熵编码，
其中，在所述生成通过用于获得来自通过帧内预测所获得的帧内预测图像和通过帧间预测所获得的帧间预测图像的加权平均的值的所述预测来生成所述预测图像的情况下，使用帧间预测所用的预定量化矩阵作为要用于对所述变换系数进行量化的量化矩阵，以及
在所述生成通过帧内预测来生成所述预测图像的情况下，使用帧内预测所用的预定量化矩阵作为要用于对所述量化变换系数进行量化的量化矩阵。
3.一种图像解码设备，用于以块为单位来对图像数据进行解码，包括：
解码单元，其被配置为对量化变换系数进行解码；
逆量化单元，其被配置为使用量化矩阵来对所述量化变换系数进行逆量化，以导出变换系数，其中所述量化矩阵的大小为8×8；
逆变换单元，其被配置为对所述变换系数进行逆变换以导出预测误差；以及
预测单元，其被配置为通过帧内预测、帧间预测以及使用帧内预测和帧间预测这两者的预测其中之一来生成预测图像，并且使用所述预测图像和所述预测误差来对对象块进行解码，
其中，在所述预测单元通过用于获得来自通过帧内预测所获得的帧内预测图像和通过帧间预测所获得的帧间预测图像的加权平均的值的所述预测来生成所述预测图像的情况下，所述逆量化单元使用帧间预测所用的预定量化矩阵作为要用于对所述量化变换系数进行逆量化的量化矩阵，以及
其中，在所述预测单元通过帧内预测来生成所述预测图像的情况下，所述逆量化单元使用帧内预测所用的预定量化矩阵作为要用于对所述量化变换系数进行逆量化的量化矩阵。
4.一种用于以块为单位来对图像数据进行解码的控制方法，包括：
对量化变换系数进行解码；
使用量化矩阵来对所述量化变换系数进行逆量化，以导出变换系数，其中所述量化矩阵的大小为8×8；
对所述变换系数进行逆变换，以导出预测误差；
通过帧内预测、帧间预测以及使用帧内预测和帧间预测这两者的预测其中之一来生成预测图像；以及
使用所述预测图像和所述预测误差来对对象块进行解码，
其中，在所述生成通过用于获得来自通过帧内预测所获得的帧内预测图像和通过帧间预测所获得的帧间预测图像的加权平均的值的所述预测来生成所述预测图像的情况下，使用帧间预测所用的预定量化矩阵作为要用于对所述量化变换系数进行逆量化的量化矩阵，以及
其中，在所述生成通过帧内预测来生成所述预测图像的情况下，使用帧内预测所用的预定量化矩阵作为要用于对所述量化变换系数进行逆量化的量化矩阵。
CN202410242408.3A 2018-12-17 2019-10-25 图像编码设备、图像解码设备和控制方法 Pending CN118018735A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018235912A JP2020098986A (ja) 2018-12-17 2018-12-17 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
JP2018-235912 2018-12-17
PCT/JP2019/041916 WO2020129407A1 (ja) 2018-12-17 2019-10-25 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
CN201980083165.0A CN113196760B (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备、控制方法和存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980083165.0A Division CN113196760B (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备、控制方法和存储介质

Publications (1)

Publication Number Publication Date
CN118018735A true CN118018735A (zh) 2024-05-10

Family

ID=71101196

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202410242411.5A Pending CN118018736A (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备和控制方法
CN202410242415.3A Pending CN118018737A (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备和控制方法
CN201980083165.0A Active CN113196760B (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备、控制方法和存储介质
CN202410242408.3A Pending CN118018735A (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备和控制方法
CN202410242400.7A Pending CN118018733A (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备和控制方法
CN202410242403.0A Pending CN118018734A (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备和控制方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202410242411.5A Pending CN118018736A (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备和控制方法
CN202410242415.3A Pending CN118018737A (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备和控制方法
CN201980083165.0A Active CN113196760B (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备、控制方法和存储介质

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202410242400.7A Pending CN118018733A (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备和控制方法
CN202410242403.0A Pending CN118018734A (zh) 2018-12-17 2019-10-25 图像编码设备、图像解码设备和控制方法

Country Status (9)

Country Link
US (6) US11849114B2 (zh)
EP (1) EP3902255A4 (zh)
JP (2) JP2020098986A (zh)
KR (1) KR20210095947A (zh)
CN (6) CN118018736A (zh)
BR (1) BR112021011586A2 (zh)
RU (2) RU2022100848A (zh)
TW (1) TWI803709B (zh)
WO (1) WO2020129407A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114629962A (zh) * 2021-08-05 2022-06-14 中国石油天然气集团有限公司 井下随钻数据的压缩、解压缩及传输方法和装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8085846B2 (en) * 2004-08-24 2011-12-27 Thomson Licensing Method and apparatus for decoding hybrid intra-inter coded blocks
KR100708206B1 (ko) * 2006-06-22 2007-04-18 삼성전자주식회사 동영상 복호화 방법과 그 장치
JPWO2009050897A1 (ja) * 2007-10-19 2011-02-24 パナソニック株式会社 符号化レート変換装置、符号化レート変換方法および集積回路
RU2012116555A (ru) * 2009-10-30 2013-12-10 Панасоник Корпорэйшн Способ декодирования изображений, способ кодирования изображений, аппаратура декодирования изображений, аппаратура кодирования изображений, программа и интегральная схема
KR101379188B1 (ko) * 2010-05-17 2014-04-18 에스케이 텔레콤주식회사 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
CN107197277B (zh) * 2011-03-09 2020-05-05 日本电气株式会社 视频解码设备以及视频解码方法
JP2013005298A (ja) * 2011-06-17 2013-01-07 Sony Corp 画像処理装置および方法
JP2013038758A (ja) * 2011-07-13 2013-02-21 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
US10277915B2 (en) * 2011-11-07 2019-04-30 Qualcomm Incorporated Signaling quantization matrices for video coding
CN103096056B (zh) * 2011-11-08 2015-11-25 华为技术有限公司 矩阵编码方法与装置及解码方法与装置
US9020294B2 (en) * 2012-01-18 2015-04-28 Dolby Laboratories Licensing Corporation Spatiotemporal metrics for rate distortion optimization
JP5886446B2 (ja) * 2012-01-20 2016-03-16 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 量子化行列の符号化方法及び復号化方法、並びにそれを利用する装置
RU2597509C2 (ru) * 2012-02-29 2016-09-10 Сони Корпорейшн Устройство и способ обработки изображений
MX363952B (es) * 2012-04-13 2019-04-08 Mitsubishi Electric Corp Dispositivo de codificacion de imagen, dispositivo de decodificacion de imagen, metodo de codificacion de imagen, y metodo de decodificacion de imagen.
US20130272390A1 (en) * 2012-04-16 2013-10-17 Qualcomm Incorporated Uniform granularity for quantization matrix in video coding
KR101752149B1 (ko) * 2012-06-26 2017-07-11 미쓰비시덴키 가부시키가이샤 동화상 부호화·복호 장치 및 방법
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置
US9609343B1 (en) * 2013-12-20 2017-03-28 Google Inc. Video coding using compound prediction
CN107113425A (zh) * 2014-11-06 2017-08-29 三星电子株式会社 视频编码方法和设备以及视频解码方法和设备
US11012693B2 (en) * 2014-12-26 2021-05-18 Panasonic Intellectual Property Management Co., Ltd. Encoding method, decoding method, encoding apparatus, and decoding apparatus
US10218976B2 (en) * 2016-03-02 2019-02-26 MatrixView, Inc. Quantization matrices for compression of video
JP6921870B2 (ja) * 2016-05-24 2021-08-18 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュートＥｌｅｃｔｒｏｎｉｃｓ Ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ 画像復号方法、画像符号化方法及び記録媒体
CN116708781A (zh) * 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
CN116708775A (zh) * 2016-07-18 2023-09-05 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
CN116527887A (zh) * 2016-08-01 2023-08-01 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质

Also Published As

Publication number Publication date
CN113196760A (zh) 2021-07-30
US20240089445A1 (en) 2024-03-14
TW202025747A (zh) 2020-07-01
JP2023181542A (ja) 2023-12-21
EP3902255A1 (en) 2021-10-27
RU2022100848A (ru) 2022-02-21
BR112021011586A2 (pt) 2021-08-31
EP3902255A4 (en) 2022-10-05
US20240089444A1 (en) 2024-03-14
WO2020129407A1 (ja) 2020-06-25
RU2765428C1 (ru) 2022-01-31
CN118018737A (zh) 2024-05-10
CN118018733A (zh) 2024-05-10
JP2020098986A (ja) 2020-06-25
US20240089448A1 (en) 2024-03-14
CN113196760B (zh) 2024-03-19
US20240089446A1 (en) 2024-03-14
KR20210095947A (ko) 2021-08-03
CN118018734A (zh) 2024-05-10
CN118018736A (zh) 2024-05-10
US11849114B2 (en) 2023-12-19
US20240089447A1 (en) 2024-03-14
US20210306635A1 (en) 2021-09-30
TWI803709B (zh) 2023-06-01

Similar Documents

Publication Publication Date Title
JP2023105156A (ja) 画像符号化装置、画像符号化方法、及びプログラム
US20240089448A1 (en) Image encoding apparatus, image decoding apparatus, control methods thereof, and non-transitory computer-readable storage medium
US20240089439A1 (en) Image decoding device, method, and non-transitory computer-readable storage medium
JP7497486B2 (ja) 画像復号装置、画像復号方法、及びプログラム
JP2023113858A (ja) 画像復号装置、画像復号方法、及びプログラム
WO2020003740A1 (ja) 画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
WO2020183859A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、及びプログラム
CN113196759B (zh) 图像编码设备和方法、图像解码设备和方法以及存储介质
WO2021054012A1 (ja) 画像符号化装置、画像復号装置及びそれらの制御方法及びプログラム
JP2023140150A (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
JP2021150723A (ja) 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム
KR20210096279A (ko) 화상 부호화 장치 및 화상 복호 장치 및 그것들의 제어 방법 및 프로그램

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination