CN105580368A - 图像编码装置、图像解码装置以及它们的程序 - Google Patents

图像编码装置、图像解码装置以及它们的程序 Download PDF

Info

Publication number
CN105580368A
CN105580368A CN201480053809.9A CN201480053809A CN105580368A CN 105580368 A CN105580368 A CN 105580368A CN 201480053809 A CN201480053809 A CN 201480053809A CN 105580368 A CN105580368 A CN 105580368A
Authority
CN
China
Prior art keywords
quantization matrix
quantization
block
quantification
orthogonal transform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480053809.9A
Other languages
English (en)
Other versions
CN105580368B (zh
Inventor
市谷敦郎
岩村俊辅
森田泰子
境田慎一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Publication of CN105580368A publication Critical patent/CN105580368A/zh
Application granted granted Critical
Publication of CN105580368B publication Critical patent/CN105580368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本发明的图像编码装置包括：判断部，判断对变换块是应用正交变换还是进行不应用正交变换的变换跳过，变换块通过将表示输入图像和预测图像的差分的预测差分信号进行分割而获得；以及正交变换部，进行基于判断所选择的处理，图像编码装置的特征在于，具有量化部，当基于判断选择变换跳过时，量化部使用与预先和解码侧共享的所有元素的量化粗度相等的第一量化矩阵量化变换块；当基于判断对变换块应用正交变换时，量化部使用第一量化矩阵或发送至解码侧的第二量化矩阵量化变换块。

Description

图像编码装置、图像解码装置以及它们的程序
技术领域
本发明涉及图像编码装置、图像解码装置以及它们的程序。
背景技术
随着多媒体技术的普及，在日常生活中也经常处理动态图像。图像数据通常在信息量大时，由多个静态图像形成动态图像。因此，在发送、积累动态图像数据时，通常使用图像编码技术压缩信息量。预测编码方式是一种高效压缩信息量的编码方式。预测编码方式由根据过去编码的图像预测当前时刻的预测图像的处理和对差分图像进行编码的处理构成，该差分图像是输入的输入图像和预测图像的差分。在差分图像的编码中，对于差分图像，在将在变换处理或变换区域(例如，空间频率区域)中表示的变换系数量化后，进行熵编码等无损编码。因为人类的视觉特性对空间频率低的频段(低频段)比对高频段更敏感，所以在量化中，有时使用越朝向低频段越小，越朝向高频段越大的量化宽度。由这样的块内的坐标或每个频率的量化宽度形成的数据称为量化矩阵。由此，重视差分信号的低频段成分，从而即使压缩信息量也可以抑制主观质量的降低。
非专利文献1中记载的HEVC(HighEficiencyVideoCoding，高效率视频编码)方式(也称为ISO/IEC23008-2HEVC，ITU-TRecommendationH.265)作为预测编码方式的代表方式。在HEVC方式中，对作为差分图像的一部分的每个块判断是否省略(跳过)变换处理之一的正交变换，当判断省略正交变换时，量化差分图像并进行无损编码。这里，对于每个块是否进行正交变换，比较差分的大小后决定是否省略正交变换。省略正交变换进行量化和编码的处理模式称为变换跳过(TS：TransformSkip)模式。在选择TS模式时，即使在不以差分图像的低频成分为主的情况下，也可以压缩信息量。
在先技术文献
非专利文献
非专利文献1：RecommendationITU-TH.265，(04/2013)，“Highefficiencyvideocoding(高效率视频编码)”，InternationalTelecommunicationUnion，April2013
发明内容
但是，在非专利文献1中记载的编码方式中存在以下问题，即，在进行正交变换后的块和未进行正交变换的块混在一起时，主观画质变差。例如，当配合进行正交变换后的块来设定量化的粗度使得越处于高带宽越粗时，在未进行正交变换的块中，由于在像素之间量化的粗度不同而在像素之间产生偏差，导致主观画质变差。
本发明是鉴于上述问题而提出的，其提供即使进行正交变换后的块和未进行正交变换的块混在一起，也可以抑制由于量化而产生的主观画质变差的图像编码装置、图像解码装置以及它们的程序。
(1)因此，为了解决上述问题，本发明提供一种图像编码装置，包括：判断部，判断对变换块是应用正交变换还是进行不应用正交变换的变换跳过，所述变换块通过对表示输入图像和预测图像的差分的预测差分信号进行分割而获得；以及正交变换部，进行基于所述判断所选择的处理，所述图像编码装置的特征在于，具有量化部，当基于所述判断选择所述变换跳过时，所述量化部使用与预先和解码侧共享的所有元素的量化粗度相等的第一量化矩阵量化所述变换块；当基于所述判断对所述变换块应用正交变换时，所述量化部使用所述第一量化矩阵或发送至解码侧的第二量化矩阵量化所述变换块。
(2)另外，本发明的其他方式提供一种图像编码装置，包括：判断部，判断对变换块是应用正交变换还是进行不应用正交变换的变换跳过，所述变换块通过对表示输入图像和预测图像的差分的预测差分信号进行分割而获得；以及正交变换部，进行基于所述判断所选择的处理，所述图像编码装置的特征在于，具有量化部，当基于所述判断选择所述变换跳过时，所述量化部使用表示所有元素的量化粗度的量化矩阵量化所述变换块，其中，所述所有元素的量化粗度由构成与预先和解码侧共享的所有元素的量化粗度相等的第一量化矩阵或发送至解码侧的第二量化矩阵的元素的代表值表示；当基于所述判断对所述变换块应用所述正交变换时，所述量化部使用所述第一量化矩阵或所述第二量化矩阵量化所述变换块。
(3)另外，本发明的其他方式提供一种图像编码装置，包括：判断部，判断对变换块是应用正交变换还是进行不应用正交变换的变换跳过，所述变换块通过对表示输入图像和预测图像的差分的预测差分信号进行分割而获得；以及正交变换部，进行基于所述判断所选择的处理，所述图像编码装置的特征在于，具有量化部，当基于所述判断选择所述变换跳过时，所述量化部使用表示所有元素的量化粗度的量化矩阵量化所述变换块，其中，所述量化矩阵是与预先和解码侧共享的所有元素的量化粗度相等的第一量化矩阵或发送至解码侧的单一值；当基于所述判断对所述变换块应用所述正交变换时，所述量化部使用所述第一量化矩阵或发送至解码侧的第二量化矩阵量化所述变换块。
(4)另外，本发明的其他方式是(1)至(3)中的任一个所述的图像编码装置，其特征在于，当在基于所述判断对所述变换块应用正交变换的情况下发送所述第二量化矩阵时，所述量化部使用第二量化矩阵进行量化；当在应用所述正交变换的情况下不发送所述第二量化矩阵时，所述量化部使用所述第一量化矩阵进行量化。
(5)另外，本发明的其他方式为是(1)中所述的图像编码装置，其特征在于，当在基于所述判断对所述变换块选择所述变换跳过的情况下发送所述第二量化矩阵时，所述量化部使用所述第一量化矩阵进行量化。
(6)另外，本发明的其他方式中的图像解码装置的特征在于，具有反量化部，当包含在编码数据中的量化完毕块是进行不应用正交变换的变换跳过的块时，所述反量化部使用与预先和编码侧共享的所有元素的量化粗度相等的第一量化矩阵反量化所述量化完毕块；当包含在编码数据中的量化完毕块是应用正交变换的块时，所述反量化部使用所述第一量化矩阵或从编码侧发送的第二量化矩阵反量化所述量化完毕块。
(7)另外，本发明的其他方式中的图像解码装置的特征在于，具有反量化部，当包含在编码数据中的量化完毕块是进行不应用正交变换的变换跳过的块时，所述反量化部使用表示所有元素的量化粗度的量化矩阵反量化所述量化完毕块，其中，所述所有元素的量化粗度由构成与预先和编码侧共享的所有元素的量化粗度相等的第一量化矩阵或从编码侧发送的第二量化矩阵的元素的代表值表示；当包含在编码数据中的量化完毕块是应用正交变换的块时，所述反量化部使用所述第一量化矩阵或所述第二量化矩阵反量化所述量化完毕块。
(8)另外，本发明的其他方式中的图像解码装置的特征在于，具有反量化部，当包含在编码数据中的量化完毕块是进行未应用正交变换的变换跳过的块时，所述反量化部使用表示所有元素的量化粗度的量化矩阵反量化所述量化完毕块，其中，所述量化矩阵由与预先和编码侧共享的第一量化矩阵或从编码侧发送的单一值表示；当包含在编码数据中的量化完毕块是应用正交变换的块时，所述反量化部使用所述第一量化矩阵或从所述编码侧发送的第二量化矩阵反量化所述量化完毕块。
(9)另外，本发明的其他方式是在(6)至(8)中的任一个所述的图像解码装置，其特征在于，当在包含在所述编码数据中的量化完毕块是应用正交变换的块的情况下从所述编码侧发送所述第二量化矩阵时，所述反量化部使用所述第二量化矩阵进行反量化；当在包含在所述编码数据中的量化完毕块是应用正交变换的块的情况下未从所述编码侧发送所述第二量化矩阵时，所述反量化部使用所述第一量化矩阵进行反量化。
(10)另外，本发明的其他方式是在(6)中所述图像解码装置，其特征在于，当在包含在所述编码数据中的量化完毕块是进行不应用正交变换的变换跳过的块的情况下从所述编码侧发送所述第二量化矩阵时，所述反量化部使用所述第一量化矩阵进行反量化。
(11)另外，本发明的其他方式是一种程序，使计算机作为在(1)～(5)中的任一个所述的图像编码装置发挥功能。
(12)另外，本发明的其他方式为一种程序，使计算机作为在(6)～(10)中的任一个所述的图像解码装置发挥功能。
附图说明
图1是示出本发明第一实施方式的图像编码装置10的概略性构成的一个实施例的框图。
图2是说明第一实施方式中的编码块和变换块的示意图。
图3是示出第一实施方式中的量化矩阵tb11的表。
图4是示出第一实施方式中的量化矩阵tb21的表。
图5是示出第一实施方式中的量化矩阵tb22的表。
图6是说明第一实施方式中的量化矩阵确定部105和量化部104的处理的流程图。
图7是示出第一实施方式中的图像解码装置30的构成的概略性框图。
图8是说明第一实施方式中的量化矩阵确定部304和反量化部303的动作的流程图。
图9是说明本发明第二实施方式中的量化部104和量化矩阵确定部105的动作的流程图。
图10是说明第二实施方式中的反量化部303和量化矩阵确定部304的动作的流程图。
图11是说明本发明第三实施方式中的量化部104和量化矩阵确定部105的动作的流程图。
图12是说明第三实施方式中的反量化部303和量化矩阵确定部304的动作的流程图。
图13是表示本发明第四实施方式中的图像编码装置10a的构成的概略性框图。
图14是说明第四实施方式中的量化部104和量化矩阵确定部105a的动作的流程图。
图15是表示第四实施方式中的图像解码装置30a的构成的概略性框图。
图16是说明第四实施方式中的反量化部303和量化矩阵确定部304a的动作的流程图。
图17是说明本发明第五实施方式中的量化部104和量化矩阵确定部105a的动作的流程图。
图18是说明第五实施方式中的反量化部303和量化矩阵确定部304a的动作的流程图。
具体实施方式
(第一实施方式)
下面，参照附图说明本发明的第一实施方式。图1是示出本实施方式的图像编码装置10的概略性构成的一个实施例的框图。图像编码装置10对输入动态图像r进行编码从而生成编码数据。在图1所示的实施例中，图像编码装置10包括预处理部100、预测差分信号生成部101、正交变换部102、变换跳过判断部103、量化部104、量化矩阵确定部105、熵编码部106、反量化部107、逆正交变换部108、解码图像生成部109、环路过滤器部110、解码图像存储部111、帧内预测部112、帧间预测部113、运动矢量计算部114以及预测图像选择部115而构成。下面，简略说明各部件。
预处理部100结合图片类型对所输入的输入动态图像r进行图片的重排，并依次输出按照每一个图片类型和帧的帧图像等。另外，预处理部100对各帧图像进行对编码块进行的分块。此外，编码块的尺寸具有8×8、16×16以及32×32三种。可以通过任意的方法决定将各编码块的尺寸形成为上述的哪一种，例如，参考其区域的空间频率分布，设定高频率成分越小编码块的尺寸越大等。
预测差分信号生成部101获得预处理部100分割后的编码块。预测差分信号生成部101根据其编码块和从预测图像选择部115输入的预测图像的块数据生成预测差分信号。具体而言，通过使预测图像选择部115的编码块的各像素值减去与从预测图像选择部115输入的块数据对应的像素值，从而生成预测差分信号。预测差分信号生成部101将生成的预测差分信号输入正交变换部102和变换跳过判断部103。
正交变换部102将输入的预测差分信号分割成变换块。此外，变换块的尺寸具有4×4、8×8、16×16以及32×32四种。可以通过任意的方法决定将各变换块的尺寸形成为上述的哪一种。例如，正交变换部102基于表示对该编码数据解码后的解码结果和输入动态图像的差分大小的值和各尺寸时的编码数据的位数计算评价值，并将变换块的尺寸设为该评价值最大时的尺寸。此外，评价值是编码数据的位数越小其越大，且解码结果和输入动态图像的差分大小越小其越大的值。
正交变换部102对分割后的变换块进行离散余弦变换等正交变换处理，生成量化块。其中，对于通过变换跳过判断部103判断为未应用正交变换的变换块，将变换块直接不变地设为量化块。此外，在正交变换中，由于块的尺寸不变化，因此，变换块的尺寸和对其进行正交变换后的量化块的尺寸相同。
变换跳过判断部103对各变换块判断是否进行正交变换。变换跳过判断部103例如计算变换块的空间频率分布，并在频率成分的最大值和最小值之差在预定阈值以下时判断为变换跳过。此外，也可以通过其他方法判断是否进行正交变换。另外，在本实施方式中，与HEVC相同，可以设置为只有在变换块的尺寸是4×4时不应用正交变换(变换跳过)。
当可以设定上述变换块不应用正交变换时，变换跳过判断部103将表示是否对该变换块应用正交变换的变换跳过标识(transform_skip_flag)输入熵编码部106和量化矩阵确定部105。此外，当可以设定变换块不应用正交变换时，如果在本实施方式中则是指该变换块的尺寸是4×4时。另外，当变换跳过标识是“1”时表示不应用正交变换，是“0”时表示应用正交变换。
量化部104量化来自正交变换部102的输出信号，即，量化块。量化部104通过进行量化来降低输出信号的编码量，并将该输出信号(量化完毕的块)输入熵编码部106和反量化部107。量化部104在对量化块进行量化时，使用量化矩阵确定部105对每个量化块确定的量化矩阵。该量化矩阵是各元素(下文，称为量化值)表示对与量化块对应的元素进行量化时的量化粗度的矩阵。量化值越大，量化步长越大。
量化矩阵确定部105对每个量化块确定量化矩阵。量化矩阵确定部105确定量化矩阵，使量化块中的通过变换跳过得到的量化块的量化矩阵形成与全部元素的量化粗度相等的量化矩阵，即，全部的量化值是相同值。下文详细叙述量化矩阵的确定方法。
量化矩阵确定部105向熵编码部106输入表示是否使用发送至解码侧的传送量化矩阵作为量化矩阵的传送量化矩阵应用标识(scaling_list_enable_flag)。而且，量化矩阵确定部105在传送量化矩阵应用标识是“1”并表示使用传送量化矩阵时，向熵编码部106输入按预定顺序排列该传送量化矩阵(ScalingFactor，比例因数)的各元素的比例列表(ScalingList)。
熵编码部106对来自量化部104的输出信号、从运动矢量计算部114输出的运动矢量信息以及来自环路过滤器部110的过滤系数等从各部件输入的信息进行熵编码后作为编码数据e输出。此外，从各部输入的信息中包括从变换跳过判断部103输入的变换跳过标识、从量化矩阵确定部105输入的比例列表以及传送量化矩阵应用标识。另外，熵编码是指根据符号的出现频率分配长度可变的编码的方式。
反量化部107将从量化部104输入的量化完毕的块反量化，生成变换后的块。反量化部107将生成的变换后的块输入逆正交变换部108。反量化部107在反量化时使用量化矩阵确定部105确定的量化矩阵。由此，进行与量化时的量化粗度对应的反量化。
逆正交变换部108将从反量化部107输入的变换后的块进行逆正交变换处理后向解码图像生成部109输出。通过利用反量化部107和逆正交变换部108进行解码处理，从而获得与编码前的预测差分信号同程度的信号。
解码图像生成部109将通过预测图像选择部115选择的预测图像的块数据和通过反量化部107和逆正交变换部108进行解码处理的预测差分信号相加。解码图像生成部109将相加生成的解码图像的块数据向环路过滤器部110输出。
环路过滤器部110是例如SAO(SampleAdaptivefilter，样本自适应滤波器)、ALF(AdaptiveLoopFilter，自适应环路滤波器)或去块滤波器，可以包括其中任一个或多个。
例如，环路过滤器部110将输入图像分成每个预定尺寸的组，并对每组生成合适的滤波系数。环路过滤器部110将过滤处理后的解码图像按每个预定尺寸分组，并使用生成的过滤系数对每组进行过滤处理。环路过滤器部110将过滤处理结果输出至解码图像存储部111，并使其作为参照图像积累。预定尺寸是例如正交变换尺寸。
解码图像存储部111将输入的解码图像的块数据作为新的参照图像的数据存储，并输出至帧内预测部112、帧间预测部113以及运动矢量计算部114。
帧内预测部112根据已编码的参照像素对编码对象图像的处理对象块生成预测图像的块数据。帧内预测部112使用多种预测方向进行预测，并确定最佳的预测方向。
帧间预测部113使用从运动矢量计算部114提供的运动矢量对从解码图像存储部111获得的参照图像的数据进行运动补偿。由此，生成作为经过运动补偿的参照图像的块数据。
运动矢量计算部114使用编码对象图像中的块数据和从解码图像存储部111获得的参照图像求运动矢量。运动矢量是表示使用块匹配技术等求出的块单元的空间性分散的值，块匹配技术是指在块单元中从参照图像内搜索与处理对象块最相似的位置。
运动矢量计算部114将求得的运动矢量输出至帧间预测部113，并将包括表示运动矢量和参照图像的信息的运动矢量信息输出至熵编码部106。
从帧内预测部112和帧间预测部113输出的块数据输入预测图像选择部115。
预测图像选择部115从帧内预测部112和帧间预测部113获得的块数据中选择某个块数据作为预测图像。选择的预测图像被输出至预测差分信号生成部101和解码图像生成部109。
图2是说明本实施方式中的编码块和变换块的示意图。通过预处理部100，各帧被分割成编码块。编码块的尺寸是8×8、16×16以及32×32的任一个。在图2中，某帧中的64×64的块被分割成32×32的编码块CB1、CB2、CB3以及16×16的编码块CB4、CB5、CB6、CB7。
而且，与各编码块对应的预测差分信号通过正交变换部102被分割成变换块。在图2中，32×32的编码块CB2被分割成16×16的变换块TB1、TB2、TB3、8×8的变换块TB4、TB5、TB6、以及4×4的变换块TB7、TB8、TB9、TB10。
图3、图4、图5分别是表示具有水平方向4个(4列)、垂直方向4个(4行)共16个量化值的量化矩阵tb11、tb21、tb22的表。量化矩阵tb11、tb21、tb22的元素数是4×4，因此用于对4×4的量化块进行量化。分别包含在量化矩阵tb11、tb21、tb22中的四边形表示元素。在四边形中分别记载的数字表示量化值。
量化矩阵tb11是由平坦(均匀)的初始值形成的默认量化矩阵的一个实施例，各元素的量化值均为16。这里，平坦是指量化矩阵的所有元素都是相同的值。如果使用上述平坦的量化矩阵，则可以不受量化块的元素影响，以相同的精度进行量化。因此，在未进行正交变换时，可以避免由于使用类似量化矩阵tb21等的量化值具有偏差的量化矩阵而引起的画质变差。
量化矩阵tb21是具有倾斜的传送量化矩阵的一个实施例。水平方向、垂直方向的各个次数越大，量化矩阵tb21具有越大的量化值。量化矩阵tb21的左上端(第1行第1列)、中间(第3行第2列)、右下端(第4行第4列)的量化值分别是6、28、42。在这样的量化矩阵中，越是与靠右下排列的元素相关的变换系数，即越是高频的变换系数，越以低精度进行量化。因此，在进行正交变换时，允许充分利用越向低频段则对浓淡和色调的空间变化越敏感这一人类视觉特性，从而在不降低主观画质的基础上通过量化降低在高频段的信息量。
量化矩阵tb22是具有倾斜的传送量化矩阵的其他实施例。水平方向、垂直方向的各个次数越大，量化矩阵tb22具有越大的量化值。因此，在进行正交变换时，允许在不降低画质的基础上通过量化降低在高频带的信息量。但是，与量化矩阵tb21的量化值的倾斜相比，量化矩阵tb22的量化值的倾斜更缓和。
此外，在图3、图4、图5中虽然示出4×4的量化矩阵的实施例，但是，量化块的尺寸具有4×4、8×8、16×16以及32×32四种。因此，量化矩阵的尺寸也有4×4、8×8、16×16以及32×32四种。
图6是说明量化矩阵确定部105和量化部104的处理的流程图。量化矩阵确定部105和量化部104依次一个个选择所有编码块来进行以下的步骤Sa2～步骤Sa17的处理(Sa1)。在步骤Sa2中，量化矩阵确定部105确定是否对属于该编码块(选择的编码块)的变换块的量化使用传送量化矩阵。可以使用任何方法确定是否使用传送量化矩阵，例如，判断在该编码块内的量化块中元素值的最大值和最小值之差是否处于预定范围外，当处于预定范围外时，判断为使用传送量化矩阵。
当在步骤Sa2中确定不使用传送量化矩阵时(在Sa2中“否”的情况)，量化矩阵确定部105将与该编码块相关的传送量化矩阵应用标识设为“0”并输入熵编码部106(Sa13)。当传送量化矩阵应用标识的值是“0”时，表示当量化该编码块内的量化块时不使用传送量化矩阵而使用默认量化矩阵。
然后，依次一个个选择该编码块内的所有量化块来进行步骤Sa15、Sa16的处理(Sa14)。在步骤Sa15中，量化矩阵确定部105对量化部104和反量化部107设定与该量化块的尺寸对应的默认量化矩阵。默认量化矩阵是预先与解码侧共享并以存储的初始值作为元素的量化矩阵。此外，在本实施方式中，与HEVC相同，4×4的默认量化矩阵是类似图3的量化矩阵tb11的平坦矩阵，除此之外尺寸的默认量化矩阵具有倾斜。
也就是说，对于不使用传送量化矩阵的编码块，在量化4×4的量化块时，不管是否进行变换跳过，都总是使用平坦的默认量化矩阵。
然后，量化部104使用在步骤Sa15中设定的默认量化矩阵对该量化块的各元素进行量化，并生成量化完毕块。量化部104将生成的量化完毕块输入到熵编码部106和反量化部107中(Sa16)。量化部104在进行量化时，例如，选择变换系数级数值TransCoeffLevel[xTbY][yTbY][cIdx][x][y]作为量化完毕块，该变换系数级数值是反量化部107通过等式(1)计算的、反量化后的变换完毕块d[x][y]最接近从正交变换部102输入的量化块的变换系数级数值。此外，在等式(1)中，m[x][y]是量化矩阵。
d[x][y]＝Clip3(-32768，32767，((TransCoeffLevel[xTbY][yTbY][cIdx][x][y]*m[x][y]*levelScale[qP％6]<<(qP/6))+(1<<(bdShift-1)))>>bdShift)…(1)
这里，Clip3(a，b，xx)在实数xx小于实数a时是a，在实数xx大于实数b时是b，在实数xx大于等于a且小于等于b时，仍为xx的函数。xTbY、yTbY分别表示作为处理对象的量化块(对象块)的左上端的水平方向、垂直方向的坐标。-32768、32767分别表示每个以16位表示的元素的信号值的最小值、最大值。cIdx是表示信号值的种类的索引。cIdx＝0、1、2分别表示亮度信号、色差信号Cb、色差信号Cr。
从levelScale[0]至levelScale[5]分别是40、45、51、57、64、72。qP是量化参数，即表示量化精度的整数，并且是每增加6则促使量化值减半的参数。qP％6表示qP除以6得到的余数。a<<b是表示将a的值在二进制计数中向左侧移动b位，即乘以2的b次方的移位运算符。a>>b是表示将a的值在二进制计数中向右移侧移动b位，即除以2的b次方的移位运算符。
bdShift是根据信号值的种类预先决定的移位值。例如，当信号值是亮度信号Y时，bdShift是BitDepthY+Log2(nTbS)-5。BitDepthY表示亮度信号Y的位深，即量化位数(例如，16位)。nTbS表示对象块的块尺寸。当信号值是色差信号Cb、Cr时，bd量化矩阵确定部105的Shift是BitDepthC+Log2(nTbS)-5。BitDepthC表示亮度信号Cb、Cr的位深，即量化位数(例如，16位)。这里，根据帧的种类qP也可以是不同的值。
然后，量化矩阵确定部105判断是否对属于该编码块的所有量化块已经进行了步骤Sa15、Sa16的处理(Sa17)，并在对所有量化块进行处理后进入步骤Sa12。当存在未进行步骤Sa15、Sa16的处理的量化块时，量化矩阵确定部105选择一个未进行处理的量化块并返回步骤Sa15。
另一方面，在步骤Sa2中判断为在该编码块使用传送量化矩阵时(在Sa2中“是”的情况)，量化矩阵确定部105确定各尺寸的传送量化矩阵(ScalingFactor)(Sa3)。例如，量化矩阵确定部105预先存储多个各尺寸的量化矩阵，并从中选择量化误差最小的量化矩阵。或者，也可以基于量化误差和量化后的位数计算评价值，并以该评价值为基准选择。
然后，量化矩阵确定部105向熵编码部106输入将确定的传送量化矩阵的各元素以预定顺序排列的比例列表和设定为“1”的传送量化矩阵应用标识(scaling_list_enable_flag)(Sa4)。然后，依次一个个选择该编码块内的所有量化块来进行从步骤Sa6至Sa10的处理(Sa5)。
在步骤Sa6中，量化矩阵确定部105判断该量化块的尺寸是否是4×4，即，判断是否是可以进行变换跳过的量化块。当在步骤Sa6中判断是是4×4时(在Sa6中“是”的情况)，量化矩阵确定部105判断该量化块是否已经进行了变换跳过(Sa7)。此外，当进行该判断时，参照从变换跳过判断部103输入的变换跳过标识。
当在步骤Sa7中判断为已经进行了变换跳过时(在Sa7中“是”的情况)，量化矩阵确定部105对量化部104和反量化部107设定4×4的默认量化矩阵(Sa8)，并进入步骤Sa10。该4×4的默认量化矩阵与在步骤Sa15中设定的矩阵相同，都是平坦的量化矩阵。另一方面，当在步骤Sa6中判断为不是4×4时(在Sa6中“否”的情况)以及在步骤Sa7中判断为不进行变换跳过时(在Sa7中“否”的情况)，量化矩阵确定部105对量化部104和反量化部107设定在步骤Sa3中确定的传送量化矩阵中的该量化块的尺寸的传送量化矩阵(Sa9)，并进入步骤Sa10。
即，对于使用传送量化矩阵的编码块，当量化4×4的量化块时，如果进行变换跳过，则使用默认量化矩阵；如果未进行变换跳过，则使用传送量化矩阵。由此，可以对进行变换跳过的块使用平坦的量化矩阵，对未进行变换跳过的块使用具有倾斜的量化矩阵。
在步骤Sa10中，与在步骤Sa16中相同，量化部104使用在步骤Sa8或Sa9中设定的量化矩阵量化该量化块并生成量化完毕块。量化部104将生成的量化完毕块输入到熵编码部106和反量化部107。然后，量化矩阵确定部105对属于该编码块的所有量化块判断是否已经进行了步骤Sa6～Sa10的处理(Sa11)，当对所有量化块都已经进行了处理时，进入步骤Sa12。当存在未进行步骤Sa6～Sa10的处理的量化块时，量化矩阵确定部105选择一个未进行处理的量化块并返回步骤Sa6。
在步骤Sa12中，量化矩阵确定部105判断是否已经对所有编码块进行了步骤Sa2～Sa17的处理。当存在未进行步骤Sa2～Sa17的处理的编码块时，量化矩阵确定部105选择一个未进行处理的编码块并返回步骤Sa2。当对所有编码块都已经进行了处理时，结束处理。
下面，说明图像解码装置30，其对由图像编码装置10生成的编码数据e进行解码并生成解码图像。图7是表示本实施方式的图像解码装置30的构成的示意性框图。如图7所示，图像解码装置30包括熵解码部301、解码信息存储部302、反量化部303、量化矩阵确定部304、逆正交变换部305、变换跳过判断部306、解码图像生成部307、环路过滤器部308、帧存储器309、帧间预测部310、帧内预测部311以及预测图像选择部312而构成。下面说明各部分的概况。
当输入由图像编码装置10生成的编码数据e时，熵解码部301进行与图像编码装置10的熵编码部106进行的熵编码对应的熵解码。通过熵解码部301解码后的预测误差信号(量化完毕块)被输出至反量化部303。另外，解码后的变换跳过标识、传送量化矩阵应用标识、比例列表、过滤系数、帧间预测情况下的解码后的运动矢量等被输出至解码信息存储部302。
另外，在进行帧内预测的情况下，熵解码部301对帧内预测部311通知该意图。另外，熵解码部301向预测图像选择部312通知是帧间预测解码对象图像还是帧内预测解码对象图像。
解码信息存储部302存储解码后的变换跳过标识、传送量化矩阵应用标识、比例列表、环路过滤器的过滤系数、运动矢量以及分割模式等解码信息。
反量化部303对从熵解码部301输入的量化完毕块进行等式(1)表示的反量化处理，生成变换完毕块。该变换完毕块是将图1中的正交变换部102生成的量化块复原后的块。反量化部303将变换完毕块输入逆正交变换部305。此外，反量化部303在进行反量化处理时使用根据量化矩阵确定部304设定的量化矩阵。
量化矩阵确定部304从解码信息存储部302读取变换跳过标识、传送量化矩阵应用标识、比例列表，生成在将各量化完毕块进行反量化时使用的量化矩阵并向反量化部303设定。
逆正交变换部305对从反量化部303输入的变换完毕块进行逆正交变换处理，并生成将图像编码装置10的预测差分信号生成部101生成的预测差分信号复原后的预测差分复原信号。此外，逆正交变换部305不对根据变换跳过判断部306指定不应用逆正交变换的变换完毕块进行逆正交变换处理，而直接作为预测差分复原信号。逆正交变换部305将预测差分复原信号输入至解码图像生成部307。
帧内预测部311根据从帧存储器309获得的解码对象图像的已经解码的周边像素，使用多个预测方向生成预测图像。
帧间预测部310使用从解码信息存储部302获得的运动矢量或分割模式对从帧存储器309获得的参照图像的数据进行运动补偿。由此，生成由运动补偿后的参照图像形成的预测图像的块数据。
预测图像选择部312根据来自熵解码部301的通知选择帧内预测图像或帧间预测图像中的一个预测图像。被选择的预测图像的块数据被输入到解码图像生成部307。
解码图像生成部307将从预测图像选择部312输入的预测图像的块数据和从逆正交变换部305输入的预测差分复原信号相加，并生成解码图像。生成的解码图像被输入到环路过滤器部308。
环路过滤器部308对从解码图像生成部307输出的出解码图像使用用于降低块变形的滤波器，并将环路过滤器处理后的解码图像输出至帧存储器309。此外，环路过滤后的解码图像可以输出至显示装置。
帧存储器309存储成为参照图像的解码图像等。此外，虽然解码信息存储部302和帧存储器309形成为分离的结构，但也可以是相同的存储部。
图8是说明量化矩阵确定部304和反量化部303的动作的流程图。量化矩阵确定部304和反量化部303依次一个个选择所有编码块来进行以下从步骤Sb2至步骤Sb14的处理(Sb1)。在步骤Sb2中，量化矩阵确定部304参照解码信息存储部302判断该编码块的传送量化矩阵应用标识是否变为“1”。
当判断传送量化矩阵应用标识未变为“1”时(在Sb2中“否”的情况)，量化矩阵确定部304和反量化部303依次一个个选择该编码块内的所有量化完毕块来进行以下从步骤Sb12至步骤Sb13的处理。在步骤Sb12中，量化矩阵确定部304判断是否对属于该编码块的所有量化块已经进行了步骤Sb12～Sb13的处理(Sb14)，并在对所有量化块都进行了处理时进入步骤Sb15。当存在未进行步骤Sb12～Sb13的处理的量化块时，量化矩阵确定部304选择一个未进行处理的量化块并返回步骤Sb12。
另一方面，当步骤Sb2判断传送量化矩阵应用标识变为“1”时(在Sb2中“是”的情况)，量化矩阵确定部304从解码信息存储部302获得该编码块的各尺寸的比例列表(Sb3)。然后，量化矩阵确定部304和反量化部303依次一个个选择所有量化完毕块来进行以下从步骤Sb5至步骤Sb10的处理(Sb4)。首先，量化矩阵确定部304判断选择的该量化完毕块的尺寸是否是4×4(Sb5)。当判断量化完毕块的尺寸是4×4时(在Sb45中“是”的情况)，再从解码信息存储部302获得该量化完毕块的变换跳过标识，并判断变换跳过标识是否是“1”(Sb6)。
当判断变换跳过标识是“1”时(在Sb6中“是”的情况)，量化矩阵确定部304对反量化部303设定4×4的默认量化矩阵(Sb7)，并进入步骤Sb9。另一方面，当在步骤Sb5中判断不是4×4时(在Sb5中“否”的情况)以及在步骤Sb6中判断变换跳过标识不是“1”时(在Sb6中“否”的情况)，量化矩阵确定部304对反量化部303设定生成的传送量化矩阵(Sb8)，并进入步骤Sb9，该传送量化矩阵根据在步骤Sb3中获得的比例列表中的该量化完毕块的尺寸的比例列表生成。此外，量化矩阵确定部304通过将分割比例列表的各值分别作为预定位置的元素，生成传送量化矩阵。
在步骤Sb9中，与在步骤Sb13中相同，反量化部303使用在步骤Sb7或Sb8中设定的量化矩阵对该量化完毕块进行反量化，生成变换完毕块。反量化部303将生成的变换完毕块输入到逆正交变换部305。然后，量化矩阵确定部304判断是否对属于该编码块的所有量化完毕块已经进行了步骤Sb5～Sb9的处理(Sb10)，当对所有量化完毕块都进行了处理时，进入步骤Sb15。当存在未进行步骤Sb5～Sb9的处理的量化完毕块时，量化矩阵确定部304选择一个未进行处理的量化完毕块并返回步骤Sb5。
在步骤Sb15中，量化矩阵确定部304判断是否所有编码块都已经进行了步骤Sb2～Sb14的处理(Sb15)。当存在未进行步骤Sb2～Sb14的处理的编码块时，量化矩阵确定部304选择一个未进行处理的编码块并返回步骤Sb2。当所有编码块都进行了处理时，结束处理。
如上所述，本实施方式的图像编码装置10包括变换跳过判断部103、正交变换部102、量化矩阵确定部105以及量化部104而构成。变换跳过判断部103对将表示输入图像和预测图像的差分的预测差分信号进行分割而得的每一个变换块的均判断是否进行正交变换。正交变换部102将变换块中的判断为应用正交变换的变换块进行正交变换并生成量化块，并将变换块中的判断为不应用正交变换的变换块直接作为量化块。
另外，量化矩阵确定部105对每个量化块确定量化矩阵，该量化矩阵表示对量化块的各元素量化时的每个元素的量化粗度。量化部104使用量化矩阵确定部105确定的量化矩阵对量化块的各元素进行量化。另外，量化矩阵确定部105将与通过正交变换部102直接作为变换块的量化块相对的量化矩阵作为所有元素的量化粗度相同的量化矩阵。
由此，即使进行正交变换后的块和未进行正交变换的块混在一起，但是，由于所有元素的量化粗度相等，因此，直接作为变换块的量化块，即未进行正交变换的量化块也可以抑制由于量化而导致的像素间的偏差，从而抑制主观画质的变差。
而且，量化矩阵确定部105将与通过正交变换部102直接作为变换块的量化块相对的量化矩阵作为预先与解码侧共享的默认量化矩阵。
由此，由于在直接作为变换块的量化块，即未进行正交变换的量化块的量化中使用所有元素的量化粗度相等的默认量化矩阵，因此，可以抑制由于量化而导致的像素间的偏差，从而抑制主观画质的变差。
而且，量化矩阵确定部105对每个由一个或多个上述量化块构成的预定单位(编码块)判断是使用默认量化矩阵作为量化矩阵还是使用发送至解码侧的传送量化矩阵作为量化矩阵。另外，量化矩阵确定部105将包括在判断为使用传送量化矩阵的预定单位中且与通过正交变换部102直接作为变换块的量化块相对的量化矩阵作为默认量化矩阵。
由此，即使是包括在判断为使用传送量化矩阵的预定单位(编码块)中的量化块，由于在未进行正交变换的量化块的量化中使用所有元素的量化粗度相等的默认量化矩阵，因此，也可以抑制由于量化而导致的像素间的偏差，从而抑制主观画质的变差。
如上所述，图像解码装置30包括量化矩阵确定部304、反量化部303、变换跳过判断部306、逆正交变换部305以及解码图像生成部307而构成。量化矩阵确定部304对每个量化完毕块确定量化矩阵，该量化矩阵表示反量化包含在编码数据e中的量化完毕块的各元素时的每个元素的量化粗粗度。反量化部303使用量化矩阵确定部304确定的量化矩阵对量化完毕块的各元素进行反量化，生成变换完毕块。变换跳过判断部306判断是否对各变换完毕块应用正交变换。
另外，逆正交变换部305对变换完毕块中的判断为应用逆正交变换的变换完毕块进行逆正交变换并生成预测差分复原信号，将变换完毕块中的判断为不应用逆正交变换的变换完毕块直接作为预测差分复原信号。解码图像生成部307(合成部)根据预测差分复原信号和预测图像生成解码图像。另外，量化矩阵确定部304将生成变换完毕块时使用的量化矩阵作为所有元素的量化粗度相等的量化矩阵，该变换完毕块是逆正交变换部305将其直接作为预测差分复原信号的变换完毕块。
由此，即使进行正交变换后的块和未进行正交变换的块混在一起，也由于将变换完毕块直接作为预测差分复原信号，并在与不进行逆正交变换的变换完毕块对应的量化完毕块的反量化中使用所有元素的量化粗度相等的量化矩阵，因此，可以抑制由于量化而导致的像素间的偏差，从而抑制主观画质的变差。
另外，量化矩阵确定部304将生成被逆正交变换部305直接作为预测差分复原信号的变换完毕块时使用的量化矩阵作为预先与编码侧共享的默认量化矩阵。
由此，将变换完毕块直接作为预测差分复原信号，并在与未进行逆正交变换的变换完毕块对应的量化完毕块的反量化中使用所有元素的量化粗度相等的默认量化矩阵，可以抑制由于量化而导致的像素间的偏差，从而抑制主观画质的变差。
另外，量化矩阵确定部304对每个由一个或多个量化完毕块构成的预定单位(编码块)判断是使用默认量化矩阵作为量化矩阵，还是使用从编码侧发送的传送量化矩阵作为量化矩阵。另外，量化矩阵确定部304将包含在判断为使用传送量化矩阵的编码块中且在生成由逆正交变换部305直接作为预测差分块的变换完毕块时使用的量化矩阵作为默认量化矩阵。
由此，即使是包含在判断为使用传送量化矩阵的预定单位(编码块)中的量化完毕块，也由于在反量化后不进行逆正交变换的量化完毕块的反量化中使用所有元素的量化粗度相等的默认量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而抑制主观画质的变差。
(第二实施方式)
下面，参照附图说明本发明的第二实施方式。在第一实施方式中已经说明即使是属于使用传送量化矩阵的编码块的量化块，也对进行变换跳过后的量化块使用默认量化矩阵的实施例。在第二实施方式中说明对属于使用传送量化矩阵的编码块并且进行了变换跳过的量化块使用代表值量化矩阵的量化例，该代表值量化矩阵是根据传送量化矩阵生成的平坦的量化矩阵。
本实施方式中的图像编码装置10和图像解码装置30与图1中的图像编码装置10、图7中的图像解码装置30的结构相同。但是，由于图像编码装置10中的量化矩阵确定部105的动作不同，图像解码装置30中的量化矩阵确定部304的动作不同，因此说明这些动作。
图9是说明本实施方式中的量化部104、量化矩阵确定部105的动作的流程图。在图9中，对与图6中的各部件对应的部分添加相同的符号(Sa1～Sa7、Sa9～Sa17)，并省略说明。图9的流程图和图6的流程图的不同点在于将步骤Sa8更换为步骤Sc8。在步骤Sc8中，量化矩阵确定部105获得在步骤Sa3中确定的传送量化矩阵中的该量化块的尺寸的传送量化矩阵的一个代表值。量化矩阵确定部105对量化部104和反量化部107设定代表值量化矩阵，该代表值量化矩阵是将所有元素设为与该代表值相同的值的矩阵。
例如，使用传送量化矩阵的预定位置的元素作为代表值，并将所有元素是该代表值的量化矩阵作为代表值量化矩阵。当传送量化矩阵设定为ScalingFactor[sizeId][x][y]时，该代表值量化矩阵m[x][y]表示为式(2)。
m[x][y]＝ScalingFactor[sizeId][α][β]…(2)
其中，α、β分别是表示水平方向、垂直方向的预定位置的整数，是0至xTbS-1、0至yTbS-1中的任意值(例如，2)。xTbS是x方向的块尺寸，yTbs是y方向的块尺寸，两者均为“4”。SizeId是表示量化块的尺寸的标志，这里填入表示4×4的值。
此外，也可以不使用特定的元素作为代表值，而使用传送量化矩阵的元素的平均值、中间值、最小值、最大值、众数值等作为代表值。
图10是说明本实施方式中的反量化部303和量化矩阵确定部304的动作的流程图。在图10中，对与图8的各部件对应的部分添加相同的符号(Sb1～Sb6、Sb8～Sa14)并省略说明。图10的流程图与图8的流程图的不同点在于将步骤Sb7替换为步骤Sd7。
在步骤Sd7中，量化矩阵确定部304根据在步骤Sb3中获得的比例列表中的该量化完毕块的尺寸的比例列表生成传送量化矩阵，并获得生成的传送量化矩阵的一个代表值。代表值的获得方法与步骤Sc7相同。量化矩阵确定部304对反量化部303设定代表值量化矩阵，该代表值量化矩阵是所有元素被设为与上述代表值相同的值的矩阵。
如上所述，在本实施方式的图像编码装置10中，量化矩阵确定部105将与通过正交变换部102直接作为变换块的量化块相对的量化矩阵设为代表值量化矩阵，该代表值量化矩阵以构成预定的矩阵的元素的代表值表示所有元素的量化粗度。
由此，由于在直接作为变换块的量化块，即在未进行正交变换的量化块的量化中使用所有元素的量化粗相等的代表值量化矩阵，因此可以提抑制由于量化而导致的像素间的偏差，从而可以抑制主观画质的变差。
而且，量化矩阵确定部105对每个由一个或多个量化块构成的预定单位(编码块)判断是使用预先与解码侧共享的默认量化矩阵作为量化矩阵还是使用发送至解码侧的传送量化矩阵作为量化矩阵。量化矩阵确定部105将包括在判断为使用传送量化矩阵的预定单位中且与通过正交变换部102直接作为变换块的量化块相对的量化矩阵作为代表值量化矩阵。另外，上述预定的矩阵是传送量化矩阵。
由此，即使是包含在判断为使用传送量化矩阵的预定单位(编码块)的量化块，也由于在未进行正交变换的量化块的量化中使用所有元素的量化粗度相等的代表值量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而抑制主观画质的变差。
另外，如上所述，在本实施方式的图像解码装置30中，量化矩阵确定部304将生成由逆正交变换部305直接作为预测差分复原信号的变换完毕块时使用的量化矩阵作为代表值量化矩阵，该代表值量化矩阵以构成预定的矩阵的元素的代表值表示所有元素的量化粗度。
由此，由于在用于生成直接作为预测差分复原信号的变换完毕块的反量化中使用所有元素的量化粗度相等的代表值量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而抑制主观画质的变差。
而且，量化矩阵确定部304对每个由一个或多个上述量化块构成的预定单位(编码块)判断是使用预先与解码侧共享的默认量化矩阵作为量化矩阵还是使用从编码侧发送的传送量化矩阵作为量化矩阵。量化矩阵确定部304将包含在判断为使用传送量化矩阵的预定单位中且在生成由逆正交变换部305直接作为预测差分复原信息的变换完毕块作为代表值量化矩阵。另外，上述预定的矩阵是传送量化矩阵。
由此，即使是包含在判断为使用传送量化矩阵的预定单位(编码块)中的量化完毕块，也由于在反量化后不进行逆正交变换的量化完毕块的反量化中使用所有元素的量化粗度相等的代表值量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而抑制主观画质的变差。
(第三实施方式)
下面，参照附图说明本发明第三实施方式。在第三实施方式中，说明对属于使用传送量化矩阵的编码块并且进行了变换跳过的量化块从编码侧向解码侧发送一个值并使用根据该值生成的平坦的单值传送量化矩阵的实施例。
本实施方式中的图像编码装置10和图像解码装置30与图1中的图像编码装置10、图7中的图像解码装置30的结构相同。但是，图像编码装置10中的量化矩阵确定部105的动作不同，图像解码装置30中的量化矩阵确定部304的动作不同，因此说明这些动作。
图11是说明本实施方式中的量化部104和量化矩阵确定部105的动作的流程图。图11中，对与图6的各部件对应的部分添加相同的符号(Sa1～Sa2、Sa5～Sa7、Sa9～Sa17)并省略说明。图11的流程图和图6的流程图不同点在于将Sa3、Sa4、Sa8分别替换为步骤Se3、Se4、Se8。
在步骤Se3中，量化矩阵确定部105确定各尺寸的传送量化矩阵(ScalingFactor)和单值传送量化矩阵(ScalingFactor_TS)。这里，单值传送量化矩阵是所有元素为相同的值且将该值中的一个发送到解码侧的量化矩阵。此外，该值也可以使用预定的值，也可以使用根据进行变换跳过后的量化块的元素的分布求得的值。
在步骤Se4中，量化矩阵确定部105生成比例列表，并将其与设定为“1”的传送量化矩阵应用标识(scaling_list_enable_flag)输入到熵编码部106，上述比例列表以预定顺序排列在步骤Se3中确定的传送量化矩阵的各元素和一个表示单值传送量化矩阵的元素的值。
在步骤Se8中，量化矩阵确定部105对量化部104和反量化部107设定在步骤Se3中确定的单值传送量化矩阵。此外，当表示单值传送量化矩阵的元素的值是ScalingFactor_TS[sizeId]时，设定的单值传送量化矩阵m[x][y]表示为式(3)。
m[x][y]＝ScalingFactor_TS[sizeId]…(3)
其中，SizeId是表示量化块的尺寸的标志，这里填入表示4×4的值。
此外，在本实施方式中，由于单值传送量化矩阵仅使用尺寸是4×4时的矩阵，因此，作为参数，也可以不包含sizeId。
另外，表示单值传送量化矩阵的元素的值ScalingFactor_TS不仅由每个量化块的尺寸(SizeId)确定，也可以由量化块的尺寸与其他变量的每个组合确定。例如，作为其他变量，具有信号值的种类(亮度值Y、色差Cb、Cr)、量化块所属的编码块的预测模式(帧间预测、帧内预测等)等。
另外，也可以仅在该编码块中包含进行变换跳过的量化块时确定步骤Se3中的单值传送量化矩阵和向熵编码部106输入该单值传送量化矩阵的比例列表。
图12是说明本实施方式的反量化部303和量化矩阵确定部304的动作的流程图。在图12中，对与图8的各部对应的部分添加相同的符号(Sb1、Sb2、Sb4～Sb6、Sb8～Sa14)，并省略说明。图12的流程图与图8的流程图的不同点在于将步骤Sb3、Sb7替换为步骤Sf3、Sf7。
在步骤Sf3中，量化矩阵确定部304从解码信息存储部302获得该编码块的各尺寸的比例列表和单值传送量化矩阵的比例列表。
在步骤Sf7中，量化矩阵确定部304根据在步骤Sf3中获得的单值传送量化矩阵的比例列表生成单值传送量化矩阵并向反量化部303设定。
如上所述，在本实施方式的图像编码装置10中，量化矩阵确定部105将与通过正交变换部102直接作为变换块的量化块相对的量化矩阵作为单值传送量化矩阵，该矩阵以发送至解码侧的单值表示所有元素的量化粗度。
由此，由于在直接作为变换块的量化块，即未进行正交变换的量化块的量化中使用所有元素的量化粗度相等的单值传送量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而可以抑制主观画质的变差。
另外，量化矩阵确定部105对每个由一个或多个量化块构成的预定单位(编码块)判断是使用与解码侧预先共享的默认量化矩阵作为量化矩阵，还是使用发送至解码侧的传送量化矩阵作为量化矩阵。量化矩阵确定部105将包含在判断为使用传送量化矩阵的预定单位中且与通过正交变换部102直接作为变换块的量化块相对的量化矩阵作为单值传送量化矩阵。
由此，即使是包含在判断为使用传送量化矩阵的预定单位(编码块)中的量化块，也由于在未被进行正交变换的量化块的量化中使用所有元素的量化粗度相等的单值传送量化矩阵而可以抑制由于量化而导致的像素间的偏差，从而可以抑制主观画质的变差。
另外，如上所述，在本实施方式的图像解码装置30中，量化矩阵确定部304将在生成由逆正交变换部305直接作为预测差分复原信号的变换完毕块时使用的量化矩阵作为单值传送量化矩阵，该单值传送量化矩阵以从编码侧发送的单值表示所有元素的量化粗度。
由此，由于直接将变换完毕块作为预测差分复原信号，并在与未进行逆正交变换的变换完毕块对应的量化完毕块的反量化中使用所有元素的量化粗度相等的单值传送量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而可以抑制主观画质的变差。
而且，量化矩阵确定部304对每个由一个或多个量化完毕块构成的预定单位(编码块)判断是使用与解码侧预先共享的默认量化矩阵作为量化矩阵，还是使用从编码侧发送的传送量化矩阵作为量化矩阵。量化矩阵确定部304将包含在判断为使用传送量化矩阵的预定单位中且在生成由逆正交变换部305直接作为预测差分复原信号的变换完毕块时使用的量化矩阵作为单值传送量化矩阵。
由此，即使是包含在判断为使用传送量化矩阵的预定单位(编码块)中的量化完毕块，也由于在反量化后不进行逆正交变换的量化完毕块的反量化中使用所有元素的量化粗度相等的单值传送量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而可以抑制主观画质的变差。
(第四实施方式)
下面，参照附图，说明本发明的第四实施方式。在第四实施方式中，说明对可以进行变换跳过并且属于使用传送量化矩阵的编码块使用平坦的默认量化矩阵的实施例。
图13是表示本实施方式中的图像编码装置10a的构成的概略性框图。在图13中，对与图1的各部对应的部分添加相同的符号(100～104、106～115)并省略说明。图像编码装置10a与图1的图像编码装置10的不同点在于，将量化矩阵确定部105替换为量化矩阵确定部105a。量化矩阵确定部105a与量化矩阵确定部105的不同点在于，量化矩阵确定部105a在确定量化矩阵时不参照变换跳过判断部103的判断结果。
图14是说明本实施方式中的量化部104和量化矩阵确定部105a的动作的流程图。在图14中，对与图6的各部对应的部分添加相同的符号(Sa1～Sa17)，并省略说明。图14的流程图与图6的流程图的不同点在于，不包括步骤Sa7，并且在步骤Sa6中，当判断量化块的尺寸是4×4时，进入步骤Sa8。
图15是表示本实施方式中的图像解码装置30a的构成的概略性框图。在图15中，对与图7的各部对应的部分添加相同的符号(301～303、305～312)并省略说明。图像解码装置30a和图7的图像解码装置30的不同点在于，将量化矩阵确定部304替换为量化矩阵确定部304a。与量化矩阵确定部304的不同点在于，量化矩阵确定部304a在确定量化矩阵时，不从解码信息存储部302读取变换跳过标识。
图16是说明本实施方式的反量化部303和量化矩阵确定部304a的动作的流程图。在图16中，对与图8的各部对应的部分添加相同的符号(Sb1～Sb5、Sb7～Sb15)，并省略说明。图16的流程图与图8的流程图的不同点在于，不包括步骤Sb6，并且在步骤Sb5中，当判断量化完毕块的尺寸是4×4时，进入步骤Sb7。
如上所述，在本实施方式的图像编码装置10a中，量化矩阵确定部105a将与块尺寸是预定块尺寸(4×4)的所有的量化块相对的量化矩阵作为所有元素的量化粗度相等的量化矩阵。
由此，由于与具有预定块尺寸且未进行正交变换的量化块相对的量化矩阵是所有元素的量化粗度相等的量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而可以抑制主观画质的劣化。
另外，量化矩阵确定部105a将与块尺寸是预定块尺寸(4×4)的量化块相对的量化矩阵作为预先与解码侧共享的默认量化矩阵。另外，默认量化矩阵中的预定块尺寸的量化块是所有元素的量化粗度相等的量化块。
由此，由于在具有预定块尺寸且不进行正交变换的量化块的量化中使用所有元素的量化粗度相等的默认量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而可以抑制主观画质的变差。
而且，量化矩阵确定部105a对每个由一个或多个量化块构成的预定单位(编码块)判断是使用默认量化矩阵作为量化矩阵，还是使用发送到解码侧的传送量化矩阵作为量化矩阵。另外，即使量化块是包含在判断为使用传送量化矩阵的预定单位中的量化块，量化矩阵确定部105a也将预块尺寸(4×4)的量化块的量化矩阵作为默认量化矩阵。
由此，即使是包含在判断为使用传送量化矩阵的预定单位(编码块)中的量化块，也由于在具有预定块尺寸且不进行正交变换的量化块的量化中使用所有元素的量化粗度相等的默认量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而可以抑制主观画质的变差。
如上所述，在本实施方式的图像解码装置30a中，量化矩阵确定部304a将在生成块尺寸是预定块尺寸(4×4)的所有变换完毕块中的每一个时使用的量化矩阵作为所有元素的量化粗度相等的量化矩阵。
由此，由于与具有预定块尺寸且反量化后不进行正交变换的量化完毕块相对的量化矩阵是所有元素的量化粗度相等的量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而可以抑制主观画质的变差。
如上所述，在本实施方式的图像解码装置30a中，量化矩阵确定部304a将在生成预定块尺寸(4×4)的变换完毕块时使用的量化矩阵作为与编码侧预先共享的默认量化矩阵。
由此，由于与具有预定块尺寸且反量化后不进行正交变换的量化完毕块相对的量化矩阵形成所有元素的量化粗度相等的默认量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而可以抑制主观画质的变差。
而且，量化矩阵确定部304a对每个由一个或多个上述量化完毕块构成的预定单位(编码块)判断是使用默认量化矩阵作为量化矩阵，还是使用从编码侧发送的传送量化矩阵作为量化矩阵。量化矩阵确定部304a将包含在判断为使用传送量化矩阵的预定单位中且在生成预定块尺寸(4×4)的变换完毕块时使用的量化矩阵作为默认量化矩阵。
由此，即使是包含在判断为使用传送量化矩阵的预定单位(编码块)中的变换完毕块，也由于与具有预定块尺寸且反量化后不进行正交变换的量化完毕块相对的量化矩阵形成所有元素的量化粗度相等的默认量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而可以抑制主观画质的变差。
(第五实施方式)
下面，参照附图说明本发明的第五实施方式。在第五实施方式中，对属于使用传送量化矩阵的编码块且可以进行变换跳过的量化块说明使用平坦的传送量化矩阵的实施例。
本实施方式中的图像编码装置10a和图像解码装置30a的结构与图13的图像编码装置10a和图15的图像解码装置30a的结构相同。其中，由于图像编码装置10a中的量化矩阵确定部105的动作不同，图像解码装置30a的量化矩阵确定部304的动作不同，因此说明这些动作。
图17是说明本实施方式中的量化部104和量化矩阵确定部105a的动作的流程图。在图17中，对与图6的各部对应的部分添加相同的符号(Sa1～Sa5、Sa9～Sa17)，并省略说明。图17的流程图与图6的流程图的不同点在于，在步骤Sa3和Sa4之间具有步骤Sg3、Sg4并且没有步骤Sa6～Sa8，在步骤Sa5之后具有Sa9。
在步骤Sg3中，量化矩阵确定部105a判断该编码块中是否存在4×4的量化块。当判断为不存在4×4的量化块时(在Sg3中“否”的情况)，直接进入步骤Sa4。另一方面，当步骤Sg3判断为存在4×4的量化块时(在Sg3中“是”的情况)，量化矩阵确定部105a将4×4的传送量化矩阵形成为平坦的矩阵(Sg4)，并进入步骤Sa4。
图18是说明本实施方式中的反量化部303和量化矩阵确定部304a的动作的流程图。在图18中，对与图8的各部对应的部分添加相同的符号(Sb1～Sb4、Sb8～Sb15)，并省略说明。图18的流程图与图8的流程图的不同点在于，不存在步骤Sb5～Sb7，在步骤Sb4之后具有Sa8。
这样，量化矩阵确定部105a对每个由一个或多个量化块构成的预定的单位(编码块)判断是使用预先与解码侧共享的默认量化矩阵作为量化矩阵，还是使用发送至解码侧的传送量化矩阵作为量化矩阵。量化矩阵确定部105a将包含在判断为使用传送量化矩阵的预定单位中并且与预定块尺寸(4×4)的量化块相对的量化矩阵作为所有元素的量化粗度相等的量化矩阵。
由此，即使是包含在判断为使用传送量化矩阵的预定单位(编码块)中的量化块，也由于在具有预定块尺寸且不进行正交变换的量化块的量化中使用所有元素的量化粗度相等的传送量化矩阵，因此可以抑制由于量化而导致的像素间的偏差，从而可以抑制主观画质的变差。
此外，在上述的各实施方式中，作为变换块可以进行变换跳过时的实施例，以该变换块的尺寸是4×4时为例进行列举，但是，也可以是其他尺寸，该尺寸也可以为多个。或者，也可以是在生成与该变换块对应的区域的预测图像的方法中满足变换块的尺寸之外的条件时，例如，包含预定的方法时等。
另外，在上述的各实施方式中，编码块的尺寸是8×8、16×16以及32×32三种，变换块和量化块的尺寸是4×4、8×8、16×16以及32×32四种，但是，并不限于此。也可以含有其他尺寸，也可以不含有任何的尺寸，种类的数量可多可少。
另外，在上述的各实施方式中，传送量化矩阵由每个量化块的尺寸(SizeId)确定，然而，不仅是尺寸，也由尺寸和其他参数的每个组合确定。例如，作为其他参数，具有信号值的种类(亮度值Y、色差Cb、Cr)、量化块所属的编码块的预测模式(帧内预测、帧间预测等)等。
另外，在上述的各实施方式中，与传送量化矩阵应用标识相同，按每个编码块确定传送量化矩阵(比例列表)的设定，但是，也可以按更大的单位进行确定。例如，可以根据每帧，也可以根据集合多个编码块的单位。
另外，上述的各实施方式中的图像编码装置10和图像解码装置30也可以具有将输入动态图像进行无损编码的无损模式。
另外，也可以将用于实现图1中的图像编码装置10、图7中的图像解码装置30、图13中的图像编码装置10a、或图15中的图像解码装置30a的功能的程序存储到计算机可读存储媒体中，使存储在该存储媒体中的程序读入计算机系统，通过执行实现该装置。此外，本文中所谓的“计算机系统”包括OS以及周边设备等硬件。
另外，“计算机可读存储媒体”是指软盘、磁光盘、ROM、CD-ROM等可移动媒体、内置于计算机系统的硬盘等存储装置。而且，“计算机可读的存储媒体”也包括类似经由互联网等网络或电话线路等通信线路发送程序时的通信线的、短时间内动态保持程序的设备以及类似作为在该情况下的服务器或客户端的计算机系统内部的易失性存储器的、在一定时间内保持程序的设备。另外，上述程序也可以是用于实现上述功能中的一部分的程序，也可以通过在计算机系统中存储的所有程序的组合实现上述功能。
另外，上述图1中的图像编码装置10、图7中的图像解码装置30、图13中的图像编码装置10a、或者图15中的图像解码装置30a的各功能块也可以分别芯片化，也可以集成一部分或者全部进行芯片化。另外，集成电路化的方法不限于LSI，可以通过专用电路或通用处理器来实现。混合或者单块均可。也可以一部分通过硬件，一部分通过软件来实现功能。
另外，随着半导体技术的进步，当出现替代LSI的集成电路化等技术时，也可以使用根据此技术进行的集成电路。
以上，虽然参照附图详细已经说明本发明的实施方式，但是，具体的结构不限于这些实施方式，也包括不脱离本发明的要点的范围内的设计变更。
此外，日本第2013-203529(2013年9月30日)号专利申请的全部内容通过引用并入本文。
工业上的可利用性
根据本发明，即使进行正交变换后的块和未进行正交变换的块混在一起，也可以抑制由于量化而导致的主观画质的变差。

Claims (12)

1.一种图像编码装置，包括：判断部，判断对变换块是应用正交变换还是进行不应用正交变换的变换跳过，所述变换块通过对表示输入图像和预测图像的差分的预测差分信号进行分割而获得；以及正交变换部，进行基于所述判断所选择的处理，
所述图像编码装置的特征在于，具有量化部，当基于所述判断选择所述变换跳过时，所述量化部使用与预先和解码侧共享的所有元素的量化粗度相等的第一量化矩阵量化所述变换块；当基于所述判断对所述变换块应用正交变换时，所述量化部使用所述第一量化矩阵或发送至解码侧的第二量化矩阵量化所述变换块。
2.一种图像编码装置，包括：判断部，判断对变换块是应用正交变换还是进行不应用正交变换的变换跳过，所述变换块通过对表示输入图像和预测图像的差分的预测差分信号进行分割而获得；以及正交变换部，进行基于所述判断所选择的处理，
所述图像编码装置的特征在于，具有量化部，当基于所述判断选择所述变换跳过时，所述量化部使用表示所有元素的量化粗度的量化矩阵量化所述变换块，其中，所述所有元素的量化粗度由构成与预先和解码侧共享的所有元素的量化粗度相等的第一量化矩阵或发送至解码侧的第二量化矩阵的元素的代表值表示；当基于所述判断对所述变换块应用所述正交变换时，所述量化部使用所述第一量化矩阵或所述第二量化矩阵量化所述变换块。
3.一种图像编码装置，包括：判断部，判断对变换块是应用正交变换还是进行不应用正交变换的变换跳过，所述变换块通过对表示输入图像和预测图像的差分的预测差分信号进行分割而获得；以及正交变换部，进行基于所述判断所选择的处理，
所述图像编码装置的特征在于，具有量化部，当基于所述判断选择所述变换跳过时，所述量化部使用表示所有元素的量化粗度的量化矩阵量化所述变换块，其中，所述量化矩阵是与预先和解码侧共享的所有元素的量化粗度相等的第一量化矩阵或发送至解码侧的单一值；当基于所述判断对所述变换块应用所述正交变换时，所述量化部使用所述第一量化矩阵或发送至解码侧的第二量化矩阵量化所述变换块。
4.如权利要求1～3中任一项所述的图像解码装置，其特征在于，
当在基于所述判断对所述变换块应用正交变换的情况下发送所述第二量化矩阵时，所述量化部使用第二量化矩阵进行量化；当在应用所述正交变换的情况下不发送所述第二量化矩阵时，所述量化部使用所述第一量化矩阵进行量化。
5.如权利要求1所述的图像编码装置，其特征在于，
当在基于所述判断对所述变换块选择所述变换跳过的情况下发送所述第二量化矩阵时，所述量化部使用所述第一量化矩阵进行量化。
6.一种图像解码装置，其特征在于，具有反量化部，当包含在编码数据中的量化完毕块是进行不应用正交变换的变换跳过的块时，所述反量化部使用与预先和编码侧共享的所有元素的量化粗度相等的第一量化矩阵反量化所述量化完毕块；当包含在编码数据中的量化完毕块是应用正交变换的块时，所述反量化部使用所述第一量化矩阵或从编码侧发送的第二量化矩阵反量化所述量化完毕块。
7.一种图像解码装置，其特征在于，具有反量化部，当包含在编码数据中的量化完毕块是进行不应用正交变换的变换跳过的块时，所述反量化部使用表示所有元素的量化粗度的量化矩阵反量化所述量化完毕块，其中，所述所有元素的量化粗度由构成与预先和编码侧共享的所有元素的量化粗度相等的第一量化矩阵或从编码侧发送的第二量化矩阵的元素的代表值表示；当包含在编码数据中的量化完毕块是应用正交变换的块时，所述反量化部使用所述第一量化矩阵或所述第二量化矩阵反量化所述量化完毕块。
8.一种图像解码装置，其特征在于，具有反量化部，当包含在编码数据中的量化完毕块是进行未应用正交变换的变换跳过的块时，所述反量化部使用表示所有元素的量化粗度的量化矩阵反量化所述量化完毕块，其中，所述量化矩阵由与预先和编码侧共享的第一量化矩阵或从编码侧发送的单一值表示；当包含在编码数据中的量化完毕块是应用正交变换的块时，所述反量化部使用所述第一量化矩阵或从所述编码侧发送的第二量化矩阵反量化所述量化完毕块。
9.如权利要求6～8中任一项所述的图像解码装置，其特征在于，
当在包含在所述编码数据中的量化完毕块是应用正交变换的块的情况下从所述编码侧发送所述第二量化矩阵时，所述反量化部使用所述第二量化矩阵进行反量化；当在包含在所述编码数据中的量化完毕块是应用正交变换的块的情况下未从所述编码侧发送所述第二量化矩阵时，所述反量化部使用所述第一量化矩阵进行反量化。
10.如权利要求6所述的图像解码装置，其特征在于，
当在包含在所述编码数据中的量化完毕块是进行不应用正交变换的变换跳过的块的情况下从所述编码侧发送所述第二量化矩阵时，所述反量化部使用所述第一量化矩阵进行反量化。
11.一种程序，使计算机作为权利要求1～5中任一项所述的图像编码装置发挥功能。
12.一种程序，使计算机作为权利要求6～10中任一项所述的图像解码装置发挥功能。
CN201480053809.9A 2013-09-30 2014-08-29 图像编码装置和方法以及图像解码装置和方法 Active CN105580368B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-203529 2013-09-30
JP2013203529 2013-09-30
PCT/JP2014/072791 WO2015045736A1 (ja) 2013-09-30 2014-08-29 画像符号化装置、画像復号装置及びそれらのプログラム

Publications (2)

Publication Number Publication Date
CN105580368A true CN105580368A (zh) 2016-05-11
CN105580368B CN105580368B (zh) 2018-10-19

Family

ID=52742886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480053809.9A Active CN105580368B (zh) 2013-09-30 2014-08-29 图像编码装置和方法以及图像解码装置和方法

Country Status (7)

Country Link
US (3) US11223827B2 (zh)
EP (1) EP3054683A4 (zh)
JP (1) JP6143866B2 (zh)
CN (1) CN105580368B (zh)
MY (1) MY183347A (zh)
TW (1) TWI633779B (zh)
WO (1) WO2015045736A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110800296A (zh) * 2017-06-29 2020-02-14 索尼公司 图像处理装置、图像处理方法和程序
CN111345040A (zh) * 2017-11-13 2020-06-26 交互数字Vc控股公司 用于在视频编码和解码中生成量化矩阵的方法和装置
CN111886871A (zh) * 2018-03-28 2020-11-03 索尼公司 图像处理装置和图像处理方法
CN113228651A (zh) * 2018-12-26 2021-08-06 韩国电子通信研究院 量化矩阵编码/解码方法和装置以及存储比特流的记录介质
CN114009028A (zh) * 2019-06-14 2022-02-01 弗劳恩霍夫应用研究促进协会 具有改进的基于变换的缩放的编码器、解码器、方法和计算机程序

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI627857B (zh) * 2012-06-29 2018-06-21 Sony Corp Image processing device and method
JPWO2016103542A1 (ja) 2014-12-26 2017-10-19 パナソニックＩｐマネジメント株式会社 符号化方法、復号方法、符号化装置および復号装置
EP3340622A4 (en) * 2015-08-20 2019-03-20 Nippon Hoso Kyokai IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, AND PROGRAMS THEREOF
WO2020149648A1 (ko) 2019-01-15 2020-07-23 엘지전자 주식회사 변환 스킵 플래그를 이용한 영상 코딩 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910594A (zh) * 2004-01-20 2007-02-07 松下电器产业株式会社 图像编码方法和设备、图像解码方法和设备及其程序
CN101729897A (zh) * 2005-03-16 2010-06-09 株式会社东芝 图像编码/解码方法及其装置
CN101785318A (zh) * 2008-06-27 2010-07-21 索尼公司 图像处理装置和图像处理方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2514114B2 (ja) * 1991-01-31 1996-07-10 株式会社グラフィックス・コミュニケーション・テクノロジーズ 動画像符号化装置
US6658157B1 (en) * 1999-06-29 2003-12-02 Sony Corporation Method and apparatus for converting image information
US6876703B2 (en) * 2000-05-11 2005-04-05 Ub Video Inc. Method and apparatus for video coding
KR100341063B1 (ko) * 2000-06-28 2002-06-20 송문섭 실시간 영상 통신을 위한 율제어 장치 및 그 방법
JP2005184042A (ja) * 2003-12-15 2005-07-07 Sony Corp 画像復号装置及び画像復号方法並びに画像復号プログラム
US7925098B2 (en) * 2006-03-02 2011-04-12 Canon Kabushiki Kaisha Image encoding apparatus and method with both lossy and lossless means
WO2008132890A1 (ja) * 2007-04-16 2008-11-06 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
WO2010005691A1 (en) * 2008-06-16 2010-01-14 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
US20100238997A1 (en) * 2009-03-17 2010-09-23 Yang En-Hui Method and system for optimized video coding
CA2847296C (en) 2011-10-17 2017-09-19 Kabushiki Kaisha Toshiba Encoding device, decoding device, encoding method, and decoding method
PL2822276T3 (pl) * 2012-02-29 2019-04-30 Lg Electronics Inc Sposób predykcji międzywarstwowej i stosujące go urządzenie
US9503702B2 (en) * 2012-04-13 2016-11-22 Qualcomm Incorporated View synthesis mode for three-dimensional video coding
CN109905710B (zh) * 2012-06-12 2021-12-21 太阳专利托管公司 动态图像编码方法及装置、动态图像解码方法及装置
TWI627857B (zh) * 2012-06-29 2018-06-21 Sony Corp Image processing device and method
CN115052157A (zh) * 2012-07-02 2022-09-13 韩国电子通信研究院 图像编码/解码方法和非暂时性计算机可读记录介质
US9716892B2 (en) * 2012-07-02 2017-07-25 Qualcomm Incorporated Video parameter set including session negotiation information
US9451256B2 (en) * 2012-07-20 2016-09-20 Qualcomm Incorporated Reusing parameter sets for video coding
US9380289B2 (en) * 2012-07-20 2016-06-28 Qualcomm Incorporated Parameter sets in video coding
KR102121594B1 (ko) * 2012-09-06 2020-06-10 선 페이턴트 트러스트 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치 및 화상 부호화 복호 장치
JP6210368B2 (ja) * 2012-09-18 2017-10-11 サン パテント トラスト 画像復号方法および画像復号装置
WO2014045506A1 (en) * 2012-09-24 2014-03-27 Sharp Kabushiki Kaisha Video compression with color space scalability
US9591329B2 (en) * 2012-09-28 2017-03-07 Sony Corporation Image processing device and method for encoding and decoding image
CN104641646A (zh) * 2012-09-28 2015-05-20 索尼公司 图像处理设备和图像处理方法
US20140169452A1 (en) * 2012-12-14 2014-06-19 Electronics And Telecommunications Research Institute Video encoding method and apparatus using the same
EP2941000B1 (en) * 2012-12-27 2020-11-04 NEC Corporation Video coding device, video coding method, and video coding program
US20140286412A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated Intra dc prediction for lossless coding in video coding
US10529013B2 (en) * 2013-07-01 2020-01-07 Intuit Inc. Identifying business type using public information
JP6528635B2 (ja) * 2015-10-05 2019-06-12 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
EP3606066A4 (en) * 2017-03-23 2020-03-25 Sony Corporation IMAGE PROCESSING DEVICE AND METHOD
US20210006796A1 (en) * 2018-03-28 2021-01-07 Sony Corporation Image processing device and image processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1910594A (zh) * 2004-01-20 2007-02-07 松下电器产业株式会社 图像编码方法和设备、图像解码方法和设备及其程序
CN101729897A (zh) * 2005-03-16 2010-06-09 株式会社东芝 图像编码/解码方法及其装置
CN101785318A (zh) * 2008-06-27 2010-07-21 索尼公司 图像处理装置和图像处理方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CUILING LAN: "Intra transform skipping", 《JCT-VC MEETING》 *
DAVID FLYNN ET AL: "Transform Skipping in the presence of Scaling Lists", 《JCT-VC MEETING》 *
HUI YONG KIM, SUNG-CHANG LIM: "QM Bypass for Transform Skip Mode", 《JCT-VC MEETING》 *
JIAN LOU: "Scaling list selection for transform skip mode", 《JCT-VC MEETING》 *
YOSHITAKA MORIGAMI, KAZUSHI SATO: "On Transform Skip", 《JCT-VC MEETING》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110800296A (zh) * 2017-06-29 2020-02-14 索尼公司 图像处理装置、图像处理方法和程序
CN111345040A (zh) * 2017-11-13 2020-06-26 交互数字Vc控股公司 用于在视频编码和解码中生成量化矩阵的方法和装置
CN111345040B (zh) * 2017-11-13 2024-05-07 交互数字Vc控股公司 用于在视频编码和解码中生成量化矩阵的方法和装置
CN111886871A (zh) * 2018-03-28 2020-11-03 索尼公司 图像处理装置和图像处理方法
CN113228651A (zh) * 2018-12-26 2021-08-06 韩国电子通信研究院 量化矩阵编码/解码方法和装置以及存储比特流的记录介质
CN114009028A (zh) * 2019-06-14 2022-02-01 弗劳恩霍夫应用研究促进协会 具有改进的基于变换的缩放的编码器、解码器、方法和计算机程序

Also Published As

Publication number Publication date
JPWO2015045736A1 (ja) 2017-03-09
US11647195B2 (en) 2023-05-09
US11223827B2 (en) 2022-01-11
US20160212429A1 (en) 2016-07-21
BR112016006686A2 (pt) 2017-08-01
US20220132127A1 (en) 2022-04-28
EP3054683A1 (en) 2016-08-10
TWI633779B (zh) 2018-08-21
CN105580368B (zh) 2018-10-19
JP6143866B2 (ja) 2017-06-07
EP3054683A4 (en) 2017-06-07
WO2015045736A1 (ja) 2015-04-02
TW201517596A (zh) 2015-05-01
US20230239475A1 (en) 2023-07-27
MY183347A (en) 2021-02-18

Similar Documents

Publication Publication Date Title
CN105580368A (zh) 图像编码装置、图像解码装置以及它们的程序
US11647219B2 (en) Image encoding and decoding method with merge flag and motion vectors
US9462279B2 (en) Image encoding/decoding method and device
US8711945B2 (en) Methods and devices for coding and decoding images, computer program implementing them and information carrier enabling their implementation
CN101352046B (zh) 图像编码/解码方法与装置
JP4977094B2 (ja) 画像符号化方法
CN101527848B (zh) 图像编码设备
CN115037946A (zh) 编码或解码视频数据的方法和装置
JP2013500661A (ja) 画像シーケンスを表す符号化されたデータのストリームを復号する方法および画像シーケンスを符号化する方法
CN102905125B (zh) 运动图像编码设备和运动图像编码方法
US20130083858A1 (en) Video image delivery system, video image transmission device, video image delivery method, and video image delivery program
CN105519108A (zh) 量化矩阵编码的加权预测方法和装置
JP5197864B2 (ja) 画像復号化方法及び装置
JPWO2017082304A1 (ja) 情報圧縮装置、情報圧縮方法、情報圧縮プログラム、及び、符号化装置
KR101307406B1 (ko) 참조 프레임을 압축하여 저장하는 영상 부호화/복호화 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant