CN108028926B - 图像编码装置、图像解码装置 - Google Patents

图像编码装置、图像解码装置 Download PDF

Info

Publication number
CN108028926B
CN108028926B CN201680053586.5A CN201680053586A CN108028926B CN 108028926 B CN108028926 B CN 108028926B CN 201680053586 A CN201680053586 A CN 201680053586A CN 108028926 B CN108028926 B CN 108028926B
Authority
CN
China
Prior art keywords
prediction
image
unit
signal
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680053586.5A
Other languages
English (en)
Other versions
CN108028926A (zh
Inventor
市谷敦郎
境田慎一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Priority to CN202110898950.0A priority Critical patent/CN113596443A/zh
Publication of CN108028926A publication Critical patent/CN108028926A/zh
Application granted granted Critical
Publication of CN108028926B publication Critical patent/CN108028926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供改善了编码效率的图像编码装置、图像解码装置、和其程序。本发明的图像编码装置(1)具备：不参照相邻像素预测部(11)，对块单位的原图像的各像素信号，通过规定的不参照相邻像素的预测生成预测图像；滤波处理部(12)，在规定的控制下使用与预测图像相邻的已解码的相邻信号，对位于该预测图像的块边界的预测信号实施低通滤波处理；预测残差信号生成部(55)，使用该预测图像生成块单位的预测残差信号；正交变换部(14)，在该规定的控制下，对块单位的预测残差信号实施正交变换处理；和，正交变换选择控制部(25)，控制滤波处理部(12)和正交变换部(14)，生成规定的变换种类识别信号。本发明的图像解码装置(5)在规定的不参照相邻像素的预测时基于变换种类识别信号执行解码处理。

Description

图像编码装置、图像解码装置
技术领域
本发明涉及能够应用于MPEG-2、AVC/H.264、MPEG-H、 HEVC/H.265等视频编码方式的图像编码装置、图像解码装置、和其程序。
背景技术
无论静止图像、动态图像，一般而言，已知图像信号的相邻像素间的信号相关性高。利用该性质，在例如MPEG-2、AVC/H.264、 MPEG-H、HEVC/H.265等视频编码方式中，准备了帧内预测和帧间预测这2种预测模式。帧内预测是仅通过编码帧内的信号进行信号预测的技术方法，对原图像的编码对象块内的像素信号(原信号)使用与该编码对象块的左侧、上侧相邻的已编码解码的块的像素信号，进行 DC预测、Planer预测、或者方向性预测，生成由通过外插值而预测的像素信号(预测信号)构成的预测图像的块。这样一来，通过使用与该编码对象块相邻的已解码的块的像素信号，高效地预测该编码对象块内的像素信号。
例如，参照图29，以帧内预测中基于水平方向的预测(水平预测) 为例，说明通过帧内预测得到的预测残差信号的性质。图29所示的例子中，针对由水平4像素×垂直4像素的块尺寸(以下仅表示为“4×4”，对其他块尺寸也同样如此)的像素信号p构成的原图像的编码对象块 Bko内的原信号(参照图29(a))，为了进行水平预测，将左邻的已解码的块的像素信号用作参照信号Sr并进行预测，生成由与编码对象块的像素信号对应的预测信号构成的预测图像的块Bkp(参照图29 (b))。
并且，由原图像的编码对象块Bko内的原信号与预测图像的块 Bkp的预测信号之差，能够得到预测残差信号的块Bkd(参照图29(c))。通过该帧内预测得到的预测残差信号具有下述性质：越是与参照信号相邻的像素位置，预测效率越高，因此残差成分越小(信号强度小)，换言之，随着远离参照信号，预测效率变低，因此残差成分变大(信号强度变大)(参照图29(d))。
在此，在图29所示的例子中利用水平方向的像素间相关性进行预测，但已编码解码的块的信号也存在于编码对象块的上侧。在图29 所示的例子中，通过水平方向的帧内预测，利用水平方向的相关性而高效地预测并生成预测残差信号，但未利用垂直方向的相关性。
因此，在当下规定的H.265中，利用与编码对象块的上侧的块内的像素信号相关性高这一点，为了提高预测信号的精度，仅对该预测图像的块Bkp内的最上侧的预测信号应用反映相对于该上侧的块的信号变动的滤波处理。由此，不仅只利用基于水平方向的预测的水平方向的相关性，还能够利用垂直方向的相关性，进一步减少预测残差信号的块Bkd中的平均残差成分，改善编码效率。同样地，在垂直方向的帧内预测的情况中，利用在该预测时未利用的水平方向的相邻像素并应用滤波处理，在未利用水平和垂直的相邻像素的DC预测中，应用利用了水平和垂直的相邻像素的滤波处理，由此与以往的MPEG-2、 H.264等视频编码方式相比，实现了大幅的编码效率的改善。
此外，帧间预测中，由时间上相近的已编码解码的参照帧进行移动预测，算出移动矢量，使用其生成预测图像。生成预测图像与原图像之差作为预测残差信号。但是，以往的技术方法中，在帧内预测中积极利用了与相邻块的信号相关性的高低，但在帧间预测中，这样的示出与相邻块的信号相关性的高低的性质未得到利用。
接着，对经过帧内预测、帧间预测而生成的预测残差信号的块，实施正交变换处理和量子化处理，进行编码。
作为帧间预测中的移动补偿处理的特征，在其编码相关的预测区域的端点处(即，对位于预测图像的块的外周部的像素信号而言的预测残差信号)，显示出预测误差量在统计上较大(例如参照非专利文献 1)。
现有技术文献
非专利文献
非专利文献1：郑文涛等，“基于统计性移动分布模型的移动补偿帧间差分信号的特性解析”，D-II，J84-D-II卷，第9期，2001-2010 页，2001年09月01日。
发明内容
发明所要解决的问题
如非专利文献1所示那样，作为帧间预测中的移动补偿处理的特征，在其编码相关的该预测区域的端点处(即，对位于预测图像的块的外周部的像素信号而言的预测残差信号)，显示出预测误差量在统计上较大。
另一方面，现有技术方法中，尽管在帧内预测中积极利用了相邻信号的相关性的高低，但在帧间预测中生成该预测残差信号时，这样的相邻信号的相关性的高低未得到利用。因此，对于现有技术方法，从编码效率的观点出发，还存在进一步改善的余地。
本发明的目的在于，鉴于上述问题，提供改善了编码效率的图像编码装置、图像解码装置、和其程序。
解决问题的技术方案
本发明以下述方式进行控制：在帧间预测等不使用已解码的相邻信号而进行信号预测的信号预测(本申请说明书中称为“不参照相邻像素的预测”)中，基于规定的评价基准，在通过不参照相邻像素的预测而生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像的块相邻的已编码解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像，确定所应用的正交变换种类。特别地，以下述方式进行控制：在对位于通过不参照相邻像素的预测而生成的预测图像的块边界的预测信号实施低通滤波处理时，实施变换基的端部封闭的正交变换处理。
由此，即使在不参照相邻像素的预测时，基于规定的评价基准，通过对属于该预测区域的端点的预测图像的块边界所处的像素值(预测信号)进行低通滤波处理，从而使该像素值接近该相邻块的像素值，由此改善了编码效率，进一步，对基于该低通滤波处理后的预测图像的块而得到的预测残差信号的块使用变换基的端部封闭的正交变换处理(例如DST)，通过上述那样的构成，不仅相位一致，而且与该预测区域的端点对应的变换基的特征也一致，产生更显著的编码效率的改善。
即，本发明的图像编码装置用于将构成动态图像的帧单位的原图像进行块分割并编码，其特征在于，所述图像编码装置具备：不参照相邻像素的预测单元，通过规定的不参照相邻像素的预测而生成由预测信号构成的块单位的预测图像，在所述不参照相邻像素的预测中，对块单位的原图像的各像素信号以不使用已解码的相邻信号的方式进行信号预测；滤波处理单元，在规定的选择控制下被控制为执行和不执行低通滤波处理，在执行所述低通滤波处理时，使用与所述预测图像的块相邻的已解码的相邻信号，对位于该预测图像的块边界的预测信号实施该低通滤波处理，由此生成新的预测图像的块；预测残差信号生成单元，算出通过所述滤波处理单元生成的预测图像的块的各预测信号相对于所述原图像的编码对象块的各像素信号的误差，以生成块单位的预测残差信号；正交变换单元，多种正交变换处理之中的一种在所述规定的选择控制下被选择控制，所述正交变换单元通过该选择控制的正交变换处理，对所述块单位的预测残差信号实施正交变换处理，以生成变换系数的信号；和正交变换选择控制单元，在所述不参照相邻像素的预测时，基于规定的评价基准选择控制第1组合和第 2组合中的任一者作为所述规定的选择控制，在所述第1组合中，在执行所述低通滤波处理的情况下应用所述多种正交变换处理之中变换基的端部封闭的第1正交变换处理，在所述第2组合中，在不执行所述低通滤波处理的情况下应用所述多种正交变换处理之中变换基的端部开放的第2正交变换处理，生成示出所选择的正交变换处理的种类的变换种类识别信号作为编码参数。
此外，本发明的图像编码装置中，特征在于，所述规定的不参照相邻像素的预测包括帧间预测、块内复制预测、和跨组件信号预测之中的任一者。
此外，本发明的图像编码装置中，特征在于，所述正交变换选择控制单元具有下述单元，在该单元中，作为所述规定的评价基准，在所述低通滤波处理的效果为规定水平以上、或经过所述低通滤波处理的执行而RD成本为优异时选择所述第1组合。
此外，本发明的图像编码装置中，特征在于，所述滤波处理单元实施所述低通滤波处理，以将通过所述不参照相邻像素的预测单元生成的预测图像的块内的预测信号中的与所述已解码的相邻信号相邻的预测信号平滑化。
进一步，本发明的图像解码装置用于对将构成动态图像的帧进行块分割并编码的信号进行解码，其特征在于，所述图像解码装置具备：正交逆变换选择控制单元，获取示出多种正交变换处理中在编码侧选择的正交变换处理的种类的变换种类识别信号，在规定的不参照相邻像素的预测时，基于该变换种类识别信号选择性地确定对应的正交逆变换处理的种类，在所述不参照相邻像素的预测中，对块单位的各像素信号以不使用已解码的相邻信号的方式进行信号预测；反量子化单元，对通过规定的量子化处理而量子化了的变换系数实施对应的反量子化处理，所述变换系数作为将构成动态图像的帧块分割并编码的信号，由此复原变换系数的信号；正交逆变换单元，对该复原的变换系数的信号实施基于所述变换种类识别信号而确定的正交逆变换处理，由此复原块单位的预测残差信号；不参照相邻像素的预测单元，通过所述不参照相邻像素的预测生成由预测信号构成的块单位的预测图像；和滤波处理单元，在所述变换种类识别信号中示出变换基的端部封闭的第1正交变换处理时，使用与所述预测图像的块相邻的已解码的相邻信号，对位于该预测图像的块边界的预测信号实施低通滤波处理，由此生成新的预测图像的块。
此外，本发明的图像解码装置中，特征在于，所述正交逆变换选择控制单元具有下述单元，在该单元中，获取所述变换种类识别信号作为编码参数，该编码参数示出在编码侧应用所述多种正交变换处理中变换基的端部封闭的第1正交变换处理和变换基的端部开放的第2 正交变换处理中的哪一者。
进一步，本发明的程序使计算机作为本发明的图像编码装置或图像解码装置而发挥功能。
发明效果
根据本发明，减少了预测图像的预测信号与相邻的已解码的块信号之间生成的信号误差，改善了编码效率，因此能够实现视频编码方式的编码效率较高的图像编码装置和图像解码装置。即，在编码侧，能够进一步减少预测残差信号中的残差成分，通过减少编码传输的信息量，能够改善编码效率。此外，在解码侧，即使是以像这样减少后的信息量，也能够解码。
特别地，即使在不参照相邻像素的预测时，基于规定的评价基准，通过对属于该预测区域的端点的预测图像的块边界所处的像素值(预测信号)进行低通滤波处理，从而使该像素值接近该相邻块的像素值，由此改善了编码效率，不仅如此，进一步，对基于该预测图像的块而得到的预测残差信号的块使用变换基的端部封闭的正交变换处理(例如DST)，因此不仅相位一致，而且与该预测区域的端点对应的变换基的特征也一致，能够更显著地改善编码效率。
附图说明
图1中，(a)是本发明的第1实施方式的图像编码装置中的预测图像所涉及的滤波处理部周边的框图，(b)是示出该预测图像的滤波处理例的说明图。
图2中，(a)、(b)、(c)分别是例示本发明所涉及的不参照相邻像素的预测的说明图。
图3是示出本发明的第1实施方式的图像编码装置的一个实施例的框图。
图4是本发明的第1实施方式的图像编码装置中的与预测图像的滤波处理相关的流程图。
图5是本发明的第1实施方式的图像编码装置中的与预测图像的滤波处理相关的说明图。
图6是本发明的第1实施方式的图像解码装置中的预测图像所涉及的滤波处理部周边的框图。
图7是示出本发明的第1实施方式的图像解码装置的一个实施例的框图。
图8是本发明的第2实施方式的图像编码装置或图像解码装置中的滤波处理部的框图。
图9是本发明的第2实施方式的图像编码装置或图像解码装置中的与预测图像的滤波处理相关的流程图。
图10中，(a)、(b)分别是本发明的第2实施方式的图像编码装置或图像解码装置中的与预测图像的滤波处理相关的说明图。
图11中，(a)是本发明的第3实施方式的图像编码装置中的滤波处理部和正交变换选择控制部周边的框图，(b)、(c)是示出正交变换的基础波形的一个例子的图。
图12是示出本发明的第3实施方式的图像编码装置中的第1实施例的框图。
图13是涉及本发明的第3实施方式的图像编码装置中的第1实施例的正交变换选择控制处理的流程图。
图14是示出本发明的第3实施方式的图像编码装置中的第2实施例的框图。
图15是涉及本发明的第3实施方式的图像编码装置中的第2实施例的正交变换选择控制处理的流程图。
图16是本发明的第3实施方式的图像解码装置中的滤波处理部和正交逆变换选择控制部周边的框图。
图17是示出本发明的第3实施方式的图像解码装置中的一个实施例的框图。
图18是涉及本发明的第3实施方式的图像解码装置中的一个实施例的正交逆变换选择控制处理的流程图。
图19中，(a)是本发明的第4实施方式的图像编码装置中的预测图像所涉及的滤波处理部周边的框图，(b)是示出该预测图像的滤波处理例的说明图。
图20中，(a)、(b)、(c)分别是例示与本发明所涉及的预测图像相关的块分割后的正交变换应用块的说明图。
图21是示出本发明的第4实施方式的图像编码装置的一个实施例的框图。
图22是本发明的第4实施方式的图像编码装置中的与预测图像的滤波处理相关的流程图。
图23是本发明的第4实施方式的图像编码装置中的与正交变换处理相关的流程图。
图24是本发明的第4实施方式的图像解码装置中的预测图像所涉及的滤波处理部周边的框图。
图25是示出本发明的第4实施方式的图像解码装置的一个实施例的框图。
图26中，(a)、(b)分别是本发明的第5实施方式的图像编码装置和图像解码装置中的滤波处理部周边的框图。
图27是本发明的第5实施方式的图像编码装置或图像解码装置中的与预测图像的滤波处理相关的流程图。
图28是本发明的第5实施方式的图像编码装置或图像解码装置中的与预测图像的滤波处理相关的说明图。
图29中，(a)、(b)、(c)、(d)是涉及现有技术方法中的帧内预测的说明图。
具体实施方式
以下，按顺序说明本发明的各实施方式的图像编码装置和图像解码装置。
〔第1实施方式〕
(图像编码装置)
首先，针对本发明的第1实施方式的图像编码装置1中的本发明的主要构成要素、即预测图像所涉及的滤波处理部12，参照图1和图 2进行说明，针对其具体的典型例的图像编码装置1，参照图3至图5 进行说明。
图1(a)是本发明的第1实施方式的图像编码装置1中的预测图像所涉及的滤波处理部12周边的框图，图1(b)是示出基于滤波处理部12的该预测图像的滤波处理例的说明图。
如图1(a)所示那样，本发明的第1实施方式的图像编码装置1 中，构成为具备不参照相邻像素预测部11、滤波处理部12、预测残差信号生成部13、和正交变换部14。
不参照相邻像素预测部11是进行下述信号预测处理的功能部，在所述信号预测处理中，针对原图像的编码对象区域，不使用相邻的已解码的信号(已解码的相邻信号)而生成预测图像。本申请说明书中，将这样的信号预测称为“不参照相邻像素的预测”，不参照相邻像素的预测中，包括例如：进行帧间的移动补偿预测的帧间预测、复制同帧中的不同的已解码的部分图像而生成预测图像的块内复制(Intra Block Copy)预测、和利用某一帧的对应块位置的亮度信号与色差信号的组件信号间的相关性而生成预测图像的信号预测(本申请说明书中称为“跨组件信号预测”)等。
例如，帧间预测中，如图2(a)所示那样，在某一GOP结构的多个帧F1～F6中，将帧F1记作I帧(帧内编码帧)时，如P帧(帧间预测编码帧)那样参照过去的I帧、P帧而生成预测图像的情况，如B帧(双向帧间预测编码帧)那样参照过去和未来的帧等多个帧而生成预测图像。
此外，块内复制预测中，如图2(b)所示那样，参照并复制同帧 F中的不同的已解码的部分图像Bkr，生成预测图像Bkp。
此外，跨组件信号预测中，如图2(c)所示那样，利用组件信号间的相关性，参照某一帧F的对应块位置的亮度信号(例如Y信号) 的局部解码图像Bkr，对色差信号(例如U/V信号)的预测图像实施基于加权相加的合成处理，生成色差信号(例如U/V信号)的修正预测图像Bkp。与这样的跨组件信号预测相关的详情，参照日本特开 2014-158270号公报。
这些不参照相邻像素的预测在具备已解码的区域作为与原图像的编码对象区域的块相邻的区域并且未利用其相邻像素间的相关性的高低而进行信号预测这一点上是共通的。
第1实施方式中的滤波处理部12是下述功能部，该功能部在通过不参照相邻像素预测部11生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号 (已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13。
例如，如图1(b)所示那样，滤波处理部12在通过不参照相邻像素预测部11生成与原图像的编码对象区域的块Bko对应的由4×4 的像素信号p构成的预测图像的块Bkp时，使用与该预测图像在左侧和上侧相邻的该预测图像的块Bkp的块边界周边中的已解码的相邻信号So，将该预测图像中的最左侧和最上侧的像素信号(预测信号)作为滤波对象区域的信号Sf，分别实施例如水平方向和垂直方向的平滑化滤波等低通滤波处理，由此生成由新的预测信号构成的预测图像。
预测残差信号生成部13算出由滤波处理部12得到的预测图像的块Bkp的各像素信号(预测信号)相对于原图像的编码对象区域的块 (编码对象块)Bko的各像素信号(原信号)的误差，作为预测残差信号输出至正交变换部14。
正交变换部14对从预测残差信号生成部13输入的预测残差信号实施规定的正交变换处理，生成其变换系数的信号。例如，作为该规定的正交变换处理，可以为以DCT、DST等编码方式使用的正交变换处理、或者将其近似为整数的H.264、H.265中规定的整数正交变换处理，只要按照所利用的编码方式即可。
第1实施方式的图像编码装置1对该变换系数的信号实施量子化处理和熵编码处理，并输出至外部。并且，熵编码处理中，与各种编码参数等一起通过CABAC所代表的算术编码等变换为编码，从而能够传输视频。另外，编码参数中，能够包括帧间预测参数、帧内预测参数、块分割所涉及的块尺寸的参数(块分割参数)、量子化处理所涉及的量子化参数等能够选择设定的参数并传输。
接着，作为不参照相邻像素预测部11的代表性例子，说明基于帧间预测的帧间预测部11a，参照图3至图5说明通过滤波处理部12对该预测图像的块的预测信号实施滤波处理的图像编码装置1的构成和其动作例。
图3是示出本发明的第1实施方式的图像编码装置1的一个实施例的框图。图3所示的图像编码装置1具备：前处理部10、帧间预测部11a、滤波处理部12、预测残差信号生成部13、正交变换部14、量子化部15、反量子化部16、正交逆变换部17、解码图像生成部18、环路内滤波部19、帧存储器20、帧内预测部21、移动矢量计算部22、熵编码部23、和预测图像选择部24。
前处理部10针对所输入的动态图像数据的各帧的原图像，分割为规定的块尺寸的编码对象块，以规定的顺序输出至预测残差信号生成部13。
预测残差信号生成部13算出由滤波处理部12得到的预测图像的块的各像素信号相对于编码对象块的各像素信号的误差，作为块单位的预测残差信号输出至正交变换部14。
正交变换部14对从预测残差信号生成部13输入的预测残差信号实施规定的正交变换处理，生成其变换系数的信号。
量子化部15对由正交变换部14得到的变换系数的信号实施规定的量子化处理，并输出至熵编码部23和反量子化部16。
反量子化部16对由量子化部15得到的量子化后的变换系数的信号实施反量子化处理，并输出至正交逆变换部17。
正交逆变换部17对由反量子化部16得到的反量子化后的变换系数的信号实施正交逆变换处理，由此复原预测残差信号并输出至解码图像生成部18。
解码图像生成部18将通过正交逆变换部17复原的预测残差信号与通过帧内预测部21或帧间预测部11a而预测且由滤波处理部12得到的预测图像的块相加，生成局部解码图像的块并输出至环路内滤波部19。
环路内滤波部19对由解码图像生成部18得到的局部解码图像的块，实施例如自适应环路滤波(ALF：Adaptive Loop Filter)、像素适应补偿(SAO：Sample Adaptive Offset，采样点自适应补偿)、去块滤波等环路内滤波处理，并输出至帧存储器20。将与这些滤波处理相关的滤波参数作为成为编码处理的附带信息的编码参数之一，输出至熵编码部23。
帧存储器20存储经过环路内滤波部19而得到的局部解码图像的块，作为能够被帧内预测部21、帧间预测部11a和移动矢量计算部22 利用的参照图像而保存。
在通过预测图像选择部24进行的仅利用预测对象的帧内的信号进行信号预测的信号选择时，帧内预测部21对原图像的编码对象块内的像素信号(原信号)使用作为参照图像而存储于帧存储器20中的与该编码对象块的左侧、上侧相邻的已编码解码的块的像素信号，进行 DC预测、Planer预测、或者方向性预测，生成由通过外插值而预测的像素信号(预测信号)构成的预测图像的块并输出至滤波处理部12。
另外，识别帧内预测部21中使用的DC预测、Planer预测、或者方向性预测的帧内预测参数作为成为编码处理的附带信息的编码参数之一，输出至熵编码部23。
在通过预测图像选择部24进行的对P/B帧进行帧间的移动补偿预测的信号选择时，帧间预测部11a针对原图像的编码对象块内的像素信号(原信号)，将作为参照图像而存储于帧存储器20中的数据以由移动矢量计算部22提供的移动矢量进行移动补偿，由此生成预测图像的块并输出至滤波处理部12。
移动矢量计算部22对存储于帧存储器20中的参照图像的数据使用块匹配技术方法等，检索与原图像的编码对象块最类似的位置，算出示出其空间上错位的值作为移动矢量并输出至帧间预测部11a。
另外，将包含通过移动矢量计算部22算出的移动矢量在内的帧间预测中使用的帧间预测参数作为成为编码处理的附带信息的编码参数之一，输出至熵编码部23。
熵编码部23对来自量子化部15的输出信号、各种编码参数实施熵编码处理并输出经编码的动态图像数据的流信号。
针对滤波处理部12的一个动作例，参照图4和图5进行说明。如图4所示那样，滤波处理部12在输入来自帧内预测部21或帧间预测部11a的预测图像时(步骤S1)，识别该预测图像是否为不参照相邻像素的预测、即在本例中识别是否为基于预测图像选择部24所进行的信号选择的帧间预测(步骤S2)。另外，不参照相邻像素的预测在所述块内复制预测、跨组件信号预测的情况中也相同。
接着，滤波处理部12在判定为该预测图像并非不参照相邻像素的预测、即在本例中判定为帧内预测时(步骤S2：否)，判定是否通过预定的处理方式执行滤波处理(步骤S5)。不对帧内预测的预测图像执行滤波处理时(步骤S5：否)，滤波处理部12不对该预测信号执行滤波处理而输出至预测残差信号生成部13(步骤S6)。另一方面，对帧内预测的预测图像执行滤波处理时(步骤S5：是)，滤波处理部12 转入步骤S3。另外，对帧内预测的预测图像进行的滤波处理只要与当前规定的H.265同样地处理即可，由于与本发明的主旨没有直接关联，因此，步骤S3的说明中，说明了对帧间预测的预测图像执行滤波处理的例子。
滤波处理部12在判定为该预测图像是不参照相邻像素的预测、即本例中判定为帧间预测时(步骤S2：是)，从该预测图像选出预定的滤波处理对象区域的像素信号(预测信号)(步骤S3)。例如，如图5 所例示那样，将4×4的预测图像的块内的像素信号(预测信号)之中该预测图像的最左侧和最上侧的像素信号(预测信号)确定为滤波处理对象区域Sf。
接着，滤波处理部12使用与该预测图像在左侧和上侧相邻的已解码的信号(已解码的相邻信号)，对选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13(步骤S4)。例如，如图5 所例示那样，滤波处理部12针对4×4的预测图像的块Bkp内的像素信号(预测信号)之中滤波处理对象区域Sf中的水平滤波区域、垂直滤波区域、和角滤波区域中的每一者，实施预定权重系数的平滑化滤波处理并输出至预测残差信号生成部13。
另外，通过滤波处理部12进行的滤波处理可以是低通滤波处理，也可以应用除了平滑化滤波之外的滤波处理，该滤波处理中利用的已解码的相邻信号的区域、权重系数不必限定于图5所示的例子。例如，在大尺寸编码块的情况中，可以对多个行或列应用滤波处理。此外，也可以构成为将通过滤波处理部12进行的滤波处理所涉及的滤波种类、滤波处理对象区域、和权重系数作为编码处理的附带信息而传输，但只要在发送接收之间(编码、解码之间)进行预先规定，则也不必进行传输。
这样一来，通过滤波处理部12对预测图像实施滤波处理，由此，无论正交变换部14的正交变换处理的种类如何，均减少了预测图像内的最左侧和最上侧的像素信号(预测信号)与和其相邻的已解码的信号之间生成的信号误差，能够改善视频的编码效率。
(图像解码装置)
接着，针对本发明的第1实施方式的图像解码装置5中的本发明所涉及的主要构成要素、即滤波处理部54和其周边功能块，参照图6 进行说明，针对其具体的典型例的图像解码装置5，参照图7进行说明。
图6是本发明的第1实施方式的图像解码装置5中的预测图像所涉及的滤波处理部54周边的框图。如图6所示那样，本发明的第1 实施方式的图像解码装置5中，构成为具备正交逆变换部52、不参照相邻像素预测部53、滤波处理部54、和解码图像生成部55。
正交逆变换部52对接收从图像编码装置1侧传输来的流信号并经过熵解码处理和反量子化处理而复原的变换系数，实施正交逆变换处理，将得到的预测残差信号输出至解码图像生成部55。
不参照相邻像素预测部53是与图像编码装置1侧的不参照相邻像素预测部11对应的功能部，进行不使用相邻的已解码的信号(已解码的相邻信号)而生成预测图像的信号预测处理。不参照相邻像素的预测中，包括例如：进行帧间的移动补偿预测的帧间预测、复制同帧中的不同的已解码的部分图像而生成预测图像的块内复制(Intra Block Copy)预测、和利用某一帧的对应块位置的亮度信号与色差信号的组件信号间的相关性而生成预测图像的跨组件信号预测。
第1实施方式的滤波处理部54是与图像编码装置1侧的滤波处理部12对应的功能部，该功能部在通过不参照相邻像素预测部53生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至解码图像生成部55。
解码图像生成部55是下述功能部，其将通过正交逆变换部52复原的预测残差信号与由后述滤波处理部54得到的预测图像的块相加，从而生成由解码信号构成的解码图像的块。
即，将通过图像编码装置1中的滤波处理部12而对预测图像经过滤波处理生成的预测残差信号以改善了视频的编码效率的状态进行传输，图像解码装置5能够高效率地复原该传输所涉及的视频。另外，在滤波处理部54中，也与滤波处理部12的情况同样地，该滤波处理只要是低通滤波处理即可，也可以应用除了平滑化滤波之外的滤波，该滤波处理中利用的已解码的相邻信号的区域、权重系数也适当确定即可。并且，从图像编码装置1侧将通过滤波处理部12进行的滤波处理所涉及的滤波种类、滤波处理对象区域、和权重系数在发送接收之间(编码、解码之间)预先进行规定、或作为编码处理的附带信息而传输时，照此图像解码装置5的滤波处理部54也同样地进行滤波处理，由此能够提高该解码信号的精度。
接着，作为不参照相邻像素预测部53的代表性例子，说明基于帧间预测的帧间预测部53a，参照图7说明利用滤波处理部54对通过该帧间预测得到的预测信号实施滤波处理的图像解码装置5的构成和其动作例。
图7是示出本发明的第1实施方式的图像解码装置5的一个实施例的框图。图7所示的图像解码装置5具备：熵解码部50、反量子化部51、正交逆变换部52、帧间预测部53a、滤波处理部54、解码图像生成部55、环路内滤波部56、帧存储器57、帧内预测部58、和预测图像选择部59。
熵解码部50接收从图像编码装置1侧传输来的流信号，将通过实施与图像编码装置1的熵编码处理对应的熵解码处理而得到的各种编码参数输出至各功能块，并且将经量子化的变换系数输出至反量子化部51。作为各种编码参数，例如滤波参数、帧内预测参数和帧间预测参数分别被输出至环路内滤波部56、帧内预测部58、和帧间预测部 53a。
反量子化部51对由熵解码部50得到的经量子化的变换系数实施与图像编码装置1的量子化处理对应的反量子化处理，将其变换系数输出至正交逆变换部52。
正交逆变换部52对由反量子化部51得到的变换系数实施与图像编码装置1的正交变换处理对应的正交逆变换处理，由此复原预测残差信号并输出至解码图像生成部55。
解码图像生成部55将通过正交逆变换部52而复原的预测残差信号与通过帧内预测部58或帧间预测部53a预测且通过滤波处理部54 实施低通滤波而生成的预测图像的块相加，生成解码图像的块并输出至环路内滤波部56。
环路内滤波部56实施与图像编码装置1侧的环路内滤波处理对应的滤波处理并输出至帧存储器57。
帧存储器57存储经过环路内滤波部56而得到的解码图像的块，作为能够被帧内预测部58和帧间预测部53a利用的参照图像而保存。
在通过预测图像选择部59进行的仅利用预测对象的帧内的信号进行信号预测的信号选择时，帧内预测部58使用帧内预测参数、和作为参照图像而存储于帧存储器57中的与该解码对象块的左侧、上侧相邻的已解码的块的像素信号，实施与图像编码装置1侧的帧内预测部 21对应的预测处理，由此生成预测图像的块并输出至滤波处理部54。
在通过预测图像选择部59进行的对P/B帧进行帧间的移动补偿预测的信号选择时，帧间预测部53a使用帧间预测参数中包含的移动矢量，将作为参照图像而存储于帧存储器20中的数据进行移动补偿，由此生成预测图像的块并输出至滤波处理部54。
另外，能够构成为，从存储于帧存储器57中的已解码的数据构成帧并作为解码图像而输出。
滤波处理部54中，以与参照图4和图5而例示说明的动作相同的动作作为其动作。即，滤波处理部54中的本发明所涉及的滤波处理在该预测图像为不参照相邻像素的预测、即在本例中为帧间预测时，从该预测图像中选出预定的滤波处理对象区域的像素信号(预测信号)，使用与该预测图像在左侧、上侧相邻的已解码的信号(已解码的相邻信号)，对该选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至解码图像生成部55。例如，如图5所例示那样，滤波处理部54使用该预测图像的块Bkp的块边界周边中的已解码的相邻信号So，针对该预测图像的块Bkp内的像素信号(预测信号)之中滤波处理对象区域Sf 中的水平滤波区域、垂直滤波区域、和角滤波区域中的每一者，实施预定权重系数的平滑化滤波处理并输出至解码图像生成部55。
根据如上所述构成的第1实施方式的图像编码装置1和图像解码装置5，减少了预测图像的预测信号与相邻的已解码的块信号之间生成的信号误差，改善了编码效率，因此能够实现视频编码方式的编码效率较高的图像编码装置和图像解码装置。即，能够进一步减少预测残差信号中的残差成分，通过减少编码传输的信息量，能够改善编码效率。
〔第2实施方式〕
接着，针对本发明的第2实施方式的图像编码装置1和图像解码装置5中的各自的滤波处理部12、54，参照图8进行说明。第1实施方式的滤波处理部12、54中，说明了下述例子：在通过不参照相邻像素的预测生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像。
另一方面，本实施方式的滤波处理部12、54中，以下述方式构成：在通过不参照相邻像素的预测生成的预测图像的块内的像素信号(预测信号)之中，使用在该低通滤波处理中参照的该已解码的相邻信号，进行用于确定是否对成为该低通滤波处理的对象的预测信号实施低通滤波处理的相关判定，根据该相关判定的结果，确定是否应用低通滤波处理。另外，对相同的构成要素标注相同的附图标记进行说明。因此，本实施方式的滤波处理部12、54能够应用于图3和图7中分别例示的图像编码装置1和图像解码装置5，因此，在此仅针对本实施方式的滤波处理部12、54所涉及的处理内容进行说明，省略其进一步的详细说明。
图8是本实施方式的图像编码装置1或图像解码装置5中的滤波处理部12、54的框图。此外，图9是本实施方式的图像编码装置1 或图像解码装置5中的与预测图像的滤波处理12、54相关的流程图。
本实施方式的滤波处理部12、54具备：水平方向相关判定部101、垂直方向相关判定部102、滤波处理确定部103、和滤波处理执行部 104。针对这些功能块的动作，参照图9所示的处理例进行说明。另外，本实施方式的滤波处理部12、54也可以构成为不区别是否为不参照相邻像素的预测例如不区别是帧间预测还是帧内预测而进行处理，在此，说明对本发明所涉及的不参照相邻像素的预测的预测图像实施滤波处理的例子。
滤波处理部12、54在输入有预测图像时(步骤S11)，通过水平方向相关判定部101和垂直方向相关判定部102，对各自分别确定的各滤波处理对象区域，执行相关判定处理(步骤S12)。
即，通过水平方向相关判定部101，判定同与该预测图像在左侧相邻的已解码的相邻信号的相关(步骤S13)，判定为水平方向的相关高时(步骤S13：是)，确定使用已解码的相邻信号执行水平滤波处理 (步骤S14)，判定为水平方向的相关低时(步骤S13：否)，将不执行水平滤波处理的意思输出至滤波处理确定部103。
同样地，通过垂直方向相关判定部102，判定同与该预测图像在上侧相邻的已解码的相邻信号的相关(步骤S15)，判定为垂直方向的相关高时(步骤S15：是)，确定使用已解码的相邻信号执行垂直滤波处理(步骤S16)，判定为垂直方向的相关低时(步骤S15：否)，将不执行垂直滤波处理的意思输出至滤波处理确定部103。
滤波处理确定部103判断是否接收到确定为一同执行水平、垂直的滤波处理的意思(步骤S17)，接收到确定为一同执行水平、垂直的滤波处理的意思时(步骤S17：是)，确定为执行水平、垂直两者的滤波处理和3抽头的角滤波处理(步骤S18)，接收到不执行水平、垂直的滤波处理中的任一者或两者的意思时(步骤S17：否)，水平的相关高时确定为仅执行水平方向的滤波处理，垂直方向的相关高时确定为仅执行垂直方向的滤波处理，并且在分别仅水平、垂直中的一者的滤波处理的情况下，角滤波也确定为执行水平、或垂直的滤波处理(步骤S19)。
图9所示的步骤S13～S19的处理顺序仅为例子，可以以不同顺序构成。因此，滤波处理确定部103对水平方向和垂直方向上各自分别确定的各滤波处理对象区域进行相关判定，确定为“仅水平方向执行”、“仅垂直方向执行”、“水平、垂直、角全部执行”、或“水平、垂直、角均不执行”滤波处理，将该意思输出至滤波处理执行部104。
滤波处理执行部104根据滤波处理确定部103的判定结果而进行滤波处理并输出滤波处理后的预测图像(步骤S20)，在滤波处理确定部103的判定结果为“水平、垂直、角均不执行”时，将输入至滤波处理部12、54的预测图像直接输出。
例如，水平方向相关判定部101针对图10(a)所示的4个水平方向判定区域A1～A4中的每一者，求出相邻像素间之差，如果该差在水平方向判定区域A1～A4中的总计值为规定的阈值以下，则判定为相关高，否则判定为相关低。同样地，垂直方向相关判定部102针对图 10(b)所示的4个垂直方向判定区域B1～B4中的每一者，求出相邻像素间之差，如果该差在垂直方向判定区域B1～B4中的总计值为规定的阈值以下，则判定为相关高，否则判定为相关低。并且，通过如图 5所示那样地应用相关高的方向的滤波处理，能够“仅水平方向执行”、“仅垂直方向执行”、“水平、垂直、角全部执行”、或“水平、垂直、角均不执行”滤波处理。并且，仅执行水平或垂直的滤波处理时，对位于该预测图像的块的角的像素(预测信号)，应用水平或垂直的滤波。
另外，该相关判定区域与滤波处理对象区域不必相同，但通过使其相同，处理变得简便。此外，要注意的是，相关判定处理、滤波处理的具体处理方法预想为多种多样的技术方法，仅示出了其一个例子。
通过如本实施方式那样构成滤波处理部12、54、且分别应用于图像编码装置1和图像解码装置5，能够在改善编码效率的同时，抑制由其引起的画质的劣化。
〔第3实施方式〕
(图像编码装置)
接着，针对本发明的第3实施方式的图像编码装置1中的本发明所涉及的主要构成要素、即预测图像所涉及的滤波处理部12和正交变换选择控制部25，参照图1(b)和图11进行说明，针对其具体的2 个实施例的图像编码装置1，参照图5、图12至图15进行说明。下述说明着眼于与上述实施方式的不同之处而进行。即，本实施方式中，对与上述实施方式相同的构成要素标注相同的附图标记，省略其进一步详细的说明。
图11(a)是本实施方式的图像编码装置1中的预测图像所涉及的滤波处理部12和正交变换选择控制部25周边的框图，图1(b)是示出基于滤波处理部12的该预测图像的滤波处理例的说明图。
如图11(a)所示那样，本实施方式的图像编码装置1中，构成为具备不参照相邻像素预测部11、滤波处理部12、预测残差信号生成部13、正交变换部14、和正交变换选择控制部25。
本实施方式中的滤波处理部12是下述功能部，该功能部在正交变换选择控制部25的控制下，在通过不参照相邻像素预测部11生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13。
正交变换部14在正交变换选择控制部25的控制下，对由预测残差信号生成部13输入的预测残差信号实施2种正交变换处理之中的一种，生成其变换系数的信号。
例如，作为该2种正交变换处理，可以进行变换基的端部封闭的正交变换处理(例如DST(Discrete Sine Transform：离散正弦变换))、或变换基的端部开放的正交变换处理(例如DCT(Discrete Cosine Transform：离散余弦变换))，虽然没有限定是实数精度还是整数精度，但例如可以进行近似为整数的H.264、H.265中规定的整数正交变换处理，按照所利用的编码方式即可。
在此，将正交变换的基础波形的一个例子表示于图11(b)和图11(c)。图11(b)和图11(c)所示的例子中，针对对4×4的预测残差信号的块进行正交变换时能够利用的4个变换基(N＝4)，作为DCT 变换基(图11(b))和DST变换基(图11(c))中的各余弦和正弦的各频率成分的图案，例示出低域至高域的变换基础波形(DCT中 u＝0～3，DST中u＝1～4)。如图11(b)和图11(c)所示那样，可知，除了DCT的u＝0和DST的u＝4之外的主要不同在于相位，对应频率的各变换基(例如u＝2)在相同频率下像素间相关为相同值(基础振幅相同)，但相位相差π/2。并且，在任一变换基础波形中，在DCT 中，如图11(b)所示那样，其端点具备大的值而开放，实现了变换基的端部开放的正交变换处理。另一方面，在DST中，如图11(c) 所示那样，其端点具备小的值而封闭，实现了变换基的端部封闭的正交变换处理。
另外，“变换基的端部封闭的正交变换处理”是指在预测残差信号的块中与该预测参照块相近侧的一端封闭，例如如图11(c)所示那样，可以为使另一端开放的变换基的非对称DST类型7。
正交变换选择控制部25在不参照相邻像素的预测时，当基于规定的评价基准而通过滤波处理部12对位于该预测图像的块边界的像素值(预测信号)执行低通滤波处理时，对正交变换部14进行指示，以对基于该低通滤波处理后的预测图像的块而由预测残差信号生成部 13得到的预测残差信号的块使用变换基的端部封闭的正交变换处理 (例如DST)，当基于该规定的评价基准而不对预测图像的块执行该低通滤波处理时，对正交变换部14进行指示，以对该预测残差信号的块使用变换基的端部开放的正交变换处理(例如DCT)，由此选择控制正交变换种类。另外，正交变换选择控制部25将示出应用了2种正交变换处理之中哪一种的变换种类识别信号作为编码参数之一输出至解码侧。
作为正交变换选择控制部25中的规定的评价基准，说明2个实施例。
详情将后述，第1实施例中，正交变换选择控制部25指示滤波处理部12选出如图1(b)所示那样的滤波处理对象区域的信号并使用已解码的相邻信号进行低通滤波处理的预执行，从滤波处理部12获取该滤波处理执行/不执行的各预测图像作为预测块信息(est1)。接着，正交变换选择控制部25根据该预测块信息(est1)，比较该滤波处理执行/不执行的各预测图像，判断为该预测区域的端点(即，对于位于预测图像的块的外周部的像素信号而言的预测残差信号)的影响对于该块尺寸(本例中例示出4×4，但不论块尺寸如何)而言相对较大时，由滤波处理部12向预测残差信号生成部13输出执行该滤波处理后的预测图像。并且，正交变换选择控制部25以下述方式进行控制：对正交变换部14进行指示，以对基于该低通滤波处理后的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部封闭的正交变换处理(例如DST)。
另一方面，正交变换选择控制部25比较由滤波处理部12得到的该滤波处理执行/不执行的各预测图像，判断为该预测区域的端点(即，对于位于预测图像的块的外周部的像素信号而言的预测残差信号)的影响相对于该块尺寸(本例中例示出4×4，但不论块尺寸如何)而言相对较小时，由滤波处理部12向预测残差信号生成部13输出不执行该滤波处理的预测图像。并且，正交变换选择控制部25以下述方式进行控制：对正交变换部14进行指示，以对基于不执行该低通滤波的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部开放的正交变换处理(例如DCT)。
在此，针对该预测区域的端点的影响相对于该块尺寸(本例中例示出4×4，但不论块尺寸如何)而言是否相对较大预想了多种多样的评价方法，例如通过比较该预测区域的端点的密度分布的分散值与该块尺寸整体的密度分布的分散值的比率而判定是否为规定水平以上即可。这样一来，第1实施例中，正交变换选择控制部25基于通过该滤波处理进行的滤波处理效果是否为规定水平以上的判定基准，确定有无滤波处理的执行，进一步根据有无滤波处理的执行，确定所应用的正交变换处理的种类，控制滤波处理部12和正交变换部14。
此外，第2实施例中，正交变换选择控制部25指示滤波处理部 12选出如图1(b)所示那样的滤波处理对象区域的信号并使用已解码的相邻信号进行低通滤波处理的预执行，获取并比较执行该滤波处理时使用变换基的端部封闭的正交变换处理(例如DST)而正交变换并量子化处理和熵编码处理的情况、和不执行该滤波处理时使用变换基的端部开放的正交变换处理(例如DCT)而正交变换并量子化处理和熵编码处理的情况中的生成编码量(R)和编码失真量(D)的率失真信息(est2)，选择RD成本更优异的组合(例如执行滤波处理和DST 的组合与滤波处理不执行和DCT的组合)。
通过这样的RD最优化，如果“执行滤波处理、变换基的端部封闭的正交变换处理”的组合优异，则正交变换选择控制部25以下述方式进行控制：使该执行滤波处理后的预测图像由滤波处理部12输出至预测残差信号生成部13，对正交变换部14进行指示，以对基于该低通滤波处理后的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部封闭的正交变换处理(例如DST)。
另一方面，如果“滤波处理不执行、变换基的端部开放的正交变换处理”的组合优异，则正交变换选择控制部25以下述方式进行控制：使不执行该滤波处理的预测图像由滤波处理部12输出至预测残差信号生成部13，对正交变换部14进行指示，以对基于不执行该低通滤波处理的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部开放的正交变换处理(例如DCT)。
这样一来，第2实施例中，正交变换选择控制部25基于RD最优化，确定有无滤波处理的执行，进一步根据有无滤波处理的执行，确定所应用的正交变换处理的种类，控制滤波处理部12和正交变换部 14。
最终，本实施方式的图像编码装置1对由正交变换部14得到的变换系数的信号实施量子化处理和熵编码处理，并输出至外部。并且，熵编码处理中，与各种编码参数等一起通过CABAC所代表的算术编码等变换为编码，从而能够传输视频。另外，在编码参数中，除了本发明所涉及的变换种类识别信号之外，还能够包括帧间预测参数、帧内预测参数、块分割所涉及的块尺寸的参数(块分割参数)、量子化处理所涉及的量子化参数等能够选择设定的参数并传输。
以下，更具体地，以帧间预测的帧间预测部11a作为不参照相邻像素预测部11的代表性例子，分别说明作为正交变换选择控制部25 中规定的评价基准而应用了上述各实施例的图像编码装置1的构成例。
(第1实施例)
图12是示出本实施方式的图像编码装置1的第1实施例的框图。图12所示的图像编码装置1具备：前处理部10、帧间预测部11a、滤波处理部12、预测残差信号生成部13、正交变换部14、量子化部15、反量子化部16、正交逆变换部17、解码图像生成部18、环路内滤波部19、帧存储器20、帧内预测部21、移动矢量计算部22、熵编码部 23、预测图像选择部24、和正交变换选择控制部25。
正交变换部14在正交变换选择控制部25的控制下，对由预测残差信号生成部13输入的预测残差信号实施规定的正交变换处理，生成其变换系数的信号。
第1实施例中的滤波处理部12在正交变换选择控制部25的控制下，控制执行和不执行低通滤波处理，在执行所述低通滤波处理时，在通过不参照相邻像素的预测、即帧间预测部11a生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13。在不执行所述低通滤波处理时，将通过帧间预测部11a生成的预测图像输出至预测残差信号生成部13。另外，在除了帧内预测等不参照相邻像素的预测之外的预测时，滤波处理部12中，是否执行滤波处理按照预定的方式进行。
针对第1实施例中的正交变换选择控制部25的动作，参照图13 进行说明。图13是涉及本实施方式的图像编码装置1中的第1实施例的正交变换选择控制部25的处理的流程图。首先，正交变换选择控制部25从例如滤波处理部12或预测图像选择部24接收通知，判断通过滤波处理部12处理的预测图像是否为不参照相邻像素的预测(步骤 S1)。
是不参照相邻像素的预测时(步骤S1：是)，正交变换选择控制部25指示滤波处理部12选出滤波处理对象区域的信号并使用已解码的相邻信号进行低通滤波处理的预执行(步骤S2)。
例如，滤波处理部12如图5所例示那样，将4×4的预测图像的块内的像素信号(预测信号)之中该预测图像的最左侧和最上侧的像素信号(预测信号)确定为滤波处理对象区域Sf。接着，滤波处理部12 使用与该预测图像在左侧和上侧相邻的已解码的信号(已解码的相邻信号)，对选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像。例如，如图5 所例示那样，滤波处理部12针对4×4的预测图像的块Bkp内的像素信号(预测信号)之中滤波处理对象区域Sf中的水平滤波区域、垂直滤波区域、和角滤波区域中的每一者，实施预定权重系数的平滑化滤波处理，由此生成该滤波处理后的预测图像。
另外，通过滤波处理部12进行的滤波处理只要是低通滤波处理即可，也可以应用除了平滑化滤波之外的滤波处理，该滤波处理中利用的已解码的相邻信号的区域、权重系数不必限定于图5所示的例子。例如，在大尺寸编码块的情况中，可以对多个行或列应用滤波处理。此外，也可以构成为将通过滤波处理部12进行的滤波处理所涉及的滤波种类、滤波处理对象区域、和权重系数作为编码处理的附带信息而传输，但只要在发送接收之间(编码、解码之间)进行预先规定，则也不必进行传输。
接着，参照图13，正交变换选择控制部25从滤波处理部12获取该滤波处理执行/不执行的各预测图像作为预测块信息(est1)(步骤 S3)。
接着，正交变换选择控制部25根据该预测块信息(est1)，比较该滤波处理执行/不执行的各预测图像，通过该预测区域的端点(即，对于位于预测图像的块的外周部的像素信号而言的预测残差信号)的影响对于该块尺寸(本例中例示出4×4，但不论块尺寸如何)而言是否相对较大，判定该滤波处理的效果是否为规定水平以上(步骤S4)。
判断为该预测区域的端点的影响相对于该块尺寸而言相对较大时 (步骤S4：是)，正交变换选择控制部25使执行该滤波处理后的预测图像由滤波处理部12输出至预测残差信号生成部13，对正交变换部 14进行指示，以对基于该低通滤波处理后的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部封闭的正交变换处理(例如DST)(步骤S5)。
另一方面，判断为该预测区域的端点的影响相对于该块尺寸而言相对较小时(步骤S4：否)，正交变换选择控制部25使不执行该滤波处理的预测图像由滤波处理部12输出至预测残差信号生成部13，对正交变换部14进行指示，以对基于不执行该低通滤波处理的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部开放的正交变换处理(例如DCT)(步骤S6)。
另外，在除了帧内预测等不参照相邻像素的预测之外的预测时(步骤S1：否)，正交变换选择控制部25控制滤波处理部12和正交变换部14根据预定的方式是否执行滤波处理以及执行正交变换种类(步骤 S7)。
这样一来，第1实施例中，正交变换选择控制部25以基于通过该滤波处理而得到的滤波处理效果是否为规定水平以上的判定基准而确定有无滤波处理的执行、和所应用的正交变换处理的种类的方式控制滤波处理部12和正交变换部14。并且，正交变换选择控制部25将示出应用了该2种正交变换处理之中的哪一者的变换种类识别信号作为编码参数之一，经过熵编码部23输出至解码侧。
如上所述地，基于通过该滤波处理而得到的滤波处理效果是否为规定水平以上的判定基准，确定有无滤波处理的执行、和所应用的正交变换处理的种类，并控制滤波处理部12和正交变换部14，因此能够进一步减少预测残差信号中的残差成分，减少编码传输的信息量，由此能够改善编码效率。
特别地，即使在不参照相邻像素的预测时，对基于该滤波处理后的预测图像的块而得到的预测残差信号的块，利用相邻像素信号间的相关，此外，还使用变换基的端部封闭的正交变换处理(例如DST)，因此不仅相位一致，而且与该预测区域的端点对应的变换基的特征也一致，能够更显著地改善编码效率。
(第2实施例)
接着，说明第2实施例。图14是示出本实施方式的图像编码装置 1的第2实施例的框图。图14中，对与图12相同的构成要素标注相同的附图标记，省略其进一步详细的说明。
第2实施例中的滤波处理部12与第1实施例同样地，在正交变换选择控制部25的控制下控制执行和不执行低通滤波处理，在执行所述低通滤波处理时，在通过不参照相邻像素的预测、即帧间预测部11a 生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13。在不执行所述低通滤波处理时，将通过帧间预测部11a生成的预测图像输出至预测残差信号生成部13。另外，在除了帧内预测等不参照相邻像素的预测之外的预测时，滤波处理部12中，是否执行滤波处理按照预定的方式进行。
针对第2实施例中的正交变换选择控制部25的动作，参照图15 进行说明。图15是涉及本实施方式的图像编码装置1中的第2实施例的正交变换选择控制部25的处理的流程图。首先，正交变换选择控制部25从例如滤波处理部12或预测图像选择部24接收通知，判断通过滤波处理部12处理的预测图像是否为不参照相邻像素的预测(步骤 S11)。
不参照相邻像素的预测时(步骤S11：是)，正交变换选择控制部 25指示滤波处理部12选出如图1(b)所示那样的滤波处理对象区域的信号并使用已解码的相邻信号进行低通滤波处理的预执行(步骤 S12)。
接着，正交变换选择控制部25在下述两种情况中，分别从量子化部15和熵编码部23获取各自的生成编码量(R)和编码失真量(D) 的率失真信息(est2)：在执行滤波处理部12的滤波处理时，对正交变换部14使用变换基的端部封闭的正交变换处理(例如DST)，使执行该滤波处理后的预测图像由滤波处理部12输出至预测残差信号生成部13，使正交变换部14对基于该低通滤波处理后的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块进行正交变换，通过量子化部15和熵编码部23而进行量子化处理和熵编码处理的情况；和，不执行滤波处理部12的滤波处理时，对正交变换部14使用变换基的端部开放的正交变换处理(例如DCT)，使不执行该滤波处理的预测图像由滤波处理部12输出至预测残差信号生成部13，使正交变换部14对基于不执行该低通滤波处理的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块进行正交变换，通过量子化部15和熵编码部23而进行量子化处理和熵编码处理的情况(步骤 S13)。
接着，正交变换选择控制部25根据该率失真信息(est2)，比较判定哪一组合(例如执行滤波处理和DST的组合与滤波处理不执行和 DCT的组合)的RD成本优异(步骤S14)。
判断为执行该滤波处理、且使用变换基的端部封闭的正交变换处理(例如DST)时RD成本优异的情况下(步骤S14：是)，使执行该滤波处理后的预测图像由滤波处理部12输出至预测残差信号生成部 13，对正交变换部14进行指示，以对基于该低通滤波处理后的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部封闭的正交变换处理(例如DST)(步骤S15)。
另一方面，判断为不执行该滤波处理、且使用变换基的端部开放的正交变换处理(例如DCT)时RD成本优异的情况下(步骤S14：否)，使不执行该滤波处理的预测图像由滤波处理部12输出至预测残差信号生成部13，对正交变换部14进行指示，以对基于不执行该低通滤波处理的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部开放的正交变换处理(例如DCT)(步骤S16)。
另外，在除了帧内预测等不参照相邻像素的预测之外的预测时(步骤S11：否)，正交变换选择控制部25控制滤波处理部12和正交变换部14根据预定的方式是否执行滤波处理以及执行正交变换种类(步骤 S17)。
这样一来，第2实施例中，正交变换选择控制部25基于通过RD 最优化而选择的结果，确定有无滤波处理的执行、和所应用的正交变换处理的种类，控制滤波处理部12和正交变换部14。并且，正交变换选择控制部25将示出应用了该2种正交变换处理之中的哪一者的变换种类识别信号作为编码参数之一，经过熵编码部23输出至解码侧。
如上所述地，正交变换选择控制部25基于通过RD最优化而选择的结果，确定有无滤波处理的执行、和所应用的正交变换处理的种类，并控制滤波处理部12和正交变换部14，因此能够进一步减少预测残差信号中的残差成分，减少编码传输的信息量，由此能够改善编码效率。
特别地，即使在不参照相邻像素的预测时，也允许执行该滤波处理，对基于该滤波处理后的预测图像的块而得到的预测残差信号的块，利用相邻像素信号间的相关，此外，还使用变换基的端部封闭的正交变换处理(例如DST)，因此不仅相位一致，而且与该预测区域的端点对应的变换基的特征也一致，能够更显著地改善编码效率。
(图像解码装置)
接着，针对本实施方式的图像解码装置5中的本发明所涉及的主要构成要素、即滤波处理部54和正交逆变换选择控制部60的周边功能块，参照图16进行说明，针对其具体的典型例的图像解码装置5，参照图17进行说明。
图16是本实施方式的图像解码装置5中的预测图像相关的滤波处理部54和正交逆变换选择控制部60周边的框图。如图16所示那样，本实施方式的图像解码装置5中，构成为具备正交逆变换部52、不参照相邻像素预测部53、滤波处理部54、解码图像生成部55、和正交逆变换选择控制部60。
正交逆变换部52在正交逆变换选择控制部60的控制下，对接收由图像编码装置1侧传输来的流信号并经过熵解码处理和反量子化处理而复原的变换系数，实施正交逆变换处理，将所得的预测残差信号输出至解码图像生成部55。
滤波处理部54是与图像编码装置1侧的滤波处理部12对应的功能部，该功能部在正交逆变换选择控制部60的控制下控制执行和不执行低通滤波处理，在执行所述低通滤波处理时，在通过不参照相邻像素预测部53生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至解码图像生成部55。在不执行所述低通滤波处理时，将通过不参照相邻像素预测部53生成的预测图像输出至解码图像生成部55。另外，在除了帧内预测等不参照相邻像素的预测之外的预测时，滤波处理部54与编码侧对应，是否执行滤波处理按照预定的方式进行。
正交逆变换选择控制部60在不参照相邻像素的预测时，参照由图像编码装置1侧得到的变换种类识别信号，在示出对处理对象的变换系数使用了变换基的端部封闭的正交变换处理(例如DST)的意思时，对正交逆变换部52进行指示，以对该复原的变换系数应用该变换基的端部封闭的正交逆变换处理(例如IDST)，由此进行选择控制，并且对滤波处理部54进行指示，以执行对应的该低通滤波处理。
另一方面，参照由图像编码装置1侧得到的变换种类识别信号，在示出使用了变换基的端部开放的正交变换处理(例如DCT)的内容时，正交逆变换选择控制部60对正交逆变换部52进行指示，以对该复原的变换系数应用该变换基的端部开放的正交逆变换处理(例如 IDCT)，由此进行选择控制，并且对滤波处理部54进行指示，以不执行对应的该低通滤波处理。
即，将通过图像编码装置1中的滤波处理部12而对预测图像经过滤波处理生成的预测残差信号经过变换基的端部封闭的正交变换处理 (例如DST)，以改善了视频的编码效率的状态进行传输，图像解码装置5能够高效地复原该传输所涉及的视频。另外，在滤波处理部54 中，也与滤波处理部12的情况同样地，该滤波处理只要是低通滤波处理即可，也可以应用除了平滑化滤波之外的滤波，该滤波处理中利用的已解码的相邻信号的区域、权重系数也适当确定即可。并且，由图像编码装置1侧将通过滤波处理部12进行的滤波处理所涉及的滤波种类、滤波处理对象区域、和权重系数在发送接收之间(编码、解码之间)预先进行规定、或作为编码处理的附带信息而传输时，照此图像解码装置5的滤波处理部54同样地进行滤波处理，由此能够提高该解码信号的精度。
接着，作为不参照相邻像素预测部53的代表性例子，说明基于帧间预测的帧间预测部53a，说明对通过该帧间预测得到的预测信号应用选择控制正交逆变换部52和滤波处理部54的正交逆变换选择控制部60的图像解码装置5的构成例。
图17是示出本实施方式的图像解码装置5的一个实施例的框图。图17所示的图像解码装置5具备：熵解码部50、反量子化部51、正交逆变换部52、帧间预测部53a、滤波处理部54、解码图像生成部55、环路内滤波部56、帧存储器57、帧内预测部58、预测图像选择部59、和正交逆变换选择控制部60。
正交逆变换部52在正交逆变换选择控制部60的控制下，对由反量子化部51得到的变换系数实施与图像编码装置1的正交变换处理对应的正交逆变换处理，由此复原预测残差信号并输出至解码图像生成部55。
滤波处理部54在正交逆变换选择控制部60的控制下，以与参照图5而例示说明的动作相同的动作作为其动作。即，滤波处理部54 中的本实施方式所涉及的滤波处理在该预测图像为不参照相邻像素的预测、即在本例中为帧间预测时，从该预测图像中选出预定的滤波处理对象区域的像素信号(预测信号)，使用与该预测图像在左侧、上侧相邻的已解码的信号(已解码的相邻信号)，对该选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至解码图像生成部55。例如，如图5所例示那样，滤波处理部54在正交逆变换选择控制部60的控制下，使用该预测图像的块Bkp的块边界周边中的已解码的相邻信号So，针对该预测图像的块Bkp内的像素信号(预测信号)之中滤波处理对象区域Sf中的水平滤波区域、垂直滤波区域、和角滤波区域中的每一者，实施预定权重系数的平滑化滤波处理并输出至解码图像生成部55。
针对正交逆变换选择控制部60的动作，参照图18进行说明。图 18是涉及本实施方式的图像解码装置5中的一个实施例的正交逆变换选择控制部60的处理的流程图。首先，正交逆变换选择控制部60接收并掌握来自预测图像选择部59的当前处理状态是否为不参照相邻像素的预测的通知(步骤S21)。
接着，正交逆变换选择控制部60在不参照相邻像素的预测时(步骤S21：是)，参照由图像编码装置1得到的变换种类识别信号，判断对变换系数使用了变换基的端部封闭的正交变换处理(例如DST)、或对变换系数使用了变换基的端部开放的正交变换处理(例如DCT) (步骤S22)。
接着，正交逆变换选择控制部60在判断为对变换系数使用了变换基的端部封闭的正交变换处理(例如DST)时(步骤S23：是)，对滤波处理部54进行指示，以执行该低通滤波处理，并且对正交逆变换部 52进行指示，以对经过反量子化部51而复原的变换系数应用该变换基的端部封闭的正交逆变换处理(例如IDST)，由此进行选择控制，使正交逆变换部52生成相加于经过滤波处理部54而得到的预测图像的预测残差信号(步骤S24)。
另一方面，判断为对变换系数使用了变换基的端部开放的正交变换处理(例如DCT)时(步骤S23：否)，正交逆变换选择控制部60 对滤波处理部54进行指示，以不执行该低通滤波处理，并且对正交逆变换部52进行指示，以对经过反量子化部51而复原的变换系数应用该变换基的端部开放的正交逆变换处理(例如IDCT)，由此进行选择控制，使正交逆变换部52生成相加于经过滤波处理部54而得到的预测图像的预测残差信号(步骤S25)。
另外，在除了帧内预测等不参照相邻像素的预测之外的预测时(步骤S21：否)，正交逆变换选择控制部60控制正交逆变换部52和滤波处理部54根据预定的方式是否执行滤波处理以及执行正交变换种类 (步骤S26)。
如上所述地，正交逆变换选择控制部60通过参照由图像编码装置 1得到的变换种类识别信号，确定所应用的正交逆变换处理的种类、和有无滤波处理的执行，并控制正交逆变换部52和滤波处理部54，因此在图像编码装置1侧进一步减少了预测残差信号中的残差成分，能够以少的信息量进行解码，能够通过编码侧和解码侧的一系列处理改善编码效率。
特别地，即使在不参照相邻像素的预测时，与编码装置1侧对应地，对基于该滤波处理后的预测图像的块而得到的预测残差信号的块使用变换基的端部封闭的正交逆变换处理(例如IDST)，因此不仅相位一致，而且与该预测区域的端点对应的变换基的特征也一致，能够更显著地改善编码效率。
根据如上所述地构成的本实施方式的图像编码装置1和图像解码装置5，减少了预测图像的预测信号与相邻的已解码的块信号之间生成的信号误差，改善了编码效率，因此能够实现视频编码方式的编码效率较高的图像编码装置和图像解码装置。
〔第4实施方式〕
(图像编码装置)
接着，针对本发明的第4实施方式的图像编码装置1中的本发明所述的主要构成要素、即预测图像相关的滤波处理部12，参照图19 和图20进行说明，针对其具体的典型例的图像编码装置1，参照图4、图21至图22进行说明。下述说明着眼于与上述实施方式的不同之处进行。即，本实施方式中，对与上述实施方式相同的构成要素标注相同的附图标记，省略其进一步详细的说明。
包括性地，本实施方式的图像编码装置1对于帧间预测中使用的预测图像，也与帧内预测同样地，利用已编码解码的相邻信号并应用例如低通滤波处理，由此减少了对于帧间预测的预测图像的最左侧和最上侧的区域而言的预测残差信号，并且将预测残差信号的块进行块分割，根据该低通滤波处理的方向性，应用DST和DCT中的任一者。另外，在当前的H.265的标准方面，能够应用DST的预测图像的块尺寸仅限于小尺寸(例如4×4)。因此，本实施方式的图像编码装置1中，在更大的预测图像的块中的帧间预测中，以下述方式构成：对该预测图像应用该低通滤波处理后，进行块分割直至达到预定的规定块尺寸 (例如允许应用该标准上的DST的块尺寸)后，无标记地确定应用 DST和DCT中的哪一者，执行对应的正交变换处理。
图19(a)是本实施方式的图像编码装置1中的预测图像所涉及的滤波处理部12周边的框图，图19(b)是示出基于滤波处理部12 的该预测图像的滤波处理例的说明图。
如图19(a)所示那样，本实施方式的图像编码装置1中，构成为具备不参照相邻像素预测部11、滤波处理部12、预测残差信号生成部13、和正交变换部14。正交变换部14具备块分割部141和正交变换选择应用部142。
本实施方式中的滤波处理部12是下述功能部，该功能部在通过不参照相邻像素预测部11生成的预测图像的块内的像素信号(预测信号) 之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13。
例如，如图19(b)所示那样，滤波处理部12在通过不参照相邻像素预测部11生成与原图像的编码对象区域的块Bko对应的由8×8 的像素信号p构成的预测图像的块Bkp时，使用与该预测图像相邻的该预测图像的块Bkp的块边界周边中的已解码的相邻信号So，将该预测图像中的最左侧和最上侧的像素信号(预测信号)作为滤波对象区域的信号Sf，分别实施例如水平滤波、垂直滤波和角滤波等的平滑化滤波(图示的两个箭头)等的低通滤波处理，由此生成由新的预测信号构成的预测图像。
更具体而言，图19(b)所示的例子中，针对预测图像的块Bkp 的上侧的平滑化滤波对象像素，使用在横向上位于相同坐标的已解码的相邻信号(局部解码图像的像素信号)进行平滑化滤波处理，针对左侧的平滑化滤波对象像素，使用在纵向上位于相同坐标的已解码的相邻信号(局部解码图像的像素信号)进行平滑化滤波处理。针对位于上侧且左侧的对象像素，使用上侧、左侧的局部解码视频的像素进行平滑化滤波处理。另外，图19(b)所示的例子中，应用使用了2 像素的参照像素的3抽头的平滑化滤波处理。例如，应用1/4[1 2 1]等低通滤波处理。另外，针对低通滤波处理的抽头数、参照像素，不限于该例子。
正交变换部14具备块分割部141和正交变换选择应用部142，块分割部141对从预测残差信号生成部13输入的预测残差信号的块以预先指定的块形状进行分割，并输出至正交变换选择应用部142，正交变换选择应用部142针对经块分割的预测残差信号的各块，根据通过滤波处理部12应用滤波处理的位置，选择应用多种正交变换处理(纵向/横向DST、与纵向/横向DCT的组合)。
例如，如图19(b)所示那样，块分割部141将对于由8×8的像素信号p构成的预测图像的块Bkp而言的预测残差信号的块分割为 4×4的预测残差信号的4个块(左上、右上、左下和右下)，并输出至正交变换选择应用部142。此时，正交变换选择应用部142对通过块分割部141分割的分割块之中包括应用了平滑化滤波处理的像素位置在内的位于上端和左端的预测残差信号的分割块，根据应用了平滑化滤波处理的位置而应用多种正交变换处理(纵向/横向DST、与纵向/ 横向DCT的组合)，以能够利用相对于已解码的相邻信号的块的相关性高低来处理变换系数，针对其他分割块，应用纵向DCT、横向DCT 的正交变换处理。另外，纵向是指垂直方向，横向是指水平方向。在此，将由纵向DST和横向DCT构成的正交变换处理记作第1正交变换处理，将由横向DST和纵向DCT构成的正交变换处理记作第2正交变换处理，将由纵向DST和横向DST构成的正交变换处理记作第3 正交变换处理，将由纵向DCT和横向DCT构成的正交变换处理记作第4正交变换处理。
另外，图19(b)所示的例子中，示出将对于由8×8的像素信号p 构成的预测图像的块Bkp而言的预测残差信号的块分割为4×4的预测残差信号的4个块(左上、右上、左下和右下)的例子，针对预测图像的块所对应的预测残差信号的块，所述预测图像的块的块尺寸在纵向和横向上均比所述预定的规定块尺寸(本例中为4×4)的2倍(本例中为8×8)更大，优选为，以使与已解码的相邻信号相邻的位置的分割块(本例中为位于上端和左端的分割块)达到规定(本例中为4×4) 的块尺寸、且其他块达到尽可能大的块尺寸的方式进行分割后，根据所编码的图像的特征适当进行再分割。例如，根据所编码的图像的特征，如图20(a)所示那样，能够以使位于32×32的块尺寸的预测残差信号的块的上端和左端的分割块达到4×4、且随着远离其上端和左端而形成扩大的块尺寸的分割块的方式进行分割。通过像这样进行块分割，在后述段落的正交变换选择应用部142中，针对包含平滑化滤波处理对象像素位置的预测残差信号的分割块，能够选择应用适合于其信号特性的正交变换。
例如，正交变换选择应用部142如图20(a)所示那样，在分割的预测残差信号的分割块之中，应用了平滑化滤波处理的像素处于最上侧时(即，平滑化滤波处理的应用方向为垂直方向时)，对位于该最上侧的预测残差信号的分割块Bkt1应用纵向DST和横向DCT的第1正交变换处理(参照图20(b))，应用了平滑化滤波处理的像素处于最左侧时(即，平滑化滤波处理的应用方向为水平方向时)，对位于该最左侧的预测残差信号的分割块Bkt2应用横向DST和纵向DCT的第 2正交变换处理(参照图20(c))。并且，应用了平滑化滤波处理的像素为该最上侧、且处于该最左侧时(即，平滑化滤波处理的应用方向为角滤波处理的应用方向时)，对位于该角区域的分割块Bkt3应用纵向DST和横向DST的第3正交变换处理。此外，针对不存在应用了平滑化滤波处理的像素的预测残差信号的分割块Bkt4，应用纵向DCT 和横向DCT的第4正交变换处理。如图19(b)那样进行了块分割的情况中，也同样地进行正交变换处理。由此，能够最大限度地利用相对于已解码的相邻信号的块的相关性高低，处理变换系数。
接着，作为不参照相邻像素预测部11的代表性例子，说明基于帧间预测的帧间预测部11a，针对对该预测图像的块的预测信号通过滤波处理部12实施滤波处理的图像编码装置1的构成和其动作例，参照图21至图23进行说明。
图21是示出本实施方式的图像编码装置1的一个实施例的框图。图21所示的图像编码装置1具备：前处理部10、帧间预测部11a、滤波处理部12、预测残差信号生成部13、正交变换部14、量子化部15、反量子化部16、正交逆变换部17、解码图像生成部18、环路内滤波部19、帧存储器20、帧内预测部21、移动矢量计算部22、熵编码部 23、和预测图像选择部24。
正交变换部14对由预测残差信号生成部13输入的预测残差信号实施规定的正交变换处理，生成其变换系数的信号。特别地，正交变换部14具备块分割部141和正交变换选择应用部142，块分割部141 对由预测残差信号生成部13输入的预测残差信号的块以预先指定的块形状进行分割，并输出至正交变换选择应用部142，正交变换选择应用部142针对经块分割的预测残差信号的各分割块，根据通过滤波处理部12应用滤波处理的位置，应用多种正交变换处理(纵向/横向 DST、与纵向/横向DCT的组合)。涉及这些块分割处理的块分割参数作为成为编码处理的附带信息的编码参数之一，输出至熵编码部23 (和正交逆变换部17)。
正交逆变换部17对由反量子化部16得到的反量子化后的变换系数的信号实施正交逆变换处理，由此复原预测残差信号并输出至解码图像生成部18。特别地，正交逆变换部17对经块分割的变换系数，与图20同样地判定正交变换处理的种类，实施与各正交变换处理对应的正交逆变换处理，结合以能够并行处理的方式得到的预测残差信号的各分割块，重构与预测图像的块尺寸对应的块并输出至解码图像生成部18。
针对滤波处理部12的一个动作例，参照图22进行说明。如图22 所示那样，滤波处理部12在输入来自帧内预测部21或帧间预测部11a 的预测图像时(步骤S1)，识别该预测图像是否为不参照相邻像素的预测、即在本例中识别是否为通过预测图像选择部24进行的基于信号选择的帧间预测(步骤S2)。另外，不参照相邻像素的预测在所述块内复制预测、跨组件信号预测的情况中也相同。
接着，滤波处理部12在判定为该预测图像并非不参照相邻像素的预测、即在本例判定为帧内预测时(步骤S2：否)，判定是否通过预定的处理方式执行滤波处理(步骤S5)。不对帧内预测的预测图像执行滤波处理时(步骤S5：否)，滤波处理部12不对该预测信号执行滤波处理而输出至预测残差信号生成部13(步骤S6)。另一方面，对帧内预测的预测图像执行滤波处理时(步骤S5：是)，滤波处理部12转入步骤S3。另外，对帧内预测的预测图像进行的滤波处理只要与当前规定的H.265同样地处理即可，由于与本发明的主旨没有直接关联，因此，步骤S3的说明中，说明了对帧间预测的预测图像执行滤波处理的例子。
滤波处理部12在判定为该预测图像是不参照相邻像素的预测、即本例中判定为帧间预测时(步骤S2：是)，由该预测图像选出预定的滤波处理对象区域的像素信号(预测信号)(步骤S3)。例如，如图19 (b)所示的例子中，将8×8的预测图像的块内的像素信号(预测信号) 之中该预测图像的最左侧和最上侧的像素信号(预测信号)确定为滤波处理对象区域Sf。
接着，滤波处理部12使用与该预测图像在左侧和上侧相邻的已解码的信号(已解码的相邻信号)，对选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13(步骤S4)。
另外，通过滤波处理部12进行的滤波处理只要是低通滤波处理即可，也可以应用除了平滑化滤波之外的滤波处理，该滤波处理中利用的已解码的相邻信号的区域、权重系数不必限定于图19(b)所示的例子。此外，也可以以将通过滤波处理部12进行的滤波处理相关的滤波种类、滤波处理对象区域、和权重系数作为编码处理的附带信息而传输的方式构成，但只要在发送接收之间(编码·解码之间)进行预先规定，则也不必进行传输。
这样一来，通过滤波处理部12对预测图像实施滤波处理，由此，无论正交变换部14的正交变换处理的种类如何，均减少了预测图像内的最左侧和最上侧的像素信号(预测信号)与同其相邻的已解码的信号之间生成的信号误差，能够改善视频的编码效率。
接着，针对正交变换部14的一个动作例，参照图23进行说明。如图23所示那样，正交变换部14通过块分割部141对由预测残差信号生成部13输入的预测残差信号的块以预先指定的块形状进行分割 (步骤S11)。此时，块分割部141对大于8×8的块尺寸的预测图像的块(例如对32×32的块尺寸的预测图像)，以使位于其上端和左端的预测残差信号的分割块达到规定(本例中为4×4)的块尺寸、且其他块达到尽可能大的块尺寸的方式进行分割后，根据所编码的图像的特征适当进行再分割。
接着，正交变换部14通过正交变换选择应用部142，判定对经分割的预测残差信号的分割块实施正交变换处理时是否包含通过滤波处理部12应用了滤波处理的像素位置(即，是否为包含预测图像的最上侧或最左侧的像素位置在内的块的预测残差信号)(步骤S12)，判定为并非包含应用了该滤波处理的像素位置在内的分割块时(步骤S12：否)，对该预测残差信号的分割块在纵向和横向上应用DCT的第4正交变换处理(步骤S15)。
另一方面，判定为包含通过滤波处理部12应用了滤波处理的像素位置在内的分割块时(步骤S12：是)，判定是否仅通过滤波处理部12 应用了垂直方向的滤波处理(即，是否为仅包含预测图像的最上侧的像素在内的块的预测残差信号)(步骤S13)，如果仅应用了该垂直方向的滤波处理(步骤S13：是)，则对该预测残差信号的分割块应用纵向DST和横向DCT的第1正交变换处理(步骤S16)。
接着，并非仅应用了该垂直方向的滤波处理时(步骤S12：否)，判定是否仅通过滤波处理部12应用了水平方向的滤波处理(即，是否为仅包含预测图像的最左侧的像素在内的块的预测残差信号)(步骤 S14)，如果仅应用了该水平方向的滤波处理(步骤S14：是)，则对该预测残差信号的分割块应用横向DST和纵向DCT的第2正交变换处理(步骤S17)。
并且，判定为通过滤波处理部12应用了水平和垂直方向的滤波处理时(即，为包含预测图像的最上侧、且包含最左侧的像素位置在内的块的预测残差信号时)(步骤S14：否)，对该预测残差信号的分割块应用纵向DST和横向DST的第3正交变换处理(步骤S18)。
另外，图23中，为了强化该处理内容的理解，以逐次进行正交变换处理的方式进行了说明，但实际上可以并行处理。由此，能够最大限度地利用相对于已解码的相邻信号的块的相关性高低，处理变换系数。
(图像解码装置)
接着，针对本实施方式的图像解码装置5中的本发明所述的主要构成要素、即滤波处理部54和其周边功能块，参照图24进行说明，针对其具体的典型例的图像解码装置5，参照图25进行说明。
图24是本实施方式的图像解码装置5中的预测图像所涉及的滤波处理部54周边的框图。如图24所示那样，本实施方式的图像解码装置5中，构成为具备正交逆变换部52、不参照相邻像素预测部53、滤波处理部54、和解码图像生成部55。此外，正交逆变换部52具备正交逆变换选择应用部521和块重构部522。
正交逆变换部52对接收由图像编码装置1侧传输的流信号并经过熵解码处理和反量子化处理而复原的变换系数，实施正交逆变换处理，将所得预测残差信号输出至解码图像生成部55。特别地，正交逆变换部52具备正交逆变换选择应用部521和块重构部522，正交逆变换选择应用部521对由图像编码装置1侧进行了块分割的变换系数，与图 23同样地判定正交变换处理的种类，实施与图像编码装置1中的正交变换处理对应的正交逆变换处理，将预测残差信号的分割块输出至块重构部522。块重构部522结合以能够并行处理的方式得到的预测残差信号的各分割块，重构与预测图像的块尺寸对应的块并输出至解码图像生成部55。
接着，作为不参照相邻像素预测部53的代表性例子，说明基于帧间预测的帧间预测部53a，针对对通过该帧间预测得到的预测信号利用滤波处理部54实施滤波处理的图像解码装置5的构成和其动作例，参照图25进行说明。
图25是示出本实施方式的图像解码装置5的一个实施例的框图。图25所示的图像解码装置5具备：熵解码部50、反量子化部51、正交逆变换部52、帧间预测部53a、滤波处理部54、解码图像生成部55、环路内滤波部56、帧存储器57、帧内预测部58、和预测图像选择部59。
正交逆变换部52对由反量子化部51得到的变换系数实施与图像编码装置1的正交变换处理对应的正交逆变换处理，由此复原预测残差信号并输出至解码图像生成部55。特别地，正交逆变换部52具备正交逆变换选择应用部521和块重构部522，正交逆变换选择应用部 521对由图像编码装置1侧进行了块分割的变换系数实施正交逆变换处理，将预测残差信号的分割块输出至块重构部522。块重构部522 结合以能够并行处理的方式得到的预测残差信号的各分割块，构成与预测图像的块尺寸对应的块并输出至解码图像生成部55。
滤波处理部54中，以与参照图22而例示说明的动作相同的动作作为其动作。即，滤波处理部54中的本发明所述的滤波处理在该预测图像为不参照相邻像素的预测、即在本例中为帧间预测时，从该预测图像中选出预定的滤波处理对象区域的像素信号(预测信号)，使用与该预测图像在左侧、上侧相邻的已解码的信号(已解码的相邻信号)，对该选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至解码图像生成部55。例如，如图19(b)所例示那样，滤波处理部54使用该预测图像的块Bkp的块边界周边中的已解码的相邻信号So，针对该预测图像的块Bkp内的像素信号(预测信号)之中滤波处理对象区域Sf中的水平滤波区域、垂直滤波区域、和角滤波区域中的每一者，实施预定权重系数的平滑化滤波处理并输出至解码图像生成部55。
根据如上所述地构成的本实施方式的图像编码装置1和图像解码装置5，减少了预测图像的预测信号与相邻的已解码的块信号之间生成的信号误差，改善了编码效率，因此能够实现视频编码方式的编码效率较高的图像编码装置和图像解码装置。即，能够进一步减少预测残差信号中的残差成分，通过减少编码传输的信息量，能够改善编码效率。
〔第5实施方式〕
接着，针对本发明的第5实施方式的图像编码装置1和图像解码装置5中的各自的滤波处理部12、54周围的构成，参照图26进行说明。上述第4实施方式的滤波处理部12、54中，说明了下述例子：在通过不参照相邻像素的预测生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的“仅已解码的信号(已解码的相邻信号)”，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像。
另一方面，本实施方式的滤波处理部12、54中，以下述方式构成：获取基于块分割部141的块分割处理得到的各分割块的局部解码图像，每当获取该局部解码图像时用获取的局部解码图像替换通过不参照相邻像素的预测生成的预测图像的块内的像素信号(预测信号)，在该经替换的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧相邻的已解码的信号(已解码的相邻信号)和各分割块的局部解码图像，以预测残差信号的分割块的块尺寸单位实施与各自的块尺寸相对应的低通滤波处理。
因此，如图26(a)、图26(b)所示那样，滤波处理部12、54以下述方式构成：获取基于块分割部141的块分割处理得到的各分割块的局部解码图像，每当获取该局部解码图像时用获取的局部解码图像替换通过不参照相邻像素的预测生成的预测图像的块内的像素信号 (预测信号)，从而更新预测图像，使用与该经更新的预测图像在左侧和上侧相邻的已解码的信号(已解码的相邻信号)和各分割块的局部解码图像，根据各自的块尺寸实施低通滤波处理，在这一点上，分别与图19(a)和图24所示的构成不同，但其他构成要素的动作相同。
作为其一个例子的动作，图26(b)所示的正交逆变换部52中的块重构部522与图24所示的构成不同，在确定处理对象的分割块的位置并重构为与预测图像对应的块尺寸时，除了处理对象的分割块之外的区域用虚拟数据进行补充。由此，能够以得到各分割块的局部解码图像的方式构成。或者，也可以以得到各分割块的局部解码图像的方式构成另一环路。因此，本实施方式的图像编码装置1中的正交逆变换部17也与本实施方式的正交逆变换部52同样地构成即可。另外，第4实施方式的情况中也同样地，在帧存储器20中，能够以可用作参照信号的方式保存各分割块的局部解码图像。
图27是涉及本实施方式的图像编码装置1或图像解码装置5中的预测图像的滤波处理12、54的流程图。此外，图28是涉及本实施方式的图像编码装置1或图像解码装置5中的预测图像的滤波处理12、 54的说明图。
首先，滤波处理部12、54在输入有预测图像时，获取基于块分割部141的块分割处理的各分割块的局部解码图像，对预测图像进行替换，生成经更新的预测图像(步骤S21)。例如，如图28所例示那样， 8×8的预测图像的块Bkp按照例如白色箭头所示的顺序由被4分割的块尺寸的局部解码图像的块BkL逐次替换并更新，但下述处理示出用每一个分割块的局部解码图像更新预测图像时的动作(例如图示“STEP1”)。
接着，滤波处理部12、54识别该预测图像是否为不参照相邻像素的预测、例如是否为帧间预测(步骤S22)。另外，不参照相邻像素的预测在所述块内复制预测、跨组件信号预测的情况中也相同。
接着，滤波处理部12、54在判定为该预测图像并非不参照相邻像素的预测、例如判定为帧内预测时(步骤S22：否)，判定是否通过预定的处理方式执行滤波处理(步骤S25)。不对帧内预测的预测图像执行滤波处理时(步骤S25：否)，滤波处理部12、54不对该预测信号执行滤波处理而输出至预测残差信号生成部13、解码图像生成部55 (步骤S26)。另一方面，对帧内预测的预测图像执行滤波处理时(步骤S25：是)，滤波处理部12、54转入步骤S23。另外，对帧内预测的预测图像进行的滤波处理只要与当前规定的H.265同样地处理即可，由于与本发明的主旨没有直接关联，因此，步骤S23的说明中，说明了对帧间预测的预测图像执行滤波处理的例子。
滤波处理部12、54在判定为该预测图像是不参照相邻像素的预测、即本例中判定为帧间预测时(步骤S22：是)，由该预测图像选出预定的滤波处理对象区域的像素信号(预测信号)(步骤S23)。例如，如图28所例示那样，在本例中，以4×4的分割块单位，将相对于相邻信号为最左侧和最上侧的像素信号(预测信号)确定为滤波处理对象区域Sf。
接着，针对用分割块的局部解码图像替换了的预测图像，滤波处理部12、54使用与各分割块在左侧和/或上侧相邻的已解码的信号(已解码的相邻信号)和该局部解码图像，对所选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13、解码图像生成部 55(步骤S24)。
这样一来，通过使用与预测图像的左侧和/或上侧相邻的已解码的信号(已解码的相邻信号)、和与各分割块在左侧和/或上侧相邻的该局部解码图像实施低通滤波处理，例如，如图28所例示那样，8×8的预测图像的块Bkp不仅在其上侧和左侧、在本例中还在形成十字的分割块的边界位置处对其像素信号进行了平滑化(例如图示“STEP2”)。
通过如本实施方式那样构成滤波处理部12、54、且应用于各自图像编码装置1和图像解码装置5，能够在改善编码效率的同时、抑制由其引起的画质的劣化。特别地，除了在可能形成较大值预测残差信号的位于预测图像的最左侧或最上侧的分割块之外的分割块(块分割时位于预测图像的内侧的块)的信号中，也能够减小各分割块的最左侧和最上侧的预测残差信号的值。
另外，本实施方式的例子中，所有分割块包含滤波处理对象的像素位置，因此总是应用纵向或横向的DST。因此，本实施方式的例子中，块分割时的块形状如第4实施方式那样，优选为，以位于对应的预测残差信号的块中的上端和左端的分割块达到规定(本例中为4×4) 的块尺寸、且其他块达到尽可能大的块尺寸的方式进行分割后，根据所编码的图像的特征适当进行再分割。不需要以随着远离其上端和左端而形成扩大的块尺寸的方式进行分割，而都分割为能够应用DST的规定尺寸(本例中为4×4)，能够按照图23所示那样的处理顺序应用 DST。
此外，如果比较上述第4实施方式与本实施方式，则在第4实施方式中，预测残差信号的各分割块能够独立处理，因此具有能够并行处理的优点，另一方面，在本实施方式中，能够逐次利用分割块单位的局部解码图像，因此能够期待编码效率的更大改善。
此外，能够对各编码对象块，将块分割的块形状设定为可变的，作为编码参数之一而传输块分割参数，因此还能够是组合第4实施方式和本实施方式而得到的实施方式。
各实施方式的图像编码装置1、和图像解码装置5可以分别以计算机的形式发挥功能，该计算机中，用于实现本发明所述的各构成要素的程序存储于在该计算机的内部或外部具备的存储器中。通过计算机中具备的中央演算处理装置(CPU)等的控制，能够将记载了用于实现各构成要素的功能的处理内容的程序方便地从存储器读取，使计算机实现各实施方式的图像编码装置1、和图像解码装置5的各构成要素的功能。在此，各构成要素的功能可以通过硬件中的一部分而实现。
以上，举出特定的实施方式的例子说明了本发明，但本发明不限定于所述例子，在不脱离其技术思想的范围内，能够进行各种变形。例如，上述各实施方式的例子中，说明了编码对象区域、预测图像、和正交变换处理对象的块尺寸相同的例子，但预测图像的块尺寸小于编码对象区域、和正交变换处理对象的块尺寸小于预测图像从而进行处理的情况下，也可以同样地应用。此外，正交变换处理根据用途而可以直接利用在编码处理中使用的处理，可以是另外的处理。
此外，上述各实施方式的例中，对于图像解码装置5，说明了以基于通过对应的图像编码装置1实施了滤波处理的预测图像而编码的预测残差信号相关的变换系数作为对象进行解码的例子，只要是不会对相对于原图像的块端部的复原精度造成问题的用途，则本发明所述的图像解码装置5对于不借助滤波处理而编码的信号，也可以通过相同的处理进行解码。
产业上的应用性
根据本发明，能够实现视频编码方式的编码效率较高的图像编码装置和图像解码装置，因此在想要改善视频传输的编码效率的用途中是有用的。
标号说明
1 图像编码装置
5 图像解码装置
10 前处理部
11 不参照相邻像素预测部
11a 帧间预测部
12 滤波处理部
13 预测残差信号生成部
14 正交变换部
15 量子化部
16 反量子化部
17 正交逆变换部
18 解码图像生成部
19 环路内滤波部
20 帧存储器
21 帧内预测部
22 移动矢量计算部
23 熵编码部
24 预测图像选择部
25 正交变换选择控制部
50 熵解码部
51 反量子化部
52 正交逆变换部
53 不参照相邻像素预测部
53a 帧间预测部
54 滤波处理部
55 解码图像生成部
56 环路内滤波部
57 帧存储器
58 帧内预测部
59 预测图像选择部
60 正交逆变换选择控制部
101 水平方向相关判定部
102 垂直方向相关判定部
103 滤波处理确定部
104 滤波处理执行部
141 块分割部
142 正交变换选择应用部
521 正交逆变换选择应用部
522 块重构部

Claims (3)

1.一种图像解码装置，用于对将构成动态图像的帧进行块分割并编码而得到的信号进行解码，其特征在于，所述图像解码装置具备：
预测单元，通过帧间预测生成由预测信号构成的块单位的帧间预测图像，所述帧间预测是指对块单位的原图像的各像素信号进行信号预测；
滤波处理单元，获取用于指示由编码侧选择的选择控制的种类的控制识别信号，基于所述控制识别信号来控制对所述帧间预测图像的块的预测信号的加权平均滤波处理的执行和不执行，并且在执行所述加权平均滤波处理时，通过使用与所述帧间预测图像的所述块相邻的已解码的相邻信号来执行所述加权平均滤波处理，以生成新的预测图像的块；
反量子化单元，对通过规定的量子化处理而被量子化的变换系数实施对应的反量子化处理以复原变换系数的信号，其中，所述变换系数为将构成动态图像的帧进行块分割并编码得到的信号；和
逆变换单元，对复原的变换系数的信号实施基于所述控制识别信号而确定的逆变换处理，以复原块单位的预测残差信号。
2.根据权利要求1所述的图像解码装置，其特征在于，所述逆变换单元包括用于获取所述控制识别信号作为编码参数的单元，该编码参数示出在多种变换处理中离散余弦变换是否应用于所述编码侧。
3.一种计算机可读介质，该计算机可读介质中存储有程序，当处理器执行所述程序时，使所述处理器执行以下步骤：
预测步骤，通过帧间预测生成由预测信号构成的块单位的帧间预测图像，所述帧间预测是指对块单位的原图像的各像素信号进行信号预测；
滤波处理步骤，获取用于指示由编码侧选择的选择控制的种类的控制识别信号，基于所述控制识别信号来控制对所述帧间预测图像的块的预测信号的加权平均滤波处理的执行和不执行，并且在执行所述加权平均滤波处理时，通过使用与所述帧间预测图像的所述块相邻的已解码的相邻信号来执行所述加权平均滤波处理，以生成新的预测图像的块；
反量子化处理步骤，对通过规定的量子化处理而被量子化的变换系数实施对应的反量子化处理以复原变换系数的信号，其中，所述变换系数为将构成动态图像的帧进行块分割并编码得到的信号；和
逆变换处理步骤，对复原的变换系数的信号实施基于所述控制识别信号而确定的逆变换处理，以复原块单位的预测残差信号。
CN201680053586.5A 2015-08-20 2016-08-19 图像编码装置、图像解码装置 Active CN108028926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110898950.0A CN113596443A (zh) 2015-08-20 2016-08-19 图像编码装置

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2015-163260 2015-08-20
JP2015-163257 2015-08-20
JP2015-163259 2015-08-20
JP2015163257 2015-08-20
JP2015163259 2015-08-20
JP2015163260 2015-08-20
PCT/JP2016/074291 WO2017030199A1 (ja) 2015-08-20 2016-08-19 画像符号化装置、画像復号化装置、及びこれらのプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110898950.0A Division CN113596443A (zh) 2015-08-20 2016-08-19 图像编码装置

Publications (2)

Publication Number Publication Date
CN108028926A CN108028926A (zh) 2018-05-11
CN108028926B true CN108028926B (zh) 2021-08-24

Family

ID=58052066

Family Applications (4)

Application Number Title Priority Date Filing Date
CN202110898950.0A Pending CN113596443A (zh) 2015-08-20 2016-08-19 图像编码装置
CN201680053613.9A Pending CN108028927A (zh) 2015-08-20 2016-08-19 图像编码装置、图像解码装置、和其程序
CN201680053586.5A Active CN108028926B (zh) 2015-08-20 2016-08-19 图像编码装置、图像解码装置
CN202310644968.7A Pending CN116760977A (zh) 2015-08-20 2016-08-19 图像编码装置、图像解码装置、和其程序

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202110898950.0A Pending CN113596443A (zh) 2015-08-20 2016-08-19 图像编码装置
CN201680053613.9A Pending CN108028927A (zh) 2015-08-20 2016-08-19 图像编码装置、图像解码装置、和其程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310644968.7A Pending CN116760977A (zh) 2015-08-20 2016-08-19 图像编码装置、图像解码装置、和其程序

Country Status (5)

Country Link
US (5) US11076149B2 (zh)
EP (3) EP4178204A1 (zh)
JP (6) JP6464272B2 (zh)
CN (4) CN113596443A (zh)
WO (3) WO2017030198A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4178204A1 (en) * 2015-08-20 2023-05-10 Nippon Hoso Kyokai Image decoding device, and image decoding method
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
KR102413038B1 (ko) 2018-04-04 2022-06-23 닛폰 호소 교카이 예측 화상 보정 장치, 화상 부호화 장치, 화상 복호 장치, 및 프로그램
AU2019298855B2 (en) * 2018-07-02 2022-10-20 Huawei Technologies Co., Ltd. Apparatus and method for filtering in video coding
CN112585975A (zh) * 2018-08-20 2021-03-30 日本放送协会 编码装置、解码装置以及程序
WO2020086317A1 (en) * 2018-10-23 2020-04-30 Tencent America Llc. Method and apparatus for video coding
US11330283B2 (en) * 2019-02-01 2022-05-10 Tencent America LLC Method and apparatus for video coding
JP7145793B2 (ja) * 2019-03-11 2022-10-03 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN118118665A (zh) * 2019-04-16 2024-05-31 Lg电子株式会社 解码设备、编码设备和发送设备
CN114342383B (zh) * 2019-08-29 2024-05-03 日本放送协会 编码装置、解码装置及程序
JP7474772B2 (ja) * 2019-08-29 2024-04-25 日本放送協会 符号化装置、復号装置、及びプログラム
KR20210113464A (ko) * 2020-03-05 2021-09-16 삼성전자주식회사 이미징 장치 및 이를 포함하는 전자 기기
CN111885378B (zh) * 2020-07-27 2021-04-30 腾讯科技（深圳）有限公司 多媒体数据编码方法、装置、设备以及介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011066569A (ja) * 2009-09-16 2011-03-31 Nippon Telegr & Teleph Corp <Ntt> 予測信号生成方法，予測信号生成装置および予測信号生成プログラム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0319488A (ja) * 1989-06-15 1991-01-28 Matsushita Electric Ind Co Ltd ブロック符号化装置と復号化装置
JPH0813138B2 (ja) * 1990-11-28 1996-02-07 松下電器産業株式会社 画像符号化装置
US7747094B2 (en) * 2001-06-29 2010-06-29 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US7376186B2 (en) * 2002-07-15 2008-05-20 Thomson Licensing Motion estimation with weighting prediction
JP4808634B2 (ja) * 2004-11-19 2011-11-02 パナソニック株式会社 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、プログラム、および集積回路
KR100772873B1 (ko) 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
JP4730552B2 (ja) * 2006-07-14 2011-07-20 富士ゼロックス株式会社 復号化装置及びそのプログラム
KR100927733B1 (ko) 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
EP2082585A2 (en) * 2006-10-18 2009-07-29 Thomson Licensing Method and apparatus for video coding using prediction data refinement
JPWO2009133844A1 (ja) * 2008-04-30 2011-09-01 株式会社東芝 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
JP5137687B2 (ja) * 2008-05-23 2013-02-06 キヤノン株式会社 復号装置及び復号方法、プログラム
FR2948845A1 (fr) * 2009-07-30 2011-02-04 Thomson Licensing Procede de decodage d'un flux representatif d'une sequence d'images et procede de codage d'une sequence d'images
WO2011083573A1 (ja) * 2010-01-07 2011-07-14 株式会社 東芝 動画像符号化装置及び動画像復号化装置
JP5302256B2 (ja) * 2010-03-05 2013-10-02 日本放送協会 符号化装置、復号装置及びプログラム
WO2011112239A1 (en) * 2010-03-10 2011-09-15 Thomson Licensing Methods and apparatus for constrained transforms for video coding and decoding having transform selection
JP2013524730A (ja) * 2010-04-12 2013-06-17 クゥアルコム・インコーポレイテッド 幾何学的動き区分のための固定小数点実装形態
US8805100B2 (en) * 2010-06-03 2014-08-12 Sharp Kabushiki Kaisha Filter device, image decoding device, image encoding device, and filter parameter data structure
WO2012029181A1 (ja) 2010-09-03 2012-03-08 株式会社 東芝 動画像符号化方法及び復号化方法、符号化装置及び復号化装置
CN105516722B (zh) * 2010-09-30 2018-12-07 三菱电机株式会社 运动图像编码装置及方法、运动图像解码装置及方法
KR101772046B1 (ko) * 2010-11-04 2017-08-29 에스케이텔레콤 주식회사 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
US9807424B2 (en) * 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
JP5298140B2 (ja) * 2011-01-12 2013-09-25 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び画像予測復号プログラム
JP5291134B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
WO2012172667A1 (ja) 2011-06-15 2012-12-20 株式会社 東芝 動画像符号化方法、動画像復号化方法及び装置
KR101362696B1 (ko) * 2011-10-19 2014-02-17 전북대학교산학협력단 하이브리드 아키텍쳐가 적용된 신호 변환 장치, 신호 변환 방법 및 기록매체
KR20130049523A (ko) 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
JP2014036278A (ja) * 2012-08-07 2014-02-24 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及びプログラム
CN104838650B (zh) * 2012-09-28 2018-03-30 日本电信电话株式会社 帧内预测编码方法、帧内预测解码方法、帧内预测编码装置、帧内预测解码装置以及记录程序的记录介质
CN105580368B (zh) * 2013-09-30 2018-10-19 日本放送协会 图像编码装置和方法以及图像解码装置和方法
JP5802786B2 (ja) 2014-03-25 2015-11-04 日本放送協会 符号化装置、復号装置及びプログラム
EP4178204A1 (en) * 2015-08-20 2023-05-10 Nippon Hoso Kyokai Image decoding device, and image decoding method
EP3454557A1 (en) * 2016-05-02 2019-03-13 Sony Corporation Image processing device, and image processing method
WO2020184566A1 (ja) * 2019-03-11 2020-09-17 日本放送協会 画像符号化装置、画像復号装置、及びプログラム
EP3993415A4 (en) * 2019-06-25 2023-05-31 Nippon Hoso Kyokai ENCODING DEVICE, DECODING DEVICE, AND PROGRAM

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011066569A (ja) * 2009-09-16 2011-03-31 Nippon Telegr & Teleph Corp <Ntt> 予測信号生成方法，予測信号生成装置および予測信号生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Description of video coding technology proposal by NHK and Mitsubishi;Atsuro Ichigaya等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11》;20100423;第2.1-2.8节、图2-1至图2-7 *

Also Published As

Publication number Publication date
JP2019106742A (ja) 2019-06-27
CN113596443A (zh) 2021-11-02
JP6535744B2 (ja) 2019-06-26
JP7242768B2 (ja) 2023-03-20
WO2017030200A1 (ja) 2017-02-23
EP3340621A1 (en) 2018-06-27
JP6464272B2 (ja) 2019-02-06
JPWO2017030200A1 (ja) 2018-07-19
US20200260073A1 (en) 2020-08-13
US11843766B2 (en) 2023-12-12
JP2023063379A (ja) 2023-05-09
US20180176562A1 (en) 2018-06-21
EP3340621B1 (en) 2023-01-25
EP3340621A4 (en) 2019-03-20
JP7445799B2 (ja) 2024-03-07
US20180176557A1 (en) 2018-06-21
US20210321128A1 (en) 2021-10-14
JP2021180492A (ja) 2021-11-18
JP2024057033A (ja) 2024-04-23
CN108028927A (zh) 2018-05-11
JPWO2017030199A1 (ja) 2018-07-19
CN108028926A (zh) 2018-05-11
WO2017030198A1 (ja) 2017-02-23
US20240048690A1 (en) 2024-02-08
CN116760977A (zh) 2023-09-15
EP3340622A4 (en) 2019-03-20
US11076149B2 (en) 2021-07-27
EP3340622A1 (en) 2018-06-27
EP4178204A1 (en) 2023-05-10
US10681346B2 (en) 2020-06-09
WO2017030199A1 (ja) 2017-02-23
JP7186658B2 (ja) 2022-12-09

Similar Documents

Publication Publication Date Title
CN108028926B (zh) 图像编码装置、图像解码装置
US11509936B2 (en) JVET coding block structure with asymmetrical partitioning
US11627315B2 (en) Post-filtering for weighted angular prediction
US20210281854A1 (en) Method and apparatus for encoding/decoding an image
US20210266545A1 (en) Jvet quadtree plus binary tree (qtbt) structure with multiple asymmetrical partitioning
US11252405B2 (en) Image signal encoding/decoding method and apparatus therefor
US20190110083A1 (en) Adaptive unequal weight planar prediction
IL281625B1 (en) A method for encoding/decoding image signals and a device therefor
US11044472B2 (en) Method and apparatus for performing adaptive filtering on reference pixels based on size relationship of current block and reference block
US20230254483A1 (en) Intra prediction method and apparatus for performing adaptive filtering on reference pixel
KR20190023294A (ko) 영상 부호화/복호화 방법 및 장치
KR20180000886A (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant