CN116760977A - 图像编码装置、图像解码装置、和其程序 - Google Patents

图像编码装置、图像解码装置、和其程序 Download PDF

Info

Publication number
CN116760977A
CN116760977A CN202310644968.7A CN202310644968A CN116760977A CN 116760977 A CN116760977 A CN 116760977A CN 202310644968 A CN202310644968 A CN 202310644968A CN 116760977 A CN116760977 A CN 116760977A
Authority
CN
China
Prior art keywords
block
prediction
image
unit
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310644968.7A
Other languages
English (en)
Inventor
岩村俊辅
市谷敦郎
境田慎一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK filed Critical Nippon Hoso Kyokai NHK
Publication of CN116760977A publication Critical patent/CN116760977A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H04N19/45—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder performing compensation of the inverse transform mismatch, e.g. Inverse Discrete Cosine Transform [IDCT] mismatch
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供改善了编码效率的图像编码装置、图像解码装置及其程序。本发明的图像编码装置具备：不参照相邻像素预测部，对块单位的原图像的各像素信号，通过规定的不参照相邻像素的预测生成预测图像；滤波处理部，使用与预测图像相邻的该已解码的相邻信号，对位于该预测图像的块边界的预测信号实施低通滤波处理；预测残差信号生成部，使用该滤波处理后的预测图像，生成块单位的预测残差信号；和，正交变换部，对块单位的预测残差信号以预先指定的块形状进行分割，选择应用多种正交变换处理。本发明的图像解码装置具备：与图像编码装置对应的不参照相邻像素预测部、滤波处理部和正交逆变换部。

Description

图像编码装置、图像解码装置、和其程序
本申请是申请日为2016年8月19日且申请号为201680053613.9的发明专利申请的分案申请。
技术领域
本发明涉及能够应用于MPEG-2、AVC/H.264、MPEG-H、HEVC/H.265等视频编码方式的图像编码装置、图像解码装置、和其程序。
背景技术
无论静止图像、动态图像，一般而言，已知图像信号的相邻像素间的信号相关性高。利用该性质，在例如MPEG-2、AVC/H.264、MPEG-H、HEVC/H.265等视频编码方式中，准备了帧内预测和帧间预测这2种预测模式。帧内预测是仅通过编码帧内的信号进行信号预测的技术方法，对原图像的编码对象块内的像素信号(原信号)使用与该编码对象块的左侧、上侧相邻的已编码解码的块的像素信号，进行DC预测、Planer预测、或者方向性预测，生成由通过外插值而预测的像素信号(预测信号)构成的预测图像的块。这样一来，通过使用与该编码对象块相邻的已解码的块的像素信号，高效地预测该编码对象块内的像素信号。
例如，参照图29，以帧内预测中基于水平方向的预测(水平预测)为例，说明通过帧内预测得到的预测残差信号的性质。图29所示的例子中，针对由水平4像素×垂直4像素的块尺寸(以下仅表示为“4×4”，对其他块尺寸也同样如此)的像素信号p构成的原图像的编码对象块Bko内的原信号(参照图29(a))，为了进行水平预测，将左邻的已解码的块的像素信号用作参照信号Sr并进行预测，生成由与编码对象块的像素信号对应的预测信号构成的预测图像的块Bkp(参照图29(b))。
并且，由原图像的编码对象块Bko内的原信号与预测图像的块Bkp的预测信号之差，能够得到预测残差信号的块Bkd(参照图29(c))。通过该帧内预测得到的预测残差信号具有下述性质：越是与参照信号相邻的像素位置，预测效率越高，因此残差成分越小(信号强度小)，换言之，随着远离参照信号，预测效率变低，因此残差成分变大(信号强度变大)(参照图29(d))。
在此，在图29所示的例子中利用水平方向的像素间相关性进行预测，但已编码解码的块的信号也存在于编码对象块的上侧。在图29所示的例子中，通过水平方向的帧内预测，利用水平方向的相关性而高效地预测并生成预测残差信号，但未利用垂直方向的相关性。
因此，在当下规定的H.265中，利用与编码对象块的上侧的块内的像素信号相关性高这一点，为了提高预测信号的精度，仅对该预测图像的块Bkp内的最上侧的预测信号应用反映相对于该上侧的块的信号变动的滤波处理。由此，不仅只利用基于水平方向的预测的水平方向的相关性，还能够利用垂直方向的相关性，进一步减少预测残差信号的块Bkd中的平均残差成分，改善编码效率。同样地，在垂直方向的帧内预测的情况中，利用在该预测时未利用的水平方向的相邻像素并应用滤波处理，在未利用水平和垂直的相邻像素的DC预测中，应用利用了水平和垂直的相邻像素的滤波处理，由此与以往的MPEG-2、H.264等视频编码方式相比，实现了大幅的编码效率的改善。
此外，帧间预测中，由时间上相近的已编码解码的参照帧进行移动预测，算出移动矢量，使用其生成预测图像。生成预测图像与原图像之差作为预测残差信号。但是，以往的技术方法中，在帧内预测中积极利用了与相邻块的信号相关性的高低，但在帧间预测中，这样的示出与相邻块的信号相关性的高低的性质未得到利用。
接着，对经过帧内预测、帧间预测而生成的预测残差信号的块，实施正交变换处理和量子化处理，进行编码。
需要说明的是，当前规定的H.265中的帧内预测的正交变换处理中，主要应用DCT(Discrete Cosine Transform：离散余弦变换)，但对部分块尺寸的帧内预测的预测残差信号，准备了应用基于DST(Discrete Sine Transform：离散正弦变换)的正交变换处理的模式。但是，编码对象块的块尺寸大时(大于4×4时)，基于其左侧、上侧的块的信号特征而应用DST的优点减少，从实际应用上的成本的问题出发，在标准上不允许应用DST。此外，当前规定的H.265中的帧间预测的正交变换处理中，无论块尺寸如何，均应用DCT。
作为帧间预测中的移动补偿处理的特征，在其编码所涉及的预测区域的端点处(即，对位于预测图像的块的外周部的像素信号而言的预测残差信号)，显示出预测误差量在统计上较大(例如参照非专利文献1)。因此，将该预测区域进一步块分割而形成变换区域时，存在其特征与对预测残差信号进行编码时使用的DST的基底的特征一致的变换区域。公开了利用其而应用DST的技术方法(参照例如专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2014-36278号公报
非专利文献
非专利文献1：郑文涛等，“基于统计性移动分布模型的移动补偿帧间差分信号的特性解析”，D-II，J84-D-II卷，第9期，2001-2010页，2001年09月01日
发明内容
发明所要解决的问题
如前所述，非专利文献1中，作为帧间预测中的移动补偿处理的特征，在其编码所涉及的该预测区域的端点(即，对位于预测图像的块的外周部的像素信号而言的预测残差信号)中，显示出预测误差量在统计上较大，基于此，专利文献1中公开了应用DST的技术方法。
然而，其是统计上显示出的情况，因此针对偏离统计的图像(例如在预测图像的块的外周附近存在强的边缘(edge)等特征的情况等)，通过应用DST，反而存在编码效率降低的问题。此外，为了解决这些问题而以建立应用DST、DCT中哪一者的标记并作为附带信息而传输的方式构成时，因该标记的增加而有可能导致编码效率降低。
本发明的目的在于，鉴于上述问题，提供改善了编码效率的图像编码装置、图像解码装置、和其程序。
解决问题的技术方案
本发明中的图像编码处理中，以下述方式构成：对于帧间预测中使用的预测图像，也与帧内预测同样地，利用已编码解码的相邻信号并应用低通滤波处理，由此减少了对帧间预测的预测图像的最左侧和最上侧的区域而言的预测残差信号，并且将预测残差信号的块进行块分割，根据该低通滤波处理的方向性，无标记地确定应用DST和DCT中的哪一者，执行对应的正交变换处理。并且，本发明中的图像解码处理中，还根据该低通滤波处理的方向性，无标记地确定应用DST和DCT中的哪一者，复原原图像。
即，本发明的图像编码装置用于将构成动态图像的帧单位的原图像进行块分割并编码，其特征在于，所述图像编码装置具备：不参照相邻像素的预测单元，通过规定的不参照相邻像素的预测而生成由预测信号构成的块单位的预测图像，在所述不参照相邻像素的预测中，对块单位的原图像的各像素信号以不使用已解码的相邻信号的方式进行信号预测；滤波处理单元，使用与所述预测图像的块相邻的已解码的相邻信号，对位于该预测图像的块边界的预测信号实施低通滤波处理，由此生成新的预测图像的块；预测残差信号生成单元，算出该低通滤波处理后的预测图像的块的各预测信号相对于所述原图像的编码对象块的各像素信号的误差，以生成块单位的预测残差信号；和正交变换单元，具有：块分割单元，对所述块单位的预测残差信号以预先指定的块形状进行分割；和，正交变换选择应用单元，针对块分割后的预测残差信号的各分割块，根据应用所述低通滤波处理的位置而选择应用多种正交变换处理。
此外，本发明的图像编码装置中，特征在于，所述规定的不参照相邻像素的预测包括帧间预测、块内复制预测、和跨组件信号预测之中的任一者。
此外，本发明的图像编码装置中，特征在于，所述滤波处理单元实施所述低通滤波处理，以将通过所述不参照相邻像素的预测单元生成的预测图像的块内的预测信号中的与所述已解码的相邻信号相邻的预测信号平滑化。
此外，本发明的图像编码装置中，特征在于，所述正交变换单元中的块分割单元具有下述单元，在该单元中，在对与预测图像的块对应的预测残差信号的块进行分割时，以使位于与所述已解码的相邻信号相邻的位置的分割块成为预先规定的块尺寸的方式进行分割，所述预测图像的块的块尺寸在纵向和横向上均比所述预先规定的块尺寸的2倍更大。
此外，本发明的图像编码装置中，特征在于，所述正交变换单元中的块分割单元使包含应用了该低通滤波处理的像素位置在内的分割块达到预先定义的块尺寸。
此外，本发明的图像编码装置中，特征在于，当在该分割后的预测残差信号的分割块中应用了该低通滤波处理的像素处于最上侧、且该低通滤波处理的应用方向为垂直方向时，所述正交变换单元中的正交变换选择应用单元对位于最上侧的预测残差信号的分割块应用纵向DST和横向DCT的第1正交变换处理，当在该分割后的预测残差信号的分割块中应用了该低通滤波处理的像素处于最左侧、且该低通滤波处理的应用方向为水平方向时，所述正交变换单元中的正交变换选择应用单元对位于最左侧的预测残差信号的分割块应用横向DST和纵向DCT的第2正交变换处理，当在分割后的预测残差信号的分割块中应用了该低通滤波处理的像素处于该最上侧、且处于最左侧、并且该低通滤波处理的应用方向为角滤波处理的应用方向时，所述正交变换单元中的正交变换选择应用单元应用纵向DST和横向DST的第3正交变换处理，针对不存在应用了该低通滤波处理的像素的预测残差信号的分割块，所述正交变换单元中的正交变换选择应用单元在纵向和横向上应用DCT的第4正交变换处理。
此外，本发明的图像编码装置中，特征在于，所述滤波处理单元具有下述单元，在该单元中，获取由所述块分割单元分割的各分割块的局部解码图像，每当获取该局部解码图像时用获取的局部解码图像替换通过该不参照相邻像素的预测生成的预测图像的块内的预测信号，在该经替换的预测图像的块内的预测信号之中，使用与该预测图像相邻的已解码的相邻信号、和各分割块的局部解码图像，以分割块的块尺寸单位实施与各自的块尺寸相对应的低通滤波处理。
进一步，本发明的图像解码装置用于对将构成动态图像的帧进行块分割并编码的信号进行解码，其特征在于，所述图像解码装置具备：不参照相邻像素的预测单元，通过规定的不参照相邻像素的预测而生成由预测信号构成的块单位的预测图像，在所述不参照相邻像素的预测中，对块单位的各像素信号以不使用已解码的相邻信号的方式进行信号预测；滤波处理单元，使用与所述预测图像的块相邻的已解码的相邻信号，对位于该预测图像的块边界的预测信号实施低通滤波处理，由此生成新的预测图像的块；和正交逆变换单元，具有正交变换选择应用单元和块重构单元，所述正交变换选择应用单元对该经复原的块单位的变换系数根据应用了该低通滤波处理的位置而选择应用多种正交逆变换处理，以生成预测残差信号的分割块，该变换系数是由图像编码侧进行了块分割而得到的，所述块重构单元基于该预测残差信号的分割块重构与该预测图像的块尺寸对应的块。
此外，本发明的图像解码装置中，特征在于，所述滤波处理单元具有下述单元，在该单元中，获取由所述块分割单元分割的各分割块的局部解码图像，每当获取该局部解码图像时用获取的局部解码图像替换通过该不参照相邻像素的预测生成的预测图像的块内的预测信号，在该经替换的预测图像的块内的预测信号之中，使用与该预测图像相邻的已解码的相邻信号、和该各分割块的局部解码图像，以该分割块的块尺寸单位根据各自的块尺寸实施低通滤波处理。
进一步，本发明的程序使计算机作为本发明的图像编码装置或图像解码装置而发挥功能。
发明效果
根据本发明，减少了预测图像的预测信号与相邻的已解码的块信号之间生成的信号误差，改善了编码效率，因此能够实现视频编码方式的编码效率较高的图像编码装置和图像解码装置。即，在编码侧，能够进一步减少预测残差信号中的残差成分，通过减少编码传输的信息量，能够改善编码效率。此外，在解码侧，即使以像这样减少的信息量，也能够解码。
附图说明
图1中，(a)是本发明的第1实施方式的图像编码装置中的预测图像所涉及的滤波处理部周边的框图，(b)是示出该预测图像的滤波处理例的说明图。
图2中，(a)、(b)、(c)分别是例示本发明所涉及的不参照相邻像素的预测的说明图。
图3是示出本发明的第1实施方式的图像编码装置的一个实施例的框图。
图4是本发明的第1实施方式的图像编码装置中的与预测图像的滤波处理相关的流程图。
图5是本发明的第1实施方式的图像编码装置中的与预测图像的滤波处理相关的说明图。
图6是本发明的第1实施方式的图像解码装置中的预测图像所涉及的滤波处理部周边的框图。
图7是示出本发明的第1实施方式的图像解码装置的一个实施例的框图。
图8是本发明的第2实施方式的图像编码装置或图像解码装置中的滤波处理部的框图。
图9是本发明的第2实施方式的图像编码装置或图像解码装置中的与预测图像的滤波处理相关的流程图。
图10中，(a)、(b)分别是本发明的第2实施方式的图像编码装置或图像解码装置中的与预测图像的滤波处理相关的说明图。
图11中，(a)是本发明的第3实施方式的图像编码装置中的滤波处理部和正交变换选择控制部周边的框图，(b)、(c)是示出正交变换的基础波形的一个例子的图。
图12是示出本发明的第3实施方式的图像编码装置中的第1实施例的框图。
图13是涉及本发明的第3实施方式的图像编码装置中的第1实施例的正交变换选择控制处理的流程图。
图14是示出本发明的第3实施方式的图像编码装置中的第2实施例的框图。
图15是涉及本发明的第3实施方式的图像编码装置中的第2实施例的正交变换选择控制处理的流程图。
图16是本发明的第3实施方式的图像解码装置中的滤波处理部和正交逆变换选择控制部周边的框图。
图17是示出本发明的第3实施方式的图像解码装置中的一个实施例的框图。
图18是涉及本发明的第3实施方式的图像解码装置中的一个实施例的正交逆变换选择控制处理的流程图。
图19中，(a)是本发明的第4实施方式的图像编码装置中的预测图像所涉及的滤波处理部周边的框图，(b)是示出该预测图像的滤波处理例的说明图。
图20中，(a)、(b)、(c)分别是例示与本发明所涉及的预测图像相关的块分割后的正交变换应用块的说明图。
图21是示出本发明的第4实施方式的图像编码装置的一个实施例的框图。
图22是本发明的第4实施方式的图像编码装置中的与预测图像的滤波处理相关的流程图。
图23是本发明的第4实施方式的图像编码装置中的与正交变换处理相关的流程图。
图24是本发明的第4实施方式的图像解码装置中的预测图像所涉及的滤波处理部周边的框图。
图25是示出本发明的第4实施方式的图像解码装置的一个实施例的框图。
图26中，(a)、(b)分别是本发明的第5实施方式的图像编码装置和图像解码装置中的滤波处理部周边的框图。
图27是本发明的第5实施方式的图像编码装置或图像解码装置中的与预测图像的滤波处理相关的流程图。
图28是本发明的第5实施方式的图像编码装置或图像解码装置中的与预测图像的滤波处理相关的说明图。
图29中，(a)、(b)、(c)、(d)是涉及现有技术方法中的帧内预测的说明图。
具体实施方式
以下，按顺序说明本发明的各实施方式的图像编码装置和图像解码装置。
〔第1实施方式〕
(图像编码装置)
首先，针对本发明的第1实施方式的图像编码装置1中的本发明的主要构成要素、即预测图像所涉及的滤波处理部12，参照图1和图2进行说明，针对其具体的典型例的图像编码装置1，参照图3至图5进行说明。
图1(a)是本发明的第1实施方式的图像编码装置1中的预测图像所涉及的滤波处理部12周边的框图，图1(b)是示出基于滤波处理部12的该预测图像的滤波处理例的说明图。
如图1(a)所示那样，本发明的第1实施方式的图像编码装置1中，构成为具备不参照相邻像素预测部11、滤波处理部12、预测残差信号生成部13、和正交变换部14。
不参照相邻像素预测部11是进行下述信号预测处理的功能部，在所述信号预测处理中，针对原图像的编码对象区域，不使用相邻的已解码的信号(已解码的相邻信号)而生成预测图像。本申请说明书中，将这样的信号预测称为“不参照相邻像素的预测”，不参照相邻像素的预测中，包括例如：进行帧间的移动补偿预测的帧间预测、复制同帧中的不同的已解码的部分图像而生成预测图像的块内复制(Intra Block Copy)预测、和利用某一帧的对应块位置的亮度信号与色差信号的组件信号间的相关性而生成预测图像的信号预测(本申请说明书中称为“跨组件信号预测”)等。
例如，帧间预测中，如图2(a)所示那样，在某一GOP结构的多个帧F1～F6中，将帧F1记作I帧(帧内编码帧)时，如P帧(帧间预测编码帧)那样参照过去的I帧、P帧而生成预测图像的情况，如B帧(双向帧间预测编码帧)那样参照过去和未来的帧等多个帧而生成预测图像。
此外，块内复制预测中，如图2(b)所示那样，参照并复制同帧F中的不同的已解码的部分图像Bkr，生成预测图像Bkp。
此外，跨组件信号预测中，如图2(c)所示那样，利用组件信号间的相关性，参照某一帧F的对应块位置的亮度信号(例如Y信号)的局部解码图像Bkr，对色差信号(例如U/V信号)的预测图像实施基于加权相加的合成处理，生成色差信号(例如U/V信号)的修正预测图像Bkp。与这样的跨组件信号预测相关的详情，参照日本特开2014-158270号公报。
这些不参照相邻像素的预测在具备已解码的区域作为与原图像的编码对象区域的块相邻的区域并且未利用其相邻像素间的相关性的高低而进行信号预测这一点上是共通的。
第1实施方式中的滤波处理部12是下述功能部，该功能部在通过不参照相邻像素预测部11生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13。
例如，如图1(b)所示那样，滤波处理部12在通过不参照相邻像素预测部11生成与原图像的编码对象区域的块Bko对应的由4×4的像素信号p构成的预测图像的块Bkp时，使用与该预测图像在左侧和上侧相邻的该预测图像的块Bkp的块边界周边中的已解码的相邻信号So，将该预测图像中的最左侧和最上侧的像素信号(预测信号)作为滤波对象区域的信号Sf，分别实施例如水平方向和垂直方向的平滑化滤波等低通滤波处理，由此生成由新的预测信号构成的预测图像。
预测残差信号生成部13算出由滤波处理部12得到的预测图像的块Bkp的各像素信号(预测信号)相对于原图像的编码对象区域的块(编码对象块)Bko的各像素信号(原信号)的误差，作为预测残差信号输出至正交变换部14。
正交变换部14对从预测残差信号生成部13输入的预测残差信号实施规定的正交变换处理，生成其变换系数的信号。例如，作为该规定的正交变换处理，可以为以DCT、DST等编码方式使用的正交变换处理、或者将其近似为整数的H.264、H.265中规定的整数正交变换处理，只要按照所利用的编码方式即可。
第1实施方式的图像编码装置1对该变换系数的信号实施量子化处理和熵编码处理，并输出至外部。并且，熵编码处理中，与各种编码参数等一起通过CABAC所代表的算术编码等变换为编码，从而能够传输视频。另外，编码参数中，能够包括帧间预测参数、帧内预测参数、块分割所涉及的块尺寸的参数(块分割参数)、量子化处理所涉及的量子化参数等能够选择设定的参数并传输。
接着，作为不参照相邻像素预测部11的代表性例子，说明基于帧间预测的帧间预测部11a，参照图3至图5说明通过滤波处理部12对该预测图像的块的预测信号实施滤波处理的图像编码装置1的构成和其动作例。
图3是示出本发明的第1实施方式的图像编码装置1的一个实施例的框图。图3所示的图像编码装置1具备：前处理部10、帧间预测部11a、滤波处理部12、预测残差信号生成部13、正交变换部14、量子化部15、反量子化部16、正交逆变换部17、解码图像生成部18、环路内滤波部19、帧存储器20、帧内预测部21、移动矢量计算部22、熵编码部23、和预测图像选择部24。
前处理部10针对所输入的动态图像数据的各帧的原图像，分割为规定的块尺寸的编码对象块，以规定的顺序输出至预测残差信号生成部13。
预测残差信号生成部13算出由滤波处理部12得到的预测图像的块的各像素信号相对于编码对象块的各像素信号的误差，作为块单位的预测残差信号输出至正交变换部14。
正交变换部14对从预测残差信号生成部13输入的预测残差信号实施规定的正交变换处理，生成其变换系数的信号。
量子化部15对由正交变换部14得到的变换系数的信号实施规定的量子化处理，并输出至熵编码部23和反量子化部16。
反量子化部16对由量子化部15得到的量子化后的变换系数的信号实施反量子化处理，并输出至正交逆变换部17。
正交逆变换部17对由反量子化部16得到的反量子化后的变换系数的信号实施正交逆变换处理，由此复原预测残差信号并输出至解码图像生成部18。
解码图像生成部18将通过正交逆变换部17复原的预测残差信号与通过帧内预测部21或帧间预测部11a而预测且由滤波处理部12得到的预测图像的块相加，生成局部解码图像的块并输出至环路内滤波部19。
环路内滤波部19对由解码图像生成部18得到的局部解码图像的块，实施例如自适应环路滤波(ALF：Adaptive Loop Filter)、像素适应补偿(SAO：Sample Adaptive Offset，采样点自适应补偿)、去块滤波等环路内滤波处理，并输出至帧存储器20。将与这些滤波处理相关的滤波参数作为成为编码处理的附带信息的编码参数之一，输出至熵编码部23。
帧存储器20存储经过环路内滤波部19而得到的局部解码图像的块，作为能够被帧内预测部21、帧间预测部11a和移动矢量计算部22利用的参照图像而保存。
在通过预测图像选择部24进行的仅利用预测对象的帧内的信号进行信号预测的信号选择时，帧内预测部21对原图像的编码对象块内的像素信号(原信号)使用作为参照图像而存储于帧存储器20中的与该编码对象块的左侧、上侧相邻的已编码解码的块的像素信号，进行DC预测、Planer预测、或者方向性预测，生成由通过外插值而预测的像素信号(预测信号)构成的预测图像的块并输出至滤波处理部12。
另外，识别帧内预测部21中使用的DC预测、Planer预测、或者方向性预测的帧内预测参数作为成为编码处理的附带信息的编码参数之一，输出至熵编码部23。
在通过预测图像选择部24进行的对P/B帧进行帧间的移动补偿预测的信号选择时，帧间预测部11a针对原图像的编码对象块内的像素信号(原信号)，将作为参照图像而存储于帧存储器20中的数据以由移动矢量计算部22提供的移动矢量进行移动补偿，由此生成预测图像的块并输出至滤波处理部12。
移动矢量计算部22对存储于帧存储器20中的参照图像的数据使用块匹配技术方法等，检索与原图像的编码对象块最类似的位置，算出示出其空间上错位的值作为移动矢量并输出至帧间预测部11a。
另外，将包含通过移动矢量计算部22算出的移动矢量在内的帧间预测中使用的帧间预测参数作为成为编码处理的附带信息的编码参数之一，输出至熵编码部23。
熵编码部23对来自量子化部15的输出信号、各种编码参数实施熵编码处理并输出经编码的动态图像数据的流信号。
针对滤波处理部12的一个动作例，参照图4和图5进行说明。如图4所示那样，滤波处理部12在输入来自帧内预测部21或帧间预测部11a的预测图像时(步骤S1)，识别该预测图像是否为不参照相邻像素的预测、即在本例中识别是否为基于预测图像选择部24所进行的信号选择的帧间预测(步骤S2)。另外，不参照相邻像素的预测在所述块内复制预测、跨组件信号预测的情况中也相同。
接着，滤波处理部12在判定为该预测图像并非不参照相邻像素的预测、即在本例中判定为帧内预测时(步骤S2：否)，判定是否通过预定的处理方式执行滤波处理(步骤S5)。不对帧内预测的预测图像执行滤波处理时(步骤S5：否)，滤波处理部12不对该预测信号执行滤波处理而输出至预测残差信号生成部13(步骤S6)。另一方面，对帧内预测的预测图像执行滤波处理时(步骤S5：是)，滤波处理部12转入步骤S3。另外，对帧内预测的预测图像进行的滤波处理只要与当前规定的H.265同样地处理即可，由于与本发明的主旨没有直接关联，因此，步骤S3的说明中，说明了对帧间预测的预测图像执行滤波处理的例子。
滤波处理部12在判定为该预测图像是不参照相邻像素的预测、即本例中判定为帧间预测时(步骤S2：是)，从该预测图像选出预定的滤波处理对象区域的像素信号(预测信号)(步骤S3)。例如，如图5所例示那样，将4×4的预测图像的块内的像素信号(预测信号)之中该预测图像的最左侧和最上侧的像素信号(预测信号)确定为滤波处理对象区域Sf。
接着，滤波处理部12使用与该预测图像在左侧和上侧相邻的已解码的信号(已解码的相邻信号)，对选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13(步骤S4)。例如，如图5所例示那样，滤波处理部12针对4×4的预测图像的块Bkp内的像素信号(预测信号)之中滤波处理对象区域Sf中的水平滤波区域、垂直滤波区域、和角滤波区域中的每一者，实施预定权重系数的平滑化滤波处理并输出至预测残差信号生成部13。
另外，通过滤波处理部12进行的滤波处理可以只要是低通滤波处理即可，也可以应用除了平滑化滤波之外的滤波处理，该滤波处理中利用的已解码的相邻信号的区域、权重系数不必限定于图5所示的例子。例如，在大尺寸编码块的情况中，可以对多个行或列应用滤波处理。此外，也可以构成为将通过滤波处理部12进行的滤波处理所涉及的滤波种类、滤波处理对象区域、和权重系数作为编码处理的附带信息而传输，但只要在发送接收之间(编码、解码之间)进行预先规定，则也不必进行传输。
这样一来，通过滤波处理部12对预测图像实施滤波处理，由此，无论正交变换部14的正交变换处理的种类如何，均减少了预测图像内的最左侧和最上侧的像素信号(预测信号)与和其相邻的已解码的信号之间生成的信号误差，能够改善视频的编码效率。
(图像解码装置)
接着，针对本发明的第1实施方式的图像解码装置5中的本发明所涉及的主要构成要素、即滤波处理部54和其周边功能块，参照图6进行说明，针对其具体的典型例的图像解码装置5，参照图7进行说明。
图6是本发明的第1实施方式的图像解码装置5中的预测图像所涉及的滤波处理部54周边的框图。如图6所示那样，本发明的第1实施方式的图像解码装置5中，构成为具备正交逆变换部52、不参照相邻像素预测部53、滤波处理部54、和解码图像生成部55。
正交逆变换部52对接收从图像编码装置1侧传输来的流信号并经过熵解码处理和反量子化处理而复原的变换系数，实施正交逆变换处理，将得到的预测残差信号输出至解码图像生成部55。
不参照相邻像素预测部53是与图像编码装置1侧的不参照相邻像素预测部11对应的功能部，进行不使用相邻的已解码的信号(已解码的相邻信号)而生成预测图像的信号预测处理。不参照相邻像素的预测中，包括例如：进行帧间的移动补偿预测的帧间预测、复制同帧中的不同的已解码的部分图像而生成预测图像的块内复制(Intra Block Copy)预测、和利用某一帧的对应块位置的亮度信号与色差信号的组件信号间的相关性而生成预测图像的跨组件信号预测。
第1实施方式的滤波处理部54是与图像编码装置1侧的滤波处理部12对应的功能部，该功能部在通过不参照相邻像素预测部53生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至解码图像生成部55。
解码图像生成部55是下述功能部，其将通过正交逆变换部52复原的预测残差信号与由后述滤波处理部54得到的预测图像的块相加，从而生成由解码信号构成的解码图像的块。
即，将通过图像编码装置1中的滤波处理部12而对预测图像经过滤波处理生成的预测残差信号以改善了视频的编码效率的状态进行传输，图像解码装置5能够高效率地复原该传输所涉及的视频。另外，在滤波处理部54中，也与滤波处理部12的情况同样地，该滤波处理只要是低通滤波处理即可，也可以应用除了平滑化滤波之外的滤波，该滤波处理中利用的已解码的相邻信号的区域、权重系数也适当确定即可。并且，从图像编码装置1侧将通过滤波处理部12进行的滤波处理所涉及的滤波种类、滤波处理对象区域、和权重系数在发送接收之间(编码、解码之间)预先进行规定、或作为编码处理的附带信息而传输时，照此图像解码装置5的滤波处理部54也同样地进行滤波处理，由此能够提高该解码信号的精度。
接着，作为不参照相邻像素预测部53的代表性例子，说明基于帧间预测的帧间预测部53a，参照图7说明利用滤波处理部54对通过该帧间预测得到的预测信号实施滤波处理的图像解码装置5的构成和其动作例。
图7是示出本发明的第1实施方式的图像解码装置5的一个实施例的框图。图7所示的图像解码装置5具备：熵解码部50、反量子化部51、正交逆变换部52、帧间预测部53a、滤波处理部54、解码图像生成部55、环路内滤波部56、帧存储器57、帧内预测部58、和预测图像选择部59。
熵解码部50接收从图像编码装置1侧传输来的流信号，将通过实施与图像编码装置1的熵编码处理对应的熵解码处理而得到的各种编码参数输出至各功能块，并且将经量子化的变换系数输出至反量子化部51。作为各种编码参数，例如滤波参数、帧内预测参数和帧间预测参数分别被输出至环路内滤波部56、帧内预测部58、和帧间预测部53a。
反量子化部51对由熵解码部50得到的经量子化的变换系数实施与图像编码装置1的量子化处理对应的反量子化处理，将其变换系数输出至正交逆变换部52。
正交逆变换部52对由反量子化部51得到的变换系数实施与图像编码装置1的正交变换处理对应的正交逆变换处理，由此复原预测残差信号并输出至解码图像生成部55。
解码图像生成部55将通过正交逆变换部52而复原的预测残差信号与通过帧内预测部58或帧间预测部53a预测且通过滤波处理部54实施低通滤波而生成的预测图像的块相加，生成解码图像的块并输出至环路内滤波部56。
环路内滤波部56实施与图像编码装置1侧的环路内滤波处理对应的滤波处理并输出至帧存储器57。
帧存储器57存储经过环路内滤波部56而得到的解码图像的块，作为能够被帧内预测部58和帧间预测部53a利用的参照图像而保存。
在通过预测图像选择部59进行的仅利用预测对象的帧内的信号进行信号预测的信号选择时，帧内预测部58使用帧内预测参数、和作为参照图像而存储于帧存储器57中的与该解码对象块的左侧、上侧相邻的已解码的块的像素信号，实施与图像编码装置1侧的帧内预测部21对应的预测处理，由此生成预测图像的块并输出至滤波处理部54。
在通过预测图像选择部59进行的对P/B帧进行帧间的移动补偿预测的信号选择时，帧间预测部53a使用帧间预测参数中包含的移动矢量，将作为参照图像而存储于帧存储器20中的数据进行移动补偿，由此生成预测图像的块并输出至滤波处理部54。
另外，能够构成为，从存储于帧存储器57中的已解码的数据构成帧并作为解码图像而输出。
滤波处理部54中，以与参照图4和图5而例示说明的动作相同的动作作为其动作。即，滤波处理部54中的本发明所涉及的滤波处理在该预测图像为不参照相邻像素的预测、即在本例中为帧间预测时，从该预测图像中选出预定的滤波处理对象区域的像素信号(预测信号)，使用与该预测图像在左侧、上侧相邻的已解码的信号(已解码的相邻信号)，对该选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至解码图像生成部55。例如，如图5所例示那样，滤波处理部54使用该预测图像的块Bkp的块边界周边中的已解码的相邻信号So，针对该预测图像的块Bkp内的像素信号(预测信号)之中滤波处理对象区域Sf中的水平滤波区域、垂直滤波区域、和角滤波区域中的每一者，实施预定权重系数的平滑化滤波处理并输出至解码图像生成部55。
根据如上所述构成的第1实施方式的图像编码装置1和图像解码装置5，减少了预测图像的预测信号与相邻的已解码的块信号之间生成的信号误差，改善了编码效率，因此能够实现视频编码方式的编码效率较高的图像编码装置和图像解码装置。即，能够进一步减少预测残差信号中的残差成分，通过减少编码传输的信息量，能够改善编码效率。
〔第2实施方式〕
接着，针对本发明的第2实施方式的图像编码装置1和图像解码装置5中的各自的滤波处理部12、54，参照图8进行说明。第1实施方式的滤波处理部12、54中，说明了下述例子：在通过不参照相邻像素的预测生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像。
另一方面，本实施方式的滤波处理部12、54中，以下述方式构成：在通过不参照相邻像素的预测生成的预测图像的块内的像素信号(预测信号)之中，使用在该低通滤波处理中参照的该已解码的相邻信号，进行用于确定是否对成为该低通滤波处理的对象的预测信号实施低通滤波处理的相关判定，根据该相关判定的结果，确定是否应用低通滤波处理。另外，对相同的构成要素标注相同的附图标记进行说明。因此，本实施方式的滤波处理部12、54能够应用于图3和图7中分别例示的图像编码装置1和图像解码装置5，因此，在此仅针对本实施方式的滤波处理部12、54所涉及的处理内容进行说明，省略其进一步的详细说明。
图8是本实施方式的图像编码装置1或图像解码装置5中的滤波处理部12、54的框图。此外，图9是本实施方式的图像编码装置1或图像解码装置5中的与预测图像的滤波处理12、54相关的流程图。
本实施方式的滤波处理部12、54具备：水平方向相关判定部101、垂直方向相关判定部102、滤波处理确定部103、和滤波处理执行部104。针对这些功能块的动作，参照图9所示的处理例进行说明。另外，本实施方式的滤波处理部12、54也可以构成为不区别是否为不参照相邻像素的预测例如不区别是帧间预测还是帧内预测而进行处理，在此，说明对本发明所涉及的不参照相邻像素的预测的预测图像实施滤波处理的例子。
滤波处理部12、54在输入有预测图像时(步骤S11)，通过水平方向相关判定部101和垂直方向相关判定部102，对各自分别确定的各滤波处理对象区域，执行相关判定处理(步骤S12)。
即，通过水平方向相关判定部101，判定同与该预测图像在左侧相邻的已解码的相邻信号的相关(步骤S13)，判定为水平方向的相关高时(步骤S13：是)，确定使用已解码的相邻信号执行水平滤波处理(步骤S14)，判定为水平方向的相关低时(步骤S13：否)，将不执行水平滤波处理的意思输出至滤波处理确定部103。
同样地，通过垂直方向相关判定部102，判定同与该预测图像在上侧相邻的已解码的相邻信号的相关(步骤S15)，判定为垂直方向的相关高时(步骤S15：是)，确定使用已解码的相邻信号执行垂直滤波处理(步骤S16)，判定为垂直方向的相关低时(步骤S15：否)，将不执行垂直滤波处理的意思输出至滤波处理确定部103。
滤波处理确定部103判断是否接收到确定为一同执行水平、垂直的滤波处理的意思(步骤S17)，接收到确定为一同执行水平、垂直的滤波处理的意思时(步骤S17：是)，确定为执行水平、垂直两者的滤波处理和3抽头的角滤波处理(步骤S18)，接收到不执行水平、垂直的滤波处理中的任一者或两者的意思时(步骤S17：否)，水平的相关高时确定为仅执行水平方向的滤波处理，垂直方向的相关高时确定为仅执行垂直方向的滤波处理，并且在分别仅水平、垂直中的一者的滤波处理的情况下，角滤波也确定为执行水平、或垂直的滤波处理(步骤S19)。
图9所示的步骤S13～S19的处理顺序仅为例子，可以以不同顺序构成。因此，滤波处理确定部103对水平方向和垂直方向上各自分别确定的各滤波处理对象区域进行相关判定，确定为“仅水平方向执行”、“仅垂直方向执行”、“水平、垂直、角全部执行”、或“水平、垂直、角均不执行”滤波处理，将该意思输出至滤波处理执行部104。
滤波处理执行部104根据滤波处理确定部103的判定结果而进行滤波处理并输出滤波处理后的预测图像(步骤S20)，在滤波处理确定部103的判定结果为“水平、垂直、角均不执行”时，将输入至滤波处理部12、54的预测图像直接输出。
例如，水平方向相关判定部101针对图10(a)所示的4个水平方向判定区域A1～A4中的每一者，求出相邻像素间之差，如果该差在水平方向判定区域A1～A4中的总计值为规定的阈值以下，则判定为相关高，否则判定为相关低。同样地，垂直方向相关判定部102针对图10(b)所示的4个垂直方向判定区域B1～B4中的每一者，求出相邻像素间之差，如果该差在垂直方向判定区域B1～B4中的总计值为规定的阈值以下，则判定为相关高，否则判定为相关低。并且，通过如图5所示那样地应用相关高的方向的滤波处理，能够“仅水平方向执行”、“仅垂直方向执行”、“水平、垂直、角全部执行”、或“水平、垂直、角均不执行”滤波处理。并且，仅执行水平或垂直的滤波处理时，对位于该预测图像的块的角的像素(预测信号)，应用水平或垂直的滤波。
另外，该相关判定区域与滤波处理对象区域不必相同，但通过使其相同，处理变得简便。此外，要注意的是，相关判定处理、滤波处理的具体处理方法预想为多种多样的技术方法，仅示出了其一个例子。
通过如本实施方式那样构成滤波处理部12、54、且分别应用于图像编码装置1和图像解码装置5，能够在改善编码效率的同时，抑制由其引起的画质的劣化。
〔第3实施方式〕
(图像编码装置)
接着，针对本发明的第3实施方式的图像编码装置1中的本发明所涉及的主要构成要素、即预测图像所涉及的滤波处理部12和正交变换选择控制部25，参照图1(b)和图11进行说明，针对其具体的2个实施例的图像编码装置1，参照图5、图12至图15进行说明。下述说明着眼于与上述实施方式的不同之处而进行。即，本实施方式中，对与上述实施方式相同的构成要素标注相同的附图标记，省略其进一步详细的说明。
图11(a)是本实施方式的图像编码装置1中的预测图像所涉及的滤波处理部12和正交变换选择控制部25周边的框图，图1(b)是示出基于滤波处理部12的该预测图像的滤波处理例的说明图。
如图11(a)所示那样，本实施方式的图像编码装置1中，构成为具备不参照相邻像素预测部11、滤波处理部12、预测残差信号生成部13、正交变换部14、和正交变换选择控制部25。
本实施方式中的滤波处理部12是下述功能部，该功能部在正交变换选择控制部25的控制下，在通过不参照相邻像素预测部11生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13。
正交变换部14在正交变换选择控制部25的控制下，对由预测残差信号生成部13输入的预测残差信号实施2种正交变换处理之中的一种，生成其变换系数的信号。
例如，作为该2种正交变换处理，可以进行变换基的端部封闭的正交变换处理(例如DST(Discrete Sine Transform：离散正弦变换))、或变换基的端部开放的正交变换处理(例如DCT(Discrete Cosine Transform：离散余弦变换))，虽然没有限定是实数精度还是整数精度，但例如可以进行近似为整数的H.264、H.265中规定的整数正交变换处理，按照所利用的编码方式即可。
在此，将正交变换的基础波形的一个例子表示于图11(b)和图11(c)。图11(b)和图11(c)所示的例子中，针对对4×4的预测残差信号的块进行正交变换时能够利用的4个变换基(N＝4)，作为DCT变换基(图11(b))和DST变换基(图11(c))中的各余弦和正弦的各频率成分的图案，例示出低域至高域的变换基础波形(DCT中u＝0～3，DST中u＝1～4)。如图11(b)和图11(c)所示那样，可知，除了DCT的u＝0和DST的u＝4之外的主要不同在于相位，对应频率的各变换基(例如u＝2)在相同频率下像素间相关为相同值(基础振幅相同)，但相位相差π/2。并且，在任一变换基础波形中，在DCT中，如图11(b)所示那样，其端点具备大的值而开放，实现了变换基的端部开放的正交变换处理。另一方面，在DST中，如图11(c)所示那样，其端点具备小的值而封闭，实现了变换基的端部封闭的正交变换处理。
另外，“变换基的端部封闭的正交变换处理”是指在预测残差信号的块中与该预测参照块相近侧的一端封闭，例如如图11(c)所示那样，可以为使另一端开放的变换基的非对称DST类型7。
正交变换选择控制部25在不参照相邻像素的预测时，当基于规定的评价基准而通过滤波处理部12对位于该预测图像的块边界的像素值(预测信号)执行低通滤波处理时，对正交变换部14进行指示，以对基于该低通滤波处理后的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部封闭的正交变换处理(例如DST)，当基于该规定的评价基准而不对预测图像的块执行该低通滤波处理时，对正交变换部14进行指示，以对该预测残差信号的块使用变换基的端部开放的正交变换处理(例如DCT)，由此选择控制正交变换种类。另外，正交变换选择控制部25将示出应用了2种正交变换处理之中哪一种的变换种类识别信号作为编码参数之一输出至解码侧。
作为正交变换选择控制部25中的规定的评价基准，说明2个实施例。
详情将后述，第1实施例中，正交变换选择控制部25指示滤波处理部12选出如图1(b)所示那样的滤波处理对象区域的信号并使用已解码的相邻信号进行低通滤波处理的预执行，从滤波处理部12获取该滤波处理执行/不执行的各预测图像作为预测块信息(est1)。接着，正交变换选择控制部25根据该预测块信息(est1)，比较该滤波处理执行/不执行的各预测图像，判断为该预测区域的端点(即，对于位于预测图像的块的外周部的像素信号而言的预测残差信号)的影响对于该块尺寸(本例中例示出4×4，但不论块尺寸如何)而言相对较大时，由滤波处理部12向预测残差信号生成部13输出执行该滤波处理后的预测图像。并且，正交变换选择控制部25以下述方式进行控制：对正交变换部14进行指示，以对基于该低通滤波处理后的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部封闭的正交变换处理(例如DST)。
另一方面，正交变换选择控制部25比较由滤波处理部12得到的该滤波处理执行/不执行的各预测图像，判断为该预测区域的端点(即，对于位于预测图像的块的外周部的像素信号而言的预测残差信号)的影响相对于该块尺寸(本例中例示出4×4，但不论块尺寸如何)而言相对较小时，由滤波处理部12向预测残差信号生成部13输出不执行该滤波处理的预测图像。并且，正交变换选择控制部25以下述方式进行控制：对正交变换部14进行指示，以对基于不执行该低通滤波的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部开放的正交变换处理(例如DCT)。
在此，针对该预测区域的端点的影响相对于该块尺寸(本例中例示出4×4，但不论块尺寸如何)而言是否相对较大预想了多种多样的评价方法，例如通过比较该预测区域的端点的密度分布的分散值与该块尺寸整体的密度分布的分散值的比率而判定是否为规定水平以上即可。这样一来，第1实施例中，正交变换选择控制部25基于通过该滤波处理进行的滤波处理效果是否为规定水平以上的判定基准，确定有无滤波处理的执行，进一步根据有无滤波处理的执行，确定所应用的正交变换处理的种类，控制滤波处理部12和正交变换部14。
此外，第2实施例中，正交变换选择控制部25指示滤波处理部12选出如图1(b)所示那样的滤波处理对象区域的信号并使用已解码的相邻信号进行低通滤波处理的预执行，获取并比较执行该滤波处理时使用变换基的端部封闭的正交变换处理(例如DST)而正交变换并量子化处理和熵编码处理的情况、和不执行该滤波处理时使用变换基的端部开放的正交变换处理(例如DCT)而正交变换并量子化处理和熵编码处理的情况中的生成编码量(R)和编码失真量(D)的率失真信息(est2)，选择RD成本更优异的组合(例如执行滤波处理和DST的组合与滤波处理不执行和DCT的组合)。
通过这样的RD最优化，如果“执行滤波处理、变换基的端部封闭的正交变换处理”的组合优异，则正交变换选择控制部25以下述方式进行控制：使该执行滤波处理后的预测图像由滤波处理部12输出至预测残差信号生成部13，对正交变换部14进行指示，以对基于该低通滤波处理后的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部封闭的正交变换处理(例如DST)。
另一方面，如果“滤波处理不执行、变换基的端部开放的正交变换处理”的组合优异，则正交变换选择控制部25以下述方式进行控制：使不执行该滤波处理的预测图像由滤波处理部12输出至预测残差信号生成部13，对正交变换部14进行指示，以对基于不执行该低通滤波处理的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部开放的正交变换处理(例如DCT)。
这样一来，第2实施例中，正交变换选择控制部25基于RD最优化，确定有无滤波处理的执行，进一步根据有无滤波处理的执行，确定所应用的正交变换处理的种类，控制滤波处理部12和正交变换部14。
最终，本实施方式的图像编码装置1对由正交变换部14得到的变换系数的信号实施量子化处理和熵编码处理，并输出至外部。并且，熵编码处理中，与各种编码参数等一起通过CABAC所代表的算术编码等变换为编码，从而能够传输视频。另外，在编码参数中，除了本发明所涉及的变换种类识别信号之外，还能够包括帧间预测参数、帧内预测参数、块分割所涉及的块尺寸的参数(块分割参数)、量子化处理所涉及的量子化参数等能够选择设定的参数并传输。
以下，更具体地，以帧间预测的帧间预测部11a作为不参照相邻像素预测部11的代表性例子，分别说明作为正交变换选择控制部25中规定的评价基准而应用了上述各实施例的图像编码装置1的构成例。
(第1实施例)
图12是示出本实施方式的图像编码装置1的第1实施例的框图。图12所示的图像编码装置1具备：前处理部10、帧间预测部11a、滤波处理部12、预测残差信号生成部13、正交变换部14、量子化部15、反量子化部16、正交逆变换部17、解码图像生成部18、环路内滤波部19、帧存储器20、帧内预测部21、移动矢量计算部22、熵编码部23、预测图像选择部24、和正交变换选择控制部25。
正交变换部14在正交变换选择控制部25的控制下，对由预测残差信号生成部13输入的预测残差信号实施规定的正交变换处理，生成其变换系数的信号。
第1实施例中的滤波处理部12在正交变换选择控制部25的控制下，控制执行和不执行低通滤波处理，在执行所述低通滤波处理时，在通过不参照相邻像素的预测、即帧间预测部11a生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13。在不执行所述低通滤波处理时，将通过帧间预测部11a生成的预测图像输出至预测残差信号生成部13。另外，在除了帧内预测等不参照相邻像素的预测之外的预测时，滤波处理部12中，是否执行滤波处理按照预定的方式进行。
针对第1实施例中的正交变换选择控制部25的动作，参照图13进行说明。图13是涉及本实施方式的图像编码装置1中的第1实施例的正交变换选择控制部25的处理的流程图。首先，正交变换选择控制部25从例如滤波处理部12或预测图像选择部24接收通知，判断通过滤波处理部12处理的预测图像是否为不参照相邻像素的预测(步骤S1)。
是不参照相邻像素的预测时(步骤S1：是)，正交变换选择控制部25指示滤波处理部12选出滤波处理对象区域的信号并使用已解码的相邻信号进行低通滤波处理的预执行(步骤S2)。
例如，滤波处理部12如图5所例示那样，将4×4的预测图像的块内的像素信号(预测信号)之中该预测图像的最左侧和最上侧的像素信号(预测信号)确定为滤波处理对象区域Sf。接着，滤波处理部12使用与该预测图像在左侧和上侧相邻的已解码的信号(已解码的相邻信号)，对选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像。例如，如图5所例示那样，滤波处理部12针对4×4的预测图像的块Bkp内的像素信号(预测信号)之中滤波处理对象区域Sf中的水平滤波区域、垂直滤波区域、和角滤波区域中的每一者，实施预定权重系数的平滑化滤波处理，由此生成该滤波处理后的预测图像。
另外，通过滤波处理部12进行的滤波处理只要是低通滤波处理即可，也可以应用除了平滑化滤波之外的滤波处理，该滤波处理中利用的已解码的相邻信号的区域、权重系数不必限定于图5所示的例子。例如，在大尺寸编码块的情况中，可以对多个行或列应用滤波处理。此外，也可以构成为将通过滤波处理部12进行的滤波处理所涉及的滤波种类、滤波处理对象区域、和权重系数作为编码处理的附带信息而传输，但只要在发送接收之间(编码、解码之间)进行预先规定，则也不必进行传输。
接着，参照图13，正交变换选择控制部25从滤波处理部12获取该滤波处理执行/不执行的各预测图像作为预测块信息(est1)(步骤S3)。
接着，正交变换选择控制部25根据该预测块信息(est1)，比较该滤波处理执行/不执行的各预测图像，通过该预测区域的端点(即，对于位于预测图像的块的外周部的像素信号而言的预测残差信号)的影响对于该块尺寸(本例中例示出4×4，但不论块尺寸如何)而言是否相对较大，判定该滤波处理的效果是否为规定水平以上(步骤S4)。
判断为该预测区域的端点的影响相对于该块尺寸而言相对较大时(步骤S4：是)，正交变换选择控制部25使执行该滤波处理后的预测图像由滤波处理部12输出至预测残差信号生成部13，对正交变换部14进行指示，以对基于该低通滤波处理后的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部封闭的正交变换处理(例如DST)(步骤S5)。
另一方面，判断为该预测区域的端点的影响相对于该块尺寸而言相对较小时(步骤S4：否)，正交变换选择控制部25使不执行该滤波处理的预测图像由滤波处理部12输出至预测残差信号生成部13，对正交变换部14进行指示，以对基于不执行该低通滤波处理的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部开放的正交变换处理(例如DCT)(步骤S6)。
另外，在除了帧内预测等不参照相邻像素的预测之外的预测时(步骤S1：否)，正交变换选择控制部25控制滤波处理部12和正交变换部14根据预定的方式是否执行滤波处理以及执行正交变换种类(步骤S7)。
这样一来，第1实施例中，正交变换选择控制部25以基于通过该滤波处理而得到的滤波处理效果是否为规定水平以上的判定基准而确定有无滤波处理的执行、和所应用的正交变换处理的种类的方式控制滤波处理部12和正交变换部14。并且，正交变换选择控制部25将示出应用了该2种正交变换处理之中的哪一者的变换种类识别信号作为编码参数之一，经过熵编码部23输出至解码侧。
如上所述地，基于通过该滤波处理而得到的滤波处理效果是否为规定水平以上的判定基准，确定有无滤波处理的执行、和所应用的正交变换处理的种类，并控制滤波处理部12和正交变换部14，因此能够进一步减少预测残差信号中的残差成分，减少编码传输的信息量，由此能够改善编码效率。
特别地，即使在不参照相邻像素的预测时，对基于该滤波处理后的预测图像的块而得到的预测残差信号的块，利用相邻像素信号间的相关，此外，还使用变换基的端部封闭的正交变换处理(例如DST)，因此不仅相位一致，而且与该预测区域的端点对应的变换基的特征也一致，能够更显著地改善编码效率。
(第2实施例)
接着，说明第2实施例。图14是示出本实施方式的图像编码装置1的第2实施例的框图。图14中，对与图12相同的构成要素标注相同的附图标记，省略其进一步详细的说明。
第2实施例中的滤波处理部12与第1实施例同样地，在正交变换选择控制部25的控制下控制执行和不执行低通滤波处理，在执行所述低通滤波处理时，在通过不参照相邻像素的预测、即帧间预测部11a生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13。在不执行所述低通滤波处理时，将通过帧间预测部11a生成的预测图像输出至预测残差信号生成部13。另外，在除了帧内预测等不参照相邻像素的预测之外的预测时，滤波处理部12中，是否执行滤波处理按照预定的方式进行。
针对第2实施例中的正交变换选择控制部25的动作，参照图15进行说明。图15是涉及本实施方式的图像编码装置1中的第2实施例的正交变换选择控制部25的处理的流程图。首先，正交变换选择控制部25从例如滤波处理部12或预测图像选择部24接收通知，判断通过滤波处理部12处理的预测图像是否为不参照相邻像素的预测(步骤S11)。
不参照相邻像素的预测时(步骤S11：是)，正交变换选择控制部25指示滤波处理部12选出如图1(b)所示那样的滤波处理对象区域的信号并使用已解码的相邻信号进行低通滤波处理的预执行(步骤S12)。
接着，正交变换选择控制部25在下述两种情况中，分别从量子化部15和熵编码部23获取各自的生成编码量(R)和编码失真量(D)的率失真信息(est2)：在执行滤波处理部12的滤波处理时，对正交变换部14使用变换基的端部封闭的正交变换处理(例如DST)，使执行该滤波处理后的预测图像由滤波处理部12输出至预测残差信号生成部13，使正交变换部14对基于该低通滤波处理后的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块进行正交变换，通过量子化部15和熵编码部23而进行量子化处理和熵编码处理的情况；和，不执行滤波处理部12的滤波处理时，对正交变换部14使用变换基的端部开放的正交变换处理(例如DCT)，使不执行该滤波处理的预测图像由滤波处理部12输出至预测残差信号生成部13，使正交变换部14对基于不执行该低通滤波处理的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块进行正交变换，通过量子化部15和熵编码部23而进行量子化处理和熵编码处理的情况(步骤S13)。
接着，正交变换选择控制部25根据该率失真信息(est2)，比较判定哪一组合(例如执行滤波处理和DST的组合与滤波处理不执行和DCT的组合)的RD成本优异(步骤S14)。
判断为执行该滤波处理、且使用变换基的端部封闭的正交变换处理(例如DST)时RD成本优异的情况下(步骤S14：是)，使执行该滤波处理后的预测图像由滤波处理部12输出至预测残差信号生成部13，对正交变换部14进行指示，以对基于该低通滤波处理后的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部封闭的正交变换处理(例如DST)(步骤S15)。
另一方面，判断为不执行该滤波处理、且使用变换基的端部开放的正交变换处理(例如DCT)时RD成本优异的情况下(步骤S14：否)，使不执行该滤波处理的预测图像由滤波处理部12输出至预测残差信号生成部13，对正交变换部14进行指示，以对基于不执行该低通滤波处理的预测图像的块而由预测残差信号生成部13得到的预测残差信号的块使用变换基的端部开放的正交变换处理(例如DCT)(步骤S16)。
另外，在除了帧内预测等不参照相邻像素的预测之外的预测时(步骤S11：否)，正交变换选择控制部25控制滤波处理部12和正交变换部14根据预定的方式是否执行滤波处理以及执行正交变换种类(步骤S17)。
这样一来，第2实施例中，正交变换选择控制部25基于通过RD最优化而选择的结果，确定有无滤波处理的执行、和所应用的正交变换处理的种类，控制滤波处理部12和正交变换部14。并且，正交变换选择控制部25将示出应用了该2种正交变换处理之中的哪一者的变换种类识别信号作为编码参数之一，经过熵编码部23输出至解码侧。
如上所述地，正交变换选择控制部25基于通过RD最优化而选择的结果，确定有无滤波处理的执行、和所应用的正交变换处理的种类，并控制滤波处理部12和正交变换部14，因此能够进一步减少预测残差信号中的残差成分，减少编码传输的信息量，由此能够改善编码效率。
特别地，即使在不参照相邻像素的预测时，也允许执行该滤波处理，对基于该滤波处理后的预测图像的块而得到的预测残差信号的块，利用相邻像素信号间的相关，此外，还使用变换基的端部封闭的正交变换处理(例如DST)，因此不仅相位一致，而且与该预测区域的端点对应的变换基的特征也一致，能够更显著地改善编码效率。
(图像解码装置)
接着，针对本实施方式的图像解码装置5中的本发明所涉及的主要构成要素、即滤波处理部54和正交逆变换选择控制部60的周边功能块，参照图16进行说明，针对其具体的典型例的图像解码装置5，参照图17进行说明。
图16是本实施方式的图像解码装置5中的预测图像相关的滤波处理部54和正交逆变换选择控制部60周边的框图。如图16所示那样，本实施方式的图像解码装置5中，构成为具备正交逆变换部52、不参照相邻像素预测部53、滤波处理部54、解码图像生成部55、和正交逆变换选择控制部60。
正交逆变换部52在正交逆变换选择控制部60的控制下，对接收由图像编码装置1侧传输来的流信号并经过熵解码处理和反量子化处理而复原的变换系数，实施正交逆变换处理，将所得的预测残差信号输出至解码图像生成部55。
滤波处理部54是与图像编码装置1侧的滤波处理部12对应的功能部，该功能部在正交逆变换选择控制部60的控制下控制执行和不执行低通滤波处理，在执行所述低通滤波处理时，在通过不参照相邻像素预测部53生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至解码图像生成部55。在不执行所述低通滤波处理时，将通过不参照相邻像素预测部53生成的预测图像输出至解码图像生成部55。另外，在除了帧内预测等不参照相邻像素的预测之外的预测时，滤波处理部54与编码侧对应，是否执行滤波处理按照预定的方式进行。
正交逆变换选择控制部60在不参照相邻像素的预测时，参照由图像编码装置1侧得到的变换种类识别信号，在示出对处理对象的变换系数使用了变换基的端部封闭的正交变换处理(例如DST)的意思时，对正交逆变换部52进行指示，以对该复原的变换系数应用该变换基的端部封闭的正交逆变换处理(例如IDST)，由此进行选择控制，并且对滤波处理部54进行指示，以执行对应的该低通滤波处理。
另一方面，参照由图像编码装置1侧得到的变换种类识别信号，在示出使用了变换基的端部开放的正交变换处理(例如DCT)的内容时，正交逆变换选择控制部60对正交逆变换部52进行指示，以对该复原的变换系数应用该变换基的端部开放的正交逆变换处理(例如IDCT)，由此进行选择控制，并且对滤波处理部54进行指示，以不执行对应的该低通滤波处理。
即，将通过图像编码装置1中的滤波处理部12而对预测图像经过滤波处理生成的预测残差信号经过变换基的端部封闭的正交变换处理(例如DST)，以改善了视频的编码效率的状态进行传输，图像解码装置5能够高效地复原该传输所涉及的视频。另外，在滤波处理部54中，也与滤波处理部12的情况同样地，该滤波处理只要是低通滤波处理即可，也可以应用除了平滑化滤波之外的滤波，该滤波处理中利用的已解码的相邻信号的区域、权重系数也适当确定即可。并且，由图像编码装置1侧将通过滤波处理部12进行的滤波处理所涉及的滤波种类、滤波处理对象区域、和权重系数在发送接收之间(编码、解码之间)预先进行规定、或作为编码处理的附带信息而传输时，照此图像解码装置5的滤波处理部54同样地进行滤波处理，由此能够提高该解码信号的精度。
接着，作为不参照相邻像素预测部53的代表性例子，说明基于帧间预测的帧间预测部53a，说明对通过该帧间预测得到的预测信号应用选择控制正交逆变换部52和滤波处理部54的正交逆变换选择控制部60的图像解码装置5的构成例。
图17是示出本实施方式的图像解码装置5的一个实施例的框图。图17所示的图像解码装置5具备：熵解码部50、反量子化部51、正交逆变换部52、帧间预测部53a、滤波处理部54、解码图像生成部55、环路内滤波部56、帧存储器57、帧内预测部58、预测图像选择部59、和正交逆变换选择控制部60。
正交逆变换部52在正交逆变换选择控制部60的控制下，对由反量子化部51得到的变换系数实施与图像编码装置1的正交变换处理对应的正交逆变换处理，由此复原预测残差信号并输出至解码图像生成部55。
滤波处理部54在正交逆变换选择控制部60的控制下，以与参照图5而例示说明的动作相同的动作作为其动作。即，滤波处理部54中的本实施方式所涉及的滤波处理在该预测图像为不参照相邻像素的预测、即在本例中为帧间预测时，从该预测图像中选出预定的滤波处理对象区域的像素信号(预测信号)，使用与该预测图像在左侧、上侧相邻的已解码的信号(已解码的相邻信号)，对该选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至解码图像生成部55。例如，如图5所例示那样，滤波处理部54在正交逆变换选择控制部60的控制下，使用该预测图像的块Bkp的块边界周边中的已解码的相邻信号So，针对该预测图像的块Bkp内的像素信号(预测信号)之中滤波处理对象区域Sf中的水平滤波区域、垂直滤波区域、和角滤波区域中的每一者，实施预定权重系数的平滑化滤波处理并输出至解码图像生成部55。
针对正交逆变换选择控制部60的动作，参照图18进行说明。图18是涉及本实施方式的图像解码装置5中的一个实施例的正交逆变换选择控制部60的处理的流程图。首先，正交逆变换选择控制部60接收并掌握来自预测图像选择部59的当前处理状态是否为不参照相邻像素的预测的通知(步骤S21)。
接着，正交逆变换选择控制部60在不参照相邻像素的预测时(步骤S21：是)，参照由图像编码装置1得到的变换种类识别信号，判断对变换系数使用了变换基的端部封闭的正交变换处理(例如DST)、或对变换系数使用了变换基的端部开放的正交变换处理(例如DCT)(步骤S22)。
接着，正交逆变换选择控制部60在判断为对变换系数使用了变换基的端部封闭的正交变换处理(例如DST)时(步骤S23：是)，对滤波处理部54进行指示，以执行该低通滤波处理，并且对正交逆变换部52进行指示，以对经过反量子化部51而复原的变换系数应用该变换基的端部封闭的正交逆变换处理(例如IDST)，由此进行选择控制，使正交逆变换部52生成相加于经过滤波处理部54而得到的预测图像的预测残差信号(步骤S24)。
另一方面，判断为对变换系数使用了变换基的端部开放的正交变换处理(例如DCT)时(步骤S23：否)，正交逆变换选择控制部60对滤波处理部54进行指示，以不执行该低通滤波处理，并且对正交逆变换部52进行指示，以对经过反量子化部51而复原的变换系数应用该变换基的端部开放的正交逆变换处理(例如IDCT)，由此进行选择控制，使正交逆变换部52生成相加于经过滤波处理部54而得到的预测图像的预测残差信号(步骤S25)。
另外，在除了帧内预测等不参照相邻像素的预测之外的预测时(步骤S21：否)，正交逆变换选择控制部60控制正交逆变换部52和滤波处理部54根据预定的方式是否执行滤波处理以及执行正交变换种类(步骤S26)。
如上所述地，正交逆变换选择控制部60通过参照由图像编码装置1得到的变换种类识别信号，确定所应用的正交逆变换处理的种类、和有无滤波处理的执行，并控制正交逆变换部52和滤波处理部54，因此在图像编码装置1侧进一步减少了预测残差信号中的残差成分，能够以少的信息量进行解码，能够通过编码侧和解码侧的一系列处理改善编码效率。
特别地，即使在不参照相邻像素的预测时，与编码装置1侧对应地，对基于该滤波处理后的预测图像的块而得到的预测残差信号的块使用变换基的端部封闭的正交逆变换处理(例如IDST)，因此不仅相位一致，而且与该预测区域的端点对应的变换基的特征也一致，能够更显著地改善编码效率。
根据如上所述地构成的本实施方式的图像编码装置1和图像解码装置5，减少了预测图像的预测信号与相邻的已解码的块信号之间生成的信号误差，改善了编码效率，因此能够实现视频编码方式的编码效率较高的图像编码装置和图像解码装置。
〔第4实施方式〕
(图像编码装置)
接着，针对本发明的第4实施方式的图像编码装置1中的本发明所述的主要构成要素、即预测图像相关的滤波处理部12，参照图19和图20进行说明，针对其具体的典型例的图像编码装置1，参照图4、图21至图22进行说明。下述说明着眼于与上述实施方式的不同之处进行。即，本实施方式中，对与上述实施方式相同的构成要素标注相同的附图标记，省略其进一步详细的说明。
包括性地，本实施方式的图像编码装置1对于帧间预测中使用的预测图像，也与帧内预测同样地，利用已编码解码的相邻信号并应用例如低通滤波处理，由此减少了对于帧间预测的预测图像的最左侧和最上侧的区域而言的预测残差信号，并且将预测残差信号的块进行块分割，根据该低通滤波处理的方向性，应用DST和DCT中的任一者。另外，在当前的H.265的标准方面，能够应用DST的预测图像的块尺寸仅限于小尺寸(例如4×4)。因此，本实施方式的图像编码装置1中，在更大的预测图像的块中的帧间预测中，以下述方式构成：对该预测图像应用该低通滤波处理后，进行块分割直至达到预定的规定块尺寸(例如允许应用该标准上的DST的块尺寸)后，无标记地确定应用DST和DCT中的哪一者，执行对应的正交变换处理。
图19(a)是本实施方式的图像编码装置1中的预测图像所涉及的滤波处理部12周边的框图，图19(b)是示出基于滤波处理部12的该预测图像的滤波处理例的说明图。
如图19(a)所示那样，本实施方式的图像编码装置1中，构成为具备不参照相邻像素预测部11、滤波处理部12、预测残差信号生成部13、和正交变换部14。正交变换部14具备块分割部141和正交变换选择应用部142。
本实施方式中的滤波处理部12是下述功能部，该功能部在通过不参照相邻像素预测部11生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的已解码的信号(已解码的相邻信号)，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13。
例如，如图19(b)所示那样，滤波处理部12在通过不参照相邻像素预测部11生成与原图像的编码对象区域的块Bko对应的由8×8的像素信号p构成的预测图像的块Bkp时，使用与该预测图像相邻的该预测图像的块Bkp的块边界周边中的已解码的相邻信号So，将该预测图像中的最左侧和最上侧的像素信号(预测信号)作为滤波对象区域的信号Sf，分别实施例如水平滤波、垂直滤波和角滤波等的平滑化滤波(图示的两个箭头)等的低通滤波处理，由此生成由新的预测信号构成的预测图像。
更具体而言，图19(b)所示的例子中，针对预测图像的块Bkp的上侧的平滑化滤波对象像素，使用在横向上位于相同坐标的已解码的相邻信号(局部解码图像的像素信号)进行平滑化滤波处理，针对左侧的平滑化滤波对象像素，使用在纵向上位于相同坐标的已解码的相邻信号(局部解码图像的像素信号)进行平滑化滤波处理。针对位于上侧且左侧的对象像素，使用上侧、左侧的局部解码视频的像素进行平滑化滤波处理。另外，图19(b)所示的例子中，应用使用了2像素的参照像素的3抽头的平滑化滤波处理。例如，应用1/4[1 2 1]等低通滤波处理。另外，针对低通滤波处理的抽头数、参照像素，不限于该例子。
正交变换部14具备块分割部141和正交变换选择应用部142，块分割部141对从预测残差信号生成部13输入的预测残差信号的块以预先指定的块形状进行分割，并输出至正交变换选择应用部142，正交变换选择应用部142针对经块分割的预测残差信号的各块，根据通过滤波处理部12应用滤波处理的位置，选择应用多种正交变换处理(纵向/横向DST、与纵向/横向DCT的组合)。
例如，如图19(b)所示那样，块分割部141将对于由8×8的像素信号p构成的预测图像的块Bkp而言的预测残差信号的块分割为4×4的预测残差信号的4个块(左上、右上、左下和右下)，并输出至正交变换选择应用部142。此时，正交变换选择应用部142对通过块分割部141分割的分割块之中包括应用了平滑化滤波处理的像素位置在内的位于上端和左端的预测残差信号的分割块，根据应用了平滑化滤波处理的位置而应用多种正交变换处理(纵向/横向DST、与纵向/横向DCT的组合)，以能够利用相对于已解码的相邻信号的块的相关性高低来处理变换系数，针对其他分割块，应用纵向DCT、横向DCT的正交变换处理。另外，纵向是指垂直方向，横向是指水平方向。在此，将由纵向DST和横向DCT构成的正交变换处理记作第1正交变换处理，将由横向DST和纵向DCT构成的正交变换处理记作第2正交变换处理，将由纵向DST和横向DST构成的正交变换处理记作第3正交变换处理，将由纵向DCT和横向DCT构成的正交变换处理记作第4正交变换处理。
另外，图19(b)所示的例子中，示出将对于由8×8的像素信号p构成的预测图像的块Bkp而言的预测残差信号的块分割为4×4的预测残差信号的4个块(左上、右上、左下和右下)的例子，针对预测图像的块所对应的预测残差信号的块，所述预测图像的块的块尺寸在纵向和横向上均比所述预定的规定块尺寸(本例中为4×4)的2倍(本例中为8×8)更大，优选为，以使与已解码的相邻信号相邻的位置的分割块(本例中为位于上端和左端的分割块)达到规定(本例中为4×4)的块尺寸、且其他块达到尽可能大的块尺寸的方式进行分割后，根据所编码的图像的特征适当进行再分割。例如，根据所编码的图像的特征，如图20(a)所示那样，能够以使位于32×32的块尺寸的预测残差信号的块的上端和左端的分割块达到4×4、且随着远离其上端和左端而形成扩大的块尺寸的分割块的方式进行分割。通过像这样进行块分割，在后述段落的正交变换选择应用部142中，针对包含平滑化滤波处理对象像素位置的预测残差信号的分割块，能够选择应用适合于其信号特性的正交变换。
例如，正交变换选择应用部142如图20(a)所示那样，在分割的预测残差信号的分割块之中，应用了平滑化滤波处理的像素处于最上侧时(即，平滑化滤波处理的应用方向为垂直方向时)，对位于该最上侧的预测残差信号的分割块Bkt1应用纵向DST和横向DCT的第1正交变换处理(参照图20(b))，应用了平滑化滤波处理的像素处于最左侧时(即，平滑化滤波处理的应用方向为水平方向时)，对位于该最左侧的预测残差信号的分割块Bkt2应用横向DST和纵向DCT的第2正交变换处理(参照图20(c))。并且，应用了平滑化滤波处理的像素为该最上侧、且处于该最左侧时(即，平滑化滤波处理的应用方向为角滤波处理的应用方向时)，对位于该角区域的分割块Bkt3应用纵向DST和横向DST的第3正交变换处理。此外，针对不存在应用了平滑化滤波处理的像素的预测残差信号的分割块Bkt4，应用纵向DCT和横向DCT的第4正交变换处理。如图19(b)那样进行了块分割的情况中，也同样地进行正交变换处理。由此，能够最大限度地利用相对于已解码的相邻信号的块的相关性高低，处理变换系数。
接着，作为不参照相邻像素预测部11的代表性例子，说明基于帧间预测的帧间预测部11a，针对对该预测图像的块的预测信号通过滤波处理部12实施滤波处理的图像编码装置1的构成和其动作例，参照图21至图23进行说明。
图21是示出本实施方式的图像编码装置1的一个实施例的框图。图21所示的图像编码装置1具备：前处理部10、帧间预测部11a、滤波处理部12、预测残差信号生成部13、正交变换部14、量子化部15、反量子化部16、正交逆变换部17、解码图像生成部18、环路内滤波部19、帧存储器20、帧内预测部21、移动矢量计算部22、熵编码部23、和预测图像选择部24。
正交变换部14对由预测残差信号生成部13输入的预测残差信号实施规定的正交变换处理，生成其变换系数的信号。特别地，正交变换部14具备块分割部141和正交变换选择应用部142，块分割部141对由预测残差信号生成部13输入的预测残差信号的块以预先指定的块形状进行分割，并输出至正交变换选择应用部142，正交变换选择应用部142针对经块分割的预测残差信号的各分割块，根据通过滤波处理部12应用滤波处理的位置，应用多种正交变换处理(纵向/横向DST、与纵向/横向DCT的组合)。涉及这些块分割处理的块分割参数作为成为编码处理的附带信息的编码参数之一，输出至熵编码部23(和正交逆变换部17)。
正交逆变换部17对由反量子化部16得到的反量子化后的变换系数的信号实施正交逆变换处理，由此复原预测残差信号并输出至解码图像生成部18。特别地，正交逆变换部17对经块分割的变换系数，与图20同样地判定正交变换处理的种类，实施与各正交变换处理对应的正交逆变换处理，结合以能够并行处理的方式得到的预测残差信号的各分割块，重构与预测图像的块尺寸对应的块并输出至解码图像生成部18。
针对滤波处理部12的一个动作例，参照图22进行说明。如图22所示那样，滤波处理部12在输入来自帧内预测部21或帧间预测部11a的预测图像时(步骤S1)，识别该预测图像是否为不参照相邻像素的预测、即在本例中识别是否为通过预测图像选择部24进行的基于信号选择的帧间预测(步骤S2)。另外，不参照相邻像素的预测在所述块内复制预测、跨组件信号预测的情况中也相同。
接着，滤波处理部12在判定为该预测图像并非不参照相邻像素的预测、即在本例判定为帧内预测时(步骤S2：否)，判定是否通过预定的处理方式执行滤波处理(步骤S5)。不对帧内预测的预测图像执行滤波处理时(步骤S5：否)，滤波处理部12不对该预测信号执行滤波处理而输出至预测残差信号生成部13(步骤S6)。另一方面，对帧内预测的预测图像执行滤波处理时(步骤S5：是)，滤波处理部12转入步骤S3。另外，对帧内预测的预测图像进行的滤波处理只要与当前规定的H.265同样地处理即可，由于与本发明的主旨没有直接关联，因此，步骤S3的说明中，说明了对帧间预测的预测图像执行滤波处理的例子。
滤波处理部12在判定为该预测图像是不参照相邻像素的预测、即本例中判定为帧间预测时(步骤S2：是)，由该预测图像选出预定的滤波处理对象区域的像素信号(预测信号)(步骤S3)。例如，如图19(b)所示的例子中，将8×8的预测图像的块内的像素信号(预测信号)之中该预测图像的最左侧和最上侧的像素信号(预测信号)确定为滤波处理对象区域Sf。
接着，滤波处理部12使用与该预测图像在左侧和上侧相邻的已解码的信号(已解码的相邻信号)，对选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13(步骤S4)。
另外，通过滤波处理部12进行的滤波处理只要是低通滤波处理即可，也可以应用除了平滑化滤波之外的滤波处理，该滤波处理中利用的已解码的相邻信号的区域、权重系数不必限定于图19(b)所示的例子。此外，也可以以将通过滤波处理部12进行的滤波处理相关的滤波种类、滤波处理对象区域、和权重系数作为编码处理的附带信息而传输的方式构成，但只要在发送接收之间(编码·解码之间)进行预先规定，则也不必进行传输。
这样一来，通过滤波处理部12对预测图像实施滤波处理，由此，无论正交变换部14的正交变换处理的种类如何，均减少了预测图像内的最左侧和最上侧的像素信号(预测信号)与同其相邻的已解码的信号之间生成的信号误差，能够改善视频的编码效率。
接着，针对正交变换部14的一个动作例，参照图23进行说明。如图23所示那样，正交变换部14通过块分割部141对由预测残差信号生成部13输入的预测残差信号的块以预先指定的块形状进行分割(步骤S11)。此时，块分割部141对大于8×8的块尺寸的预测图像的块(例如对32×32的块尺寸的预测图像)，以使位于其上端和左端的预测残差信号的分割块达到规定(本例中为4×4)的块尺寸、且其他块达到尽可能大的块尺寸的方式进行分割后，根据所编码的图像的特征适当进行再分割。
接着，正交变换部14通过正交变换选择应用部142，判定对经分割的预测残差信号的分割块实施正交变换处理时是否包含通过滤波处理部12应用了滤波处理的像素位置(即，是否为包含预测图像的最上侧或最左侧的像素位置在内的块的预测残差信号)(步骤S12)，判定为并非包含应用了该滤波处理的像素位置在内的分割块时(步骤S12：否)，对该预测残差信号的分割块在纵向和横向上应用DCT的第4正交变换处理(步骤S15)。
另一方面，判定为包含通过滤波处理部12应用了滤波处理的像素位置在内的分割块时(步骤S12：是)，判定是否仅通过滤波处理部12应用了垂直方向的滤波处理(即，是否为仅包含预测图像的最上侧的像素在内的块的预测残差信号)(步骤S13)，如果仅应用了该垂直方向的滤波处理(步骤S13：是)，则对该预测残差信号的分割块应用纵向DST和横向DCT的第1正交变换处理(步骤S16)。
接着，并非仅应用了该垂直方向的滤波处理时(步骤S12：否)，判定是否仅通过滤波处理部12应用了水平方向的滤波处理(即，是否为仅包含预测图像的最左侧的像素在内的块的预测残差信号)(步骤S14)，如果仅应用了该水平方向的滤波处理(步骤S14：是)，则对该预测残差信号的分割块应用横向DST和纵向DCT的第2正交变换处理(步骤S17)。
并且，判定为通过滤波处理部12应用了水平和垂直方向的滤波处理时(即，为包含预测图像的最上侧、且包含最左侧的像素位置在内的块的预测残差信号时)(步骤S14：否)，对该预测残差信号的分割块应用纵向DST和横向DST的第3正交变换处理(步骤S18)。
另外，图23中，为了强化该处理内容的理解，以逐次进行正交变换处理的方式进行了说明，但实际上可以并行处理。由此，能够最大限度地利用相对于已解码的相邻信号的块的相关性高低，处理变换系数。
(图像解码装置)
接着，针对本实施方式的图像解码装置5中的本发明所述的主要构成要素、即滤波处理部54和其周边功能块，参照图24进行说明，针对其具体的典型例的图像解码装置5，参照图25进行说明。
图24是本实施方式的图像解码装置5中的预测图像所涉及的滤波处理部54周边的框图。如图24所示那样，本实施方式的图像解码装置5中，构成为具备正交逆变换部52、不参照相邻像素预测部53、滤波处理部54、和解码图像生成部55。此外，正交逆变换部52具备正交逆变换选择应用部521和块重构部522。
正交逆变换部52对接收由图像编码装置1侧传输的流信号并经过熵解码处理和反量子化处理而复原的变换系数，实施正交逆变换处理，将所得预测残差信号输出至解码图像生成部55。特别地，正交逆变换部52具备正交逆变换选择应用部521和块重构部522，正交逆变换选择应用部521对由图像编码装置1侧进行了块分割的变换系数，与图23同样地判定正交变换处理的种类，实施与图像编码装置1中的正交变换处理对应的正交逆变换处理，将预测残差信号的分割块输出至块重构部522。块重构部522结合以能够并行处理的方式得到的预测残差信号的各分割块，重构与预测图像的块尺寸对应的块并输出至解码图像生成部55。
接着，作为不参照相邻像素预测部53的代表性例子，说明基于帧间预测的帧间预测部53a，针对对通过该帧间预测得到的预测信号利用滤波处理部54实施滤波处理的图像解码装置5的构成和其动作例，参照图25进行说明。
图25是示出本实施方式的图像解码装置5的一个实施例的框图。图25所示的图像解码装置5具备：熵解码部50、反量子化部51、正交逆变换部52、帧间预测部53a、滤波处理部54、解码图像生成部55、环路内滤波部56、帧存储器57、帧内预测部58、和预测图像选择部59。
正交逆变换部52对由反量子化部51得到的变换系数实施与图像编码装置1的正交变换处理对应的正交逆变换处理，由此复原预测残差信号并输出至解码图像生成部55。特别地，正交逆变换部52具备正交逆变换选择应用部521和块重构部522，正交逆变换选择应用部521对由图像编码装置1侧进行了块分割的变换系数实施正交逆变换处理，将预测残差信号的分割块输出至块重构部522。块重构部522结合以能够并行处理的方式得到的预测残差信号的各分割块，构成与预测图像的块尺寸对应的块并输出至解码图像生成部55。
滤波处理部54中，以与参照图22而例示说明的动作相同的动作作为其动作。即，滤波处理部54中的本发明所述的滤波处理在该预测图像为不参照相邻像素的预测、即在本例中为帧间预测时，从该预测图像中选出预定的滤波处理对象区域的像素信号(预测信号)，使用与该预测图像在左侧、上侧相邻的已解码的信号(已解码的相邻信号)，对该选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至解码图像生成部55。例如，如图19(b)所例示那样，滤波处理部54使用该预测图像的块Bkp的块边界周边中的已解码的相邻信号So，针对该预测图像的块Bkp内的像素信号(预测信号)之中滤波处理对象区域Sf中的水平滤波区域、垂直滤波区域、和角滤波区域中的每一者，实施预定权重系数的平滑化滤波处理并输出至解码图像生成部55。
根据如上所述地构成的本实施方式的图像编码装置1和图像解码装置5，减少了预测图像的预测信号与相邻的已解码的块信号之间生成的信号误差，改善了编码效率，因此能够实现视频编码方式的编码效率较高的图像编码装置和图像解码装置。即，能够进一步减少预测残差信号中的残差成分，通过减少编码传输的信息量，能够改善编码效率。
〔第5实施方式〕
接着，针对本发明的第5实施方式的图像编码装置1和图像解码装置5中的各自的滤波处理部12、54周围的构成，参照图26进行说明。上述第4实施方式的滤波处理部12、54中，说明了下述例子：在通过不参照相邻像素的预测生成的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧各自相邻的“仅已解码的信号(已解码的相邻信号)”，对该预测信号实施低通滤波处理，由此生成由新的预测信号构成的预测图像。
另一方面，本实施方式的滤波处理部12、54中，以下述方式构成：获取基于块分割部141的块分割处理得到的各分割块的局部解码图像，每当获取该局部解码图像时用获取的局部解码图像替换通过不参照相邻像素的预测生成的预测图像的块内的像素信号(预测信号)，在该经替换的预测图像的块内的像素信号(预测信号)之中，使用与该预测图像在左侧和上侧相邻的已解码的信号(已解码的相邻信号)和各分割块的局部解码图像，以预测残差信号的分割块的块尺寸单位实施与各自的块尺寸相对应的低通滤波处理。
因此，如图26(a)、(b)所示那样，滤波处理部12、54以下述方式构成：获取基于块分割部141的块分割处理得到的各分割块的局部解码图像，每当获取该局部解码图像时用获取的局部解码图像替换通过不参照相邻像素的预测生成的预测图像的块内的像素信号(预测信号)，从而更新预测图像，使用与该经更新的预测图像在左侧和上侧相邻的已解码的信号(已解码的相邻信号)和各分割块的局部解码图像，根据各自的块尺寸实施低通滤波处理，在这一点上，分别与图19(a)和图24所示的构成不同，但其他构成要素的动作相同。
作为其一个例子的动作，图26(b)所示的正交逆变换部52中的块重构部522与图24所示的构成不同，在确定处理对象的分割块的位置并重构为与预测图像对应的块尺寸时，除了处理对象的分割块之外的区域用虚拟数据进行补充。由此，能够以得到各分割块的局部解码图像的方式构成。或者，也可以以得到各分割块的局部解码图像的方式构成另一环路。因此，本实施方式的图像编码装置1中的正交逆变换部17也与本实施方式的正交逆变换部52同样地构成即可。另外，第4实施方式的情况中也同样地，在帧存储器20中，能够以可用作参照信号的方式保存各分割块的局部解码图像。
图27是涉及本实施方式的图像编码装置1或图像解码装置5中的预测图像的滤波处理12、54的流程图。此外，图28是涉及本实施方式的图像编码装置1或图像解码装置5中的预测图像的滤波处理12、54的说明图。
首先，滤波处理部12、54在输入有预测图像时，获取基于块分割部141的块分割处理的各分割块的局部解码图像，对预测图像进行替换，生成经更新的预测图像(步骤S21)。例如，如图28所例示那样，8×8的预测图像的块Bkp按照例如白色箭头所示的顺序由被4分割的块尺寸的局部解码图像的块BkL逐次替换并更新，但下述处理示出用每一个分割块的局部解码图像更新预测图像时的动作(例如图示“STEP1”)。
接着，滤波处理部12、54识别该预测图像是否为不参照相邻像素的预测、例如是否为帧间预测(步骤S22)。另外，不参照相邻像素的预测在所述块内复制预测、跨组件信号预测的情况中也相同。
接着，滤波处理部12、54在判定为该预测图像并非不参照相邻像素的预测、例如判定为帧内预测时(步骤S22：否)，判定是否通过预定的处理方式执行滤波处理(步骤S25)。不对帧内预测的预测图像执行滤波处理时(步骤S25：否)，滤波处理部12、54不对该预测信号执行滤波处理而输出至预测残差信号生成部13、解码图像生成部55(步骤S26)。另一方面，对帧内预测的预测图像执行滤波处理时(步骤S25：是)，滤波处理部12、54转入步骤S23。另外，对帧内预测的预测图像进行的滤波处理只要与当前规定的H.265同样地处理即可，由于与本发明的主旨没有直接关联，因此，步骤S23的说明中，说明了对帧间预测的预测图像执行滤波处理的例子。
滤波处理部12、54在判定为该预测图像是不参照相邻像素的预测、即本例中判定为帧间预测时(步骤S22：是)，由该预测图像选出预定的滤波处理对象区域的像素信号(预测信号)(步骤S23)。例如，如图28所例示那样，在本例中，以4×4的分割块单位，将相对于相邻信号为最左侧和最上侧的像素信号(预测信号)确定为滤波处理对象区域Sf。
接着，针对用分割块的局部解码图像替换了的预测图像，滤波处理部12、54使用与各分割块在左侧和/或上侧相邻的已解码的信号(已解码的相邻信号)和该局部解码图像，对所选出的滤波处理对象区域的像素信号(预测信号)实施低通滤波处理，由此生成由新的预测信号构成的预测图像并输出至预测残差信号生成部13、解码图像生成部55(步骤S24)。
这样一来，通过使用与预测图像的左侧和/或上侧相邻的已解码的信号(已解码的相邻信号)、和与各分割块在左侧和/或上侧相邻的该局部解码图像实施低通滤波处理，例如，如图28所例示那样，8×8的预测图像的块Bkp不仅在其上侧和左侧、在本例中还在形成十字的分割块的边界位置处对其像素信号进行了平滑化(例如图示“STEP2”)。
通过如本实施方式那样构成滤波处理部12、54、且应用于各自图像编码装置1和图像解码装置5，能够在改善编码效率的同时、抑制由其引起的画质的劣化。特别地，除了在可能形成较大值预测残差信号的位于预测图像的最左侧或最上侧的分割块之外的分割块(块分割时位于预测图像的内侧的块)的信号中，也能够减小各分割块的最左侧和最上侧的预测残差信号的值。
另外，本实施方式的例子中，所有分割块包含滤波处理对象的像素位置，因此总是应用纵向或横向的DST。因此，本实施方式的例子中，块分割时的块形状如第4实施方式那样，优选为，以位于对应的预测残差信号的块中的上端和左端的分割块达到规定(本例中为4×4)的块尺寸、且其他块达到尽可能大的块尺寸的方式进行分割后，根据所编码的图像的特征适当进行再分割。不需要以随着远离其上端和左端而形成扩大的块尺寸的方式进行分割，而都分割为能够应用DST的规定尺寸(本例中为4×4)，能够按照图23所示那样的处理顺序应用DST。
此外，如果比较上述第4实施方式与本实施方式，则在第4实施方式中，预测残差信号的各分割块能够独立处理，因此具有能够并行处理的优点，另一方面，在本实施方式中，能够逐次利用分割块单位的局部解码图像，因此能够期待编码效率的更大改善。
此外，能够对各编码对象块，将块分割的块形状设定为可变的，作为编码参数之一而传输块分割参数，因此还能够是组合第4实施方式和本实施方式而得到的实施方式。
各实施方式的图像编码装置1、和图像解码装置5可以分别以计算机的形式发挥功能，该计算机中，用于实现本发明所述的各构成要素的程序存储于在该计算机的内部或外部具备的存储器中。通过计算机中具备的中央演算处理装置(CPU)等的控制，能够将记载了用于实现各构成要素的功能的处理内容的程序方便地从存储器读取，使计算机实现各实施方式的图像编码装置1、和图像解码装置5的各构成要素的功能。在此，各构成要素的功能可以通过硬件中的一部分而实现。
以上，举出特定的实施方式的例子说明了本发明，但本发明不限定于所述例子，在不脱离其技术思想的范围内，能够进行各种变形。例如，上述各实施方式的例子中，说明了编码对象区域、预测图像、和正交变换处理对象的块尺寸相同的例子，但预测图像的块尺寸小于编码对象区域、和正交变换处理对象的块尺寸小于预测图像从而进行处理的情况下，也可以同样地应用。此外，正交变换处理根据用途而可以直接利用在编码处理中使用的处理，可以使用另外的处理。
此外，上述各实施方式的例中，对于图像解码装置5，说明了以基于通过对应的图像编码装置1实施了滤波处理的预测图像而编码的预测残差信号相关的变换系数作为对象进行解码的例子，只要是不会对相对于原图像的块端部的复原精度造成问题的用途，则本发明所述的图像解码装置5对于不借助滤波处理而编码的信号，也可以通过相同的处理进行解码。
产业上的应用性
根据本发明，能够实现视频编码方式的编码效率较高的图像编码装置和图像解码装置，因此在想要改善视频传输的编码效率的用途中是有用的。
标号说明
1 图像编码装置
5 图像解码装置
10 前处理部
11 不参照相邻像素预测部
11a 帧间预测部
12 滤波处理部
13 预测残差信号生成部
14 正交变换部
15 量子化部
16 反量子化部
17 正交逆变换部
18 解码图像生成部
19 环路内滤波部
20 帧存储器
21 帧内预测部
22 移动矢量计算部
23 熵编码部
24 预测图像选择部
25 正交变换选择控制部
50 熵解码部
51 反量子化部
52 正交逆变换部
53 不参照相邻像素预测部
53a 帧间预测部
54 滤波处理部
55 解码图像生成部
56 环路内滤波部
57 帧存储器
58 帧内预测部
59 预测图像选择部
60 正交逆变换选择控制部
101 水平方向相关判定部
102 垂直方向相关判定部
103 滤波处理确定部
104 滤波处理执行部
141 块分割部
142 正交变换选择应用部
521 正交逆变换选择应用部
522 块重构部

Claims (7)

1.一种图像编码装置，用于对构成运动图像的帧单位的原始图像进行块分割并编码，所述图像编码装置包括：
预测单元，配置为通过规定的不参照相邻像素的预测而生成包括预测信号的块单位的预测图像，所述规定的不参照相邻像素的预测对所述块单位的所述原始图像的每个像素信号以不使用已解码的相邻信号的方式进行信号预测；
滤波处理单元，被配置为通过使用与所述预测图像的块相邻的已解码的相邻信号对所述预测图像的块的预测信号使用权重系数来执行加权平均滤波处理，从而生成新的预测图像的块；
预测残差信号生成单元，配置为算出在所述加权平均滤波处理后的所述预测图像的块的各预测信号相对于所述原始图像的编码对象块的各像素信号的误差，并且配置为生成块单位的预测残差信号；以及
块分割单元，配置为对所述块单位的预测残差信号进行分割；以及
变换选择应用单元，配置为针对分割后的所述预测残差信号的子块，根据所述分割而选择性地应用多种类型的变换处理。
2.根据权利要求1所述的图像编码装置，其中，所述规定的不参照相邻像素的预测包括帧间预测、块内复制预测和跨组件信号预测中的任一者。
3.一种图像解码装置，用于对将构成运动图像的帧进行块分割并编码的信号进行解码，所述图像解码装置包括：
预测单元，被配置通过规定的不参照相邻像素的预测而生成包括预测信号的块单位的预测图像，所述规定的不参照相邻像素的预测对块单位的各像素信号以不使用已解码的相邻信号的方式进行信号预测；
滤波处理单元，配置为通过使用与所述预测图像的块相邻的已解码的相邻信号对所述预测图像的块的预测信号使用权重系数来执行加权平均滤波处理，从而生成新的预测图像的块；
逆变换选择应用单元，配置为针对已在图像编码侧进行子块分割的预测残差信号的变换系数，根据所述子块分割而选择性地应用多种类型的逆变换处理，并且配置为生成所述预测残差信号的子块；以及
块重构单元，配置为基于所述预测残差信号的子块来重构与块单位的块尺寸对应的块。
4.一种图像编码方法，用于对构成运动图像的帧单位的原始图像进行块分割并编码，包括：
通过规定的不参照相邻像素的预测而生成包括预测信号的块单位的预测图像，所述规定的不参照相邻像素的预测对所述块单位的所述原始图像的每个像素信号以不使用已解码的相邻信号的方式进行信号预测；
通过使用与所述预测图像的块相邻的已解码的相邻信号对所述预测图像的块的预测信号使用权重系数来执行加权平均滤波处理，从而生成新的预测图像的块；
算出在所述加权平均滤波处理后的所述预测图像的块的各预测信号相对于所述原始图像的编码对象块的各像素信号的误差；
生成块单位的预测残差信号；以及
对所述块单位的预测残差信号进行分割；以及
针对分割后的所述预测残差信号的子块，根据所述分割而选择性地应用多种类型的变换处理。
5.一种图像解码方法，用于对将构成运动图像的帧进行块分割并编码的信号进行解码，所述图像解码方法包括：
通过规定的不参照相邻像素的预测而生成包括预测信号的块单位的预测图像，所述规定的不参照相邻像素的预测对块单位的各像素信号以不使用已解码的相邻信号的方式进行信号预测；
通过使用与所述预测图像的块相邻的已解码的相邻信号对所述预测图像的块的预测信号使用权重系数来执行加权平均滤波处理，从而生成新的预测图像的块；
针对已在图像编码侧进行子块分割的预测残差信号的变换系数，根据所述子块分割而选择性地应用多种类型的逆变换处理；
生成所述预测残差信号的子块；以及
基于所述预测残差信号的子块来重构与块单位的块尺寸对应的块。
6.一种图像解码装置，用于对将构成动态图像的帧分割为块并编码的信号进行解码，其特征在于，所述图像解码装置具备：
加权平均处理单元，针对基于对所述块进行子块分割的每个子块对预测图像实施加权平均处理，使用与该子块相邻的已解码的相邻信号，至少对位于该子块边界的预测信号实施所述加权平均处理，由此生成新的预测图像的子块；
正交逆变换选择应用单元，对由图像编码侧进行了子块分割的对预测残差信号的变换系数，根据所述子块分割来选择应用多种正交逆变换处理，以获得子块单位的残差信号；以及
块重构单元，基于该预测残差信号的子块和所述新的预测图像的子块来重构与该预测图像的块尺寸对应的块，
由图像编码侧应用了所述子块分割的情况下，在进行通过所述子块分割得到的子块中的所述加权平均处理且在通过所述子块分割得到的子块的块尺寸为预定块尺寸的情况下，所述正交逆变换选择应用单元对所述预定块尺寸的子块应用垂直方向和水平方向的离散正弦变换。
7.一种计算机可读介质，该计算机可读介质中存储有程序，当处理器执行所述程序时，使所述程序执行以下步骤：
针对基于对所述块进行子块分割的每个子块对预测图像实施加权平均处理，使用与该子块相邻的已解码的相邻信号，至少对位于该子块边界的预测信号实施所述加权平均处理，由此生成新的预测图像的子块；
正交逆变换步骤，包括：
对由图像编码侧进行了子块分割的预测残差信号的变换系数，根据所述子块分割来选择应用多种正交逆变换处理，以获得子块单位的残差信号；以及
基于该预测残差信号的子块和所述新的预测图像的子块来重构与该预测图像的块尺寸对应的块；以及
在由图像编码侧应用了所述子块分割的情况下，在进行通过所述子块分割得到的子块中的所述加权平均处理且在通过所述子块分割得到的子块的块尺寸为预定块尺寸的情况下，对所述预定块尺寸的子块应用垂直方向和水平方向的离散正弦变换。
CN202310644968.7A 2015-08-20 2016-08-19 图像编码装置、图像解码装置、和其程序 Pending CN116760977A (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2015163257 2015-08-20
JP2015-163260 2015-08-20
JP2015163259 2015-08-20
JP2015-163257 2015-08-20
JP2015163260 2015-08-20
JP2015-163259 2015-08-20
PCT/JP2016/074293 WO2017030200A1 (ja) 2015-08-20 2016-08-19 画像符号化装置、画像復号化装置、及びこれらのプログラム
CN201680053613.9A CN108028927A (zh) 2015-08-20 2016-08-19 图像编码装置、图像解码装置、和其程序

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201680053613.9A Division CN108028927A (zh) 2015-08-20 2016-08-19 图像编码装置、图像解码装置、和其程序

Publications (1)

Publication Number Publication Date
CN116760977A true CN116760977A (zh) 2023-09-15

Family

ID=58052066

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201680053586.5A Active CN108028926B (zh) 2015-08-20 2016-08-19 图像编码装置、图像解码装置
CN201680053613.9A Pending CN108028927A (zh) 2015-08-20 2016-08-19 图像编码装置、图像解码装置、和其程序
CN202310644968.7A Pending CN116760977A (zh) 2015-08-20 2016-08-19 图像编码装置、图像解码装置、和其程序
CN202110898950.0A Pending CN113596443A (zh) 2015-08-20 2016-08-19 图像编码装置

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201680053586.5A Active CN108028926B (zh) 2015-08-20 2016-08-19 图像编码装置、图像解码装置
CN201680053613.9A Pending CN108028927A (zh) 2015-08-20 2016-08-19 图像编码装置、图像解码装置、和其程序

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110898950.0A Pending CN113596443A (zh) 2015-08-20 2016-08-19 图像编码装置

Country Status (5)

Country Link
US (5) US11076149B2 (zh)
EP (3) EP4178204A1 (zh)
JP (6) JP6535744B2 (zh)
CN (4) CN108028926B (zh)
WO (3) WO2017030199A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108028926B (zh) * 2015-08-20 2021-08-24 日本放送协会 图像编码装置、图像解码装置
JP7159057B2 (ja) * 2017-02-10 2022-10-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
EP3780600A4 (en) 2018-04-04 2022-02-09 Nippon Hoso Kyokai PREDICTION IMAGE CORRECTION DEVICE, IMAGE CODING DEVICE, IMAGE DECODE DEVICE, AND PROGRAM
AU2019298063B2 (en) * 2018-07-02 2022-10-13 Huawei Technologies Co., Ltd. Apparatus and method for filtering in video coding
CN112585975A (zh) * 2018-08-20 2021-03-30 日本放送协会 编码装置、解码装置以及程序
EP3788779A4 (en) * 2018-10-23 2022-03-02 Tencent America LLC VIDEO CODING METHOD AND APPARATUS
US11330283B2 (en) * 2019-02-01 2022-05-10 Tencent America LLC Method and apparatus for video coding
JP7145793B2 (ja) * 2019-03-11 2022-10-03 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
BR112021020758A2 (pt) * 2019-04-16 2021-12-14 Lg Electronics Inc Codificação de imagem usando índice de transformada
JP7474772B2 (ja) * 2019-08-29 2024-04-25 日本放送協会 符号化装置、復号装置、及びプログラム
WO2021040036A1 (ja) * 2019-08-29 2021-03-04 日本放送協会 符号化装置、復号装置、及びプログラム
KR20210113464A (ko) * 2020-03-05 2021-09-16 삼성전자주식회사 이미징 장치 및 이를 포함하는 전자 기기
CN111885378B (zh) * 2020-07-27 2021-04-30 腾讯科技（深圳）有限公司 多媒体数据编码方法、装置、设备以及介质

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0319488A (ja) * 1989-06-15 1991-01-28 Matsushita Electric Ind Co Ltd ブロック符号化装置と復号化装置
JPH0813138B2 (ja) * 1990-11-28 1996-02-07 松下電器産業株式会社 画像符号化装置
EP1404136B1 (en) * 2001-06-29 2018-04-04 NTT DoCoMo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US7376186B2 (en) * 2002-07-15 2008-05-20 Thomson Licensing Motion estimation with weighting prediction
EP1816870A4 (en) * 2004-11-19 2009-07-29 Panasonic Corp VIDEO CODING METHOD AND VIDEO CODING METHOD
KR100772873B1 (ko) 2006-01-12 2007-11-02 삼성전자주식회사 스무딩 예측을 이용한 다계층 기반의 비디오 인코딩 방법,디코딩 방법, 비디오 인코더 및 비디오 디코더
JP4730552B2 (ja) * 2006-07-14 2011-07-20 富士ゼロックス株式会社 復号化装置及びそのプログラム
KR100927733B1 (ko) 2006-09-20 2009-11-18 한국전자통신연구원 잔여계수의 상관성에 따라 변환기를 선택적으로 이용한부호화/복호화 장치 및 그 방법
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
EP2082585A2 (en) * 2006-10-18 2009-07-29 Thomson Licensing Method and apparatus for video coding using prediction data refinement
WO2009133844A1 (ja) * 2008-04-30 2009-11-05 株式会社 東芝 エッジを考慮したフィルタリング機能を備えた動画像符号化／復号化方法及び装置
JP5137687B2 (ja) * 2008-05-23 2013-02-06 キヤノン株式会社 復号装置及び復号方法、プログラム
FR2948845A1 (fr) * 2009-07-30 2011-02-04 Thomson Licensing Procede de decodage d'un flux representatif d'une sequence d'images et procede de codage d'une sequence d'images
JP5295053B2 (ja) * 2009-09-16 2013-09-18 日本電信電話株式会社 予測信号生成方法，予測信号生成装置および予測信号生成プログラム
WO2011083573A1 (ja) * 2010-01-07 2011-07-14 株式会社 東芝 動画像符号化装置及び動画像復号化装置
JP5302256B2 (ja) * 2010-03-05 2013-10-02 日本放送協会 符号化装置、復号装置及びプログラム
CN102918564B (zh) * 2010-03-10 2016-10-26 汤姆森特许公司 具有变换选择的视频编码和解码的约束变换的方法和装置
CN102845062B (zh) * 2010-04-12 2015-04-29 高通股份有限公司 用于几何运动分割的定点实施方案
JP5875979B2 (ja) * 2010-06-03 2016-03-02 シャープ株式会社 フィルタ装置、画像復号装置、画像符号化装置、および、フィルタパラメータのデータ構造
WO2012029181A1 (ja) 2010-09-03 2012-03-08 株式会社 東芝 動画像符号化方法及び復号化方法、符号化装置及び復号化装置
JP5503747B2 (ja) * 2010-09-30 2014-05-28 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
KR101772046B1 (ko) * 2010-11-04 2017-08-29 에스케이텔레콤 주식회사 예측모드에 따라 필터링된 화소값으로 인트라예측을 수행하는 영상 부호화/복호화 방법 및 장치
US9807424B2 (en) * 2011-01-10 2017-10-31 Qualcomm Incorporated Adaptive selection of region size for identification of samples in a transition zone for overlapped block motion compensation
JP5298140B2 (ja) * 2011-01-12 2013-09-25 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測符号化方法、画像予測符号化プログラム、画像予測復号装置、画像予測復号方法、及び画像予測復号プログラム
JP5291134B2 (ja) * 2011-03-09 2013-09-18 日本電信電話株式会社 映像符号化／復号方法，映像符号化／復号装置およびそのプログラム
WO2012172667A1 (ja) 2011-06-15 2012-12-20 株式会社 東芝 動画像符号化方法、動画像復号化方法及び装置
KR101362696B1 (ko) * 2011-10-19 2014-02-17 전북대학교산학협력단 하이브리드 아키텍쳐가 적용된 신호 변환 장치, 신호 변환 방법 및 기록매체
KR20130049523A (ko) 2011-11-04 2013-05-14 오수미 인트라 예측 블록 생성 장치
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
JP2014036278A (ja) * 2012-08-07 2014-02-24 Nippon Hoso Kyokai <Nhk> 画像符号化装置、画像復号装置及びプログラム
JP5841670B2 (ja) * 2012-09-28 2016-01-13 日本電信電話株式会社 イントラ予測符号化方法、イントラ予測復号方法、イントラ予測符号化装置、イントラ予測復号装置、それらのプログラム並びにプログラムを記録した記録媒体
MY183347A (en) * 2013-09-30 2021-02-18 Japan Broadcasting Corp Image encoding device, image decoding device, and the programs thereof
JP5802786B2 (ja) 2014-03-25 2015-11-04 日本放送協会 符号化装置、復号装置及びプログラム
CN108028926B (zh) * 2015-08-20 2021-08-24 日本放送协会 图像编码装置、图像解码装置

Also Published As

Publication number Publication date
JP2023063379A (ja) 2023-05-09
US10681346B2 (en) 2020-06-09
EP3340621A1 (en) 2018-06-27
JP2024057033A (ja) 2024-04-23
CN108028926B (zh) 2021-08-24
CN108028926A (zh) 2018-05-11
EP3340621A4 (en) 2019-03-20
US11076149B2 (en) 2021-07-27
US20210321128A1 (en) 2021-10-14
JP2021180492A (ja) 2021-11-18
US20240048690A1 (en) 2024-02-08
JP2019106742A (ja) 2019-06-27
JP6464272B2 (ja) 2019-02-06
US20180176562A1 (en) 2018-06-21
JPWO2017030200A1 (ja) 2018-07-19
US20180176557A1 (en) 2018-06-21
JP6535744B2 (ja) 2019-06-26
JP7242768B2 (ja) 2023-03-20
WO2017030200A1 (ja) 2017-02-23
EP3340622A4 (en) 2019-03-20
CN108028927A (zh) 2018-05-11
US20200260073A1 (en) 2020-08-13
EP3340621B1 (en) 2023-01-25
WO2017030199A1 (ja) 2017-02-23
EP3340622A1 (en) 2018-06-27
EP4178204A1 (en) 2023-05-10
JPWO2017030199A1 (ja) 2018-07-19
CN113596443A (zh) 2021-11-02
JP7186658B2 (ja) 2022-12-09
JP7445799B2 (ja) 2024-03-07
WO2017030198A1 (ja) 2017-02-23
US11843766B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
US11792409B2 (en) Method and apparatus for encoding/decoding an image
CN116760977A (zh) 图像编码装置、图像解码装置、和其程序
KR102340559B1 (ko) 비디오 신호의 디코딩 방법 및 장치
US11006145B2 (en) Intra prediction method and apparatus using the method
US11044472B2 (en) Method and apparatus for performing adaptive filtering on reference pixels based on size relationship of current block and reference block
KR20190023294A (ko) 영상 부호화/복호화 방법 및 장치
KR20180000886A (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination