CN105657423B - 运动图像编码装置及方法、运动图像解码装置及方法 - Google Patents

运动图像编码装置及方法、运动图像解码装置及方法 Download PDF

Info

Publication number
CN105657423B
CN105657423B CN201610088366.8A CN201610088366A CN105657423B CN 105657423 B CN105657423 B CN 105657423B CN 201610088366 A CN201610088366 A CN 201610088366A CN 105657423 B CN105657423 B CN 105657423B
Authority
CN
China
Prior art keywords
prediction
intra
image
piecemeal
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610088366.8A
Other languages
English (en)
Other versions
CN105657423A (zh
Inventor
峯泽彰
关口俊
关口俊一
杉本和夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=45892218&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN105657423(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN105657423A publication Critical patent/CN105657423A/zh
Application granted granted Critical
Publication of CN105657423B publication Critical patent/CN105657423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开一种运动图像编码装置及方法、运动图像解码装置及方法。一种图像解码装置，具备帧内预测单元，该帧内预测单元在与编码块有关的编码模式是帧内编码模式的情况下，针对成为预测处理的单位的分块的每一个分块实施帧内预测处理，生成帧内预测图像，所述帧内预测单元按照帧内预测模式，根据参照像素生成中间预测图像，按照颜色分量的种类和所述分块的尺寸，仅针对所述中间预测图像的特定的位置的像素进行滤波处理，从而生成所述帧内预测图像。

Description

运动图像编码装置及方法、运动图像解码装置及方法
本申请是申请号为201180047243.5，申请日为2011年7月21日，发明名称为“运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法”的分案申请。
技术领域
本发明涉及对运动图像高效地进行编码的运动图像编码装置以及运动图像编码方法、和对被高效地编码的运动图像进行解码的运动图像解码装置以及运动图像解码方法。
背景技术
例如，在MPEG(Moving Picture Experts Group，运动图像专家组)、“ITU－TH.26x”等国际标准影像编码方式中，将输入影像帧分割为矩形的块(编码对象块)，针对该编码对象块，实施使用已编码的图像信号的预测处理，从而生成预测图像，按照块单位对作为该编码对象块与预测图像的差分的预测误差信号进行正交变换、量化处理，从而进行信息压缩。
例如，在作为国际标准方式的AVC/H.264(ISO/IEC 14496－10|ITU－T H.264)中，根据已编码的附近像素进行帧内(intra)预测处理，或者进行接近帧之间的运动补偿预测处理(例如，参照非专利文献1)。
在MPEG－4AVC/H.264中，在亮度的帧内预测模式中，能够按照块单位，从多个预测模式之中选择1个预测模式。
图10是示出亮度的块尺寸是4×4像素时的帧内预测模式的说明图。
在图10中，白色的圆是编码对象的块内的像素。黑色的圆是预测中使用的像素，是已编码的邻接块内的像素。
在图10中，作为帧内预测模式，准备了9个模式0～模式8，其中模式2是进行平均值预测的模式，用上面和左边的块的邻接像素的平均值来预测编码对象块内的像素。
模式2以外的模式是进行方向性预测的模式。模式0是垂直方向预测，通过将上面的块的邻接像素在垂直方向上重复而生成预测图像。例如，在纵条纹图案时选择模式0。
模式1是水平方向预测，通过将左边的块的邻接像素在水平方向上重复而生成预测图像。例如，在横条纹图案时选择模式1。
模式3～模式8使用上面或者左边的块的邻接像素，在规定的方向(箭头表示的方向)上生成插值像素来生成预测图像。
应用帧内预测的亮度的块尺寸可以从4×4像素、8×8像素、16×16像素中选择，在8×8像素的情况下，与4×4像素的情况同样地规定了9个帧内预测模式。
在16×16像素的情况下，规定了4个帧内预测模式(平均值预测、垂直方向预测、水平方向预测、平面预测)。
平面预测是将在斜向方向上对上面的块的邻接像素和左边的块的邻接像素进行内插插值而生成的像素作为预测值的模式。
在块尺寸为4×4像素或者8×8像素时的方向性预测模式下，例如在45度等根据模式而预先规定的方向上生成预测值，所以在块内的目标的边界(边缘)的方向与预测模式表示的方向一致的情况下，预测效率变高而能够削减代码量。
但是，只要在边缘的方向与预测模式表示的方向之间稍微地产生偏差、或者即使方向一致但编码对象块内的边缘稍微地失真(摇摆、弯曲等)，就会局部地发生大的预测误差，预测效率极端地下降。
为了防止这样的预测效率降低，在8×8像素的方向性预测中，通过将对已编码的邻接像素实施平滑化滤波而得到的结果作为在预测图像的生成时使用的参照图像，从而生成平滑化了的预测图像，降低在产生了预测方向的稍微的偏差、在边缘产生了稍微的失真的情况下发生的预测误差。
非专利文献1：MPEG－4AVC(ISO/IEC 14496－10)/ITU－T H.264规格
发明内容
以往的图像编码装置如以上那样构成，所以如果实施滤波处理而生成平滑化了的预测图像，则即使产生预测方向的稍微的偏差、在边缘产生稍微的失真，也能够降低所发生的预测误差。但是，在非专利文献1中，除了8×8像素的块以外不实施滤波处理，对8×8像素的块所使用的滤波器也只有一种。实际上，即使在8×8像素以外的尺寸的块中，也同样地存在如下问题：即使预测图像和编码对象图像的图样类似，也会由于边缘的稍微的不匹配而局部地发生大的预测误差，有时会产生预测效率的大幅降低。
另外，存在如下课题：即使在同一尺寸的块中，如果在对预测误差信号进行量化时使用的量化参数、块内的像素的位置等不同，则适合于降低局部性的预测误差的滤波器不同，但仅准备了一种滤波器，从而无法充分降低预测误差。
本发明是为了解决上述那样的课题而完成的，其目的在于得到一种能够降低局部地发生的预测误差来提高图像质量的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法。
本发明涉及的图像解码装置具备帧内预测单元，该帧内预测单元在与编码块有关的编码模式是帧内编码模式的情况下，针对成为所述编码块的预测处理的单位的块的每一个实施与在该块中使用的帧内预测参数对应的帧之内预测处理，从而生成预测图像；所述帧内预测单元按照所述帧内预测参数，根据参照像素生成中间预测值，仅在所述块内的特定的位置，将通过针对中间预测值的滤波处理而得到的值作为最终的预测值，在所述块内的其它位置，将中间预测值作为最终的预测值。
根据本发明，具备帧内预测单元，该帧内预测单元在与编码块有关的编码模式是帧内编码模式的情况下，针对成为所述编码块的预测处理的单位的块的每一个实施与在该块中使用的帧内预测参数对应的帧之内预测处理，从而生成预测图像，所述帧内预测单元按照所述帧内预测参数，根据参照像素生成中间预测值，仅在所述块内的特定的位置，将通过针对中间预测值的滤波处理而得到的值作为最终的预测值，在所述块内的其它位置，将中间预测值作为最终的预测值，所以具有如下效果：降低局部地发生的预测误差，从而在运动图像解码装置侧也能够生成图像质量高的与在运动图像编码装置侧生成的帧内预测图像相同的帧内预测图像。
附图说明
图1是示出本发明的实施方式1的运动图像编码装置的结构图。
图2是示出本发明的实施方式1的运动图像解码装置的结构图。
图3是示出本发明的实施方式1的运动图像编码装置的处理内容的流程图。
图4是示出本发明的实施方式1的运动图像解码装置的处理内容的流程图。
图5是示出最大尺寸的编码块被层次性地分割为多个编码块的情况的说明图。
图6(a)是示出分割后的分块的分布的图，(b)是通过4叉树图形示出对层次分割后的分块分配了编码模式m(Bn)的状况的说明图。
图7是示出在编码块Bn内的各分块Pi n中可选择的帧内预测参数(帧内预测模式)的一个例子的说明图。
图8是示出在li n＝mi n＝4时、生成分块Pi n内的像素的预测值时使用的像素的一个例子的说明图。
图9是示出N＝5的情况的参照像素配置的一个例子的说明图。
图10是示出亮度的块尺寸是4×4像素的情况的帧内预测模式的说明图。
(符号说明)
1：编码控制部(编码控制单元)；2：块分割部(块分割单元)；3：切换开关(帧内预测单元、运动补偿预测单元)；4：帧内预测部(帧内预测单元)；5：运动补偿预测部(运动补偿预测单元)；6：减法部(差分图像生成单元)；7：变换/量化部(图像压缩单元)；8：逆量化/逆变换部；9：加法部；10：帧内预测用存储器；11：环路滤波器部；12：运动补偿预测帧存储器；13：可变长编码部(可变长编码单元)；51：可变长解码部(可变长解码单元)；52：切换开关(帧内预测单元、运动补偿预测单元)；53：帧内预测部(帧内预测单元)；54：运动补偿预测部(运动补偿预测单元)；55：逆量化/逆变换部(差分图像生成单元)；56：加法部(解码图像生成单元)；57：帧内预测用存储器；58：环路滤波器部；59：运动补偿预测帧存储器。
具体实施方式
以下，为了更详细地说明本发明，根据附图，说明具体实施方式。
实施方式1.
在该实施方式1中，说明如下的运动图像编码装置和运动图像解码装置：该运动图像编码装置输入影像的各帧图像，并通过根据已编码的附近像素实施帧之内预测处理或者在接近帧之间实施运动补偿预测处理而生成预测图像，并针对作为该预测图像与帧图像的差分图像的预测误差信号通过正交变换/量化而实施了压缩处理之后，进行可变长编码而生成比特流，该运动图像解码装置对从该运动图像编码装置输出的比特流进行解码。
该实施方式1的运动图像编码装置的特征在于，适应于影像信号的空间/时间方向的局部性的变化，将影像信号分割为各种尺寸的区域来进行帧之内/帧之间自适应编码。
一般情况下，影像信号具有空间/时间上信号的复杂度局部地发生变化的特性。在空间上观察时，在某特定的影像帧上，既存在天空、壁等那样的在比较宽的图像区域中具有均匀的信号特性的图样，还混合存在人物或具有细致的纹理的绘画等在小的图像区域内具有复杂的纹理图案的图样。
在时间上观察时，对于天空、壁而言，局部的时间方向的图样的变化小，但对于运动的人物、物体而言，其轮廓在时间上进行刚体/非刚体的运动，所以时间上的变化大。
在编码处理中，通过时间/空间上的预测来生成信号功率、熵小的预测误差信号，从而削减整体的代码量，但如果能够对尽可能大的图像信号区域均匀地应用用于预测的参数，则能够减小该参数的代码量。
另一方面，如果针对时间上/空间上变化大的图像信号图案应用同一预测参数，则预测的错误增加，所以无法削减预测误差信号的代码量。
因此，优选针对时间上/空间上变化大的图像信号图案减小预测对象的区域，从而即使增加用于预测的参数的数据量，也降低预测误差信号的功率/熵。
为了进行这样的适应于影像信号的一般性的性质的编码，在该实施方式1的运动图像编码装置中，从规定的最大块尺寸起层次性地分割影像信号的区域，针对每个分割区域实施预测处理、预测误差的编码处理。
该实施方式1的运动图像编码装置作为处理对象的影像信号除了由亮度信号和2个色差信号构成的YUV信号、从数字摄像元件输出的RGB信号等任意的颜色空间的彩色影像信号以外，还有单色图像信号、红外线图像信号等影像帧由水平/垂直二维的数字采样(像素)列构成的任意的影像信号。
各像素的灰度既可以是8比特，也可以是10比特、12比特等的灰度。
但是，在以下的说明中，只要没有特别说明，设为所输入的影像信号是YUV信号。另外，设为2个色差分量U、V相对亮度分量Y是被子采样的4：2：0格式的信号。
另外，将与影像的各帧对应的处理数据单位称为“图片”，在该实施方式1中，以“图片”为被顺序扫描(逐行扫描)的影像帧的信号而进行说明。但是，在影像信号是隔行扫描信号的情况下，“图片”也可以是作为构成影像帧的单位的场图像信号。
图1是示出本发明的实施方式1的运动图像编码装置的结构图。
在图1中，编码控制部1实施如下处理：决定成为实施帧内预测处理(帧之内预测处理)或者运动补偿预测处理(帧之间预测处理)时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数。
另外，编码控制部1实施如下处理：从可利用的1个以上的编码模式(1个以上的帧内编码模式、1个以上的帧间编码模式)中，选择适合于层次性地分割的各个编码块的编码模式。
另外，编码控制部1实施如下处理：针对各个编码块，决定在压缩差分图像时使用的量化参数以及变换块尺寸，并且决定在实施预测处理时使用的帧内预测参数或者帧间预测参数。将量化参数以及变换块尺寸包含于预测误差编码参数而输出到变换/量化部7、逆量化/逆变换部8以及可变长编码部13等。
另外，编码控制部1构成了编码控制单元。
块分割部2实施如下处理：如果输入了表示输入图像的影像信号，则将该影像信号表示的输入图像分割为由编码控制部1决定的最大尺寸的编码块，并且直至达到由编码控制部1决定的上限的层次数为止，将该编码块层次性地分割。另外，块分割部2构成了块分割单元。
切换开关3实施如下处理：如果由编码控制部1选择的编码模式是帧内编码模式，则将由块分割部2分割的编码块输出到帧内预测部4，如果由编码控制部1选择的编码模式是帧间编码模式，则将由块分割部2分割的编码块输出到运动补偿预测部5。
帧内预测部4实施如下处理：如果从切换开关3接收到由块分割部2分割的编码块，则使用帧之内的已编码的图像信号，根据从编码控制部1输出的帧内预测参数，实施针对该编码块的帧之内预测处理，从而生成预测图像。
其中，帧内预测部4在生成了上述预测图像之后，从预先准备的1个以上的滤波器之中，根据与滤波处理对象块的编码有关的各种参数的状态选择滤波器，并使用该滤波器，实施针对上述预测图像的滤波处理，将滤波处理后的预测图像输出到减法部6以及加法部9。
对于上述滤波器，考虑接下来的4个参数中的至少1个以上的参数来选择。
·参数(1)
上述预测图像的块尺寸
·参数(2)
由编码控制部1决定的量化参数
·参数(3)
在生成预测图像时使用的帧之内的已编码的图像信号与滤波处理对象像素的距离
·参数(4)
由编码控制部1决定的帧内预测参数
另外，由切换开关3以及帧内预测部4构成了帧内预测单元。
运动补偿预测部5实施如下处理：由编码控制部1选择帧间编码模式作为适合于由块分割部2分割的编码块的编码模式的情况下，使用由运动补偿预测帧存储器12保存的1帧以上的参照图像，根据从编码控制部1输出的帧间预测参数，实施针对该编码块的运动补偿预测处理，从而生成预测图像。
另外，由切换开关3以及运动补偿预测部5构成了运动补偿预测单元。
减法部6实施如下处理：通过从由块分割部2分割的编码块，减去由帧内预测部4或者运动补偿预测部5生成的预测图像，从而生成差分图像(＝编码块－预测图像)。另外，减法部6构成了差分图像生成单元。
变换/量化部7实施如下处理：以从编码控制部1输出的预测误差编码参数中包含的变换块尺寸单位，实施由减法部6生成的差分图像的变换处理(例如，DCT(离散余弦变换)、预先对特定的学习系列进行了基底设计的KL变换等正交变换处理)，并且使用该预测误差编码参数中包含的量化参数，对该差分图像的变换系数进行量化，从而将量化后的变换系数作为差分图像的压缩数据而输出。另外，变换/量化部7构成了图像压缩单元。
逆量化/逆变换部8实施如下处理：使用从编码控制部1输出的预测误差编码参数中包含的量化参数，对从变换/量化部7输出的压缩数据进行逆量化，以该预测误差编码参数中包含的变换块尺寸单位，实施逆量化的压缩数据的逆变换处理(例如，逆DCT(逆离散余弦变换)、逆KL变换等逆变换处理)，从而将逆变换处理后的压缩数据作为局部解码预测误差信号而输出。
加法部9实施如下处理：将从逆量化/逆变换部8输出的局部解码预测误差信号和表示由帧内预测部4或者运动补偿预测部5生成的预测图像的预测信号进行相加，从而生成表示局部解码图像的局部解码图像信号。
帧内预测用存储器10是保存由加法部9生成的局部解码图像信号表示的局部解码图像作为由帧内预测部4在下次的帧内预测处理中使用的图像的RAM等记录介质。
环路滤波器部11实施如下处理：补偿由加法器9生成的局部解码图像信号中包含的编码失真，将编码失真补偿后的局部解码图像信号表示的局部解码图像作为参照图像输出到运动补偿预测帧存储器12。
运动补偿预测帧存储器12是保存利用环路滤波器部11进行的滤波处理后的局部解码图像作为由运动补偿预测部5在下次的运动补偿预测处理中使用的参照图像的RAM等记录介质。
可变长编码部13实施如下处理：对从变换/量化部7输出的压缩数据、从编码控制部1输出的编码模式以及预测误差编码参数、从帧内预测部4输出的帧内预测参数或者从运动补偿预测部5输出的帧间预测参数进行可变长编码，生成该压缩数据、编码模式、预测误差编码参数、帧内预测参数/帧间预测参数的编码数据被复用的比特流。另外，可变长编码部13构成了可变长编码单元。
图2是示出本发明的实施方式1的运动图像解码装置的结构图。
在图2中，可变长解码部51实施如下处理：从比特流上复用的编码数据可变长解码出与层次性地分割的各个编码块有关的压缩数据、编码模式、预测误差编码参数、帧内预测参数/帧间预测参数，将该压缩数据以及预测误差编码参数输出到逆量化/逆变换部55，并且将该编码模式以及帧内预测参数/帧间预测参数输出到切换开关52。另外，可变长解码部51构成了可变长解码单元。
切换开关52实施如下处理：在从可变长解码部51输出的与编码块有关的编码模式是帧内编码模式的情况下，将从可变长解码部51输出的帧内预测参数输出到帧内预测部53，在该编码模式是帧间编码模式的情况下，将从可变长解码部51输出的帧间预测参数输出到运动补偿预测部54。
帧内预测部53实施如下处理：使用帧之内的已解码的图像信号，根据从切换开关52输出的帧内预测参数，实施针对编码块的帧之内预测处理，从而生成预测图像。
其中，帧内预测部53在生成了上述预测图像之后，从预先准备的1个以上的滤波器之中，根据与滤波处理对象块的解码有关的各种参数的状态选择滤波器，使用该滤波器，实施针对上述预测图像的滤波处理，将滤波处理后的预测图像输出到加法部56。
对于上述滤波器，考虑接下来的4个参数中的至少1个以上的参数来选择。
·参数(1)
上述预测图像的块尺寸
·参数(2)
由可变长解码部51可变长解码出的量化参数
·参数(3)
在生成预测图像时使用的帧之内的已解码的图像信号与滤波处理对象像素的距离
·参数(4)
由可变长解码部51可变长解码出的帧内预测参数
另外，由切换开关52以及帧内预测部53构成了帧内预测单元。
运动补偿预测部54实施如下处理：使用由运动补偿预测帧存储器59保存的1帧以上的参照图像，根据从切换开关52输出的帧间预测参数，实施针对编码块的运动补偿预测处理，从而生成预测图像。
另外，由切换开关52以及运动补偿预测部54构成了运动补偿预测单元。
逆量化/逆变换部55实施如下处理：使用从可变长解码部51输出的预测误差编码参数中包含的量化参数，对从可变长解码部51输出的与编码块有关的压缩数据进行逆量化，以该预测误差编码参数中包含的变换块尺寸单位，实施逆量化的压缩数据的逆变换处理(例如，逆DCT(逆离散余弦变换)、逆KL变换等逆变换处理)，从而将逆变换处理后的压缩数据作为解码预测误差信号(表示压缩前的差分图像的信号)输出。另外，逆量化/逆变换部55构成了差分图像生成单元。
加法部56实施如下处理：通过将从逆量化/逆变换部55输出的解码预测误差信号和表示由帧内预测部53或者运动补偿预测部54生成的预测图像的预测信号进行相加，生成表示解码图像的解码图像信号。另外，加法部56构成了解码图像生成单元。
帧内预测用存储器57是保存由加法部56生成的解码图像信号表示的解码图像作为由帧内预测部53在下次的帧内预测处理中使用的图像的RAM等记录介质。
环路滤波器部58实施如下处理：补偿由加法器56生成的解码图像信号中包含的编码失真，将编码失真补偿后的解码图像信号表示的解码图像作为参照图像输出到运动补偿预测帧存储器59。
运动补偿预测帧存储器59是保存利用环路滤波器部58进行的滤波处理后的解码图像作为由运动补偿预测部54在下次的运动补偿预测处理中使用的参照图像的RAM等记录介质。
在图1中，假设作为运动图像编码装置的构成要素的编码控制部1、块分割部2、切换开关3、帧内预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、环路滤波器部11以及可变长编码部13分别由专用的硬件(例如，安装了CPU的半导体集成电路、或者单片式微型计算机等)构成，但在运动图像编码装置由计算机构成的情况下，也可以将描述有编码控制部1、块分割部2、切换开关3、帧内预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、环路滤波器部11以及可变长编码部13的处理内容的程序保存到该计算机的存储器，由该计算机的CPU执行保存在该存储器中的程序。
图3是示出本发明的实施方式1的运动图像编码装置的处理内容的流程图。
在图2中，假设作为运动图像解码装置的构成要素的可变长解码部51、切换开关52、帧内预测部53、运动补偿预测部54、逆量化/逆变换部55、加法部56以及环路滤波器部58分别由专用的硬件(例如，安装了CPU的半导体集成电路、或者单片式微型计算机等)构成，但在运动图像解码装置由计算机构成的情况下，也可以将描述有可变长解码部51、切换开关52、帧内预测部53、运动补偿预测部54、逆量化/逆变换部55、加法部56以及环路滤波器部58的处理内容的程序保存到该计算机的存储器，由该计算机的CPU执行保存在该存储器中的程序。
图4是示出本发明的实施方式1的运动图像解码装置的处理内容的流程图。
接下来，说明动作。
最初，说明图1的运动图像编码装置的处理内容。
首先，编码控制部1决定成为实施帧内预测处理(帧之内预测处理)或者运动补偿预测处理(帧之间预测处理)时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数(图3的步骤ST1)。
作为编码块的最大尺寸的决定方法，例如，考虑针对所有图片决定为与输入图像的分辨率对应的尺寸的方法。
另外，考虑如下方法等：将输入图像的局部性的运动的复杂度的差异定量化为参数，在运动剧烈的图片中将最大尺寸决定为小的值，在运动少的图片中将最大尺寸决定为大的值。
作为上限的层次数的设定方法，例如考虑如下方法：输入图像的运动越剧烈，越增大层次数，设定为能够检测更细致的运动，如果输入图像的运动少，则设定为抑制层次数。
另外，编码控制部1从可利用的1个以上的编码模式(M种帧内编码模式、N种帧间编码模式)之中，选择适合于层次性地分割的各个编码块的编码模式(步骤ST2)。
由编码控制部1进行的编码模式的选择方法是公知的技术，所以省略详细的说明，但例如还有如下方法等：使用可利用的任意的编码模式，实施针对编码块的编码处理来验证编码效率，在可利用的多个编码模式之中，选择编码效率最佳的编码模式。
另外，编码控制部1针对各个编码块决定在压缩差分图像时使用的量化参数以及变换块尺寸，并且决定在实施预测处理时使用的帧内预测参数或者帧间预测参数。
编码控制部1将包括量化参数以及变换块尺寸的预测误差编码参数输出到变换/量化部7、逆量化/逆变换部8以及可变长编码部13。另外，根据需要将预测误差编码参数输出到帧内预测部4。
块分割部2如果输入了表示输入图像的影像信号，则将该影像信号表示的输入图像分割为由编码控制部1决定的最大尺寸的编码块，并且直至达到由编码控制部1决定的上限的层次数为止，将该编码块层次性地分割。
此处，图5是示出最大尺寸的编码块被层次性地分割为多个编码块的情况的说明图。
在图5的例子中，最大尺寸的编码块是第0层次的编码块B0，在亮度分量中具有(L0，M0)的尺寸。
另外，在图5的例子中，将最大尺寸的编码块B0作为出发点，以4叉树构造，直至另行确定的规定的深度为止，层次性地进行分割，从而得到编码块Bn。
在深度n时，编码块Bn是尺寸(Ln，Mn)的图像区域。
其中，Ln和Mn既可以相同也可以不同，但在图5的例子中示出了Ln＝Mn的情形。
以后，将编码块Bn的尺寸定义为编码块Bn的亮度分量中的尺寸(Ln，Mn)。
块分割部2进行4叉树分割，所以(Ln+1，Mn+1)＝(Ln/2，Mn/2)始终成立。
但是，在如RGB信号等那样所有颜色分量具有相同采样数的彩色影像信号(4：4：4格式)中，所有颜色分量的尺寸成为(Ln，Mn)，但在处理4：2：0格式的情况下，对应的色差分量的编码块的尺寸是(Ln/2，Mn/2)。
以后，将在第n层次的编码块Bn中可选择的编码模式记为m(Bn)。
在由多个颜色分量构成的彩色影像信号的情况下，编码模式m(Bn)可以构成为针对每个颜色分量分别使用各自的模式，但以后，只要没有特别说明，则设为指示针对YUV信号、4：2：0格式的编码块的亮度分量的编码模式而进行说明。
在编码模式m(Bn)中，有1个或者多个帧内编码模式(总称为“INTRA”)、1个或者多个帧间编码模式(总称为“INTER”)，编码控制部1如上所述从在该图片中可利用的所有编码模式或者其子群组之中，针对编码块Bn选择编码效率最佳的编码模式。
编码块Bn如图5所示被进一步分割为1个或者多个预测处理单位(分块，partition)。
以后，将属于编码块Bn的分块记载为Pi n(i：第n层次中的分块编号)。
如何进行属于编码块Bn的分块Pi n的分割作为信息而包含于编码模式m(Bn)中。
对于分块Pi n，全部依照编码模式m(Bn)进行预测处理，但可以针对每个分块Pi n选择各自的预测参数。
编码控制部1针对最大尺寸的编码块，例如生成图6所示那样的块分割状态，确定编码块Bn。
图6(a)的阴影部分表示分割后的分块的分布，并且，图6(b)通过4叉树图形表示了对层次分割后的分块分配了编码模式m(Bn)的状况。
在图6(b)中，用□所包围的节点表示了被分配了编码模式m(Bn)的节点(编码块Bn)。
当编码控制部1针对各个编码块Bn的分块Pi n选择最佳的编码模式m(Bn)时，如果该编码模式m(Bn)是帧内编码模式(步骤ST3)，则切换开关3将由块分割部2分割的编码块Bn的分块Pi n输出到帧内预测部4。
另一方面，如果该编码模式m(Bn)是帧间编码模式(步骤ST3)，则将由块分割部2分割的编码块Bn的分块Pi n输出到运动补偿预测部5。
帧内预测部4如果从切换开关3接收到编码块Bn的分块Pi n，则使用帧之内的已编码的图像信号，根据从编码控制部1输出的帧内预测参数，实施针对该编码块Bn的分块Pi n的帧之内预测处理，从而生成帧内预测图像Pi n(步骤ST4)。
其中，帧内预测部4在生成了上述帧内预测图像Pi n之后，从预先准备的1个以上的滤波器之中，根据与滤波处理对象块的编码有关的各种参数的状态选择滤波器，使用该滤波器，实施针对该帧内预测图像Pi n的滤波处理。
帧内预测部4如果实施了针对帧内预测图像Pi n的滤波处理，则将滤波处理后的帧内预测图像Pi n输出到减法部6以及加法部9，但为了使得在图2的运动图像解码装置也能够生成相同的帧内预测图像Pi n，将该帧内预测参数输出到可变长编码部13。
帧内预测部4的处理内容的概略如上所述，但详细的处理内容后述。
运动补偿预测部5如果从切换开关3接收到编码块Bn的分块Pi n，则使用由运动补偿预测帧存储器12保存的1帧以上的参照图像，根据从编码控制部1输出的帧间预测参数，实施针对该编码块Bn的分块Pi n的运动补偿预测处理，从而生成帧间预测图像Pi n(步骤ST5)。
另外，通过实施运动补偿预测处理来生成预测图像的技术是公知的技术，所以省略详细的说明。
如果帧内预测部4或者运动补偿预测部5生成了预测图像(帧内预测图像Pi n、帧间预测图像Pi n)，则减法部6从由块分割部2分割的编码块Bn的分块Pi n，减去由帧内预测部4或者运动补偿预测部5生成的预测图像(帧内预测图像Pi n、帧间预测图像Pi n)，从而生成差分图像，将表示该差分图像的预测误差信号ei n输出到变换/量化部7(步骤ST6)。
变换/量化部7如果从减法部6接收到表示差分图像的预测误差信号ei n，则以从编码控制部1输出的预测误差编码参数中包含的变换块尺寸单位，实施该差分图像的变换处理(例如，DCT(离散余弦变换)、预先对特定的学习系列进行了基底设计的KL变换等正交变换处理)，并且使用该预测误差编码参数中包含的量化参数，对该差分图像的变换系数进行量化，从而将量化后的变换系数作为差分图像的压缩数据输出到逆量化/逆变换部8以及可变长编码部13(步骤ST7)。
逆量化/逆变换部8如果从变换/量化部7接收到差分图像的压缩数据，则使用从编码控制部1输出的预测误差编码参数中包含的量化参数，对该差分图像的压缩数据进行逆量化，以该预测误差编码参数中包含的变换块尺寸单位，实施逆量化的压缩数据的逆变换处理(例如，逆DCT(逆离散余弦变换)、逆KL变换等逆变换处理)，从而将逆变换处理后的压缩数据作为局部解码预测误差信号ei n帽(由于电子申请的关系，将对字母文字附加的“^”记载为帽)输出到加法部9(步骤ST8)。
加法部9如果从逆量化/逆变换部8接收到局部解码预测误差信号ei n帽，则将该局部解码预测误差信号ei n帽、和表示由帧内预测部4或者运动补偿预测部5生成的预测图像(帧内预测图像Pi n、帧间预测图像Pi n)的预测信号进行相加，从而生成局部解码分块图像Pi n帽或者作为其集合的局部解码编码块图像即局部解码图像(步骤ST9)。
加法部9当生成了局部解码图像时，将表示该局部解码图像的局部解码图像信号保存到帧内预测用存储器10，并且将该局部解码图像信号输出到环路滤波器部11。
直至针对层次性地分割了的所有编码块Bn的处理完成为止，反复实施步骤ST3～ST9的处理，如果针对所有编码块Bn的处理完成，则转移到步骤ST12的处理(步骤ST10、ST11)。
可变长编码部13对从变换/量化部7输出的压缩数据、从编码控制部1输出的编码模式(包括表示编码块的分割状态的信息)以及预测误差编码参数、和从帧内预测部4输出的帧内预测参数或者从运动补偿预测部5输出的帧间预测参数进行熵编码。
可变长编码部13对作为熵编码的编码结果的压缩数据、编码模式、预测误差编码参数、帧内预测参数/帧间预测参数的编码数据进行复用而生成比特流(步骤ST12)。
环路滤波器部11如果从加法器9接收到局部解码图像信号，则补偿该局部解码图像信号中包含的编码失真，将编码失真补偿后的局部解码图像信号表示的局部解码图像作为参照图像保存到运动补偿预测帧存储器12(步骤ST13)。
利用环路滤波器部11的滤波处理既可以以从加法器9输出的局部解码图像信号的最大编码块或者各个编码块单位进行，也可以以集中了多个最大编码块的单位进行、或者在输出了1个图片量的局部解码图像信号之后集中1个图片量来进行。
接下来，详细地说明帧内预测部4的处理内容。
图7是示出在编码块Bn内的各分块Pi n中可选择的帧内预测参数(帧内预测模式)的一个例子的说明图。
在图7的例子中，示出帧内预测模式和该帧内预测模式表示的预测方向矢量，设计为随着可选择的帧内预测模式的个数增加，预测方向矢量彼此的相对角度变小。
帧内预测部4根据针对分块Pi n的帧内预测参数、帧内预测图像Pi n的生成中使用的滤波器的选择参数，实施针对分块Pi n的帧内预测处理。
以下，说明根据针对分块Pi n的亮度信号的帧内预测参数(帧内预测模式)生成亮度信号的帧内预测信号的帧内处理。
此处，将分块Pi n的尺寸设为li n×mi n像素。
图8是示出在li n＝mi n＝4时、生成分块Pi n内的像素的预测值时使用的像素的一个例子的说明图。
在图8中，将与分块Pi n邻接的已编码的上分块的像素(2×li n+1)个和左分块的像素(2×mi n)个作为预测中使用的像素，但预测中使用的像素相比于图8所示的像素既可以多也可以少。
另外，在图8中，将邻接的1行或者1列量的像素用于预测，但也可以将2行或者2列、或者其以上的像素用于预测。
在针对分块Pi n的帧内预测模式的索引值是2(平均值预测)的情况下，将上分块的邻接像素和左分块的邻接像素的平均值作为分块Pi n内的像素的预测值而生成中间预测图像。
在帧内预测模式的索引值是2(平均值预测)以外的情况下，根据索引值表示的预测方向矢量vp＝(dx，dy)，生成分块Pi n内的像素的预测值。
其中，将生成预测值的像素(预测对象像素)的分块Pi n内的相对坐标(以分块的左上像素为原点)设为(x，y)。
预测中使用的参照像素的位置成为下述所示的A与邻接像素的交点。
其中，k是正的标量值。
在参照像素处于整数像素位置的情况下，将该整数像素作为预测对象像素的预测值。
另一方面，在参照像素不处于整数像素位置的情况下，将根据与参照像素邻接的整数像素生成的插值像素作为预测值。
在图8的例子中，参照像素不处于整数像素位置，所以根据与参照像素邻接的2个像素进行内插而计算预测值。但是，预测值不限于根据邻接的2个像素生成，也可以根据邻接的2个像素以上的像素生成插值像素而作为预测值。
接下来，通过针对利用上述步骤生成的中间预测图像(预测值)进行滤波处理来取得最终的预测图像。
以下，说明具体的滤波处理。
从预先准备的至少一个以上的滤波器之中，通过后述手法选择要使用的滤波器，针对中间预测图像的各像素，依照下述的式(1)进行滤波处理。
在式(1)中，an(n＝0，1，...，N)是由与参照像素有关的系数(a0，a1，...，aN－1)和偏置系数aN构成的滤波系数。
pn(n＝0，1，...，N－1)表示包括滤波处理对象像素p0的滤波器的参照像素。
s(pn)表示各参照像素的亮度值、s帽(p0)表示滤波处理对象像素p0中的滤波处理后的亮度值。
但是，滤波系数也可以构成为没有偏置系数aN。另外，N是任意的参照像素数。
图9是示出N＝5的情况的参照像素配置的一个例子的说明图。
在进行上述滤波处理时，分块Pi n的尺寸(li n×mi n)越大，在输入图像中越容易存在非直线的边缘等，越容易产生与中间预测图像的预测方向的偏差，所以优选对中间预测图像进行平滑化。
进而，预测误差的量化值越大，解码图像中产生的量化失真越大，根据与分块Pi n邻接的已编码像素生成的中间预测图像的预测精度越低，所以优选准备粗略地表现分块Pi n那样的被平滑化的预测图像。
进而，在相同的分块Pi n内的像素中，越是远离中间预测图像的生成中使用的与分块Pi n邻接的已编码像素的像素，在中间预测图像与输入图像之间越容易产生边缘等的偏差，所以优选对预测图像进行平滑化，抑制产生了偏差时的急剧的预测误差增加。
另外，不仅需要变化滤波器的强度，而且对于滤波器的参照像素配置，也需要根据中间预测图像的预测方向适当地配置参照像素，以使得防止中间预测图像的边缘等图样不自然地失真。
因此，在滤波器选择处理中，构成为考虑下述的4个参数(1)～(4)，来选择滤波器。
(1)分块Pi n的尺寸(li n×mi n)
(2)预测误差编码参数中包含的量化参数
(3)在中间预测图像的生成时使用的已编码像素(图8所示的“预测中使用的像素”)群与滤波处理对象像素的距离
(4)生成了中间预测图像时的帧内预测模式的索引值
具体而言，分块Pi n的尺寸(li n×mi n)越大、由量化参数决定的量化值越大、滤波处理对象像素与位于分块Pi n的左边以及上面的中间预测图像的生成时使用的已编码像素群的距离越大，则构成为使用平滑化的强度越强的滤波器，并且，成为考虑了帧内预测模式的预测方向的滤波强度以及参照像素配置。即，通过针对上述参数的各个组合，从预先准备的滤波器群之中进行适当的滤波器的对应关联，从而实现与上述参数对应的滤波器的自适应选择。
但是，滤波强度的种类只要是2种类以上，则可以是任意个种类，作为滤波器的强度的表现，也可以将最弱的滤波器定义为与没有滤波处理等价的处理。因此，也可以构成如下那样的滤波处理：仅对中间预测图像内的特定的像素进行滤波处理，对其以外的像素进行最弱的滤波处理即不进行滤波处理。
另外，在上述说明中，以预先准备了必要的数量的滤波器为前提而进行了说明，但也可以将滤波器定义为上述滤波器选择参数的函数来使用以根据上述滤波器选择参数的值来计算出滤波器。
进而，在上述说明中，示出了构成为考虑4个参数(1)～(4)来选择滤波器的例子，但也可以构成为考虑4个参数(1)～(4)中的至少1个以上的参数来选择滤波器。作为一个例子，可以举出如下结构：在考虑上述4个参数中的(3)和(4)的情况下，根据帧内预测模式的预测方向，距各滤波处理对象像素的预测中使用的像素的距离(在图8的例子中，与邻接于块的上端的“参照像素”的距离)越大，选择强度越强的滤波器。
另外，由于4个参数(1)～(4)是在运动图像解码装置侧也已知的参数，所以不会发生任何由于进行上述滤波处理而应编码的附加信息。
通过同样的步骤，生成针对分块Pi n内的亮度信号的所有像素的预测像素，输出所生成的帧内预测图像Pi n。
关于帧内预测图像Pi n的生成中使用的帧内预测参数，为了将其复用到比特流而输出到可变长编码部13。
针对分块Pi n内的色差信号，也通过与亮度信号同样的步骤，实施基于帧内预测参数(帧内预测模式)的帧内预测处理，将帧内预测图像的生成中使用的帧内预测参数输出到可变长编码部13。
其中，关于色差信号的帧内预测，既可以构成为与亮度信号同样地进行在上述中说明的滤波处理，也可以构成为不进行在上述中说明的滤波处理。
接下来，说明图2的图像解码装置的处理内容。
可变长解码部51如果输入了从图1的图像编码装置输出的比特流，则实施针对该比特流的可变长解码处理，按照由1帧以上的图片构成的序列单位或者图片单位对帧尺寸的信息进行解码(图4的步骤ST21)。
可变长解码部51通过与图1的编码控制部1同样的步骤，决定成为实施帧内预测处理(帧之内预测处理)或者运动补偿预测处理(帧之间预测处理)时的处理单位的编码块的最大尺寸，并且决定最大尺寸的编码块被层次性地分割时的上限的层次数(步骤ST22)。
例如，在图像编码装置中根据输入图像的分辨率决定了编码块的最大尺寸的情况下，根据之前解码出的帧尺寸信息来决定编码块的最大尺寸。
另外，在表示编码块的最大尺寸以及上限的层次数的信息复用于比特流中的情况下，参照从该比特流解码出的信息。
在比特流中复用的最大尺寸的编码块B0的编码模式m(B0)中，包括表示最大尺寸的编码块B0的分割状态的信息，所以可变长解码部51解码出比特流中复用的最大尺寸的编码块B0的编码模式m(B0)，从而确定层次性地分割的各个编码块Bn(步骤ST23)。
可变长解码部51如果确定了各个编码块Bn，则解码出该编码块Bn的编码模式m(Bn)，根据属于该编码模式m(Bn)的分块Pi n的信息，确定属于编码块Bn的分块Pi n。
可变长解码部51如果确定了属于编码块Bn的分块Pi n，则针对每个分块Pi n，解码出压缩数据、编码模式、预测误差编码参数、帧内预测参数/帧间预测参数(步骤ST24)。
即，在对编码块Bn分配的编码模式m(Bn)是帧内编码模式的情况下，针对属于编码块的每个分块Pi n解码出帧内预测参数。
在对编码块Bn分配的编码模式m(Bn)是帧间编码模式的情况下，针对属于编码块的每个分块Pi n解码出帧间预测参数。
成为预测处理单位的分块进而根据预测误差编码参数中包含的变换块尺寸信息被分割为成为变换处理单位的1个或者多个分块，针对成为变换处理单位的每个分块解码出压缩数据(变换/量化后的变换系数)。
切换开关52在从可变长解码部51确定的属于编码块Bn的分块Pi n的编码模式m(Bn)是帧内编码模式的情况下(步骤ST25)，将从可变长解码部51输出的帧内预测参数输出到帧内预测部53。
另一方面，在分块Pi n的编码模式m(Bn)是帧间编码模式的情况下(步骤ST25)，将从可变长解码部51输出的帧间预测参数输出到运动补偿预测部54。
帧内预测部53如果从切换开关52接收到帧内预测参数，则与图1的帧内预测部4同样地，使用帧之内的已解码的图像信号，根据该帧内预测参数，实施针对编码块Bn的分块Pi n的帧之内预测处理，从而生成帧内预测图像Pi n(步骤ST26)。
其中，帧内预测部53在生成帧内预测图像Pi n时，通过与图1的帧内预测部4相同的手法，从预先准备的1个以上的滤波器之中，根据与滤波处理对象块的解码有关的各种参数的状态选择滤波器，使用该滤波器，实施针对该帧内预测图像Pi n的滤波处理，将滤波处理后的帧内预测图像Pi n作为最终的帧内预测图像。
另外，在上述说明中，以预先准备了必要的数量的滤波器为前提而进行了说明，但在图1的帧内预测部4以根据滤波器选择中使用的参数的状态来计算滤波器的方式将滤波器定义为上述参数的函数的情况下，帧内预测部53也可以同样地构成为以根据与上述滤波处理对象块的解码有关的各种参数的状态来计算滤波器的方式将滤波器定义为上述参数的函数。
运动补偿预测部54如果从切换开关52接收到帧间预测参数，则使用由运动补偿预测帧存储器59保存的1帧以上的参照图像，根据该帧间预测参数，实施针对编码块Bn的分块Pi n的运动补偿预测处理，从而生成帧间预测图像Pi n(步骤ST27)。
逆量化/逆变换部55使用从可变长解码部51输出的预测误差编码参数中包含的量化参数，对从可变长解码部51输出的与编码块有关的压缩数据进行逆量化，以该预测误差编码参数中包含的变换块尺寸单位，实施逆量化的压缩数据的逆变换处理(例如，逆DCT(逆离散余弦变换)、逆KL变换等逆变换处理)，从而将逆变换处理后的压缩数据作为解码预测误差信号(表示压缩前的差分图像的信号)输出到加法部56(步骤ST28)。
加法部56如果从逆量化/逆变换部55接收到解码预测误差信号，则将该解码预测误差信号和表示由帧内预测部53或者运动补偿预测部54生成的预测图像的预测信号进行相加，从而生成解码图像，将表示该解码图像的解码图像信号保存到帧内预测用存储器57，并且将该解码图像信号输出到环路滤波器部58(步骤ST29)。
直至针对层次性地分割了的所有编码块Bn的处理完成位置，反复实施步骤ST23～ST29的处理(步骤ST30)。
环路滤波器部58如果从加法部56接收到解码图像信号，则补偿该解码图像信号中包含的编码失真，将编码失真补偿后的解码图像信号表示的解码图像作为参照图像保存到运动补偿预测帧存储器59(步骤ST31)。
利用环路滤波器部58的滤波处理既可以以从加法部56输出的解码图像信号的最大编码块或者各个编码块单位进行，也可以在输出了与1个画面量的宏块相当的解码图像信号之后集中1个画面量来进行。
如以上说明，根据该实施方式1，运动图像编码装置的帧内预测部4在通过使用帧之内的已编码的图像信号来实施帧之内预测处理而生成帧内预测图像时，从预先准备的1个以上的滤波器之中，根据与滤波处理对象块的编码有关的各种参数的状态选择滤波器，使用该滤波器，实施针对预测图像的滤波处理，所以起到能够降低局部地发生的预测误差来提高图像质量的效果。
另外，根据该实施方式1，帧内预测部4在(1)分块Pi n的尺寸(li n×mi n)、(2)预测误差编码参数中包含的量化参数、(3)中间预测图像的生成时使用的已编码像素群与滤波处理对象像素的距离、(4)生成了中间预测图像时的帧内预测模式的索引值之中，考虑至少1个以上的参数来选择滤波器，所以得到如下效果：抑制在与编码对象图像的相关性高的中间预测图像中在编码对象图像的边缘的方向与预测方向之间稍微地产生偏差或者在边缘存在稍微的失真的情况下产生的局部性的预测误差，起到能够改善预测效率的效果。
根据该实施方式1，运动图像解码装置的帧内预测部53在通过使用帧之内的已解码的图像信号来实施帧之内预测处理而生成帧内预测图像时，从预先准备的1个以上的滤波器之中，根据与滤波处理对象块的解码有关的各种参数的状态选择滤波器，使用该滤波器，实施针对预测图像的滤波处理，所以起到如下效果：降低局部地发生的预测误差，在运动图像解码装置侧也能够生成与在运动图像编码装置侧生成的帧内预测图像相同的帧内预测图像。
另外，根据该实施方式1，帧内预测部53在(1)分块Pi n的尺寸(li n×mi n)、(2)预测误差编码参数中包含的量化参数、(3)中间预测图像的生成时使用的已编码像素群与滤波处理对象像素的距离、(4)生成了中间预测图像时的帧内预测模式的索引值之中，考虑至少1个以上的参数来选择滤波器，所以得到如下效果：抑制在与编码对象图像的相关性高的中间预测图像中在编码对象图像的边缘的方向与预测方向之间稍微地产生偏差或者在边缘存在稍微的失真的情况下产生的局部性的预测误差，起到在运动图像解码装置侧也能够生成与在运动图像编码装置侧生成的帧内预测图像相同的帧内预测图像的效果。
实施方式2.
在上述实施方式1中，示出了如下例子：帧内预测部4在通过使用帧之内的已编码的图像信号来实施帧之内预测处理而生成帧内预测图像时，从预先准备的1个以上的滤波器之中，根据与滤波处理对象块的编码有关的各种参数的状态选择滤波器，使用该滤波器，实施针对预测图像的滤波处理。但也可以设计编码对象的块和预测图像间的平方误差和成为最小的维纳滤波器，在与使用从预先准备的1个以上的滤波器之中选择的滤波器相比使用上述维纳滤波器时预测误差的降低程度更高的情况下，代替该选择的滤波器而使用上述维纳滤波器，实施针对预测图像的滤波处理。
以下，具体说明处理内容。
在上述实施方式1中，帧内预测部4、53从预先准备的1个以上的滤波器之中，根据与滤波处理对象块的编码有关的各种参数的状态选择滤波器。但是，在考虑4个参数(1)～(4)来选择滤波器的情况下，能够从选择候补之中选择适当的滤波器，但在除了选择候补以外存在最佳的滤波器的情况下，无法进行“最佳的滤波处理”。
在该实施方式2中，其特征在于，按照图片单位，在运动图像编码装置侧，设计最佳的滤波器来实施滤波处理，并且对该滤波器的滤波系数等进行编码，在运动图像解码装置侧，解码出该滤波系数等来实施使用了该滤波器的滤波处理。
运动图像编码装置的帧内预测部4与上述实施方式1同样地，通过实施针对编码块Bn的分块Pi n的帧之内预测处理，从而生成帧内预测图像Pi n。
另外，帧内预测部4通过与上述实施方式1同样的方法，从预先准备的1个以上的滤波器之中，根据与滤波处理对象块的编码有关的各种参数的状态选择滤波器，使用该滤波器对帧内预测图像Pi n进行滤波处理。
帧内预测部4在图片内的所有编码块Bn中决定了帧内预测参数之后，针对在图片内使用了相同的滤波器的区域(具有同一滤波器索引的区域)的每一个，设计该区域内的输入图像和帧内预测图像的平方误差和(对象区域内的平均平方误差)成为最小的维纳滤波器。
关于维纳滤波器，能够通过中间预测图像信号s’的自相关矩阵Rs's'、以及输入图像信号s与中间预测图像信号s’的互相关矩阵Rss'，根据下述的式(4)求出滤波系数w。矩阵Rs's'，Rss'的大小对应于所求出的滤波器抽头数。
帧内预测部4如果设计了维纳滤波器，则将使用该维纳滤波器来实施了滤波处理时的滤波器设计对象区域内的平方误差和设为D1，将对与该维纳滤波器有关的信息(例如，滤波系数)进行了编码时的代码量设为R1，将使用与上述实施方式1同样的方法选择的滤波器来实施了滤波处理时的滤波器设计对象区域内的平方误差和设为D2，确认下述的式(5)是否成立。
D1+λ·R1<D2 (5)
其中，λ是常数。
帧内预测部4在式(5)成立的情况下，代替通过与上述实施方式1同样的方法选择的滤波器，而使用该维纳滤波器来实施滤波处理。
另一方面，在式(5)不成立的情况下，使用通过与上述实施方式1同样的方法选择的滤波器来实施滤波处理。
此处，虽然使用平方误差和D1、D2进行了评价，但不限于此，也可以代替平方误差和D1、D2，而使用误差的绝对值和等其他表示预测的失真的尺度来进行评价。
帧内预测部4在使用维纳滤波器来实施滤波处理的情况下，需要该维纳滤波器的滤波系数、表示将哪个索引的滤波器置换为维纳滤波器的滤波器更新信息。
具体而言，在将可通过使用了滤波器选择参数的滤波处理而选择的滤波器的数量设为L并对各滤波器分配0～L－1的索引的情况下，针对各个索引，在使用所设计出的维纳滤波器的情况下，需要将“1”的值作为滤波器更新信息进行编码，在使用预先准备的滤波器的情况下，需要将“0”的值作为滤波器更新信息进行编码。
可变长编码部13对从帧内预测部4输出的滤波器更新信息进行可变长编码，将该滤波器更新信息的编码数据复用到比特流。
此处，示出了针对在图片内使用了相同的滤波器的区域的每一个设计该区域内的输入图像和预测图像的平均平方误差成为最小的维纳滤波器的例子，但也可以构成为不按照图片单位而按照其他特定的区域单位，针对使用了相同的滤波器的区域的每个，设计该区域内的输入图像和预测图像的平均平方误差成为最小的维纳滤波器，也可以仅针对某特定的图片进行滤波器设计、或者仅限于符合特定的条件的情况(例如，附加场景变换检测功能并检测到场景变换的图片的情况)下进行上述滤波器设计。
运动图像解码装置的可变长解码部51根据比特流中复用的编码数据可变长解码出滤波器更新信息。
帧内预测部53与上述实施方式1同样地，实施针对编码块Bn的分块Pi n的帧之内预测处理，从而生成帧内预测图像Pi n。
帧内预测部53如果从可变长解码部51接收到滤波器更新信息，则参照该滤波器更新信息，确认在相应的索引的滤波器中有无更新。
帧内预测部53在该确认的结果，某区域的滤波器被置换为维纳滤波器的情况下，读出该滤波器更新信息中包含的维纳滤波器的滤波系数，确定该维纳滤波器，使用该维纳滤波器，实施帧内预测图像Pi n的滤波处理。
另一方面，在未被置换为维纳滤波器的区域中，通过与上述实施方式1同样的方法选择滤波器，使用该滤波器，实施帧内预测图像Pi n的滤波处理。
如以上说明，根据该实施方式2，设计编码对象的块与预测图像间的平方误差和成为最小的维纳滤波器，在与使用从预先准备的1个以上的滤波器之中选择的滤波器相比使用该维纳滤波器时预测误差的降低程度更高的情况下，代替该选择的滤波器而使用该维纳滤波器，来实施针对预测图像的滤波处理，所以起到能够比上述实施方式1进一步降低局部地发生的预测误差的效果。
另外，本申请发明在该发明的范围内，能够进行各实施方式的自由的组合、或者各实施方式的任意的构成要素的变形、或者在各实施方式中能够省略任意的构成要素。
产业上的可利用性
以上那样，本发明的运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法构成为帧内预测单元在通过使用帧之内的已编码的图像信号来实施帧之内预测处理而生成预测图像时，从预先准备的1个以上的滤波器之中，根据与滤波处理对象块的编码有关的各种参数的状态选择滤波器，使用该滤波器，实施针对预测图像的滤波处理，将滤波处理后的预测图像输出到差分图像生成单元，所以适用于对运动图像高效地进行编码的运动图像编码装置以及运动图像编码方法、和对被高效地编码的运动图像进行解码的运动图像解码装置以及运动图像解码方法等。

Claims (8)

1.一种图像解码装置，其特征在于，
具备帧内预测单元，该帧内预测单元在与编码块有关的编码模式是帧内编码模式的情况下，针对成为预测处理的单位的分块的每一个分块实施帧内预测处理，生成帧内预测图像，
所述帧内预测单元按照帧内预测模式，根据参照像素生成中间预测图像，针对所述分块的亮度信号，按照所述分块的尺寸选择滤波器，仅针对所述中间预测图像的特定的位置的像素进行滤波处理，从而生成所述帧内预测图像。
2.一种图像编码装置，其特征在于，
具备帧内预测单元，该帧内预测单元在与编码块有关的编码模式是帧内编码模式的情况下，针对成为预测处理的单位的分块的每一个分块实施帧内预测处理，生成帧内预测图像，
所述帧内预测单元按照帧内预测模式，根据参照像素生成中间预测图像，针对所述分块的亮度信号，按照所述分块的尺寸选择滤波器，仅针对所述中间预测图像的特定的位置的像素进行滤波处理，从而生成所述帧内预测图像。
3.一种图像编码方法，其特征在于，
具备帧内预测处理步骤，在该帧内预测处理步骤中，在与编码块有关的编码模式是帧内编码模式的情况下，针对成为预测处理的单位的分块的每一个分块实施帧内预测处理，生成帧内预测图像，
在所述帧内预测处理步骤中，按照帧内预测模式，根据参照像素生成中间预测图像，针对所述分块的亮度信号，按照所述分块的尺寸选择滤波器，仅针对所述中间预测图像的特定的位置的像素进行滤波处理，从而生成所述帧内预测图像。
4.一种图像解码方法，其特征在于，
具备帧内预测处理步骤，在该帧内预测处理步骤中，在与编码块有关的编码模式是帧内编码模式的情况下，针对成为预测处理的单位的分块的每一个分块实施帧内预测处理，生成帧内预测图像，
在所述帧内预测处理步骤中，按照帧内预测模式，根据参照像素生成中间预测图像，针对所述分块的亮度信号，按照所述分块的尺寸选择滤波器，仅针对所述中间预测图像的特定的位置的像素进行滤波处理，从而生成所述帧内预测图像。
5.一种图像解码装置，其特征在于，
具备帧内预测单元，该帧内预测单元在与编码块有关的编码模式是帧内编码模式的情况下，针对成为预测处理的单位的分块的每一个分块实施帧内预测处理，生成帧内预测图像，
所述帧内预测单元按照帧内预测模式，根据参照像素生成中间预测图像，针对所述分块的亮度信号，按照所述帧内预测模式的索引值选择滤波器，仅针对所述中间预测图像的特定的位置的像素进行滤波处理，从而生成所述帧内预测图像。
6.一种图像编码装置，其特征在于，
具备帧内预测单元，该帧内预测单元在与编码块有关的编码模式是帧内编码模式的情况下，针对成为预测处理的单位的分块的每一个分块实施帧内预测处理，生成帧内预测图像，
所述帧内预测单元按照帧内预测模式，根据参照像素生成中间预测图像，针对所述分块的亮度信号，按照所述帧内预测模式的索引值选择滤波器，仅针对所述中间预测图像的特定的位置的像素进行滤波处理，从而生成所述帧内预测图像。
7.一种图像编码方法，其特征在于，
具备帧内预测处理步骤，在该帧内预测处理步骤中，在与编码块有关的编码模式是帧内编码模式的情况下，针对成为预测处理的单位的分块的每一个分块实施帧内预测处理，生成帧内预测图像，
在所述帧内预测处理步骤中，按照帧内预测模式，根据参照像素生成中间预测图像，针对所述分块的亮度信号，按照所述帧内预测模式的索引值选择滤波器，仅针对所述中间预测图像的特定的位置的像素进行滤波处理，从而生成所述帧内预测图像。
8.一种图像解码方法，其特征在于，
具备帧内预测处理步骤，在该帧内预测处理步骤中，在与编码块有关的编码模式是帧内编码模式的情况下，针对成为预测处理的单位的分块的每一个分块实施帧内预测处理，生成帧内预测图像，
在所述帧内预测处理步骤中，按照帧内预测模式，根据参照像素生成中间预测图像，针对所述分块的亮度信号，按照所述帧内预测模式的索引值选择滤波器，仅针对所述中间预测图像的特定的位置的像素进行滤波处理，从而生成所述帧内预测图像。
CN201610088366.8A 2010-09-30 2011-07-21 运动图像编码装置及方法、运动图像解码装置及方法 Active CN105657423B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010221471 2010-09-30
JP2010-221471 2010-09-30
CN201180047243.5A CN103141106B (zh) 2010-09-30 2011-07-21 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180047243.5A Division CN103141106B (zh) 2010-09-30 2011-07-21 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法

Publications (2)

Publication Number Publication Date
CN105657423A CN105657423A (zh) 2016-06-08
CN105657423B true CN105657423B (zh) 2019-02-01

Family

ID=45892218

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201610088366.8A Active CN105657423B (zh) 2010-09-30 2011-07-21 运动图像编码装置及方法、运动图像解码装置及方法
CN201610088037.3A Active CN105516723B (zh) 2010-09-30 2011-07-21 运动图像编码装置及方法、运动图像解码装置及方法
CN201180047243.5A Active CN103141106B (zh) 2010-09-30 2011-07-21 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
CN201610087695.0A Active CN105744274B (zh) 2010-09-30 2011-07-21 运动图像编码装置及方法、运动图像解码装置及方法
CN201610087675.3A Active CN105516722B (zh) 2010-09-30 2011-07-21 运动图像编码装置及方法、运动图像解码装置及方法

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN201610088037.3A Active CN105516723B (zh) 2010-09-30 2011-07-21 运动图像编码装置及方法、运动图像解码装置及方法
CN201180047243.5A Active CN103141106B (zh) 2010-09-30 2011-07-21 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
CN201610087695.0A Active CN105744274B (zh) 2010-09-30 2011-07-21 运动图像编码装置及方法、运动图像解码装置及方法
CN201610087675.3A Active CN105516722B (zh) 2010-09-30 2011-07-21 运动图像编码装置及方法、运动图像解码装置及方法

Country Status (13)

Country Link
US (5) US10291939B2 (zh)
EP (2) EP3661213A1 (zh)
JP (5) JP5503747B2 (zh)
KR (6) KR101563835B1 (zh)
CN (5) CN105657423B (zh)
BR (1) BR112013006501B1 (zh)
CA (5) CA3052614C (zh)
HK (3) HK1182244A1 (zh)
MX (2) MX2013003696A (zh)
RU (5) RU2608674C2 (zh)
SG (5) SG10201912003RA (zh)
TW (5) TWI603612B (zh)
WO (1) WO2012042720A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5503747B2 (ja) * 2010-09-30 2014-05-28 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
SG10202008690XA (en) 2011-01-12 2020-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
MX347117B (es) 2011-06-24 2017-04-11 Mitsubishi Electric Corp Dispositivo de codificación de imagen, dispositivo de decodificación de imagen, método de codificacion de imagen, metodo de decodificación de imagen, y dispositivo de predicción de imagen.
JP2013012895A (ja) * 2011-06-29 2013-01-17 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム及び画像復号プログラム
DK2744204T3 (en) * 2011-09-14 2019-01-14 Samsung Electronics Co Ltd PROCEDURE FOR DECODING A PREVIEW UNIT (PU) BASED ON ITS SIZE.
WO2013081085A1 (en) * 2011-11-28 2013-06-06 Canon Kabushiki Kaisha Moving image encoding apparatus, control method thereof and computer program
CN105981389B (zh) * 2014-02-03 2019-03-01 三菱电机株式会社 图像编码装置、图像解码装置、编码流变换装置、图像编码方法以及图像解码方法
JP6221820B2 (ja) * 2014-02-25 2017-11-01 株式会社Ｊｖｃケンウッド 符号化装置、符号化方法および符号化プログラム
JP2016146572A (ja) * 2015-02-09 2016-08-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像処理システム、動画像符号化方法、動画像復号方法、およびプログラム
CN107409207B (zh) * 2015-03-23 2020-07-28 Lg 电子株式会社 在内预测模式的基础上处理图像的方法及其装置
JP6357133B2 (ja) * 2015-06-10 2018-07-11 日本電信電話株式会社 イントラ予測処理装置、イントラ予測処理方法、イントラ予測処理プログラム、画像符号化装置及び画像復号装置
CN105049846B (zh) * 2015-08-14 2019-05-21 广东中星微电子有限公司 图像和视频编解码的方法和设备
CN108028926B (zh) * 2015-08-20 2021-08-24 日本放送协会 图像编码装置、图像解码装置
CN105872538B (zh) * 2016-04-18 2020-12-29 广东中星微电子有限公司 时域滤波方法和时域滤波装置
JPWO2017204185A1 (ja) * 2016-05-27 2019-03-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法、および復号方法
WO2018066958A1 (ko) 2016-10-04 2018-04-12 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2018105759A1 (ko) * 2016-12-05 2018-06-14 엘지전자(주) 영상 부호화/복호화 방법 및 이를 위한 장치
CN110290384A (zh) * 2018-03-19 2019-09-27 华为技术有限公司 图像滤波方法、装置及视频编解码器
CN110650349B (zh) 2018-06-26 2024-02-13 中兴通讯股份有限公司 一种图像编码方法、解码方法、编码器、解码器及存储介质
WO2020249124A1 (en) 2019-06-14 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Handling video unit boundaries and virtual boundaries based on color format
EP3981150A4 (en) 2019-07-09 2022-08-03 Beijing Bytedance Network Technology Co., Ltd. SAMPLE DETERMINATION FOR ADAPTIVE LOOP FILTERING
AU2020309130B2 (en) 2019-07-11 2023-06-08 Beijing Bytedance Network Technology Co., Ltd. Sample padding in adaptive loop filtering
JP7361196B2 (ja) 2019-07-15 2023-10-13 北京字節跳動網絡技術有限公司 適応ループ・フィルタリングにおける分類
EP4018652A4 (en) 2019-09-22 2022-11-02 Beijing Bytedance Network Technology Co., Ltd. FILLING METHOD IN AN ADAPTIVE LOOP FILTER
KR20220063177A (ko) 2019-09-27 2022-05-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 상이한 비디오 유닛들 간의 적응적 루프 필터링
JP7454042B2 (ja) 2019-10-10 2024-03-21 北京字節跳動網絡技術有限公司 適応ループ・フィルタリングにおける利用可能でないサンプル位置でのパディング・プロセス
US20220060702A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Systems and methods for intra prediction smoothing filter

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101502124A (zh) * 2006-07-28 2009-08-05 株式会社东芝 图像编码和解码的方法以及装置
WO2009120040A2 (en) * 2008-03-27 2009-10-01 Lg Electronics Inc. A method and an apparatus for encoding or decoding a video signal
CN101646085A (zh) * 2003-07-18 2010-02-10 索尼株式会社 图像信息编码装置和方法,以及图像信息解码装置和方法
CN101715135A (zh) * 2009-09-30 2010-05-26 武汉大学 基于模板匹配的自适应帧内预测滤波编码方法

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US103475A (en) * 1870-05-24 Improvement in water-wheels
DE10158658A1 (de) 2001-11-30 2003-06-12 Bosch Gmbh Robert Verfahren zur gerichteten Prädiktion eines Bildblockes
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
US20040202921A1 (en) 2003-04-14 2004-10-14 Gencell Corporation Apparatus and method for addition of electrolyte to fuel cells
JP4699685B2 (ja) * 2003-08-21 2011-06-15 パナソニック株式会社 信号処理装置及びそれを用いた電子機器
WO2005083253A1 (en) * 2004-02-27 2005-09-09 Yamaha Hatsudoki Kabushiki Kaisha Engine component part and method for producing the same
KR100616164B1 (ko) * 2004-05-12 2006-08-25 주식회사 대우일렉트로닉스 메디안 필터를 이용한 적응적인 영상 디인터레이스 장치및 그 방법
KR100813958B1 (ko) * 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
KR20070026515A (ko) * 2004-06-14 2007-03-08 모노리스 컴퍼니 리미티드 동영상 부호화 방법 및 동영상 복호 방법
JP2006032999A (ja) * 2004-07-12 2006-02-02 Sharp Corp 画像復号装置及び画像復号方法
US7283634B2 (en) 2004-08-31 2007-10-16 Dts, Inc. Method of mixing audio channels using correlated outputs
JP2006157481A (ja) * 2004-11-30 2006-06-15 Canon Inc 画像符号化装置及びその方法
JP2006229411A (ja) * 2005-02-16 2006-08-31 Matsushita Electric Ind Co Ltd 画像復号化装置及び画像復号化方法
JP2006254232A (ja) 2005-03-11 2006-09-21 Toshiba Corp 情報処理装置およびプログラム
JP5122448B2 (ja) * 2005-06-30 2013-01-16 フランス・テレコム ビデオ符号化方法及び装置
US20090123066A1 (en) * 2005-07-22 2009-05-14 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein,
WO2007055445A1 (en) 2005-11-11 2007-05-18 Daegu Gyeongbuk Institute Of Science And Technology A pre-viewing method of multiple movies or movie-clips in multimedia apparatus
KR100977101B1 (ko) * 2005-11-30 2010-08-23 가부시끼가이샤 도시바 화상 부호화/화상 복호화 방법 및 화상 부호화/화상 복호화장치
TW200808067A (en) * 2006-07-31 2008-02-01 Univ Nat Cheng Kung Prediction module
US9001899B2 (en) 2006-09-15 2015-04-07 Freescale Semiconductor, Inc. Video information processing system with selective chroma deblock filtering
EP2082585A2 (en) 2006-10-18 2009-07-29 Thomson Licensing Method and apparatus for video coding using prediction data refinement
JP4571955B2 (ja) * 2007-02-07 2010-10-27 日本電信電話株式会社 適応デブロッキング処理方法，装置および適応デブロッキング処理プログラム並びにコンピュータ読み取り可能な記録媒体
US7991237B2 (en) * 2007-06-28 2011-08-02 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
TWI410139B (zh) * 2007-09-12 2013-09-21 Sony Corp Image processing apparatus and image processing method
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
KR101460608B1 (ko) 2008-03-04 2014-11-14 삼성전자주식회사 필터링된 예측 블록을 이용한 영상 부호화, 복호화 방법 및장치
PL2288163T3 (pl) 2008-05-07 2015-11-30 Lg Electronics Inc Sposób i urządzenie do dekodowania sygnału wideo
JP2009284298A (ja) * 2008-05-23 2009-12-03 Hitachi Ltd 動画像符号化装置、動画像復号化装置、動画像符号化方法及び動画像復号化方法
JP5137687B2 (ja) * 2008-05-23 2013-02-06 キヤノン株式会社 復号装置及び復号方法、プログラム
KR101517768B1 (ko) * 2008-07-02 2015-05-06 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
US20100008603A1 (en) * 2008-07-09 2010-01-14 Julie Rossing Smith Sealable repulpable valve bag and method of assembling
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
WO2010041858A2 (en) * 2008-10-06 2010-04-15 Lg Electronics Inc. A method and an apparatus for decoding a video signal
KR101590500B1 (ko) * 2008-10-23 2016-02-01 에스케이텔레콤 주식회사 동영상 부호화/복호화 장치, 이를 위한 인트라 예측 방향에기반한 디블록킹 필터링 장치 및 필터링 방법, 및 기록 매체
JPWO2010064675A1 (ja) 2008-12-03 2012-05-10 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP2010183162A (ja) * 2009-02-03 2010-08-19 Mitsubishi Electric Corp 動画像符号化装置
WO2010095916A1 (ru) 2009-02-20 2010-08-26 Bogamedov Gazimagomed Abulovich Изоляционный материал «pизoлин»
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
EP2411142B1 (en) 2009-02-27 2016-11-16 Inventys Thermal Technologies Inc. Parallel passage fluid contactor structure
JP5326828B2 (ja) * 2009-06-03 2013-10-30 富士通株式会社 動画像符号化装置及び動画像符号化方法
KR101510108B1 (ko) * 2009-08-17 2015-04-10 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2011046607A2 (en) * 2009-10-14 2011-04-21 Thomson Licensing Filtering and edge encoding
KR101457418B1 (ko) 2009-10-23 2014-11-04 삼성전자주식회사 계층적 부호화 단위의 크기에 따른 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
JP4983908B2 (ja) 2009-12-28 2012-07-25 ソニー株式会社 復号装置及び方法
JP2011166326A (ja) * 2010-02-05 2011-08-25 Sony Corp 画像処理装置および方法
KR20110113561A (ko) 2010-04-09 2011-10-17 한국전자통신연구원 적응적인 필터를 이용한 인트라 예측 부호화/복호화 방법 및 그 장치
EP3288265B1 (en) * 2010-04-26 2019-01-23 Sun Patent Trust Filtering mode for intra prediction inferred from statistics of surrounding blocks
CN101848394B (zh) * 2010-05-25 2012-01-18 宁波中科集成电路设计中心有限公司 一种无线视频传感器的avs编码功耗模型优化方法
KR20120012385A (ko) 2010-07-31 2012-02-09 오수미 인트라 예측 부호화 장치
JP5503747B2 (ja) * 2010-09-30 2014-05-28 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
WO2013013078A1 (en) * 2011-07-19 2013-01-24 Edison Pharmeceuticals, Inc. Methods for selective oxidation of alpha tocotrienol in the presence of non-alpha tocotrienols

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101646085A (zh) * 2003-07-18 2010-02-10 索尼株式会社 图像信息编码装置和方法,以及图像信息解码装置和方法
CN101502124A (zh) * 2006-07-28 2009-08-05 株式会社东芝 图像编码和解码的方法以及装置
WO2009120040A2 (en) * 2008-03-27 2009-10-01 Lg Electronics Inc. A method and an apparatus for encoding or decoding a video signal
CN101715135A (zh) * 2009-09-30 2010-05-26 武汉大学 基于模板匹配的自适应帧内预测滤波编码方法

Also Published As

Publication number Publication date
US10291939B2 (en) 2019-05-14
CA2812201C (en) 2020-06-23
KR101578318B1 (ko) 2015-12-16
KR20140102324A (ko) 2014-08-21
US10237551B2 (en) 2019-03-19
KR20140102325A (ko) 2014-08-21
JPWO2012042720A1 (ja) 2014-02-03
MX338462B (es) 2016-04-15
TW201515447A (zh) 2015-04-16
RU2693910C1 (ru) 2019-07-05
JP6005087B2 (ja) 2016-10-12
US20150172724A1 (en) 2015-06-18
TW201640899A (zh) 2016-11-16
MX2013003696A (es) 2013-05-20
KR101563834B1 (ko) 2015-10-27
JP6851429B2 (ja) 2021-03-31
HK1219593A1 (zh) 2017-04-07
TWI606720B (zh) 2017-11-21
US10237550B2 (en) 2019-03-19
TWI472229B (zh) 2015-02-01
CA3188026A1 (en) 2012-04-05
CN105516723A (zh) 2016-04-20
KR20140102323A (ko) 2014-08-21
HK1182244A1 (zh) 2013-11-22
KR101563833B1 (ko) 2015-10-27
US20150245022A1 (en) 2015-08-27
US10244264B2 (en) 2019-03-26
KR20130101070A (ko) 2013-09-12
RU2674306C1 (ru) 2018-12-06
TW201223288A (en) 2012-06-01
CN105657423A (zh) 2016-06-08
TWI566588B (zh) 2017-01-11
CN105516722A (zh) 2016-04-20
KR20140106742A (ko) 2014-09-03
CN103141106B (zh) 2016-03-16
WO2012042720A1 (ja) 2012-04-05
JP6775539B2 (ja) 2020-10-28
JP2017017736A (ja) 2017-01-19
CA3052614A1 (en) 2012-04-05
SG10201911999WA (en) 2020-02-27
TW201639372A (zh) 2016-11-01
US20150237379A1 (en) 2015-08-20
CA3000366C (en) 2019-11-19
CA3000366A1 (en) 2012-04-05
BR112013006501A2 (pt) 2016-07-12
TWI603612B (zh) 2017-10-21
RU2013119934A (ru) 2014-11-10
US10244233B2 (en) 2019-03-26
RU2544799C2 (ru) 2015-03-20
KR101563835B1 (ko) 2015-10-27
RU2642356C1 (ru) 2018-01-24
KR101669388B1 (ko) 2016-10-25
US20130188706A1 (en) 2013-07-25
JP5503747B2 (ja) 2014-05-28
EP2624563A1 (en) 2013-08-07
JP6675289B2 (ja) 2020-04-01
SG10201507816SA (en) 2015-10-29
SG10201912003RA (en) 2020-02-27
RU2015102755A (ru) 2015-06-10
EP3661213A1 (en) 2020-06-03
CN105516723B (zh) 2018-07-27
CN105744274A (zh) 2016-07-06
JP2019149847A (ja) 2019-09-05
JP2014123988A (ja) 2014-07-03
CN103141106A (zh) 2013-06-05
TWI606721B (zh) 2017-11-21
SG189076A1 (en) 2013-05-31
US20150245023A1 (en) 2015-08-27
CA3052614C (en) 2021-03-09
SG10201912001PA (en) 2020-02-27
KR20160003876A (ko) 2016-01-11
BR112013006501B1 (pt) 2022-10-18
KR101580021B1 (ko) 2015-12-23
CA3105771C (en) 2023-04-25
JP2018117379A (ja) 2018-07-26
TW201640900A (zh) 2016-11-16
RU2608674C2 (ru) 2017-01-23
CA3105771A1 (en) 2012-04-05
CN105516722B (zh) 2018-12-07
CN105744274B (zh) 2019-02-01
HK1219594A1 (zh) 2017-04-07
EP2624563A4 (en) 2016-03-16
CA2812201A1 (en) 2012-04-05

Similar Documents

Publication Publication Date Title
CN105657423B (zh) 运动图像编码装置及方法、运动图像解码装置及方法
CN105872566B (zh) 图像编码装置和方法、以及图像译码装置和方法
CN105847792B (zh) 运动图像编码装置以及图像编码方法
CN106686382B (zh) 图像编码装置和方法、图像解码装置和方法以及记录介质
JP6789256B2 (ja) 画像符号化装置、動画像符号化方法、動画像復号装置及び動画像復号方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1225204

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant