CN106658015A - 图像编码装置以及图像编码方法 - Google Patents

图像编码装置以及图像编码方法 Download PDF

Info

Publication number
CN106658015A
CN106658015A CN201710159012.2A CN201710159012A CN106658015A CN 106658015 A CN106658015 A CN 106658015A CN 201710159012 A CN201710159012 A CN 201710159012A CN 106658015 A CN106658015 A CN 106658015A
Authority
CN
China
Prior art keywords
image
block
coding
prediction
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710159012.2A
Other languages
English (en)
Other versions
CN106658015B (zh
Inventor
关口俊
关口俊一
杉本和夫
坂手宽治
村上笃道
峯泽彰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=47423659&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN106658015(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN106658015A publication Critical patent/CN106658015A/zh
Application granted granted Critical
Publication of CN106658015B publication Critical patent/CN106658015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H04N19/865—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness with detection of the former encoding block subdivision in decompressed video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process

Abstract

本发明公开一种图像编码装置以及图像编码方法。一种图像编码装置，对输入图像实施编码块单位的编码处理，所述图像编码装置具备：失真去除单元，该失真去除单元针对将作为与所述编码块有关的所述输入图像与预测图像的差分的差分图像和所述预测图像相加而得到的解码图像实施滤波处理，去除在所述解码图像的邻接的用于变换所述差分图像的变换块的边界中产生的块失真，所述失真去除单元在去除所述解码图像的块失真时，判定垂直边缘以及水平边缘是否与分区或者变换块的边界一致，根据所述判定的结果和所述编码块的编码模式的信息是帧内部编码模式还是帧之间编码模式来设定滤波强度。

Description

图像编码装置以及图像编码方法
本申请是申请号为201280028658.2，申请日为2012年6月5日，发明名称为“图像编码装置、图像解码装置、图像编码方法以及图像解码方法”的分案申请。
技术领域
本发明涉及对图像进行压缩编码而传送的图像编码装置以及图像编码方法、和从通过图像编码装置传送的编码数据对图像进行解码的图像解码装置以及图像解码方法。
背景技术
以往，在MPEG、ITU-TH.26x等国际标准影像编码方式中，在将输入影像帧分割为由16×16像素块构成的宏块的单位，并实施了运动补偿预测之后，按照块单位对预测差分信号进行正交变换/量化，从而进行信息压缩。
但是，如果压缩率变高，则起因于在实施运动补偿预测时使用的预测参照图像的质量的降低，存在妨碍压缩效率的问题。
因此，在MPEG-4AVC/H.264的编码方式(参照非专利文献1)中，通过实施环内阻塞滤波的处理，从而去除伴随正交变换系数的量化而发生的预测参照图像的块失真。
此处，图16是示出非专利文献1公开的图像编码装置的结构图。
在该图像编码装置中，如果块分割部101输入了编码对象的图像信号，则将该图像信号分割为宏块单位，将宏块单位的图像信号作为分割图像信号输出到预测部102。
预测部102如果从块分割部101接收到分割图像信号，则在帧内或者帧间预测宏块内的各颜色分量的图像信号，计算预测差分信号。
特别是，在帧间实施运动补偿预测的情况下，按照宏块自身、或者将宏块进一步细分割而得到的子块的单位，搜索运动矢量。
然后，使用该运动矢量，实施针对由存储器107保存的参照图像信号的运动补偿预测，从而生成运动补偿预测图像，求出表示该运动补偿预测图像的预测信号与分割图像信号的差分，从而计算预测差分信号。
另外，预测部102将在得到预测信号时决定的预测信号生成用参数输出到可变长编码部108。
另外，在预测信号生成用参数中，例如，包括表示帧间的运动量的运动矢量等信息。
压缩部103如果从预测部102接收到预测差分信号，则在通过实施针对该预测差分信号的DCT(离散余弦变换)处理而去除了信号相关之后，进行量化，从而得到压缩数据。
局部解码部104如果从压缩部103接收到压缩数据，则通过对该压缩数据进行逆量化来实施逆DCT处理，计算与从预测部102输出的预测差分信号相当的预测差分信号。
加法器105如果从局部解码部104接收到预测差分信号，则将该预测差分信号和从预测部102输出的预测信号进行相加，生成局部解码图像。
环路滤波器106去除在表示由加法器105生成的局部解码图像的局部解码图像信号上重叠的块失真，将失真去除后的局部解码图像信号作为参照图像信号保存到存储器107中。
可变长编码部108如果从压缩部103接收到压缩数据，则对该压缩数据进行熵编码，输出作为其编码结果的比特流。
另外，可变长编码部108在输出比特流时，将从预测部102输出的预测信号生成用参数复用到比特流而输出。
此处，在非专利文献1公开的方式中，环路滤波器106针对DCT的块边界的周边像素，根据量化的粗细、编码模式、运动矢量的分散程度等信息来决定平滑化强度(滤波强度)，实施针对局部解码图像的滤波处理，从而谋求降低在块边界中发生的失真(块失真)。
由此，参照图像信号的质量被改善，能够提高以后的编码中的运动补偿预测的效率。
非专利文献1：MPEG-4AVC(ISO/IEC14496-10)/ITU-TH.264标准
发明内容
以往的图像编码装置如以上那样构成，所以在环路滤波器106去除块失真时，关于针对该块的亮度信号分量的滤波的强度，根据编码模式等决定，但关于针对该块的色差信号分量的滤波的强度，挪用针对亮度信号分量的滤波的强度。因此，存在如下课题：针对色差信号分量的滤波的强度不一定恰当，画质的改善效果受限。
本发明是为了解决上述那样的课题而完成的，其目的在于得到一种能够提高块失真的去除精度来改善编码图像的质量的图像编码装置以及图像编码方法。
另外，本发明的目的在于得到一种能够提高块失真的去除精度来改善解码图像的质量的图像解码装置以及图像解码方法。
本发明涉及的图像编码装置，具备：块分割单元，将输入图像分割为成为实施预测处理时的处理单位的块；编码模式决定单元，决定针对由块分割单元分割出的块的编码模式；预测图像生成单元，依照由编码模式决定单元决定的编码模式，一边参照已编码块的局部解码图像，一边实施针对由块分割单元分割出的块的预测处理，生成预测图像；差分图像生成单元，生成由块分割单元分割出的块与由预测图像生成单元生成的预测图像的差分图像；图像压缩单元，对由差分图像生成单元生成的差分图像进行压缩，输出该差分图像的压缩数据；局部解码图像生成单元，对由图像压缩单元压缩的差分图像进行解压缩，将解压缩后的差分图像和由预测图像生成单元生成的预测图像进行相加而生成局部解码图像；失真去除单元，实施针对由局部解码图像生成单元生成的局部解码图像的滤波处理，去除该局部解码图像的块失真；以及编码单元，对从图像压缩单元输出的压缩数据以及由编码模式决定单元决定的编码模式进行编码，生成复用了该压缩数据以及编码模式的编码数据的比特流，失真去除单元在去除局部解码图像的块失真时，与由编码模式决定单元决定的编码模式相应地，按信号分量设定去除块失真的滤波的强度。
根据本发明，构成为具备：块分割单元，将输入图像分割为成为实施预测处理时的处理单位的块；编码模式决定单元，决定针对由块分割单元分割出的块的编码模式；预测图像生成单元，依照由编码模式决定单元决定的编码模式，一边参照已编码块的局部解码图像，一边实施针对由块分割单元分割出的块的预测处理，生成预测图像；差分图像生成单元，生成由块分割单元分割出的块与由预测图像生成单元生成的预测图像的差分图像；图像压缩单元，对由差分图像生成单元生成的差分图像进行压缩，输出该差分图像的压缩数据；局部解码图像生成单元，对由图像压缩单元压缩的差分图像进行解压缩，将解压缩后的差分图像和由预测图像生成单元生成的预测图像进行相加而生成局部解码图像；失真去除单元，实施针对由局部解码图像生成单元生成的局部解码图像的滤波处理，去除该局部解码图像的块失真；以及编码单元，对从图像压缩单元输出的压缩数据以及由编码模式决定单元决定的编码模式进行编码，生成复用了该压缩数据以及编码模式的编码数据的比特流，失真去除单元在去除局部解码图像的块失真时，与由编码模式决定单元决定的编码模式相应地，按信号分量设定去除块失真的滤波的强度，所以具有能够提高块失真的去除精度来改善编码图像的质量的效果。
附图说明
图1是示出本发明的实施方式1的图像编码装置的结构图。
图2是示出本发明的实施方式1的图像编码装置的处理内容的流程图。
图3是示出本发明的实施方式1的图像解码装置的结构图。
图4是示出本发明的实施方式1的图像解码装置的处理内容的流程图。
图5是示出最大大小的编码块被分层地分割为多个编码块的情况的说明图。
图6(a)是示出分割后的分区的分布的图，(b)是通过四叉树图表表示对层次分割后的分区分配编码模式m(Bn)的状况的说明图。
图7是示出编码块内的滤波应用像素的位置的说明图。
图8是示出环路滤波器部11的处理内容的流程图。
图9是示出滤波强度的判定方法的流程图。
图10是示出边缘位置与像素位置的关系的说明图。
图11是示出针对垂直边缘的滤波处理的单位的说明图。
图12是示出针对水平边缘的滤波处理的单位的说明图。
图13是示出Q(亮度的qP值)与参数β、Tc的对应关系的说明图。
图14是示出由可变长编码部13生成的比特流的说明图。
图15是示出编码块Bn的大小是Ln＝kMn的例子的说明图。
图16是示出非专利文献1公开的图像编码装置的结构图。
代码说明
1：编码控制部(编码模式决定单元)；2：块分割部(块分割单元)；3：切换开关(预测图像生成单元)；4：帧内部预测部(预测图像生成单元)；5：运动补偿预测部(预测图像生成单元)；6：减法部(差分图像生成单元)；7：变换/量化部(图像压缩单元)；8：逆量化/逆变换部(局部解码图像)；9：加法部(局部解码图像)；10：帧内部预测用存储器；11：环路滤波器部(失真去除单元)；12：运动补偿预测帧存储器；13：可变长编码部(编码单元)；21：可变长解码部(解码单元)；22：切换开关(预测图像生成单元)；23：帧内部预测部(预测图像生成单元)；24：运动补偿部(预测图像生成单元)；25：逆量化/逆变换部(差分图像生成单元)；26：加法部(解码图像生成单元)；27：帧内部预测用存储器；28：环路滤波器部(失真去除单元)；29：运动补偿预测帧存储器；101：块分割部；102：预测部；103：压缩部；104：局部解码部；105：加法器；106：环路滤波器；107：存储器；108：可变长编码部。
具体实施方式
以下，为了更详细地说明本发明，依照附图，说明用于实施该发明的方式。
实施方式1.
在该实施方式1中，说明：图像编码装置，该图像编码装置输入影像的各帧图像，并针对通过在接近帧间实施运动补偿预测而得到的预测差分信号进行基于正交变换、量化的压缩处理之后，进行可变长编码来生成比特流；和图像解码装置，该图像解码装置对从该图像编码装置输出的比特流进行解码。
该实施方式1的图像编码装置的特征在于，适应于影像信号的空间/时间方向的局部的变化，将影像信号分割为各种大小的区域来进行帧内/帧间自适应编码。
一般情况下，影像信号具有在空间/时间上信号的复杂度局部地变化的特性。在空间上观察时，在某特定的影像帧上，既有如天空、壁等那样的在比较宽的图像区域中具有均匀的信号特性的图样，又混合存在人物、具有细致的纹理的绘画等在小的图像区域内具有复杂的纹理图案的图样。
在时间上观察也是，关于天空、壁，局部上时间方向的图样的变化小，但关于活动的人物、物体，其轮廓在时间上进行刚体/非刚体的运动，所以时间上的变化大。
在编码处理中，通过时间/空间上的预测而生成信号功率、熵小的预测差分信号，从而削减整体的代码量，但如果能够将用于预测的参数均匀地应用于尽可能大的图像信号区域，则能够减小该参数的代码量。
另一方面，如果针对时间/空间上变化大的图像信号图案应用同一预测参数，则预测的错误增加，所以无法削减预测差分信号的代码量。
因此，期望如下：针对时间/空间上变化大的图像信号图案，减小预测对象的区域，由此虽然增加用于预测的参数的数据量，但降低预测差分信号的功率/熵。
为了进行这样的适合于影像信号的一般的性质的编码，在该实施方式1的图像编码装置中，从规定的最大块大小起分层地分割影像信号的区域，并针对每个分割区域实施预测处理、预测差分的编码处理。
该实施方式1的图像编码装置作为处理对象的影像信号除了是由亮度信号和2个色差信号构成的YUV信号、从数字摄像元件输出的RGB信号等任意的颜色空间的彩色影像信号以外，还是单色图像信号、红外线图像信号等影像帧由水平/垂直二维的数字采样(像素)列构成的任意的影像信号。
各像素的灰度既可以是8比特，也可以是10比特、12比特等灰度。
但是，在以下的说明中，只要没有特别说明，则设为输入的影像信号是YUV信号。而且，设为是2个色差分量U、V相对亮度分量Y被子采样的4：2：0格式的信号。
另外，将与影像的各帧对应的处理数据单位称为“图片”，在该实施方式1中，将“图片”作为被逐行扫描(progressive scan)的影像帧的信号而进行说明。但是，在影像信号是隔行扫描信号的情况下，“图片”也可以是作为构成影像帧的单位的场图像信号。另外，在以后的说明中，有时将空间上连续的编码块的群组记载为“切片”。
图1是示出本发明的实施方式1的图像编码装置的结构图。
在图1中，编码控制部1实施如下处理：决定成为实施运动补偿预测处理(帧间预测处理)或者帧内部预测处理(帧内预测处理)时的处理单位的编码块的最大大小，并且决定最大大小的编码块被分层地分割时的上限的层次数。
另外，编码控制部1实施如下处理：从可利用的1个以上的编码模式(1个以上的帧内部编码模式、1个以上的帧之间编码模式)中，选择适合于分层地分割的各个编码块的编码模式。另外，编码控制部1构成了编码模式决定单元。
块分割部2实施如下处理：如果输入了表示输入图像的影像信号，则将该影像信号表示的输入图像分割为由编码控制部1决定的最大大小的编码块，并且直至达到由编码控制部1决定的上限的层次数为止，对该编码块分层地进行分割。另外，块分割部2构成了块分割单元。
切换开关3实施如下处理：如果由编码控制部1选择的编码模式是帧内部编码模式，则将由块分割部2分割的编码块输出到帧内部预测部4，如果由编码控制部1选择的编码模式是帧之间编码模式，则将由块分割部2分割的编码块输出到运动补偿预测部5。
帧内部预测部4实施如下处理：如果从切换开关3接收到由块分割部2分割的编码块，则一边参照由帧内部预测用存储器10保存的已编码块的局部解码图像(参照图像)，一边使用从编码控制部1输出的帧内部预测参数，实施针对该编码块的帧内部预测处理，生成预测图像。
运动补偿预测部5实施如下处理：如果从切换开关3接收到由块分割部2分割的编码块，则通过比较该编码块和由运动补偿预测帧存储器12保存的已编码块的局部解码图像(参照图像)来实施运动搜索并计算运动矢量，使用该运动矢量和从编码控制部1输出的帧之间预测参数，实施针对该编码块的帧之间预测处理(运动补偿预测处理)，生成预测图像。
另外，由切换开关3、帧内部预测部4以及运动补偿预测部5构成了预测图像生成单元。
减法部6实施如下处理：通过从由块分割部2分割的编码块减去由帧内部预测部4或者运动补偿预测部5生成的预测图像，生成差分图像(＝编码块－预测图像)。另外，减法部6构成了差分图像生成单元。
变换/量化部7实施如下处理：按照从编码控制部1输出的预测差分编码参数中包含的变换块大小单位，实施由减法部6生成的差分图像的变换处理(例如DCT(离散余弦变换)、预先对特定的学习系列进行了基础设计的KL变换等正交变换处理)，并且使用该预测差分编码参数中包含的量化参数，对该差分图像的变换系数进行量化，从而将量化后的变换系数作为差分图像的压缩数据输出。另外，变换/量化部7构成了图像压缩单元。
逆量化/逆变换部8实施如下处理：使用从编码控制部1输出的预测差分编码参数中包含的量化参数，对从变换/量化部7输出的压缩数据进行逆量化，按照该预测差分编码参数中包含的变换块大小单位，实施逆量化后的压缩数据的逆变换处理(例如逆DCT(逆离散余弦变换)、逆KL变换等逆变换处理)，从而将逆变换处理后的压缩数据作为局部解码预测差分信号(表示解压缩后的差分图像的数据)输出。
加法部9实施如下处理：通过将从逆量化/逆变换部8输出的局部解码预测差分信号和表示由帧内部预测部4或者运动补偿预测部5生成的预测图像的预测信号进行相加，生成表示局部解码图像的局部解码图像信号。
另外，由逆量化/逆变换部8以及加法部9构成了局部解码图像生成单元。
帧内部预测用存储器10是将由加法部9生成的局部解码图像信号表示的局部解码图像作为通过帧内部预测部4在下次的帧内部预测处理中使用的图像保存的RAM等记录介质。
环路滤波器部11实施如下处理：通过实施针对由加法部9生成的局部解码图像信号的滤波处理(环路滤波处理)，去除在块边界中发生的失真(块失真)。
环路滤波器部11在去除局部解码图像的块失真时，与由编码控制部1选择的编码模式(帧内部编码模式、帧之间编码模式)相应地，按信号分量(亮度信号分量、色差信号分量)设定去除块失真的滤波的强度。
另外，环路滤波器部11构成了失真去除单元。
运动补偿预测帧存储器12是将由环路滤波器部11进行了滤波处理后的局部解码图像作为通过运动补偿预测部5在下次的运动补偿预测处理中使用的参照图像保存的RAM等记录介质。
可变长编码部13实施如下处理：对从变换/量化部7输出的压缩数据、从编码控制部1输出的编码模式以及预测差分编码参数、以及从帧内部预测部4输出的帧内部预测参数或者从运动补偿预测部5输出的帧之间预测参数(包括运动矢量)进行可变长编码，生成复用了该压缩数据、编码模式、预测差分编码参数、帧内部预测参数/帧之间预测参数的编码数据的比特流。另外，可变长编码部13构成了编码单元。
在图1中，设想了作为图像编码装置的构成要素的编码控制部1、块分割部2、切换开关3、帧内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、环路滤波器部11以及可变长编码部13分别由专用的硬件(例如安装了CPU的半导体集成电路、或者单片微型计算机等)构成的例子，但在图像编码装置由计算机构成的情况下，也可以将描述了编码控制部1、块分割部2、切换开关3、帧内部预测部4、运动补偿预测部5、减法部6、变换/量化部7、逆量化/逆变换部8、加法部9、环路滤波器部11以及可变长编码部13的处理内容的程序保存到该计算机的存储器中，该计算机的CPU执行该存储器中保存的程序。
图2是示出本发明的实施方式1的图像编码装置的处理内容的流程图。
图3是示出本发明的实施方式1的图像解码装置的结构图。
在图3中，可变长解码部21实施如下处理：从复用在比特流中的编码数据，可变长解码出与分层地分割的各个编码块有关的压缩数据、编码模式、预测差分编码参数、帧内部预测参数/帧之间预测参数(包括运动矢量)，将该压缩数据以及预测差分编码参数输出到逆量化/逆变换部25，并且将该编码模式以及帧内部预测参数/帧之间预测参数输出到切换开关22，而且，将该编码模式输出到环路滤波器部28。另外，可变长解码部21构成了解码单元。
切换开关22实施如下处理：在从可变长解码部21输出的与编码块有关的编码模式是帧内部编码模式的情况下，将从可变长解码部21输出的帧内部预测参数输出到帧内部预测部23，在该编码模式是帧之间编码模式的情况下，将从可变长解码部21输出的帧之间预测参数输出到运动补偿部24。
帧内部预测部23实施如下处理：一边参照由帧内部预测用存储器27保存的已解码块的解码图像(参照图像)，一边使用从切换开关22输出的帧内部预测参数，实施针对该编码块的帧内部预测处理，生成预测图像。
运动补偿部24实施如下处理：使用从切换开关22输出的帧之间预测参数中包含的运动矢量和由运动补偿预测帧存储器29保存的已解码块的解码图像(参照图像)，实施针对该编码块的帧之间预测处理，生成预测图像。
另外，由切换开关22、帧内部预测部23以及运动补偿部24构成了预测图像生成单元。
逆量化/逆变换部25实施如下处理：使用从可变长解码部21输出的预测差分编码参数中包含的量化参数，对从可变长解码部21输出的压缩数据进行逆量化，按照该预测差分编码参数中包含的变换块大小单位，实施逆量化后的压缩数据的逆变换处理(例如逆DCT(逆离散余弦变换)、逆KL变换等逆变换处理)，从而将逆变换处理后的压缩数据作为解码预测差分信号(表示压缩前的差分图像的信号)输出。另外，逆量化/逆变换部25构成了差分图像生成单元。
加法部26实施如下处理：通过将从逆量化/逆变换部25输出的解码预测差分信号和表示由帧内部预测部23或者运动补偿部24生成的预测图像的预测信号进行相加，生成表示解码图像的解码图像信号。另外，加法部26构成了解码图像生成单元。
帧内部预测用存储器27是将由加法部26生成的解码图像信号表示的解码图像作为通过帧内部预测部23在下次的帧内部预测处理中使用的图像保存的RAM等记录介质。
环路滤波器部28实施如下处理：通过实施针对由加法部26生成的解码图像信号的滤波处理(环路滤波处理)，来去除在块边界中发生的失真(块失真)。
环路滤波器部28在去除解码图像的块失真时，与从可变长解码部21输出的编码模式(帧内部编码模式、帧之间编码模式)相应地，按信号分量(亮度信号分量、色差信号分量)设定去除块失真的滤波的强度。
另外，环路滤波器部28构成了失真去除单元。
运动补偿预测帧存储器29是将由环路滤波器部28执行了滤波处理后的解码图像作为通过运动补偿部24在下次的运动补偿预测处理中使用的参照图像保存的RAM等记录介质。
在图3中，设想了作为图像解码装置的构成要素的可变长解码部21、切换开关22、帧内部预测部23、运动补偿部24、逆量化/逆变换部25、加法部26以及环路滤波器部28分别由专用的硬件(例如安装了CPU的半导体集成电路、或者单片微型计算机等)构成的例子，但在图像解码装置由计算机构成的情况下，也可以将描述了可变长解码部21、切换开关22、帧内部预测部23、运动补偿部24、逆量化/逆变换部25、加法部26以及环路滤波器部28的处理内容的程序保存到该计算机的存储器中，该计算机的CPU执行该存储器中保存的程序。
图4是示出本发明的实施方式1的图像解码装置的处理内容的流程图。
接下来，说明动作。
最初，说明图1的图像编码装置的处理内容。
首先，编码控制部1决定成为实施运动补偿预测处理(帧间预测处理)或者帧内部预测处理(帧内预测处理)时的处理单位的编码块的最大大小，并且决定最大大小的编码块被分层地分割时的上限的层次数(图2的步骤ST1)。
作为编码块的最大大小的决定方法，例如考虑针对所有图片决定为与输入图像的分辨率对应的大小的方法。
另外，考虑如下方法等：将输入图像的局部运动的复杂度的差异作为参数进行定量化，在运动剧烈的图片中将最大大小决定为小的值，在运动少的图片中将最大大小决定为大的值。
关于上限的层次数，例如考虑设定成为如下的方法：输入图像的运动越剧烈，使层次数越深，以能够检测更细的运动，如果输入图像的运动少，则抑制层次数。
另外，编码控制部1从可利用的1个以上的编码模式(M种帧内部编码模式、N种帧之间编码模式)中，选择适合于分层地分割的各个编码块的编码模式(步骤ST2)。
由编码控制部1进行的编码模式的选择方法是公知的技术，所以省略详细的说明，但例如有如下方法等：使用可利用的任意的编码模式，实施针对编码块的编码处理来验证编码效率，在可利用的多个编码模式中，选择编码效率最佳的编码模式。
在块分割部2中，如果输入了表示输入图像的影像信号，则将该影像信号表示的输入图像分割为由编码控制部1决定的最大大小的编码块，并且直至达到由编码控制部1决定的上限的层次数为止，对该编码块分层地进行分割(步骤ST3)。
此处，图5是示出最大大小的编码块被分层地分割为多个编码块的情况的说明图。
在图5的例子中，最大大小的编码块是第0层次的编码块B0，在亮度分量上具有(L0，M0)的大小。
另外，在图5的例子中，以最大大小的编码块B0为出发点，通过四叉树构造，分层地进行分割直至另行决定的规定的深度为止，从而得到编码块Bn。
在深度n下，编码块Bn是大小为(Ln，Mn)的图像区域。
其中，Ln和Mn既可以相同也可以不同，但在图5的例子中示出了Ln＝Mn的情形。
以后，将编码块Bn的大小定义为编码块Bn的亮度分量中的大小(Ln，Mn)。
块分割部2进行四叉树分割，所以(Ln+1，Mn+1)＝(Ln/2，Mn/2)始终成立。
但是，在如RGB信号等那样所有颜色分量具有同一采样数的彩色影像信号(4：4：4格式)中，所有颜色分量的大小为(Ln，Mn)，但在处理4：2：0格式的情况下，对应的色差分量的编码块的大小是(Ln/2，Mn/2)。
以后，将在第n层次的编码块Bn中可选择的编码模式记载为m(Bn)。
在由多个颜色分量构成的彩色影像信号的情况下，编码模式m(Bn)可以构成为针对各颜色分量分别使用各自的模式，但以后只要没有特别说明，则设为指针对YUV信号4：2：0格式的编码块的亮度分量的编码模式来进行说明。
在编码模式m(Bn)中，有一个或者多个帧内部编码模式(总称为“INTRA”)、一个或者多个帧之间编码模式(总称为“INTER”)，编码控制部1如上所述，从在该图片中可利用的所有编码模式或者其子集中，选择针对编码块Bn编码效率最佳的编码模式。
编码块Bn如图5所示，被进一步分割为一个或者多个预测处理单位(分区(partition))。
以后，将属于编码块Bn的分区记载为Pi n(i：第n层次中的分区编号)。
关于属于编码块Bn的分区Pi n的分割是被如何进行的，作为信息包括在编码模式m(Bn)中。
关于分区Pi n，全部依照编码模式m(Bn)进行预测处理，但能够针对每个分区Pi n，选择各自的预测参数。
编码控制部1针对最大大小的编码块，例如生成图6所示那样的块分割状态，确定编码块Bn。
图6(a)的画网线的部分表示分割后的分区的分布，而且，在图6(b)中通过四叉树图表表示对层次分割后的分区分配编码模式m(Bn)的状况。
在图6(b)中，用□包围的节点表示被分配了编码模式m(Bn)的节点(编码块Bn)。
当编码控制部1针对各个编码块Bn的分区Pi n选择最佳的编码模式m(Bn)时，如果该编码模式m(Bn)是帧内部编码模式(步骤ST4)，则切换开关3将由块分割部2分割的编码块Bn的分区Pi n输出到帧内部预测部4。
另一方面，如果该编码模式m(Bn)是帧之间编码模式(步骤ST4)，则将由块分割部2分割的编码块Bn的分区Pi n输出到运动补偿预测部5。
帧内部预测部4如果从切换开关3接收到编码块Bn的分区Pi n，则一边参照由帧内部预测用存储器10保存的已编码块的局部解码图像，一边使用与由编码控制部1选择的编码模式m(Bn)对应的帧内部预测参数，实施针对该编码块Bn的分区Pi n的帧内部预测处理，生成帧内部预测图像Pi n(步骤ST5)。
帧内部预测部4如果生成了帧内部预测图像Pi n，则将该帧内部预测图像Pi n输出到减法部6以及加法部9，但为了使得在图3的图像解码装置中也能够生成相同的帧内部预测图像Pi n，将该帧内部预测参数输出到可变长编码部13。
另外，帧内部预测部4的帧内部预测处理依照例如AVC/H.264标准(ISO/IEC14496-10)中制定的算法，但不限于该算法。
运动补偿预测部5如果从切换开关3接收到编码块Bn的分区Pi n，则通过比较该编码块Bn的分区Pi n和由运动补偿预测帧存储器12保存的已编码块的局部解码图像来实施运动搜索并计算运动矢量，使用该运动矢量和从编码控制部1输出的帧之间预测参数，实施针对该编码块的帧之间预测处理，生成帧之间预测图像Pi n(步骤ST6)。
运动补偿预测部5如果生成了帧之间预测图像Pi n，则将该帧之间预测图像Pi n输出到减法部6以及加法部9，但为了使得在图3的图像解码装置中也能够生成相同的帧之间预测图像Pi n，将该帧之间预测参数输出到可变长编码部13。
另外，在帧之间预测参数中，包括下述信息。
(1)描述了编码块Bn内的分区Pi n的分割状况的模式信息
(2)分区Pi n的运动矢量
(3)在由运动补偿预测帧存储器12保存了多个局部解码图像(参照图像)的情况下，表示使用哪一个参照图像来实施帧之间预测处理的参照图像的指示索引信息
(4)在有多个运动矢量的预测值候补的情况下，表示选择哪一个运动矢量的预测值来使用的索引信息
(5)在有多个运动补偿内插滤波器的情况下，表示选择哪一个滤波器来使用的索引信息
(6)在分区Pi n的运动矢量能够表示多个像素精度(半像素、1/4像素、1/8像素等)的情况下，表示使用哪一个像素精度的选择信息
如果帧内部预测部4或者运动补偿预测部5生成了预测图像(帧内部预测图像Pi n、帧之间预测图像Pi n)，则减法部6从由块分割部2分割的编码块Bn的分区Pi n，减去由帧内部预测部4或者运动补偿预测部5生成的预测图像(帧内部预测图像Pi n、帧之间预测图像Pi n)，从而生成差分图像，将表示该差分图像的预测差分信号ei n输出到变换/量化部7(步骤ST7)。
变换/量化部7如果从减法部6接收到表示差分图像的预测差分信号ei n，则按照从编码控制部1输出的预测差分编码参数中包含的变换块大小单位，实施该差分图像的变换处理(例如DCT(离散余弦变换)、预先对特定的学习系列进行了基础设计的KL变换等正交变换处理)，并且使用该预测差分编码参数中包含的量化参数，对该差分图像的变换系数进行量化，从而将量化后的变换系数作为差分图像的压缩数据输出到逆量化/逆变换部8以及可变长编码部13(步骤ST8)。
逆量化/逆变换部8如果从变换/量化部7接收到差分图像的压缩数据，则使用从编码控制部1输出的预测差分编码参数中包含的量化参数，对该差分图像的压缩数据进行逆量化，按照该预测差分编码参数中包含的变换块大小单位，实施逆量化后的压缩数据的逆变换处理(例如逆DCT(逆离散余弦变换)、逆KL变换等逆变换处理)，从而将逆变换处理后的压缩数据作为局部解码预测差分信号输出到加法部9(步骤ST9)。
加法部9如果从逆量化/逆变换部8接收到局部解码预测差分信号，则将该局部解码预测差分信号、和表示由帧内部预测部4或者运动补偿预测部5生成的预测图像(帧内部预测图像Pi n、帧之间预测图像Pi n)的预测信号进行相加，从而生成局部解码分区图像、或者作为其集合的局部解码块图像即局部解码图像(步骤ST10)。
在加法部9中，如果生成了局部解码图像，则将表示该局部解码图像的局部解码图像信号保存到帧内部预测用存储器10中，并且将该局部解码图像信号输出到环路滤波器部11。
环路滤波器部11如果从加法部9接收到局部解码图像信号，则实施针对该局部解码图像信号的滤波处理，从而去除在块边界中发生的失真(块失真)(步骤ST11)。
环路滤波器部11中的处理内容的详细内容后述，但在去除局部解码图像的块失真时，与由编码控制部1选择的编码模式(帧内部编码模式、帧之间编码模式)相应地，按信号分量(亮度信号分量、色差信号分量)设定去除块失真的滤波的强度。
另外，关于环路滤波器部11的滤波处理，既可以按照从加法部9输出的局部解码图像信号的最大编码块或者各个编码块单位进行，也可以在输出了与1个画面量的宏块相当的局部解码图像信号之后集中1个画面量来进行。
反复实施步骤ST4～ST10的处理直至针对被分层地分割的所有编码块Bn的处理完成为止，如果针对所有编码块Bn的处理完成，则转移到步骤ST13的处理(步骤ST12)。
可变长编码部13对从变换/量化部7输出的压缩数据、从编码控制部1输出的编码模式(包括表示编码块的分割状态的信息)以及预测差分编码参数、以及从帧内部预测部4输出的帧内部预测参数或者从运动补偿预测部5输出的帧之间预测参数(包括运动矢量)进行熵编码。
可变长编码部13复用作为熵编码的编码结果的压缩数据、编码模式、预测差分编码参数、帧内部预测参数/帧之间预测参数的编码数据来生成比特流(步骤ST13)。
以下，具体说明环路滤波器部11的滤波处理。
环路滤波器部11是使在作为上述预测处理单位的分区与变换块的边界中发生的块噪声降低的非线性平滑化滤波器。
图7是示出编码块内的滤波应用像素的位置的说明图。
在图7中，垂直边缘以及水平边缘、和分区或者变换块的块边界重叠的位置成为滤波处理的对象。
在图7中，用K×K像素栅格表示垂直边缘以及水平边缘。K的值既可以确定为固定值，也可以根据编码块的最大大小、分区/变换块的最大大小等设定。
图8是示出环路滤波器部11的处理内容的流程图。
针对每个编码块执行环路滤波器部11的滤波处理。
首先，环路滤波器部11判定垂直边缘以及水平边缘是否与分区或者变换块的边界一致(步骤ST41)。
在存在与分区或者变换块的边界一致的垂直边缘或者水平边缘的情况下，环路滤波器部11进行与边界一致的部位的滤波强度判定(步骤ST42、ST43)。滤波强度的判定方法将后述。
在环路滤波器部11中，如果进行了滤波强度判定，则根据该滤波强度的判定结果、实际上成为滤波处理的对象的像素值的变化量，一边变更最终的滤波的强度一边进行滤波处理(步骤ST44、ST45)。滤波处理的方法将后述。
环路滤波器部11反复实施步骤ST41～45的处理直至针对图片内的所有编码块的处理完成为止(步骤ST46)。
另外，设为在切片头中复用是否对切片内的所有编码块进行本环路滤波的处理的识别信息，图像编码装置构成为根据状况决定该识别信息的值并传送到图像解码装置。
接下来，说明环路滤波器部11的滤波强度的判定处理。
图9是示出滤波强度的判定方法的流程图。
环路滤波器部11针对与垂直边缘和水平边缘邻接的所有像素，按照下述条件求出滤波强度bS(步骤ST51)。
以下的说明中，用pi(i＝0，1，2，3)、qj(j＝0，1，2，3)的记号表示了边缘附近的像素，但边缘位置和像素位置的关系如图10那样定义。
在编码块中，包括亮度信号分量的块和色差信号分量的块，但在环路滤波器部11中，按照以下的条件，进行滤波强度的判定。
(1)滤波处理对象的编码块的编码模式是帧内部编码模式、还是帧之间编码模式
(2)进行滤波处理的信号分量是亮度信号分量、还是色差信号分量
(3)在包括滤波处理对象的像素的变换块内，是否包括非零的变换系数
(4)包括滤波处理对象的像素的分区中的运动参数的状态
环路滤波器部11通过以下的过程进行滤波强度的判定。
(过程1)
在是位于编码块的边界的边缘、且包括p0的编码块或者包括q0的编码块的编码模式是“帧内部编码模式”的情况下，决定为如下：
处理对象信号分量为亮度信号分量→bS＝2
处理对象信号分量为色差信号分量→bS＝4。
(过程2)
在不符合过程1中的条件的情况下，
在包括p0的编码块、或者包括q0的编码块的编码模式是“帧内部编码模式”的情况下，决定为如下：
处理对象信号分量为亮度信号分量→bS＝1
处理对象信号分量为色差信号分量→bS＝3。
(过程3)
在不符合过程1、2中的条件的情况下，
在p0或者q0属于具有非零正交变换系数的变换块的情况下，决定为如下：
处理对象信号分量为亮度信号分量→bS＝2
处理对象信号分量为色差信号分量→bS＝2。
(过程4)
在不符合过程1～3中的条件的情况下，在满足以下的任一条件的情况下，决定为如下：
处理对象信号分量为亮度信号分量→bS＝1
处理对象信号分量为色差信号分量→bS＝1。
[条件]
·包括p0的分区和包括q0的分区具有不同的参照图片、或者具有不同数量的运动矢量
·在包括p0的分区和包括q0的分区中，分别使用1个运动矢量，双方的运动矢量的水平分量或者垂直分量的差分绝对值在1/4像素精度下是4以上
·在包括p0的分区和包括q0的分区中，分别使用2个运动矢量，在指相同的参照图片的运动矢量对(p0中的运动矢量、和q0中的运动矢量的对)的至少1组中，双方的运动矢量的水平分量或者垂直分量的差分绝对值在1/4像素精度下是4以上
(过程5)
在不符合过程1～4中的条件的情况下(分区/变换块的边界以外的边缘也符合本条件)，决定为如下：
处理对象信号分量为亮度信号分量→bS＝0
处理对象信号分量为色差信号分量→bS＝0。
在处理对象的编码块的编码模式是帧内部编码模式的情况下，相比于利用帧之间预测的帧间预测的情况，亮度信号和色差信号的预测残差功率都大，被量化的变换系数的分布针对每个信号分量大幅不同的概率变高。
块失真的程度受到由于量化而有效的变换系数主观上会消失多少的影响，因此特别是在帧内部编码中，优选能够通过亮度和色差来调整作为测量块失真的程度的尺度的滤波强度的值。
在以往的环路滤波器106(参照图16)中，色差信号分量的滤波强度始终被设定为与亮度信号分量的滤波强度相同的值，但在该实施方式1中，根据条件按信号分量(亮度信号分量、色差信号分量)设定了滤波强度，所以得到比以往更有助于画质的改善的滤波强度。
在环路滤波器部11中，如果进行了滤波强度判定，则根据滤波强度的判定结果，按照垂直边缘、水平边缘的顺序进行滤波处理。
首先，环路滤波器部11针对垂直边缘，针对每K行求出滤波强度bS的最大值，将该最大值设为bSVer。
环路滤波器部11根据最大值bSVer，进行针对该K行的边缘附近像素的滤波处理。
图11是示出针对垂直边缘的滤波处理的单位的说明图。以垂直边缘为中心的K×K像素成为相同的bSVer。对各像素应用的最终的滤波强度bS是由最大值bSVer和各像素位置处的像素值的变化量来决定的。
图12示出针对水平边缘的滤波处理的单位。除了处理的方向从垂直变化为水平以外，与垂直边缘相同。
以下，说明针对处理对象像素的滤波处理。
环路滤波器部11针对亮度信号分量的垂直边缘方向，按照以下的过程进行滤波处理。针对亮度信号分量的水平边缘方向的滤波处理也是相同的过程，但代替最大值bSVer，使用针对水平边缘的每K行的滤波强度bS的最大值bSHor。
[a]bSVer＝0的情况
不进行滤波处理。
[b]bSVer≤2的情况
(1)在图13中，求出设为Q＝(亮度的qP值)时的参数β、Tc。
图13是示出Q(亮度的qP值)与参数β、Tc的对应关系的说明图。
(2)求出d＝|p2-2*p1+p0|+|q2-2*q1+q0|+|p2-2*p1+p0|+|q2-2*q1+q0|，
根据以下的条件，进行滤波运算。
·在d小于(β＞＞2)，并且|p3-p0|+|q0-q3|小于(β＞＞2)，并且|p0-q0|小于((5＊tc+1))＞＞1)的情况下，
p0’＝CliplY((p2+2*p1+2*p0+2*q0+q1+4)＞＞3)
p1’＝CliplY((p2+p1+p0+q0+2)＞＞2)
p2’＝CliplY((2*p3+3*p2+p1+p0+q0+4)＞＞3)
q0’＝C1iplY((p1+2*p0+2*q0+2*q1+q2+4)＞＞3)
q1’＝CliplY((p0+q0+q1+q2+2)＞＞2)
q2’＝CliplY((p0+q0+q1+3*q2+2*q3+4)＞＞3)
·在其他情况下，
Δ＝Clip3(-tC，tC，(13*(q0-p0)+4*(q1-p1)-5*(q2-p0)+16)＞＞5)
p0’＝CliplY(p0+Δ)
q0’＝CliplY(q0-Δ)
p1’＝CliplY(p1+Δ/2)
q1’＝CliplY(q1-Δ/2)
(3)将所求出的p0’～p2’、q0’～q2’置换为p0～p2、q0～q2的各像素值，将置换后的图像作为解码图像，输出到后级的运动补偿预测帧存储器12。
[c]bSVer＞2的情况
在图13中，求出设为Q＝(亮度的qP值)时的参数β、和设为Q＝(亮度的qP值+4)时的参数Tc。以后的处理与bSVer≤2的情况相同。
环路滤波器部11针对色差信号分量的垂直边缘方向，按照以下的过程进行滤波处理。针对色差信号分量的水平边缘方向的滤波处理也是相同的过程，但代替最大值bSVer，使用最大值bSHor。bSVer和bSVer是用同一位置的亮度计算的值。
[a]bSVer＞2的情况
(1)进行以下的滤波运算。
Δ＝Clip3(-tC，tC，((((q0-p0)＜＜2)+p1-q1+4)＞＞3))
p0’＝CliplC(p0+Δ)
q0’＝CliplC(q0-Δ)
(2)将所求出的p0’、q0’置换为p0、q0的各像素值，将置换后的图像作为解码图像，输出到后级的运动补偿预测帧存储器12。
[b]bSVer≤2的情况
不进行滤波处理。
图像编码装置的环路滤波器部11和图像解码装置的环路滤波器部28进行共同的处理，但也可以构成为图像编码装置的环路滤波器部11关于滤波强度的判定设置控制用的参数。
例如，也可以构成为通过复用表示是否以切片等级对滤波强度bS的值进行信号化(signalling)的识别信息，从而能够针对每个切片变更滤波强度bS的设定值。
关于此时的变更，既可以设为仅变更亮度信号分量，而固定色差信号分量，也可以相反地构成为能够固定亮度信号分量，而仅变更色差信号分量。
关于设定值的信号化，既可以是值本身，也可以是将滤波强度bS设为默认值的偏移值的形式。也可以将色差信号分量的滤波强度表现为亮度信号分量的滤波强度的偏移值。
另外，还能够构成为特别是将编码模式为帧内部编码模式的情况下的滤波强度bS的设定值信号化为值本身或者偏移值。例如，环路滤波器部11能够构成为按照以下的过程进行滤波强度的判定。
关于以帧内部编码模式被编码的编码块，将针对亮度分量的滤波强度值设为bSL，将针对色差分量的滤波强度值设为bSC，将bSL和bSC作为图片等级的头、切片头等语法信息复用到比特流，从而使得能够在编码装置和解码化装置中共享。此时，
(过程1)
在是位于编码块的边界的边缘、且包括po的编码块或者包括qo的编码块的编码模式是“帧内部编码模式”的情况下，决定为如下：
处理对象信号分量为亮度信号分量→bS＝max(4－bSL、0)
处理对象信号分量为色差信号分量→bS＝max(4－bSC、0)
此处，max(A，B)是输出A和B中的大的一方的值的函数。
(过程2)
在不符合过程1中的条件的情况下，
在包括po的编码块或者包括qo的编码块的编码模式是“帧内部编码模式”的情况下，决定为如下：
处理对象信号分量为亮度信号分量→bS＝max(3－bSL、0)
处理对象信号分量为色差信号分量→bS＝max(3－bSC、0)。
在编码模式是帧内部编码模式的情况下，存在如下情况：在压缩处理过程中运动预测无法有效地发挥功能，不得已而进行帧内部编码的情况；以及以错误抗性、随机访问的观点周期性地、有意图地使帧内部编码发生的情况。
在不得已而进行帧内部编码的情况下，失真会与编码的难易度对应地重叠，相对于此，在周期性地、有意图地使帧内部编码发生的情况下，由于不直接与编码的难易度相关地使用帧内部编码，所以各个块失真的发生方式产生差异。
在以往的环路滤波器中，没有判别上述情况来控制滤波强度的手段。
由于按照切片、图片的单位执行周期帧内部插入，所以通过按照这些单位根据用途控制滤波强度，从而能够更良好地抑制块失真。
另外，相反地，也可以构成为对编码模式为帧之间编码模式的情况下的滤波强度bS的设定值进行信号化。
此处，图14是示出由可变长编码部13生成的比特流的说明图。
在图14的例子中，示出了切片编码数据由切片头、和接着该切片头的与切片内的个数相当的最大编码块编码数据构成的情况。
各最大编码块编码数据包括编码模式。虽然未图示，但在最大编码块编码数据中，针对每个编码块，包括分区单位的运动矢量等预测参数、变换块大小等预测差分编码参数、预测差分编码数据(已量化变换系数)。
在切片头中，包括：环路滤波ON/OFF标志，该环路滤波ON/OFF标志为是否对切片内的所有编码块进行本环路滤波的处理的识别信息；滤波强度信息复用标志，该滤波强度信息复用标志为表示是否对滤波强度bS的设定值进行信号化的标志；滤波强度信息，在滤波强度信息复用标志是“1”的情况下复用该滤波强度信息。
滤波强度信息复用标志以及滤波强度信息也可以构成为复用到按照图片、序列、GOP(Group Of Pictures，图片组)等单位定义的头信息区域中。
接下来，说明图3的图像解码装置的处理内容。
可变长解码部21如果输入了从图1的图像编码装置输出的比特流，则实施针对该比特流的可变长解码处理(图4的步骤ST21)，解码出按照由1帧以上的图片构成的序列单位或者图片单位规定图片大小(水平像素数/垂直行数)的信息。
可变长解码部21按照与图1的编码控制部1同样的过程，决定成为实施运动补偿预测处理(帧间预测处理)或者帧内部预测处理(帧内预测处理)时的处理单位的编码块的最大大小，并且决定最大大小的编码块被分层地分割时的上限的层次数(步骤ST22)。
例如，在图像编码装置中根据输入图像的分辨率决定了编码块的最大大小的情况下，根据之前解码出的帧大小决定编码块的最大大小。
另外，在比特流中复用有表示编码块的最大大小以及上限的层次数的信息的情况下，参照从该比特流解码出的信息。
在比特流的结构是图14的结构的情况下，可变长解码部21在最大编码块等级的解码之前，从切片头解码出环路滤波ON/OFF标志。
在比特流上复用的最大大小的编码块B0的编码模式m(B0)中包括表示最大大小的编码块B0的分割状态的信息，所以可变长解码部21解码出比特流上复用的最大大小的编码块B0的编码模式m(B0)，确定被分层地分割的各个编码块Bn(步骤ST23)。
在可变长解码部21中，如果确定了各个编码块Bn，则对该编码块Bn的编码模式m(Bn)进行解码，根据属于该编码模式m(Bn)的分区Pi n的信息，确定属于编码块Bn的分区Pi n。
在可变长解码部21中，如果确定了属于编码块Bn的分区Pi n，则针对每个分区Pi n，解码出压缩数据、编码模式、预测差分编码参数、帧内部预测参数/帧之间预测参数(包括运动矢量)(步骤ST24)。
在属于从可变长解码部21输出的编码块Bn的分区Pi n的编码模式m(Bn)是帧内部编码模式的情况下(步骤ST25)，切换开关22将从可变长解码部21输出的帧内部预测参数输出到帧内部预测部23。
另一方面，在分区Pi n的编码模式m(Bn)是帧之间编码模式的情况下(步骤ST25)，将从可变长解码部21输出的帧之间预测参数输出到运动补偿预测部24。
帧内部预测部23如果从切换开关22接收到帧内部预测参数，则一边参照由帧内部预测用存储器27保存的已解码块的解码图像(参照图像)，一边使用该帧内部预测参数，实施针对该编码块Bn的分区Pi n的帧内部预测处理，生成帧内部预测图像Pi n(步骤ST26)。
运动补偿部24如果接收到从切换开关22输出的帧之间预测参数，则使用该帧之间预测参数中包含的运动矢量和由运动补偿预测帧存储器29保存的已解码块的解码图像(参照图像)，实施针对该编码块的帧之间预测处理，生成帧内部预测图像Pi n(步骤ST27)。
逆量化/逆变换部25使用从可变长解码部21输出的预测差分编码参数中包含的量化参数，对从可变长解码部21输出的压缩数据进行逆量化，按照该预测差分编码参数中包含的变换块大小单位，实施逆量化后的压缩数据的逆变换处理(例如逆DCT(逆离散余弦变换)、逆KL变换等逆变换处理)，从而将逆变换处理后的压缩数据作为解码预测差分信号(表示压缩前的差分图像的信号)输出到加法部26(步骤ST28)。
加法部26如果从逆量化/逆变换部25接收到解码预测差分信号，则将该解码预测差分信号和表示由帧内部预测部23或者运动补偿部24生成的预测图像的预测信号进行相加，从而生成解码图像，将表示该解码图像的解码图像信号保存到帧内部预测用存储器27中，并且将该解码图像信号输出到环路滤波器部28(步骤ST29)。
反复实施步骤ST23～ST29的处理直至针对被分层地分割的所有编码块Bn的处理完成为止(步骤ST30)。
环路滤波器部28如果从加法部26接收到解码图像信号，则实施针对该解码图像信号的滤波处理，从而去除在块边界中发生的失真(块失真)，将失真去除后的解码图像信号表示的解码图像保存到运动补偿预测帧存储器29中。
环路滤波器部28中的滤波处理与图1的环路滤波器部11中的滤波处理相同，在去除该解码图像的块失真时，与从可变长解码部21输出的编码模式(帧内部编码模式、帧之间编码模式)相应地，按信号分量(亮度信号分量、色差信号分量)设定去除块失真的滤波的强度。
另外，在通过可变长解码部21从切片头解码出滤波强度信息复用标志以及滤波强度信息的情况下，用该滤波强度信息表示的滤波强度bS执行滤波处理。
如以上说明可知，根据该实施方式1，构成为图像解码装置的环路滤波器部28在去除解码图像的块失真时，与从可变长解码部21输出的编码模式(帧内部编码模式、帧之间编码模式)相应地，按信号分量(亮度信号分量、色差信号分量)设定去除块失真的滤波的强度，所以起到能够提高块失真的去除精度、改善解码图像的质量的效果。
在以上的说明中，示出了实施帧间运动补偿预测处理(帧之间预测处理)的图像编码装置以及图像解码装置的例子，但即使是针对所有帧实施帧内预测处理(帧内部预测处理)的图像编码装置以及图像解码装置，也可以构成为由环路滤波器部11、28去除块失真。
在组合帧内预测处理(帧内部预测处理)和帧间运动补偿预测处理(帧之间预测处理)来实施的图像编码装置以及图像解码装置中，在设定为通过帧内部预测处理对所有帧进行编码时，还能够控制为不利用环路滤波器部11、28的动作。
在该实施方式1中，示出了如图5所示编码块Bn的大小是Ln＝Mn的例子，但也可以是编码块Bn的大小为Ln≠Mn。
例如，如图15所示，考虑编码块Bn的大小为Ln＝kMn的情况。
在接下来的分割中，成为(Ln+1，Mn+1)＝(Ln，Mn)，以后的分割既可以进行与图5同样的分割，也可以如(Ln+1，Mn+1)＝(Ln/2，Mn/2)那样进行分割。
通过这样的结构，例如设为M0＝16，从而能够定义MPEG-2(ISO/IEC13818-2)、MPEG-4AVC/H.264(ISO/IEC 14496-10)那样的将由16×16像素构成的宏块横向连结的结构的最大编码块，具有易于构成维持了与已有方式的互换性的图像编码装置这样的效果。
另外，即使在并非Ln＝kMn而如kLn＝Mn那样纵向连结的情况下，当然也可以按照同样的思路进行分割。
另外，本申请发明能够在该发明的范围内，实现实施方式的任意的构成要素的变形、或者实施方式的任意的构成要素的省略。
产业上的可利用性
本发明的图像编码装置、图像解码装置、图像编码方法以及图像解码方法具备与编码模式相应地按信号分量设定滤波的强度的手段，能够提高块失真的去除精度，改善编码图像的质量，所以能够应用于MPEG、ITU-TH.26x等国际标准影像编码方式。

Claims (2)

1.一种图像编码装置，对输入图像实施编码块单位的编码处理，其特征在于，所述图像编码装置具备：
失真去除单元，该失真去除单元针对将作为与所述编码块有关的所述输入图像与预测图像的差分的差分图像和所述预测图像相加而得到的解码图像实施滤波处理，去除在所述解码图像的邻接的用于变换所述差分图像的变换块的边界中产生的块失真，
所述失真去除单元在去除所述解码图像的块失真时，判定垂直边缘以及水平边缘是否与分区或者变换块的边界一致，根据所述判定的结果和所述编码块的编码模式的信息是帧内部编码模式还是帧之间编码模式来设定滤波强度。
2.一种图像编码方法，对输入图像实施编码块单位的编码处理，其特征在于，所述图像编码方法具备：
失真去除处理步骤，在该失真去除处理步骤中，针对将作为与所述编码块有关的所述输入图像与预测图像的差分的差分图像和所述预测图像相加而得到的解码图像实施滤波处理，去除在所述解码图像的邻接的用于变换所述差分图像的变换块的边界中产生的块失真，
在所述失真去除处理步骤中，在去除所述解码图像的块失真时，判定垂直边缘以及水平边缘是否与分区或者变换块的边界一致，根据所述判定的结果和所述编码块的编码模式的信息是帧内部编码模式还是帧之间编码模式来设定滤波强度。
CN201710159012.2A 2011-06-30 2012-06-05 图像编码装置以及图像编码方法 Active CN106658015B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-145612 2011-06-30
JP2011145612 2011-06-30
CN201280028658.2A CN103621083B (zh) 2011-06-30 2012-06-05 图像解码装置以及图像解码方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280028658.2A Division CN103621083B (zh) 2011-06-30 2012-06-05 图像解码装置以及图像解码方法

Publications (2)

Publication Number Publication Date
CN106658015A true CN106658015A (zh) 2017-05-10
CN106658015B CN106658015B (zh) 2020-08-18

Family

ID=47423659

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201710158993.9A Active CN106941608B (zh) 2011-06-30 2012-06-05 图像编码装置及方法、图像解码装置及方法
CN201710158403.2A Active CN106713914B (zh) 2011-06-30 2012-06-05 图像编码装置及方法、图像解码装置及方法
CN201710158425.9A Active CN106954067B (zh) 2011-06-30 2012-06-05 图像编码装置及方法、图像解码装置及方法
CN201280028658.2A Active CN103621083B (zh) 2011-06-30 2012-06-05 图像解码装置以及图像解码方法
CN201710159012.2A Active CN106658015B (zh) 2011-06-30 2012-06-05 图像编码装置以及图像编码方法
CN201710158404.7A Active CN106658014B (zh) 2011-06-30 2012-06-05 图像编码装置及方法、图像解码装置及方法

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN201710158993.9A Active CN106941608B (zh) 2011-06-30 2012-06-05 图像编码装置及方法、图像解码装置及方法
CN201710158403.2A Active CN106713914B (zh) 2011-06-30 2012-06-05 图像编码装置及方法、图像解码装置及方法
CN201710158425.9A Active CN106954067B (zh) 2011-06-30 2012-06-05 图像编码装置及方法、图像解码装置及方法
CN201280028658.2A Active CN103621083B (zh) 2011-06-30 2012-06-05 图像解码装置以及图像解码方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710158404.7A Active CN106658014B (zh) 2011-06-30 2012-06-05 图像编码装置及方法、图像解码装置及方法

Country Status (7)

Country Link
US (11) US9210426B2 (zh)
EP (1) EP2728877A4 (zh)
JP (6) JP5709996B2 (zh)
KR (6) KR102024516B1 (zh)
CN (6) CN106941608B (zh)
BR (1) BR112013028175B1 (zh)
WO (1) WO2013001727A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105847814B (zh) * 2010-04-13 2019-01-08 太阳专利托管公司 图像编码方法及图像编码装置
CN106941608B (zh) 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
US9967558B1 (en) * 2013-12-17 2018-05-08 Google Llc Adaptive motion search control for variable block size partitions in video coding
WO2015115644A1 (ja) * 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
EP3104615B1 (en) * 2014-02-03 2019-03-27 Mitsubishi Electric Corporation Moving image encoding device and moving image encoding method
JP2015173312A (ja) * 2014-03-11 2015-10-01 ソニー株式会社 画像符号化装置および方法、並びに画像復号装置および方法
EP3310058B1 (en) 2015-06-12 2023-02-22 Panasonic Intellectual Property Management Co., Ltd. Image coding method, image decoding method, image coding device and image decoding device
US10390026B2 (en) * 2016-03-25 2019-08-20 Google Llc Smart reordering in recursive block partitioning for advanced intra prediction in video coding
WO2019031410A1 (ja) * 2017-08-10 2019-02-14 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
CN111615828B (zh) * 2017-11-29 2023-01-10 韩国电子通信研究院 采用环内滤波的图像编码/解码方法和装置
CN110062226B (zh) * 2018-01-18 2021-06-11 杭州海康威视数字技术股份有限公司 一种视频编码方法、视频解码方法、装置、系统及介质
KR20240019383A (ko) * 2018-03-29 2024-02-14 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
JP7082529B2 (ja) * 2018-06-06 2022-06-08 ルネサスエレクトロニクス株式会社 半導体装置及び半導体装置による処理方法
CA3118410A1 (en) * 2018-11-02 2020-05-07 Sony Corporation Image processing device and image processing method
KR20200073124A (ko) 2018-12-13 2020-06-23 에스케이텔레콤 주식회사 필터링 방법 및 영상 복호화 장치
WO2020122573A1 (ko) * 2018-12-13 2020-06-18 에스케이텔레콤 주식회사 필터링 방법 및 영상 복호화 장치
JP7026065B2 (ja) * 2019-03-12 2022-02-25 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
EP4106332A4 (en) * 2020-02-10 2023-05-24 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD AND DECODING METHOD
CN113709504B (zh) * 2021-10-27 2022-02-15 深圳传音控股股份有限公司 图像处理方法、智能终端及可读存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0449555A2 (en) * 1990-03-26 1991-10-02 Kabushiki Kaisha Toshiba Image encoding apparatus
CN1552161A (zh) * 2002-07-11 2004-12-01 松下电器产业株式会社 滤波强度的决定方法、动态图像编码方法及解码方法
WO2005018239A1 (ja) * 2003-08-19 2005-02-24 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
CN1969556A (zh) * 2004-06-14 2007-05-23 坦德伯格电信公司 色度去块的方法
US20070201555A1 (en) * 2006-02-28 2007-08-30 Kabushiki Kaisha Toshiba Information processing apparatus and video decoding method of information processing apparatus
CN101076117A (zh) * 2006-05-16 2007-11-21 索尼株式会社 图像处理设备和图像处理方法
US20080317377A1 (en) * 2007-06-19 2008-12-25 Katsuo Saigo Image coding apparatus and image coding method
US20090196351A1 (en) * 2003-07-16 2009-08-06 Samsung Electronics Co., Ltd. Video encoding/decoding apparatus and method for color image
CN101517909A (zh) * 2006-09-15 2009-08-26 飞思卡尔半导体公司 带有选择性色度去块滤波的视频信息处理系统
JP2009232217A (ja) * 2008-03-24 2009-10-08 Mega Chips Corp 画像処理装置
JP2010028347A (ja) * 2008-07-17 2010-02-04 Ntt Electornics Corp プレフィルタ

Family Cites Families (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2806308B2 (ja) * 1995-06-30 1998-09-30 日本電気株式会社 音声復号化装置
US6064776A (en) * 1995-10-27 2000-05-16 Kabushiki Kaisha Toshiba Image processing apparatus
US6749339B1 (en) 1999-09-03 2004-06-15 Sumitomo Electric Industries, Ltd. Hydrodynamic bearing assembly and spindle motor having the same
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
US7450641B2 (en) * 2001-09-14 2008-11-11 Sharp Laboratories Of America, Inc. Adaptive filtering based upon boundary strength
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
ATE454016T1 (de) * 2001-09-12 2010-01-15 Panasonic Corp Bildkodierungs- und biddekodierungsverfahren
US7319415B2 (en) 2002-05-01 2008-01-15 Thomson Licensing Chroma deblocking filter
JP4580626B2 (ja) * 2002-07-11 2010-11-17 パナソニック株式会社 フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
US7292733B2 (en) * 2002-10-16 2007-11-06 Matsushita Electric Industrial Co., Ltd. Image processing apparatus and image processing method
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US20040179610A1 (en) * 2003-02-21 2004-09-16 Jiuhuai Lu Apparatus and method employing a configurable reference and loop filter for efficient video coding
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
US7599438B2 (en) 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7486740B2 (en) 2004-04-02 2009-02-03 Qualcomm Incorporated Calibration of transmit and receive chains in a MIMO communication system
US8085846B2 (en) * 2004-08-24 2011-12-27 Thomson Licensing Method and apparatus for decoding hybrid intra-inter coded blocks
DE602005015067D1 (de) * 2004-09-30 2009-08-06 Toshiba Kk Informationsbearbeitungsgerät und Programm
JP4457346B2 (ja) * 2004-11-12 2010-04-28 ノーリツ鋼機株式会社 画像ノイズ除去方法
KR100843196B1 (ko) 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation
US8149926B2 (en) * 2005-04-11 2012-04-03 Intel Corporation Generating edge masks for a deblocking filter
US8488889B2 (en) * 2005-07-22 2013-07-16 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
KR100678958B1 (ko) * 2005-07-29 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
US7920628B2 (en) * 2005-07-29 2011-04-05 Broadcom Corporation Noise filter for video compression
US8681867B2 (en) * 2005-10-18 2014-03-25 Qualcomm Incorporated Selective deblock filtering techniques for video coding based on motion compensation resulting in a coded block pattern value
RU2369038C1 (ru) * 2005-11-30 2009-09-27 Кабусики Кайся Тосиба Способ кодирования изображения/декодирования изображения, устройство кодирования изображения/декодирования изображения
BRPI0706407B1 (pt) * 2006-01-09 2019-09-03 Interdigital Madison Patent Holdings método e aparelho para fornecer modo de atualização de resolução reduzida para codificação de vídeo de múltiplas visualizações e mídia de armazenamento tendo dados codificados de sinal de vídeo
JP4643453B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
JP4987322B2 (ja) * 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
JP4769605B2 (ja) * 2006-03-17 2011-09-07 富士通株式会社 動画像符号装置及び方法
WO2008057308A2 (en) * 2006-11-08 2008-05-15 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
US9445128B2 (en) * 2006-12-08 2016-09-13 Freescale Semiconductor, Inc. System and method of determining deblocking control flag of scalable video system for indicating presentation of deblocking parameters for multiple layers
KR100922275B1 (ko) * 2006-12-15 2009-10-15 경희대학교 산학협력단 경계 필터링 강도의 결정 방법 및 이를 이용한 디블록킹필터링 방법과 장치
KR101490534B1 (ko) 2007-01-04 2015-02-05 톰슨 라이센싱 멀티 뷰 코딩된 비디오에서 조도 보상 및/또는 컬러 보상에 대한 코딩 아티팩트 감소 방법 및 장치
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5026092B2 (ja) * 2007-01-12 2012-09-12 三菱電機株式会社 動画像復号装置および動画像復号方法
US8326064B2 (en) 2007-01-22 2012-12-04 Nec Corporation Image re-encoding method to decode image data which is orthogonally transformed per first block and encoded by a first encoding method
JP4847890B2 (ja) * 2007-02-16 2011-12-28 パナソニック株式会社 符号化方式変換装置
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
JP2008289134A (ja) * 2007-04-20 2008-11-27 Panasonic Corp 符号化レート変換装置、集積回路、符号化レート変換方法、及びプログラム
CN101321277A (zh) * 2007-06-09 2008-12-10 华为技术有限公司 去块效应的方法及装置
WO2009001793A1 (ja) * 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
US8422803B2 (en) * 2007-06-28 2013-04-16 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
US8619880B2 (en) * 2007-10-10 2013-12-31 Qualcomm Incorporated Universal blockiness correction
CN101212665B (zh) * 2007-12-25 2012-01-25 海信集团有限公司 一种环路滤波方法
WO2009088340A1 (en) * 2008-01-08 2009-07-16 Telefonaktiebolaget Lm Ericsson (Publ) Adaptive filtering
US20100272191A1 (en) * 2008-01-14 2010-10-28 Camilo Chang Dorea Methods and apparatus for de-artifact filtering using multi-lattice sparsity-based filtering
TWI386068B (zh) * 2008-10-22 2013-02-11 Nippon Telegraph & Telephone 解塊處理方法、解塊處理裝置、解塊處理程式及記錄該程式之可由電腦讀取之記錄媒體
CN101754010A (zh) * 2008-12-18 2010-06-23 北京中星微电子有限公司 视频数据编码的环路滤波方法和滤波器
CN101567964B (zh) * 2009-05-15 2011-11-23 南通大学 一种低码率视频应用中的预处理降噪去块效应方法
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
JP2011049740A (ja) 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
EP2486731B1 (en) * 2009-10-05 2018-11-07 InterDigital Madison Patent Holdings Methods and apparatus for adaptive filtering of prediction pixels for chroma components in video encoding and decoding
JPWO2011061880A1 (ja) 2009-11-19 2013-04-04 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
WO2011136896A1 (en) * 2010-04-27 2011-11-03 Sony Corporation Boundary adaptive intra prediction for improving subjective video quality
US9317933B2 (en) * 2011-05-27 2016-04-19 Sony Corporation Image processing device and method
CN106941608B (zh) 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
US20130016769A1 (en) * 2011-07-17 2013-01-17 Qualcomm Incorporated Signaling picture size in video coding
US8396127B1 (en) * 2012-06-27 2013-03-12 Google Inc. Segmentation for video coding using predictive benefit
US9344729B1 (en) * 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
CN104813669B (zh) * 2012-09-21 2018-05-22 诺基亚技术有限公司 用于视频编码的方法和装置
US10321130B2 (en) * 2013-01-07 2019-06-11 Vid Scale, Inc. Enhanced deblocking filters for video coding
US10708588B2 (en) * 2013-06-19 2020-07-07 Apple Inc. Sample adaptive offset control
US8983569B2 (en) 2013-06-22 2015-03-17 Zinus, Inc. Comfortably securing physiological sensors onto a person during sleep
KR102264679B1 (ko) * 2013-10-14 2021-06-14 삼성전자주식회사 휘도 보상 여부에 따른 뷰 합성 예측 적용 방법 및 장치
WO2015115644A1 (ja) * 2014-02-03 2015-08-06 三菱電機株式会社 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
US10306246B2 (en) * 2015-02-13 2019-05-28 Mediatek Inc. Method and apparatus of loop filters for efficient hardware implementation
US20180091812A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
US11451773B2 (en) * 2018-06-01 2022-09-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) design and signaling
US11683487B2 (en) * 2019-03-26 2023-06-20 Qualcomm Incorporated Block-based adaptive loop filter (ALF) with adaptive parameter set (APS) in video coding

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0449555A2 (en) * 1990-03-26 1991-10-02 Kabushiki Kaisha Toshiba Image encoding apparatus
CN1552161A (zh) * 2002-07-11 2004-12-01 松下电器产业株式会社 滤波强度的决定方法、动态图像编码方法及解码方法
US20090196351A1 (en) * 2003-07-16 2009-08-06 Samsung Electronics Co., Ltd. Video encoding/decoding apparatus and method for color image
CN1817049A (zh) * 2003-08-19 2006-08-09 松下电器产业株式会社 动态图像编码方法及动态图像解码方法
US20060285757A1 (en) * 2003-08-19 2006-12-21 Matsushita Electric Industrial Co., Ltd. Method for encoding moving image and method for decoding moving image
WO2005018239A1 (ja) * 2003-08-19 2005-02-24 Matsushita Electric Industrial Co., Ltd. 動画像符号化方法および動画像復号化方法
CN1969556A (zh) * 2004-06-14 2007-05-23 坦德伯格电信公司 色度去块的方法
US20070201555A1 (en) * 2006-02-28 2007-08-30 Kabushiki Kaisha Toshiba Information processing apparatus and video decoding method of information processing apparatus
CN101076117A (zh) * 2006-05-16 2007-11-21 索尼株式会社 图像处理设备和图像处理方法
CN101517909A (zh) * 2006-09-15 2009-08-26 飞思卡尔半导体公司 带有选择性色度去块滤波的视频信息处理系统
US20080317377A1 (en) * 2007-06-19 2008-12-25 Katsuo Saigo Image coding apparatus and image coding method
JP2009232217A (ja) * 2008-03-24 2009-10-08 Mega Chips Corp 画像処理装置
JP2010028347A (ja) * 2008-07-17 2010-02-04 Ntt Electornics Corp プレフィルタ

Also Published As

Publication number Publication date
CN106713914A (zh) 2017-05-24
US20190261002A1 (en) 2019-08-22
CN106658014B (zh) 2021-01-08
JP6632456B2 (ja) 2020-01-22
US20240048720A1 (en) 2024-02-08
US9654773B2 (en) 2017-05-16
KR101607781B1 (ko) 2016-03-30
KR20140027483A (ko) 2014-03-06
KR102024516B1 (ko) 2019-09-24
JP2015062312A (ja) 2015-04-02
CN106713914B (zh) 2021-06-01
CN106954067A (zh) 2017-07-14
JP5921651B2 (ja) 2016-05-24
US20150319463A1 (en) 2015-11-05
CN106941608B (zh) 2021-01-15
CN106954067B (zh) 2020-08-18
US20210044806A1 (en) 2021-02-11
US10863180B2 (en) 2020-12-08
US9906795B2 (en) 2018-02-27
JP2019050637A (ja) 2019-03-28
WO2013001727A1 (ja) 2013-01-03
KR102026519B1 (ko) 2019-09-27
JP6863669B2 (ja) 2021-04-21
US20240048723A1 (en) 2024-02-08
JP5709996B2 (ja) 2015-04-30
US20230147899A1 (en) 2023-05-11
US11575906B2 (en) 2023-02-07
US11831881B2 (en) 2023-11-28
KR101860606B1 (ko) 2018-05-23
JP2018082498A (ja) 2018-05-24
JP6463521B2 (ja) 2019-02-06
US9210426B2 (en) 2015-12-08
CN103621083A (zh) 2014-03-05
KR20160038070A (ko) 2016-04-06
US10334251B2 (en) 2019-06-25
KR20190110159A (ko) 2019-09-27
EP2728877A1 (en) 2014-05-07
KR20180054893A (ko) 2018-05-24
US20180139452A1 (en) 2018-05-17
US20140044369A1 (en) 2014-02-13
US20170244971A1 (en) 2017-08-24
JP2016158283A (ja) 2016-09-01
US20240048721A1 (en) 2024-02-08
JPWO2013001727A1 (ja) 2015-02-23
KR20150009984A (ko) 2015-01-27
CN103621083B (zh) 2017-04-12
US20240048722A1 (en) 2024-02-08
KR20170003705A (ko) 2017-01-09
CN106941608A (zh) 2017-07-11
JP6667609B2 (ja) 2020-03-18
CN106658015B (zh) 2020-08-18
BR112013028175B1 (pt) 2022-05-31
BR112013028175A2 (pt) 2017-01-10
KR102111917B1 (ko) 2020-05-18
JP2020102855A (ja) 2020-07-02
EP2728877A4 (en) 2014-12-03
CN106658014A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN103621083B (zh) 图像解码装置以及图像解码方法
CN103222265B (zh) 运动图像编码装置、运动图像解码装置、运动图像编码方法以及运动图像解码方法
CN105516723B (zh) 运动图像编码装置及方法、运动图像解码装置及方法
CN103385004B (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
CN105872565B (zh) 图像编码装置和方法、以及图像译码装置和方法
CN107852492A (zh) 用于对图像进行编码和解码的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1233402

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant