CN106851289A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN106851289A
CN106851289A CN201610705248.7A CN201610705248A CN106851289A CN 106851289 A CN106851289 A CN 106851289A CN 201610705248 A CN201610705248 A CN 201610705248A CN 106851289 A CN106851289 A CN 106851289A
Authority
CN
China
Prior art keywords
block
filtering
image processing
block size
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610705248.7A
Other languages
English (en)
Other versions
CN106851289B (zh
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106851289A publication Critical patent/CN106851289A/zh
Application granted granted Critical
Publication of CN106851289B publication Critical patent/CN106851289B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

去块滤波器(24)对通过解码对每个块编码的图像数据获得的解码图像数据进行滤波，从而去除块失真。如果在两个相邻块的相邻边上的块尺寸的至少一个被扩展为大于预定块尺寸，滤波器设置单元(41)将抽头长度设置为扩展的长度以增加失真去除的强度，或者将滤波对象像素范围设置为扩展的范围。当使用具有扩展尺寸的宏块时，增加平滑话程度，并对包括远离块边界的像素的像素进行滤波。因此，即使当使用各个块尺寸或使用具有扩展尺寸的块时，仍可以获得高图像质量的图像。

Description

图像处理装置和图像处理方法
本申请是申请号为201180023207.5、申请日为2011年5月17日，申请名称为“图像处理装置和图像处理方法”的发明专利申请的分案申请。
技术领域
本发明涉及图像处理装置和图像处理方法，尤其使得可以获得具有优异图像质量的解码图像。
背景技术
近年来，在广播站和普通住户中盛行这样的装置，其处理数字的图像信息并高效率地传输或存储信息，或者例如这样的装置，其符合MPEG等的系统，其中通过诸如离散余弦变换的正交变换和运动补偿进行压缩。
特别是，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码系统，并且目前广泛用于专业使用和用户使用的大范围应用中。在具有例如720×480像素的标准分辨率的隔行扫描图像的情况中，通过分配4到8Mbps的编码量(比特率)，使用该MPEG2压缩系统可以获得优异的图像质量。在具有1920×1088像素的高分辨率的隔行扫描图像的情况中，通过分配18到22Mbps的编码量(比特率)，也可以获得优异的图像质量。
MPEG2旨在用于高图像质量编码以主要适于广播，并且不提供具有较低编码量(比特率)的编码系统，即，高于MPEG1的压缩率。随着便携式终端的盛行，预期对该编码系统的需求在未来增大。因此，MPEG4编码系统被标准化。1998年12月通过了用于图像编码系统的标准作为ISO/IEC 14496-2的国际标准。
另外，近来，在用于视频会议的图像编码的初始目标下，已经进行对称为H.26L(ITU-T Q6/16VCEG)的标准的标准化。已知，H.26L要求更大量的用于编码和解码的操作，但是相比于诸如MPEG2、MPEG4等的常规编码系统获得更高的编码效率。另外，作为MPEG4的活动的部分，现在在进行基于该H.26L的用于获得更高编码效率的标准化作为增强压缩视频编码的联合模型。对于标准化安排，在2003年3月建立了名称为H.264和MPEG-4第10部分(高级视频编码，下文写为“H.264/AVC”)的国际标准。
另外，作为其扩展，在2005年2月完成了对RFExt(保真度范围扩展)的标准化，其包括商业用途所需的编码工具，诸如RGB、4:2:2和4:4:4以及在MPEG2中定义的8×8DCT和量化矩阵。从而，H.264/AVC系统用作即使在影片中包括胶卷噪声的情况下也能够优异地显示的编码系统，并且用于诸如蓝光(注册商标)的大范围应用中。
在这样的编码和解码处理中，以块为单位编码图像数据。另外，在对编码数据进行解码过程中，如专利文献1所示，例如，通过基于块边界强度和量化参数进行滤波抑制块失真。
另外，近来存在日益增大的用于以更高的压缩比编码的需求，诸如期望压缩约4000×2000像素的图像，或者期望在诸如互联网的具有有限传输能力的环境中分发高分辨率图像。从而，在非专利文献1中，提出将宏块的尺寸设置为大于MPEG2或H.264/AVC的宏块的尺寸，例如32像素×32像素的尺寸。具体是，在非专利文献1中，对于宏块采用分级结构，从而对于16×16像素块和更小的块保持与H.264/AVC中的宏块的兼容性，并将更大的块定义为其超集。
现有技术文献
专利文献
专利文献1：日本待审专利申请No.2007-36463
非专利文献
专利文献1：“Video Coding Using Extended Block”(Study Group 16,Contribution 123,ITU,2009年1月)
发明内容
技术问题
顺带地，当通过常规去块滤波器去除块失真时，块失真可以尤其是在低比特率下增加，从而，存在未充分去除块失真、且图像质量下降的风险。
因此，本发明技术的目的在于提供一种图像处理装置和图像处理方法，即使在使用各种块尺寸时或者使用扩展尺寸的块时可以提供具有优异图像质量的图像。
技术方案
根据本发明第一方面，提供了一种图像处理装置，包括：解码部分，用于对在每个块中的编码的图像数据进行解码；滤波器，用于对通过所述解码部分解码的解码图像数据施加用于去除块失真的滤波；以及滤波器设置部分，用于根据在块边界处相邻的相邻块的块尺寸设置用于块边界的滤波的抽头长度或者作为滤波对象的滤波对象像素范围。
在该技术中，提供：滤波器，用于对通过解码在每个块中编码的图像数据获得的解码图像数据施加用于去除块失真的滤波；以及滤波器设置部分，用于设置所述滤波器。当在块边界处相邻的相邻块中的至少一个被扩展为大于预定块尺寸时，例如，滤波器设置部分在块尺寸增大时将用于块边界的滤波的抽头长度设置为更长，或者在块尺寸增大时将作为滤波对象的滤波对象像素范围设置为更宽。另外，根据相邻块的相邻边的块尺寸设置滤波的抽头长度或滤波对象像素范围。另外，根据其中相邻块都具有预定块尺寸或更小的尺寸的情况和其中相邻块中的至少一个被扩展为大于预定块尺寸的情况，进行对应于相邻块的块尺寸的情况分类，并且设置滤波的抽头长度和滤波对象像素 范围。进行情况分类，以分类为例如其中相邻块为16×16像素或更小的情况、其中两个块中的至少一个大于16×16像素且两个块都为32×32像素或更小的情况、以及其中两个块中的至少一个大于32×32像素的情况。当进行帧内预测或帧间预测时，块尺寸是作为处理单位的预测块尺寸。另外，滤波器设置部分根据解码图像数据是用于生成预测图像的图像数据还是用于图像显示的图像数据设置抽头长度或滤波对象像素范围。
根据本发明第二方面，提供了一种图像处理方法，包括：解码步骤，对在每个块中的编码的图像数据进行解码；滤波步骤，对在所述解码步骤中解码的解码图像数据施加用于去除块失真的滤波；以及滤波步骤，根据在块边界处相邻的相邻块的块尺寸设置用于块边界的滤波的抽头长度或者作为滤波对象的滤波对象像素范围。
根据本发明第三方面，提供了一种图像处理装置，包括：滤波器，用于对通过局部解码从正交变换和量化得到的图像数据获得的解码图像数据施加用于去除块失真的滤波；滤波器设置部分，用于根据在块边界处相邻的相邻块的块尺寸来设置用于块边界的滤波的抽头长度或作为滤波对象的滤波对象像素范围；以及编码部分，用于利用从通过滤波器的滤波得到的解码图像数据在每个图像数据块中进行编码。
根据本发明第四方面，提供了一种图像处理方法，包括：滤波步骤，用于对通过局部解码从正交变换和量化得到的图像数据获得的解码图像数据施加用于去除块失真的滤波；滤波设置步骤，用于根据在块边界处相邻的相邻块的块尺寸来设置用于块边界的滤波的抽头长度或作为滤波对象的滤波对象像素范围；以及编码步骤，用于利用从在所述滤波步骤中的滤波得到的解码图像数据在每个图像数据块中进行编码。
有利效果
根据本发明技术，可以获得具有减少的块失真的图像质量优异的图像。
附图说明
图1示出图像编码装置的配置；
图2示出在去块滤波器的滤波中使用的像素数据；
图3示出量化参数QP与阈值α之间的关系；
图4示出去块滤波器和滤波器设置部分的配置；
图5示出在图像编码处理中使用的预测块尺寸；
图6为图像编码处理操作的流程图；
图7为预测处理的流程图；
图8为帧内预测处理的流程图；
图9为帧间预测处理的流程图；
图10为滤波器设置处理的流程图；
图11示出图像解码装置的配置；
图12为图像解码处理操作的流程图；
图13示出电视装置的示意配置；
图14示出便携式电话的示意配置；
图15示出记录和再现装置的示意配置；以及
图16示出成像装置的示意配置。
具体实施方式
下面将描述本发明的具体实施方式。根据本发明的图像处理装置可应用于以预测块尺寸编码图像数据的图像编码装置、用于对以预测块尺寸编码的图像数据进行解码的图像解码装置等等。从而，将按照下面的顺序描述把根据本发明的图像处理装置应用于图像编码装置的情况以及把根据本发明的图像处理装置用于图像解码装置的情况。
1.图像编码装置的配置
2.去块滤波器的滤波
3.图像编码装置中的去块滤波器的配置
4.图像编码装置的操作
5.图像解码装置的配置
6.图像解码装置的操作
7.应用实例
<1.图像编码装置的配置>
图1示出一种图像编码装置的配置。图像编码装置10包括模拟/数字转换部分(A/D转换部分)11、画面重排列缓冲器12、减法部分13、正交变换部分14、量化部分15、无损编码部分16、存储缓冲器17、以及速率控制部分18。图像编码装置10还包括去量化部分21、反向正交变换部分22、加法部分23、去块滤波器24、帧存储器25、选择器26、帧内预测部分31、运动预测和补偿部分32、以及预测图像和最优模式选择部分33。
A/D转换部分11将模拟图像信号转换为数字图像数据，并将数字图像数据输出到画面重排列缓冲器12。
画面重排列缓冲器12对从A/D转换部分11输出的图像数据的帧进行重排列。画面重排列缓冲器12根据编码处理中涉及的GOP(画面组)结构重排列各个帧，并将重排列后的图像数据输出到减法部分13、帧内预测部分31以及运动预测和补偿部分32。
对减法部分13提供从画面重排列缓冲器12输出的图像数据和通过下述预测图像和最优模式选择部分33选择的预测图像数据。减法部分13计算指示从画面重排列缓冲器12输出的图像数据与从预测图像和最优模式选择部分33提供的预测图像数据之差的预测误差数据，并将预测误差数据输出到正交变换部分14。
正交变换部分14对从减法部分13输出的预测误差数据进行正交变换处理，诸如离散余弦变换(DCT)、Karhunen-Loeve变换等等。正交变换部分14将通过进行正交变换处理获得的变换系数数据输出到量化部分15。
对量化部分15提供从正交变换部分14输出的变换系数数据和来自下述的速率控制部分18的速率控制信号。量化部分15量化变换系数数据，并将量化数据输出到无损编码部分16和去量化部分21。另 外，量化部分15基于来自速率控制部分18的速率控制信号改变量化参数(量化比例)，以改变量化数据的比特率。
对无损编码部分16提供从量化部分15输出的量化数据和来自下述的帧内预测部分31、运动预测和补偿部分32以及预测图像和最优模式选择部分33的预测模式信息。顺带提及，预测模式信息包括宏块类型，其能够根据帧内预测或帧间预测识别预测块尺寸、预测模式、运动矢量信息、参考画面信息等等。无损编码部分16通过例如可变长度编码或算术编码对量化数据进行无损编码处理，从而生成编码流，并将编码流输出到存储缓冲器17。另外，无损编码部分16对预测模式信息进行无损编码，并将预测模式信息加到例如编码流的头信息。
存储缓冲器17存储来自无损编码部分16的编码流。另外，存储缓冲器17以对应于传输线的传输速度输出存储的编码流。
速率控制部分18监视存储缓冲器17的空闲空间，根据空闲空间生成速率控制信号，并将速率控制信号输出到量化部分15。速率控制部分18例如从存储缓冲器17获得指示空闲空间的信息。当空闲空间减小时，速率控制部分18通过速率控制信号使得量化数据的比特率下降。当存储缓冲器17具有足够大的空闲空间时，速率控制部分18通过速率控制信号使得量化数据的比特率增高。
去量化部分21对从量化部分15提供的量化数据进行去量化处理。去量化部分21将通过进行去量化处理获得的变换系数数据输出到反向正交变换部分22。
反向正交变换部分22将通过对从去量化部分21提供的变换系数数据进行反向正交变换处理获得的数据输出到加法部分23。
加法部分23通过将从反向正交变换部分22提供的数据与从预测图像和最优模式选择部分33提供的预测图像数据加到一起生成解码图像数据，并将解码图像数据输出到去块滤波器24和帧存储器25。
去块滤波器24进行滤波以减少在图像编码时产生的块失真。去块滤波器24进行滤波以从自加法部分23提供的解码图像数据中去除 块失真，并将滤波后的解码图像数据输出到帧存储器25。另外，去块滤波器24基于从下述滤波器设置部分41提供的参数值设置抽头长度和滤波对象像素范围。
帧存储器25保存从加法部分23提供的解码图像数据和滤波后的解码图像数据，所述解码图像数据从去块滤波器24提供。
选择器26将滤波前的解码图像数据(所述解码图像数据从帧存储器25读取)提供到帧内预测部分31以进行帧内预测。另外，选择器26将滤波后的解码图像数据(所述解码图像数据从帧存储器25读取)提供到运动预测和补偿部分32以进行帧间预测。
帧内预测部分31利用从画面重排列缓冲器12输出的编码对象图像的图像数据和滤波前的解码图像数据(该解码图像数据从帧存储器25读取)在所有作为候选的帧内预测模式中进行帧内预测处理。另外，帧内预测部分31对于每个帧内预测模式计算成本函数值，并选择其中计算的成本函数值最小的帧内预测模式，即其中获得最高编码效率的帧内预测模式，作为最优帧内预测模式。帧内预测部分31将按照最优帧内预测模式生成的预测图像数据、关于最优帧内预测模式的预测模式信息、以及最优帧内预测模式中的成本函数值输出到预测图像和最优模式选择部分33。另外，为了获得在计算下述的成本函数值中使用的生成编码的量，帧内预测部分31在每个帧内预测模式的帧内预测处理中将关于帧内预测模式的预测模式信息输出到无损编码部分16。
运动预测和补偿部分32在对应于宏块的全部预测块尺寸中进行运动预测和补偿处理。运动预测和补偿部分32利用滤波后的解码图像数据(所述解码图像数据从帧存储器25读取)在从画面重排列缓冲器12读取的编码对象图像中对于各个预测块尺寸的每个图像检测运动矢量。另外，运动预测和补偿部分32通过基于检测的运动矢量对编码图像施加运动补偿处理生成预测图像。另外，运动预测和补偿部分32对于每个预测块尺寸计算成本函数值，并选择其中计算的成本函数值最小的预测块尺寸，即其中获得最高编码效率的预测块尺 寸，作为最优帧间预测模式。运动预测和补偿部分32将在最优帧间预测模式中生成的预测图像数据、关于最优帧间预测模式的预测模式信息、以及最优帧间预测模式中的成本函数值输出到预测图像和最优模式选择部分33。另外，为了获得在计算成本函数值中使用的生成编码的量，运动预测和补偿部分32在每个预测块尺寸的帧间预测处理中将关于帧间预测模式的预测模式信息输出到无损编码部分16。另外，运动预测和补偿部分32按照跳跃宏块和直接模式作为帧间预测模式进行预测。
预测图像和最优模式选择部分33以宏块为单位将从帧内预测部分31提供的成本函数值与从运动预测和补偿部分32提供的成本函数值进行比较，并选择较小的成本函数值作为其中获得最佳编码效率的最优模式。另外，预测图像和最优模式选择部分33将在最优模式中生成的预测图像数据输出到减法部分13和加法部分23。另外，预测图像和最优模式选择部分33将关于最优模式的预测模式信息输出到无损编码部分16和滤波器设置部分41。另外，预测图像和最优模式选择部分33以片段为单位进行帧内预测或帧间预测。
滤波器设置部分41根据由关于最优模式的预测模式信息指示的预测块尺寸生成用于设置滤波器的抽头长度和滤波对象像素范围的参数值，并将该参数值输出到去块滤波器24。
<2.去块滤波器的滤波>
H264./AVC的编码系统允许通过在图像压缩信息中包括的画面参数组RBSP的deblocking_filter_control_present_flag和在片段头中包括的disable_deblocking_filter_idc两个参数指定的去块滤波器的下述三种滤波方法。
(a)应用到块边界和宏块边界
(b)仅应用到宏块边界
(c)不应用
对于量化参数QP，当将下面的处理应用到亮度数据时使用QPY，且当将下面的处理应用到色差数据时使用QPC。另外，在运 动矢量编码、帧内预测和熵编码(CAVLC/CABAC)中，将属于不同片段的像素值处理为“不可用”。另外，在滤波中，当属于相同的画面时，即使属于不同片段的像素值也被处理为“可用的”。
在下面的描述中，假设如图2(A)所示，在块边界处的滤波前的彼此相邻的块P和Q中的像素数据自边界位置起为p0到p4和q0到q4。另外，假设如图2(B)所示，滤波后的像素数据自边界的位置起为p0’到p4’和q0’到q4’。
在滤波前，如表1所示，对图2中的像素p和像素q定义块边界强度数据Bs(边界强度，Boundary Strength)。
[表1]
如表1所示，当像素p和像素q之一属于帧内编码宏块MB、且关注像素位于宏块MB的边界时，对块边界强度数据Bs分配最高滤波强度“4”。
当像素p和像素q之一属于帧内编码宏块MB、且关注像素不位于宏块MB的边界时，对块边界强度数据Bs分配次于“4”的高滤波强度“3”。
当像素p和像素q都不属于帧内编码宏块MB、且像素之一具有变换系数时，对块边界强度数据Bs分配次于“3”的高滤波强度“2”。
当满足像素p和像素q都不属于帧内编码宏块MB、都不具有变换系数的条件，且满足参考帧不同、参考帧的数目不同、或者运动矢量不同的条件时，对块边界强度数据Bs分配“1”。
当像素p和像素q都不属于帧内编码宏块MB、且都不具有变换系数，且参考帧和运动矢量相同时，对块边界强度数据Bs分配“0”。另外，“0”表示不进行滤波
仅当公式(1)中的条件满足时，对图2中的(p2,p1,p0,q0,q1,q2)滤波。
Bs＞0
|p0-q0|＜α；|p1-p0|＜β；|q1-q0|＜β···(1)
如下根据量化参数QP缺省确定作为用于调节滤波强度(即滤波的容易程度)的参数值的阈值α和β。另外，用户可以通过在图像压缩信息中的片段头中包括的两个参数slice_alpha_c0_offset_div2和slice_beta_offset_div2调节强度。另外，图3示出量化参数QP与阈值α之间的关系。当将偏移量加到量化参数QP时，指示量化参数QP与阈值α之间的关系的曲线在箭头方向移动。从而显而易见，调节了滤波强度。
另外，利用彼此相邻的块P和块Q的各自的量化参数qPp和qPq从公式(2)到(4)计算indexA和indexB，并且从表2所示的表格获得阈值α和β。
q Pav＝(q Pp+q Pq+1)＞＞1···(2)
indexA＝Clip3(0，51，qPav+FilterOffsetA)···(3)
indexB＝Clip3(0，51，qPav+FilterOffsetB)···(4)
[表2]
(index指数)
对于其中“Bs＜4”的情况和其中“Bs＝4”的情况限定不同的滤波方法。
首先对其中“Bs＜4”的情况进行描述。
去块滤波器进行公式(5)到(7)中所示的操作以在滤波后计算像素数据p0′和q0′。
公式(7)中的Clip3表示裁切处理。
p0’＝Clip1(p0+Δ)···(5)
q0’＝Clip1(q0+Δ)···(6)
Δ＝Clip3(-tc，tc((((q0-p0)＜＜2)+(p1-q1)+4)＞＞3))···(7)
当“chromaEdgeFlag”指示“0”时，去块滤波器基于公式(8)计算公式(7)中的“tc”，否则基于公式(9)计算公式(7)中的“tc”。
在公式(8)中，当满足括号内的条件时，“()？1：0”指示“1”，否则指示“0”。
tc＝t c0+((ap＜β)？1：0)+(aq＜β)？1：0)···(8)
tc＝t c0+1···(9)
根据Bs和indexA的值，如表3中定义tc的值。
[表3]
另外，去块滤波器根据公式(10)和(11)计算公式(8)中的ap和aq。
ap＝|p2-p0|···(10)
aq＝|q2-q0|···(11)
当chromaEdgeFlag为“0”，且ap等于或小于“β”时，去块滤波器通过进行公式(12)中所示的运算来计算滤波后的像素数据p1′，否则通过公式(13)获得滤波后的像素数据p1′。
p1’＝p1+Clip3(-t c0，t c0，(p2+((p0+q0+1)＞＞1)-(p1＜＜1))＞＞1)···(12)
p1’＝p1···(13)
当chromaEdgeFlag为“0”，且aq等于或小于“β”时，去块滤波器通过进行公式(14)中所示的运算来计算滤波后的像素数据q1′，否则通过公式(15)获得滤波后的像素数据q1′。
q1’＝q1+Clip3(-t c0，t c0，(q2+((p0+q0+1)＞＞1)-(q1＜＜1))＞＞1)···(14)
q1’＝q1···(15)
另外，像素数据p2′和像素数据q2′是滤波前的值。
p2’＝p2···(16)
q2’＝q2···(17)
下面对其中“Bs＝4”的情况进行描述。
当chromaEdgeFlag指示“0”且满足公式(18)的条件时，去块滤波器根据公式(19)到(21)计算像素数据p0’、p1’和p2’。
ap＜β&&|p0-q0|＜((α＞＞2)+2)···(18)
p0’＝(p2+2·p1+2·p0+2·q0+q1+4)＞＞3···(19)
p1’＝(p2+p1+p0+q0+2)＞＞2···(20)
p2’＝(2·p3+3·p2+p1+p0+q0+4)＞＞3···(21)
当chromaEdgeFlag指示“0”且不满足公式(18)的条件时，去块滤波器根据公式(22)到(24)计算像素数据p0’、p1’和p2’。
p0’＝(2·p1+p0+q1+2)＞＞2···(22)
p1’＝p1···(23)
p2’＝p2···(24)
当chromaEdgeFlag指示“0”且满足公式(25)的条件时，去块滤波器根据公式(26)到(28)计算像素数据q0’、q1’和q2’。
aq＜β&&|p0-q0|＜((α＞＞2)+2)···(25)
q0’＝(p1+2·p0+2·q0+2·q1+q2+4)＞＞3···(26)
q1’＝(p0+q0+q1+q2+2)＞＞2···(27)
q2’＝(2·q3+3·q2+q1+q0+p4+4)＞＞3···(28)
当chromaEdgeFlag指示“0”且不满足公式(25)的条件时，去 块滤波器根据公式(29)到(31)计算像素数据q0’、q1’和q2’。
q0’＝(2·q1+q0+p1+2)＞＞2···(29)
q1’＝q1···(30)
q2’＝q2···(31)
从而，在H264./AVC的编码系统中，通过利用像素数据p0到p3和q0到q3进行滤波来计算像素数据p0’到p2’和q0’到q2’。
<3.图像编码装置中的去块滤波器和滤波器设置部分的配置>
滤波器设置部分41根据关注宏块中的最优模式的预测块尺寸设置去块滤波器24中的抽头长度和滤波对象像素范围。
通常，在较大块尺寸的情况中，块失真对于人眼是明显的。另外，对于不包括很多纹理信息的平坦区域倾向于选择较大块尺寸。
从而，滤波器设置部分41根据彼此相邻的两个块的相邻边上的块尺寸进行情况分类，并且根据情况分类的结果设置滤波的抽头长度和滤波对象像素范围。滤波器设置部分41进行情况分类为例如其中彼此相邻的两个块的相邻边都具有预定块尺寸或更小的块尺寸的情况、和其中彼此相邻的两个块中的至少一个具有大于预定块尺寸的扩展块尺寸的情况。
在其中彼此相邻的两个块的相邻边上的块尺寸都具有预定块尺寸或更小的块尺寸的情况中，例如H.264/AVC标准的宏块尺寸，滤波器设置部分41通过如上所述进行滤波来计算像素数据p0’到p2’和q0’到q2’。在其中彼此相邻的两个块中的至少一个具有大于预定块尺寸的扩展块尺寸的情况中，滤波器设置部分41根据块边界的块尺寸扩展抽头长度或滤波对象像素范围。通过扩展抽头长度或滤波对象像素范围，滤波器设置部分41对具有明显块失真的较大块尺寸的部分进行更高强度的平滑处理和施加到离块边界更远的像素的值的滤波。从而，使得块失真不明显，并且使解码图像的主观图像质量更符合期望。
另外，当进行更高强度的平滑处理时，失去了图像的高频分量。 然而，经常对具有小的高频分量的相对平坦的区域应用大的块尺寸，从而不出现诸如纹理遗失等的主观恶化。
滤波器设置部分41从而根据预测块尺寸生成指示抽头长度和滤波对象像素范围的参数值，并将参数值提供到去块滤波器24。另外，当使用大于预定宏块的块尺寸的多个不同尺寸的宏块时，随着块尺寸增大，滤波器设置部分41可以设置更长的抽头长度和更大的滤波对象像素范围。
图4示出去块滤波器和滤波器设置部分的配置。滤波器设置部分41包括块尺寸缓冲器411和参数值生成部分412。另外，去块滤波器24包括滤波强度确定部分241和滤波部分242。
块尺寸缓冲器411累积用于一个帧图像的信息，该信息指示在由预测图像和最优模式选择部分33选择的最优模式中的预测块尺寸。即，块尺寸缓冲器411存储关于一个帧图像中作为编码对象的每个宏块的预测块尺寸的信息。
参数值生成部分412基于块尺寸缓冲器411的预测块尺寸信息确定在彼此相邻的两个块的相邻边上的预测块尺寸。参数值生成部分412基于确定的预测块尺寸生成用于对两个块之间的块边界设置滤波的抽头长度和滤波对象像素范围的参数值，并将该参数值提供到滤波强度确定部分241。
滤波强度确定部分241基于从无损编码部分16提供的预测模式信息确定块边界强度数据Bs，并将确定的块边界强度数据Bs和从参数值生成部分412提供的参数值输出到滤波部分242。
滤波部分242利用块边界强度数据Bs以及由参数值指示的抽头长度和滤波对象像素范围进行滤波以计算滤波后的像素数据。
下面将示出分类为如下情况的情况分类：第一情况，其中彼此相邻的两个块的相邻边的预测块尺寸都是预定块尺寸(16×16像素)或更小的块尺寸；以及第二情况，其中彼此相邻的两个块中的至少一个具有大于预定块尺寸的扩展块尺寸。在该情况中，在第一情况中进行上述H.264/AVC编码系统的滤波。另外，在第二情况中，将抽头长 度设置为扩展的长度以增大平滑强度，和/或扩展滤波对象像素范围以对远离块边界的位置处的像素进行滤波。
下面将描述当扩展抽头长度和滤波对象像素范围时的滤波。
滤波部分242基于参数值扩展抽头长度和滤波对象像素范围，进行滤波，并根据像素数据p0到p4和q0到q4计算滤波后的像素数据p0’到p3’和q0’到q3’。在该情况中，滤波部分242使用公式(32)代替上述公式(7)。
Δ＝Clip3(-tc，tc((((q0-p0)＜＜3)+((p1-q1)＜＜1)+(p2-q2)+8)＞＞4))···(32)
另外，滤波部分242通过使用公式(33)和(34)代替公式(12)和(14)计算像素数据p1′和q1′。
p1’＝p1+Clip3(-t c0，t c0，(p3+p2+p0+((q0+q1+1)＞＞1)-(p1＜＜2))＞＞2)···(33)
q1’＝q1+Clip3(-t c0，t c0，(q3+q2+q0+((q0+q1+1)＞＞1)-(q1＜＜2))＞＞2)···(34)
另外，滤波部分242通过使用公式(35)和(36)代替公式(16)和(17)计算像素数据p2′和q2′。
p2’＝p2+Clip3(-t c0，t c0，(p4+p3+p1+((p0+q1+1)＞＞1)-(p2＜＜2))＞＞2)···(35)
q2’＝q2+Clip3(-t c0，t c0，(q4+q3+q1+((q0+q1+1)＞＞1)-(q2＜＜2))＞＞2)···(36)
另外，当chromaEdgeFlag指示“0”且满足公式(18)的条件时，滤波部分242根据公式(37)到(40)计算像素数据p0’、p1’、p2’和p3’。
p0’＝(p3+2·p2+3·p1+4·p0+3·q0+2·q1+q2+8)＞＞4···(37)
p1’＝(p3+p2+2·p1+2·p0+q0+q1+4)＞＞3···(38)
p2’＝(p4+3·p3+4·p2+3·p1+2·p0+2·q0+q1+8)＞＞4···(39)
p3’＝(p4+3·p3+p2+p1+p0+q0+4)＞＞3···(40)
另外，当chromaEdgeFlag指示“0”且满足公式(25)的条件时，滤波部分242根据公式(41)到(44)计算像素数据q0’、q1’、q2’和q3’。
q0’＝(p2+2·p1+3·p0+4·q0+3·q1+2·q2+q3+8)＞＞4···(41)
q1’＝(p1+p0+2·q0+2·q1+q2+q3+4)＞＞3···(42)
q2’＝(q4+3·q3+4·q2+3·q1+2·q0+2·p0+p1+8)＞＞4···(43)
q3’＝(q4+3·q3+q2+q1+q0+p0+4)＞＞3···(44)
另外，对抽头长度和滤波对象像素范围的设置不限于分类为两种情况(即，其中两个块都具有16×16像素的尺寸或更小的尺寸的情况和其中两个块中的至少一个大于16×16像素的情况)的情况分类。例如，可以进行情况分类，以分类为例如其中两个块都具有16×16像素的尺寸或更小尺寸的情况、其中两个块中的至少一个大于16×16像素且两个块都为32×32像素或更小的情况、以及其中两个块的至少一个大于32×32像素的情况。在该情况中，在较大块尺寸的边界处，进一步加长抽头长度以增加平滑强度，并且进一步增大滤波对象像素范围以对远离块边界的像素值进行滤波。另外，在设置抽头长度和滤波对象像素范围中，根据情况分类的结果可以仅增大抽头长度和滤波对象像素范围之一。
从而，图像编码装置根据在彼此相邻的两个块的相邻边上的块尺寸设置滤波器的抽头长度和滤波对象像素范围，并对具有明显块失真的较大块尺寸的部分进行更高强度的平滑处理和应用于更远离块边界的像素的值的滤波。从而，使得块失真不明显，并且可以使得用于生 成预测图像的解码图像的图像质量更符合期望。
<4.图像编码装置的操作>
下面将描述图像编码处理操作。图5示出用于图像编码处理的预测块尺寸。H.264/AVC系统定义如图5(C)和图5(D)所示的16×16像素和4×4像素的预测块尺寸。另外，当使用大于H.264/AVC系统的尺寸的扩展尺寸的宏块时，例如，当使用32×32像素的宏块时，定义例如如图5(B)所示的预测块尺寸。当使用64×64像素的宏块时，定义例如图5(A)所示的预测块尺寸。
另外，图5中的“跳跃/直接”表示当在运动预测和补偿部分32中选择跳跃宏块或直接模式时的预测块尺寸。另外，“ME”表示运动补偿块尺寸。另外，“P8×8”表示可以在减小宏块的尺寸的更低层中进一步划分。
图6为图像编码处理操作的流程图。在步骤ST11，A/D转换部分11对输入图像信号进行A/D转换。
在步骤ST12，画面重排列缓冲器12进行画面重排列。画面重排列缓冲器12存储从A/D转换部分11提供的图像数据，并将显示每个画面的顺序重排列为编码每个画面的顺序。
在步骤ST13，减法部分13生成预测误差数据。减法部分13通过计算在步骤ST12中重排列的图像的图像数据与通过预测图像和最优模式选择部分33选择的预测图像数据之差而生成预测误差数据。相比于原始图像数据，该预测误差数据在量上减小。从而，相比于按原样对图像进行编码的情况，能够压缩数据量。另外，当预测图像和最优模式选择部分33以片段为单位选择从帧内预测部分31提供的预测图像和来自运动预测和补偿部分32的预测图像时，在选择了从帧内预测部分31提供的预测图像的片段中进行帧内预测。另外，在选择了来自运动预测和补偿部分32的预测图像的片段中进行帧间预测。
在步骤ST14，正交变换部分14进行正交变换处理。正交变换部分14对从减法部分13提供的预测误差数据进行正交变换。具体是， 对预测误差数据进行诸如离散余弦变换、Karhunen-Loeve变换等的正交变换，并输出变换系数数据。
在步骤ST15，量化部分15进行量化处理。量化部分15量化变换系数数据。在量化中，如下文将对步骤ST25的处理中的描述，进行速率控制。
在步骤ST16，去量化部分21进行去量化处理。去量化部分21用与量化部分15的特征对应的特征对通过量化部分15量化的变换系数数据进行去量化。
在步骤ST17，反向正交变换部分22进行反向正交变换处理。反向正交变换部分22以对应于正交变换部分14的特征的特征对通过去量化部分21去量化的变换系数数据进行反向正交变换。
在步骤ST18，加法部分23生成解码图像数据。加法部分23通过将从预测图像和最优模式选择部分33提供的预测图像数据与位于对应于预测图像的位置的经过反向正交变换后的数据加到一起而生成解码图像数据。
在步骤ST19，去块滤波器24进行滤波。去块滤波器24通过对从加法部分23输出的解码图像数据进行滤波去除块失真。
在步骤ST20，帧存储器25存储解码图像数据。帧存储器25存储滤波前的解码图像数据和滤波后的解码图像数据。
在步骤ST21，帧内预测部分31和运动预测和补偿部分32各自进行预测处理。具体是，帧内预测部分31在帧内预测模式中进行帧内预测处理，以及运动预测和补偿部分32在帧间预测模式中进行运动预测和补偿处理。下文将参考图7详细描述预测处理的内容。该处理在作为候选的全部预测模式中进行对应的预测处理，并计算作为候选的全部预测模式的对应的成本函数值。然后，基于计算的成本函数值选择最优帧内预测模式和最优帧间预测模式，并将在选择的预测模式中生成的预测图像、其成本函数、以及预测模式信息提供到预测图像和最优模式选择部分33。
在步骤ST22，预测图像和最优模式选择部分33选择预测图像数 据。预测图像和最优模式选择部分33基于从帧内预测部分31和运动预测和补偿部分32输出的对应的成本函数值确定其中获得最佳编码效率的最优模式。另外，预测图像和最优模式选择部分33在确定的最优模式中选择预测图像数据，并将预测图像数据提供到减法部分13和加法部分23。如上所述，在步骤ST13和ST18的操作中使用该预测图像。另外，将对应于选择的预测图像数据的预测模式信息输出到无损编码部分16和滤波器设置部分41。
在步骤ST23，无损编码部分16进行无损编码处理。无损编码部分16对从量化部分15输出的量化数据进行无损编码。具体是，对量化数据进行诸如可变长度编码、算术编码等的无损编码，并压缩数据。此时，对在上述步骤ST22等中输入到无损编码部分16的预测模式信息(包括例如宏块类型、预测模式、运动矢量信息、参考画面信息等)也进行无损编码。另外，将预测模式信息的无损编码数据添加到通过无损编码量化数据生成的编码流的头信息中。
在步骤ST24，存储缓冲器17进行存储处理以存储编码流。适当时读取存储在存储缓冲器17中的编码流，并经传输线将其传输到解码侧。
在步骤ST25，速率控制部分18进行速率控制。速率控制部分18控制量化部分15的量化操作的速率，以在存储缓冲器17存储编码流时防止存储缓冲器17上溢或下溢。
下面将参考图7的流程图描述图6中步骤ST21中的预测处理。
在步骤ST31，帧内预测部分31进行帧内预测处理。帧内预测部分31在作为候选的全部帧内预测模式中对作为处理对象的块的图像进行帧内预测。另外，将未通过去块滤波器24滤波的存储在帧存储器25中的解码图像数据用作在帧内预测中引用的解码图像的图像数据。将在下文中详细描述帧内预测处理的内容。该处理在作为候选的全部帧内预测模式中进行帧内预测处理，并计算作为候选的全部帧内预测模式的成本函数值。然后，基于计算的成本函数值从全部帧内预测模式中选择获得最佳编码效率的一个帧内预测模式。
在步骤ST32，运动预测和补偿部分32进行帧间预测处理。运动预测和补偿部分32使用存储在帧存储器25中的滤波后的解码图像数据在作为候选的全部帧间预测模式(全部预测块尺寸)中进行帧间预测处理。将在下文中详细描述帧间预测处理的内容。该处理在作为候选的全部帧间预测模式中进行帧间预测处理，并计算作为候选的全部帧间预测模式的成本函数值。然后，基于计算的成本函数值从全部帧间预测模式中选择获得最佳编码效率的一个帧间预测模式。
下面将参考图8的流程图描述图7中步骤ST31中的帧内预测处理。
在步骤ST41，帧内预测部分31在每个预测模式中进行帧内预测。帧内预测部分31利用存储在帧存储器25中的滤波前的解码图像数据对于每个帧内预测模式生成预测图像数据。
在步骤ST42，帧内预测部分31对于每个预测模式计算成本函数值。基于如在H.264/AVC系统中作为参考软件的JM(联合模型)中定义的高复杂性模式和低复杂性模式之一的方法计算成本函数值。
具体是，在高复杂性模式中，如同步骤ST41的处理，对作为候选的全部预测模式试验性地进行无损编码处理，并且对于每个预测模式计算由下面的公式(45)表达的成本函数值。
成本(模式∈Ω)＝D+λ·R···(45)
Ω表示用于编码关注块或宏块的作为候选的预测模式的全集。D表示当在预测模式中进行编码时在解码图像与输入图像之间的差分能量(失真)。R是生成的编码的量，包括正交变换系数、预测模式信息等。λ是根据量化参数QP给定的Lagrange乘子。
即，在高复杂性模式中编码要求在作为候选的全部预测模式中进行一次试验性编码处理以计算上述参数D和R，并需要较大的操作量。
另一方面，在低复杂性模式中，如同步骤ST41中的处理，生成预测图像，并且对于作为候选的全部预测模式计算达到头比特的运动矢量信息、预测模式信息等，并且对于每个预测模式计算通过下面的 公式(46)表达的成本函数值。
成本(模式∈Ω)＝D+QPtoQuant(QP)·header_bit···(46)
Ω表示用于编码关注块或宏块的作为候选的预测模式的全集。D表示当在预测模式中进行编码时在解码图像与输入图像之间的差分能量(失真)。header_bit是用于预测模式的头比特。QPtoQuant是根据量化参数QP给定的函数。
即，低复杂性模式要求对于每个预测模式进行预测处理，但是不需要解码图像，从而能够以小于高复杂性模式的操作量实现预测处理。
在步骤ST43，帧内预测部分31确定最优帧内预测模式。基于在步骤ST42中计算的成本函数值，帧内预测部分31选择其成本函数值是各个成本函数值中的最小值的一个帧内预测模式，并确定该帧内预测模式作为最优帧内预测模式。
下面将参考图9的流程图描述图7中步骤ST32中的帧间预测处理。
在步骤ST51，运动预测和补偿部分32对于每个预测模式确定运动矢量和参考图像。即，运动预测和补偿部分32在每个预测模式中对于作为处理对象的块确定运动矢量和参考图像。
在步骤ST52，运动预测和补偿部分32对于每个预测模式进行运动补偿。运动预测和补偿部分32基于在步骤ST51中确定的运动矢量在每个预测模式中(每个预测块尺寸)对参考图像施加运动补偿，并对每个预测模式生成预测图像数据。
在步骤ST53，运动预测和补偿部分32对于每个预测模式生成运动矢量信息。运动预测和补偿部分32生成将被包括在编码流中的运动矢量信息，所述信息是关于在每个预测模式中确定的运动矢量。例如，利用中间预测等确定预测运动矢量，并生成指示通过运动预测检测的运动矢量与预测运动矢量之差的运动矢量信息。这样生成的运动矢量信息还在下一个步骤ST54中用于计算成本函数值，并被包括在预测模式信息中，并在预测图像和最优模式选择部分33最后选择对 应的预测图像时被输出到无损编码部分16。
在步骤ST54，运动预测和补偿部分32对于每个帧间预测模式计算成本函数值。运动预测和补偿部分32利用上述公式(45)或公式(46)计算成本函数值。另外，对于帧间预测模式计算成本函数值包括评估在H.264/AVC系统中定义的跳跃模式和直接模式中的成本函数值。
在步骤ST55，运动预测和补偿部分32确定最优帧间预测模式。基于在步骤ST54中计算的成本函数值，运动预测和补偿部分32选择其成本函数值是各成本函数值中的最小值的一个预测模式，并确定该预测模式作为最优帧间预测模式。
下面将参考图10的流程图描述滤波器设置处理。另外，图10表示其中扩展抽头长度和滤波对象像素范围的情况。
在步骤ST61，滤波器设置部分41获得最优模式中的预测块尺寸。滤波器设置部分41获得对应于在图6的步骤ST22中选择的预测图像的预测块尺寸，即，当在最优模式中进行编码时的预测块尺寸。
在步骤ST62，滤波器设置部分41确定关注块或相邻块是否大于16×16像素。当关注块和相邻块中至少一个大于16×16像素时，滤波器设置部分41前进到步骤ST63。当关注块和相邻块都是16×16像素或更小时，滤波器设置部分41前进到步骤ST64。
在步骤ST63，滤波器设置部分41扩展且设置抽头长度和滤波对象像素范围。例如，滤波器设置部分41将抽头长度和滤波对象像素范围扩展为大于在H.264/AVC编码系统中的值，并使得如上所述计算滤波后的像素数据p0’到p3’和q0’到q3’。
在步骤ST64，滤波器设置部分41不扩展地设置抽头长度和滤波对象像素范围。例如，滤波器设置部分41设置H.264/AVC系统的抽头长度和滤波对象像素范围，并使得如上所述计算滤波后的像素数据p0’到p2’和q0’到q2’。
从而，根据应用本发明的图像编码装置和图像编码方法，确定提 供最佳编码效率的预测块尺寸，并按照确定的预测块尺寸来编码图像数据。此时，在滤波器设置部分41的块尺寸缓冲器411中存储指示预测块尺寸的信息。从而，当通过对按照提供最佳编码效率的预测块尺寸编码的图像数据进行解码生成解码图像数据时，解码图像中的预测块的位置是清晰的。从而，基于存储在块尺寸缓冲器411中的信息，根据预测块尺寸设置抽头长度和滤波对象像素范围，从而即使预测块尺寸较大也可以减小块失真。另外，由于可以减小在用于生成预测图像的解码图像数据中的块失真，从而可以防止由于块失真效应导致的预测误差数据量的增加。从而，可以进一步减小编码处理后的数据量。
<5.图像解码装置的配置>
经预定传输线、记录介质等将通过对输入图像进行编码而生成的编码流提供到图像解码装置并解码。
图11示出图像解码装置的配置。图像解码装置50包括存储缓冲器51、无损解码部分52、去量化部分53、反向正交变换部分54、加法部分55、去块滤波器56、画面重排列缓冲器57、以及D/A转换部分58。图像解码装置50还包括帧存储器61、选择器62和65、帧内预测部分63、运动补偿部分64、以及滤波器设置部分71。
存储缓冲器51存储传输的编码流。无损解码部分52通过对应于图1中的无损编码部分16的编码系统的系统对从存储缓冲器51提供的编码流进行解码。另外，无损解码部分52将通过解码编码流的头信息获得的预测模式信息输出到帧内预测部分63、运动补偿部分64和去块滤波器56。
去量化部分53通过对应于图1中的量化部分15的量化系统的系统对通过无损解码部分52解码的量化数据进行去量化。反向正交变换部分54通过对应于图1中的正交变换部分14的正交变换系统的系统对去量化部分53的输出进行反向正交变换，并将经过反向正交变换后的数据输出到加法部分55。
加法部分55通过将反向正交变换后的数据与从选择器65提供的 预测图像数据加到一起生成解码图像数据，并将解码图像数据输出到去块滤波器56和帧存储器61。
以与图1中的去块滤波器24类似的方式配置去块滤波器56。去块滤波器56通过对从加法部分55提供的解码图像数据进行滤波去除块失真。然后，去块滤波器56将所述解码图像数据提供到帧存储器61使得在帧存储器61中存储解码图像数据，并将解码图像数据输出到画面重排列缓冲器57。另外，去块滤波器56基于从无损解码部分52提供的预测模式信息和从下述滤波器设置部分71提供的参数值设置抽头长度和滤波对象像素范围以进行滤波。
画面重排列缓冲器57进行画面重排列。具体是，将通过图1的画面重排列缓冲器12重排列的用于编码的帧重排列为初始显示顺序，并将重排列的图像数据输出到D/A转换部分58。
D/A转换部分58对从画面重排列缓冲器57提供的图像数据进行D/A转换，并通过将图像数据输出到图中未示出的显示器而显示图像。
帧存储器61保存从加法部分55提供的滤波前的解码图像数据和从去块滤波器24提供的滤波后的解码图像数据。
当基于从无损解码部分52提供的预测模式信息对其中已经进行帧内预测的预测块进行解码时，选择器62将从帧存储器61读取的滤波前的解码图像数据提供到帧内预测部分63。另外，当基于从无损解码部分52提供的预测模式信息对其中已经进行帧间预测的预测块进行解码时，选择器26将从帧存储器61读取的滤波后的解码图像数据提供到运动补偿部分64。
帧内预测部分63基于从无损解码部分52提供的预测模式信息生成预测图像，并将生成的预测图像数据输出到选择器65。另外，帧内预测部分63将指示生成的预测图像的块尺寸的信息输出到滤波器设置部分71。
运动补偿部分64基于从无损解码部分52提供的预测模式信息进行运动补偿，生成预测图像数据，并将所述预测图像数据输出到选择 器65。即，基于预测模式信息中包括的运动矢量信息和参考帧信息，运动补偿部分64使用运动矢量，基于运动矢量信息对由参考帧信息指示的参考图像施加运动补偿，并生成预测图像数据。另外，运动补偿部分64将指示生成的预测图像的块尺寸的信息输出到滤波器设置部分71。
选择器65将在帧内预测部分63中生成的预测图像数据提供到加法部分55。另外，选择器65将在运动补偿部分64中生成的预测图像数据提供到加法部分55。
以与图4中所示的滤波器设置部分41类似的方式配置滤波器设置部分71。另外，滤波器设置部分71存储指示解码块的预测块尺寸的信息。滤波器设置部分71根据作为解码对象的块和与作为解码对象的块相邻的解码块的相邻边上的预测块尺寸设置抽头长度和滤波对象像素范围。
滤波器设置部分71将指示设置的抽头长度和设置的滤波对象像素范围的参数值提供到去块滤波器56。另外，当在关注块和相邻块之一的最优模式中的预测块尺寸是扩展块尺寸时，滤波器设置部分71根据更大的预测块尺寸设置抽头长度和滤波对象像素范围。另外，当使用具有大于预定宏块的尺寸的多个宏块时，随着尺寸增大，滤波器设置部分71设置更长的抽头长度和更大的滤波对象像素范围。
<6.图像解码装置的操作>
下面将参考图12的流程图描述在图像解码装置50中进行的图像解码处理操作。
在步骤ST71,存储缓冲器51存储传输的编码流。在步骤ST72，无损解码部分52进行无损解码处理。无损解码单元52对从存储缓冲器51提供的编码流进行解码。即，获得通过图1的无损编码部分16编码的每个画面的量化数据。另外，无损解码部分52对在编码流的头信息中包括的预测模式信息进行无损解码，并将获得的预测模式信息提供到去块滤波器56和选择器62及65。另外，当预测模式信息 是关于帧内预测模式的信息时，无损解码部分52将预测模式信息输出到帧内预测部分63。另外，当预测模式信息是关于帧间预测模式的信息时，无损解码部分52将预测模式信息输出到运动补偿部分64。
在步骤ST73，去量化部分53进行去量化处理。去量化部分53通过对应于图1中的量化部分15的特征的特征对通过无损解码部分52解码的量化数据进行去量化。
在步骤ST74，反向正交变换部分54进行反向正交变换处理。反向正交变换部分54以对应于图1中正交变换部分14的特征的特征对通过去量化部分53去量化的变换系数数据进行反向正交变换。
在步骤ST75，加法部分55生成解码图像数据。加法部分55通过将通过进行反向正交变换处理获得的数据与在下述的步骤ST79中选择的预测图像数据加到一起而生成解码图像数据。从而对初始图像解码。
在步骤ST76，去块滤波器56进行滤波。去块滤波器56对从加法部分55输出的解码图像数据进行滤波，以去除解码图像中包括的块失真。
在步骤ST77，帧存储器61存储解码图像数据。
在步骤ST78，帧内预测部分63和运动补偿部分64生成预测图像数据。帧内预测部分63和运动补偿部分64各自生成预测图像数据以对应于从无损解码部分52提供的预测模式信息。
具体是，当从无损解码部分52提供用于帧内预测的预测模式信息时，帧内预测部分63基于预测模式信息利用帧存储器61中的解码图像数据进行帧内预测处理，并生成预测图像数据。另外，当从无损解码部分52提供用于帧间预测的预测模式信息时，运动补偿部分64基于预测模式信息利用帧存储器61中的解码图像数据进行运动补偿，并生成预测图像数据。
在步骤ST79，选择器65选择预测图像数据。具体是，选择器65选择从帧内预测部分63提供的预测图像和在运动补偿部分64中 生成的预测图像数据，并将预测图像数据提供到加法部分55，以在上述步骤ST75中将预测图像数据加到反向正交变换部分54的输出上。
在步骤ST80，画面重排列缓冲器57进行画面重排列。具体是，画面重排列缓冲器57将通过图1的图像编码装置10中的画面重排列缓冲器12被重排列以用于编码的帧重排列为原始显示顺序。
在步骤ST81，D/A转换部分58对来自画面重排列缓冲器57的图像数据进行D/A转换。将该图像输出到图中未示出的显示器并显示该图像。
另外，在图12的步骤ST76中的滤波中，滤波器设置部分71进行上述如图10所示的滤波设置处理。滤波器设置部分71根据在作为解码对象的块和与作为解码对象的块相邻的解码块的相邻边上的预测块尺寸设置抽头长度和滤波对象像素范围。当扩展关注块和相邻块中至少一个的相邻边上的块尺寸时，滤波器设置部分71设置扩展的抽头长度和扩展的滤波对象像素范围。另外，当解码相邻块时，在滤波器设置部分71的块尺寸缓冲器中存储在解码块的相邻边上的预测块尺寸。滤波器设置部分71生成指示设置的抽头长度和设置的滤波对象像素范围的参数值，并将参数值提供到去块滤波器56。去块滤波器56以由从滤波器设置部分71提供的参数值指示的抽头长度和滤波对象像素范围对作为解码对象的块与相邻于作为解码对象的块的解码块之间的块边界施加滤波。
从而，根据应用本发明的图像解码装置和图像解码方法，在滤波器设置部分71的块尺寸缓冲器中存储在编码处理中使用的指示预测块尺寸的信息。从而，当通过对编码流进行解码生成用于图像显示的解码图像数据时，解码图像中的预测块的位置是清楚的。从而，基于存储在块尺寸缓冲器中的信息，对具有明显块失真的较大块尺寸的部分进行滤波和较高强度的平滑处理，所述滤波被施加到更远离块边界的像素值。从而，可以获得具有不明显块失真的图像质量优异的解码图像。
另外，根据解码图像数据是用于生成预测图像的图像数据还是用于图像显示的图像数据，足够使得图像处理装置的滤波器设置部分设置抽头长度和滤波对象像素范围。当图像处理装置例如为图像编码装置时，滤波器设置部分进行对用于生成预测图像的解码图像数据的设置，使得用于生成预测图像的解码图像的图像质量为优异的图像质量，并且编码流的数据量减少。另外，当图像处理装置是图像解码装置时，滤波器设置部分进行设置使得用于图像显示的解码图像的图像质量是用户期望的图像质量。从而，可以当在图像编码装置中提供滤波器设置部分时进行适于图像编码的去块滤波以及进行适于图像解码装置的去块滤波，其中通过滤波器设置部分进行所述去块滤波。
可通过硬件、软件或硬件和软件的组合结构执行在本说明书中描述的一系列处理。当通过软件进行处理时，将其中记录处理序列的程序安装到专用硬件中包含的计算机内的存储器中并执行。可选地，可将程序安装到能够进行各种处理的通用计算机中并执行。
例如，可以预先将程序记录在作为记录介质的硬盘中或作为记录介质的ROM(只读存储器)中。可选地，可将程序临时地或永久地存储在(记录在)可移动记录介质上，诸如软盘、CD-ROM(压缩盘只读存储器)、MO(磁光)盘、DVD(数字通用盘)、磁盘、半导体存储器等。可以将这样的可移动记录介质提供为所谓的封装软件。
另外，除了从上述可移动记录介质安装到计算机之外，还可以通过无线电从下载站将程序传输到计算机，或通过诸如LAN(局域网)、互联网等将程序有线传输到计算机。计算机可以接收以这样的方式传输的程序，并将程序安装到诸如内置硬盘等的记录介质上。
另外，在上述实施例中，已经描述了这样的情况，其中根据在块边界彼此相邻的相邻块的块尺寸设置抽头长度和滤波对象像素范围作为参数值。然而，当相邻块中的至少一个具有大于预定块尺寸的扩展块尺寸时，滤波器设置部分可以将用于滤波的块边界强度数据的值设置为扩展值，以能够获得具有减少的块失真的优异图像质量的图像。例如，随着相邻块的块尺寸增大，滤波器设置部分将用于滤波的块边 界强度数据的值设置为更大，以减少块失真。
去块滤波器的处理单位的尺寸或宏块的尺寸不限于本说明书中描述的实例，而是可以是其它尺寸。例如，尽管将H.264/AVC的宏块的尺寸固定在16×16像素，HEVC的编码单位的尺寸可以对于每个序列动态指定。HEVC的编码单位还被称为编码树块。具有最大尺寸的编码单位被称为最大编码单位(LUC)。具有最小尺寸的编码单位被称为最小编码单位(SUC)。通过在设置为图像压缩信息的一部分的序列参数中指定LCU和SCU的尺寸来定义可用编码单位的尺寸范围。另外，通过指定split_flag的值识别用于单独序列中的编码单位的尺寸。
当编码单位具有正方形时，通过二的幂次(power)表示一边的尺寸。可以将编码单位进一步划分为作为帧内预测和帧间预测的处理单位的预测单位(PU)。另外，可将编码单位划分为作为正交变换的处理单位的变换单位(TU)。除了4×4像素和8×8像素之外，HEVC还允许使用具有16×16像素和32×32像素的尺寸的变换单位。本说明书中的术语“块”包括宏块、编码单位、预测单位、变换单位或各个其它单位的概念。
块的尺寸可以是固定的或者可以动态改变。块尺寸不限于在本说明书描述的实例，而可以为其它尺寸。类似的方法可以用于16×16像素或更小的块，诸如例如4、8和16的块尺寸。另外，在该情况中，当块尺寸增大时，将滤波器的抽头长度设置为更长或者将滤波对象像素范围设置为更大就足以了。
本发明技术不仅可应用于具有4×4像素、8×8像素、16×16像素以及32×32像素的块尺寸的正方形的情况，还可以应用于8×2像素、2×8像素、16×4像素、4×16像素、32×8像素以及8×32像素的非正方形的情况。在该情况中，可以根据相邻块的相邻边的块尺寸设置滤波的抽头长度或滤波对象像素范围。另外，可以根据相邻块的不相邻边的块尺寸设置滤波的抽头长度或滤波对象像素范围。另外，可以根据块的形状和块尺寸适应地选择是应用相邻边上的块尺寸还是应 用不相邻边上的块尺寸。
另外，用于从编码侧向解码侧传输用于去块滤波器的处理的信息的方法不限于在编码流的头中对这些条信息进行多路复用的方法。例如，可以将这些条信息传输或记录为与编码比特流相关的单独的数据，而不在编码比特流中多路复用。术语“相关”在该情况中表示可以在解码时将比特流中包括的图像(所述图像可以是诸如片段、块等的图像的一部分)与对应于关注图像的信息相互关联。即，可以在与图像(或比特流)不同的传输线上传输信息。另外，可以将信息记录在与图像(或比特流)不同的记录介质(或相同记录介质中的不同记录区域)中。另外，可以诸如多个帧、一个帧或者帧内的一部分的任意单位将信息和图像(或比特流)彼此关联。
<7.应用实例>
根据上述实施例的图像编码装置10和图像解码装置50可以应用到：各种电子装置，包括卫星广播中的传输器或接收器、诸如有线电视的有线广播、互联网分发、通过蜂窝通信分发到终端等；用于将图像记录到介质上的记录装置，所述介质诸如为光盘、磁盘、和闪存；或者用于从这些存储介质再现图像的再现装置。下面将描述四个应用实例。
[7-1.第一应用实例]
图13示出应用上述实施例的电视装置的示意配置的实例。电视装置90包括天线901、调谐器902、解复用器903、解码器904、视频信号处理块905、显示块906、音频信号处理块907、扬声器908、外部接口909、控制块910、用户接口911、以及总线912。
调谐器902从经天线901接收的广播信号提取希望信道的信号，并对提取的信号解调。调谐器902然后将通过解调获得的编码比特流输出到解复用器903。即，调谐器902作为具有用于接收具有编码图像的编码流的电视装置90中的传输装置的功能。
解复用器903从编码比特流分离作为观看对象的程序的视频流和音频流，并将每个分离的流输出到解码器904。另外，解复用器903 从编码比特流提取EPG(电子节目指南)的辅助数据等，并将提取的数据提供到控制块910。另外，当编码比特流被加扰时，解复用器903可以进行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。解码器904然后将通过解码处理生成的视频数据输出到视频信号处理块905。另外，解码器904将通过解码处理生成的音频数据输出到音频信号处理块907。
视频信号处理块905再现从解码器904输入的视频数据，并使得在显示块906上显示视频。视频信号处理块905还可以使得在显示块906上显示经网络提供的应用屏。视频信号处理块905还可以根据设置对视频数据进行诸如噪声移除的附加处理。视频信号处理块905还可以生成例如菜单、按钮、光标等的GUI(图形用户界面)图像，并将生成的图像叠加在输出图像上。
通过从视频信号处理块905提供的驱动信号驱动显示块906。显示块906在显示装置(例如液晶显示器、等离子体显示器或OLED)的视频屏幕上显示视频或图像。
音频信号处理块907对从解码器904输入的音频数据进行诸如D/A转换、放大等的再现处理，并使得从扬声器908输出音频。音频信号处理块907还可以对音频数据进行诸如噪声移除的附加处理。外部接口909是用于将电视装置90连接到外部装置或网络的接口。例如，可通过解码器904对经外部接口909接收的视频流或音频流进行解码。即，外部接口909还具有作为用于接收具有编码图像的编码流的电视装置90中的传输装置的功能。
控制块910具有诸如CPU(中央处理单元)的处理器和诸如RAM(随机存取存储器)和ROM(只读存储器)的存储器。存储器存储通过CPU执行的程序、程序数据、EPG数据、经网络获得的数据等。例如在启动电视装置90时通过CPU读取并执行由存储器存储的程序。通过执行程序，CPU根据从例如用户接口911输入的操作信号控制电视装置90的操作。
用户接口911被连接到控制块910。用户接口911具有例如按钮和开关以供用户操作电视装置90、用于接收远程控制信号的部分等等。用户接口911检测经这些构成元件的用户的操作，生成操作信号，并将生成的操作信号输出到控制块910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理块905、音频信号处理块907、外部接口909以及控制块910相互连接。
在这样配置的电视装置90中，解码器904具有根据上述实施例的图像解码装置50的功能。从而当在电视装置90中解码图像时可以更适当地确定施加去块滤波器的范围，从而可以改善图像质量。
[7-2.应用的第二实例]
图14示出应用上述实施例的便携电话的示意配置的实例。便携电话920包括天线921、通信块922、音频编译码器923、扬声器924、传声器925、摄像机块926、图像处理块927、多路分解块928、记录和再现块929、显示块930、控制块931、操作块932以及总线933。
天线921被连接到通信块922。扬声器924和传声器925被连接到音频编译码器923。操作块932被连接到控制块931。总线将通信块922、音频编译码器923、摄像机块926、图像处理块927、多路分解块928、记录和再现块929、显示块930以及控制块931相互连接。
便携电话920在各个操作模式中进行诸如如下的操作：传输和接收音频信号、传输和接收电子邮件或图像数据、拍摄图像、记录数据等，所述操作模式包括语音呼叫模式、数据通信模式、拍照模式以及视频电话模式。
在语音呼叫模式中，将通过传声器925生成的模拟音频信号提供到音频编译码器923。音频编译码器923将模拟音频信号转换为音频数据，对转换的音频数据进行A/D转换，并压缩该音频数据。音频编译码器923然后在经过压缩的音频数据输出到通信块922。通信块 922对音频数据进行编码和调制以生成传输信号。通信块922然后经天线921将生成的传输信号传输到基站(未示出)。另外，通信块922对经天线921接收的无线电信号进行放大和频率转换以获得接收信号。然后，通信块922通过对接收信号进行解调和解码生成音频数据，并将生成的音频数据输出到音频编译码器923。音频编译码器923对音频数据解压缩并对音频数据进行D/A转换，以生成模拟音频信号。音频编译码器923然后将生成的音频信号提供到扬声器924以制成音频输出。
另外，在数据通信模式中，例如，控制块931根据用户经操作块932的操作生成构成电子邮件的文本数据。控制块931还使得在显示块930上显示文本。另外，控制块931根据经操作块932的来自用户的传输指令生成电子邮件数据，并将生成的电子邮件数据输出到通信块922。通信块922对电子邮件数据进行编码和调制以生成传输信号。通信块922然后经天线921将生成的传输信号传输到基站(未示出)。通信块922还对经天线921接收的无线电信号进行放大和频率转换以获得接收信号。然后，通信块922通过对接收信号进行解调和解码重建电子邮件数据，并将重建的电子邮件数据输出到控制块931。控制块931使得在显示块930上显示电子邮件的内容，并使得将电子邮件数据存储在记录和再现块929的存储介质上。
记录和再现块929具有可任意读取和写入的存储介质。例如，存储介质可以是诸如RAM、闪存等的内置型存储介质，或者可以是诸如硬盘、磁盘、磁光盘、光盘、USB存储器、存储卡等的外部装载型存储介质。
另外，在拍照模式中，例如，摄像机块926通过对主体成像生成图像数据，并将生成的图像数据输出到图像处理块927。图像处理块927对从摄像机块926输入的图像数据编码，并使得在记录和再现块929的存储介质上存储编码流。
另外，在视频电话模式中，例如，多路分解块928对通过图像处理块927编码的视频流和从音频编译码器923输入的音频流进行多路 复用，并将多路复用流输出到通信块922。通信块922对所述流进行编码和调制以生成传输信号。通信块922然后经天线921将生成的传输信号传输到基站(未示出)。通信块922还对经天线921接收的无线电信号进行放大和频率转换以获得接收信号。所述传输信号和接收信号可包括编码比特流。然后，通信块922通过对接收信号进行解调和解码重建数据流，并将重建的数据流输出到多路分解块928。多路分解块928从输入数据流分离视频流和音频流，并将视频流输出到图像处理块927且将音频流输出到音频编译码器923。图像处理块927解码视频流以生成视频数据。视频数据被提供到显示块930。显示块930显示一系列图像。音频编译码器923对音频流解压缩并对音频流进行D/A转换，以生成模拟音频信号。音频编译码器923然后将生成的音频信号提供到扬声器924以制成音频输出。
在这样配置的便携电话920中，图像处理块927具有根据上述实施例的图像编码装置10和图像解码装置50的功能。从而当在便携电话920中编码和解码图像时可以更适当地确定施加去块滤波器的范围，从而可以改善图像质量。
[7-3.应用的第三实例]
图15示出应用上述实施例的记录和再现装置的示意配置的实例。记录和再现装置940例如对接收的广播程序的音频数据和视频数据编码，并将音频数据和视频数据记录在记录介质上。另外，记录和再现装置940可以例如对从另一装置获得的音频数据和视频数据编码，并将音频数据和视频数据记录在记录介质上。另外，记录和再现装置940例如根据来自用户的指令在监视器和扬声器上再现记录在记录介质上的数据。此时，记录和再现装置940对音频数据和视频数据解码。
记录和再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(屏幕上显示)948、控制块949、以及用户接口950。
调谐器941从经天线(未示出)接收的广播信号提取希望信道的 信号，并对提取的信号解调。调谐器941然后将通过解调获得的编码比特流输出到选择器946。即，调谐器941具有作为记录和再现装置940中的传输装置的功能。
外部接口942是用于将记录和再现装置940连接到外部装置或网络的接口。外部接口942例如可以为IEEE 1394接口、网络接口、USB接口、闪存接口等等。例如，经外部接口942接收的音频数据和视频数据被输入端编码器943。即，外部接口942具有作为记录和再现装置940中的传输装置的功能。
当未对视频数据和音频数据编码时，编码器943对从外部接口942输入的视频数据和音频数据编码。编码器943然后将编码比特流输出到选择器946。
HDD 944在内部硬盘上记录具有压缩在其中的视频、音频等内容数据的编码比特流、各种程序、以及其它数据。HDD 944还在再现视频和音频时从硬盘读取这些条数据。
盘驱动器945在/从装载到其中的记录介质记录/读取数据。装载在盘驱动器945中的记录介质例如可以为DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等等)、蓝光光盘(注册商标)等。
在记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并将选择的编码比特流输出到HDD 944或盘驱动器945。另外，在再现视频和音频时，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出到解码器947。
解码器947对编码比特流解码，并生成音频数据和视频数据。解码器947然后将生成的视频数据输出到OSD 948。另外，解码器904将生成的音频数据输出到外部扬声器。
OSD 948再现从解码器947输入的视频数据，并显示视频。OSD 948还在显示视频上重叠例如菜单、按钮、光标等的GUI图像。
控制块949具有诸如CPU的处理器和诸如RAM和ROM的存 储器。存储器存储通过CPU执行的程序、程序数据等。例如在启动记录和再现装置940时通过CPU读取并执行由存储器存储的程序。通过执行程序，CPU根据从例如用户接口950输入的操作信号控制记录和再现装置940的操作。
用户接口950被连接到控制块949。用户接口950具有例如按钮和开关以供用户操作记录和再现装置940、用于接收远程控制信号的部分等等。用户接口950检测经这些构成元件的用户的操作，生成操作信号，并将生成的操作信号输出到控制块949。
在这样配置的记录和再现装置940中，编码器943具有根据上述实施例的图像编码装置10的功能。另外，解码器947具有根据上述实施例的图像解码装置50的功能。从而当在记录和再现装置940中编码和解码图像时可以更适当地确定施加去块滤波器的范围，从而可以改善图像质量。
[7-4.应用的第四实例]
图16示出应用上述实施例的成像装置的示意配置的实例。成像装置960通过对主体成像生成图像，对图像数据编码，并将图像数据记录在记录介质上。
成像装置960包括光学块961、成像块962、信号处理块963、图像处理块964、显示块965、外部接口966、存储器967、介质驱动器968、OSD 969、控制块970、用户接口971、以及总线972。
光学块961被连接到成像块962。成像块962被连接到信号处理块963。显示块965被连接到图像处理块964。用户接口971被连接到控制块970。总线972将图像处理块964、外部接口966、存储器967、介质驱动器968、OSD 969以及控制块970相互连接。
光学块961具有聚焦透镜、光圈机构等。光学块961在成像块962的成像表面上形成主体的光学图像。成像块962具有CCD或CMOS图像传感器等。成像块962通过光电转换将在成像表面上形成的光学图像转换成作为电信号的图像信号。成像块962然后将图像信号输出到信号处理块963。
信号处理块963对从成像块962输入的图像信号进行各种摄像机信号处理，诸如拐点校正(knee correction)、伽马校正、颜色校正等。信号处理块963将经过摄像机信号处理的图像数据输出到图像处理块964。
图像处理块964对从信号处理块963输入的图像数据进行编码以生成编码数据。图像处理块964然后将生成的编码数据输出到外部接口966或介质驱动器968。图像处理块964还对从外部接口966或介质驱动器968输入的编码数据进行解码，以生成图像数据。图像处理块964然后将生成的图像数据输出显示块965。图像处理块964还可以将从信号处理块963输入的图像数据输出到显示块965以显示图像。图像处理块964还可以在输出到显示块965的图像上重叠从OSD 969获得的用于显示的数据。
OSD 969生成例如菜单、按钮、光标等的GUI图像，并将生成的图像输出到图像处理块964。
外部接口966被配置为例如输入-输出终端。外部接口966在例如打印图像时将成像装置960连接到打印机。另外，根据需要将外部接口966与驱动器连接。例如将诸如磁盘或光盘的可移动介质装载到驱动器。可将从可移动介质读取的程序安装到成像装置960上。另外，外部接口966可被配置网络接口，其将被连接到诸如LAN、互联网等等的网络。即，外部接口966具有作为成像装置960中的传输装置的功能。
被装载到介质驱动器968中的记录介质可以是可任意读取和写入的可移动介质，诸如磁盘、磁光盘、光盘、或半导体存储器。另外，可以以固定方式将记录介质安装到介质驱动器968中，以形成非便携的存储部分，诸如内置型硬盘驱动器或SSD(固态驱动器)。
控制块970具有诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储通过CPU执行的程序、程序数据等。例如在启动成像装置960时通过CPU读取并执行由存储器存储的程序。通过执行程序，CPU根据从例如用户接口971输入的操作信号控制成像装 置960的操作。
用户接口971被连接到控制块970。用户接口971具有例如按钮和开关以供用户操作成像装置960等。用户接口971检测经这些构成元件的用户的操作，生成操作信号，并将生成的操作信号输出到控制块970。
在这样配置的成像装置960中，图像处理块964具有根据上述实施例的图像编码装置10和图像解码装置50的功能。从而当在成像装置960中编码和解码图像时可以更适当地确定施加去块滤波器的范围，从而可以改善图像质量。
另外，本发明不应被解释为限于上述实施例。所述实施例以示意的形式公开了本发明技术。显然，在不偏离本发明的主旨的情况下，本领域技术人员可以对所述实施例进行修改和替换。即，考虑权利要求，以确定本发明的主旨
另外，本发明还可以采用下面的组成。
(1)一种图像处理装置，包括：
解码部分，用于对在每个块中的编码的图像数据进行解码；
滤波器，用于对通过所述解码部分解码的解码图像数据施加用于去除块失真的滤波；以及
滤波器设置部分，用于根据在块边界处相邻的相邻块的块尺寸设置用于块边界的滤波的抽头长度或者作为滤波对象的滤波对象像素范围。
(2)根据(1)所述的图像处理装置，其中当将相邻块中的至少一个被扩展为大于预定块尺寸的尺寸时，所述滤波器设置部分将所述抽头长度设置为扩展的长度。
(3)根据(2)所述的图像处理装置，其中随着所述相邻块的块尺寸增大，所述滤波器设置部分将滤波器的抽头长度设置得更长。
(4)根据(1)到(3)中任一项所述的图像处理装置，其中当相邻块中的至少一个被扩展为大于预定块尺寸的尺寸时，所述滤波器设置部分将所述滤波对象像素范围设置为扩展的宽度。
(5)根据(1)到(4)中任一项所述的图像处理装置，其中随着所述相邻块的块尺寸增大，所述滤波器设置部分将所述滤波对象像素范围设置得更宽。
(6)根据(1)到(5)中任一项所述的图像处理装置，其中当相邻块中的至少一个被扩展为大于预定块尺寸的尺寸时，所述滤波器设置部分将用于滤波的块边界强度数据的值设置为扩展的值。
(7)根据(6)所述的图像处理装置，其中随着所述相邻块的块尺寸增大，所述滤波器设置部分将用于滤波的块边界强度数据的值设置得更大。
(8)根据(1)到(7)中任一项所述的图像处理装置，其中所述滤波器设置部分根据相邻块的相邻边上的块尺寸来设置所述滤波的抽头长度或滤波对象像素范围。
(9)根据(1)到(8)中任一项所述的图像处理装置，其中所述滤波器设置部分根据与相邻块的块尺寸对应的情况分类来设置所述滤波的抽头长度和滤波对象像素范围。
(10)根据(9)的图像处理装置，其中所述情况分类为所述相邻块都具有预定块尺寸或更小的块尺寸的情况、以及所述相邻块中的至少一个被扩展为大于预定块尺寸的尺寸的情况。
(11)根据(10)所述的图像处理装置，其中所述滤波器设置部分进行情况分类，以分类为相邻块为16×16像素或更小的情况、两个块中的至少一个大于16×16像素且两个块都为32×32像素或更小的情况、以及两个块中的至少一个大于32×32像素的情况。
(12)根据(1)到(11)中任一项所述的图像处理装置，其中当进行帧内预测或帧间预测时，所述块尺寸是作为处理单位的预测块尺寸。
(13)根据(1)到(12)中任一项所述的图像处理装置，其中当进行正交变换时，所述块尺寸是作为处理单位的变换尺寸。
(14)根据(2)到(13)中任一项所述的图像处理装置，其中所述预定块尺寸是H.264/AVC标准的宏块尺寸。
(15)根据(1)到(14)中任一项所述的图像处理装置，其中所述滤波器设置部分根据解码图像数据是用于生成预测图像的图像数据还是用于图像显示的图像数据来设置抽头长度或滤波对象像素范围。
工业适用性
根据本发明的图像处理装置和图像处理方法可以提供具有减少的块失真的图像质量优异的图像。本发明技术从而适用于当经诸如卫星广播、有线电视、互联网、便携电话等的网络介质传输和接收通过在MPEG、H.26x等的块单元中进行编码获得的图像信息(比特流)时、或者当在诸如光盘、磁盘、闪存等的存储介质上处理图像信息时使用的图像编码装置、图像解码装置等。
附图标记的描述
10 图像编码装置，11 A/D转换部分，12、57 画面重排列缓冲器，13 减法部分，14 正交变换部分，15 量化部分，16 无损编码部分，17、51 存储缓冲器，18速率控制部分，21、53 去量化部分，22、54 反向正交变换部分，23、55 加法部分，24、56去块滤波器，25、61 帧存储器，26、62、65 选择器，31、63 帧内预测部分，32 运动预测和补偿部分，33 预测图像和最优模式选择部分，41、71 滤波器设置部分，50 图像解码装置，52 无损解码部分，58 D/A转换部分，64 运动补偿部分，90 电视装置，92 便携电话,94 记录和再现装置,96 成像装置，241 滤波强度确定部分，242滤波部分，412 参数值生成部分，901、921 天线，902、941调谐器，903 解复用器，904、947 解码器，905 视频信号处理快，906 显示块，907 音频信号处理块，908扬声器，909、942、966 外部接口块，912、933、972 总线，922 通信块，923 音频编译码器，924 扬声器，925 传声器，926 摄像机块，927 图像处理块，928 多路分解块，929 记录和再现块，930 显示块，943 编码器，944 HDD块，945 盘驱动器，948、969 OSD块，961 光学块，962 成像块，963 摄像机信号处理块，964 图像数据处理块，965 显示块，967 存储块，968 介质驱动器

Claims (19)

1.一种图像处理装置，包括：
电路，被配置成：
根据按照位于变换块边界的变换块尺寸设置的抽头长度和滤波范围中的至少一个对解码的图像数据施加滤波以生成滤波的图像数据；以及
使用滤波的图像数据编码图像数据。
2.根据权利要求1所述的图像处理装置，其中所述电路被配置成：根据按照在变换块边界彼此相邻的相邻变换块的变换块尺寸设置的抽头长度和滤波范围中的至少一个对解码的图像数据施加滤波。
3.根据权利要求2所述的图像处理装置，其中，当在所述相邻变换块的相邻侧上的变换块尺寸是大于预定变换块尺寸的扩展变换块尺寸时，所述电路被配置成：根据抽头长度和滤波范围设置中的至少一个对解码的图像数据施加滤波，其中所述抽头长度大于在所述预定变换块尺寸处设置的抽头长度，所述滤波范围宽于在所述预定变换块尺寸处设置的滤波范围。
4.根据权利要求2所述的图像处理装置，其中，当相邻变换块的变换块扩展到大于预定变换块尺寸的尺寸时，所述电路被配置成：根据用于滤波的变换块边界强度数据的值对解码的图像数据施加滤波，其中，用于滤波的变换块边界强度数据的值大于在预定变换块尺寸处设置的值。
5.根据权利要求2所述的图像处理装置，其中，当执行帧内预测和帧间预测中的至少一个时，所述变换块尺寸是作为处理单位的预测变换块尺寸。
6.根据权利要求4所述的图像处理装置，其中所述预定的变换块尺寸是H.264/AVC标准的宏块尺寸。
7.根据权利要求2所述的图像处理装置，其中所述电路被配置成：根据在相邻变换块的相邻侧的变换块尺寸设置滤波的抽头长度和滤波范围中的至少一个。
8.根据权利要求2所述的图像处理装置，其中所述电路被配置成：根据在相邻变换块的非相邻侧的变换块尺寸设置滤波的抽头长度和滤波对象像素范围中的至少一个。
9.根据权利要求2所述的图像处理装置，其中所述相邻变换块是非正方形的变换块。
10.一种图像处理方法，包括：
根据按照位于变换块边界的变换块尺寸设置的抽头长度和滤波范围中的至少一个对解码的图像数据施加滤波以生成滤波的图像数据；以及
使用滤波的图像数据编码图像数据。
11.根据权利要求10所述的图像处理方法，其中所述图像处理方法还包括：根据按照在变换块边界彼此相邻的相邻变换块的变换块尺寸设置的抽头长度和滤波范围中的至少一个对解码的图像数据施加滤波。
12.根据权利要求11所述的图像处理方法，其中，当在所述相邻变换块的相邻侧上的变换块尺寸是大于预定变换块尺寸的扩展变换块尺寸时，所述图像处理方法还包括：根据抽头长度和滤波范围中的至少一个对解码的图像数据施加滤波，其中所述抽头长度大于在所述预定变换块尺寸处设置的抽头长度，所述滤波范围宽于在所述预定变换块尺寸处设置的滤波范围。
13.根据权利要求11所述的图像处理方法，其中，当相邻变换块的变换块扩展到大于预定变换块尺寸的尺寸时，所述图像处理方法还包括：根据用于滤波的变换块边界强度数据的值对解码的图像数据施加滤波，其中，用于滤波的变换块边界强度数据的值大于在预定变换块尺寸处设置的值。
14.根据权利要求11所述的图像处理方法，其中，当执行帧内预测和帧间预测中的至少一个时，所述变换块尺寸是作为处理单位的预测变换块尺寸。
15.根据权利要求13所述的图像处理方法，其中所述预定的变换块尺寸是H.264/AVC标准的宏块尺寸。
16.根据权利要求11所述的图像处理方法，其中所述图像处理方法还包括：根据在相邻变换块的相邻侧的变换块尺寸设置滤波的抽头长度和滤波范围中的至少一个。
17.根据权利要求11所述的图像处理方法，其中所述图像处理方法还包括：根据在相邻变换块的非相邻侧的变换块尺寸设置滤波的抽头长度和滤波对象像素范围中的至少一个。
18.根据权利要求11所述的图像处理方法，其中所述相邻变换块是非正方形的变换块。
19.一种图像处理方法，包括：
对于多种帧间预测模式中的每一种确定运动矢量和参考图像；
对于每一种帧间预测模式进行运动补偿，其中，基于所述运动矢量在每种帧间预测模式中对所述参考图像施加运动补偿，并对每种预测模式生成预测图像数据；
对于每种帧间预测模式生成运动矢量信息，所述运动矢量信息是关于所述运动矢量的信息；
对于每种帧间预测模式计算成本函数；
根据所述成本函数确定最优的帧间预测模式，其中该最优的帧间预测模式的成本函数值最小。
CN201610705248.7A 2010-05-18 2011-05-17 图像处理装置和图像处理方法 Expired - Fee Related CN106851289B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010-114067 2010-05-18
JP2010114067 2010-05-18
CN201180023207.5A CN102934429B (zh) 2010-05-18 2011-05-17 图像处理装置和图像处理方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201180023207.5A Division CN102934429B (zh) 2010-05-18 2011-05-17 图像处理装置和图像处理方法

Publications (2)

Publication Number Publication Date
CN106851289A true CN106851289A (zh) 2017-06-13
CN106851289B CN106851289B (zh) 2020-09-15

Family

ID=44991703

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201610705248.7A Expired - Fee Related CN106851289B (zh) 2010-05-18 2011-05-17 图像处理装置和图像处理方法
CN201610704549.8A Active CN106331714B (zh) 2010-05-18 2011-05-17 图像处理装置和图像处理方法
CN201180023207.5A Expired - Fee Related CN102934429B (zh) 2010-05-18 2011-05-17 图像处理装置和图像处理方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201610704549.8A Active CN106331714B (zh) 2010-05-18 2011-05-17 图像处理装置和图像处理方法
CN201180023207.5A Expired - Fee Related CN102934429B (zh) 2010-05-18 2011-05-17 图像处理装置和图像处理方法

Country Status (9)

Country Link
US (6) US8855434B2 (zh)
EP (1) EP2574055A4 (zh)
JP (1) JPWO2011145601A1 (zh)
KR (3) KR101808357B1 (zh)
CN (3) CN106851289B (zh)
BR (1) BR112012028934B1 (zh)
RU (2) RU2701840C2 (zh)
TW (2) TWI600318B (zh)
WO (1) WO2011145601A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111034197A (zh) * 2017-08-22 2020-04-17 松下电器（美国）知识产权公司 图像编码器、图像解码器、图像编码方法和图像解码方法
CN113170206A (zh) * 2018-11-02 2021-07-23 索尼集团公司 图像处理装置和图像处理方法

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
US8625914B2 (en) * 2013-02-04 2014-01-07 Sony Corporation Image processing system, image processing method and program
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
JP2011223302A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
KR20110123651A (ko) * 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
TWI600318B (zh) 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
CN105245895B (zh) 2010-06-04 2019-02-26 索尼公司 图像处理设备和方法
ES2753587T3 (es) 2010-12-07 2020-04-13 Sony Corp Dispositivo de procesamiento de imágenes y método de procesamiento de imágenes
WO2012077607A1 (ja) 2010-12-07 2012-06-14 ソニー株式会社 画像処理装置及び画像処理方法
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
RU2609094C2 (ru) 2011-02-10 2017-01-30 Сони Корпорейшн Устройство и способ обработки изображений
BR112013022670B1 (pt) 2011-03-11 2022-05-03 Sony Corporation Aparelho e método de processamento de imagem
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
EP3313074B1 (en) 2011-06-28 2021-09-22 Sony Group Corporation Image processing device, image processing method
KR101834541B1 (ko) * 2011-07-22 2018-03-07 에스케이텔레콤 주식회사 연성 디블록킹 필터링을 이용한 부호화/복호화 방법 및 장치
EP2737704B1 (en) * 2011-09-13 2020-02-19 HFI Innovation Inc. Method and apparatus for reduction of deblocking filter
CN103765903B (zh) * 2012-01-18 2017-09-01 松下知识产权经营株式会社 图像解码装置、图像编码装置、图像解码方法及图像编码方法
KR101647242B1 (ko) * 2012-01-19 2016-08-09 미쓰비시덴키 가부시키가이샤 화상 복호 장치, 화상 부호화 장치, 화상 복호 방법, 화상 부호화 방법 및 기억 매체
TWI581623B (zh) * 2012-04-06 2017-05-01 Sony Corp Image processing apparatus and method, program, and recording medium
JP5833757B2 (ja) * 2012-07-09 2015-12-16 日本電信電話株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
US9615086B2 (en) 2013-02-06 2017-04-04 Research & Business Foundation Sungkyunkwan University Method and apparatus for intra prediction
KR101468078B1 (ko) * 2013-02-06 2014-12-08 성균관대학교산학협력단 화면 내 예측 방법 및 장치
US20140286412A1 (en) * 2013-03-25 2014-09-25 Qualcomm Incorporated Intra dc prediction for lossless coding in video coding
CN103220529B (zh) * 2013-04-15 2016-02-24 北京大学 一种视频编解码环路滤波的实现方法
US9696145B2 (en) * 2013-05-13 2017-07-04 Texas Instruments Incorporated Opportunistic structured light
CN103246992A (zh) * 2013-05-30 2013-08-14 叶旭东 房屋3d展示系统、在线房屋展示系统及其在线销售方法
JP6399433B2 (ja) * 2013-05-31 2018-10-03 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
US9264661B2 (en) * 2013-06-07 2016-02-16 Apple Inc. Adaptive post-processing for mobile video calling system
WO2015053112A1 (ja) * 2013-10-11 2015-04-16 ソニー株式会社 復号装置および復号方法、並びに、符号化装置および符号化方法
KR20160085891A (ko) * 2013-11-24 2016-07-18 엘지전자 주식회사 적응적 샘플링을 이용한 비디오 신호의 인코딩, 디코딩 방법 및 그 장치
US9607710B2 (en) * 2014-11-10 2017-03-28 Sk Hynix Memory Solutions Inc. Read-threshold calibration in a solid state storage system
KR102294016B1 (ko) * 2014-12-05 2021-08-25 성균관대학교산학협력단 변환생략을 참조하는 디블록킹 필터링을 이용한 영상의 부호화/복호화 방법 및 이를 이용하는 장치
JP6620354B2 (ja) * 2015-09-30 2019-12-18 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
KR20180061273A (ko) * 2015-09-30 2018-06-07 리얼네트웍스 인코포레이티드 비디오 처리 시스템 및 방법에서의 레이어드 디블로킹 필터링
CN116828177A (zh) * 2016-06-24 2023-09-29 世宗大学校产学协力团 视频信号解码和编码方法、比特流的传输方法
US10219091B2 (en) * 2016-07-18 2019-02-26 Bose Corporation Dynamically changing master audio playback device
CN110100443B (zh) * 2016-12-27 2021-12-28 松下电器（美国）知识产权公司 编码装置、解码装置、编码方法及解码方法
WO2018123423A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
WO2018123444A1 (ja) * 2016-12-28 2018-07-05 ソニー株式会社 画像処理装置及び画像処理方法
BR112019013976A2 (pt) * 2017-01-12 2020-03-03 Sony Corporation Aparelho e método de processamento de imagem.
TWI774750B (zh) * 2017-04-06 2022-08-21 美商松下電器（美國）知識產權公司 編碼裝置、解碼裝置、編碼方法及解碼方法
EP3609181A4 (en) * 2017-04-06 2020-04-15 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD, AND DECODING METHOD
EP3609185A4 (en) 2017-04-06 2020-03-18 Panasonic Intellectual Property Corporation of America CODING DEVICE, DECODING DEVICE, CODING METHOD AND DECODING METHOD
CN114071139B (zh) * 2017-04-06 2023-12-12 松下电器（美国）知识产权公司 解码装置及编码装置
JP6902604B2 (ja) * 2017-04-06 2021-07-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置及び復号装置
WO2019047763A1 (en) * 2017-09-08 2019-03-14 Mediatek Inc. METHODS AND APPARATUSES FOR PROCESSING IMAGES IN AN IMAGE OR VIDEO ENCODING SYSTEM
US10645408B2 (en) 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
JP6918661B2 (ja) * 2017-09-22 2021-08-11 キヤノン株式会社 符号化装置、符号化方法及びプログラム
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
WO2019188944A1 (en) * 2018-03-30 2019-10-03 Sharp Kabushiki Kaisha Systems and methods for applying deblocking filters to reconstructed video data
KR20200002011A (ko) * 2018-06-28 2020-01-07 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
KR102341858B1 (ko) 2018-07-30 2021-12-22 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US20200068223A1 (en) * 2018-08-27 2020-02-27 Qualcomm Incorporated Deblocking filter for video coding and processing
JP6998846B2 (ja) * 2018-08-30 2022-01-18 Kddi株式会社 画像復号装置、画像符号化装置、画像処理システム及びプログラム
JP7242861B2 (ja) 2018-09-04 2023-03-20 華為技術有限公司 二方向インター予測に適用される参照フレーム取得方法および装置
CN113287316B (zh) * 2018-10-23 2023-07-21 寰发股份有限公司 减少环路滤波缓冲器的方法及装置
EP3975556A4 (en) 2019-06-19 2022-08-03 Lg Electronics Inc. IMAGE DECODING METHOD FOR PERFORMING INTER-PREDICTION WHEN THE CURRENT BLOCK PREDICTION MODE CANNOT FINALLY BE SELECTED AND ASSOCIATED DEVICE
CN114402598A (zh) * 2019-07-19 2022-04-26 Lg电子株式会社 使用滤波的图像编码/解码方法和装置及发送比特流的方法
CN112399235B (zh) * 2019-08-18 2023-05-09 海信视像科技股份有限公司 一种智能电视的摄像头拍照效果增强方法及显示设备
JP6839246B2 (ja) * 2019-09-03 2021-03-03 Kddi株式会社 動画像の処理装置、処理方法及びコンピュータ可読記憶媒体
FI20215507A1 (en) 2021-04-30 2022-10-31 Andritz Oy System and method for producing microcrystalline cellulose
FI20215509A1 (en) 2021-04-30 2022-10-31 Andritz Oy Microcrystalline cellulose product

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949908A (en) * 1994-11-24 1999-09-07 Victor Company Of Japan, Ltd. Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data
US20030198394A1 (en) * 1998-12-29 2003-10-23 Takahiro Fukuhara Wavelet encoding method and apparatus and wavelet decoding method and apparatus
US20050078750A1 (en) * 2003-10-14 2005-04-14 Matsushita Electric Industrial Co., Ltd. De-blocking filter processing apparatus and de-blocking filter processing method
CN1820512A (zh) * 2004-03-11 2006-08-16 学校法人大洋学园 消除块效应的方法、介质和滤波器
JP2006325130A (ja) * 2005-05-20 2006-11-30 Olympus Imaging Corp データ符号化装置、データ復号化装置、データ符号化方法、データ復号化方法、プログラム
EP1790170A2 (en) * 2004-09-14 2007-05-30 Gary Demos High quality wide-range multi-layer compression coding system
CN101502119A (zh) * 2006-08-02 2009-08-05 汤姆逊许可公司 用于视频编码的自适应几何分割方法和设备
US20090303318A1 (en) * 2004-04-26 2009-12-10 Olympus Corporation Image pickup apparatus using an imaging unit including an etalon and calibration method therefor
US20100080472A1 (en) * 2008-09-26 2010-04-01 Kabushiki Kaisha Toshiba Image processing apparatus, moving image decoding apparatus, moving image encoding apparatus and method

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0721286A3 (en) * 1995-01-09 2000-07-26 Matsushita Electric Industrial Co., Ltd. Video signal decoding apparatus with artifact reduction
JP2000341689A (ja) * 1999-05-27 2000-12-08 Sony Corp ウェーブレット逆変換装置及び方法、並びにウェーブレット復号装置及び方法
JP4254017B2 (ja) * 2000-03-10 2009-04-15 ソニー株式会社 画像符号化装置及び方法
US6931063B2 (en) * 2001-03-26 2005-08-16 Sharp Laboratories Of America, Inc. Method and apparatus for controlling loop filtering or post filtering in block based motion compensationed video coding
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
US7295609B2 (en) 2001-11-30 2007-11-13 Sony Corporation Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information
US7826535B2 (en) * 2002-04-11 2010-11-02 Broadcom Corporation Adaptive pixel processing
US7330596B2 (en) * 2002-07-17 2008-02-12 Ricoh Company, Ltd. Image decoding technique for suppressing tile boundary distortion
US7995849B2 (en) 2003-03-17 2011-08-09 Qualcomm, Incorporated Method and apparatus for improving video quality of low bit-rate video
US7428342B2 (en) * 2004-12-17 2008-09-23 Microsoft Corporation Reversible overlap operator for efficient lossless data compression
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
JP4784188B2 (ja) 2005-07-25 2011-10-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
WO2008084378A2 (en) * 2007-01-09 2008-07-17 Nokia Corporation Adaptive interpolation filters for video coding
WO2009001793A1 (ja) 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
JP4687918B2 (ja) * 2007-07-24 2011-05-25 富士ゼロックス株式会社 画像処理装置及びプログラム
EP2061250B8 (en) * 2007-11-16 2012-02-29 ST-Ericsson SA Deblocking filter
WO2010001911A1 (ja) * 2008-07-03 2010-01-07 シャープ株式会社 フィルタ装置
JP5597968B2 (ja) * 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP5359657B2 (ja) 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5344238B2 (ja) 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP2011050001A (ja) * 2009-08-28 2011-03-10 Sony Corp 画像処理装置および方法
JP2011223302A (ja) * 2010-04-09 2011-11-04 Sony Corp 画像処理装置と画像処理方法
JP5914962B2 (ja) 2010-04-09 2016-05-11 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
TWI600318B (zh) * 2010-05-18 2017-09-21 Sony Corp Image processing apparatus and image processing method
CN105245895B (zh) 2010-06-04 2019-02-26 索尼公司 图像处理设备和方法
WO2012077607A1 (ja) 2010-12-07 2012-06-14 ソニー株式会社 画像処理装置及び画像処理方法
ES2753587T3 (es) 2010-12-07 2020-04-13 Sony Corp Dispositivo de procesamiento de imágenes y método de procesamiento de imágenes
JP5741076B2 (ja) 2010-12-09 2015-07-01 ソニー株式会社 画像処理装置及び画像処理方法
JP5850214B2 (ja) * 2011-01-11 2016-02-03 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
RU2609094C2 (ru) 2011-02-10 2017-01-30 Сони Корпорейшн Устройство и способ обработки изображений
BR112013022670B1 (pt) 2011-03-11 2022-05-03 Sony Corporation Aparelho e método de processamento de imagem
TWI530161B (zh) 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
JP5907367B2 (ja) 2011-06-28 2016-04-26 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
SG10201610882XA (en) 2012-06-29 2017-02-27 Sony Corp Encoding device and encoding method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5949908A (en) * 1994-11-24 1999-09-07 Victor Company Of Japan, Ltd. Method of reducing quantization noise generated during a decoding process of image data and device for decoding image data
US20030198394A1 (en) * 1998-12-29 2003-10-23 Takahiro Fukuhara Wavelet encoding method and apparatus and wavelet decoding method and apparatus
US20050078750A1 (en) * 2003-10-14 2005-04-14 Matsushita Electric Industrial Co., Ltd. De-blocking filter processing apparatus and de-blocking filter processing method
CN1820512A (zh) * 2004-03-11 2006-08-16 学校法人大洋学园 消除块效应的方法、介质和滤波器
US20090303318A1 (en) * 2004-04-26 2009-12-10 Olympus Corporation Image pickup apparatus using an imaging unit including an etalon and calibration method therefor
EP1790170A2 (en) * 2004-09-14 2007-05-30 Gary Demos High quality wide-range multi-layer compression coding system
JP2006325130A (ja) * 2005-05-20 2006-11-30 Olympus Imaging Corp データ符号化装置、データ復号化装置、データ符号化方法、データ復号化方法、プログラム
CN101502119A (zh) * 2006-08-02 2009-08-05 汤姆逊许可公司 用于视频编码的自适应几何分割方法和设备
US20100080472A1 (en) * 2008-09-26 2010-04-01 Kabushiki Kaisha Toshiba Image processing apparatus, moving image decoding apparatus, moving image encoding apparatus and method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SEUNG-HO SHIN ET AL: "Variable block-based deblocking filter for H.264/AVC on low-end and low-bit rates terminals", 《SIGNAL PROCESSING:IMAGE COMMUNICATION》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111034197A (zh) * 2017-08-22 2020-04-17 松下电器（美国）知识产权公司 图像编码器、图像解码器、图像编码方法和图像解码方法
CN113170206A (zh) * 2018-11-02 2021-07-23 索尼集团公司 图像处理装置和图像处理方法

Also Published As

Publication number Publication date
US20130028531A1 (en) 2013-01-31
WO2011145601A1 (ja) 2011-11-24
US9253506B2 (en) 2016-02-02
TWI600318B (zh) 2017-09-21
CN106851289B (zh) 2020-09-15
KR102005209B1 (ko) 2019-07-29
KR101914896B1 (ko) 2018-11-02
RU2012147780A (ru) 2014-07-20
RU2580056C2 (ru) 2016-04-10
BR112012028934B1 (pt) 2022-03-08
RU2016105592A (ru) 2018-11-22
US20160044312A1 (en) 2016-02-11
KR20180121670A (ko) 2018-11-07
JPWO2011145601A1 (ja) 2013-07-22
RU2016105592A3 (zh) 2019-07-17
KR20130070597A (ko) 2013-06-27
TWI508534B (zh) 2015-11-11
CN102934429B (zh) 2016-09-28
US20140355696A1 (en) 2014-12-04
EP2574055A4 (en) 2017-04-26
KR20170137959A (ko) 2017-12-13
TW201601523A (zh) 2016-01-01
CN106331714A (zh) 2017-01-11
RU2701840C2 (ru) 2019-10-01
CN102934429A (zh) 2013-02-13
US10477206B2 (en) 2019-11-12
US8855434B2 (en) 2014-10-07
TW201208382A (en) 2012-02-16
CN106331714B (zh) 2020-09-15
US20140355670A1 (en) 2014-12-04
US20200029074A1 (en) 2020-01-23
KR101808357B1 (ko) 2017-12-12
US20200029075A1 (en) 2020-01-23
US9167267B2 (en) 2015-10-20
BR112012028934A2 (pt) 2016-07-26
EP2574055A1 (en) 2013-03-27

Similar Documents

Publication Publication Date Title
CN102934429B (zh) 图像处理装置和图像处理方法
RU2680349C1 (ru) Устройство обработки изображений и способ обработки изображений
CN103563383B (zh) 图像处理装置和图像处理方法
CN102484714B (zh) 图像处理装置和方法
CN103563374B (zh) 图像处理设备及方法
CN101990099A (zh) 图像处理设备和方法
CN102972026A (zh) 图像处理装置和图像处理方法
US20130294705A1 (en) Image processing device, and image processing method
CN102884791A (zh) 图像处理设备和方法
CN103125118A (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200915